Statistická vs. věcná významnost
Statistická významnost
Primárním účelem statistické významnosti je zobecnění dosažených výsledků. Výzkumník na základě p-hodnoty může učinit závěr, zda rozdíly, souvislosti či závislosti mezi proměnnými jsou statisticky významné. V případě prokázání statistické významnosti jsou výsledky zobecnitelné na celý základní soubor. V opačném případě dojdeme k závěru, že statisticky významný vztah mezi proměnnými neexistuje. Rozhodnutí o statistické významnosti je provedeno na základě testového kritéria, resp. p-hodnoty. Pro zamítnutí nebo nezamítnutí nulové hypotézy se obvykle používá 5% hladina významnosti. Základní principy testování hypotéz lze nalézt v tomto článku.
Nevýhodou p-hodnoty je její závislost na velikosti výzkumného souboru. Pokud je výzkumný soubor dostatečně velký, tak není problém získat nízkou p-hodnotu a prokázat tak statistickou významnost téměř u jakýchkoli proměnných.
Věcná významnost
Věcná významnost přistupuje k analýze dat odlišně. Týká se interpretace výsledků výzkumu z hlediska jejich praktického významu a užitečnosti v reálném světě. Míry věcné významnosti nám říkají, zda jsou rozdíly či souvislosti dostatečně velké, aby se jimi mělo smysl zabývat. Na rozdíl od p-hodnoty, u měr věcné významnosti nehraje roli velikost výzkumného souboru. K tomu, abychom mohli zjistit, zda je výsledek věcně významný je potřeba mít vhodné ukazatele, tzv. míry věcné významnosti.
Nejčastěji používané míry věcné významnosti:
Cohenovo d
Hodnota Cohenova d je založena na rozdílu průměrů ve dvou skupinách. Hodnota Cohenova d leží v intervalu od −nekonečna do +nekonečna, nicméně zpravidla se setkáte s hodnotami v řádu jednotek. Velikost hodnoty Cohenova d udává sílu efektu, přičemž vyšší absolutní hodnota znamená větší efekt. Cohen přiřadil slovní hodnocení konkrétním hodnotám (v absolutním vyjádření):
0,2 – malý efekt
0,5 – střední efekt
0,8 – velký efekt.
Fisherova eta
Fisherova eta se používá k měření velikosti efektu v analýze rozptylu (ANOVA) a počítá se jako podíl meziskupinového součtu čtverců a celkového součtu čtverců. Hodnota se interpretuje (po vynásobení stem) jako procento vysvětleného rozptylu za pomoci rozdělení do skupin. Nabývá hodnot z intervalu <0,1>.
Cramerovo φ
Cramerovo fí se používá k určení věcné významnosti při užití Chí-kvadrát testu nezávislosti u asociačních tabulek (tabulka 2×2). Hodnota leží v intervalu <0,1> a pro interpretaci se obvykle používají tyto tabulkové hodnoty:
0,1– 0,29 = malý efekt
0,3 – 0,49 = střední efekt
0,5 a více = velký efekt
Cramerovo V
Cramerovo V se rovněž používá k určení věcné významnosti Chí-kvadrát testu nezávislosti a to v případě, že je rozměr kontingenční tabulky větší jak 2×2. Tento koeficient nabývá hodnot v intervalu <0; 1>. Čím více se hodnota Cramerova V blíží 1, tím je míra věcné významnosti vyšší a naopak.
Korelační koeficient
Korelační koeficient udává míru závislosti (souvislosti) mezi dvěma proměnnými. Říká nám, zda vyšší hodnoty jedné proměnné budou zároveň indikovat vyšší hodnoty druhé proměnné. Při práci s kardinálními proměnnými často předpokládáme lineární souvislost a k výpočtu se používá Pearsonův korelační koeficient. U ordinálních dat, či při práci s malými soubory, lze využít Spearmanův korelační koeficient. Hodnoty obou koeficientů leží v intervalu <-1; 1>.
Index determinace
Koeficient determinace se vypočítá jako druhá mocnina Pearsonova korelačního koeficientu. Index determinace udává procento (podíl) vysvětleného rozptylu. Tento koeficient nám říká, z kolika procent je výsledek vysvětlen danou proměnnou a kolik procent vysvětlení připadá na další (nezjištěné) faktory. Hodnota indexu determinace leží v intervalu <0; 1>. Dle Sigmundové a Sigmunda (2012) lze výsledek považovat za významný, pokud je index determinace větší než 0,1. Nicméně doporučuji hodnotu indexu determinace a i všech dalších, zde uvedených měr, posoudit v kontextu dané problematiky a výsledků dřívějších studií.
Ráda bych zmínila, že jde pouze o stručný výčet nejpoužívanějších měr věcné významnosti. V literatuře jich lze nalézt další desítky.
Statistická vs. věcná významnost?
Je potřeba si uvědomit, že statistická a věcná významnost kvantitativních dat nestojí proti sobě. Tyto významnosti je možné označit za komplementární způsoby zpracování dat. Lze dojít k závěru, že rozdíly jsou sice statisticky významné, věcně (prakticky) ovšem bez významu a nemá smysl se jimi zabývat. V současnosti je doporučován postup upřednostňující používání obou významností současně, samozřejmě se správnou interpretací. Jednak posoudit věcnou významnost výsledků a dále i statistickou významnost, respektive zobecnitelnost výsledků z výběru na základní soubor pomocí statistických testů.
Použité zdroje:
Cohen, J. (1988). Statistical power analysis for the behavioral science. Erlbaum.
Hendl, J. (2012). Přehled statistických metod: analýza a metaanalýza dat. Portál.
Soukup, P. (2013). Věcná významnost výsledků a její možnosti měření. Data a výzkum. http://dx.doi.org/10.13060/23362391.2013.127.2.41
