Verschil tussen Cohen ' sd en Hedges ' g voor effectgroottestatistieken

Zowel Cohen” sd als Hedges “g-poolvarianties onder de aanname van gelijke populatievarianties, maar g-pools met n – 1 voor elke steekproef in plaats van n, wat een betere schatting oplevert, vooral hoe kleiner de steekproefomvang. Zowel d als g zijn enigszins positief bevooroordeeld, maar slechts verwaarloosbaar voor middelgrote of grotere steekproeven. De bias wordt verminderd met g *. De d by Glass gaat niet uit van gelijke varianties, dus gebruikt het de sd van een controlegroep of basislijnvergelijkingsgroep als de norm voor het verschil tussen de twee middelen.

Deze effectgroottes en Cliffs en andere niet-parametrische effectgroottes worden in detail besproken in mijn boek:

Grissom, RJ, & Kim, J, J. (2005). Effectgroottes voor onderzoek: A brede praktische benadering. Mahwah, NJ: Erlbaum.

Naar mijn mening is Hedges “sg een wat nauwkeuriger versie van Cohen “sd (met gepoolde SD) in die zin dat we een correctiefactor toevoegen voor een kleine steekproef. Beide maten komen over het algemeen overeen wanneer de homoscedasticiteitsaanname niet wordt geschonden, maar we kunnen situaties vinden waarin dit niet het geval is, zie bijv. McGrath & Meyer, Psychologische methoden 2006, 11 (4) : 386-401. Andere artikelen staan vermeld aan het einde van mijn antwoord.

Ik meestal ontdekte dat in bijna elke psychologische of biomedische studie, dit de Cohen is die wordt gerapporteerd; dit komt waarschijnlijk voort uit de bekende vuistregel voor het interpreteren van de omvang ervan (Cohen, 1988). Ik ken geen recent artikel over Hedges s g (of Cliff delta als een niet-parametrisch alternatief). Bruce Thompson heeft een herziene versie van de APA-sectie over effectgrootte.

Googelend over Monte Carlo-onderzoeken naar effectgroottemetingen, vond ik dit paper dat interessant zou kunnen zijn (ik heb alleen de samenvatting en de simulatieopstelling gelezen): Robuuste betrouwbaarheidsintervallen voor effectgroottes: een vergelijkende studie van Cohens d en Cliffs Delta onder niet-normaliteit en Heterogene afwijkingen (pdf).

Over uw tweede opmerking bevat het MBESS R-pakket verschillende hulpprogrammas voor ES-berekening (bijv. smd en gerelateerde functies).

Andere referenties

1. Zakzanis, KK (2001). Statistieken om de waarheid te vertellen, de hele waarheid en niets dan de waarheid: formules, illustratieve numerieke voorbeelden en heuristische interpretatie van effectgrootte-analyses voor neuropsychologische onderzoekers. Archives of Clinical Neuropsychology , 16 (7), 653-667.
2. Durlak, J.A. (2009). Effectgroottes selecteren, berekenen en interpreteren. Journal of Pediatric Psychology

Reacties

• Een anonieme gebruiker wilde de volgende definitie van homoscedasticiteit voor degenen die misschien niet bekend zijn met de term: ” een eigenschap van een reeks willekeurige variabelen waarbij elke variabele dezelfde eindige variantie “.

Het lijkt erop dat wanneer mensen Cohen “sd zeggen, ze meestal bedoelen:

$$ d = \ frac {\ bar {x} _1 – \ bar {x} _2} {s} $$

Waar $ s $ is de gepoolde standaarddeviatie,

$$ s = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2 – 2}} $$

Er zijn andere schatters voor de gepoolde standaarddeviatie, waarschijnlijk de meest voorkomende afgezien van de bovenstaande zijn:

$$ s ^ * = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2}} $$

De notatie is hier opmerkelijk inconsistent, maar soms zeggen mensen dat de $ s ^ * $ (dwz de $ n_1 + n_2 $ -versie) versie heet Cohen “s $ d $ , en reserveer de naam Hedge” s $ g $ voor de v ersie die $ s $ gebruikt (d.w.z. met Bessels correctie, de n1 + n2−2-versie). Dit is een beetje vreemd, aangezien Cohen beide schatters voor de gepoolde standaarddeviatie schetste (bijv. $ s $ versie op p. 67, Cohen, 1977) voordat Hedges erover schreef (Hedges, 1981).

Andere keren is Hedge “sg gereserveerd om te verwijzen naar een van de voor bias gecorrigeerde versies van een gestandaardiseerd gemiddeld verschil dat Hedges ontwikkelde. Hedges (1981) toonde aan dat Cohen” sd opwaarts vooringenomen was (dwz de verwachte waarde is hoger dan de werkelijke waarde van de populatieparameter), vooral in kleine steekproeven, en stelde een correctiefactor voor om de bias van Cohen “sd” te corrigeren:

Hedges “sg (de zuivere schatter ):

$$ g = d * (\ frac {\ Gamma (df / 2)} {\ sqrt {df / 2 \,} \, \ Gamma ((df-1) / 2)}) $$ Waarbij $ df = n_1 + n_2 -2 $ voor een onafhankelijk groepsontwerp, en $ \ Gamma $ is de gammafunctie. (oorspronkelijk Hedges 1981, deze versie ontwikkeld op basis van Hedges en Olkin 1985, p. 104)

Deze correctiefactor is echter redelijk rekenkundig complex, dus Hedges leverde ook een rekenkundig triviale benadering die, hoewel nog steeds enigszins bevooroordeeld, prima is voor bijna alle denkbare doeleinden:

Hedges “ $ g ^ * $ (de computationeel triviale benadering):

$$ g ^ * = d * ( 1 – \ frac {3} {4 (df) – 1}) $$ Waar $ df = n_1 + n_2 -2 $ voor onafhankelijke groepen ontwerp.

(Oorspronkelijk uit Hedges, 1981, deze versie uit Borenstein, Hedges, Higgins, & Rothstein, 2011, p. 27)

Maar wat betreft wat mensen bedoelen als ze Cohen “sd vs. Hedges” g vs. g * zeggen, mensen lijken naar een van deze drie schatters te verwijzen als Hedge “sg of Cohen” sd door elkaar, hoewel ik nog nooit iemand heb gezien schrijf “ $ g ^ * $ ” in een non-methodology / stats research paper. Als iemand “onbevooroordeelde Cohen” sd “zegt, moet je gewoon doe uw beste gok naar een van de laatste twee (en ik denk dat er zelfs een andere benadering is die is gebruikt voor Hedges $ g ^ * $ ook!) .

Ze zijn allemaal vrijwel identiek als $ n > 20 $ of zo, en ze kunnen allemaal op dezelfde manier geïnterpreteerd. Voor alle praktische doeleinden, tenzij u te maken heeft met zeer kleine steekproeven, maakt het waarschijnlijk niet uit welke u gebruikt (hoewel u, als u kunt kiezen, net zo goed degene kunt gebruiken die ik Hedges heb genoemd, aangezien deze is onbevooroordeeld).

Referenties:

Borenstein, M., Hedges, LV, Higgins, JP, & Rothstein, HR (2011). Inleiding tot meta-analyse. West Sussex, Verenigd Koninkrijk: John Wiley & Sons.

Cohen, J. (1977). Statistische machtsanalyse voor de gedragswetenschappen (2e ed.). Hillsdale, NJ, VS: Lawrence Erlbaum Associates, Inc.

Hedges, L. V. (1981). Distribution Theory for Glasss Estimator of Effect Size and Related Estimators. Journal of Educational Statistics, 6 (2), 107-128. Doi: 10.3102 / 10769986006002107

Hedges LV, Olkin I. (1985). Statistische methoden voor meta-analyse. San Diego, CA: Academic Press

Als u alleen probeert de basisbetekenis van Hedges “g, zoals ik ben, zou u dit ook nuttig kunnen vinden:

De omvang van Hedges g kan worden geïnterpreteerd met behulp van Cohen” s (1988 [2]) conventie als klein (0,2), middelgroot (0,5) en groot (0,8). [1]

Hun definitie is kort en duidelijk:

Hedges g is een variant van Cohen “sd die corrigeert voor vertekeningen die te wijten zijn aan kleine steekproeven (Hedges & Olkin, 1985).[1] voetnoot

Ik zou het op prijs stellen als statistiekdeskundigen dit zouden bewerken om belangrijke kanttekeningen te plaatsen bij het kleine (0,2) medium (0,5) en grote (0,8) claim, om niet-experts te helpen voorkomen dat Hedges “g-nummers die worden gebruikt in sociaal-wetenschappelijk en psychologisch onderzoek verkeerd worden geïnterpreteerd.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ Het effect van op mindfulness gebaseerde therapie op angst en depressie: een meta-analytisch overzicht Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt en Diana Oh. J Consult Clin Psychol. 2010 april ; 78 (2): 169-183. Doi: 10.1037 / a0018555

[2] Cohen J. Statistische machtsanalyse voor de gedragswetenschappen. 2e ed. Erlbaum; Hillsdale, NJ: 1988 (geciteerd in [ 1])

Reacties

• +1. Re: small-medium-large, als eerste doorgang, als je geen relevante kennis of context hebt hoe dan ook, deze ‘ t-shirtmaten ‘ zijn oké, maar wat in werkelijkheid een klein of groot effect is, variëren per discipline of onderwerp. Bovendien, alleen omdat een effect ‘ groot ‘ is, betekent niet ‘ het noodzakelijkerwijs ‘ s praktisch belangrijk of theoretisch zinvol.

De andere posters hebben de kwestie van overeenkomsten en verschillen tussen g en d besproken. Om hieraan toe te voegen, zijn sommige wetenschappers van mening dat de door Cohen aangeboden waarden voor effectgrootte veel te genereus zijn, wat leidt tot overinterpretatie van zwakke effecten. Ze zijn ook niet gebonden aan r, wat leidt tot de mogelijkheid dat geleerden heen en weer schakelen om een beter interpreteerbare effectgrootte te verkrijgen. Ferguson (2009, Professional Psychology: Research and PRactice) stelde voor om de volgende waarden te gebruiken voor interpretatie voor g:

.41, als het aanbevolen minimum voor “praktische significantie”. 1.15, matig effect 2.70, sterk effect

Deze zijn duidelijk rigoureuzer / moeilijker te bereiken en niet veel sociaalwetenschappelijke experimenten zullen sterke effecten krijgen … en dat is waarschijnlijk hoe het zou moeten zijn.

Bruce Thompson waarschuwde wel voor het gebruik van Cohens (0.2) zo klein (0.5) als medium en (0.8) zo groot Cohen bedoelde nooit dat deze als rigide interpretaties zouden worden gebruikt. Alle effectgroottes moeten worden geïnterpreteerd op basis van de context van de gerelateerde literatuur. Als je de gerelateerde effectgroottes analyseert die over je onderwerp zijn gerapporteerd en ze zijn (0,1) (0,3) ( 0.24) en je produceert een effect van (0.4) dan kan dat “groot” zijn. Omgekeerd, als alle gerelateerde literatuur effecten heeft van (0.5) (0.6) (0.7) en je hebt het effect van (0.4) kan het zijn als klein beschouwd. Ik weet dat dit een triviaal voorbeeld is, maar absoluut belangrijk. Ik geloof dat Thompson ooit in een paper zei: “We zouden gewoon dom zijn in een andere statistiek” bij het vergelijken van interpretaties van e de perfecte maten voor hoe sociale wetenschappers p-waarden op dat moment interpreteerden.

Effectgrootte is een maat voor associatie, we zouden beschrijf de resultaten altijd in termen van maten van grootte – ons studieresultaat moet niet alleen kunnen vertellen of de behandeling effectief is of niet, maar ook hoeveel het effectief is. Hedges g en Cohen sd zijn ongelooflijk vergelijkbaar. Beiden hebben een opwaartse aanleg (een zwelling) voor naeffecten tot ongeveer 4%. De twee inzichten zijn fundamenteel hetzelfde als met uitzondering van wanneer de testgroottes onder de 20 zijn, wanneer Hedges “g beats Cohen” s d. Ondersteunt “g wordt daarom af en toe de herstelde impactgrootte genoemd.

• Voor zeer kleine steekproefgroottes (< 20) kies Hedges g over Cohens d.
• Voor steekproefgroottes> 20 zijn de resultaten voor beide statistieken ongeveer gelijk.

Zowel Cohens d als Hedges g heeft zelfde interpretatie:

• Klein effect (kan niet met het blote oog worden waargenomen) = 0.2
• Gemiddeld effect = 0.5
• Groot effect (kan worden gezien met het blote oog) = 0,8