Forskjellen mellom Cohen ' sd og Hedges ' g for effektstørrelsesmålinger

Både Cohen» sd og Hedges «g bassengavvik på antagelsen om like populasjonsavvik, men g bassenger som bruker n – 1 for hver prøve i stedet for n, noe som gir et bedre estimat, spesielt jo mindre prøvestørrelsene. Både d og g er noe positivt forutinntatt, men bare ubetydelig for moderat eller større prøvestørrelser. Bias reduseres ved hjelp av g *. D av Glass antar ikke like avvik, så den bruker sd til en kontrollgruppe eller baseline sammenligningsgruppe som standardiserende for forskjellen mellom de to midlene.

Disse effektstørrelsene og Cliffs og andre ikke-parametriske effektstørrelser blir diskutert i detalj i boka mi:

Grissom, RJ, & Kim, J, J. (2005). Effektstørrelser for forskning: A bred praktisk tilnærming. Mahwah, NJ: Erlbaum.

Etter min forståelse er Hedges «sg en noe mer nøyaktig versjon av Cohen «sd (med samlet SD) ved at vi legger til en korreksjonsfaktor for liten prøve. Begge tiltakene er generelt enige når antagelsen om homoscedasticitet ikke blir brutt, men vi kan finne situasjoner der dette ikke er tilfelle, se f.eks. McGrath & Meyer, Psykologiske metoder 2006, 11 (4) : 386-401. Andre papirer er oppført på slutten av svaret mitt.

Jeg generelt fant ut at i nesten alle psykologiske eller biomedisinske studier er dette Cohens d som er rapportert; dette står sannsynligvis fra den velkjente tommelfingerregelen for å tolke dens størrelse (Cohen, 1988). Jeg vet ikke om noe nyere papir som vurderer Hedges s g (eller Cliff delta som et ikke-parametrisk alternativ). Bruce Thompson har en revidert versjon av APA-delen om effektstørrelse.

Googling om Monte Carlo-studier rundt effektstørrelsesmål, jeg fant dette papir som kan være interessant (jeg leste bare abstrakt og simuleringsoppsett): Robuste tillitsintervaller for effektstørrelser: En komparativ studie av Cohens d og Cliffs Delta Under Non-normalality and Heterogene avvik (pdf).

Om den andre kommentaren din inneholder MBESS R-pakken forskjellige verktøy for ES-beregning (f.eks. smd og relaterte funksjoner).

Andre referanser

1. Zakzanis, KK (2001). Statistikk for å fortelle sannheten, hele sannheten og ingenting annet enn sannheten: Formler, illustrative numeriske eksempler og heuristisk tolkning av effektstørrelsesanalyser for nevropsykologiske forskere. Archives of Clinical Neuropsychology , 16 (7), 653-667.
2. Durlak, J.A. (2009). Hvordan velge, beregne og tolke effektstørrelser. Journal of Pediatric Psychology

Kommentarer

• En anonym bruker ønsket å legge til følgende definisjon av homoscedasticity for de som kanskje ikke er kjent med begrepet: » en egenskap til et sett med tilfeldige variabler der hver variabel har den samme endelige variansen «.

Det ser ut til at når folk sier Cohen «sd, mener de mest:

$$ d = \ frac {\ bar {x} _1 – \ bar {x} _2} {s} $$

Hvor $ s $ er den samlede standardavviket,

$$ s = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2 – 2}} $$

Det er andre estimatorer for den samlede standardavviket, sannsynligvis den vanligste bortsett fra det ovennevnte:

$$ s ^ * = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2}} $$

Merknad her er bemerkelsesverdig inkonsekvent, men noen ganger sier folk at $ s ^ * $ (dvs. $ n_1 + n_2 $ versjonen) versjonen heter Cohen «s $ d $ , og reserver navnet Hedge» s $ g $ for v ersjon som bruker $ s $ (dvs. med Bessels korreksjon, versjonen n1 + n2−2). Dette er litt rart da Cohen skisserte begge estimatorene for den samlede standardavviket (f.eks. $ s $ -versjonen på s. 67, Cohen, 1977) før Hedges skrev om dem (Hedges, 1981).

Andre ganger er Hedge «sg reservert for å referere til en av de skjevhetskorrigerte versjonene av en standardisert gjennomsnittsforskjell som Hedges utviklet. Hedges (1981) viste at Cohen» sd var oppadgående partisk (dvs. den forventede verdien er høyere enn den sanne populasjonsparameterverdien), spesielt i små prøver, og foreslo en korreksjonsfaktor for å korrigere for Cohen «sd» s bias:

Hedges «sg (den objektive estimatoren ):

$$ g = d * (\ frac {\ Gamma (df / 2)} {\ sqrt {df / 2 \,} \, \ Gamma ((df-1) / 2)}) $$ Hvor $ df = n_1 + n_2 -2 $ for et uavhengig gruppedesign, og $ \ Gamma $ er gamma-funksjonen. (opprinnelig Hedges 1981, denne versjonen utviklet fra Hedges og Olkin 1985, s. 104)

Denne korreksjonsfaktoren er imidlertid ganske beregningsmessig kompleks, så Hedges ga også en beregningsmessig triviell tilnærming som, selv om den fremdeles er litt forutinntatt, er bra for nesten alle tenkelige formål: class = «math-container»> $ g ^ * $ (den beregningsmessige trivielle tilnærmingen):

$$ g ^ * = d * ( 1 – \ frac {3} {4 (df) – 1}) $$ Hvor $ df = n_1 + n_2 -2 $ for uavhengige grupper design.

(Opprinnelig fra Hedges, 1981, denne versjonen fra Borenstein, Hedges, Higgins, & Rothstein, 2011, s. 27)

Men når det gjelder hva folk mener når de sier Cohen «sd vs. Hedges» g vs g *, ser det ut til at folk refererer til noen av disse tre estimatorene som Hedge «sg eller Cohen» sd om hverandre, selv om jeg aldri har sett noen skriv « $ g ^ * $ » i en ikke-metodikk / statistikk-forskningsoppgave. Hvis noen sier «objektiv Cohen» sd «, må du bare ta ditt beste gjetning på en av de to siste (og jeg tror det kan til og med være en annen tilnærming som har blitt brukt til Hedge «s $ g ^ * $ også!) .

De er nesten identiske hvis $ n > 20 $ eller så, og alt kan være tolket på samme måte. For alle praktiske formål, med mindre du har å gjøre med veldig små utvalgstørrelser, betyr det sannsynligvis ikke noe du bruker (selv om du kan velge, kan du like godt bruke den jeg har kalt Hedges «g, som den er objektiv).

Referanser :

Borenstein, M., Hedges, LV, Higgins, JP, & Rothstein, HR (2011). Introduksjon til metaanalyse. West Sussex, Storbritannia: John Wiley & Sons.

Cohen, J. (1977). Statistisk kraftanalyse for atferdsvitenskap (2. utg.). Hillsdale, NJ, USA: Lawrence Erlbaum Associates, Inc.

Hedges, L. V. (1981). Distribusjonsteori for glass «Estimator of Effect size and Related Estimators. Journal of Educational Statistics, 6 (2), 107-128. Doi: 10.3102 / 10769986006002107

Hedges LV, Olkin I. (1985). Statistiske metoder for metaanalyse San Diego, CA: Academic Press

Hvis du bare prøver å forstå grunnleggende betydning av Hedges «g, som jeg er, kan du også finne dette nyttig:

Størrelsen på Hedges g kan tolkes ved hjelp av Cohens (1988 [2]) konvensjon som liten (0,2), middels (0,5) og stor (0,8). [1]

Deres definisjon er kort og tydelig:

Hedges g er en variant av Cohen «sd som korrigerer for skjevheter på grunn av små utvalgstørrelser (Hedges & Olkin, 1985).[1] fotnote

Jeg vil sette pris på statistikkeksperter som redigerer dette for å legge til viktige advarsler til det lille (0,2) medium (0,5) og det store (0,8) påstå, for å hjelpe ikke-eksperter med å unngå feiltolking av Hedges «g-tall brukt i samfunnsvitenskapelig og psykologisk forskning.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ Effekten av mindfulness-basert terapi på angst og depresjon: En meta-analytisk gjennomgang Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt og Diana Oh. J Consult Clin Psychol. 2010 april ; 78 (2): 169–183. Doi: 10.1037 / a0018555

[2] Cohen J. Statistical power analysis for the behavioral sciences. 2. utg. Erlbaum; Hillsdale, NJ: 1988 (sitert i [ 1])

Kommentarer

• +1. Re: liten-medium-stor, som et første pass, hvis du ikke har relevant kunnskap eller kontekst overhodet, disse ‘ t-skjortestørrelsene ‘ er OK, men i virkeligheten vil det som er en liten eller stor effekt varierer etter disiplin eller tema. Dessuten, bare fordi en effekt er ‘ stor ‘, betyr det ikke ‘ t nødvendigvis det ‘ er praktisk viktig eller teoretisk meningsfullt.

andre plakater har dekket spørsmålet om likheter og forskjeller mellom g og d. Bare for å legge til dette, føler noen forskere at effektstørrelsesverdiene som Cohen tilbyr er altfor sjenerøse, noe som fører til overfortolkning av svake effekter. De er heller ikke bundet til r, noe som fører til at forskere kan konvertere frem og tilbake for å oppnå mer fordelaktige tolkbare effektstørrelser. Ferguson (2009, Professional Psychology: Research and PRactice) foreslo å bruke følgende verdier for tolkning for g:

.41, som anbefalt minimum for «praktisk betydning.» 1,15, moderat effekt 2,70, sterk effekt

Disse er tydeligvis strengere / vanskeligere å oppnå, og ikke mange samfunnsvitenskapelige eksperimenter kommer til å komme til sterke effekter … som sannsynligvis er hvordan det skal være.

Bruce Thompson advarte om å bruke Cohen «s (0.2) så liten (0.5) som medium og (0.8) så stor Cohen har aldri ment at disse skal brukes som stive tolkninger. Alle effektstørrelser må tolkes ut fra konteksten til den relaterte litteraturen. Hvis du analyserer de relaterte effektstørrelsene som er rapportert om emnet ditt, og de er (0.1) (0.3) ( 0,24) og du produserer en effekt på (0,4), så kan den være «stor». Omvendt, hvis all relatert litteratur har effekter på (0,5) (0,6) (0,7) og du har effekten av (0,4) kan det være Jeg vet at dette er et trivielt eksempel, men uunnværlig viktig. Jeg tror Thompson en gang uttalte i en artikkel: «Vi ville bare være dumme i en annen beregning» når vi sammenligner tolkninger av e fektstørrelser til hvordan samfunnsvitere tolket p-verdier på den tiden.

Effektstørrelse er mål for tilknytning, vi bør beskriv alltid resultatene i form av størrelsesmålinger – vårt studieresultat må være i stand til å fortelle ikke bare om behandlingen er effektiv eller ikke, men hvor mye den er effektiv. Hedges g og Cohen «sd er utrolig sammenlignbare. Begge har en oppadgående disposisjon (en hevelse) i ettervirkninger på opptil ca 4%. De to innsiktene er fundamentalt de samme som med unntak av når teststørrelser er under 20, når Hedges «g slår Cohen» s d. Støtter «g blir derfor gang på gang kalt den utbedrede støtstørrelsen.

• For veldig små utvalgstørrelser (< 20) velg Hedges g over Cohens d.
• For prøvestørrelser> 20 er resultatene for begge statistikkene omtrent likeverdige.

Både Cohens d og Hedges g har samme tolkning:

• Liten effekt (kan ikke skelnes med det blotte øye) = 0,2
• Medium effekt = 0,5
• Stor effekt (kan sees med det blotte øye) = 0,8