Diferencia entre Cohen ' sd y Hedges ' g para las métricas del tamaño del efecto

Tanto Cohen» sd como Hedges «g agrupa las varianzas en el supuesto de que las variaciones de la población sean iguales, pero g agrupa utilizando n – 1 para cada muestra en lugar de n, lo que proporciona una mejor estimación, especialmente cuanto más pequeños son los tamaños de muestra. Tanto d como g tienen un sesgo algo positivo, pero solo insignificante para tamaños de muestra moderados o más grandes. El sesgo se reduce usando g *. El d by Glass no asume varianzas iguales, por lo que utiliza el sd de un grupo de control o un grupo de comparación de línea de base como el estandarizador para la diferencia entre las dos medias.

Estos tamaños de efecto y Cliff «s y otros Los tamaños del efecto no paramétrico se analizan en detalle en mi libro:

Grissom, RJ, & Kim, J, J. (2005). Tamaños del efecto para la investigación: A enfoque práctico amplio. Mahwah, NJ: Erlbaum.

A mi entender, Hedges «sg es una versión algo más precisa de Cohen «sd (con SD agrupada) en el sentido de que agregamos un factor de corrección para una muestra pequeña. Ambas medidas generalmente concuerdan cuando no se viola el supuesto de homocedasticidad, pero podemos encontrar situaciones en las que este no es el caso, ver, por ejemplo, McGrath & Meyer, Métodos psicológicos 2006, 11 (4) : 386-401. Otros documentos se enumeran al final de mi respuesta.

En general, encontró que en casi todos los estudios psicológicos o biomédicos, esta es la d de Cohen que se informa; esto probablemente se deriva de la conocida regla de oro para interpretar su magnitud (Cohen, 1988). No conozco ningún artículo reciente que considere a Hedges «s g (o Cliff delta como una alternativa no paramétrica). Bruce Thompson tiene una versión revisada de la sección APA sobre el tamaño del efecto.

Al buscar en Google sobre los estudios de Monte Carlo sobre las medidas del tamaño del efecto, encontré esto artículo que podría ser interesante (solo leí el resumen y la configuración de la simulación): Intervalos de confianza robustos para tamaños de efecto: un estudio comparativo de Cohens dy Cliffs Delta en condiciones no normales y Varianzas heterogéneas (pdf).

Acerca de su segundo comentario, el paquete MBESS R incluye varias utilidades para el cálculo de ES (por ejemplo, smd y funciones relacionadas).

Otras referencias

1. Zakzanis, KK (2001). Estadísticas para decir la verdad, toda la verdad y nada más que la verdad: fórmulas, ejemplos numéricos ilustrativos e interpretación heurística de análisis del tamaño del efecto para investigadores neuropsicológicos. Archives of Clinical Neuropsychology , 16 (7), 653-667.
2. Durlak, J.A. (2009). Cómo seleccionar, calcular e interpretar los tamaños de los efectos. Journal of Pediatric Psychology

Comentarios

• Un usuario anónimo quería agregar la siguiente definición de homocedasticidad para aquellos que no estén familiarizados con el término: » una propiedad de un conjunto de variables aleatorias donde cada variable tiene la misma varianza finita «.

Parece que cuando la gente dice Cohen «sd, en su mayoría se refieren a:

$$ d = \ frac {\ bar {x} _1 – \ bar {x} _2} {s} $$

Donde $ s $ es la desviación estándar agrupada,

$$ s = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2 – 2}} $$

Hay otros estimadores para la desviación estándar combinada, probablemente el más común aparte de lo anterior es:

$$ s ^ * = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2}} $$

La notación aquí es notablemente inconsistente, pero a veces la gente dice que la versión $ s ^ * $ (es decir, la versión $ n_1 + n_2 $ ) La versión se llama Cohen «s $ d $ y reserva el nombre Hedge» s $ g $ para el v ersión que usa $ s $ (es decir, con la corrección de Bessel, la versión n1 + n2−2). Esto es un poco extraño ya que Cohen describió ambos estimadores para la desviación estándar combinada (por ejemplo, versión $ s $ en la p. 67, Cohen, 1977) antes de que Hedges escribiera sobre ellos (Hedges, 1981).

En otras ocasiones, Hedge «sg se reserva para referirse a cualquiera de las versiones corregidas por sesgo de una diferencia de medias estandarizada que desarrolló Hedges. Hedges (1981) mostró que Cohen» sd estaba sesgado hacia arriba (es decir, su valor esperado es más alto que el valor del parámetro de población real), especialmente en muestras pequeñas, y propuso un factor de corrección para corregir el sesgo «sd» de Cohen:

Hedges «sg (el estimador insesgado ):

$$ g = d * (\ frac {\ Gamma (df / 2)} {\ sqrt {df / 2 \,} \, \ Gamma ((df-1) / 2)}) $$ Donde $ df = n_1 + n_2 -2 $ para un diseño de grupos independientes, y $ \ Gamma $ es la función gamma (originalmente Hedges 1981, esta versión desarrollada a partir de Hedges y Olkin 1985, p. 104)

Sin embargo, este factor de corrección es bastante complejo computacionalmente, por lo que Hedges también proporcionó una aproximación computacionalmente trivial que, aunque todavía está ligeramente sesgada, está bien para casi todos los propósitos imaginables:

Hedges « $ g ^ * $ (la aproximación computacionalmente trivial):

$$ g ^ * = d * ( 1 – \ frac {3} {4 (df) – 1}) $$ Donde $ df = n_1 + n_2 -2 $ para grupos independientes diseño.

(Originalmente de Hedges, 1981, esta versión de Borenstein, Hedges, Higgins, & Rothstein, 2011, p. 27)

Pero, en cuanto a lo que la gente quiere decir cuando dice Cohen «sd vs. Hedges» g vs. g *, la gente parece referirse a cualquiera de estos tres estimadores como Hedge «sg o Cohen» sd indistintamente, aunque nunca he visto a alguien escribir « $ g ^ * $ » en un artículo de investigación no metodológico / estadístico. Si alguien dice «Cohen imparcial» sd «, simplemente tendrás que adivine lo mejor que pueda en cualquiera de los dos últimos (y creo que incluso podría haber otra aproximación que se haya utilizado para Hedge «s $ g ^ * $ también) .

Todos son prácticamente idénticos si $ n > 20 $ más o menos, y todos pueden ser interpretado de la misma manera. Para todos los propósitos prácticos, a menos que esté tratando con tamaños de muestra realmente pequeños, probablemente no importa cuál use (aunque si puede elegir, también puede usar el que he llamado Hedges «g, ya que es imparcial).

Referencias:

Borenstein, M., Hedges, LV, Higgins, JP, & Rothstein, HR (2011). Introducción al metaanálisis. West Sussex, Reino Unido: John Wiley & Sons.

Cohen, J. (1977). Análisis de poder estadístico para las ciencias del comportamiento (2ª ed.). Hillsdale, Nueva Jersey, EE.UU .: Lawrence Erlbaum Associates, Inc.

Hedges, L. V. (1981). Teoría de distribución para estimador de tamaño del efecto y estimadores relacionados de Glass. Journal of Educational Statistics, 6 (2), 107-128. Doi: 10.3102 / 10769986006002107

Hedges LV, Olkin I. (1985). Métodos estadísticos para el metanálisis. San Diego, CA: Academic Press

Si solo está tratando de comprender significado básico de Hedges «g, como yo, también puede encontrar esto útil:

La magnitud de Hedges g se puede interpretar usando Cohen» s (1988 [2]) como pequeña (0,2), mediana (0,5) y grande (0,8). [1]

Su definición es breve y clara:

Hedges g es una variación de Cohen «sd que corrige los sesgos debidos a tamaños de muestra pequeños (Hedges & Olkin, 1985).[1] nota a pie de página

Agradecería que los expertos en estadística editen esto para agregar advertencias importantes a las pequeñas (0.2) medianas (0.5) y grandes (0.8) afirman, para ayudar a los no expertos a evitar malinterpretar los números de Hedges «g utilizados en la investigación de ciencias sociales y psicología.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ El efecto de la terapia basada en la atención plena sobre la ansiedad y la depresión: una revisión metaanalítica Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt y Diana Oh. J Consult Clin Psychol. 2010 abril ; 78 (2): 169-183. Doi: 10.1037 / a0018555

[2] Cohen J. Análisis de poder estadístico para las ciencias del comportamiento. 2.a ed. Erlbaum; Hillsdale, NJ: 1988 (citado en [ 1])

Comentarios

• +1. Re: pequeño-mediano-grande, como primer paso, si no tiene conocimientos o contexto relevantes En cualquier caso, estas ‘ tallas de camiseta ‘ están bien, pero en realidad, lo que es un efecto pequeño o grande varían según la disciplina o el tema. Además, el hecho de que un efecto sea ‘ grande ‘ no ‘ necesariamente significa que ‘ s prácticamente importante o teóricamente significativo.

El otros carteles han cubierto el tema de las similitudes y diferencias entre g y d. Solo para agregar a esto, algunos académicos sienten que los valores del tamaño del efecto ofrecidos por Cohen son demasiado generosos, lo que lleva a una interpretación excesiva de los efectos débiles. Tampoco están vinculados a r, lo que lleva a la posibilidad de que los académicos se conviertan de un lado a otro para obtener tamaños de efecto interpretables de manera más favorable. Ferguson (2009, Psicología profesional: Investigación y práctica) sugirió usar los siguientes valores para la interpretación de g:

.41, como el mínimo recomendado para «significado práctico». 1.15, efecto moderado 2.70, efecto fuerte

Obviamente, estos son más rigurosos / difíciles de lograr y no muchos experimentos de ciencias sociales van a lograr efectos fuertes … que es probablemente como debería ser.

Bruce Thompson advirtió sobre el uso de Cohen «s (0.2) tan pequeño (0.5) como mediano y (0.8) tan grande . Cohen nunca quiso que se utilizaran como interpretaciones rígidas. Todos los tamaños del efecto deben interpretarse en función del contexto de la literatura relacionada. Si está analizando los tamaños del efecto relacionados informados sobre su tema y son (0,1) (0,3) ( 0.24) y produce un efecto de (0.4), entonces eso puede ser «grande». A la inversa, si toda la literatura relacionada tiene efectos de (0.5) (0.6) (0.7) y tiene el efecto de (0.4), puede ser Considerado pequeño. Sé que este es un ejemplo trivial pero imperativamente importante. Creo que Thompson dijo una vez en un artículo, «Simplemente seríamos estúpidos en una métrica diferente» al comparar interpretaciones de e tamaños de los efectos en la forma en que los científicos sociales interpretaban los valores p en ese momento.

El tamaño del efecto es una medida de asociación, deberíamos Siempre describa los resultados en términos de medidas de magnitud: el resultado de nuestro estudio debe poder decir no solo si el tratamiento es efectivo o no, sino en qué medida es efectivo. Hedges gy Cohen «sd son increíblemente comparables. Ambos tienen una predisposición al alza (una hinchazón) en los efectos secundarios de hasta aproximadamente el 4%. Los dos conocimientos son fundamentalmente los mismos que con la excepción de cuando los tamaños de prueba están por debajo de 20, cuando Hedges «g supera a Cohen» s d. Apoya «g se denomina de vez en cuando tamaño de impacto remediado.

• Para tamaños de muestra muy pequeños (< 20) elija la g de Hedges sobre la d de Cohen.
• Para tamaños de muestra> 20, los resultados de ambas estadísticas son aproximadamente equivalentes.

Tanto la d de Cohen como la g de Hedges tienen misma interpretación:

• Efecto pequeño (no se puede discernir a simple vista) = 0.2
• Efecto medio = 0.5
• Efecto grande (se puede ver a simple vista) = 0.8