Diferença entre Cohen ' sd e Hedges ' g para métricas de tamanho de efeito

Ambos Cohen” sd e Hedges “g pool variâncias na suposição de variâncias populacionais iguais, mas g pools usando n – 1 para cada amostra em vez de n, o que fornece uma estimativa melhor, especialmente quanto menor o tamanho da amostra. Tanto d quanto g são um tanto tendenciosos positivamente, mas apenas insignificantes para tamanhos de amostra moderados ou maiores. A polarização é reduzida usando g *. O d de Glass não assume variâncias iguais, então ele usa o sd de um grupo de controle ou grupo de comparação de linha de base como o padronizador para a diferença entre as duas médias.

Esses tamanhos de efeito e penhascos e outros tamanhos de efeito não paramétricos são discutidos em detalhes em meu livro:

Grissom, RJ, & Kim, J, J. (2005). Tamanhos de efeito para pesquisa: A abordagem prática ampla. Mahwah, NJ: Erlbaum.

No meu entendimento, Hedges “sg é uma versão um pouco mais precisa de Cohen “sd (com SD agrupado) em que adicionamos um fator de correção para amostra pequena. Ambas as medidas geralmente concordam quando a suposição de homocedasticidade não é violada, mas podemos encontrar situações em que esse não é o caso, consulte, por exemplo, McGrath & Meyer, Métodos psicológicos 2006, 11 (4) : 386-401. Outros artigos estão listados no final da minha resposta.

Eu geralmente descobriram que em quase todos os estudos psicológicos ou biomédicos, este é o d de Cohen que é relatado; isso provavelmente se distancia da conhecida regra prática para interpretar sua magnitude (Cohen, 1988). Não conheço nenhum artigo recente considerando Hedges “s g (ou Cliff delta como uma alternativa não paramétrica). Bruce Thompson tem uma versão revisada da seção APA sobre o tamanho do efeito.

Pesquisando no Google sobre estudos de Monte Carlo sobre medidas de tamanho do efeito, encontrei este papel que pode ser interessante (eu só li o resumo e a configuração da simulação): Intervalos de confiança robustos para tamanhos de efeito: um estudo comparativo de d de Cohen e Delta de Cliff sob não normalidade e Variâncias heterogêneas (pdf).

Sobre seu segundo comentário, o MBESS pacote R inclui vários utilitários para cálculo ES (por exemplo, smd e funções relacionadas).

Outras referências

1. Zakzanis, KK (2001). Estatísticas para dizer a verdade, toda a verdade e nada além da verdade: fórmulas, exemplos numéricos ilustrativos e interpretação heurística de análises de tamanho de efeito para pesquisadores neuropsicológicos. Archives of Clinical Neuropsychology , 16 (7), 653-667.
2. Durlak, J.A. (2009). Como selecionar, calcular e interpretar tamanhos de efeito. Journal of Pediatric Psychology

Comentários

• Um usuário anônimo queria adicionar a seguinte definição de homocedasticidade para aqueles que podem não estar familiarizados com o termo: ” uma propriedade de um conjunto de variáveis aleatórias onde cada variável tem a mesma variância finita “.

Parece que quando as pessoas dizem Cohen “sd, a maioria quer dizer:

$$ d = \ frac {\ bar {x} _1 – \ bar {x} _2} {s} $$

Onde $ s $ é o desvio padrão agrupado,

$$ s = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2 – 2}} $$

Existem outros estimadores para o desvio padrão agrupado, provavelmente o mais comum além do acima, sendo:

$$ s ^ * = \ sqrt {\ frac {\ sum (x_1 – \ bar {x} _1) ^ 2 + (x_2 – \ bar {x} _2) ^ 2} {n_1 + n_2}} $$

A notação aqui é notavelmente inconsistente, mas às vezes as pessoas dizem que a versão $ s ^ * $ (ou seja, a versão $ n_1 + n_2 $ ) versão é chamada Cohen “s $ d $ e reserve o nome Hedge” s $ g $ para o v ersão que usa $ s $ (ou seja, com a correção de Bessel, a versão n1 + n2−2). Isso é um pouco estranho, pois Cohen descreveu ambos os estimadores para o desvio padrão agrupado (por exemplo, $ s $ versão na pág. 67, Cohen, 1977) antes de Hedges escrever sobre eles (Hedges, 1981).

Outras vezes, Hedge “sg é reservado para se referir a qualquer uma das versões corrigidas de viés de uma diferença de média padronizada que Hedges desenvolveu. Hedges (1981) mostrou que Cohen” sd era tendencioso para cima (ou seja, seu valor esperado é maior do que o valor do parâmetro real da população), especialmente em pequenas amostras, e propôs um fator de correção para corrigir o viés “sd” de Cohen:

Hedges “sg (o estimador imparcial ):

$$ g = d * (\ frac {\ Gamma (df / 2)} {\ sqrt {df / 2 \,} \, \ Gamma ((df-1) / 2)}) $$ Onde $ df = n_1 + n_2 -2 $ para um projeto de grupos independentes, e $ \ Gamma $ é a função gama. (originalmente Hedges 1981, esta versão desenvolvida de Hedges and Olkin 1985, p. 104)

No entanto, esse fator de correção é bastante complexo computacionalmente, então Hedges também forneceu uma aproximação computacionalmente trivial que, embora ainda ligeiramente enviesada, é adequada para quase todos os propósitos concebíveis:

Hedges “ $ g ^ * $ (a aproximação computacionalmente trivial):

$$ g ^ * = d * ( 1 – \ frac {3} {4 (df) – 1}) $$ Onde $ df = n_1 + n_2 -2 $ para grupos independentes Projeto.

(Originalmente de Hedges, 1981, esta versão de Borenstein, Hedges, Higgins, & Rothstein, 2011, p. 27)

Mas, quanto ao que as pessoas querem dizer quando dizem Cohen “sd vs. Hedges” g vs. g *, as pessoas parecem se referir a qualquer um desses três estimadores como Hedge “sg ou Cohen” sd indistintamente, embora eu nunca tenha visto alguém escreva “ $ g ^ * $ ” em um documento de pesquisa sem metodologia / estatísticas. Se alguém disser “Cohen imparcial” sd “, você simplesmente terá que dê seu melhor palpite em qualquer um dos dois últimos (e eu acho que pode até haver outra aproximação que foi usada para Hedge “s $ g ^ * $ também!) .

Eles são todos virtualmente idênticos se $ n > 20 $ ou mais, e todos podem ser interpretado da mesma maneira. Para todos os efeitos práticos, a menos que você esteja lidando com tamanhos de amostra realmente pequenos, provavelmente não importa qual você usar (embora se você puder escolher, você também pode usar aquele que eu chamei de Hedges “g, pois é imparcial).

Referências:

Borenstein, M., Hedges, LV, Higgins, JP, & Rothstein, HR (2011). Introdução à meta-análise. West Sussex, Reino Unido: John Wiley & Sons.

Cohen, J. (1977). Análise estatística de poder para as ciências do comportamento (2ª ed.). Hillsdale, NJ, US: Lawrence Erlbaum Associates, Inc.

Hedges, L. V. (1981). Distribution Theory for Glass “s Estimator of Effect size and Related Estimators. Journal of Educational Statistics, 6 (2), 107-128. Doi: 10.3102 / 10769986006002107

Hedges LV, Olkin I. (1985). Métodos estatísticos para meta-análise. San Diego, CA: Academic Press

Se você está apenas tentando entender o significado básico de Hedges “g, como eu, você também pode achar isso útil:

A magnitude de Hedges g pode ser interpretada usando Cohen” s (1988 [2]) convenção como pequeno (0,2), médio (0,5) e grande (0,8). [1]

Sua definição é curta e clara:

Hedges g é uma variação de Cohen “sd que corrige vieses devido a pequenos tamanhos de amostra (Hedges & Olkin, 1985).[1] nota de rodapé

Eu agradeceria que os especialistas em estatística editassem isso para adicionar quaisquer advertências importantes para o pequeno (0,2) médio (0,5) e o grande (0,8) afirmam, para ajudar não especialistas a evitar interpretações errôneas de Hedges “números g usados em ciências sociais e pesquisas em psicologia.

[1] http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2848393/ O efeito da terapia baseada na atenção plena na ansiedade e na depressão: uma revisão meta-analítica Stefan G. Hofmann, Alice T. Sawyer, Ashley A. Witt e Diana Oh. J Consult Clin Psychol. Abril de 2010 ; 78 (2): 169-183. Doi: 10.1037 / a0018555

[2] Cohen J. Statistical power analysis for the behavioral sciences. 2ª ed. Erlbaum; Hillsdale, NJ: 1988 (citado em [ 1])

Comentários

• +1. Re: pequeno-médio-grande, como uma primeira passagem, se você não tiver nenhum conhecimento ou contexto relevante de qualquer forma, esses ‘ tamanhos de camisetas ‘ estão OK, mas na realidade, o que é um efeito pequeno ou grande, variam por disciplina ou tópico. Além disso, só porque um efeito é ‘ grande ‘ não ‘ significa necessariamente que ‘ é praticamente importante ou teoricamente significativo.

O outros cartazes cobriram a questão das semelhanças e diferenças entre ge d. Apenas para acrescentar a isso, alguns estudiosos acham que os valores do tamanho do efeito oferecidos por Cohen são generosos demais, levando a uma interpretação exagerada dos efeitos fracos. Eles também não estão vinculados a r, o que leva à possibilidade de que os estudiosos possam fazer conversões para obter tamanhos de efeito interpretáveis mais favoravelmente. Ferguson (2009, Professional Psychology: Research and PRactice) sugeriu usar os seguintes valores para interpretação de g:

.41, como o mínimo recomendado para “significado prático”. 1,15, efeito moderado 2,70, efeito forte

Esses são obviamente mais rigorosos / difíceis de alcançar e não muitos experimentos de ciências sociais vão chegar a efeitos fortes … o que provavelmente é como deveria ser.

Bruce Thompson alertou sobre o uso de Cohen “s (0,2) tão pequeno (0,5) quanto médio e (0,8) tão grande . Cohen nunca pretendeu que eles fossem usados como interpretações rígidas. Todos os tamanhos de efeito devem ser interpretados com base no contexto da literatura relacionada. Se você estiver analisando os tamanhos de efeito relacionados relatados em seu tópico, eles são (0,1) (0,3) ( 0,24) e você produz um efeito de (0,4), então isso pode ser “grande”. Por outro lado, se toda a literatura relacionada tem efeitos de (0,5) (0,6) (0,7) e você tem o efeito de (0,4), pode ser considerado pequeno. Sei que este é um exemplo trivial, mas de importância fundamental. Acredito que Thompson uma vez declarou em um artigo: “Seríamos apenas estúpidos em uma métrica diferente” ao comparar interpretações de e tamanhos perfeitos de como os cientistas sociais interpretavam os valores p na época.

O tamanho do efeito é uma medida de associação, devemos sempre descreva os resultados em termos de medidas de magnitude – o resultado do nosso estudo deve ser capaz de dizer não apenas se o tratamento é eficaz ou não, mas o quanto ele é eficaz. Hedges g e Cohen “sd são incrivelmente comparáveis. Ambos têm uma predisposição para cima (um inchaço) nos efeitos colaterais de até 4%. Os dois insights são fundamentalmente os mesmos, exceto quando os tamanhos dos testes são inferiores a 20, quando Hedges “g vence Cohen” s d. Suporta “g é conseqüentemente chamado de tamanho de impacto corrigido.

• Para tamanhos de amostra muito pequenos (< 20) escolha Hedges g em vez de Cohens d.
• Para tamanhos de amostra> 20, os resultados para ambas as estatísticas são aproximadamente equivalentes.

Ambos Cohens d e Hedges g tem mesma interpretação:

• Efeito pequeno (não pode ser discernido a olho nu) = 0,2
• Efeito médio = 0,5
• Efeito grande (pode ser visto a olho nu) = 0,8