¿Por qué la curtosis positiva alta es problemática para las pruebas de hipótesis?

escuché […] que una curtosis positiva alta de residuos puede ser problemática para pruebas de hipótesis e intervalos de confianza precisos (y por lo tanto problemas con estadísticas inferencia). ¿Es esto cierto y, de ser así, por qué?

Para algunos tipos de prueba de hipótesis, es cierto.

¿Una curtosis positiva alta de residuos no indicaría que la mayoría de los residuos están cerca de la media residual de 0 y, por lo tanto, están presentes residuos menos grandes?

No .

Parece que estás fusionando el concepto de varianza con el de curtosis. Si la varianza fuera menor, entonces se juntaría una tendencia a más residuos pequeños y menos residuos grandes. Imagine que mantenemos la desviación estándar constante mientras cambiamos la curtosis (por lo que definitivamente estamos hablando de cambios en la curtosis en lugar de en la varianza).

Compare diferentes varianzas (pero la misma curtosis):

con diferente curtosis pero la misma variación:

(imágenes de esta publicación )

Una curtosis alta se asocia en muchos casos con más pequeñas desviaciones de la media $ ^ \ ddagger $ : más residuos pequeños de los que encontrarías con una distribución normal … pero para mantener la desviación estándar en el mismo valor, también debemos tener más residuos grandes (porque tener más residuos pequeños haría que la distancia típica de la media fuera más pequeña). Para obtener más de los residuos grandes y pequeños, tendrá menos residuos de «tamaño típico», los que se encuentran aproximadamente a una desviación estándar de la media.

$ \ ddagger $ depende de cómo defina «pequeñez»; no puede simplemente agregar muchos residuos grandes y mantener la varianza constante, necesita algo para compensarlo, pero para una medida dada de «pequeña», puede encontrar formas de aumentar la curtosis sin aumentar esa medida en particular (por ejemplo, una curtosis más alta no implica automáticamente un pico más alto como tal)

Una curtosis más alta tiende a ir con residuos más grandes, incluso cuando mantiene la varianza constante.

[Además, en algunos casos, la concentración de pequeños residuos en realidad puede conducir a un problema mayor que la fracción adicional de los residuos más grandes, dependiendo de lo que esté mirando]

De todos modos, veamos un ejemplo. Considere una prueba t para una muestra y un tamaño de muestra de 10.

Si rechazamos la hipótesis nula cuando el valor absoluto del estadístico t es mayor que 2.262, entonces cuando las observaciones son independientes, de manera idéntica distribuida a partir de una distribución normal, y la media hipotética es la media real de la población, rechazaremos la hipótesis nula el 5% de las veces.

Considere una distribución particular con una curtosis sustancialmente más alta que la normal: 75% de nuestra población tienen sus valores extraídos de una distribución normal y el 25% restante tiene sus valores extraídos de una distribución normal con una desviación estándar 50 veces mayor.

Si calculé correctamente, esto corresponde a una curtosis de 12 (un exceso de curtosis de 9) La distribución resultante es mucho más puntiaguda que la normal y tiene colas pesadas.La densidad se compara con la densidad normal a continuación: puede ver el pico más alto, pero realmente no puede ver la cola más pesada en la imagen de la izquierda, por lo que también tracé el logaritmo de las densidades, que se extiende a la parte inferior de la imagen y comprime la parte superior, lo que facilita ver tanto el pico como las colas.

El nivel de significancia real para esta distribución si realiza una prueba t de una muestra al «5%» con $ n = 10 $ está por debajo del 0,9%. Esto es bastante dramático y reduce considerablemente la curva de potencia.

(También verá un efecto sustancial en la cobertura de los intervalos de confianza.)

Tenga en cuenta que una distribución diferente con la misma curtosis tendrá un impacto diferente en el nivel de significancia.

---

Entonces, ¿por qué el rechazo baja la tasa? Es porque la cola más pesada conduce a algunos valores atípicos grandes, lo que tiene un impacto ligeramente mayor en la desviación estándar que en la media; esto afecta el estadístico t porque conduce a más valores t entre -1 y 1, en el proceso, reduciendo la proporción de valores en la región crítica.

Si toma una muestra que parece bastante consistente con haber venido de una distribución normal cuya media está lo suficientemente por encima de la hipotética significa que es significativo, y luego toma la observación más por encima de la media y la aleja aún más (es decir, hace que la media sea aún más grande que en $ H_0 $ ), en realidad Haz que la estadística t sea más pequeña .

Déjame mostrarte. Aquí «una muestra de tamaño 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23 

Imagine que queremos probarla con $ H_0: \ mu = 2 $ (una prueba t de una muestra). Resulta que la media muestral aquí es 2,68 y la desviación estándar muestral es 0,9424. Obtiene una estadística t de 2,282, solo en la región de rechazo para una prueba del 5% (valor p de 0.0484).

Ahora haga que el valor más grande sea 50:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50 

Claramente sacamos la media hacia arriba, por lo que debería indicar una diferencia incluso más que antes, ¿verdad? Bueno, no, no es así. La estadística t disminuye hacia abajo . Ahora es 1,106 y el valor p es bastante grande (cercano al 30%). ¿Qué sucedió? Bueno, aumentamos la media (a 7.257), pero la desviación estándar se disparó por encima de 15.

Las desviaciones estándar son un poco más sensibles a los valores atípicos que las medias; cuando se agrega un valor atípico, tiende a empujar el estadístico t de una muestra hacia 1 o -1.

Si existe la posibilidad de que se produzcan varios valores atípicos, ocurre casi lo mismo, solo que a veces pueden estar en lados opuestos (en cuyo caso la desviación estándar está aún más inflada mientras que el impacto en la media se reduce en comparación con uno valor atípico), por lo que la estadística t tiende a acercarse a 0.

Algo similar ocurre con una serie de otras pruebas comunes que asumen normalidad: una mayor curtosis tiende a asociarse con colas más pesadas, lo que significa más valores atípicos, lo que significa que las desviaciones estándar se inflan en relación con las medias y, por lo tanto, las diferencias que desea obtener tienden a «abrumarse» por el impacto de los valores atípicos en la prueba. Es decir, baja potencia.

Comentarios

• Wow, muchas gracias por la respuesta tan clara y elaborada. ¡Apreciamos mucho su tiempo!
• También vale la pena señalar que, aunque la distribución de muestra grande de la media muestral no depende de la curtosis (por lo tanto, el nivel de significancia real de las pruebas de suposición de normalidad para medias conver ges al nivel nominal, típicamente .05, como n- > infinito, para todas las curtosis finitas), lo mismo no es cierto para las pruebas de varianzas. La distribución de muestra grande de la varianza estimada depende de la curtosis, por lo que el nivel de significación real de las pruebas de varianza clásicas que suponen la normalidad no converge al nivel nominal como n – > infinito cuando la curtosis es diferente de cero.
• Además, una mayor curtosis no implica, matemáticamente, que haya » más pequeñas desviaciones de la media. » Lo único que te dice con certeza es que hay más en la cola.
• No puedes obtener desviaciones más grandes y mantener la varianza constante a menos que también haga más pequeñas desviaciones; Si no ‘ t mantiene la varianza constante, más desviaciones se vuelven pequeñas en relación con la nueva escala. Así que sí, cuando se trata de observar la curtosis, las matemáticas te dicen que más grande conlleva más pequeño.
• @Peter Dejemos que ‘ s tomen $ Z $ como un $ X $ estandarizado. La curtosis es $ \ kappa = E (Z ^ 4) $, y $ \ sqrt {\ kappa-1} = E (Z ^ 2) $ es monótona en $ \ kappa $. Si muevo la probabilidad más hacia la cola de $ Z $, algo de probabilidad debe moverse hacia la media (o no puedo ‘ mantener $ \ text {Var} (Z) = 1 $ ).De manera similar, si muevo la probabilidad más hacia la cola de $ X $ & deje que la varianza aumente, $ \ mu \ pm k \ sigma $ es más ancha, y por lo tanto para al menos algunos valores $ k $ más del resto de la distribución tenderá a caer dentro de esos límites; una vez que estandarice el nuevo $ X $ ($ X ‘ $ a $ Z ‘ $ digamos), tendrá valores más pequeños en ese sentido directo.

La curtosis mide valores atípicos. Los valores atípicos son problemáticos para las inferencias estándar (por ejemplo, pruebas t, intervalos t) que se basan en la distribución normal. ¡Ese es el final de la historia! Y en realidad es una historia bastante simple.

La razón por la que esta historia no es muy apreciada es porque persiste el antiguo mito de que la curtosis mide el «pico».

Aquí hay una explicación simple que muestra por qué la curtosis mide valores atípicos y no «pico».

Considere el siguiente conjunto de datos.

0, 3, 4, 1 , 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1

La curtosis es el valor esperado de (valores z ) ^ 4. Estos son los (valores z) ^ 4:

6.51, 0.30, 5.33, 0.45, 0.00, 0.30, 6.51, 0.00, 0.45, 0.30, 0.00, 6.51, 0.00, 0.00, 0.30, 0.00, 27,90, 0,00, 0,30, 0,45

El promedio es 2,78, y esa es una estimación de la curtosis. (Reste 3 si desea un exceso de curtosis).

Ahora, reemplace el último valor de datos con 999 para que se convierta en un valor atípico:

0, 3, 4, 1, 2, 3 , 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Ahora, aquí están los (valores z) ^ 4:

0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00,0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 360.98

El promedio es 18.05, y esa es una estimación de la curtosis. (Reste 3 si desea un exceso de curtosis).

Claramente, solo importan los valores atípicos. Nada sobre el «pico» o los datos cercanos al medio importa.

Si realiza análisis estadísticos estándar con el segundo conjunto de datos, debe esperar problemas. La gran curtosis te alerta sobre el problema.

Aquí hay un artículo que explica:

Westfall, P.H. (2014). Curtosis como pico, 1905 – 2014. R.I.P. The American Statistician, 68, 191-195.

Comentarios

• ¿Por qué no usar pruebas no paramétricas? Para este tipo de problemas, es probable que sean superiores.
• De acuerdo, esa es una vía posible, si le gustan las pruebas, que rápidamente se está volviendo menos interesante en su forma clásica. Pero esa no es realmente mi preocupación. Me interesa más el modelado probabilístico en general. Una aplicación: tal vez esté realmente interesado en la media, por ejemplo, en los casos en que la variable dependiente es el dinero ganado, la media del proceso es más interesante que la mediana del proceso. Entonces, ¿qué le dicen los datos sobre el proceso cuando los datos son propensos a valores atípicos? Es ‘ un problema difícil, pero importante, y la curtosis de momento es relevante para la respuesta. No pruebas no par.
• Para la distribución de Cauchy, la media recortada puede ser una mejor medida de la ubicación que la mediana, y la media ordinaria no sería una medida de ubicación. Qué usar como medida de ubicación depende de cuál sea la distribución. Un ejemplo para el cual la curtosis no sería útil como indicador es la distribución uniforme para la cual el valor extremo promedio es una mejor medida de ubicación que la mediana y la media.
• No es el punto. Si está interesado en los totales, por ejemplo, dólares, entonces la media ordinaria es la medida de ubicación que desea.
• Si tiene una variable distribuida de Cauchy, puede argumentar el total de dólares ganados, pero la mean no será una medida de ubicación especialmente útil, lo que significa que el » valor esperado » no tiene una expectativa razonable asociada.

La curtosis también indica colas asimétricas. En una prueba de hipótesis de dos colas, una cola será una cola larga y la otra será una cola corta. Una de las colas puede ser> alfa, pero < beta. Una cola pasaría el valor p, pero la otra no.

Básicamente, la inferencia estadística asume una normal estándar. Cuando no es una normal estándar, puede arreglárselas con una inferencia basada en algunas mecánicas de inferencia más sofisticadas. Es posible que pueda utilizar la inferencia de Poisson, pero con una distribución que no es normal, no puede utilizar la inferencia basada en normales.

El sesgo y la curtosis son una medida de no normalidad. Aprendemos a tomar medios y a usar distribuciones normales antes de saber que tenemos que probar la normalidad. Una normal requiere 36 o más puntos de datos de cada dimensión. Puede estimar en 20 puntos de datos, pero aún tendrá sesgo y curtosis. A medida que la distribución se acerca a la normalidad, el sesgo y la distribución desaparecen.

Una de las explicaciones definía la curtosis como pico. Otro no lo hizo.Esta es una pelea sin resolver en este momento. La curtosis es el cuarto momento, un área. Estoy en el punto culminante del problema.

Otra idea que existe es que con un sesgo, la mediana se inclina hacia el modo formando un triángulo. Disfruta.

Comentarios

• No es ‘ claro que esto agregue algo útil y diferente a las respuestas ya excelentes. Agrega varias declaraciones desconcertantes p. ej., » lo normal requiere 36 puntos de datos o más » (entonces, 35 no está bien? ¿Cuál es la base de esta afirmación? » asimetría como pico » No ‘ creo que alguien esté afirmando esto. » La inferencia estadística asume una » normal estándar: no en general. La curtosis es el cuarto momento, un área: no; la curtosis como se define aquí es una proporción adimensional, basada en cuarto y segundo momentos sobre la media.
• El cuarto momento es una integral, por lo que es un área. Cómo se traduce esa área ated en pico o curvatura se pierde para mí.
• La explicación típica de la curtosis es el pico, pero eso ‘ es incorrecto en mi opinión. Yo ‘ editaré mi respuesta original para cambiar la asimetría como punta para decir que la curtosis es … Gracias.
• Las colas no son simétricas. ‘ nunca he visto nada acerca de la inferencia estadística que considere colas asimétricas. El riesgo de curtosis ocurre porque las colas se moverán a medida que se recopilen más puntos de datos. El sesgo y la curtosis se trata de no tener suficientes datos para lograr un estándar normal.
• No es así: hay una gran cantidad de teoría y aplicaciones para exponenciales, gamma, Weibull y muchas, muchas otras distribuciones que no son normales. .