Pourquoi le kurtosis positif élevé est-il problématique pour les tests dhypothèse?

a entendu […] quun kurtosis positif élevé des résidus peut être problématique pour des tests dhypothèse précis et des intervalles de confiance (et donc des problèmes avec les statistiques inférence). Est-ce vrai et, si oui, pourquoi?

Pour certains types de test dhypothèse, cest vrai.

Un kurtosis positif élevé des résidus nindiquerait-il pas que la majorité des résidus sont proches de la moyenne résiduelle de 0 et que des résidus moins importants sont donc présents?

Non .

Il semble que vous «confondez le concept de variance avec celui de kurtosis. Si la variance était plus petite, alors une tendance à plus de petits résidus et moins de grands résidus se rejoindrait. Imaginons que nous maintenions lécart-type constant pendant que nous modifions laplatissement (donc nous parlons définitivement de changements daplatissement plutôt que de variance).

Comparez différentes variances (mais le même kurtosis):

avec un kurtosis différent mais la même variance:

(images de cet article )

Un kurtosis élevé est souvent associé à de plus petits écarts par rapport à la moyenne $ ^ \ ddagger $ – plus de petits résidus que vous « auriez trouvé avec une distribution normale .. mais pour garder lécart type à la même valeur, nous devons aussi avoir plus de gros résidus (car avoir plus de petits résidus réduirait la distance typique de la moyenne). Pour obtenir plus de gros résidus et de petits résidus, vous aurez moins de résidus « de taille typique » – ceux à environ un écart-type de la moyenne.

$ \ ddagger $ cela dépend de la façon dont vous définissez la « petitesse »; vous ne pouvez pas simplement ajouter beaucoup de gros résidus et maintenir la variance constante, vous avez besoin de quelque chose pour le compenser – mais pour une mesure donnée de « petite », vous pouvez trouver des moyens daugmenter le kurtosis sans augmenter cette mesure particulière. (Par exemple, un kurtosis plus élevé nimplique pas automatiquement un pic plus élevé en tant que tel)

Un kurtosis plus élevé a tendance à aller avec des résidus plus grands, même lorsque vous maintenez la constante de variance.

[De plus, dans certains cas, la concentration de petits résidus peut en fait conduire à plus de problème que la fraction supplémentaire des plus gros résidus – en fonction de ce que vous regardez.]

Quoi quil en soit, regardons un exemple. Considérons un test t à un échantillon et une taille déchantillon de 10.

Si nous rejetons lhypothèse nulle lorsque la valeur absolue de la statistique t est supérieure à 2,262, alors lorsque les observations sont indépendantes, de manière identique distribuée à partir dune distribution normale, et la moyenne hypothétique est la vraie moyenne de la population, nous rejetterons lhypothèse nulle 5% du temps.

Considérons une distribution particulière avec un kurtosis sensiblement plus élevé que la normale: 75% de notre population ont leurs valeurs tirées dune distribution normale et les 25% restants ont leurs valeurs tirées dune distribution normale avec un écart-type 50 fois plus grand.

Si jai calculé correctement, cela correspond à un kurtosis de 12 (un excès de kurtosis de 9) La distribution résultante est beaucoup plus pointue que la normale et a des queues lourdes.La densité est comparée à la densité normale ci-dessous – vous pouvez voir le pic le plus élevé, mais vous ne pouvez pas vraiment voir la queue la plus lourde dans limage de gauche, jai donc également tracé le logarithme des densités, qui sétend sur la partie inférieure de limage et comprime le haut, ce qui permet de voir plus facilement le sommet et les queues.

Le niveau de signification réel pour cette distribution si vous effectuez un test t à un échantillon de « 5% » avec $ n = 10 $ est inférieur à 0,9%. Ceci est assez dramatique, et fait baisser la courbe de puissance de manière assez substantielle.

(Vous verrez également un effet substantiel sur la couverture des intervalles de confiance.)

Notez quune distribution différente avec le même kurtosis que cela aura un impact différent sur le niveau de signification.

---

Alors pourquoi le rejet le taux diminue? Cest parce que la queue plus lourde conduit à quelques grandes valeurs aberrantes, ce qui a un impact légèrement plus important sur lécart-type que sur la moyenne; cela a un impact sur la statistique t car il conduit à plus de valeurs t entre -1 et 1, dans le processus de réduction de la proportion de valeurs dans la région critique.

Si vous prenez un échantillon qui semble assez cohérent avec le fait quil provient dune distribution normale dont la moyenne est juste assez au-dessus de lhypothèse, cela signifie quil « s significatif, puis vous prenez lobservation la plus au-dessus de la moyenne et léloignez encore plus (cest-à-dire que vous rendez la moyenne encore plus grande que sous $ H_0 $ ), vous réduisez la statistique t plus petite .

Laissez-moi vous montrer. Voici « un échantillon de taille 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23 

Imaginez que nous voulions le tester par rapport à $ H_0: \ mu = 2 $ (un test t à un échantillon). Il savère que la moyenne de léchantillon ici est de 2,68 et lécart-type de léchantillon est de 0,9424. Vous obtenez une statistique t de 2,282 – juste dans la région de rejet pour un test de 5% (valeur p de 0,0484).

Maintenant, faites de cette plus grande valeur 50:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50 

Nous tirons clairement la moyenne vers le haut, il devrait donc indiquer une différence encore plus qu’avant, non? Eh bien, non, ce n’est pas le cas. La statistique t descend vers le bas . Il est maintenant de 1,106 et la valeur p est assez grande (proche de 30%). Quest ce qui cest passé? Eh bien, nous avons tiré la moyenne vers le haut (à 7,257), mais lécart type a grimpé au-dessus de 15.

Les écarts-types sont un peu plus sensibles aux valeurs aberrantes que les moyennes – lorsque vous indiquez une valeur aberrante, vous avez tendance à pousser la statistique t dun échantillon vers 1 ou -1.

Sil y a « une chance de plusieurs valeurs aberrantes, il se produit à peu près la même chose, mais elles peuvent parfois être sur des côtés opposés (auquel cas lécart type est encore plus gonflé alors que limpact sur la moyenne est réduit par rapport à un outlier), donc la statistique t a tendance à se rapprocher de 0.

Des choses similaires se produisent avec un certain nombre dautres tests courants qui supposent la normalité – un kurtosis plus élevé a tendance à être associé à des queues plus lourdes, ce qui signifie plus de valeurs aberrantes, ce qui signifie que les écarts-types sont gonflés par rapport aux moyennes et que les différences que vous souhaitez relever ont donc tendance à être «submergées» par limpact des valeurs aberrantes sur le test. Autrement dit, une faible puissance.

Commentaires

• Wow, merci beaucoup pour la réponse très claire et élaborée. Votre temps est très apprécié!
• Il convient également de noter que, tout en la distribution sur grand échantillon de la moyenne de léchantillon ne dépend pas de laplatissement (doù le niveau de signification réel des tests de normalité pour les moyennes conver au niveau nominal, typiquement 0,05, comme n- > infini, pour tous les kurtosis finis), il nen va pas de même pour les tests de variance. La distribution sur grand échantillon de la variance estimée dépend de laplatissement, de sorte que le niveau de signification réel des tests de variance classiques fondés sur la normalité ne converge pas vers le niveau nominal car n – > linfini lorsque laplatissement est différent de zéro.
• De plus, laplatissement supérieur nimplique pas, mathématiquement, quil existe  » de plus petits écarts par rapport à la moyenne.  » La seule chose quil vous dit avec certitude est quil y en a plus dans la queue.
• Vous ne pouvez pas obtenir de plus grands écarts et maintenir la constante de variance à moins que vous ne fassiez également plus de petits écarts; si vous ne maintenez pas ‘ la constante de variance, davantage de vos écarts deviennent faibles par rapport à la nouvelle échelle. Alors oui, quand il sagit de regarder le kurtosis, les mathématiques vous disent que plus grand porte avec plus petit.
• @Peter Let ‘ s prend $ Z $ en $ X $ normalisé. Kurtosis est $ \ kappa = E (Z ^ 4) $, et $ \ sqrt {\ kappa-1} = E (Z ^ 2) $ est monotone dans $ \ kappa $. Si je déplace la probabilité plus loin dans la queue de $ Z $, une certaine probabilité doit se déplacer vers la moyenne (ou je peux ‘ tenir $ \ text {Var} (Z) = 1 $ ).De même si je déplace la probabilité plus loin dans la queue de $ X $ & que la variance augmente, $ \ mu \ pm k \ sigma $ est plus large, et donc pour au moins certaines valeurs de $ k $ de plus sur le reste de la distribution auront tendance à tomber à lintérieur de ces limites; une fois que vous avez standardisé le nouveau $ X $ ($ X ‘ $ en $ Z ‘ $ say), vous avez des valeurs plus petites dans cela sens direct.

Kurtosis mesure les valeurs aberrantes. Les valeurs aberrantes sont problématiques pour les inférences standard (par exemple, tests t, intervalles t) qui sont basées sur la distribution normale. Cest la fin de lhistoire! Et cest vraiment une histoire assez simple.

La raison pour laquelle cette histoire nest pas bien appréciée est parce que le mythe ancien selon lequel le kurtosis mesure le «pic» persiste.

Voici une explication simple montrant pourquoi laplatissement mesure les valeurs aberrantes et non le «pic».

Considérez lensemble de données suivant.

0, 3, 4, 1 , 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1

Kurtosis est la valeur attendue des (valeurs z ) ^ 4. Voici les (valeurs z) ^ 4:

6,51, 0,30, 5,33, 0,45, 0,00, 0,30, 6,51, 0,00, 0,45, 0,30, 0,00, 6,51, 0,00, 0,00, 0,30, 0,00, 27,90, 0,00, 0,30, 0,45

La moyenne est de 2,78, et cest une estimation du kurtosis. (Soustrayez 3 si vous voulez un kurtosis excessif.)

Maintenant, remplacez la dernière valeur de données par 999 pour quelle devienne une valeur aberrante:

0, 3, 4, 1, 2, 3 , 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Voici maintenant les (valeurs z) ^ 4:

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

La moyenne est de 18,05, et cest une estimation du kurtosis. (Soustrayez 3 si vous voulez un kurtosis excessif.)

De toute évidence, seules les valeurs aberrantes comptent. Rien sur le « pic » ou les données proches du milieu na dimportance.

Si vous effectuez des analyses statistiques standard avec le deuxième ensemble de données, vous devriez vous attendre à des problèmes. Le grand kurtosis vous avertit du problème.

Voici un article qui élabore:

Westfall, P.H. (2014). Kurtosis comme Peakedness, 1905 – 2014. R.I.P. Le statisticien américain, 68, 191–195.

Commentaires

• Pourquoi ne pas utiliser uniquement des tests non paramétriques? Pour ces types de problèmes, ils sont susceptibles dêtre supérieurs.
• Daccord, cest une avenue possible, SI vous aimez tester, qui devient rapidement de moins en moins intéressant dans sa forme classique. Mais ce nest pas vraiment ma préoccupation. Je suis plus intéressé par la modélisation probabiliste en général. Une application: Peut-être que vous êtes vraiment intéressé par la moyenne, par exemple, dans les cas où la variable dépendante est largent gagné, la moyenne du processus est plus intéressante que la médiane du processus. Alors, que signifient les données sur le processus lorsque les données sont sujettes à des valeurs aberrantes? Cest ‘ un problème difficile, mais important, et le moment de kurtosis est pertinent pour la réponse. Pas de tests non comparables.
• Pour la distribution de Cauchy, la moyenne tronquée peut être une meilleure mesure de lemplacement que la médiane, et la moyenne ordinaire ne serait pas une mesure de lemplacement. Ce quil faut utiliser comme mesure de lemplacement dépend de la répartition. Un exemple pour lequel laplatissement ne serait pas utile comme indicateur est la distribution uniforme pour laquelle la valeur extrême moyenne est une meilleure mesure de lemplacement que la médiane et la moyenne.
• Pas le point. Si vous êtes intéressé par les totaux, par exemple en dollars, alors la moyenne ordinaire est la mesure de lemplacement que vous voulez.
• Si vous avez une variable distribuée Cauchy, vous pouvez faire un cas pour le total des dollars gagnés, mais le mean ne sera pas une mesure particulièrement utile de lemplacement, ce qui signifie que la  » valeur attendue  » na aucune attente raisonnable associée.

Kurtosis indique également des queues asymétriques. Dans un test dhypothèse bilatéral, une queue sera une longue queue et lautre une queue courte. Lune des queues peut être> alpha, mais < beta. Une queue passerait la valeur p, mais pas lautre.

Fondamentalement, linférence statistique suppose une norme standard. Quand ce nest pas une norme standard, vous pouvez vous en tirer avec une inférence basée sur des mécanismes dinférence plus sophistiqués. Vous pouvez peut-être utiliser linférence de Poisson, mais avec une distribution qui nest pas normale, vous ne pouvez pas utiliser une inférence basée sur des normales.

Le biais et le kurtosis sont une mesure de non-normalité. Nous apprenons à prendre des moyens et à utiliser des distributions normales avant de savoir que nous devons tester la normalité. Une normale nécessite au moins 36 points de données de chaque dimension. Vous pouvez estimer à 20 points de données, mais vous aurez toujours un biais et un kurtosis. À mesure que la distribution se rapproche de la normalité, le biais et la distribution disparaissent.

Lune des explications définissait le kurtosis comme un pic. Un autre non.Cest un combat non réglé en ce moment. Kurtosis est le quatrième moment, une zone. Je ne suis pas sur le point culminant du problème.

Une autre idée qui est là-bas est quavec un biais, la médiane se penche sur le mode formant un triangle. Profitez.

Commentaires

• Il ‘ nest pas clair que cela ajoute quelque chose dutile et de différent à des réponses déjà excellentes. Cela ajoute plusieurs déclarations déroutantes Par exemple,  » normal nécessite 36 points de données ou plus  » (donc 35 pas OK? Quelle est la base de cette affirmation?  » skewness as peakedness  » Je ne ‘ que personne ne le prétend.  » linférence statistique suppose une norme normale « : pas en général. Le kurtosis est le quatrième moment, une zone: non; le kurtosis tel que défini ici est un rapport sans dimension, basé sur quatrième et deuxième moments sur la moyenne.
• Le quatrième moment est une intégrale, donc cest une zone. Comment cette zone est traduite Une explication typique de laplatissement est la pointe, mais ce ‘ est faux à mon avis. Je ‘ modifierai ma réponse originale pour changer lasymétrie comme pic pour dire que le kurtosis est … Merci.
• Les queues ne sont pas symétriques. Je ‘ nai jamais rien vu à propos de linférence statistique qui considère des queues asymmétiques. Le risque de kurtosis se produit parce que les queues bougeront à mesure que davantage de points de données sont collectés. Skew and Kurtosis signifie ne pas avoir assez de données pour atteindre une norme standard.
• Pas: il existe une masse de théorie et dapplications pour exponentielle, gamma, Weibull et bien dautres distributions qui ne sont pas normales .