Warum ist eine hochpositive Kurtosis für Hypothesentests problematisch?

hörte […], dass eine hohe positive Kurtosis von Residuen für genaue Hypothesentests und Konfidenzintervalle problematisch sein kann (und daher Probleme mit statistischen Inferenz). Ist das wahr und wenn ja, warum?

Für einige Arten von Hypothesentests ist dies der Fall.

Würde eine hohe positive Kurtosis von Residuen nicht anzeigen, dass die Mehrheit der Residuen nahe dem Residuummittelwert von 0 liegt und daher weniger große Residuen vorhanden sind?

Nein

Es sieht so aus, als würden Sie das Konzept der Varianz mit dem der Kurtosis in Verbindung bringen. Wenn die Varianz kleiner wäre, würde eine Tendenz zu mehr kleinen Residuen und weniger großen Residuen zusammenkommen. Stellen Sie sich vor, wir halten die Standardabweichung konstant, während wir die Kurtosis ändern (wir sprechen also definitiv eher von Änderungen der Kurtosis als der Varianz).

Vergleichen Sie verschiedene Varianzen (aber dieselbe Kurtosis):

mit unterschiedlicher Kurtosis, aber gleicher Varianz:

(Bilder von dieser Beitrag )

Eine hohe Kurtosis ist in vielen Fällen mit kleineren Abweichungen vom Mittelwert verbunden $ ^ \ ddagger $ – mehr kleine Residuen als bei einer Normalverteilung. Um die Standardabweichung auf dem gleichen Wert zu halten, müssen wir auch mehr große Residuen haben (weil mehr kleine Residuen den typischen Abstand vom Mittelwert kleiner machen würden). Um mehr von den großen und kleinen Residuen zu erhalten, haben Sie weniger Residuen mit „typischer Größe“ – die ungefähr eine Standardabweichung vom Mittelwert entfernt sind.

$ \ ddagger $ hängt davon ab, wie Sie „Kleinheit“ definieren; Sie können nicht einfach viele große Residuen hinzufügen und die Varianz konstant halten, Sie benötigen etwas, um dies zu kompensieren – aber für ein gegebenes Maß von „klein“ können Sie Wege finden, um die Kurtosis zu erhöhen, ohne sie zu erhöhen Dieses spezielle Maß. (Zum Beispiel bedeutet eine höhere Kurtosis nicht automatisch einen höheren Peak als solchen.)

Eine höhere Kurtosis geht tendenziell mit größeren Residuen einher, selbst wenn Sie die Varianz konstant halten.

[In einigen Fällen kann die Konzentration kleiner Residuen tatsächlich zu einem größeren Problem führen als der zusätzliche Anteil der größten Residuen – je nachdem, welche Dinge Sie sich ansehen.]

Schauen wir uns ein Beispiel an. Betrachten Sie einen t-Test mit einer Stichprobe und eine Stichprobengröße von 10.

Wenn wir die Nullhypothese ablehnen, wenn der absolute Wert der t-Statistik größer als 2,262 ist, dann sind die Beobachtungen unabhängig und identisch Aus einer Normalverteilung verteilt, und der hypothetische Mittelwert ist der wahre Populationsmittelwert, lehnen wir die Nullhypothese in 5% der Fälle ab.

Betrachten Sie eine bestimmte Verteilung mit einer wesentlich höheren Kurtosis als die Normalverteilung: 75% Die Werte unserer Bevölkerung stammen aus einer Normalverteilung und die restlichen 25% aus einer Normalverteilung mit einer 50-mal so großen Standardabweichung.

Wenn ich richtig berechnet habe, entspricht dies einer Kurtosis von 12 (eine übermäßige Kurtosis von 9). Die resultierende Verteilung ist viel höher als die normale und hat schwere Schwänze.Die Dichte wird mit der normalen Dichte unten verglichen – Sie können den höheren Peak sehen, aber Sie können den schwereren Schwanz im linken Bild nicht wirklich sehen, deshalb habe ich auch den Logarithmus der Dichten aufgezeichnet, der sich über den unteren Teil von erstreckt das Bild und komprimiert die Oberseite, wodurch es einfacher ist, sowohl die Spitze als auch die Schwänze zu sehen.

Das tatsächliche Signifikanzniveau für diese Verteilung, wenn Sie einen T-Test mit einer Stichprobe von „5%“ mit $ n = 10 $ liegt unter 0,9%. Dies ist ziemlich dramatisch und zieht die Leistungskurve ziemlich stark nach unten.

(Sie werden auch einen wesentlichen Effekt auf sehen die Abdeckung von Konfidenzintervallen.)

Beachten Sie, dass eine andere Verteilung mit derselben Kurtosis unterschiedliche Auswirkungen auf das Signifikanzniveau hat.

---

Warum also die Ablehnung? Rate sinken? Dies liegt daran, dass der schwerere Schwanz zu einigen großen Ausreißern führt, was einen etwas größeren Einfluss auf die Standardabweichung hat als auf den Mittelwert. Dies wirkt sich auf die t-Statistik aus, da er zu mehr t-Werten zwischen -1 und 1 führt. Dabei wird der Anteil der Werte im kritischen Bereich reduziert.

Wenn Sie eine Stichprobe nehmen, die ziemlich konsistent mit einer Normalverteilung aussieht, deren Mittelwert gerade weit genug über dem hypothetischen Mittelwert liegt, dass dies der Fall ist signifikant, und dann nehmen Sie die Beobachtung, die am weitesten über dem Mittelwert liegt, und ziehen sie noch weiter weg (dh machen Sie den Mittelwert noch größer als unter $ H_0 $ ), Sie tatsächlich Machen Sie die T-Statistik kleiner .

Lassen Sie sich von mir zeigen. Hier „ein Beispiel der Größe 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23 

Stellen Sie sich vor, wir möchten es gegen $ H_0: \ mu = testen 2 $ (ein t-Test mit einer Stichprobe). Es stellt sich heraus, dass der Stichprobenmittelwert hier 2,68 und die Standardabweichung der Stichprobe 0,9424 beträgt. Sie erhalten eine t-Statistik von 2,282 – nur im Ablehnungsbereich für ein 5% -Test (p-Wert von 0,0484).

Machen Sie nun den größten Wert 50:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50 

Wir ziehen klar den Mittelwert up, also sollte es einen Unterschied noch mehr anzeigen als vorher, richtig? Nun, nein, das tut es nicht. Die t-Statistik geht runter . Es ist jetzt 1.106 und der p-Wert ist ziemlich groß (nahe 30%). Was ist passiert? Nun, wir haben den Mittelwert nach oben gezogen (auf 7,257), aber die Standardabweichung ist über 15 gestiegen.

Standardabweichungen reagieren etwas empfindlicher auf Ausreißer als Mittelwerte – wenn Sie einen Ausreißer eingeben, Sie neigen dazu, die t-Statistik mit einer Stichprobe in Richtung 1 oder -1 zu verschieben.

Wenn die Wahrscheinlichkeit besteht, dass mehrere Ausreißer vorhanden sind, geschieht fast dasselbe, nur dass sie sich manchmal auf gegenüberliegenden Seiten befinden (in diesem Fall ist die Standardabweichung noch höher, während die Auswirkung auf den Mittelwert im Vergleich zu einem verringert wird Ausreißer), daher bewegt sich die t-Statistik tendenziell näher an 0.

Ähnliches gilt für eine Reihe anderer gängiger Tests, bei denen von Normalität ausgegangen wird. Eine höhere Kurtosis ist tendenziell mit schwereren Schwänzen verbunden, was bedeutet mehr Ausreißer, was bedeutet, dass Standardabweichungen im Verhältnis zu den Mittelwerten aufgeblasen werden und Unterschiede, die Sie erfassen möchten, durch die Auswirkung der Ausreißer auf den Test „überflutet“ werden. Das heißt, geringe Leistung.

Kommentare

• Wow, vielen Dank für die sehr klare und ausführliche Antwort. Ihre Zeit wird sehr geschätzt!
• Es ist auch erwähnenswert, dass, während Die Verteilung des Stichprobenmittelwerts bei großen Stichproben hängt nicht von der Kurtosis ab (daher das tatsächliche Signifikanzniveau von Tests zur Normalitätsannahme für die Mittelwertkonvergenz Dies gilt nicht für Tests auf Varianzen. Dies gilt nicht für das nominelle Niveau, typischerweise 0,05, als n- > unendlich (für alle endlichen Kurtosis). Die Verteilung der geschätzten Varianz in großen Stichproben hängt von der Kurtosis ab, sodass das tatsächliche Signifikanzniveau klassischer, normalitätsabhängiger Varianztests nicht auf das nominale Niveau konvergiert, da n – > unendlich, wenn sich die Kurtosis von Null unterscheidet.
• Auch eine höhere Kurtosis bedeutet mathematisch nicht, dass es “ mehr kleine Abweichungen vom Mittelwert gibt. “ Das einzige, was es Ihnen sicher sagt, ist, dass mehr im Schwanz ist.
• Sie können keine größeren Abweichungen erhalten und die Varianz konstant halten es sei denn, Sie machen auch kleinere Abweichungen; Wenn Sie die Varianz nicht ‚ konstant halten, werden mehr Abweichungen im Vergleich zur neuen Skala kleiner. Also ja, wenn es um die Betrachtung von Kurtosis geht, sagt Ihnen die Mathematik, dass mehr große Trage kleiner sind.
• @Peter Lassen Sie ‚ $ Z nehmen $ als standardisiertes $ X $. Kurtosis ist $ \ kappa = E (Z ^ 4) $ und $ \ sqrt {\ kappa-1} = E (Z ^ 2) $ ist in $ \ kappa $ monoton. Wenn ich die Wahrscheinlichkeit weiter in den Endbereich von $ Z $ bewege, muss sich eine gewisse Wahrscheinlichkeit in Richtung des Mittelwerts bewegen (oder ich kann ‚ $ \ text {Var} (Z) = 1 $ nicht halten ).In ähnlicher Weise ist $ \ mu \ pm k \ sigma $ breiter, wenn ich die Wahrscheinlichkeit weiter in den Schwanz von $ X $ & verschiebe, und dies für mindestens einige Werte von $ k $ mehr vom Rest der Distribution wird dazu neigen, innerhalb dieser Grenzen zu liegen; Sobald Sie das neue $ X $ standardisieren ($ X ‚ $ auf $ Z ‚ $ say), haben Sie mehr kleinere Werte darin direkter Sinn.

Kurtosis misst Ausreißer. Ausreißer sind problematisch für die Standardinferenzen (z. B. t-Tests, t-Intervalle), die auf der Normalverteilung basieren. Das ist das Ende der Geschichte! Und es ist wirklich eine ziemlich einfache Geschichte.

Der Grund, warum diese Geschichte nicht sehr geschätzt wird, ist, dass der alte Mythos, dass Kurtosis „Peakedness“ misst, fortbesteht.

Hier ist eine einfache Erklärung, die zeigt, warum Kurtosis Ausreißer und nicht „Peakedness“ misst.

Betrachten Sie den folgenden Datensatz.

0, 3, 4, 1 , 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1 Kurtosis ist der erwartete Wert der (z-Werte) ) ^ 4. Hier sind die (z-Werte) ^ 4: 6,51, 0,30, 5,33, 0,45, 0,00, 0,30, 6,51, 0,00, 0,45, 0,30, 0,00, 6,51, 0,00, 0,00, 0,30, 0,00, 27,90, 0,00, 0,30, 0,45

Der Durchschnitt liegt bei 2,78, und das ist eine Schätzung der Kurtosis. (Subtrahieren Sie 3, wenn Sie eine übermäßige Kurtosis wünschen.)

Ersetzen Sie nun den letzten Datenwert durch 999, damit er zu einem Ausreißer wird:

0, 3, 4, 1, 2, 3 , 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Hier sind nun die (z-Werte) ^ 4:

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Der Durchschnitt liegt bei 18,05 und das ist eine Schätzung der Kurtosis. (Subtrahieren Sie 3, wenn Sie eine übermäßige Kurtosis wünschen.)

Natürlich sind nur die Ausreißer von Bedeutung. Nichts über den „Peak“ oder die Daten in der Nähe der Mitte ist wichtig.

Wenn Sie statistische Standardanalysen mit dem zweiten Datensatz durchführen, sollten Sie mit Problemen rechnen. Die große Kurtosis macht Sie auf das Problem aufmerksam.

In diesem Artikel wird Folgendes erläutert:

Westfall, P.H. (2014). Kurtosis als Höhepunkt, 1905 – 2014. R.I.P. The American Statistician, 68, 191–195.

Kommentare

• Warum nicht einfach nichtparametrische Tests verwenden? Für diese Art von Problemen sind sie wahrscheinlich überlegen.
• Einverstanden, das ist ein möglicher Weg, WENN Sie gerne testen, was in seiner klassischen Form schnell weniger interessant wird. Aber das ist nicht wirklich mein Anliegen. Ich interessiere mich mehr für probabilistische Modellierung im Allgemeinen. Eine Anwendung: Vielleicht interessieren Sie sich wirklich für den Mittelwert, z. B. in Fällen, in denen die abhängige Variable Dollar verdient, ist der Prozessmittelwert interessanter als der Prozessmedian. Was sagen die Daten über den Prozess aus, wenn die Daten für Ausreißer anfällig sind? ‚ ist ein schwieriges, aber wichtiges Problem, und Momentkurtose ist für die Antwort relevant. Keine Nonpar-Tests.
• Für die Cauchy-Verteilung kann der getrimmte Mittelwert ein besseres Maß für den Ort sein als der Median, und der gewöhnliche Mittelwert wäre kein Maß für den Ort. Was als Standortmaß verwendet werden soll, hängt von der Verteilung ab. Ein Beispiel, für das Kurtosis als Indikator nicht hilfreich wäre, ist die gleichmäßige Verteilung, bei der der durchschnittliche Extremwert ein besseres Maß für die Position darstellt als sowohl der Median als auch der Mittelwert.
• Nicht der Punkt. Wenn Sie an Summen interessiert sind, z. B. Dollar, dann ist der gewöhnliche Mittelwert das Maß für den gewünschten Standort.
• Wenn Sie eine verteilte Cauchy-Variable haben, können Sie die insgesamt verdienten Dollars angeben, aber die Der Mittelwert ist kein besonders nützliches Maß für den Standort, was bedeutet, dass mit dem “ -Erwartungswert “ keine vernünftige Erwartung verbunden ist.

Kurtosis zeigt auch asymmetrische Schwänze an. In einem zweiseitigen Hypothesentest ist ein Schwanz ein langer Schwanz und der andere ein kurzer Schwanz. Einer der Schwänze kann> Alpha sein, aber < Beta. Ein Schwanz würde den p-Wert passieren, der andere nicht.

Grundsätzlich geht die statistische Inferenz von einer Standardnormalen aus. Wenn es sich nicht um eine normale Norm handelt, können Sie mit einer Inferenz auskommen, die auf einer ausgefeilteren Inferenzmechanik basiert. Möglicherweise können Sie uns Poisson-Inferenz geben, aber mit einer Verteilung, die nicht normal ist, können Sie keine Inferenz verwenden, die auf Normalen basiert.

Schrägstellung und Kurtosis sind ein Maß für Nichtnormalität. Wir lernen, Mittel zu ergreifen und Normalverteilungen zu verwenden, bevor wir wissen, dass wir auf Normalität testen müssen. Eine Normale benötigt 36 oder mehr Datenpunkte aus jeder Dimension. Sie können auf 20 Datenpunkte schätzen, aber Sie werden immer noch Schrägstellung und Kurtosis haben. Wenn sich die Verteilung der Normalität nähert, verschwinden der Versatz und die Verteilung.

Eine der Erklärungen definierte Kurtosis als Peakedness. Ein anderer tat es nicht.Dies ist zu diesem Zeitpunkt ein ungeklärter Kampf. Kurtosis ist der vierte Moment, ein Bereich. Ich bin auf dem Höhepunkt des Problems.

Eine andere Idee, die es gibt, ist, dass sich der Median mit einem Versatz zu dem Modus beugt, der ein Dreieck bildet. Viel Spaß.

Kommentare

• ‚ ist nicht klar, dass dies etwas Nützliches und Unterschiedliches zu bereits ausgezeichneten Antworten hinzufügt. Es fügt einige rätselhafte Aussagen hinzu Beispiel: “ normal erfordert 36 oder mehr Datenpunkte “ (also 35 nicht OK? Was ist die Grundlage für diesen Anspruch? “ Schiefe als Peakedness “ Ich glaube nicht, dass jemand dies behauptet. “ statistische Inferenz setzt ein normales Standard “ voraus: nicht allgemein. Kurtosis ist der vierte Moment, ein Bereich: nein; Kurtosis, wie hier definiert, ist ein dimensionsloses Verhältnis, basierend auf vierter und zweiter Moment über den Mittelwert.
• Der vierte Moment ist ein Integral, also ein Bereich. Wie dieser Bereich übersetzt wird Die typische Erklärung für Kurtosis ist die Spitze, aber das ‚ ist meiner Ansicht nach falsch. Ich ‚ werde meine ursprüngliche Antwort bearbeiten, um die Schiefe zu ändern, da die Spitze zu sagen ist, dass Kurtosis … Danke ist.
• Die Schwänze sind nicht symmetrisch. Ich ‚ habe noch nie etwas über statistische Inferenz gesehen, das asymmetische Schwänze berücksichtigt. Das Kurtosis-Risiko tritt auf, weil sich die Schwänze bewegen, wenn mehr Datenpunkte gesammelt werden. Bei Skew und Kurtosis geht es darum, nicht genügend Daten zu haben, um eine Standardnormalität zu erreichen.
• Nicht so: Es gibt eine Vielzahl von Theorien und Anwendungen für Exponential-, Gamma-, Weibull- und viele andere Verteilungen, die nicht normal sind .