Perché la curtosi altamente positiva è problematica per i test di ipotesi?

sentito […] che una curtosi di residui altamente positiva può essere problematica per test di ipotesi accurati e intervalli di confidenza (e quindi problemi con statistiche inferenza). È vero e, in tal caso, perché?

Per alcuni tipi di test di ipotesi, è vero.

Una curtosi dei residui altamente positiva non indicherebbe che la maggior parte dei residui è vicina alla media residua di 0 e quindi sono presenti residui meno grandi?

No .

Sembra che tu stia “confondendo il concetto di varianza con quello di curtosi. Se la varianza fosse minore, si verificherebbe una tendenza a residui più piccoli e meno residui grandi. Immagina di mantenere costante la deviazione standard mentre modifichiamo la curtosi (quindi “stiamo decisamente parlando di modifiche alla curtosi piuttosto che alla varianza).

Confronta varianze diverse (ma la stessa curtosi):

con diversa curtosi ma la stessa varianza:

(immagini da questo post )

Una curtosi alta è in molti casi associata a deviazioni più piccole dalla media $ ^ \ ddagger $ – più piccoli residui di quelli che potresti trovare con una distribuzione normale .. ma per mantenere la deviazione standard allo stesso valore, dobbiamo anche avere più residui grandi (perché avere residui più piccoli ridurrebbe la distanza tipica dalla media). Per ottenere più residui sia grandi che piccoli, avrai meno residui di “dimensione tipica”, quelli a circa una deviazione standard dalla media.

$ \ ddagger $ dipende da come si definisce “piccolezza”; non puoi semplicemente aggiungere molti residui grandi e mantenere costante la varianza, hai bisogno di qualcosa per compensarlo – ma per una certa data misura di “piccolo” puoi trovare modi per aumentare la curtosi senza aumentare quella particolare misura. (Ad esempio, una curtosi più alta non implica automaticamente un picco più alto in quanto tale)

Una curtosi più alta tende ad andare con residui più grandi, anche quando si mantiene costante la varianza.

[Inoltre, in alcuni casi, la concentrazione di piccoli residui può effettivamente portare a più di un problema rispetto alla frazione aggiuntiva dei residui più grandi, a seconda di ciò che stai guardando.]

Comunque, diamo unocchiata a un esempio. Considera un test t di un campione e una dimensione del campione di 10.

Se rifiutiamo lipotesi nulla quando il valore assoluto della statistica t è maggiore di 2.262, allora quando le osservazioni sono indipendenti, in modo identico distribuita da una distribuzione normale e la media ipotizzata è la media reale della popolazione, rifiuteremo lipotesi nulla il 5% delle volte.

Considera una distribuzione particolare con curtosi sostanzialmente più alta del normale: 75% della nostra popolazione ha i propri valori tratti da una distribuzione normale e il restante 25% ha i propri valori tratti da una distribuzione normale con deviazione standard 50 volte maggiore.

Se calcolato correttamente, ciò corrisponde a una curtosi di 12 (una curtosi in eccesso di 9) La distribuzione risultante è molto più alta del normale e ha code pesanti.La densità viene confrontata con la densità normale sotto: puoi vedere il picco più alto, ma non puoi davvero vedere la coda più pesante nellimmagine a sinistra, quindi ho anche tracciato il logaritmo delle densità, che si estende nella parte inferiore limmagine e comprime la parte superiore, rendendo più facile vedere sia il picco che le code.

Il livello di significatività effettivo per questa distribuzione se esegui un test t di un campione “5%” con $ n = 10 $ è inferiore allo 0,9%. Questo è piuttosto drammatico e abbassa la curva di potenza in modo sostanziale.

(Vedrai anche un effetto sostanziale su la copertura degli intervalli di confidenza.)

Notare che una distribuzione diversa con la stessa curtosi avrà un impatto diverso sul livello di significatività.

---

Allora perché il rifiuto la tariffa scende? È perché la coda più pesante porta a pochi valori anomali di grandi dimensioni, che ha un impatto leggermente maggiore sulla deviazione standard rispetto alla media; questo influisce sulla statistica t perché porta a più valori t tra -1 e 1, nel processo riducendo la proporzione dei valori nella regione critica.

Se prendi un campione che sembra abbastanza coerente con il provenire da una distribuzione normale la cui media è appena abbastanza al di sopra della media ipotizzata che “s significativo, e quindi prendi losservazione più al di sopra della media e la allontani ancora di più (ovvero, rendi la media ancora più grande di $ H_0 $ ), in realtà rendi la statistica t più piccola .

Lascia che ti mostri. Ecco “un campione di dimensione 10:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 4.23 

Immagina di volerlo testare con $ H_0: \ mu = 2 $ (un test t di un campione). Risulta che la media campionaria qui è 2,68 e la deviazione standard campionaria è 0,9424. Ottieni una statistica t di 2,282, solo nella regione di rifiuto per un test del 5% (valore p di 0,0484).

Ora imposta il valore più grande 50:

 1.13 1.68 2.02 2.30 2.56 2.80 3.06 3.34 3.68 50 

Chiaramente utilizziamo la media in alto, quindi dovrebbe indicare una differenza anche più di prima, giusto? Beh, no, non “t. La statistica t scende giù . Ora è 1,106 e il valore p è abbastanza grande (vicino al 30%). Quello che è successo? Bene, abbiamo aumentato la media (a 7,257), ma la deviazione standard è aumentata di oltre 15.

Le deviazioni standard sono un po più sensibili ai valori anomali rispetto alle medie: quando inserisci un valore anomalo, tendi a spingere la statistica t di un campione verso 1 o -1.

Se esiste la possibilità di diversi valori anomali, accade più o meno lo stesso solo che a volte possono trovarsi su lati opposti (nel qual caso la deviazione standard è ancora più gonfiata mentre limpatto sulla media è ridotto rispetto a uno outlier), quindi la statistica t tende ad avvicinarsi a 0.

Cose simili continuano con una serie di altri test comuni che assumono la normalità: la curtosi più alta tende ad essere associata a code più pesanti, il che significa più valori anomali, il che significa che le deviazioni standard vengono gonfiate rispetto alle medie e quindi le differenze che vuoi rilevare tendono a essere “sommerse” dallimpatto dei valori anomali sul test. Cioè, bassa potenza.

Commenti

• Wow, grazie mille per la risposta molto chiara ed elaborata. Il tuo tempo è molto apprezzato!
• Vale anche la pena notare che, mentre la distribuzione su grande campione della media campionaria non dipende dalla curtosi (quindi, il livello di significatività effettivo dei test che assumono la normalità per i mezzi conver ges al livello nominale, tipicamente .05, come n- > infinito, per tutte le curtosi finite), lo stesso non è vero per i test per le varianze. La distribuzione su ampio campione della varianza stimata dipende dalla curtosi, quindi il livello di significatività effettivo dei test classici per la varianza che assumono la normalità non converge al livello nominale come n – > infinito quando la curtosi è diversa da zero.
• Inoltre, la curtosi più alta non implica, matematicamente, che ci siano ” deviazioni più piccole dalla media. ” Lunica cosa che ti dice per certo è che cè di più nella coda.
• Non puoi ottenere deviazioni più grandi e mantenere la varianza costante a meno che non si effettuino anche deviazioni più piccole; se ‘ t mantieni costante la varianza, più deviazioni diventano piccole rispetto alla nuova scala. Quindi sì, quando si tratta di guardare alla curtosi, la matematica ti dice che più grande porta con sé più piccolo.
• @Peter Let ‘ s prenda $ Z $ come $ X $ standardizzato. La curtosi è $ \ kappa = E (Z ^ 4) $ e $ \ sqrt {\ kappa-1} = E (Z ^ 2) $ è monotona in $ \ kappa $. Se sposto la probabilità ulteriormente nella coda di $ Z $, una certa probabilità deve spostarsi verso la media (oppure non posso ‘ tenere $ \ text {Var} (Z) = 1 $ ).Allo stesso modo, se sposto la probabilità ulteriormente nella coda di $ X $ & faccio aumentare la varianza, $ \ mu \ pm k \ sigma $ è più ampio, e così per almeno alcuni valori di $ k $ in più del resto della distribuzione tenderà a rientrare in quei limiti; una volta standardizzato il nuovo $ X $ (da $ X ‘ $ a $ Z ‘ $ say), hai valori più piccoli in questo senso diretto.

La curtosi misura i valori anomali. I valori anomali sono problematici per le inferenze standard (ad esempio, test t, intervalli t) che si basano sulla distribuzione normale. Questa è la fine della storia! Ed è davvero una storia piuttosto semplice.

Il motivo per cui questa storia non è ben apprezzata è perché persiste lantico mito secondo cui la curtosi misura “lapice”.

Ecco una semplice spiegazione che mostra perché la curtosi misura valori anomali e non “picco”.

Considera il seguente set di dati.

0, 3, 4, 1 , 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 1

La curtosi è il valore atteso dei (valori z ) ^ 4. Ecco i (valori z) ^ 4:

6.51, 0.30, 5.33, 0.45, 0.00, 0.30, 6.51, 0.00, 0.45, 0.30, 0.00, 6.51, 0.00, 0.00, 0.30, 0.00, 27,90, 0,00, 0,30, 0,45

La media è 2,78, e questa è una stima della curtosi. (Sottrai 3 se vuoi un eccesso di curtosi.)

Ora, sostituisci lultimo valore di dati con 999 in modo che diventi un valore anomalo:

0, 3, 4, 1, 2, 3 , 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Ora, ecco i (valori z) ^ 4:

0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00,0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 360.98

La media è 18,05, e questa è una stima della curtosi. (Sottrai 3 se vuoi un eccesso di curtosi.)

Chiaramente, solo i valori anomali contano. Niente riguardo al “picco” o ai dati vicini al centro.

Se esegui analisi statistiche standard con il secondo set di dati, dovresti aspettarti problemi. La grande curtosi ti avverte del problema.

Ecco un documento che elabora:

Westfall, P.H. (2014). Kurtosis as Peakedness, 1905 – 2014. R.I.P. The American Statistician, 68, 191–195.

Commenti

• Perché non utilizzare solo test non parametrici? Per questi tipi di problemi è probabile che siano superiori.
• Daccordo, questa è una strada possibile, SE ti piacciono i test, che sta rapidamente diventando meno interessante nella sua forma classica. Ma questa non è davvero la mia preoccupazione. Sono più interessato alla modellazione probabilistica in generale. Unapplicazione: forse sei davvero interessato alla media, ad esempio, nei casi in cui la variabile dipendente è in dollari guadagnati, la media del processo è più interessante della mediana del processo. Quindi, cosa significano i dati sul processo quando i dati sono soggetti a valori anomali? È ‘ un problema difficile, ma importante, e la curtosi del momento è rilevante per la risposta. Non test non par.
• Per la distribuzione di Cauchy, la media ridotta può essere una misura migliore della posizione rispetto alla mediana e la media ordinaria non sarebbe una misura della posizione. Cosa usare come misura della posizione dipende da quale sia la distribuzione. Un esempio per il quale la curtosi non sarebbe utile come indicatore è la distribuzione uniforme per la quale il valore medio estremo è una misura della posizione migliore sia della mediana che della media.
• Non il punto. Se sei interessato ai totali, ad esempio i dollari, la media ordinaria è la misura della posizione che desideri.
• Se hai una variabile distribuita di Cauchy, puoi fare un caso per i dollari totali guadagnati, ma il la media non sarà una misura particolarmente utile della posizione, il che significa che il ” valore atteso ” non ha alcuna ragionevole aspettativa ad esso associata.

La curtosi indica anche code asimmetriche. In un test di ipotesi a due code, una coda sarà una coda lunga e laltra sarà una coda corta. Una delle code può essere> alpha, ma < beta. Una coda supererebbe il valore p, ma laltra no.

Fondamentalmente, linferenza statistica presuppone uno standard normale. Quando non è uno standard normale, potresti cavartela con uninferenza basata su alcune meccaniche di inferenza più sofisticate. Potresti essere in grado di dedurre Poisson, ma con una distribuzione che non è normale, non puoi usare linferenza basata su normali.

Linclinazione e la curtosi sono una misura della non normalità. Impariamo a prendere mezzi e utilizzare distribuzioni normali prima di sapere che dobbiamo testare la normalità. Una normale richiede 36 o più punti dati da ciascuna dimensione. Puoi stimare a 20 punti dati, ma avrai comunque inclinazione e curtosi. Quando la distribuzione si avvicina alla normalità, linclinazione e la distribuzione scompaiono.

Una delle spiegazioni definiva la curtosi come lapice. Un altro no.Questa è una lotta instabile in questo momento. La curtosi è il quarto momento, unarea. Non sono al culmine del problema.

Unaltra idea che è là fuori è che con uninclinazione, la mediana si sporge verso la modalità formando un triangolo. Buon divertimento.

Commenti

• ‘ non è chiaro che questo aggiunga qualcosa di utile e diverso a risposte già eccellenti. Aggiunge diverse affermazioni sconcertanti ad es. ” normal richiede 36 o più punti dati ” (quindi 35 non va bene? Qual è la base di questa affermazione? ” asimmetria come picco ” Non ‘ credo che qualcuno lo stia rivendicando. ” linferenza statistica assume un normale “: non in generale. La curtosi è il quarto momento, unarea: no; la curtosi come qui definita è un rapporto adimensionale, basato su quarto e secondo momento sulla media.
• Il quarto momento è un integrale, quindi è unarea. Come quellarea viene tradotta raggiungendo lapice o la curvatura mi si perde.
• La spiegazione tipica della curtosi è lapice, ma a mio avviso ‘ è sbagliato. ‘ modifico la mia risposta originale per cambiare lasimmetria come picco per dire che la curtosi è … Grazie.
• Le code non sono simmetriche. ‘ non ho mai visto nulla sullinferenza statistica che considera code asimmetriche. Il rischio di curtosi si verifica perché le code si sposteranno man mano che vengono raccolti più punti dati. Skew e curtosi riguardano la mancanza di dati sufficienti per raggiungere uno standard normale.
• Non è così: cè una massa di teoria e applicazioni per esponenziali, gamma, Weibull e molte, molte altre distribuzioni che non sono normali .