Qual è una spiegazione intuitiva del perché vogliamo lomoschedasticità in una regressione?

Lomoschedasticità significa che le varianze di tutte le osservazioni sono identiche tra loro, leteroschedasticità significa che “sono diverse. È possibile che la dimensione delle varianze mostri un trend relativo a x, ma non è strettamente necessario; come mostrato nel diagramma allegato, le varianze che sono di dimensioni diverse in modo casuale da un punto allaltro si qualificheranno altrettanto bene.

Il compito della regressione è stimare una curva ottimale che passi il più vicino possibile al maggior numero di punti dati possibile. Nel caso dei dati eteroschedastici, per definizione, alcuni punti saranno naturalmente molto più ampiamente dispersi di altri. Se la regressione tratta semplicemente tutti i punti di dati in modo equivalente, quelli con la varianza maggiore tenderanno ad avere uninfluenza indebita nella selezione della curva di regressione ottimale, “trascinando” la curva di regressione verso se stessi, al fine di raggiungere lobiettivo di minimizzare il dispersione complessiva dei punti dati sulla curva di regressione finale.

Questo problema può essere facilmente superato pesando semplicemente ogni punto dati in proporzione inversa alla sua varianza. Ciò presuppone, tuttavia, che si conosca la varianza associata a ogni singolo punto. Spesso non lo si fa. Pertanto, la ragione per cui i dati omoschedastici sono preferiti è perché sono più semplici e facili da gestire: è possibile ottenere la risposta “corretta” per la curva di regressione senza necessariamente conoscere le varianze sottostanti dei singoli punti , perché i pesi relativi tra i punti in un certo senso “si annulleranno” se sono comunque tutti uguali.

EDIT:

Un commentatore mi chiede di spiegare lidea che lindividuo i punti possono avere variazioni proprie, uniche e diverse. Lo faccio con un esperimento mentale. Supponiamo di chiederti di misurare il peso rispetto alla lunghezza di un gruppo di animali diversi, dalle dimensioni di un moscerino fino alle dimensioni di un elefante. Lo fai, tracciando la lunghezza sullasse xe il peso sullasse y. Ma fermiamoci un attimo per considerare le cose un po più in dettaglio. Esaminiamo i valori di peso in modo specifico: come li hai effettivamente ottenuti? Non puoi usare lo stesso dispositivo di misurazione fisico per pesare un moscerino come faresti per pesare un animale domestico, né puoi usare lo stesso dispositivo per pesare un animale domestico come si farebbe per pesare un elefante. Per il moscerino, probabilmente dovrai usare qualcosa come una bilancia chimica analitica , precisa fino a 0,0001 g, mentre per lanimale domestico, “d usa una bilancia pesapersone, che potrebbe avere una precisione di circa mezzo chilo (circa 200 g), mentre per lelefante potresti usare qualcosa come un camion scala , che potrebbe essere precisa solo entro +/- 10 kg. Il punto è che tutti questi dispositivi hanno diverse precisioni intrinseche: ti dicono solo il peso fino a un certo numero di cifre significative e dopo che non puoi davvero sapere per certo. Le diverse dimensioni delle barre di errore nel grafico eteroschedastico sopra, che associamo alle diverse varianze dei singoli punti, riflettono diversi gradi di certezza sulle misurazioni sottostanti. In breve, punti diversi possono avere variazioni diverse perché a volte non possiamo misurare tutti i punti allo stesso modo – non conoscerai mai il peso di un elefante fino a +/- 0,0001 g, perché non puoi “t ottenere quel tipo di precisione da una bilancia per camion, ma puoi conoscere il peso di un moscerino a +/- 0,0001 g, perché puoi ottenere quel tipo di accuratezza su una bilancia chimica analitica.(Tecnicamente, in questo particolare esperimento mentale, lo stesso tipo di problema si presenta anche per la misurazione della lunghezza, ma tutto ciò significa che se decidessimo di tracciare le barre di errore orizzontali che rappresentano anche le incertezze nei valori dellasse x, quelle sarebbero hanno dimensioni diverse anche per punti diversi.)

Commenti

• Sarebbe carino se spiegassi e approfonditamente cosè ” varianza di un punto / osservazione “. Senza di essa, un lettore potrebbe non sentirsi soddisfatto e obiettare: come può una singola osservazione di un campione avere la propria misura di variazione?

Perché vogliamo lomoschedasticità nella regressione?

Non è che desideriamo lomoschedasticità o leteroschedasticità nella regressione; ciò che vogliamo è che il modello rifletta le proprietà effettive dei dati . I modelli di regressione possono essere formulati con lassunzione di omoschedasticità, o con unipotesi di eteroschedasticità, in una forma specifica. Vogliamo formulare un modello di regressione che si adatti alle proprietà effettive dei dati, e rifletta quindi una ragionevole specificazione del comportamento dei dati provenienti dal processo osservato.

Quindi, se la varianza della deviazione della risposta dalla sua aspettativa (il termine di errore) è fissa (cioè è omoschedastico), allora vogliamo un modello che lo rifletta. E se t a varianza della deviazione della risposta dalla sua aspettativa (il termine di errore) dipende dalla variabile esplicativa (cioè, è eteroschedastico) quindi vogliamo un modello che rifletta questo . Se specifichiamo erroneamente il modello (ad esempio, utilizzando un modello omoschedastico per dati eteroschedastici), significa che specificheremo erroneamente la varianza del termine di errore. Il risultato è che la nostra stima della funzione di regressione sotto-penalizzerà alcuni errori e penalizzerà eccessivamente altri errori, e tenderà ad avere prestazioni inferiori rispetto a se specifichiamo correttamente il modello.

Oltre alle altre eccellenti risposte:

Qualcuno può spiegare intuitivamente perché è necessario ? (Un esempio applicato sarebbe fantastico!)

La varianza costante non è “t necessaria , ma quando contiene la modellazione e lanalisi è più semplice. Parte di questo deve essere storica, lanalisi quando la varianza non è costante è più complicata, richiede più calcoli! Così si sono sviluppati metodi (trasformazioni) per arrivare a una situazione in cui la varianza costante è valida e si potrebbero utilizzare metodi più semplici / veloci. Oggi ci sono più metodi alternativi e il calcolo veloce non è così importante come lo era. Ma la semplicità ha ancora un valore! La parte è tecnica / matematica. I modelli con varianza non costante non hanno ausiliari esatti (vedere qui .) Quindi è possibile solo uninferenza approssimativa. La varianza non costante nel problema dei due gruppi è il famoso problema di Behrens-Fisher .

Ma è ancora più profondo di questo. Vediamo lesempio più semplice, confrontando le medie di due gruppi con un (qualche variante di) t-test. Lipotesi nulla è che i gruppi siano uguali. Diciamo che questo è un esperimento randomizzato con un gruppo di trattamento e controllo. Se le dimensioni dei gruppi sono ragionevoli, la randomizzazione dovrebbe rendere i gruppi uguali (prima del trattamento). Lipotesi di varianza costante dice che il trattamento (se funziona del tutto) influenza solo la media, non la varianza. Ma come potrebbe influenzare la varianza? Se il trattamento funziona davvero allo stesso modo su tutti i membri del gruppo di trattamento, dovrebbe avere più o meno lo stesso effetto per tutti, il gruppo è semplicemente spostato. Una varianza così diseguale potrebbe significare che il trattamento ha un effetto diverso per alcuni membri del gruppo di trattamento rispetto ad altri. Diciamo, se ha qualche effetto per metà del gruppo e un effetto molto più forte per laltra metà, la varianza aumenterà insieme alla media! Quindi lipotesi di varianza costante è in realtà unipotesi sullomogeneità degli effetti del trattamento individuale . Quando questo non vale, ci si dovrebbe aspettare che lanalisi diventi più contorta. Vedi qui . Quindi, con variazioni diseguali, potrebbe anche essere interessante chiederne le ragioni, in particolare se il trattamento potrebbe avere qualcosa a che fare con esso. In tal caso, questo post potrebbe interessarti .

Domanda 2: posso non ricordo mai se lideale è etero o omo. Qualcuno può spiegare la logica di quale è lideale?

Nessuno è ideale , devi modellare la situazione che hai! Ma se questa è una domanda sul ricordare il significato di quelle due parole divertenti, anteponi semplicemente sesso e ti ricorderai.

Domanda 3: eteroschedasticità significa che x è correlato con gli errori. Qualcuno può spiegare perché questo è un male?

Significa che la distribuzione condizionale degli errori data $ x $ , varia con $ x $ . Non è “t male , rende solo la vita complicata. Ma potrebbe rendere la vita interessante, potrebbe essere un segnale di qualcosa di interessante in corso.

Una delle ipotesi della regressione OLS è:

La varianza del termine di errore / residuo è costante. Questa ipotesi è noto come omoschedasticità .

Questo presupposto garantisce che con il cambiamento delle osservazioni, le variazioni nella il termine di errore non dovrebbe cambiare

1. Se questa condizione viene violata, i stimatori dei minimi quadrati ordinari sarebbero comunque lineari, imparziali e coerenti, tuttavia, questi stimatori non sarebbero più efficienti .

Inoltre, le stime dellerrore standard diventerebbero distorte e inaffidabile