Comprendere la funzione di collegamento nel modello lineare generalizzato

Quindi, quando hai dati di risposta binari, hai un risultato “sì / no” o “1/0” per ciascuna osservazione. Tuttavia, quello che stai cercando di stimare quando esegui una regressione della risposta binaria non è un risultato 1/0 per ogni insieme di valori delle variabili indipendenti che imponi, ma la probabilità che un individuo con tali caratteristiche risulti in un risultato “sì” . Quindi la risposta non è più discreta, è continua (nellintervallo (0,1)). La risposta nei dati (il vero $ y_i $) è, in effetti, binaria, ma la risposta stimata (la $ \ Lambda (x_i “b) $ o $ \ Phi (x_i” b) $) sono probabilità.

Il significato sottostante di queste funzioni di collegamento è che sono la distribuzione che imponiamo al termine di errore nel modello delle variabili latenti. Immagina che ogni individuo abbia una disponibilità sottostante (non osservabile) a dire “sì” (o essere un 1) nel risultato. Allora noi modella questa volontà come $ y_i ^ * $ usando una regressione lineare sulle caratteristiche dellindividuo $ x_i $ (che è un vettore in regressione multipla):

$$ y_i ^ * = x_i “\ beta + \ epsilon_i. $$

Questa è quella che viene chiamata regressione a variabile latente. Se la volontà di questa persona fosse positiva ($ y_i ^ * > 0 $) , il risultato osservato dellindividuo sarebbe un “sì” ($ y_i = 1 $), altrimenti un “no”. Si noti che la scelta della soglia non ha importanza in quanto v latente il modello ariabile ha unintercetta.

Nella regressione lineare assumiamo che il termine di errore sia distribuito normalmente. Nella risposta binaria e in altri modelli, dobbiamo imporre / assumere una distribuzione sui termini di errore. La funzione di collegamento è la funzione di probabilità cumulativa seguita dai termini di errore. Ad esempio, se è logistico (e useremo che la distribuzione logistica è simmetrica nella quarta uguaglianza),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i” \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i “\ beta) = P (\ epsilon_i < x_i” \ beta) = \ Lambda (x_i “\ beta). $$

Se pensavi gli errori devono essere distribuiti normalmente, quindi avresti un collegamento probit, $ \ Phi (\ cdot) $, invece di $ \ Lambda (\ cdot) $.

Commenti

• +1 Benvenuto nel nostro sito, Anna! Grazie per aver contribuito con risposte ben costruite oltre alla domanda che hai posto.
• Grazie! Come hai visto che ero nuovo? Cè qualcosa per rintracciare nuove persone? Sei un moderatore? Mi sento un po sorpreso. Ma, in effetti, la mia intenzione era di dare risposte molto più che porre domande, ma mi è capitato di avere una domanda.
• Ci ' è molto in questo sito , Anna. Inizia consultando il nostro Centro assistenza . Puoi fare clic su quasi tutto ciò che vedi per ulteriori informazioni. Gli utenti con unicona a forma di diamante dopo i loro nomi sono moderatori, ma lo sono anche tutti gli utenti con una reputazione sufficientemente ampia.Per ulteriori domande sul funzionamento di questo sito, visita le nostre meta pagine . La ricerca sul sito (idiosincratica) è utile, ma le ricerche Google mirate (includi " site: stats.stackexchange.com ") possono essere uniformi più efficace. E controlla la nostra chat room .
• @AnnaSdTC no, non esiste un meccanismo di monitoraggio. Cè una coda di revisione che evidenzia i post dei nuovi utenti, ma nella maggior parte dei casi puoi semplicemente notare il nuovo nickname + avatar. Inoltre nelle informazioni del profilo sono presenti informazioni su quando è stato creato laccount (vedere te stesso stats.stackexchange.com/users/146969/anna-sdtc , cè un " membro per " sezione).
• I ' ve ho cercato la risposta a " perché sigmoid " per la regressione logistica per un po e questa è di gran lunga la risposta migliore. ' sono sorpreso che non molti libri di ML menzionino questo aspetto e impongano la funzione logistica allimprovviso. Il miglior ' che ho visto parla di GLM ma impone il " modulo GLM " di punto in bianco e usalo come " giustificazione ", che ' non spiegare qualsiasi cosa. Lunico modo in cui posso capire è attraverso questo pensiero – presupposto sulla distribuzione del termine di errore, e penso che sia lunica vera spiegazione senza imporre nulla

Il modello lineare generalizzato è definito in termini di predittore lineare

$$ \ eta = X \ beta $$

La prossima cosa è la distribuzione di probabilità che descrive la distribuzione condizionale di $ Y $ e una funzione di collegamento $ g $ che “fornisce la relazione tra il predittore lineare e la media della funzione di distribuzione”, poiché non stiamo prevedendo i valori di $ Y $ ma piuttosto media condizionale di $ Y $ dati predittori $ X $, ovvero

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

In caso della famiglia gaussiana GLM (regressione lineare) è usata come funzione di collegamento, quindi $ E (Y | X) = \ eta $, mentre in caso di regressione logistica viene utilizzata la funzione logit. La funzione (inversa di) logit trasforma i valori di $ \ eta $ in $ (- \ infty, \ infty) $ in $ (0, 1) $, poiché la regressione logistica prevede le probabilità di successo , cioè media della distribuzione Bernoulli. Altre funzioni vengono utilizzate per trasformare predittori lineari in medie di distribuzioni diverse, ad esempio la funzione log per la regressione di Poisson o il collegamento inverso per la regressione gamma. Quindi la funzione di collegamento non collega i valori di $ Y $ (ad es. Binario, in caso di regressione logistica) e il predittore lineare, ma la media della distribuzione di $ Y $ con $ \ eta $ (in realtà, per tradurre le probabilità in $ 0 $ ” se $ 1 $ “s avresti anche bisogno di una regola di decizione ). Quindi il messaggio da portare via è che non stiamo prevedendo i valori di $ Y $ ma invece li stiamo descrivendo in termini di modello probabilistico e parametri di stima della distribuzione condizionale di $ Y $ given $ X $.

Per saperne di più sulle funzioni di collegamento e sui GLM puoi controllare Differenza tra ' funzione di collegamento ' e ' funzione di collegamento canonico ' per GLM , Scopo della funzione di collegamento nel modello lineare generalizzato e Differenza tra i modelli logit e probit , lottimo articolo di Wikipedia su GLM “s e i modelli lineari generalizzati libro di McCullagh e Nelder.