Înțelegeți funcția de legătură în modelul liniar generalizat

Deci, atunci când aveți date de răspuns binar, aveți un rezultat „da / nu” sau „1/0” pentru fiecare observație. Cu toate acestea, ceea ce încercați să estimați atunci când faceți o regresie de răspuns binar nu este un rezultat 1/0 pentru fiecare set de valori ale variabilelor independente pe care le impuneți, ci probabilitatea ca o persoană cu astfel de caracteristici să ducă la un rezultat „da”. . Atunci răspunsul nu mai este discret, este continuu (în intervalul (0,1)). Răspunsul din date ( adevăratul $ y_i $) sunt, într-adevăr, binare, dar Răspunsul estimat ($ \ Lambda (x_i „b) $ sau $ \ Phi (x_i” b) $) sunt probabilități.

Înțelesul de bază al acestor funcții de legătură este că acestea sunt distribuția pe care o impunem termenului de eroare în modelul de variabilă latentă. Imaginați-vă că fiecare individ are o voință subiacentă (neobservabilă) de a spune „da” (sau să fie un 1) în rezultat. modelează această dorință ca $ y_i ^ * $ folosind o regresie liniară pe caracteristicile individuale $ x_i $ (care este un vector în regresie multiplă):

$$ y_i ^ * = x_i „\ beta + \ epsilon_i. $$

Aceasta este ceea ce se numește o regresie variabilă latentă. Dacă dorința acestui individ a fost pozitivă ($ y_i ^ * > 0 $) , rezultatul observat al individului ar fi un „da” ($ y_i = 1 $), altfel un „nu”. Rețineți că alegerea pragului nu contează ca v latent modelul ariabil are o interceptare.

În regresia liniară presupunem că termenul de eroare trebuie distribuit în mod normal. În răspunsul binar și alte modele, trebuie să impunem / asumăm o distribuție în termenii de eroare. Funcția de legătură este funcția de probabilitate cumulată pe care o urmează termenii de eroare. De exemplu, dacă este logistic (și vom folosi că distribuția logistică este simetrică în a patra egalitate),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i” \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i „\ beta) = P (\ epsilon_i < x_i” \ beta) = \ Lambda (x_i „\ beta). $$

Dacă ați presupus erorile care trebuie distribuite în mod normal, atunci veți avea un link de probă, $ \ Phi (\ cdot) $, în loc de $ \ Lambda (\ cdot) $.

Comentarii

• +1 Bine ați venit pe site-ul nostru, Anna! Vă mulțumim că ați contribuit la răspunsuri bine construite pe lângă întrebarea pe care ați pus-o.
• Vă mulțumim! Cum ai văzut că sunt nou? Există ceva de urmărit oameni noi? Ești moderator? Mă simt puțin surprins. Dar, într-adevăr, intenția mea a fost să dau răspunsuri mult mai mult decât să pun întrebări, dar am întâmplat să am o întrebare.
• Există ' o mulțime de pe acest site , Anna. Începeți examinând centrul de ajutor . Puteți face clic pe aproape orice vedeți pentru mai multe informații. Utilizatorii cu o pictogramă diamantată după numele lor sunt moderatori, dar la fel și utilizatorii cu reputație suficient de mare.Pentru întrebări suplimentare despre modul în care funcționează acest site, accesați meta paginile noastre . Căutarea pe site (idiosincratică) este utilă, dar căutările Google direcționate (includ " site: stats.stackexchange.com ") pot fi uniforme mai efectiv. Și consultați camera de chat .
• @AnnaSdTC nu, nu există un mecanism de urmărire. Există o coadă de revizuire care evidențiază postările de noi utilizatori, dar în majoritatea cazurilor puteți observa pur și simplu o poreclă nouă + avatar. De asemenea, în informațiile de profil există informații despre momentul creării contului (consultați-vă stats.stackexchange.com/users/146969/anna-sdtc , există un " membru pentru secțiunea ").
• I ' ve Am căutat răspunsul la " de ce sigmoid " pentru o regresie logistică pentru o vreme și acesta este de departe cel mai bun răspuns. ' m-am mirat că nu multe cărți ML menționează acest lucru și impun funcția logistică din senin. Cel mai bun ' am văzut discuții despre GLM, dar impune " forma GLM " din senin și folosiți-l ca " justificare ", care nu ' nu este explica orice. Singurul mod în care pot să înțeleg este prin această gândire – presupunerea asupra distribuției termenului de eroare și cred că este singura explicație reală fără a impune nimic

Modelul liniar generalizat este definit în termeni de predictor liniar

$$ \ eta = X \ beta $$

Următorul lucru este distribuirea probabilității care descrie distribuția condiționată a $ Y $ și o funcție de legătură $ g $ care „oferă relația dintre predictorul liniar și media funcției de distribuție”, deoarece nu predicem valorile $ Y $ ci mai degrabă medie condițională din $ Y $ predicții $ X $, adică

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

În funcția de identitate GLM (regresie liniară) a familiei Gaussiene este utilizată ca funcție de legătură, deci $ E (Y | X) = \ eta $, în timp ce în cazul regresie logistică funcția logit este utilizată. Funcția (inversă) logit transformă valorile $ \ eta $ în $ (- \ infty, \ infty) $ în $ (0, 1) $, deoarece regresia logistică prezice probabilitățile de succes , adică media distribuției Bernoulli. Alte funcții sunt utilizate pentru transformarea predictorilor liniari în mijloace de distribuții diferite, de exemplu funcția log pentru regresia Poisson sau legătura inversă pentru regresia gamma. Deci funcția de legătură nu leagă valori de $ Y $ (de exemplu, binare, în caz de regresie logistică) și predictor liniar, ci media distribuției lui $ Y $ cu $ \ eta $ (de fapt, pentru a traduce probabilitățile la $ 0 $ ” s și $ 1 $ „s veți avea nevoie în plus de o regulă de decizie ). Deci, mesajul de preluat este că nu predicem valorile $ Y $, ci îl descriem în termeni de model probabilistic și estimăm parametrii de distribuție condiționată a $ Y $ dat $ X $.

Pentru a afla mai multe despre funcțiile de link și GLM, puteți verifica Diferența dintre ' funcție de legătură ' și ' funcție de legătură canonică ' pentru GLM , Scopul funcției de legătură în modelul liniar generalizat și Diferența dintre firele logit și probit , foarte bun articol Wikipedia pe GLM „s și modele liniare generalizate carte de McCullagh și Nelder.