Interpretarea exp (B) în regresia logistică multinomială

Ne va lua o pentru a ajunge acolo, dar pe scurt, o modificare cu o unitate a variabilei corespunzătoare lui B va multiplica riscul relativ al rezultatului (comparativ cu rezultatul de bază) cu 6,012.

S-ar putea exprima acest lucru ca o creștere cu „5012%” a riscului relativ , dar că „este confuz și pot mod în primul rând înșelător de a face acest lucru, deoarece sugerează că ar trebui să ne gândim la schimbări adițional, atunci când, de fapt, modelul logistic multinomial ne încurajează puternic să gândim multiplicativ. Modificatorul „relativ” este esențial, deoarece o modificare a unei variabile schimbă simultan probabilitățile prezise ale rezultatelor toate , nu doar cea în cauză, deci trebuie să comparăm probabilitățile (prin intermediul rapoarte, nu diferențe).

Restul acestui răspuns dezvoltă terminologia și intuiția necesare pentru a interpreta corect aceste afirmații.

Context

Să începem cu regresia logistică obișnuită înainte de a trece la cazul multinomial.

Pentru variabila dependentă (binară) $ Y $ și variabilele independente $ X_i $, modelul este

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

echivalent, presupunând $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Aceasta definește pur și simplu $ \ rho $, care este cota în funcție de $ X_i $.)

Fără pierderi de generalitate, inde x $ X_i $ astfel încât $ X_m $ să fie variabila și $ \ beta_m $ să fie „B” în întrebare (astfel încât $ \ exp (\ beta_m) = 6.012 $). Fixarea valorilor $ X_i, 1 \ le i \ lt m $ și variația $ X_m $ cu o cantitate mică $ \ delta $ randamente

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Astfel, $ \ beta_m $ este modificarea marginală a cotelor jurnalului în ceea ce privește $ X_m $.

Pentru a recupera $ \ exp (\ beta_m) $, evident, trebuie să setăm $ \ delta = 1 $ și să expunem partea stângă:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Aceasta prezintă $ \ exp (\ beta_m) $ ca odds ratio pentru o creștere cu o unitate în $ X_m $. Pentru a dezvolta o intuiție pentru ceea ce ar putea însemna acest lucru, intabulați câteva valori pentru o serie de cote inițiale, rotunjind puternic pentru a face modelele să iasă în evidență:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

Pentru cote foarte mici , care corespund probabilităților cu adevărat mici , efectul unei creșteri cu o unitate în $ X_m $ este de a înmulți cotele sau probabilitatea de aproximativ 6.012. Factorul multiplicativ scade pe măsură ce șansele (și probabilitatea) cresc, și a dispărut în esență odată ce șansele depășesc 10 (probabilitatea depășește 0,9).

Ca modificare aditiv , nu există o mare diferență între o probabilitate de 0,0001 și 0,0006 (este doar 0,05%) și nici nu există o mare diferență între 0,99 și 1 (doar 1%). Cel mai mare efect aditiv apare atunci când cotele sunt egale cu 1 $ / \ sqrt {6.012} \ sim 0.408 $, unde probabilitatea se schimbă de la 29% la 71%: o schimbare de + 42%.

Vedem, deci, că dacă exprimăm „riscul” ca raport de probabilitate, $ \ beta_m $ = „B” are o interpretare simplă – raportul de cote este egal cu $ \ beta_m $ pentru o creștere a unității în $ X_m $ – dar atunci când exprimăm riscul în alt mod, cum ar fi o schimbare a probabilităților, interpretarea necesită atenție pentru a specifica probabilitatea de pornire.

Regresie logistică multinomială

(Aceasta a fost adăugată ca o ediție ulterioară.)

După ce am recunoscut valoarea utilizării cotelor de jurnal pentru a exprima șanse, să „Treceți la cazul multinomial. Acum variabila dependentă $ Y $ poate fi egală cu una din categoriile $ k \ ge 2 $, indexate cu $ i = 1, 2, \ ldots, k $. relativa probabilitatea ca acesta să fie în categoria $ i $ este

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ right) $ $

cu parametrii $ \ beta_j ^ {(i)} $ care urmează să fie determinați și scriind $ Y_i $ pentru $ \ Pr [Y = \ text {category} i] $.Ca abreviere, să scriem expresia din dreapta ca $ p_i (X, \ beta) $ sau, unde $ X $ și $ \ beta $ sunt limpezi din context, pur și simplu $ p_i $. Normalizarea pentru a face toate acestea probabilitățile relative sumă la unitate dă

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta )}. $$

(Există o ambiguitate în parametri: sunt prea mulți dintre ei. În mod convențional, se alege o categorie „de bază” pentru comparație și forțează toți coeficienții să fie zero. Cu toate acestea, deși acest lucru este necesar pentru a raporta estimări unice ale beta-urilor, nu este necesar pentru a interpreta coeficienții. Pentru a menține simetria – adică pentru a evita orice distincție artificială între categorii – să nu aplicăm o astfel de constrângere decât dacă trebuie.)

O modalitate de a interpreta acest model este de a solicita rata marginală de modificare a cotelor jurnalului pentru orice categorie (să zicem categoria $ i $) cu privire la oricare dintre variabilele independente (să zicem $ X_j $). Adică, atunci când schimbăm puțin $ X_j $, asta induce o schimbare a cotelor jurnalului de $ Y_i $. Ne interesează constanta proporționalității care leagă aceste două schimbări. Regula de calcul a lanțului, împreună cu o mică algebră, ne spune că această rată de schimbare este

$$ \ frac {\ partial \ \ text {log odds} (Y_i)} {\ partial \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Aceasta are o interpretare relativ simplă ca coeficientul $ \ beta_j ^ {(i)} $ de $ X_j $ în formula pentru șansa ca $ Y $ să fie în categoria $ i $ minus o ” ajustare.” Ajustarea este media ponderată a probabilității coeficienților de $ X_j $ în toate celelalte categorii . Ponderile sunt calculate utilizând probabilități asociate cu valorile curente ale variabilelor independente $ X $. Astfel, schimbarea marginală a jurnalelor nu este neapărat constantă: depinde de probabilitatea tuturor celorlalte categorii, nu doar de probabilitatea categoriei în cauză (categoria $ i $).

Când există doar $ k = 2 $ categorii, aceasta ar trebui să se reducă la o regresie logistică obișnuită. Într-adevăr, ponderarea probabilității nu face nimic și (alegând $ i = 2 $) oferă pur și simplu diferența $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Dacă lăsați categoria $ i $ să fie cazul de bază, aceasta se reduce la $ \ beta_j ^ {(2)} $, deoarece forțăm $ \ beta_j ^ {(1)} = 0 $. Astfel, noua interpretare generalizează vechiul.

Pentru a interpreta direct $ \ beta_j ^ {(i)} $, îl vom izola pe o parte a formulei precedente, ducând la:

Coeficientul de $ X_j $ pentru categoria $ i $ este egal cu modificarea marginală a cotelor jurnalului din categoria $ i $ față de variabila $ X_j $, plus media ponderată a probabilității coeficienților tuturor celorlalte $ X_ {j „} $ pentru categoria $ i $.

O altă interpretare, deși puțin mai directă, este oferită prin setarea (temporară) a categoriei $ i $ ca caz de bază, făcând astfel $ \ beta_j ^ {(i)} = 0 $ pentru toate variabilele independente $ X_j $:

Rata marginală de schimbare a cotelor jurnal ale cazului de bază pentru variabila $ X_j $ este negativa mediei ponderate a probabilității coeficienților săi pentru toate alte cazuri.

De fapt, utilizarea acestor interpretări necesită de obicei extragerea beta și probabilitățile de ieșire a software-ului și efectuarea calculelor așa cum se arată.

În cele din urmă, pentru coeficienții exponențiați, rețineți că raportul probabilităților dintre două rezultate (numit uneori „riscul relativ” de $ i $ comparat la $ i „$) este

$$ \ frac {Y_ {i}} {Y_ {i”}} = \ frac {p_ {i} (X, \ beta)} {p_ {i „} (X, \ beta)}. $$

Să creștem $ X_j $ cu o unitate la $ X_j + 1 $. Aceasta înmulțește $ p_ {i} $ cu $ \ exp (\ beta_j ^ {(i)}) $ și $ p_ {i „} $ cu $ \ exp (\ beta_j ^ {(i”)}) $, de unde riscul relativ este multiplicat cu $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i „)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i „)}) $. Luând categoria $ i „$ ca fiind cazul de bază, aceasta se reduce la $ \ exp (\ beta_j ^ {(i)}) $, ceea ce ne face să spunem,

Coeficientul exponențiat $ \ exp (\ beta_j ^ {(i)}) $ este suma cu care riscul relativ $ \ Pr [Y = \ text {category} i] / \ Pr [Y = \ text { categoria de bază}] $ se înmulțește când variabila $ X_j $ este mărită cu o unitate.

Comentarii

• Explicații excelente, dar PO a cerut în mod explicit modelul multinomial . Poate că citesc mai mult întrebarea decât intenționase PO, iar explicația pentru cazul binar poate fi adecvată, îmi place să văd că acest răspuns acoperă și cazul multinomial general.Chiar dacă parametrizarea este similară, ” log-odds ” sunt, în general, în ceea ce privește o categorie de referință (arbitrară) și nu sunt într-adevăr log-odds, iar o modificare a unității în $ X_i $ are ca rezultat o modificare combinată a acestor ” log-odds „, și o creștere a ” log-odds ” nu implică și crește probabilitatea.
• @NRH Că ‘ este un punct excelent. Cumva citisem ” multivariate ” în loc de ” multinomial. ” Dacă voi avea șansa de a reveni la acest lucru, voi încerca să concretizez acele detalii. Din fericire, același mod de analiză este eficient în găsirea interpretării corecte.
• @NRH Terminat. Salut sugestiile dvs. (sau oricine altcineva ‘ s) despre cum să clarificați interpretarea sau pentru interpretări alternative.
• vă mulțumim că ați scris acest lucru. Răspunsul complet este o referință foarte bună.

Încercați să luați în considerare acest pic de explicație în plus față de ceea ce @whuber a scris deja atât de bine. Dacă exp (B) = 6, atunci raportul de cote asociat cu o creștere de 1 pe predictorul în cauză este 6. În contextul multinomial, prin „raport de cote” se înțelege raportul acestor două cantități: a) cota ( nu probabilitatea, ci mai degrabă p / [1-p]) ca un caz să ia valoarea variabilei dependente indicate în tabelul de ieșire în cauză și b) șansele ca un caz să ia valoarea de referință a variabilei dependente.

Pareți căutați să cuantificați probabilitatea – mai degrabă decât șansele – ca un caz să se afle într-una sau alta categorie. Pentru a face acest lucru, ar trebui să știți cu ce probabilități „a început” cazul – adică înainte de a presupune creșterea de 1 pe predictorul în cauză. Raporturile de probabilitate vor varia de la caz la caz, în timp ce raportul cotelor legate de o creștere de 1 la predictor rămâne același.

Comentarii

• ” Dacă exp (B) = 6, atunci raportul de cote asociat cu o creștere de 1 pe predictorul în cauză este de 6 „, dacă citesc corect răspunsul @whuber ‘ spune că raportul de șanse va fi înmulțit cu 6 cu o creștere de 1 pe predictor. Adică, noul raport de cote nu va fi 6. Sau interpretez greșit lucrurile?
• Unde spuneți ” noul raport de cote i> nu va fi 6 ” Aș spune ” noua cotă nu va fi 6 … dar raportul dintre cote și vechi va fi de 6. ”
• Da, sunt de acord cu asta! Dar tocmai am crezut că ” raportul de șanse asociat cu o creștere de 1 pe predictorul în cauză este de 6 ” nu spune cu adevărat că . Dar poate că o interpretez greșit atunci. Vă mulțumim pentru clarificare!

De asemenea, căutam același răspuns, dar cele de mai sus erau nesatisfăcător pentru mine. Părea să fie complex pentru ceea ce este cu adevărat. Așa că voi da interpretarea mea, vă rog să mă corectați dacă greșesc.

Citiți totuși până la capăt, deoarece este important.

În primul rând valorile B și Exp ( B) sunteți odată căutați. Dacă B este negativ, Exp (B) va fi mai mic decât unul, ceea ce înseamnă că cota scade. Dacă este mai mare Exp (B) va fi mai mare de 1, ceea ce înseamnă că șansele cresc. Deoarece înmulțiți cu factorul Exp (B).

Din păcate, nu sunteți încă acolo. Deoarece într-o regresie multinominală variabila dvs. dependentă are mai multe categorii, să numim aceste categorii D1, D2 și D3. Din care ultima dvs. este categoria de referință. Și să presupunem că prima dvs. variabilă independentă este sexul (bărbați vs femei).

Să spunem că rezultatul pentru D1 -> bărbați este exp (B) = 1,21, aceasta înseamnă pentru bărbați cotele cresc cu un factor 1,21 pentru a fi în categoria D1 mai degrabă decât D3 (categoria de referință) comparativ cu femeile (categoria de referință).

Deci, comparați întotdeauna cu categoria de referință a variabilelor dependente, dar și independente. Acest lucru nu este adevărat dacă aveți o variabilă covariabilă. În acest caz, ar însemna; o creștere cu o unitate în X mărește șansele cu un factor de 1.21 de a fi în categoria D1, mai degrabă decât D3.

Pentru cei cu o variabilă dependentă de ordinal:

Dacă aveți un ordinal variabilă dependentă și nu a făcut o regresie ordinală, din cauza presupunerii unor cote proporționale, de exemplu. Rețineți categoria este categoria de referință. Rezultatul dvs. de mai sus este valid pentru raportare. Dar rețineți că o creștere a cotelor decât de fapt înseamnă o creștere a cotelor de a fi în categoria inferioară, mai degrabă decât cea mai mare!Dar asta este doar dacă aveți o variabilă dependentă de ordin.

Dacă doriți să cunoașteți creșterea procentuală, luați un număr de cote fictiv, să spunem 100 și înmulțiți-l cu 1.21 121? Comparativ cu 100 cât de mult s-a schimbat procentual?

Spuneți că exp (b) într-un mlogit este 1,04. dacă înmulțiți un număr cu 1,04, atunci acesta crește cu 4%. Acesta este riscul relativ de a fi în categoria a în loc de b. Bănuiesc că o parte din confuzia de aici ar putea avea legătură cu 4% (semnificație multiplicativă) și cu 4 puncte procentuale (sens aditiv). Interpretarea% este corectă dacă vorbim despre o modificare procentuală, nu despre o modificare a punctelor procentuale. (Acestea din urmă nu ar avea niciun sens, întrucât riscurile relative nu sunt exprimate în procente.)