Tolke exp (B) i multinomial logistisk regresjon

Det vil ta oss en mens du kommer dit, men i sammendrag vil en endring av en enhet i variabelen som tilsvarer B multiplisere den relative risikoen for utfallet (sammenlignet med basisutfallet) med 6,012.

Man kan uttrykke dette som en «5012%» økning i relativ risiko, men det er en forvirrende og pote faktisk misvisende måte å gjøre det på, fordi det antyder at vi bør tenke på endringene i tillegg, når den multinomiale logistikkmodellen faktisk sterkt oppfordrer oss til å tenke mangfoldig. Modifikatoren «relativ» er viktig, fordi en endring i en variabel samtidig endrer de forutsagte sannsynlighetene for alle utfall, ikke bare den aktuelle, så vi må sammenligne sannsynligheter (ved hjelp av forhold, ikke forskjeller).

Resten av dette svaret utvikler terminologien og intuisjonen som trengs for å tolke disse utsagnene riktig.

Bakgrunn

La oss starte med vanlig logistisk regresjon før vi går videre til multinomial case.

For avhengig (binær) variabel $ Y $ og uavhengige variabler $ X_i $, er modellen

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

ekvivalent, forutsatt $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Dette definerer ganske enkelt $ \ rho $, som er oddsen som en funksjon av $ X_i $.)

Uten tap av generalitet, inne x $ X_i $ slik at $ X_m $ er variabelen og $ \ beta_m $ er «B» i spørsmålet (slik at $ \ exp (\ beta_m) = 6.012 $). Å fikse verdiene til $ X_i, 1 \ le i \ lt m $, og variere $ X_m $ med et lite beløp $ \ delta $ gir

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Således er $ \ beta_m $ den marginale endringen i loggodds mht. $ X_m $.

For å gjenopprette $ \ exp (\ beta_m) $, må vi tydeligvis sette $ \ delta = 1 $ og eksponentiere venstre side:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Dette viser $ \ exp (\ beta_m) $ som oddsforhold for en enhetsøkning i $ X_m $. For å utvikle en intuisjon for hva dette kan bety, tabellerer du noen verdier for en rekke startodds, avrundes tungt slik at mønstrene skiller seg ut:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

For veldig små odds, som tilsvarer virkelig små sannsynligheter, effekten av en enhetsøkning i $ X_m $ er å multiplisere oddsen eller sannsynligheten ca. 6,012. Multiplikasjonsfaktoren synker når oddsen (og sannsynligheten) blir større, og har i det vesentlige forsvunnet når oddsen overstiger 10 (sannsynligheten overstiger 0,9).

Som en additiv endring er det ikke mye forskjell mellom sannsynligheten på 0,0001 og 0,0006 (det er bare 0,05%), og det er heller ikke så stor forskjell mellom 0,99 og 1. (bare 1%). Den største additive effekten oppstår når oddsen tilsvarer $ 1 / \ sqrt {6.012} \ sim 0.408 $, hvor sannsynligheten endres fra 29% til 71%: en endring på + 42%.

Vi ser da at hvis vi uttrykker «risiko» som et oddsforhold, har $ \ beta_m $ = «B» en enkel tolkning – oddsforholdet er lik $ \ beta_m $ for en enhetsøkning på $ X_m $ – men når vi uttrykker risiko på annen måte, for eksempel en endring i sannsynligheter, krever tolkningen forsiktighet for å spesifisere startsannsynligheten.

Multinomial logistisk regresjon

(Dette er lagt til som en senere redigering.)

Etter å ha anerkjent verdien av å bruke loggodds for å uttrykke sjanser, la «går videre til multinomial tilfelle. Nå kan den avhengige variabelen $ Y $ tilsvare en av $ k \ ge 2 $ kategorier, indeksert av $ i = 1, 2, \ ldots, k $. relativ sannsynligheten for at den er i kategorien $ i $ er

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ right) $ $

med parametrene $ \ beta_j ^ {(i)} $ som skal bestemmes og skriver $ Y_i $ for $ \ Pr [Y = \ text {category} i] $.Som en forkortelse, la oss skrive høyre uttrykk som $ p_i (X, \ beta) $ eller, der $ X $ og $ \ beta $ er klare fra konteksten, bare $ p_i $. Normalisering for å lage alle disse relative sannsynligheter sum til enhet gir

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta )}. $$

(Det er en tvetydighet i parametrene: det er for mange av dem. Vanligvis velger man en «base» -kategori for sammenligning og tvinger alle dens koeffisienter til å være null. Imidlertid, selv om dette er nødvendig for å rapportere unike estimater av betaene, er det ikke nødvendig å tolke koeffisientene. For å opprettholde symmetrien – det vil si å unngå kunstige skiller mellom kategoriene – la oss ikke håndheve noen slik begrensning med mindre vi må.)

En måte å tolke denne modellen på er å be om den marginale endringsgraden for loggodds for en hvilken som helst kategori (si kategori $ i $) mht. hvilken som helst av de uavhengige variablene (si $ X_j $). Det vil si når vi endrer $ X_j $ litt, det induserer en endring i loggodds på $ Y_i $. Vi er interessert i konstant proporsjonalitet knyttet til disse to endringene. Kjederegelen for beregning, sammen med litt algebra, forteller oss at denne endringshastigheten er

$$ \ frac {\ partial \ \ text {log odds} (Y_i)} {\ partial \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Dette har en relativt enkel tolkning som koeffisienten $ \ beta_j ^ {(i)} $ på $ X_j $ i formelen for sjansen for at $ Y $ er i kategorien $ i $ minus en » justering.» Justeringen er sannsynlighetsvektet gjennomsnitt av koeffisientene på $ X_j $ i alle de andre kategoriene . Vektene beregnes ved hjelp av sannsynligheter knyttet til de nåværende verdiene til de uavhengige variablene $ X $. Dermed er den marginale endringen i logger ikke nødvendigvis konstant: den avhenger av sannsynlighetene for alle de andre kategoriene, ikke bare sannsynligheten for den aktuelle kategorien (kategori $ i $).

Når det bare er $ k = 2 $ kategorier, dette burde reduseres til vanlig logistisk regresjon. Faktisk gjør sannsynlighetsvektingen ingenting, og (å velge $ i = 2 $) gir ganske enkelt forskjellen $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Å la kategorien $ i $ være basissaken reduserer dette ytterligere til $ \ beta_j ^ {(2)} $, fordi vi tvinger $ \ beta_j ^ {(1)} = 0 $. Dermed generaliserer den nye tolkningen den gamle.

For å tolke $ \ beta_j ^ {(i)} $ direkte, vil vi isolere den på den ene siden av den foregående formelen, noe som fører til:

Koeffisienten $ X_j $ for kategori $ i $ tilsvarer marginalendringen i loggodds for kategori $ i $ med hensyn til variabelen $ X_j $, pluss det sannsynlighetsveide gjennomsnittet av koeffisientene til alle de andre $ X_ {j «} $ for kategorien $ i $.

En annen tolkning, om enn litt mindre direkte, tilbys ved (midlertidig) å sette kategori $ i $ som basissak, og derved lage $ \ beta_j ^ {(i)} = 0 $ for alle uavhengige variabler $ X_j $:

Den marginale endringsgraden i loggodds for basissaken for variabelen $ X_j $ er det negative av det sannsynlighetsveide gjennomsnittet av koeffisientene for alle andre tilfeller.

Å bruke disse tolkningene krever faktisk å trekke ut betas og sannsynlighetene fra programvareutdata og utføre beregningene som vist.

Til slutt, for de eksponentierte koeffisientene, merk at forholdet mellom sannsynlighet mellom to utfall (noen ganger kalt «relativ risiko» på $ i $ sammenlignet til $ i «$) er

$$ \ frac {Y_ {i}} {Y_ {i»}} = \ frac {p_ {i} (X, \ beta)} {p_ {i «} (X, \ beta)}. $$

La oss øke $ X_j $ med en enhet til $ X_j + 1 $. Dette multipliserer $ p_ {i} $ med $ \ exp (\ beta_j ^ {(i)}) $ og $ p_ {i «} $ med $ \ exp (\ beta_j ^ {(i»)}) $, hvorfra relativ risiko multipliseres med $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i «)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i «)}) $. Å ta kategori $ i «$ for å være basissaken reduserer dette til $ \ exp (\ beta_j ^ {(i)}) $, noe som får oss til å si,

Den eksponentierte koeffisienten $ \ exp (\ beta_j ^ {(i)}) $ er beløpet som den relative risikoen $ \ Pr [Y = \ text {category} i] / \ Pr [Y = \ text { basiskategori}] $ multipliseres når variabelen $ X_j $ økes med en enhet.

Kommentarer

• Flotte forklaringer, men OP ba eksplisitt om multinomial -modellen. Jeg leser kanskje mer i spørsmålet enn OP hadde til hensikt, og forklaringen på det binære tilfellet kan være tilstrekkelig, men jeg vil elsker å se dette svaret også dekke det generelle multinomiale tilfellet.Selv om parametriseringen er lik, er » log-odds » generelt med hensyn til en (vilkårlig) referansekategori, og de er egentlig ikke loggodds, og en enhetsendring i $ X_i $ resulterer i en kombinert endring av disse » log-odds «, og en økende » log-odds » innebærer ikke og økende sannsynlighet.
• @NRH At ‘ er et utmerket poeng. Jeg hadde på en eller annen måte lest » multivariat » i stedet for » multinomial. » Hvis jeg får sjansen til å gå tilbake til dette, vil jeg prøve å konkretisere disse detaljene. Heldigvis er den samme analysemåten effektiv for å finne den riktige tolkningen.
• @ NRH Ferdig. Jeg ønsker dine forslag (eller noen andre ‘ s) velkommen om hvordan du kan gjøre tolkningen tydeligere, eller for alternative tolkninger.
• takk for at du skrev dette ned. Det komplette svaret er en veldig god referanse.

Prøv å vurdere denne forklaringen i tillegg til det @whuber har allerede skrevet så bra. Hvis exp (B) = 6, så er oddsforholdet assosiert med en økning på 1 på prediktoren i spørsmålet 6. I en multinomial sammenheng, med «odds ratio» mener vi forholdet mellom disse to størrelsene: a) oddsen ( ikke sannsynlighet, men heller p / [1-p]) for en sak som tar verdien av den avhengige variabelen som er angitt i den aktuelle utgangstabellen, og b) oddsen for at en sak tar referanseverdien for den avhengige variabelen. p>

Du ser ut til å kvantifisere sannsynligheten – snarere enn oddsen – for at en sak er i den ene eller den andre kategorien. For å gjøre dette trenger du å vite hvilke sannsynligheter saken «startet med» – dvs. før vi antok økningen på 1 på den aktuelle prediktoren. Sannsynlighetsforholdet vil variere fra fall til sak, mens forholdet mellom odds knyttet til en økning på 1 på prediktoren forblir den samme.

Kommentarer

• » Hvis exp (B) = 6, er oddsforholdet assosiert med en økning på 1 på prediktoren i spørsmålet 6 «, hvis jeg leser @whuber ‘ s svar riktig, står det at oddsforholdet vil bli multiplisert med 6 med en økning på 1 på prediktoren. Det vil si at det nye oddsforholdet ikke vil være 6. Eller tolker jeg ting feil?
• Hvor sier du » det nye odds -forholdet vil ikke være 6 » Jeg vil si » de nye oddsene vil ikke være 6 … men forholdet mellom det nye og det gamle oddset vil være 6. »
• Ja, det er jeg enig! Men jeg tenkte bare at » oddsforholdet assosiert med en økning på 1 på prediktoren i spørsmålet er 6 » sier egentlig ikke det . Men kanskje jeg bare tolker det feil da. Takk for avklaringen!

Jeg lette også etter det samme svaret, men det ene over var ikke tilfredsstillende for meg. Det syntes å være komplisert for hva det egentlig er. Så jeg vil gi min tolkning, vær så snill å korrigere meg hvis jeg tar feil.

Les imidlertid til slutt, siden det er viktig.

Først og fremst verdiene B og Exp ( B) er den gangen du leter etter. Hvis B er negativ, vil Exp (B) være lavere enn en, noe som betyr at odds reduseres. Hvis høyere vil Exp (B) være høyere enn 1, noe som betyr at oddsen øker. Siden du multipliserer med faktoren Exp (B).

Dessverre er du ikke der ennå. Fordi i en multinominal regresjon har den avhengige variabelen din flere kategorier, la oss kalle disse kategoriene D1, D2 og D3. Hvorav din siste er referansekategorien. Og la oss anta at din første uavhengige variabel er kjønn (menn vs kvinner).

La oss si at utgangen for D1 -> hanner er exp (B) = 1.21, dette betyr at for menn øker oddsen med en faktor 1.21 for å være i kategorien D1 i stedet for D3 (referansekategori) sammenlignet med kvinner (referansekategori).

Så du sammenligner alltid mot referansekategorien din for de avhengige, men også uavhengige variablene. Dette er ikke sant hvis du har en samvariabel variabel. I så fall vil det bety; en enhetsøkning i X øker oddsen med en faktor 1,21 for å være i kategori D1 i stedet for D3.

For de med en ordinalavhengig variabel:

Hvis du har en ordinal avhengig variabel og gjorde ikke en ordinær regresjon på grunn av for eksempel antakelsen om proporsjonale odds. Husk ditt høyeste kategori er referansekategori. Resultatet ditt som ovenfor er gyldig for rapportering. Men husk at en økning i odds enn faktisk betyr en økning i oddsen for å være i den lavere kategorien i stedet for den høyere!Men det er bare hvis du har en ordinalavhengig variabel.

Hvis du vil vite økningen i prosent, vel ta et fiktivt oddsetall, la oss si 100 og multiplisere det med 1,21 som er 121? Hvor mye endret det prosentvis i forhold til 100?

Si at exp (b) i en mlogit er 1.04. multipliserer du et tall med 1,04, så øker det med 4%. Det er den relative risikoen for å være i kategori a i stedet for b. Jeg mistenker at en del av forvirringen her kan ha å gjøre med 4% (multiplikativ betydning) og med 4 prosentpoeng (additiv betydning). % -Tolkningen er riktig hvis vi snakker om endring i prosent, ikke endring i prosentpoeng. (Sistnevnte ville uansett ikke være fornuftig da relative risikoer ikke uttrykkes i prosent.)