Interpretace exp (B) v multinomické logistické regrese

Bude to trvat zatímco se tam dostat, ale v souhrnu změna proměnné odpovídající B o jednu jednotku vynásobí relativní riziko výsledku (ve srovnání se základním výsledkem) 6,012.

Dalo by se to vyjádřit jako „5012%“ nárůst relativního rizika, ale to je matoucí a potenciální Zpočátku zavádějící způsob, jak to udělat, protože naznačuje, že bychom měli o změnách uvažovat aditivně, i když nás multinomický logistický model ve skutečnosti silně vybízí k multiplikativnímu uvažování. Modifikátor „relativní“ je zásadní, protože změna proměnné současně mění předpokládané pravděpodobnosti všech výsledků, nejen toho, o které jde, takže musíme pravděpodobnosti porovnat (pomocí poměry, ne rozdíly).

Zbývající část této odpovědi rozvíjí terminologii a intuici potřebnou pro správnou interpretaci těchto tvrzení.

Pozadí

Začněme s běžnou logistickou regresí, než přejdeme k multinomickému případu.

Pro závislou (binární) proměnnou $ Y $ a nezávislé proměnné $ X_i $ je model

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

ekvivalentně, za předpokladu $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Toto jednoduše definuje $ \ rho $, které je šance jako funkce $ X_i $.)

Bez jakékoli ztráty obecnosti, inde x $ X_i $, takže $ X_m $ je proměnná a $ \ beta_m $ je „B“ v otázce (takže $ \ exp (\ beta_m) = 6,012 $). Oprava hodnot $ X_i, 1 \ le i \ lt m $ a kolísání $ X_m $ o malou částku $ \ delta $ výnosy

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

$ \ beta_m $ tedy představuje marginální změnu v logaritmických kurzech vzhledem k $ X_m $.

Chcete-li obnovit $ \ exp (\ beta_m) $, evidentně musíme nastavit $ \ delta = 1 $ a umocnit levou stranu:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Toto vykazuje $ \ exp (\ beta_m) $ jako poměr šancí pro zvýšení o jednu jednotku v $ X_m $. Chcete-li vytvořit intuici toho, co by to mohlo znamenat, vytvořte tabulku některých hodnot pro řadu počátečních kurzů a zaokrouhlte je tak, aby vynikly vzory:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

Pro opravdu malé kurzy, které odpovídají opravdu malým pravděpodobnostem, účinek zvýšení jedné jednotky v $ X_m $ je znásobení šance nebo pravděpodobnosti asi o 6,012. Multiplikativní faktor klesá s rostoucí pravděpodobností (a pravděpodobností) a v podstatě zmizel, jakmile šance přesáhla 10 (pravděpodobnost přesáhla 0,9).

Jako doplňková změna se příliš neliší mezi pravděpodobností 0,0001 a 0,0006 (je to jen 0,05%), ani není velký rozdíl mezi 0,99 a 1 (pouze 1%). Největší aditivní efekt nastane, když se šance rovná $ 1 / \ sqrt {6,012} \ sim 0,408 $, kde se pravděpodobnost změní z 29% na 71%: změna o + 42%.

Vidíme tedy, že pokud vyjádříme „riziko“ jako poměr šancí, $ \ beta_m $ = „B“ má jednoduchou interpretaci – poměr šancí se rovná $ \ beta_m $ za zvýšení jednotky o $ X_m $ – ale když vyjádříme riziko jiným způsobem, například změnou pravděpodobnosti, interpretace vyžaduje pečlivé určení počáteční pravděpodobnosti.

Multinomiální logistická regrese

(To bylo přidáno jako pozdější úprava.)

Když jsme si uvědomili hodnotu použití log šancí k vyjádření šancí, nechme Přechod na multinomický případ. Nyní se závislá proměnná $ Y $ může rovnat jedné z kategorií $ k \ ge 2 $, indexovaných $ i = 1, 2, \ ldots, k $. relativní pravděpodobnost, že je v kategorii $ i $ je

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ vpravo) $ $

s parametry $ \ beta_j ^ {(i)} $, které budou určeny, a zápis $ Y_i $ pro $ \ Pr [Y = \ text {category} i] $.Jako zkratku napíšeme pravý výraz jako $ p_i (X, \ beta) $ nebo, kde $ X $ a $ \ beta $ jsou z kontextu jasné, jednoduše $ p_i $. Normalizováno, aby byly všechny tyto součet relativních pravděpodobností k jednotě dává

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta )}. $$

(Parametry jsou nejednoznačné: je jich příliš mnoho. Obvykle se pro srovnání vybere kategorie „základní“ a vynutí všechny její koeficienty na nulu.) i když je to nezbytné pro nahlášení jedinečných odhadů betas, není potřeba interpretovat koeficienty. Aby byla zachována symetrie – to znamená, aby se zabránilo jakýmkoli umělým rozdílům mezi kategoriemi – pojďme nevynucovat žádné takové omezení, pokud to nebudeme muset.)

Jedním ze způsobů, jak interpretovat tento model, je požádat o mezní míru změny logistických kurzů pro jakoukoli kategorii (řekněme kategorii $ i $) s ohledem na kterákoli z nezávislých proměnných (řekněme $ X_j $). To znamená, že když trochu změníme $ X_j $, vyvolá to změnu v logaritmickém kurzu $ Y_i $. Zajímá nás konstanta proporcionality související s těmito dvěma změnami. Řetězcové pravidlo kalkulu spolu s malou algebrou nám říká, že tato rychlost změny je

$$ \ frac {\ částečný \ \ text {log kurzy} (Y_i)} {\ částečný \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Toto má relativně jednoduchou interpretaci, protože koeficient $ \ beta_j ^ {(i)} $ z $ X_j $ ve vzorci pro šanci, že $ Y $ je v kategorii $ i $ minus an “ nastavení.“ Úprava je pravděpodobnostně vážený průměr koeficientů $ X_j $ ve všech ostatních kategoriích . Váhy se počítají pomocí pravděpodobností spojených s aktuálními hodnotami nezávislých proměnných $ X $. Okrajová změna v protokolech tedy nemusí být nutně konstantní: záleží na pravděpodobnosti všech ostatních kategorií, nejen na pravděpodobnosti dané kategorie (kategorie $ i $).

Když existují jen $ k = 2 $ kategorie, to by se mělo snížit na běžnou logistickou regresi. Vážení pravděpodobnosti vlastně nic nedělá a (výběrem $ i = 2 $) dává jednoduše rozdíl $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Pokud ponecháme kategorii $ i $ jako základní případ, toto se dále sníží na $ \ beta_j ^ {(2)} $, protože vynucujeme $ \ beta_j ^ {(1)} = 0 $. Nová interpretace tedy zobecňuje starou.

Chcete-li přímo interpretovat $ \ beta_j ^ {(i)} $, izolujeme ji na jedné straně předchozího vzorce, což vede k:

Koeficient $ X_j $ pro kategorii $ i $ se rovná marginální změně v logistických kurzech kategorie $ i $ s ohledem na proměnnou $ X_j $, plus pravděpodobnostně vážený průměr koeficientů všech ostatních $ X_ {j „} $ pro kategorii $ i $.

Další interpretaci, i když o něco méně přímou, nabízí (dočasně) nastavení kategorie $ i $ jako základního případu, čímž se $ \ beta_j ^ {(i)} = 0 $ pro všechny nezávislé proměnné $ X_j $:

Mezní míra změny logaritmického kurzu základního případu pro proměnnou $ X_j $ je záporem pravděpodobnostně váženého průměru jejích koeficientů pro všechny ostatní případy.

Používání těchto interpretací obvykle vyžaduje extrahování betas a pravděpodobnosti ze softwarového výstupu a provádění výpočtů, jak je znázorněno.

Nakonec u exponenciálních koeficientů nezapomeňte, že poměr pravděpodobností mezi dvěma výsledky (někdy označovaný jako „relativní riziko“ $ i $ ve srovnání to $ i „$) is

$$ \ frac {Y_ {i}} {Y_ {i“}} = \ frac {p_ {i} (X, \ beta)} {p_ {i „} (X, \ beta)}. $$

Pojďme zvýšit $ X_j $ o jednu jednotku na $ X_j + 1 $. To vynásobí $ p_ {i} $ $ \ exp (\ beta_j ^ {(i)}) $ a $ p_ {i „} $ $ \ exp (\ beta_j ^ {(i“)}) $, odkud relativní riziko se vynásobí $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i „)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i „)}) $. Když vezmeme kategorii $ i „$ jako základní případ, sníží se to na $ \ exp (\ beta_j ^ {(i)}) $, což nás povede k tomu,

Umocněný koeficient $ \ exp (\ beta_j ^ {(i)}) $ je částka, o kterou relativní riziko $ \ Pr [Y = \ text {kategorie} i] / \ Pr [Y = \ text { základní kategorie}] $ se vynásobí, když se proměnná $ X_j $ zvýší o jednu jednotku.

Komentáře

• Skvělá vysvětlení, ale OP výslovně žádal o multinomický model. Možná jsem do otázky četl více, než zamýšlel OP, a vysvětlení pro binární případ může být přiměřené, ale chtěl bych Rád vidím tuto odpověď i na obecný multinomický případ.I když je parametrizace podobná, “ log-odds “ jsou obecně s ohledem na (libovolnou) referenční kategorii a ve skutečnosti nejsou log-kurzy a změna jednotky v $ X_i $ vede ke kombinované změně těchto “ log-odds „, a rostoucí “ log-odds “ neznamená a zvyšuje pravděpodobnost.
• @NRH To ‚ je vynikajícím bodem. Nějak jsem četl “ multivariační “ místo “ multinomial. “ Pokud dostanu šanci se k tomu vrátit, pokusím se tyto podrobnosti vysvětlit. Stejný způsob analýzy je naštěstí účinný při hledání správné interpretace.
• @NRH Hotovo. Vítám vaše návrhy (nebo kohokoli jiného ‚ s) ohledně zpřehlednění výkladu nebo alternativních výkladů.
• děkuji, že jste si to zapsali. Úplná odpověď je velmi dobrým odkazem.

Zkuste zvážit i toto vysvětlení a @ whuber už psal tak dobře. Pokud exp (B) = 6, pak poměr šancí spojený se zvýšením 1 na daném prediktoru je 6. Ve multinomálním kontextu se pod pojmem „poměr šancí“ rozumí poměr těchto dvou veličin: a) šance ( ne pravděpodobnost, ale spíše p / [1-p]) případu, který bere hodnotu závislé proměnné uvedené v příslušné výstupní tabulce, ab) pravděpodobnost případu, který bere referenční hodnotu závislé proměnné.

Zdá se, že hledáte kvantifikaci pravděpodobnosti – spíše než pravděpodobnosti – případu, kdy bude případ v jedné nebo druhé kategorii. K tomu byste potřebovali vědět, s jakými pravděpodobnostmi případ „začal“ – tj. Než jsme předpokládali nárůst o 1 na daném prediktoru. Poměry pravděpodobností se budou lišit případ od případu, zatímco poměr šancí spojených se zvýšením o 1 na prediktoru zůstane stejný.

Komentáře

• “ Pokud exp (B) = 6, pak je poměr šancí spojený se zvýšením o 1 v daném prediktoru 6 „, pokud správně čtu odpověď @whuber ‚, říká se, že poměr šancí bude vynásoben o 6 s nárůstem 1 na prediktoru. To znamená, že nový poměr šancí nebude 6. Nebo interpretuji věci nesprávně?
• Kde říkáte “ nový poměr šancí poměr nebude 6 “ Řekl bych, že “ nové šance nebudou 6 … ale poměr nové k staré šanci bude 6. “
• Ano, souhlasím s tím! Jen jsem si ale myslel, že “ poměr šancí spojený se zvýšením 1 na dotyčný prediktor je 6 “ to ve skutečnosti neříká . Ale možná to potom jen špatně interpretuji. Děkujeme za vysvětlení!

Rovněž jsem hledal stejnou odpověď, ale výše uvedené byly není pro mě uspokojující. Zdálo se, že je to složité kvůli tomu, co to ve skutečnosti je. Takže uvedu svůj výklad, prosím, opravte mě, pokud se mýlím.

Čtěte však až do konce, protože je to důležité.

Nejprve ze všech hodnot B a Exp ( B) jsou jednou, co hledáte. Pokud je B záporné, bude váš Exp (B) nižší než jeden, což znamená snížení šance. Pokud je vyšší Exp (B), bude vyšší než 1, což znamená zvýšení šance. Protože se vynásobíte faktorem Exp (B).

Bohužel tam ještě nejste. Protože v multinominální regresi má vaše závislá proměnná více kategorií, nazvěme tyto kategorie D1, D2 a D3. Z toho poslední je referenční kategorie. Předpokládejme, že první nezávislou proměnnou je sex (muži vs. ženy).

Řekněme, že výstupem pro muže D1 -> je exp (B) = 1,21, což u mužů znamená zvýšení šance o faktor 1,21 na to, že jsou spíše v kategorii D1 než v D3 (referenční kategorie) ve srovnání se ženami (referenční kategorie).

Takže vždy porovnáváte s vaší referenční kategorií závislých, ale také nezávislých proměnných. To není pravda, pokud máte proměnnou proměnnou. V takovém případě by to znamenalo; nárůst o jednu jednotku v X zvyšuje pravděpodobnost, že bude v kategorii D1, nikoli D3, o faktor 1,21.

Pro ty, kteří mají pořadovou závislou proměnnou:

Pokud máte pořadové číslo závislá proměnná a neudělala pořadovou regresi například kvůli předpokladu proporcionálních šancí. Mějte na paměti nejvyšší kategorie je referenční kategorie. Váš výše uvedený výsledek je platný pro hlášení. Mějte však na paměti, že zvýšení pravděpodobnosti ve skutečnosti znamená zvýšení pravděpodobnosti spíše v nižší kategorii než ve vyšší kategorii!Ale to pouze tehdy, pokud máte pořadovou závislou proměnnou.

Pokud chcete znát nárůst procenta, vezměte fiktivní číslo pravděpodobnosti, řekněme 100 a vynásobte jej 1,21, což je 121? Oproti 100 o kolik se to procentně změnilo?

Řekněme, že exp (b) v mlogitu je 1,04. vynásobíte-li číslo 1,04, pak se zvýší o 4%. To je relativní riziko zařazení do kategorie a místo b. Mám podezření, že část zmatku zde může souviset se 4% (multiplikativní význam) a o 4 procentní body (aditivní význam). Interpretace% je správná, pokud mluvíme o změně v procentech, nikoli v procentech. (To by stejně nemělo smysl, protože relativní rizika nejsou vyjádřena v procentech.)