Exp (B) in multinomialer logistischer Regression interpretieren

Wir brauchen a Um dorthin zu gelangen, wird eine Änderung der Variablen, die B entspricht, um eine Einheit das relative Risiko des Ergebnisses (im Vergleich zum Basisergebnis) mit 6,012 multiplizieren.

Man könnte dies als „5012%“ Anstieg des relativen Risikos ausdrücken, aber das ist verwirrend und bedenklich Dies führt zu einer irreführenden Vorgehensweise, da dies darauf hindeutet, dass wir additiv über die Änderungen nachdenken sollten, obwohl das multinomiale Logistikmodell uns nachdrücklich dazu ermutigt, multiplikativ zu denken. Der Modifikator „relativ“ ist wesentlich, da eine Änderung einer Variablen gleichzeitig die vorhergesagten Wahrscheinlichkeiten von allen Ergebnissen ändert, nicht nur die fragliche, sodass wir die Wahrscheinlichkeiten vergleichen müssen (mittels Verhältnisse, keine Unterschiede).

Der Rest dieser Antwort entwickelt die Terminologie und Intuition, die zur korrekten Interpretation dieser Aussagen erforderlich sind.

Hintergrund

Beginnen wir mit der gewöhnlichen logistischen Regression, bevor wir zum multinomialen Fall übergehen.

Für abhängige (binäre) Variablen $ Y $ und unabhängige Variablen $ X_i $ lautet das Modell

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

äquivalent unter der Annahme von $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Dies definiert einfach $ \ rho $, welches ist die Wahrscheinlichkeit als Funktion des $ X_i $.)

Ohne Verlust der Allgemeinheit, inde x das $ X_i $, so dass $ X_m $ die Variable und $ \ beta_m $ das „B“ in der Frage ist (so dass $ \ exp (\ beta_m) = 6.012 $). Das Fixieren der Werte von $ X_i, 1 \ le i \ lt m $ und das Variieren von $ X_m $ um einen kleinen Betrag $ \ delta $ ergibt

$$ \ log (\ rho (\ cdots, X_m + \) Delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Somit ist $ \ beta_m $ die marginale Änderung der Log-Quoten in Bezug auf $ X_m $.

Um $ \ exp (\ beta_m) $ wiederherzustellen, müssen wir offensichtlich $ \ delta = 1 $ setzen und die linke Seite potenzieren:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Dies zeigt $ \ exp (\ beta_m) $ als Odds Ratio für eine Erhöhung von $ X_m $ um eine Einheit. Um eine Vorstellung davon zu entwickeln, was dies bedeuten könnte, tabellieren Sie einige Werte für einen Bereich von Startquoten, die stark gerundet sind, um die Muster hervorzuheben:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

Für wirklich kleine Gewinnchancen, die wirklich kleinen Wahrscheinlichkeiten entsprechen. Der Effekt einer Erhöhung von $ X_m $ um eine Einheit besteht darin, die Gewinnchancen oder die Wahrscheinlichkeit zu multiplizieren um etwa 6.012. Der multiplikative Faktor nimmt ab, wenn die Gewinnchancen (und die Wahrscheinlichkeit) größer werden, und ist im Wesentlichen verschwunden, sobald die Gewinnchancen 10 überschreiten (die Wahrscheinlichkeit 0,9 überschreitet).

Als additive Änderung gibt es keinen großen Unterschied zwischen einer Wahrscheinlichkeit von 0,0001 und 0,0006 (es sind nur 0,05%), noch gibt es einen großen Unterschied zwischen 0,99 und 1. (nur 1%). Der größte additive Effekt tritt auf, wenn die Gewinnchancen gleich $ 1 / \ sqrt {6.012} \ sim 0.408 $ sind, wobei sich die Wahrscheinlichkeit von 29% auf 71% ändert: eine Änderung von + 42%.

Wir sehen also, dass $ \ beta_m $ = „B“ eine einfache Interpretation hat, wenn wir „Risiko“ als Odds Ratio ausdrücken. Das Odds Ratio entspricht $ \ beta_m $ für eine Erhöhung der Einheit um $ X_m $. Wenn wir das Risiko jedoch auf andere Weise ausdrücken, z. B. durch eine Änderung der Wahrscheinlichkeiten, muss bei der Interpretation die Startwahrscheinlichkeit sorgfältig angegeben werden.

Multinomiale logistische Regression

(Dies wurde als spätere Bearbeitung hinzugefügt.)

Nachdem Sie den Wert der Verwendung von Protokollquoten zum Ausdrücken von Chancen erkannt haben, lassen Sie Fahren Sie mit dem multinomialen Fall fort. Jetzt kann die abhängige Variable $ Y $ einer der Kategorien $ k \ ge 2 $ entsprechen, die durch $ i = 1, 2, \ ldots, k $ indiziert sind. Der relative Wahrscheinlichkeit, dass es sich in der Kategorie $ i $ befindet, ist

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ right) $ $

mit den zu bestimmenden Parametern $ \ beta_j ^ {(i)} $ und dem Schreiben von $ Y_i $ für $ \ Pr [Y = \ text {category} i] $.Als Abkürzung schreiben wir den rechten Ausdruck als $ p_i (X, \ beta) $ oder, wenn $ X $ und $ \ beta $ aus dem Kontext ersichtlich sind, einfach $ p_i $. Normalisieren, um all dies zu machen Die Summe der relativen Wahrscheinlichkeiten ergibt eins

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta) )}. $$

(Es gibt eine Mehrdeutigkeit in den Parametern: Es gibt zu viele von ihnen. Herkömmlicherweise wählt man eine „Basis“ -Kategorie zum Vergleich und erzwingt, dass alle ihre Koeffizienten Null sind. Obwohl dies notwendig ist, um eindeutige Schätzungen der Betas zu melden, ist es nicht erforderlich, die Koeffizienten zu interpretieren. Um die Symmetrie aufrechtzuerhalten – das heißt, künstliche Unterscheidungen zwischen den Kategorien zu vermeiden – lassen Sie uns Erzwingen Sie keine solche Einschränkung, es sei denn, wir müssen.)

Eine Möglichkeit, dieses Modell zu interpretieren, besteht darin, nach der Grenzänderungsrate der Protokollquoten für eine Kategorie (z. B. Kategorie $ i $) in Bezug auf zu fragen eine der unabhängigen Variablen (z. B. $ X_j $). Das heißt, wenn wir $ X_j $ ein wenig ändern, führt dies zu einer Änderung der Log-Quoten von $ Y_i $. Wir sind an der Proportionalitätskonstante interessiert, die diese beiden Änderungen in Beziehung setzt. Die Kettenregel der Berechnung sagt uns zusammen mit einer kleinen Algebra, dass diese Änderungsrate

$$ \ frac {\ partielle \ \ text {log Quoten} (Y_i)} {\ partielle \ X_j} ist. = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Dies hat eine relativ einfache Interpretation als Koeffizient $ \ beta_j ^ {(i)} $ von $ X_j $ in der Formel für die Wahrscheinlichkeit, dass $ Y $ in der Kategorie $ i $ minus ein „ist. Einstellung.“ Die Anpassung ist der wahrscheinlichkeitsgewichtete Durchschnitt der Koeffizienten von $ X_j $ in allen anderen Kategorien . Die Gewichte werden unter Verwendung von Wahrscheinlichkeiten berechnet, die den aktuellen Werten der unabhängigen Variablen $ X $ zugeordnet sind. Daher ist die marginale Änderung in den Protokollen nicht unbedingt konstant: Sie hängt von den Wahrscheinlichkeiten aller anderen Kategorien ab, nicht nur von der Wahrscheinlichkeit der betreffenden Kategorie (Kategorie $ i $).

Wenn es nur solche gibt $ k = 2 $ Kategorien, dies sollte sich auf die normale logistische Regression reduzieren. In der Tat bewirkt die Wahrscheinlichkeitsgewichtung nichts und (bei Auswahl von $ i = 2 $) ergibt sich einfach die Differenz $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Wenn Sie die Kategorie $ i $ als Basisfall festlegen, wird dies weiter auf $ \ beta_j ^ {(2)} $ reduziert, da wir $ \ beta_j ^ {(1)} = 0 $ erzwingen. Daher verallgemeinert die neue Interpretation die alte.

Um $ \ beta_j ^ {(i)} $ direkt zu interpretieren, isolieren wir sie auf einer Seite der vorhergehenden Formel, was zu:

führt

Der Koeffizient von $ X_j $ für die Kategorie $ i $ entspricht der geringfügigen Änderung der Protokollquoten der Kategorie $ i $ in Bezug auf die Variable $ X_j $, plus den wahrscheinlichkeitsgewichteten Durchschnitt der Koeffizienten aller anderen $ X_ {j „} $ für die Kategorie $ i $.

Eine andere, wenn auch etwas weniger direkte Interpretation ergibt sich aus der (vorübergehenden) Festlegung der Kategorie $ i $ als Basisfall, wodurch $ \ beta_j ^ {(i)} = 0 $ für alle unabhängigen Variablen $ X_j $:

Die marginale Änderungsrate der Log-Quoten des Basisfalls für die Variable $ X_j $ ist das Negative des wahrscheinlichkeitsgewichteten Durchschnitts ihrer Koeffizienten für alle andere Fälle.

Um diese Interpretationen tatsächlich verwenden zu können, muss normalerweise das extrahiert werden Betas und die Wahrscheinlichkeiten aus der Software-Ausgabe und Durchführung der Berechnungen wie gezeigt.

Beachten Sie schließlich für die potenzierten Koeffizienten, dass das Verhältnis der Wahrscheinlichkeiten zwischen zwei Ergebnissen (manchmal als „relatives Risiko“ von $ i $ bezeichnet) verglichen wird zu $ i „$) ist

$$ \ frac {Y_ {i}} {Y_ {i“}} = \ frac {p_ {i} (X, \ beta)} {p_ {i „} (X, \ beta)}. $$

Erhöhen wir $ X_j $ um eine Einheit auf $ X_j + 1 $. Dies multipliziert $ p_ {i} $ mit $ \ exp (\ beta_j ^ {(i)}) $ und $ p_ {i „} $ mit $ \ exp (\ beta_j ^ {(i“)}) $, woher die Das relative Risiko wird mit $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i „)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ multipliziert {(i „)}) $. Wenn Sie die Kategorie $ i „$ als Basisfall verwenden, wird dies auf $ \ exp (\ beta_j ^ {(i)}) $ reduziert, was dazu führt, dass wir sagen:

Der potenzierte Koeffizient $ \ exp (\ beta_j ^ {(i)}) $ ist der Betrag, um den das relative Risiko $ \ Pr [Y = \ text {Kategorie} i] / \ Pr [Y = \ text { Basiskategorie}] $ wird multipliziert, wenn die Variable $ X_j $ um eine Einheit erhöht wird.

Kommentare

• Tolle Erklärungen, aber das OP hat ausdrücklich nach dem multinomialen Modell gefragt. Ich lese möglicherweise mehr in die Frage als das OP beabsichtigt, und die Erklärung für den binären Fall mag angemessen sein, aber ich würde es tun Ich liebe es zu sehen, dass diese Antwort auch den allgemeinen multinomialen Fall abdeckt.Obwohl die Parametrisierung ähnlich ist, beziehen sich die “ Log-Quoten “ im Allgemeinen auf eine (willkürliche) Referenzkategorie, und sie sind keine wirklichen Log-Quoten, und eine Änderung der Einheit in $ X_i $ führt zu einer kombinierten Änderung dieser “ Log-Quoten „, und eine zunehmende “ Log-Quote “ impliziert keine zunehmende Wahrscheinlichkeit.
• @NRH Diese ‚ ist ein ausgezeichneter Punkt. Ich hatte irgendwie “ multivariate “ anstelle von “ multinomial gelesen. “ Wenn ich die Gelegenheit bekomme, darauf zurückzukommen, werde ich versuchen, diese Details zu präzisieren. Glücklicherweise ist dieselbe Analysemethode effektiv, um die richtige Interpretation zu finden.
• @NRH Fertig. Ich begrüße Ihre Vorschläge (oder andere ‚ s), wie die Interpretation klarer gemacht werden kann, oder für alternative Interpretationen.
• Vielen Dank, dass Sie dies aufgeschrieben haben. Die vollständige Antwort ist eine sehr gute Referenz.

Versuchen Sie, diese Erklärung zusätzlich zu was zu berücksichtigen @whuber hat schon so gut geschrieben. Wenn exp (B) = 6 ist, beträgt das mit einer Erhöhung des fraglichen Prädiktors um 1 verbundene Quotenverhältnis 6. In einem multinomialen Kontext meinen wir mit „Quotenverhältnis“ das Verhältnis dieser beiden Größen: a) die Quoten ( nicht die Wahrscheinlichkeit, sondern p / [1-p]) eines Falls, der den Wert der in der betreffenden Ausgabetabelle angegebenen abhängigen Variablen annimmt, und b) die Wahrscheinlichkeit, dass ein Fall den Referenzwert der abhängigen Variablen annimmt.

Sie scheinen eher die Wahrscheinlichkeit als die Wahrscheinlichkeit zu quantifizieren, dass ein Fall in die eine oder andere Kategorie fällt. Um dies zu tun, müssten Sie wissen, mit welchen Wahrscheinlichkeiten der Fall „begonnen“ hat – d. H. Bevor wir die Zunahme von 1 für den fraglichen Prädiktor angenommen haben. Die Wahrscheinlichkeitsverhältnisse variieren von Fall zu Fall, während das mit einer Erhöhung des Prädiktors um 1 verbundene Quotenverhältnis gleich bleibt.

Kommentare

• “ Wenn exp (B) = 6 ist, beträgt das mit einer Erhöhung des fraglichen Prädiktors um 1 verbundene Quotenverhältnis 6 „, Wenn ich die Antwort von @whuber ‚ richtig lese, heißt es, dass das Odds Ratio mit 6 multipliziert wird, wobei der Prädiktor um 1 erhöht wird. Das heißt, das neue Quotenverhältnis wird nicht 6 sein. Oder interpretiere ich die Dinge falsch?
• Wo Sie sagen “ das neue Quotenverhältnis wird nicht 6 sein “ Ich würde sagen “ die neuen Chancen werden nicht 6 sein … aber das Verhältnis der neuen zu den alten Quoten wird 6 sein. “
• Ja, dem stimme ich zu! Aber ich dachte nur, dass “ das mit einer Erhöhung des fraglichen Prädiktors um 1 verbundene Quotenverhältnis 6 ist. “ sagt das nicht wirklich . Aber vielleicht interpretiere ich es dann nur falsch. Vielen Dank für die Klarstellung!

Ich habe auch nach der gleichen Antwort gesucht, aber die oben genannten waren nicht befriedigend für mich. Es schien zu komplex für das, was es wirklich ist. Also werde ich meine Interpretation geben, bitte korrigieren Sie mich, wenn ich falsch liege.

Lesen Sie jedoch bis zum Ende, da dies wichtig ist.

Zunächst die Werte B und Exp ( B) sind die, die Sie suchen. Wenn das B negativ ist, ist Ihr Exp (B) niedriger als eins, was bedeutet, dass die Gewinnchancen sinken. Wenn höher, ist Exp (B) höher als 1, was bedeutet, dass sich die Gewinnchancen erhöhen. Da Sie mit dem Faktor Exp (B) multiplizieren.

Leider sind Sie noch nicht da. Da in einer multinominalen Regression Ihre abhängige Variable mehrere Kategorien hat, nennen wir diese Kategorien D1, D2 und D3. Ihre letzte ist die Referenzkategorie. Nehmen wir an, Ihre erste unabhängige Variable ist das Geschlecht (Männer gegen Frauen).

Nehmen wir an, die Ausgabe für D1 -> Männer ist exp (B) = 1,21. Dies bedeutet für Männer, dass sich die Wahrscheinlichkeit um den Faktor 1,21 erhöht, wenn sie in der Kategorie D1 und nicht in D3 (Referenzkategorie) sind. im Vergleich zu Frauen (Referenzkategorie).

Sie vergleichen also immer mit Ihrer Referenzkategorie der abhängigen, aber auch unabhängigen Variablen. Dies gilt nicht, wenn Sie eine kovariate Variable haben. In diesem Fall würde dies bedeuten; Eine Erhöhung von X um eine Einheit erhöht die Wahrscheinlichkeit, in Kategorie D1 und nicht in D3 zu sein, um den Faktor 1,21.

Für Personen mit einer ordinalen abhängigen Variablen:

Wenn Sie eine Ordnungszahl haben abhängige Variable und führte keine ordinale Regression durch, zum Beispiel aufgrund der Annahme proportionaler Quoten. Denken Sie an Ihre höchste Kategorie ist die Referenzkategorie. Ihr Ergebnis wie oben ist gültig zu melden. Aber denken Sie daran, dass eine Erhöhung der Gewinnchancen eine Erhöhung der Gewinnchancen bedeutet, eher in der niedrigeren als in der höheren Kategorie zu sein!Dies ist jedoch nur möglich, wenn Sie eine ordinale abhängige Variable haben.

Wenn Sie den prozentualen Anstieg wissen möchten, nehmen Sie eine fiktive Quotenzahl, sagen wir 100 und multiplizieren Sie sie mit 1,21 121? Im Vergleich zu 100 hat sich der Prozentsatz prozentual geändert?

Angenommen, exp (b) in einem mlogit ist 1,04. Wenn Sie eine Zahl mit 1,04 multiplizieren, erhöht sich diese um 4%. Das ist das relative Risiko, in Kategorie a statt b zu sein. Ich vermute, dass ein Teil der Verwirrung hier mit 4% (multiplikative Bedeutung) und 4 Prozentpunkten (additive Bedeutung) zu tun haben könnte. Die% -Interpretation ist korrekt, wenn es sich um eine prozentuale Änderung handelt, nicht um eine prozentuale Punktänderung. (Letzteres wäre ohnehin nicht sinnvoll, da relative Risiken nicht in Prozent ausgedrückt werden.)