Interpréter exp (B) dans la régression logistique multinomiale

Il nous faudra un tandis que pour y arriver, mais en résumé, un changement dune unité dans la variable correspondant à B multipliera le risque relatif du résultat (par rapport au résultat de base) par 6,012.

On pourrait exprimer cela comme une augmentation de « 5012% » du risque relatif , mais cela « est déroutant et pote Une manière vraiment trompeuse de le faire, car elle suggère que nous devrions penser aux changements de manière additive, alors quen fait le modèle logistique multinomial nous encourage fortement à penser de manière multiplicative. Le modificateur « relatif » est essentiel, car un changement dans une variable change simultanément les probabilités prédites de tous résultats, pas seulement celui en question, nous devons donc comparer les probabilités (au moyen de ratios, pas de différences).

Le reste de cette réponse développe la terminologie et lintuition nécessaires pour interpréter correctement ces déclarations.

Contexte

Commençons par la régression logistique ordinaire avant de passer au cas multinomial.

Pour la variable dépendante (binaire) $ Y $ et les variables indépendantes $ X_i $, le modèle est

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

de manière équivalente, en supposant $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Ceci définit simplement $ \ rho $, qui est la cote en fonction du $ X_i $.)

Sans aucune perte de x le $ X_i $ de sorte que $ X_m $ est la variable et $ \ beta_m $ est le « B » de la question (de sorte que $ \ exp (\ beta_m) = 6.012 $). La correction des valeurs de $ X_i, 1 \ le i \ lt m $ et la variation de $ X_m $ dun petit montant $ \ delta $ donne

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Ainsi, $ \ beta_m $ est le changement marginal des cotes du log par rapport à $ X_m $.

Pour récupérer $ \ exp (\ beta_m) $, il faut évidemment mettre $ \ delta = 1 $ et exponentiellement le côté gauche:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Cela présente $ \ exp (\ beta_m) $ comme rapport de cotes pour une augmentation dune unité de X_m $. Pour développer une intuition de ce que cela pourrait signifier, compilez quelques valeurs pour une plage de cotes de départ, en arrondissant fortement pour faire ressortir les modèles:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

Pour cotes vraiment petites , qui correspondent à des probabilités vraiment petites , leffet dune augmentation dune unité de $ X_m $ est de multiplier les cotes ou la probabilité denviron 6,012. Le facteur multiplicatif diminue à mesure que la cote (et la probabilité) augmente, et a essentiellement disparu une fois que la cote dépasse 10 (la probabilité dépasse 0,9).

En tant que changement additif , il ny a pas beaucoup de différence entre une probabilité de 0,0001 et 0,0006 (ce nest que 0,05%), et il ny a pas non plus beaucoup de différence entre 0,99 et 1 (seulement 1%). Le plus grand effet additif se produit lorsque la cote est égale à 1 $ / \ sqrt {6.012} \ sim 0.408 $, où la probabilité passe de 29% à 71%: un changement de + 42%.

Nous voyons donc que si nous exprimons le « risque » comme un rapport de cotes, $ \ beta_m $ = « B » a une interprétation simple – le rapport de cotes est égal à $ \ beta_m $ pour une augmentation unitaire de $ X_m $ – mais lorsque nous exprimons le risque dune autre manière, comme un changement de probabilités, linterprétation nécessite de prendre soin de spécifier la probabilité de départ.

Régression logistique multinomiale

(Ceci a été ajouté en tant que modification ultérieure.)

Ayant reconnu la valeur de lutilisation du journal des cotes pour exprimer les chances, laissez « s passer au cas multinomial. Maintenant, la variable dépendante $ Y $ peut être égale à lune des catégories $ k \ ge 2 $, indexée par $ i = 1, 2, \ ldots, k $. Le relatif la probabilité quil soit dans la catégorie $ i $ est

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ droite) $ $

avec les paramètres $ \ beta_j ^ {(i)} $ à déterminer et en écrivant $ Y_i $ pour $ \ Pr [Y = \ text {category} i] $.En tant quabréviation, écrivons lexpression de droite sous la forme $ p_i (X, \ beta) $ ou, où $ X $ et $ \ beta $ sont clairs du contexte, simplement $ p_i $. Normaliser pour rendre tout cela la somme des probabilités relatives à lunité donne

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta) )}. $$

(Il y a une ambiguïté dans les paramètres: il y en a trop. Classiquement, on choisit une catégorie « de base » pour la comparaison et force tous ses coefficients à être nuls. Cependant, bien que cela soit nécessaire pour rapporter des estimations uniques des bêtas, il nest pas nécessaire dinterpréter les coefficients. Pour maintenir la symétrie – cest-à-dire pour éviter toute distinction artificielle entre les catégories – soyons ne pas appliquer une telle contrainte à moins que nous ne devions le faire.)

Une façon dinterpréter ce modèle est de demander le taux marginal de changement du log des cotes pour nimporte quelle catégorie (disons la catégorie $ i $) par rapport à nimporte laquelle des variables indépendantes (disons $ X_j $). Autrement dit, lorsque nous modifions un peu $ X_j $, cela induit un changement dans les cotes du journal de $ Y_i $. Nous nous intéressons à la constante de proportionnalité reliant ces deux changements. La règle de calcul en chaîne, avec un peu dalgèbre, nous indique que ce taux de changement est

$$ \ frac {\ partial \ \ text {log odds} (Y_i)} {\ partial \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Ceci a une interprétation relativement simple comme le coefficient $ \ beta_j ^ {(i)} $ de $ X_j $ dans la formule pour la chance que $ Y $ soit dans la catégorie $ i $ moins an  » ajustement. » Lajustement est la moyenne pondérée par les probabilités des coefficients de $ X_j $ dans toutes les autres catégories . Les poids sont calculés à laide de probabilités associées aux valeurs courantes des variables indépendantes $ X $. Ainsi, la variation marginale des logs nest pas forcément constante: elle dépend des probabilités de toutes les autres catégories, pas seulement de la probabilité de la catégorie en question (catégorie $ i $).

Quand il y a juste $ k = 2 $ catégories, cela devrait se réduire à une régression logistique ordinaire. En effet, la pondération probabiliste ne fait rien et (en choisissant $ i = 2 $) donne simplement la différence $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Laisser la catégorie $ i $ être le cas de base réduit encore davantage cela à $ \ beta_j ^ {(2)} $, car nous forçons $ \ beta_j ^ {(1)} = 0 $. Ainsi, la nouvelle interprétation généralise lancienne.

Pour interpréter $ \ beta_j ^ {(i)} $ directement, alors, nous lisolerons dun côté de la formule précédente, conduisant à:

Le coefficient de $ X_j $ pour la catégorie $ i $ est égal au changement marginal du log des cotes de la catégorie $ i $ par rapport à la variable $ X_j $, plus la moyenne pondérée par les probabilités des coefficients de tous les autres $ X_ {j « } $ pour la catégorie $ i $.

Une autre interprétation, quoique un peu moins directe, est offerte en définissant (temporairement) la catégorie $ i $ comme cas de base, faisant ainsi $ \ beta_j ^ {(i)} = 0 $ pour toutes les variables indépendantes $ X_j $:

Le taux marginal de variation du log des cotes du cas de base pour la variable $ X_j $ est le négatif de la moyenne pondérée par la probabilité de ses coefficients pour tous les autres cas.

En fait, lutilisation de ces interprétations nécessite généralement lextraction du bêtas et les probabilités de la sortie du logiciel et effectuer les calculs comme indiqué.

Enfin, pour les coefficients exponentiels, notez que le rapport des probabilités entre deux résultats (parfois appelé le «risque relatif» de $ i $ comparé à $ i « $) est

$$ \ frac {Y_ {i}} {Y_ {i »}} = \ frac {p_ {i} (X, \ beta)} {p_ {i « } (X, \ beta)}. $$

Augmentons $ X_j $ dune unité à $ X_j + 1 $. Ceci multiplie $ p_ {i} $ par $ \ exp (\ beta_j ^ {(i)}) $ et $ p_ {i « } $ par $ \ exp (\ beta_j ^ {(i »)}) $, doù le le risque relatif est multiplié par $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i « )}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i « )}) $. Prendre la catégorie $ i « $ comme cas de base réduit cela à $ \ exp (\ beta_j ^ {(i)}) $, ce qui nous amène à dire,

Le coefficient exponentiel $ \ exp (\ beta_j ^ {(i)}) $ est le montant par lequel le risque relatif $ \ Pr [Y = \ text {category} i] / \ Pr [Y = \ text { catégorie de base}] $ est multipliée lorsque la variable $ X_j $ est augmentée dune unité.

Commentaires

• Excellentes explications, mais lOP a explicitement demandé le modèle multinomial . Je lis peut-être plus dans la question que lOP prévu, et lexplication du cas binaire peut être adéquate, mais je le ferais Jadore voir cette réponse couvrir également le cas général du multinomial.Même si le paramétrage est similaire, les  » log-odds  » sont en général par rapport à une catégorie de référence (arbitraire), et ils ne sont pas vraiment log-odds, et un changement dunité dans $ X_i $ entraîne un changement combiné de ces  » log-odds « , et une augmentation de  » log-odds  » nimplique pas une probabilité croissante.
• @NRH Que ‘ est un excellent point. Jai lu en quelque sorte  » multivarié  » au lieu de  » multinomial.  » Si jai la chance dy revenir, jessaierai de préciser ces détails. Heureusement, le même mode danalyse est efficace pour trouver la bonne interprétation.
• @NRH Done. Je me réjouis de vos suggestions (ou de toute autre ‘ s) sur la manière de rendre linterprétation plus claire, ou pour des interprétations alternatives.
• merci davoir noté ceci. La réponse complète est une très bonne référence.

Essayez de considérer cette petite explication en plus de ce @whuber a déjà si bien écrit. Si exp (B) = 6, alors lodds ratio associé à une augmentation de 1 sur le prédicteur en question est 6. Dans un contexte multinomial, par «odds ratio», nous entendons le rapport de ces deux grandeurs: a) lodds ( pas la probabilité, mais plutôt p / [1-p]) dun cas prenant la valeur de la variable dépendante indiquée dans le tableau de sortie en question, et b) les chances dun cas prenant la valeur de référence de la variable dépendante.

Vous semblez chercher à quantifier la probabilité – plutôt que les probabilités – quun cas soit dans lune ou lautre catégorie. Pour ce faire, vous devez savoir avec quelles probabilités le cas a « commencé » – cest-à-dire avant de supposer laugmentation de 1 sur le prédicteur en question. Les rapports de probabilités varieront au cas par cas, tandis que le rapport des cotes lié à une augmentation de 1 sur le prédicteur reste le même.

Commentaires

•  » Si exp (B) = 6, alors le rapport de cotes associé à une augmentation de 1 sur le prédicteur en question est de 6 « , si je lis correctement la réponse de @whuber ‘, cela dit que le rapport de cotes sera multiplié par 6 avec une augmentation de 1 sur le prédicteur. Autrement dit, le nouveau rapport de cotes ne sera pas 6. Ou est-ce que jinterprète les choses de manière incorrecte?
• Où vous dites  » le nouveau rapport de cotes ne sera pas 6  » Je dirais  » que la nouvelle cote ne sera pas 6 … mais le rapport entre le nouveau et lancien cote sera de 6.  »
• Oui, je suis daccord avec ça! Mais je pensais juste que  » le rapport de cotes associé à une augmentation de 1 sur le prédicteur en question est de 6  » ne dit pas vraiment que . Mais peut-être que je linterprète mal alors. Merci pour la clarification!

Je cherchais également la même réponse, mais celle ci-dessus était pas satisfaisant pour moi. Cela semblait complexe pour ce que cest vraiment. Je vais donc donner mon interprétation, corrigez-moi si je me trompe.

Lisez cependant jusquà la fin, car cest important.

Tout dabord les valeurs B et Exp ( B) sont la fois que vous recherchez. Si le B est négatif, votre Exp (B) sera inférieure à un, ce qui signifie que les chances diminuent. Sil est supérieur, lExp (B) sera supérieur à 1, ce qui signifie que les chances augmentent. Puisque vous multipliez par le facteur Exp (B).

Malheureusement, vous ny êtes pas encore. Parce que dans une régression multinominale, votre variable dépendante a plusieurs catégories, appelons ces catégories D1, D2 et D3. Dont votre dernière est la catégorie de référence. Et supposons que votre première variable indépendante est le sexe (hommes vs femmes).

Disons que la sortie pour D1 -> hommes est exp (B) = 1,21, cela signifie que pour les hommes, les chances augmentent dun facteur 1,21 pour être dans la catégorie D1 plutôt que D3 (catégorie de référence) par rapport aux femmes (catégorie de référence).

Donc, vous comparez toujours à votre catégorie de référence des variables dépendantes mais aussi indépendantes. Ce nest pas vrai si vous avez une variable covariable. Dans ce cas, cela signifierait; une augmentation dune unité de X augmente les chances dun facteur 1,21 dêtre dans la catégorie D1 plutôt que D3.

Pour ceux qui ont une variable dépendante ordinale:

Si vous avez un ordinal variable dépendante et n’a pas effectué de régression ordinale en raison de l’hypothèse de cotes proportionnelles, par exemple. catégorie est la catégorie de référence. Votre résultat comme ci-dessus est valide pour le rapport. Mais gardez à lesprit quune augmentation des probabilités signifie en fait une augmentation des chances dêtre dans la catégorie inférieure plutôt que la plus élevée!Mais ce nest que si vous avez une variable dépendante ordinale.

Si vous voulez connaître laugmentation du pourcentage, prenez une cote fictive, disons 100 et multipliez-la par 1,21 ce qui est 121? Par rapport à 100, combien cela a-t-il changé en pourcentage?

Dites que exp (b) dans un mlogit vaut 1,04. si vous multipliez un nombre par 1,04, il augmente de 4%. Cest le risque relatif dêtre dans la catégorie a au lieu de b. Je soupçonne quune partie de la confusion ici pourrait être liée à 4% (sens multiplicatif) et à 4 points de pourcentage (sens additif). Linterprétation du pourcentage est correcte si nous parlons dun changement en pourcentage et non dun changement en point de pourcentage. (Ce dernier naurait aucun sens de toute façon car les risques relatifs ne sont pas exprimés en pourcentages.)