Interpretando exp (B) na regressão logística multinomial

Isso nos levará um enquanto para chegar lá, mas em resumo, uma mudança de uma unidade na variável correspondente a B multiplicará o risco relativo do resultado (em comparação com o resultado de base) por 6,012.

Pode-se expressar isso como um aumento de “5012%” no risco relativo , mas isso é confuso e pote Uma forma enganosa de fazê-lo, porque sugere que devemos pensar nas mudanças de forma aditiva, quando na verdade o modelo logístico multinomial nos encoraja fortemente a pensar de forma multiplicativa. O modificador “relativo” é essencial, porque uma mudança em uma variável está mudando simultaneamente as probabilidades previstas de todos os resultados, não apenas aquele em questão, então temos que comparar as probabilidades (por meio de proporções, não diferenças).

O restante desta resposta desenvolve a terminologia e a intuição necessárias para interpretar essas declarações corretamente.

Histórico

Vamos começar com a regressão logística comum antes de passar para o caso multinomial.

Para a variável dependente (binária) $ Y $ e as variáveis independentes $ X_i $, o modelo é

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

equivalentemente, assumindo $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(Isso simplesmente define $ \ rho $, que é a probabilidade em função de $ X_i $.)

Sem qualquer perda de generalidade, inde x o $ X_i $ de forma que $ X_m $ seja a variável e $ \ beta_m $ seja o “B” na questão (de modo que $ \ exp (\ beta_m) = 6,012 $). Fixando os valores de $ X_i, 1 \ le i \ lt m $, e variando $ X_m $ por uma pequena quantia $ \ delta $ yields

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Assim, $ \ beta_m $ é a mudança marginal nas probabilidades de log em relação a $ X_m $.

Para recuperar $ \ exp (\ beta_m) $, evidentemente devemos definir $ \ delta = 1 $ e exponenciar o lado esquerdo:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

Isso exibe $ \ exp (\ beta_m) $ como o odds ratio para um aumento de uma unidade em $ X_m $. Para desenvolver uma intuição do que isso pode significar, tabule alguns valores para um intervalo de probabilidades iniciais, arredondando fortemente para destacar os padrões:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

Para probabilidades realmente pequenas , que correspondem a probabilidades realmente pequenas , o efeito de um aumento de uma unidade em $ X_m $ é multiplicar as probabilidades ou probabilidade em cerca de 6.012. O fator multiplicativo diminui conforme as probabilidades (e probabilidade) aumentam e, essencialmente, desaparece quando as probabilidades excedem 10 (a probabilidade excede 0,9).

Como uma mudança aditiva , não há muita diferença entre uma probabilidade de 0,0001 e 0,0006 (é apenas 0,05%), nem há muita diferença entre 0,99 e 1. (apenas 1%). O maior efeito aditivo ocorre quando as probabilidades são iguais a $ 1 / \ sqrt {6.012} \ sim 0,408 $, onde a probabilidade muda de 29% para 71%: uma mudança de + 42%.

Vemos, então, que se expressarmos “risco” como uma razão de chances, $ \ beta_m $ = “B” tem uma interpretação simples – o odds ratio é igual a $ \ beta_m $ para um aumento de unidade em $ X_m $ – mas quando expressamos o risco de alguma outra forma, como uma mudança nas probabilidades, a interpretação requer cuidado para especificar a probabilidade inicial.

Regressão logística multinomial

(Isso foi adicionado em uma edição posterior.)

Tendo reconhecido o valor de usar probabilidades de log para expressar chances, vamos “s vamos para o caso multinomial. Agora a variável dependente $ Y $ pode ser igual a uma das categorias $ k \ ge 2 $, indexada por $ i = 1, 2, \ ldots, k $. O relativo probabilidade de que esteja na categoria $ i $ é

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ direita) $ $

com os parâmetros $ \ beta_j ^ {(i)} $ a serem determinados e escrevendo $ Y_i $ para $ \ Pr [Y = \ text {categoria} i] $.Como uma abreviatura, vamos escrever a expressão da mão direita como $ p_i (X, \ beta) $ ou, onde $ X $ e $ \ beta $ são claros do contexto, simplesmente $ p_i $. Normalizando para fazer todos estes a soma das probabilidades relativas à unidade dá

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta )}. $$

(Há uma ambigüidade nos parâmetros: há muitos deles. Convencionalmente, escolhe-se uma categoria “base” para comparação e força todos os seus coeficientes a serem zero. No entanto, embora seja necessário relatar estimativas únicas dos betas, não é necessário interpretar os coeficientes. Para manter a simetria – isto é, evitar quaisquer distinções artificiais entre as categorias – vamos não aplicar qualquer restrição, a menos que seja necessário.)

Uma maneira de interpretar este modelo é pedir a taxa marginal de mudança das probabilidades de log para qualquer categoria (digamos, categoria $ i $) em relação a qualquer uma das variáveis independentes (digamos $ X_j $). Ou seja, quando mudamos $ X_j $ um pouco, isso induz uma mudança nas probabilidades de log de $ Y_i $. Estamos interessados na constante de proporcionalidade que relaciona essas duas mudanças. A Regra da Cadeia de Cálculo, junto com um pouco de álgebra, nos diz que essa taxa de variação é

$$ \ frac {\ partial \ \ text {log odds} (Y_i)} {\ partial \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Isso tem uma interpretação relativamente simples como o coeficiente $ \ beta_j ^ {(i)} $ de $ X_j $ na fórmula para a chance de $ Y $ estar na categoria $ i $ menos um ” ajustamento.” O ajuste é a média ponderada pela probabilidade dos coeficientes de $ X_j $ em todas as outras categorias . Os pesos são calculados usando probabilidades associadas aos valores atuais das variáveis independentes $ X $. Assim, a mudança marginal nos logs não é necessariamente constante: ela depende das probabilidades de todas as outras categorias, não apenas da probabilidade da categoria em questão (categoria $ i $).

Quando há apenas $ k = 2 $ categorias, isso deve ser reduzido à regressão logística comum. Na verdade, a ponderação de probabilidade não faz nada e (escolhendo $ i = 2 $) dá simplesmente a diferença $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Deixar a categoria $ i $ ser o caso base reduz isso ainda mais para $ \ beta_j ^ {(2)} $, porque forçamos $ \ beta_j ^ {(1)} = 0 $. Assim, a nova interpretação generaliza a antiga.

Para interpretar $ \ beta_j ^ {(i)} $ diretamente, então, vamos isolá-lo de um lado da fórmula anterior, levando a:

O coeficiente de $ X_j $ para a categoria $ i $ é igual à mudança marginal nas chances de log da categoria $ i $ em relação à variável $ X_j $, mais a média ponderada pela probabilidade dos coeficientes de todos os outros $ X_ {j “} $ para a categoria $ i $.

Outra interpretação, embora um pouco menos direta, é fornecida ao definir (temporariamente) a categoria $ i $ como o caso base, tornando $ \ beta_j ^ {(i)} = 0 $ para todas as variáveis independentes $ X_j $:

A taxa marginal de mudança nas probabilidades de log do caso base para a variável $ X_j $ é o negativo da média ponderada pela probabilidade de seus coeficientes para todos os outros casos.

Na verdade, o uso dessas interpretações geralmente requer a extração do betas e as probabilidades da saída do software e realização dos cálculos conforme mostrado.

Finalmente, para os coeficientes exponenciados, observe que a razão de probabilidades entre dois resultados (às vezes chamado de “risco relativo” de $ i $ comparado a $ i “$) é

$$ \ frac {Y_ {i}} {Y_ {i”}} = \ frac {p_ {i} (X, \ beta)} {p_ {i “} (X, \ beta)}. $$

Vamos aumentar $ X_j $ em uma unidade para $ X_j + 1 $. Isso multiplica $ p_ {i} $ por $ \ exp (\ beta_j ^ {(i)}) $ e $ p_ {i “} $ por $ \ exp (\ beta_j ^ {(i”)}) $, de onde o o risco relativo é multiplicado por $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i “)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i “)}) $. Tomar a categoria $ i “$ como o caso base reduz isso para $ \ exp (\ beta_j ^ {(i)}) $, levando-nos a dizer,

O coeficiente exponenciado $ \ exp (\ beta_j ^ {(i)}) $ é o valor pelo qual o risco relativo $ \ Pr [Y = \ text {categoria} i] / \ Pr [Y = \ text { categoria base}] $ é multiplicado quando a variável $ X_j $ é aumentada em uma unidade.

Comentários

• Ótimas explicações, mas o OP pediu explicitamente o modelo multinomial . Posso estar lendo mais sobre a questão do que o OP pretendia, e a explicação para o caso binário pode ser adequada, mas eu iria adoraria ver esta resposta cobrir o caso multinomial geral também.Mesmo que a parametrização seja semelhante, as ” log-odds ” são, em geral, em relação a uma categoria de referência (arbitrária) e não são realmente log-odds, e uma mudança de unidade em $ X_i $ resulta em uma mudança combinada dessas ” log-odds “, e um aumento de ” log-odds ” não implica e aumenta a probabilidade.
• @NRH Que ‘ é um ponto excelente. De alguma forma, li ” multivariada ” em vez de ” multinomial. ” Se eu tiver a chance de retornar a isso, tentarei detalhar esses detalhes. Felizmente, o mesmo modo de análise é eficaz para encontrar a interpretação correta.
• @NRH Feito. Agradeço suas sugestões (ou qualquer outra pessoa ‘ s) sobre como tornar a interpretação mais clara ou para interpretações alternativas.
• obrigado por anotar isso. A resposta completa é uma referência muito boa.

Tente considerar esta explicação além de quais @whuber já escreveu muito bem. Se exp (B) = 6, então a razão de chances associada a um aumento de 1 no preditor em questão é 6. Em um contexto multinomial, por “razão de chances” queremos dizer a razão dessas duas quantidades: a) as chances ( não a probabilidade, mas sim p / [1-p]) de um caso tomando o valor da variável dependente indicada na tabela de saída em questão, eb) as chances de um caso tomando o valor de referência da variável dependente.

Você parece estar tentando quantificar a probabilidade – ao invés das probabilidades – de um caso estar em uma ou outra categoria. Para fazer isso, você precisa saber com quais probabilidades o caso “começou” – ou seja, antes de assumirmos o aumento de 1 no preditor em questão. As proporções das probabilidades variam caso a caso, enquanto a proporção das probabilidades conectadas com um aumento de 1 no preditor permanece a mesma.

Comentários

• ” Se exp (B) = 6, então o odds ratio associado a um aumento de 1 no preditor em questão é 6 “, se eu ler a resposta de @whuber ‘ corretamente, isso diz que a razão de chances será multiplicada por 6 com um aumento de 1 no preditor. Ou seja, o novo odds ratio não será 6. Ou estou interpretando as coisas incorretamente?
• Onde você diz ” o novo odds ratio não será 6 ” Eu diria ” que as novas probabilidades não serão 6 … mas a proporção do novo para o antigo odds será 6. ”
• Sim, concordo com isso! Mas eu apenas pensei que ” o odds ratio associado a um aumento de 1 no preditor em questão é 6 ” realmente não diz isso . Mas talvez eu esteja apenas interpretando mal. Obrigado pelo esclarecimento!

Eu também estava procurando a mesma resposta, mas a anterior era não é satisfatório para mim. Parecia complexo pelo que realmente é. Portanto, darei minha interpretação, corrija-me se estiver errado.

No entanto, leia até o fim, pois é importante.

Em primeiro lugar, os valores B e Exp ( B) é a vez que você está procurando. Se B for negativo, seu Exp (B) será menor que um, o que significa que as chances diminuem. Se for maior, a Exp (B) será maior que 1, o que significa que as chances aumentam. Já que você está multiplicando pelo fator Exp (B).

Infelizmente você ainda não chegou lá. Como em uma regressão multinominal sua variável dependente tem várias categorias, vamos chamar essas categorias de D1, D2 e D3. Das quais a última é a categoria de referência. E vamos supor que sua primeira variável independente seja sexo (machos vs fêmeas).

Digamos que a saída para D1 -> homens seja exp (B) = 1,21, isso significa que para homens as chances aumentam em um fator de 1,21 por estar na categoria D1 em vez de D3 (categoria de referência) em comparação com as mulheres (categoria de referência).

Então, você está sempre comparando com a sua categoria de referência das variáveis dependentes, mas também independentes. Isso não é verdade se você tiver uma variável covariável. Nesse caso, significaria; um aumento de uma unidade em X aumenta as chances por um fator de 1,21 de estar na categoria D1 em vez de D3.

Para aqueles com uma variável dependente ordinal:

Se você tiver um ordinal variável dependente e não fez uma regressão ordinal devido à suposição de probabilidades proporcionais, por exemplo. Lembre-se de sua maior categoria é a categoria de referência. Seus resultados conforme acima são válidos para relatório. Mas tenha em mente que um aumento nas probabilidades do que de fato significa um aumento nas probabilidades de estar na categoria inferior em vez de na superior!Mas isso só se você tiver uma variável dependente ordinal.

Se você quiser saber o aumento na porcentagem, pegue um número de probabilidades fictício, digamos 100 e multiplique-o por 1,21, que é 121? Em comparação com 100, quanto mudou em termos de porcentagem?

Digamos que exp (b) em um mlogit seja 1,04. se você multiplicar um número por 1,04, ele aumentará 4%. Esse é o risco relativo de estar na categoria a em vez de b. Eu suspeito que parte da confusão aqui pode ter a ver com 4% (significado multiplicativo) e 4 pontos percentuais (significado aditivo). A interpretação da% está correta se falamos de mudança percentual, e não mudança de ponto percentual. (Este último não faria sentido de qualquer forma, pois os riscos relativos não são expressos em termos de porcentagens.)