Comprender la función de enlace en el modelo lineal generalizado

Entonces, cuando tiene datos de respuesta binaria, tiene un resultado «sí / no» o «1/0» para cada observación. Sin embargo, lo que está tratando de estimar cuando realiza una regresión de respuesta binaria no es un resultado 1/0 para cada conjunto de valores de las variables independientes que impone, sino la probabilidad de que un individuo con tales características dé como resultado un resultado «sí». . Entonces la respuesta ya no es discreta, es continua (en el intervalo (0,1)). La respuesta en los datos (el verdadero $ y_i $) es, de hecho, binario, pero el respuesta estimada (el $ \ Lambda (x_i «b) $ o $ \ Phi (x_i» b) $) son probabilidades.

El significado subyacente de estas funciones de enlace es que son la distribución que imponemos al término de error en el modelo de variable latente. Imagine que cada individuo tiene una voluntad subyacente (no observable) de decir «sí» (o ser un 1) en el resultado. Entonces modele esta disposición como $ y_i ^ * $ usando una regresión lineal en las características del individuo $ x_i $ (que es un vector en regresión múltiple):

$$ y_i ^ * = x_i «\ beta + \ epsilon_i. $$

Esto es lo que se llama una regresión de variable latente. Si la disposición de esta persona fue positiva ($ y_i ^ * > 0 $) , el resultado observado del individuo sería un «sí» ($ y_i = 1 $), de lo contrario un «no». Tenga en cuenta que la elección del umbral no importa ya que la v latente El modelo variable tiene una intersección.

En regresión lineal asumimos que el término de error tiene una distribución normal. En la respuesta binaria y otros modelos, necesitamos imponer / asumir una distribución en los términos de error. La función de enlace es la función de probabilidad acumulada que siguen los términos de error. Por ejemplo, si es logístico (y usaremos que la distribución logística es simétrica en la cuarta igualdad),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i» \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i «\ beta) = P (\ epsilon_i < x_i» \ beta) = \ Lambda (x_i «\ beta). $$

Si asumiste los errores se distribuirán normalmente, entonces tendría un enlace probit, $ \ Phi (\ cdot) $, en lugar de $ \ Lambda (\ cdot) $.

Comentarios

El modelo lineal generalizado se define en términos de predictor lineal

$$ \ eta = X \ beta $$

Lo siguiente es la distribución de probabilidad que describe la distribución condicional de $ Y $ y una función de enlace $ g $ que «proporciona la relación entre el predictor lineal y la media de la función de distribución», ya que no estamos prediciendo los valores de $ Y $ sino media condicional de $ Y $ dados predictores $ X $, es decir,

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

En En el caso de la familia gaussiana, la función de identidad GLM (regresión lineal) se utiliza como función de enlace, por lo que $ E (Y | X) = \ eta $, mientras que en el caso de regresión logística logit. La función (inversa de) logit transforma los valores de $ \ eta $ en $ (- \ infty, \ infty) $ en $ (0, 1) $, ya que la regresión logística predice probabilidades de éxito , es decir, la media de distribución de Bernoulli. Otras funciones se utilizan para transformar predictores lineales en medias de diferentes distribuciones, por ejemplo, función de registro para regresión de Poisson , o enlace inverso para la regresión gamma. Entonces, la función de enlace no vincula los valores de $ Y $ (por ejemplo, binario, en caso de regresión logística) y el predictor lineal, sino la media de la distribución de $ Y $ con $ \ eta $ (en realidad, para traducir las probabilidades a $ 0 $ » sy $ 1 $ «s, además, necesitaría una regla de decisión ). Entonces, el mensaje para llevar es que no estamos prediciendo los valores de $ Y $ sino que los describimos en términos de modelo probabilístico y parámetros de estimación de distribución condicional de $ Y $ dado $ X $.

Para obtener más información sobre las funciones de enlace y los GLM, puede consultar Diferencia entre ' función de enlace ' y ' función de enlace canónico ' para GLM , Propósito de la función de enlace en el modelo lineal generalizado y Diferencia entre modelos logit y probit hilos , el muy bueno artículo de Wikipedia sobre GLM «s y los modelos lineales generalizados libro de McCullagh y Nelder.