Comprendre la fonction de lien dans le modèle linéaire généralisé

Ainsi, lorsque vous avez des données de réponse binaires, vous avez un résultat « oui / non » ou « 1/0 » pour chaque observation. Cependant, ce que vous essayez destimer lorsque vous effectuez une régression à réponse binaire nest pas un résultat de 1/0 pour chaque ensemble de valeurs des variables indépendantes que vous imposez, mais la probabilité quun individu présentant de telles caractéristiques aboutisse à un résultat «oui» . Alors la réponse nest plus discrète, elle est continue (dans lintervalle (0,1)). La réponse dans les données (le vrai $ y_i $) est, en effet, binaire, mais le réponse estimée (les $ \ Lambda (x_i « b) $ ou $ \ Phi (x_i » b) $) sont des probabilités.

La signification sous-jacente de ces fonctions de lien est que il sagit de la distribution que nous imposons au terme derreur dans le modèle de variable latente. Imaginez que chaque individu ait une volonté sous-jacente (non observable) de dire «oui» (ou dêtre un 1) dans le résultat. modéliser cette volonté comme $ y_i ^ * $ en utilisant une régression linéaire sur les caractéristiques de lindividu $ x_i $ (qui est un vecteur en régression multiple):

$$ y_i ^ * = x_i « \ beta + \ epsilon_i. $$

Cest ce quon appelle une régression à variable latente. Si la volonté de cet individu était positive ($ y_i ^ * > 0 $) , le résultat observé de lindividu serait un « oui » ($ y_i = 1 $), sinon un « non ». Notez que le choix du seuil na pas dimportance en tant que v latent Le modèle ariable a une intersection.

Dans la régression linéaire, nous supposons que le terme derreur est normalement distribué. Dans la réponse binaire et dautres modèles, nous devons imposer / supposer une distribution sur les termes derreur. La fonction de lien est la fonction de probabilité cumulative que suivent les termes derreur. Par exemple, si cest logistique (et nous utiliserons que la distribution logistique est symétrique dans la quatrième égalité),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i » \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i « \ beta) = P (\ epsilon_i < x_i » \ beta) = \ Lambda (x_i « \ beta). $$

Si vous avez supposé les erreurs doivent être normalement distribuées, alors vous auriez un lien probit, $ \ Phi (\ cdot) $, au lieu de $ \ Lambda (\ cdot) $.

Commentaires

• +1 Bienvenue sur notre site, Anna! Merci davoir fourni des réponses bien construites en plus de la question que vous avez posée.
• Merci! Comment as-tu vu que jétais nouveau? Y a-t-il quelque chose pour suivre les nouvelles personnes? Êtes-vous un modérateur? Je me sens un peu surpris. Mais, en effet, mon intention était de donner des réponses bien plus que de poser des questions, mais il mest arrivé davoir une question.
• Il y a ' beaucoup sur ce site , Anna. Commencez par consulter notre Centre daide . Vous pouvez cliquer sur presque tout ce que vous voyez pour plus dinformations. Les utilisateurs avec une icône en forme de losange après leur nom sont des modérateurs, tout comme les utilisateurs ayant une réputation suffisamment grande.Pour toute question supplémentaire sur le fonctionnement de ce site, accédez à nos méta-pages . La recherche sur site (idiosyncratique) est utile, mais les recherches Google ciblées (notamment " site: stats.stackexchange.com ") peuvent être régulières plus efficace. Et consultez notre salle de chat .
• @AnnaSdTC non, il ny a pas de mécanisme de suivi. Il existe une file dattente de révision qui met en évidence les publications des nouveaux utilisateurs, mais dans la plupart des cas, vous pouvez simplement remarquer un nouveau surnom + un avatar. Vous trouverez également dans les informations de profil des informations sur la date de création du compte (voyez-vous stats.stackexchange.com/users/146969/anna-sdtc , il y a un " membre de la section ").
• I ' ve recherché la réponse à " pourquoi sigmoid " pour la régression logistique depuis un certain temps et cest de loin la meilleure réponse. Je ' étonné que peu de livres de ML mentionnent cela et imposent la fonction logistique à limproviste. Le meilleur que jai ' vu parle de GLM mais il impose le " formulaire GLM " à limproviste et utilisez-le comme " justification ", ce qui ' t vraiment expliquer quoi que ce soit. La seule façon dont je peux comprendre est via cette réflexion – hypothèse sur la distribution du terme derreur, et je pense que cest la seule vraie explication sans rien imposer

Le modèle linéaire généralisé est défini en termes de prédicteur linéaire

$$ \ eta = X \ beta $$

La prochaine étape est la distribution de probabilité qui décrit la distribution conditionnelle de $ Y $ et une fonction de lien $ g $ qui « fournit la relation entre le prédicteur linéaire et la moyenne de la fonction de distribution », puisque nous ne prédisons pas les valeurs de $ Y $ mais plutôt moyenne conditionnelle de $ Y $ prédicteurs donnés $ X $, cest-à-dire

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

In cas de la famille gaussienne La fonction didentité GLM (régression linéaire) est utilisée comme fonction de lien, donc $ E (Y | X) = \ eta $, tandis que dans le cas de régression logistique fonction logit est utilisée. (Inverse de) la fonction logit transforme les valeurs de $ \ eta $ en $ (- \ infty, \ infty) $ en $ (0, 1) $, car la régression logistique prédit des probabilités de succès , cest-à-dire la moyenne de la distribution de Bernoulli. Dautres fonctions sont utilisées pour transformer les prédicteurs linéaires en moyennes de différentes distributions, par exemple la fonction log pour la régression de Poisson , ou le lien inverse pour la régression gamma. Donc, la fonction de lien ne lie pas les valeurs de $ Y $ (par exemple binaire, en cas de régression logistique) et le prédicteur linéaire, mais la moyenne de la distribution de $ Y $ avec $ \ eta $ (en fait, pour traduire les probabilités en $ 0 $  » s et $ 1 $ « s, vous auriez également besoin dune règle de décision ). Donc, le message à retenir est que nous ne prédisons pas les valeurs de $ Y $, mais plutôt les décrivons en termes de modèle probabiliste et paramètres destimation de distribution conditionnelle de $ Y $ given $ X $.

Pour en savoir plus sur les fonctions de lien et les GLM, vous pouvez vérifier Différence entre ' fonction de lien ' et ' fonction de lien canonique ' pour GLM , Objectif de la fonction de lien dans le modèle linéaire généralisé et Différence entre les modèles logit et probit threads , le très bon article Wikipedia sur les GLM « s et les modèles linéaires généralisés livre de McCullagh et Nelder.