Porozumět funkci odkazu v zobecněném lineárním modelu

Takže pokud máte binární data odezvy, máte pro každé pozorování výsledek „ano / ne“ nebo „1/0“. To, co se snažíte odhadnout, když provádíte regresi binární odpovědi, však není 1/0 výstup pro každou sadu hodnot nezávislých proměnných, které ukládáte, ale pravděpodobnost, že jedinec s takovými charakteristikami bude mít za výsledek „ano“ . Odpověď pak již není diskrétní, je spojitá (v intervalu (0,1)). Odpověď v datech ( true $ y_i $) je ve skutečnosti binární, ale odhadovaná odezva ($ \ Lambda (x_i „b) $ nebo $ \ Phi (x_i“ b) $) jsou pravděpodobnosti.

Základní význam těchto funkcí odkazů je, že jsou distribucí, kterou vnucujeme chybnému členu v modelu latentní proměnné. Představte si, že každý jedinec má ve výsledku základní (nepozorovatelnou) ochotu říci „ano“ (nebo být 1) ve výsledku. modelujte tuto ochotu jako $ y_i ^ * $ pomocí lineární regrese podle charakteristik jednotlivce $ x_i $ (což je vektor ve vícenásobné regrese):

$$ y_i ^ * = x_i „\ beta + \ epsilon_i. $$

Tomu se říká latentní proměnná regrese. Pokud byla ochota tohoto jedince pozitivní ($ y_i ^ * > 0 $) , pozorovaný výsledek jednotlivce bude „ano“ ($ y_i = 1 $), jinak „ne“. Upozorňujeme, že volba prahové hodnoty nezáleží na latentním v Ariable model má intercept.

V lineární regresi předpokládáme, že chybný člen bude normálně distribuován. V binární odpovědi a dalších modelech musíme uložit / předpokládat distribuci na základě chybových podmínek. Funkce odkazu je kumulativní pravděpodobnostní funkce, kterou následují chybové výrazy. Například pokud je to logistické (a použijeme, že logistické rozdělení je ve čtvrté rovnosti symetrické),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i“ \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i „\ beta) = P (\ epsilon_i < x_i“ \ beta) = \ Lambda (x_i „\ beta). $$

Pokud jste předpokládali chyby, které mají být normálně distribuovány, pak byste měli probit odkaz, $ \ Phi (\ cdot) $, místo $ \ Lambda (\ cdot) $.

Komentáře

• +1 Vítejte na našem webu, Anna! Děkujeme, že jste k otázce, kterou jste položili, přispěli dobře sestavenými odpověďmi.
• Díky! Jak jsi viděl, že jsem nový? Je co sledovat nové lidi? Jste moderátor? Cítím se trochu překvapený. Ale mým záměrem bylo skutečně dát odpovědi mnohem víc než jen klást otázky, ale náhodou jsem měl otázku.
• Na tomto webu je ' hodně. , Anna. Nejprve si přečtěte naše centrum nápovědy . Další informace můžete proklikat téměř cokoli, co vidíte. Uživatelé s ikonou diamantu za jménem jsou moderátoři, ale stejně tak i uživatelé s dostatečně velkou reputací.Další dotazy ohledně fungování tohoto webu najdete na meta stránkách . Hledání (idiosynkratického) webu je užitečné, ale cílené vyhledávání Google (včetně " site: stats.stackexchange.com ") může být dokonce více efektivní. A podívejte se na naši chatovací místnost .
• @AnnaSdTC ne, neexistuje žádný sledovací mechanismus. Existuje fronta recenzí, která zvýrazňuje příspěvky nových uživatelů, ale ve většině případů si můžete jednoduše všimnout nové přezdívky + avatar. Také v informacích o profilu je informace o tom, kdy byl účet vytvořen (viz stats.stackexchange.com/users/146969/anna-sdtc , existuje " člen pro sekci ").
• I ' ve už nějakou dobu hledáme odpověď na " proč sigmoid " na logistickou regresi a to je zdaleka nejlepší odpověď. ' m jsem překvapen, že mnoho knih ML to nezmiňuje a logicky ukládá logistickou funkci. To nejlepší, co jsem ' viděl, mluví o GLM, ale ukládá to " GLM formulář " z čista jasna a použít to jako " odůvodnění ", které ' opravdu není vysvětlit cokoli. Jediný způsob, jak to mohu pochopit, je přes toto myšlení – předpoklad o distribuci chybového výrazu a myslím, že je to jediné skutečné vysvětlení, aniž bych něco vnucoval.

Zobecněný lineární model je definován jako lineární prediktor

$$ \ eta = X \ beta $$

Další věcí je rozdělení pravděpodobnosti , které popisuje podmíněné rozdělení $ Y $ a funkce odkazu $ g $, které „poskytuje vztah mezi lineárním prediktorem a průměrem distribuční funkce“, protože nepředpovídáme hodnoty $ Y $, ale spíše podmíněný průměr z $ Y $ dané prediktory $ X $, tj.

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

V případ funkce Gaussovy rodiny GLM (lineární regrese) identity se používá jako funkce odkazu, takže $ E (Y | X) = \ eta $, zatímco v případě logistické regrese používá se funkce logit. (Inverze) funkce logit transformuje hodnoty $ \ eta $ v $ (- \ infty, \ infty) $ na $ (0, 1) $, protože logistická regrese předpovídá pravděpodobnosti of success , tj. průměr Bernoulliho distribuce. K transformaci lineárních prediktorů na prostředky různých distribucí se používají další funkce, například funkce log pro Poissonovu regresi nebo inverzní odkaz pro gama regresi. Funkce link tedy nespojuje hodnoty $ Y $ (např. Binární, v případě logistické regrese) a lineární prediktor, ale znamená distribuci $ Y $ s $ \ eta $ (ve skutečnosti k převodu pravděpodobností na $ 0 $ “ s a $ 1 $ „s byste navíc potřebovali rozhodovací pravidlo ). Zpráva o odběru tedy spočívá v tom, že ne předpovídáme hodnoty $ Y $, ale místo toho je popisujeme pomocí pravděpodobnostního modelu a parametrů odhadu podmíněného rozdělení $ Y $ dané $ X $.

Chcete-li se dozvědět více o funkcích odkazů a GLM, můžete zkontrolovat Rozdíl mezi ' link ' a ' kanonická funkce odkazu ' pro GLM , Účel funkce odkazu v zobecněném lineárním modelu a Rozdíl mezi vlákny logit a probit , velmi dobrý článek Wikipedie o GLM a zobecněné lineární modely kniha od McCullagha a Neldera.