Zrozumienie funkcji łącza w uogólnionym modelu liniowym

Więc jeśli masz binarne dane odpowiedzi, masz wynik „tak / nie” lub „1/0” dla każdej obserwacji. Jednak to, co próbujesz oszacować, wykonując regresję odpowiedzi binarnych, nie jest wynikiem 1/0 dla każdego zestawu wartości zmiennych niezależnych, które narzucasz, ale prawdopodobieństwem, że osoba o takich cechach da wynik „tak” . Wtedy odpowiedź nie jest już dyskretna, jest ciągła (w przedziale (0,1)). Odpowiedź w danych ( prawda $ y_i $) jest rzeczywiście binarna, ale szacowana odpowiedź ($ \ Lambda (x_i „b) $ lub $ \ Phi (x_i” b) $) są prawdopodobieństwami.

Podstawowe znaczenie tych funkcji łączenia jest takie, że są one rozkładem, jaki nakładamy na składnik błędu w modelu zmiennej ukrytej. Wyobraź sobie, że każda osoba ma ukrytą (nieobserwowalną) chęć do powiedzenia „tak” (lub bycia 1) w wyniku. Następnie zamodeluj tę gotowość jako $ y_i ^ * $ używając regresji liniowej na indywidualnych cechach $ x_i $ (który jest wektorem w regresji wielokrotnej):

$$ y_i ^ * = x_i „\ beta + \ epsilon_i. $$

To jest tak zwana regresja ze zmienną ukrytą. Jeśli gotowość tej osoby była dodatnia ($ y_i ^ * > 0 $) , obserwowany wynik danej osoby to „tak” ($ y_i = 1 $), w przeciwnym razie „nie”. Należy pamiętać, że wybór progu nie ma znaczenia, ponieważ ukryty v model obliczeniowy ma punkt przecięcia z osią.

W regresji liniowej zakładamy, że składnik błędu ma rozkład normalny. W modelach odpowiedzi binarnych i innych modelach musimy narzucić / założyć rozkład na warunkach błędu. Funkcja łączenia to skumulowana funkcja prawdopodobieństwa, po której następują składniki błędu. Na przykład, jeśli jest to logistyczne (i użyjemy, że rozkład logistyczny jest symetryczny w czwartej równości),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i” \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i „\ beta) = P (\ epsilon_i < x_i” \ beta) = \ Lambda (x_i „\ beta). $$

Jeśli założyłeś błędy, które mają być dystrybuowane normalnie, miałbyś link probit, $ \ Phi (\ cdot) $, zamiast $ \ Lambda (\ cdot) $.

Komentarze

• +1 Witamy na naszej stronie, Anno! Dziękujemy za przesłanie dobrze skonstruowanych odpowiedzi oprócz zadanego pytania.
• Dzięki! Jak widziałeś, że jestem nowy? Czy jest coś do śledzenia nowych ludzi? Czy jesteś moderatorem? Jestem trochę zaskoczony. Ale, rzeczywiście, moim zamiarem było udzielenie odpowiedzi znacznie więcej niż zadawanie pytań, ale akurat miałem pytanie.
• W tej witrynie jest ' , Ania. Zacznij od przejrzenia naszego centrum pomocy . Aby uzyskać więcej informacji, możesz kliknąć prawie wszystko, co widzisz. Użytkownicy oznaczeni ikoną diamentu po ich nazwach są moderatorami, ale tak samo jak wszyscy użytkownicy o wystarczająco dużej reputacji.Aby uzyskać dodatkowe pytania dotyczące działania tej witryny, przejdź na nasze meta strony . (Idiosynkratyczne) wyszukiwanie w witrynie jest przydatne, ale kierowane wyszukiwania w Google (w tym " site: stats.stackexchange.com ") mogą być parzyste bardziej efektywny. I sprawdź nasz pokój rozmów .
• @AnnaSdTC Nie, nie ma mechanizmu śledzenia. Istnieje kolejka recenzji, która wyróżnia posty nowych użytkowników, ale w większości przypadków możesz po prostu zauważyć nowy pseudonim + awatar. W informacjach o profilu znajduje się również informacja o tym, kiedy konto zostało utworzone (patrz yourelf stats.stackexchange.com/users/146969/anna-sdtc , znajduje się tam " członek sekcji ").
• I ' ve Od jakiegoś czasu szukałem odpowiedzi na pytanie ", dlaczego sigmoid " dla regresji logistycznej i jest to zdecydowanie najlepsza odpowiedź. ' Jestem zaskoczony, że niewiele książek o ML wspomina o tym i nieoczekiwanie narzuca funkcję logistyczną. Najlepsze, jakie ' widziałem, mówi o GLM, ale narzuca " formularz GLM " nieoczekiwanie i użyj tego jako " uzasadnienia ", co tak naprawdę nie ' wyjaśnij cokolwiek. Jedynym sposobem, w jaki mogę to zrozumieć, jest takie myślenie – założenie dotyczące rozkładu składnika błędu i myślę, że jest to jedyne prawdziwe wyjaśnienie bez narzucania czegokolwiek

Uogólniony model liniowy jest definiowany za pomocą predyktora liniowego

$$ \ eta = X \ beta $$

Następną rzeczą jest rozkład prawdopodobieństwa , który opisuje warunkowy rozkład $ Y $ i funkcja łączenia $ g $ that „zapewnia związek między predyktorem liniowym a średnią funkcji rozkładu”, ponieważ nie przewidujemy wartości $ Y $, ale raczej średnia warunkowa z $ Y $ danych predyktorów $ X $, tj.

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

In przypadek rodziny Gaussa GLM (regresja liniowa) funkcja tożsamości jest używana jako funkcja łącząca, więc $ E (Y | X) = \ eta $, natomiast w przypadku regresja logistyczna funkcja logit jest używana. Funkcja (odwrotność) logit przekształca wartości $ \ eta $ w $ (- \ infty, \ infty) $ na $ (0, 1) $, ponieważ regresja logistyczna przewiduje prawdopodobieństwa sukcesu , czyli średnia rozkładu Bernoulliego. Inne funkcje służą do przekształcania predyktorów liniowych na średnie o różnych rozkładach, na przykład funkcja logarytmiczna dla regresji Poissona lub odwrotne łącze dla regresji gamma. Zatem funkcja łączenia nie łączy wartości $ Y $ (np. Binarnych, w przypadku regresji logistycznej) i predyktora liniowego, ale średnią z rozkładu $ Y $ z $ \ eta $ (w rzeczywistości, aby przetłumaczyć prawdopodobieństwa na 0 $ ” s i $ 1 $, potrzebujesz dodatkowo reguły decyzyjnej ). Tak więc komunikat na wynos jest taki, że nie przewidujemy wartości $ Y $, ale zamiast tego opisujemy je w kategoriach modelu probabilistycznego i szacujemy parametry warunkowego rozkładu $ Y $ podane $ X $.

Aby dowiedzieć się więcej o funkcjach linków i GLM, możesz sprawdzić Różnica między ' funkcja linku ' i ' funkcja linku kanonicznego ' dla GLM , Cel funkcji łączenia w uogólnionym modelu liniowym i Różnica między modelami logit i probit wątki , bardzo dobry artykuł w Wikipedii o GLM „s i Uogólnione modele liniowe książka autorstwa McCullagha i Nelder.