Interpretacja exp (B) w wielomianowej regresji logistycznej

To zajmie natomiast aby się tam dostać, ale podsumowując, zmiana o jedną jednostkę zmiennej odpowiadającej B zwielokrotni ryzyko względne wyniku (w porównaniu z wynikiem podstawowym) o 6,012.

Można to wyrazić jako wzrost względnego ryzyka o „5012%”, ale to „zagmatwane i pote W istocie mylący sposób, aby to zrobić, ponieważ sugeruje, że powinniśmy myśleć o zmianach addytywnie, podczas gdy w rzeczywistości wielomianowy model logistyczny silnie zachęca nas do myślenia multiplikatywnego. Modyfikator „względny” jest niezbędny, ponieważ zmiana zmiennej jednocześnie zmienia przewidywane prawdopodobieństwa wszystkich wyników, nie tylko tego, o którym mowa, więc musimy porównać prawdopodobieństwa (za pomocą wskaźniki, a nie różnice).

Pozostała część tej odpowiedzi rozwija terminologię i intuicję potrzebną do prawidłowej interpretacji tych stwierdzeń.

Tło

Zacznijmy od zwykłej regresji logistycznej, zanim przejdziemy do przypadku wielomianowego.

Dla zmiennej zależnej (binarnej) $ Y $ i zmiennej niezależnej $ X_i $ model wygląda następująco:

$ $ \ Pr [Y = 1] = \ frac {\ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)} {1+ \ exp (\ beta_1 X_1 + \ cdots + \ beta_m X_m)}; $$

równoważnie, zakładając $ 0 \ ne \ Pr [Y = 1] \ ne 1 $,

$$ \ log (\ rho (X_1, \ cdots, X_m)) = \ log \ frac {\ Pr [Y = 1]} {\ Pr [Y = 0]} = \ beta_1 X_1 + \ cdots + \ beta_m X_m. $$

(To po prostu definiuje $ \ rho $, to kurs jako funkcja $ X_i $.)

Bez utraty ogólności, inde x $ X_i $ tak, że $ X_m $ jest zmienną, a $ \ beta_m $ jest „B” w pytaniu (tak, że $ \ exp (\ beta_m) = 6,012 $). Ustalenie wartości $ X_i, 1 \ le i \ lt m $ i zmienianie $ X_m $ o niewielką kwotę $ \ delta $ daje

$$ \ log (\ rho (\ cdots, X_m + \ delta)) – \ log (\ rho (\ cdots, X_m)) = \ beta_m \ delta. $$

Zatem $ \ beta_m $ jest marginalną zmianą w logarytmicznych kursach w stosunku do $ X_m $.

Aby odzyskać $ \ exp (\ beta_m) $, ewidentnie musimy ustawić $ \ delta = 1 $ i potęgować lewą stronę:

$$ \ eqalign {\ exp (\ beta_m) & = \ exp (\ beta_m \ times 1) \\ & = \ exp (\ log (\ rho (\ cdots, X_m + 1)) – \ log (\ rho (\ cdots, X_m))) \\ & = \ frac {\ rho ( \ cdots, X_m + 1)} {\ rho (\ cdots, X_m)}. } $$

To pokazuje $ \ exp (\ beta_m) $ jako iloraz szans dla wzrostu o jedną jednostkę w X_m $. Aby zrozumieć, co to może oznaczać, ułóż w tabeli pewne wartości dla zakresu kursów początkowych, mocno zaokrąglając, aby wyróżnić wzorce:

Starting odds Ending odds Starting Pr[Y=1] Ending Pr[Y=1] 0.0001 0.0006 0.0001 0.0006 0.001 0.006 0.001 0.006 0.01 0.06 0.01 0.057 0.1 0.6 0.091 0.38 1. 6. 0.5 0.9 10. 60. 0.91 1. 100. 600. 0.99 1. 

For naprawdę małe kursy, które odpowiadają naprawdę małym prawdopodobieństwom, efektem wzrostu o jedną jednostkę w X_m $ jest pomnożenie kursów lub prawdopodobieństwa o około 6.012. Współczynnik mnożnikowy maleje , gdy szanse (i prawdopodobieństwo) stają się większe i zasadniczo znikają, gdy kursy przekroczą 10 (prawdopodobieństwo przekracza 0,9).

Jako zmiana addytywna , nie ma dużej różnicy między prawdopodobieństwem od 0,0001 do 0,0006 (to tylko 0,05%), nie ma też dużej różnicy między 0,99 a 1. (tylko 1%). Największy efekt addytywny występuje, gdy kurs wynosi 1 $ / \ sqrt {6.012} \ sim 0,408 $, gdzie prawdopodobieństwo zmienia się od 29% do 71%: zmiana o + 42%.

Widzimy zatem, że jeśli wyrazimy „ryzyko” jako iloraz szans, $ \ beta_m $ = „B” ma prostą interpretację – iloraz szans wynosi $ \ beta_m $ dla wzrostu jednostki o X_m $ – ale kiedy wyrażamy ryzyko w inny sposób, na przykład na zmianę prawdopodobieństw, interpretacja wymaga starannego określenia prawdopodobieństwa początkowego.

Wielomianowa regresja logistyczna

(Została dodana w późniejszej edycji).

Po rozpoznaniu wartości używania kursów logistycznych do wyrażania szans, niech „s przejdź do przypadku wielomianowego. Teraz zmienna zależna $ Y $ może odpowiadać jednej z kategorii $ k \ ge 2 $ indeksowanych przez $ i = 1, 2, \ ldots, k $. Względna prawdopodobieństwo, że znajduje się w kategorii $ i $ wynosi

$$ \ Pr [Y_i] \ sim \ exp \ left (\ beta_1 ^ {(i)} X_1 + \ cdots + \ beta_m ^ { (i)} X_m \ right) $ $

z parametrami $ \ beta_j ^ {(i)} $ do ustalenia i zapisaniem $ Y_i $ dla $ \ Pr [Y = \ text {category} i] $.Jako skrót zapiszmy prawe wyrażenie jako $ p_i (X, \ beta) $ lub, gdzie $ X $ i $ \ beta $ są jasne z kontekstu, po prostu $ p_i $. Normalizowanie, aby wszystko to suma prawdopodobieństw względnych do jedności daje

$$ \ Pr [Y_i] = \ frac {p_i (X, \ beta)} {p_1 (X, \ beta) + \ cdots + p_m (X, \ beta) )}. $$

(W parametrach występuje niejednoznaczność: jest ich zbyt wiele. Konwencjonalnie do porównania wybiera się kategorię „bazową” i wymusza na wszystkich jej zerach wartość zerową. chociaż jest to konieczne do raportowania unikalnych oszacowań bety, nie jest konieczne interpretowanie współczynników. Aby zachować symetrię – to znaczy, aby uniknąć sztucznych rozróżnień między kategoriami – nie egzekwować żadnego takiego ograniczenia, chyba że musimy.)

Jednym ze sposobów interpretacji tego modelu jest poproszenie o krańcową stopę zmian log kursów dla dowolnej kategorii (powiedzmy, że kategoria $ i $) w odniesieniu do dowolna ze zmiennych niezależnych (powiedzmy $ X_j $). Oznacza to, że jeśli nieznacznie zmienimy $ X_j $, spowoduje to zmianę w dzienniku kursów o $ Y_i $. Interesuje nas stała proporcjonalności odnosząca się do tych dwóch zmian. Łańcuchowa reguła rachunku różniczkowego wraz z małą algebrą mówi nam, że ten współczynnik zmian wynosi

$$ \ frac {\ części \ \ text {log odds} (Y_i)} {\ części \ X_j} = \ beta_j ^ {(i)} – \ frac {\ beta_j ^ {(1)} p_1 + \ cdots + \ beta_j ^ {(i-1)} p_ {i-1} + \ beta_j ^ {(i + 1)} p_ {i + 1} + \ cdots + \ beta_j ^ {(k)} p_k} {p_1 + \ cdots + p_ {i-1} + p_ {i + 1} + \ cdots + p_k}. $ $

Ma to stosunkowo prostą interpretację, ponieważ współczynnik $ \ beta_j ^ {(i)} $ równy $ X_j $ we wzorze na prawdopodobieństwo, że $ Y $ należy do kategorii $ i $ minus an ” dostosowanie.” Korekta jest średnią ważoną prawdopodobieństwem współczynników X_j $ we wszystkich pozostałych kategoriach . Wagi są obliczane przy użyciu prawdopodobieństw związanych z bieżącymi wartościami zmiennych niezależnych $ X $. Zatem krańcowa zmiana w logach niekoniecznie jest stała: zależy od prawdopodobieństwa wszystkich innych kategorii, a nie tylko prawdopodobieństwa danej kategorii (kategoria $ i $).

$ k = 2 $ kategorie, to powinno sprowadzić się do zwykłej regresji logistycznej. Rzeczywiście, ważenie prawdopodobieństwa nic nie daje i (wybranie $ i = 2 $) daje po prostu różnicę $ \ beta_j ^ {(2)} – \ beta_j ^ {(1)} $. Gdyby kategoria $ i $ była przypadkiem bazowym, redukuje to dalej do $ \ beta_j ^ {(2)} $, ponieważ wymuszamy $ \ beta_j ^ {(1)} = 0 $. Zatem nowa interpretacja uogólnia starą.

Aby zinterpretować $ \ beta_j ^ {(i)} $ bezpośrednio, wyodrębnimy to po jednej stronie poprzedniego wzoru, prowadząc do:

Współczynnik $ X_j $ dla kategorii $ i $ równa się krańcowej zmianie w logarytmicznym kursie kategorii $ i $ w odniesieniu do zmiennej $ X_j $, plus średnia ważona prawdopodobieństwem współczynników wszystkich pozostałych $ X_ {j „} $ dla kategorii $ i $.

Inna interpretacja, choć nieco mniej bezpośrednia, jest możliwa przez (tymczasowe) ustawienie kategorii $ i $ jako przypadku bazowego, dzięki czemu $ \ beta_j ^ {(i)} = 0 $ dla wszystkich zmiennych niezależnych $ X_j $:

Krańcowa stopa zmian w logarytmicznych kursach przypadku bazowego dla zmiennej $ X_j $ jest ujemną średnią ważoną prawdopodobieństwem jej współczynników dla wszystkich inne przypadki.

W rzeczywistości używanie tych interpretacji zazwyczaj wymaga wyodrębnienia bety i prawdopodobieństwa z wyników oprogramowania i wykonywania obliczeń, jak pokazano.

Na koniec, dla współczynników potęgi, zwróć uwagę, że stosunek prawdopodobieństw między dwoma wynikami (czasami nazywany „ryzykiem względnym” $ i $ w porównaniu do $ i „$) to

$$ \ frac {Y_ {i}} {Y_ {i”}} = \ frac {p_ {i} (X, \ beta)} {p_ {i „} (X, \ beta)}. $$

Zwiększmy $ X_j $ o jedną jednostkę do $ X_j + 1 $. To mnoży $ p_ {i} $ przez $ \ exp (\ beta_j ^ {(i)}) $ i $ p_ {i „} $ przez $ \ exp (\ beta_j ^ {(i”)}) $, skąd ryzyko względne mnoży się przez $ \ exp (\ beta_j ^ {(i)}) / \ exp (\ beta_j ^ {(i „)}) $ = $ \ exp (\ beta_j ^ {(i)} – \ beta_j ^ {(i „)}) $. Przyjmowanie kategorii $ i „$ za przypadek bazowy redukuje to do $ \ exp (\ beta_j ^ {(i)}) $, co prowadzi nas do stwierdzenia,

Wykładniczy współczynnik $ \ exp (\ beta_j ^ {(i)}) $ to kwota, o którą względne ryzyko $ \ Pr [Y = \ text {category} i] / \ Pr [Y = \ text { kategoria podstawowa}] $ jest mnożona, gdy zmienna $ X_j $ jest zwiększana o jedną jednostkę.

Komentarze

• Świetne wyjaśnienia, ale program operacyjny wyraźnie poprosił o wielomianowy model. Być może czytam więcej w tej kwestii, niż zamierzał PO, a wyjaśnienie przypadku binarnego może być odpowiednie, ale chciałbym Uwielbiam widzieć, jak ta odpowiedź obejmuje również ogólny przypadek wielomianowy.Mimo że parametryzacja jest podobna, ” log-odds ” ogólnie odnoszą się do (dowolnej) kategorii referencyjnej i nie są tak naprawdę log-kursami, a zmiana jednostki w $ X_i $ powoduje łączną zmianę tych ” log-odds „, a rosnące ” log-odds ” nie implikują i nie zwiększają prawdopodobieństwa.
• @NRH To ' to doskonała uwaga. Jakoś przeczytałem ” wielowymiarowe ” zamiast ” wielomianowe. ” Jeśli będę miał okazję do tego wrócić, spróbuję doprecyzować te szczegóły. Na szczęście ten sam sposób analizy jest skuteczny w znajdowaniu prawidłowej interpretacji.
• @NRH Gotowe. Z zadowoleniem przyjmuję Twoje sugestie (lub kogokolwiek innego ' s) dotyczące tego, jak uczynić interpretację bardziej przejrzystą, lub alternatywnych interpretacji.
• Dziękuję za napisanie tego. Pełna odpowiedź to bardzo dobre odniesienie.

Spróbuj uwzględnić ten fragment wyjaśnienia oprócz tego, co @whuber już tak dobrze napisał. Jeśli exp (B) = 6, to iloraz szans związany ze wzrostem o 1 dla danego predyktora wynosi 6. W kontekście wielomianowym przez „iloraz szans” rozumiemy stosunek tych dwóch wielkości: a) szanse ( nie prawdopodobieństwo, a raczej p / [1-p]) przypadku przyjmującego wartość zmiennej zależnej wskazanej w danej tabeli wyjściowej, oraz b) prawdopodobieństwo przypadku, w którym przyjmuje się wartość odniesienia zmiennej zależnej.

Wygląda na to, że szukasz ilościowego określenia prawdopodobieństwa, a nie prawdopodobieństwa, że sprawa należy do jednej lub drugiej kategorii. Aby to zrobić, musisz wiedzieć, od jakiego prawdopodobieństwa przypadek „zaczął się” – tj. Zanim założyliśmy wzrost o 1 dla danego predyktora. Współczynniki prawdopodobieństwa będą się różnić w zależności od przypadku, podczas gdy iloraz szans związanych ze wzrostem o 1 predyktora pozostanie taki sam.

Komentarze

• ” Jeśli exp (B) = 6, to iloraz szans związany ze wzrostem o 1 w danym predyktorze wynosi 6 „, jeśli poprawnie przeczytam odpowiedź @whuber ', oznacza to, że iloraz szans zostanie pomnożony przez 6 ze wzrostem o 1 na predyktorze. Oznacza to, że nowy iloraz szans nie będzie wynosił 6. Czy też interpretuję rzeczy nieprawidłowo?
• Gdzie powiesz ” nowy współczynnik kursów nie będzie 6 ” Powiedziałbym, że ” nowe kursy nie będą wynosić 6 … ale stosunek nowych kursów do starych będzie wynosić 6. ”
• Tak, zgadzam się z tym! Pomyślałem jednak, że ” iloraz szans związany ze wzrostem o 1 danego predyktora wynosi 6 ” tak naprawdę nie oznacza . Ale może po prostu źle to interpretuję. Dziękuję za wyjaśnienie!

Szukałem również tej samej odpowiedzi, ale powyższe nie satysfakcjonuje mnie. Wydawało się to skomplikowane, jak na to naprawdę jest. Więc podam moją interpretację, proszę poprawić mnie, jeśli się mylę.

Przeczytaj jednak do końca, ponieważ jest to ważne.

Przede wszystkim wartości B i Exp ( B) są tymi, których szukasz. Jeśli B jest ujemne, Twój Exp (B) będzie niższy niż jeden, co oznacza spadek kursów. Jeśli wyższy, Exp (B) będzie wyższy niż 1, co oznacza wzrost szans. Ponieważ mnożysz przez czynnik Exp (B).

Niestety jeszcze nie jesteś. Ponieważ w regresji wielomianowej twoja zmienna zależna ma wiele kategorii, nazwijmy te kategorie D1, D2 i D3. Z których ostatnia jest kategorią odniesienia. Załóżmy, że twoją pierwszą zmienną niezależną jest płeć (mężczyźni vs kobiety).

Powiedzmy, że wynik dla mężczyzn D1 -> to exp (B) = 1,21, co oznacza, że dla mężczyzn szanse wzrosną o współczynnik 1,21 za bycie w kategorii D1, a nie D3 (kategoria referencyjna) w porównaniu z kobietami (kategoria odniesienia).

Dlatego zawsze porównujesz ze swoją kategorią odniesienia zmienne zależne, ale także niezależne. Nie jest to prawdą, jeśli masz zmienną współzmienną. W takim przypadku oznaczałoby to; wzrost X o jedną jednostkę zwiększa prawdopodobieństwo znalezienia się w kategorii D1 zamiast D3 o współczynnik 1,21.

Dla osób ze zmienną porządkową zależną:

Jeśli masz porządkową zmienna zależna i nie wykonał regresji porządkowej, na przykład z powodu założenia proporcjonalnych kursów. Pamiętaj, że najwyższy kategoria to kategoria odniesienia. Twój wynik jak powyżej jest ważny do zgłoszenia. Należy jednak pamiętać, że wzrost kursów niż w rzeczywistości oznacza wzrost prawdopodobieństwa znalezienia się w niższej kategorii, a nie wyższej!Ale dzieje się tak tylko wtedy, gdy masz porządkową zmienną zależną.

Jeśli chcesz poznać wzrost w procentach, weź fikcyjną liczbę kursów, powiedzmy 100 i pomnóż ją przez 1,21, czyli 121? W porównaniu z 100, o ile zmieniło się to procentowo?

Powiedz, że exp (b) w mlogicie to 1.04. jeśli pomnożymy liczbę przez 1,04, to wzrasta o 4%. To jest względne ryzyko znalezienia się w kategorii a zamiast b. Podejrzewam, że część zamieszania może mieć związek z 4% (znaczenie multiplikatywne) i 4% (znaczenie addytywne). Interpretacja% jest prawidłowa, jeśli mówimy o zmianie procentowej, a nie o zmianie w punktach procentowych. (To ostatnie nie miałoby sensu, ponieważ ryzyko względne nie jest wyrażane w procentach).