Ymmärrä linkkitoiminto yleisessä lineaarisessa mallissa

Joten kun sinulla on binäärisiä vastetietoja, jokaisella havainnolla on ”kyllä / ei” tai ”1/0” tulos. Se, mitä yrität arvioida tehdessäsi binäärivasteen regressiota, ei kuitenkaan ole 1/0 tulos jokaiselle asettamallesi riippumattomien muuttujien arvoryhmälle, vaan todennäköisyys, että yksilö, jolla on tällaiset ominaisuudet, johtaa ”kyllä” -tulokseen . Sitten vastaus ei ole enää erillinen, se on jatkuva ((0,1) aikavälillä). Datan vastaus ( true $ y_i $) on todellakin binaarinen, mutta arvioitu vastaus ($ \ Lambda (x_i ”b) $ tai $ \ Phi (x_i” b) $) ovat todennäköisyyksiä.

Näiden linkkitoimintojen taustalla oleva merkitys on, että ne ovat jakauma, jonka määrittelemme piilevän muuttujan mallin virhetermille. Kuvittele, että jokaisella yksilöllä on taustalla oleva (huomaamaton) halukkuus sanoa ”kyllä” (tai olla 1) lopputuloksessa. Sitten mallinnele tämä halu $ y_i ^ * $ käyttäen lineaarista regressiota yksilön ominaisuuksille $ x_i $ (joka on vektori useissa regressioissa):

$$ y_i ^ * = x_i ”\ beta + \ epsilon_i. $$

Tätä kutsutaan piileväksi muuttujan regressioksi. Jos tämän henkilön halu oli positiivinen ($ y_i ^ * > 0 $) , yksilön havaittu tulos olisi ”kyllä” ($ y_i = 1 $), muuten ”ei”. Huomaa, että kynnyksen valinnalla ei ole merkitystä piilevänä v ariable-mallilla on leikkaus.

Lineaarisessa regressiossa oletamme virhetermin olevan normaalijakautunut. Binaarivasteessa ja muissa malleissa meidän on asetettava / oletettava jakauma virhetermeille. Linkkitoiminto on kumulatiivinen todennäköisyysfunktio, jota virhetermit noudattavat. Esimerkiksi, jos se on logistinen (ja käytämme sitä, että logistinen jakauma on symmetrinen neljännessä yhtälössä),

$$ P (y_i = 1) = P (y_i ^ * > 0) = P (x_i” \ beta + \ epsilon_i > 0) = P (\ epsilon_i > -x_i ”\ beta) = P (\ epsilon_i < x_i” \ beta) = \ Lambda (x_i ”\ beta). $$

Jos oletit Jos virheet jaetaan normaalisti, sinulla on probit-linkki $ \ Phi (\ cdot) $ $ \ Lambda (\ cdot) $ sijaan.

Kommentit

• +1 Tervetuloa sivustollemme, Anna! Kiitos osallistumisestasi hyvin rakennettuihin vastauksiin kysymyksesi lisäksi.
• Kiitos! Kuinka näit, että olin uusi? Onko uusien ihmisten seuraamiseksi jotain? Oletko valvoja? Olen hieman yllättynyt. Mutta todellakin, aikomuksenani oli antaa vastauksia paljon enemmän kuin esittää kysymyksiä, mutta minulla sattui olemaan kysymys.
• Siellä ' on paljon tälle sivustolle , Anna. Aloita tutustumalla ohjekeskukseen . Voit napsauttaa lähes mitä tahansa nähdäksesi lisätietoja. Käyttäjät, joiden nimessä on timanttikuvake, ovat moderaattoreita, mutta samoin kaikki käyttäjät, joilla on riittävän suuri maine.Jos sinulla on kysyttävää tämän sivuston toiminnasta, käy -sisällösivullamme . (Idiosynkraattinen) sivustohaku on hyödyllinen, mutta kohdistetut Google-haut (myös " site: stats.stackexchange.com ") voivat olla jopa tehokkaampi. Ja tutustu chat-huoneeseemme .
• @AnnaSdTC ei, seurantamekanismia ei ole. On olemassa jono, joka korostaa uusien käyttäjien viestejä, mutta useimmissa tapauksissa voit vain huomata uuden lempinimen + avatarin. Myös profiilitiedoissa on tietoja tilin luomisajankohdasta (katso itseäsi stats.stackexchange.com/users/146969/anna-sdtc , " jäsen " -osiossa).
• I ' ve etsin vastausta " miksi sigmoid " logistiseen regressioon jonkin aikaa, ja tämä on ylivoimaisesti paras vastaus. Olen ' yllättynyt siitä, että monissa ML-kirjoissa ei mainita tätä ja asetetaan logistiikkatoiminto tyhjästä. Paras olen ' nähnyt puhetta GLM: stä, mutta se asettaa " GLM-muodon " ja käytä sitä " -perusteena ", joka ei ' ole oikeastaan selittää mitään. Ainoa tapa, jolla ymmärrän, on tämä ajattelu – oletus virhetermin jakautumisesta, ja mielestäni se on ainoa todellinen selitys asettamatta mitään

Yleistetty lineaarinen malli määritellään lineaarinen ennustaja

$$ \ eta = X \ beta $$

Seuraava asia on todennäköisyysjakauma , joka kuvaa $ Y $: n ehdollista jakaumaa ja linkkitoimintoa $ g $, joka ”tarjoaa suhteen lineaarisen ennustajan ja jakelutoiminnon keskiarvon välillä”, koska emme ennusta $ Y $: n arvoja, vaan pikemminkin ehdollinen keskiarvo / $ Y $ annetuista ennustajista $ X $, ts.

$$ E (Y | X) = g ^ {- 1} (\ eta) $$

Gaussin perheen tapausta GLM (lineaarinen regressio) -identiteettifunktiota käytetään linkkitoimintona, joten $ E (Y | X) = \ eta $, kun taas logistinen regressio logit-toimintoa käytetään. (Käänteinen) logit-funktio muuntaa $ \ eta $: n arvot muodossa $ (- \ infty, \ infty) $ arvoon $ (0, 1) $, koska logistinen regressio ennustaa todennäköisyydet menestyksen eli Bernoullin jakauman keskiarvo. Muita toimintoja käytetään lineaaristen ennustimien muuntamiseen erilaisten jakaumien keskiarvoiksi, esimerkiksi log-funktio Poisson-regressiolle tai käänteinen linkki gamma-regressiolle. Joten linkkitoiminto ei linkitä arvoja $ Y $ (esim. Binaarinen, logistisen regressiotapauksen tapauksessa) ja lineaarista ennustajaa, vaan keskiarvoa $ Y $: n jakaumasta $ \ eta $: lla (oikeastaan kääntämään todennäköisyydet arvoon $ 0 $ ” s ja $ 1 $ ”s tarvitset lisäksi päätössäännön ). Joten take-away -viesti on, että emme ennusta $ Y $: n arvoja, vaan kuvaamme sen sijaan todennäköisyysmallia ja estimoimme parametreja ehdollisen $ Y: n jakaumasta $ given $ X $.