Olen lukenut, että ryhmälassoa käytetään muuttujien valintaan ja harvinaisuuteen muuttujaryhmässä. Haluan tietää tämän väitteen taustalla olevan intuition.
- Miksi ryhmälasso on parempana kuin lasso?
- Miksi ryhmälason ratkaisupolku ei ole paloittain lineaarinen?
Kommentit
- Yuanin ja Linin (2006) mukaan ymmärrän, että lasso on suunniteltu yksittäisten muuttujien valitsemiseen, ei tekijöiden valintaan. Joten lasso käsittelee ANOVA-ongelmaa, jossa tavoitteena on valita tärkeät päävaikutukset ja vuorovaikutukset tarkkaa ennustamista varten, mikä vastaa muuttujaryhmien valintaa. Toinen esimerkki on additiomalli, jossa on polynomi, jossa jokainen komponentti ilmaistaan alkuperäisten mitattujen muuttujien perusfunktioiden lineaarisena yhdistelmänä
vastaus
Intuitiivisesti ottaen ryhmälasso voidaan suositella lasolle, koska se tarjoaa meille keinon sisällyttää (tietyntyyppistä) lisätietoa arvioomme todelliselle kertoimelle $ \ beta ^ * $. Äärimmäisenä skenaariona, kun otetaan huomioon seuraavat seikat:
Kun asetat $ y \ sim \ mathcal {N} (X \ beta ^ *, \ sigma ^ 2 I) $, aseta $ S = \ {j: \ beta ^ * _ j \ neq 0 \} $ $ \ beta ^ * $ -tukena. Harkitse ”oraakkelin” estimaattoria $$ \ hat {\ beta} = \ arg \ min _ {\ beta} \ | y – X \ beta \ | _2 ^ 2 + \ lambda \ left (| S | ^ {1/2} \ | \ beta_S \ | _2 + (p- | S |) ^ {1/2} \ | \ beta_ {S ^ C} \ | _2 \ oikea), $$, joka on ryhmälasso, jossa on kaksi ryhmää – yksi todellinen tuki ja yksi täydennys. Olkoon $ \ lambda_ {max} $ pienin arvo $ \ lambda $, joka tekee arvosta $ \ hat {{beta} = 0 $. Ryhmälasorangaistuksen luonteen vuoksi tiedämme, että $ $ lambda $ siirtyy $ \ lambda_ {max} $: sta $ \ lambda_ {max} – \ epsilon $ (joillekin pienille $ \ epsilon > 0 $), täsmälleen yksi ryhmä tulee käyttämään $ \ hat {\ beta} $ -tukea, jota pidetään yleisesti arviona $ S $: lle. Ryhmittelyn vuoksi valitulla ryhmällä on suurella todennäköisyydellä $ S $, emmekä ole tehneet täydellistä työtä.
Käytännössä emme valitse ryhmiä näin hyvin. Ryhmät auttavat meitä kuitenkin huolimatta siitä, että ne ovat hienompia kuin yllä oleva äärimmäinen skenaario, mutta valinta tehtäisiin edelleen ryhmästä tosi kovariaatteja ja vääriä kovariaattoreita. Lainaamme edelleen voimaa.
Tämä on virallinen täällä . Ne osoittavat joissakin olosuhteissa, että ennusteen yläraja Ryhmälason virhe on pienempi kuin tavallisen lason ennustevirheen alaraja. Toisin sanoen, he todistivat, että ryhmittely tekee arviomme paremmin.
Toinen kysymyksesi: (tavallinen) lasso-rangaistus on paloittain lineaarinen, ja tämä saa aikaan paloittain lineaarisen ratkaisupolun. Intuitiivisesti, ryhmälason tapauksessa rangaistus ei ole enää paloittain lineaarinen, joten meillä ei ole enää tätä ominaisuutta. on täällä . Katso heidän ehdotuksensa 1. Olkoon $ L (\ beta) = \ | y – X \ beta \ | _2 ^ 2 $ ja $ J (\ beta) = \ sum_ {g \ G: ssä | g | ^ {1/2} \ | \ beta_g \ | _2 $. Ne osoittavat, että ryhmän lason ratkaisupolku on lineaarinen vain ja vain, jos $$ \ vasemmalle ( \ nabla ^ 2L (\ hat {\ beta}) + \ lambda \ nabla ^ 2 J (\ hat {\ beta}) \ right) ^ {- 1} \ nabla J (\ hat {\ beta}) $$ on piec ewise vakio. Tietysti se ei ole, koska rangaistuksellamme $ J $ on maailmanlaajuinen kaarevuus.
Kommentit
- Sillä on nyt paljon järkeä. Kiitos paljon vastauksestasi.
- Pidän tarjouksestasi " lainojen vahvuudesta. " Haluan, että lisää tilastoja kehystettäisiin tietojen selektiivisen jakamisen kannalta.
Vastaus
Benin vastaus on yleisin tulos. Mutta intuitiivinen vastaus toimenpideohjelmaan on motivoitunut kategoristen ennustajien tapaukseen, jotka yleensä koodataan useina nuken muuttujina: yksi kullekin luokalle. Monissa analyyseissä on järkevää tarkastella näitä näennäismuuttujia (jotka edustavat yhtä kategorista ennustajaa) yhdessä eikä erikseen.
Jos sinulla on kategorinen muuttuja, jolla on esimerkiksi viisi tasoa, suora lasso saattaa jättää kaksi sisään ja kolme ulos. Kuinka hoidat tämän periaatteellisesti? Päätätkö äänestää? Käytä kirjaimellisesti nuken muuttujia merkityksellisempien kategorioiden sijaan? Kuinka nuken koodaus vaikuttaa valintoihisi?
Kuten sanotaan -ryhmän lassoa logistisen regression johdannossa, siinä mainitaan:
Jo lineaarisen regressiotapauksen tapauksessa, kun läsnä on paitsi jatkuvia myös kategorisia ennustimia (tekijöitä), lasso-ratkaisu ei ole tyydyttävä, koska se vain valitsee yksittäiset nuken muuttujat kokonaistekijöiden sijaan. Lisäksi lasso-ratkaisu riippuu siitä, kuinka nuken muuttujat koodataan. Eri kontrastien valitseminen kategoriselle ennustajalle tuottaa yleensä erilaisia ratkaisuja.
Kuten Ben huomauttaa, ennustajien välillä on myös hienovaraisempia linkkejä, jotka saattavat osoittaa, että heidän pitäisi olla joko sisään tai ulos yhdessä. Mutta kategoriset muuttujat ovat ryhmälason julistaja.
Kommentit
- @Ben: Hmmm … Voin ' t ymmärrä todella OP ' ensimmäisen kommentin. Näyttää siltä, että se ' on vastaus nyt poistettuun kommenttiin ? Itse kysymys ja sen otsikko – mitä useimmat katsojat lukevat – näyttää olevan yleinen kysymys. ' Poistan varmasti vastaukseni, jos kysymys ja otsikko vaihdetaan johonkin aiheesta " Mitä ei-ilmeisiä sovelluksia on ryhmiteltyihin lassoihin kategoristen muuttujien tapauksessa? "
- Okei. Pidän huomautuksestasi siitä, kuinka (tavallisen) lason käyttö tekijöissä saa estimaatit riippumaan tekijöiden koodauksesta! Ajattelin aiemmin vain ryhmän lassoa antavan meille eräänlaisen " mittausjännityksen " parametrin harvinaisuus " (ts. meidän on mitattava kerroin vai ei – kaikkien tasojen tulisi olla valittuja tai ei yhtään.) / div>