Mikä on Gaussin diskriminanttianalyysi (GDA)?

GDA on menetelmä tietojen luokittelemiseksi, jota käytetään yleisesti silloin, kun tietoja voidaan arvioida normaalijakaumalla. Ensimmäisessä vaiheessa tarvitset koulutusjoukon, eli joukon vielä luokiteltuja tietoja. Näitä tietoja käytetään luokittelusi kouluttamiseen ja erottelevan funktion hankkimiseen, joka kertoo, mihin luokkaan data on todennäköisemmin kuuluva.

Kun sinulla on harjoitussarjasi, sinun on laskettava keskiarvo $ \ mu $ ja keskihajonta $ \ sigma ^ 2 $ . Näiden kahden muuttujan avulla, kuten tiedät, voit kuvata normaalijakaumaa.

Kun olet laskenut jokaisen luokan normaalijakauman, luokitellaksesi tietoja sinun on laskettava jokaiselle todennäköisyys. että kyseiset tiedot kuuluvat siihen. Suurimman todennäköisyyden omaava luokka valitaan affiniteettiluokaksi.

Lisätietoja normaalin tiheyden erottelevista toiminnoista löytyy oppikirjasta nimellä Kuvioluokitus DUDA, HART, SOTRK tai kuvion tunnistaminen ja koneoppiminen BISHOP .

GDA: n opetusohjelma löytyy myös täältä Part1 ja Part2

Kommentit

• Ensimmäisen kirjan on kirjoittanut " Stork ", ei " Sotrk ".
• opetusohjelman linkit ovat rikki, voitko tarkistaa kerran uudelleen
• Linkit on nyt korjattu.

Mielestäni Andrew Ng ” s muistiinpanot GDA: sta ( https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf ) ovat paras selitys konseptille, mutta haluan " yritä selittää tämä jollekin lukion tasolla " pyydettäessä (ja linkitä se takaisin Andrewn muistiinpanoihin sinä, joka välität matematiikasta).

Kuvittele, että sinulla on kaksi luokkaa. Kuvaile yhtä luokkaa $ y = 0 $ ja yhtä luokkaa $ y = 1 $ . Voisi olla esimerkiksi $ omenat $ vs $ appelsiinit $ .

Sinulla on datapiste $ x $ , joka kuvaa jonkin näistä asioista havaitsemista. Havainto voi olla esimerkiksi $ [hinta, halkaisija, paino, väri] $ . Se voi olla kokoelma mitä tahansa mitattavia määritteitä, ja voit mitata niin monta asiaa kuvaamaan $ x $ kuin haluat. Jos mitataan 4 eri asiaa kuvaamaan $ x $ , sanomme, että $ x $ on 4-ulotteinen . Yleensä kutsumme tätä $ d $ .

Tässä on Andrewn muistiinpanojen GDA-malli:

Selkeällä englanninkielisellä tekstillä sanotaan:

$ p (y) $ voidaan kuvata epäreiluksi kolikkokäännökseksi. Esimerkiksi $ p (y = 0) = 0.4 $ ja $ p (y = 1) = 0.6 $ . Eli siellä on 40% mahdollisuus, että asiat ovat omenat ja 60% mahdollisuus, että asiat ovat appelsiineja, piste, maailmassa.

Annettu $ y = 0 $ (ts. jos voimme oletetaan, että asia on omena), kaikki x: n mittaukset jaetaan normaalisti joidenkin parametrien joukon $ \ mu_0 $ ja $ \ Sigma $ . $ \ mu_0 $ ei ole yksi arvo – se on $ d $ -ulotteinen vektori. Normaalin jakauman määrittämiseksi tarvitaan $ \ mu $ kullekin x ulottuvuudelle (keskihinta, keskimääräinen paino jne.) Ja myös $ d $ x $ d $ kovarianssimatriisi $ \ Sigma $ , joka kuvaa kuinka mitat liittyvät toisiinsa. Miksi? Koska tietyt asiat saattavat olla korreloivia (ts. Suuret hedelmät todennäköisesti painavat enemmän).

Oletetaan, että jos $ y = 1 $ (asia on oranssi), myös sen mittaukset toimivat normaalisti. Paitsi että heidän keskiarvonsa ovat erilaiset, ja kuvaamme ne, joilla on $ \ mu_1 $ . Käytämme kuitenkin samaa $ \ Sigma $ . ¹

Ok … tee kaiken tämän määrityksen jälkeen ajatuskokeilu:

Käännä epäoikeudenmukainen kolikko, joka määrittää, onko jokin omena vai oranssi. Siirry sitten tuloksen perusteella kohtaan Normaali jakelu 0 tai Normaali jakelu 1 ja näytä datapiste. Jos toistat tämän monta kertaa, saat tonnia datapisteitä $ d $ -dimensionaalisessa tilassa. Tämän datan jakelu, jos meillä on tarpeeksi, tulee olla " tyypillinen " tietylle mallille, josta olemme luomassa.

(Tästä syystä hänen muistiinpanoa kutsutaan " Generatiiviset oppimisalgoritmit ")

Mutta entä jos teemme tämän taaksepäin? Annan sinulle joukon tietoja sen sijaan, ja minä sanon teille, että se on luotu niin. Voit sitten päinvastoin palata takaisin ja kertoa minulle kolikon todennäköisyyden ja $ \ mu $ s ja $ \ Sigma $ s kahdesta normaalijakaumasta, jotka sopivat näihin tietoihin mahdollisimman hyvin. Tämä taaksepäin tehtävä harjoitus on GDA .

¹ Huomaa, että Andrewn malli käyttää samaa kovarianssimatriisia $ \ Sigma $ molemmille luokille. Tämä tarkoittaa sitä, että riippumatta siitä, millainen normaalijakaumani näyttää yhdelle luokalle – olipa se sitten pitkä / lihava / viisto – oletan toisen class ”kovarianssimatriisi näyttää myös täsmälleen tältä.

Kun $ \ Sigma $ on sama luokkien välillä, meillä on erityinen GDA-tapaus kutsutaan lineaariseksi erotteluanalyysiksi, koska se johtaa lineaariseen päätösrajaan (katso alla olevaa kuvaa Andrewn muistiinpanoista).

Tämä oletus voi varmasti olla väärä, ja GDA kuvaa tätä harjoitusta yleisimmässä tapauksessa, kun $ \ Sigma $ s voi olla erilainen luokkien välillä.

GDA on eräänlainen lineaarisen jakauman analyysi. Tunnetusta $ P (x | y) $: sta $$ P (y | x) = \ frac {P (x | y) P_ {prior} (y)} {\ Sigma_ {g \ Y} P (x | g) P_ {prior} (g)} $$

saadaan käyttämällä Bayes-sovelluksia.

Se on periaatteessa, kuten @ttnphns totesi, yleensä yleisenä etiketti kaikille erotteluanalyyseille, joissa oletetaan populaatio, joka osoittaa Gaussin jakauman. Yksityiskohtaisemman selityksen saat lukemalla Fisherin 1936-julkaisun Annals of Eugenics -lehdessä (kyllä, sitä todella kutsuttiinkin). Se on vaikea ja epämiellyttävä luku, mutta se on idean lähde (pieni varoitus: toisin kuin viini, paperit eivät parane, ja tämä on hyvin hämmentävä lukea, kun otetaan huomioon, että se on kirjoitettiin matematiikan kielellä, joka ei käyttänyt ideoita, kuten ”generatiiviset jakeluanalyysimallit”, joten tässä on jonkin verran terminologista sekaannusta. ollut Stanfordin Andrew Ng: n ihanasta luennosta (jos se on mielesi hauskaa) , joka on katsomisen arvoinen (ja puhuu aiheesta nykyaikana kieli).