Hva er en Gaussian Discriminant Analysis (GDA)?

GDA, er en metode for dataklassifisering som ofte brukes når data kan tilnærmes med en normalfordeling. Som første trinn trenger du et treningssett, dvs. en haug med data som ennå ikke er klassifisert. Disse dataene brukes til å trene klassifisereren din, og få en diskriminerende funksjon som vil fortelle deg hvilken klasse dataene har større sannsynlighet for å tilhøre.

Når du har treningssettet ditt, må du beregne gjennomsnittet $ \ mu $ og standardavviket $ \ sigma ^ 2 $ . Disse to variablene, som du vet, lar deg beskrive en normalfordeling.

Når du har beregnet normalfordelingen for hver klasse, for å klassifisere data må du beregne sannsynligheten for hver enkelt at dataene tilhører den. Klassen med høyest sannsynlighet vil bli valgt som affinitetsklasse.

Mer informasjon om diskriminerende funksjoner for normal tetthet finner du i lærebok som Mønsterklassifisering DUDA, HART, SOTRK eller Mønstergjenkjenning og maskinlæring BISHOP .

En opplæring til GDA finner du også her Part1 og Part2

Kommentarer

• Den første boka er av " Stork ", ikke " Sotrk ".
• opplæringskoblingene er ødelagte, kan du sjekke en gang igjen
• Koblinger er nå løst.

Jeg tror Andrew Ng » s notater om GDA ( https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf ) er den beste forklaringen jeg har sett på konseptet, men jeg vil " prøv å forklare dette for noen på videregående nivå " som bedt om (og relatere det tilbake til Andrews notater for de av du som bryr deg om matematikken).

Se for deg at du har to klasser. Beskriv en klasse som $ y = 0 $ og en klasse som $ y = 1 $ . Kan for eksempel være $ epler $ mot $ appelsiner $ .

Du har et datapunkt $ x $ som beskriver en observasjon av en av disse tingene. En observasjon kan være, dvs. $ [pris, diameter, vekt, farge] $ . Det kan være en samling av alle attributter som kan måles, og du kan måle så mange ting for å beskrive en $ x $ som du vil. Hvis vi måler fire forskjellige ting for å beskrive en $ x $ , så sier vi at $ x $ er 4-dimensjonal . Generelt vil vi kalle dette $ d $ .

Her er modellen til GDA fra Andrews merknader:

På vanlig engelsk sier dette:

$ p (y) $ kan beskrives som en urettferdig mynt-flip. Det kan for eksempel være at $ p (y = 0) = 0,4 $ og $ p (y = 1) = 0,6 $ . Det vil si at det er 40% sjanse for at ting er epler og 60% sjanse for at ting er appelsiner, periode, der ute i verden.

Gitt $ y = 0 $ (dvs. hvis vi kan antar at tingen er et eple), blir alle målene i x normalt fordelt med noen sett med parametere $ \ mu_0 $ og $ \ Sigma $ . $ \ mu_0 $ er ikke en verdi – det er en $ d $ -dimensjonsvektor. For å definere en normalfordeling trenger vi en $ \ mu $ for hver dimensjon av x (gjennomsnittspris, gjennomsnittsvekt osv.) Og også en $ d $ x $ d $ samvariansematrise $ \ Sigma $ som beskriver hvordan dimensjonene forholder seg til hverandre. Hvorfor? Fordi visse ting kan være korrelert (dvs. stor frukt veier sannsynligvis mer).

Vi antar at hvis $ y = 1 $ (tingen er oransje), oppfører målene seg også normalt. Med unntak av at midlene deres er forskjellige, og vi beskriver de med $ \ mu_1 $ . Vi bruker samme $ \ Sigma $ . ¹

Ok … etter alt dette oppsettet, gjør et tankeeksperiment:

Vend en urettferdig mynt som avgjør om noe er eple eller oransje. Deretter, basert på det resultatet, går du til Normalfordeling 0 eller Normalfordeling 1, og prøver et datapunkt. Hvis du gjentar dette mange ganger, vil du få massevis av datapunkter i $ d $ -dimensjonalt rom. Distribusjonen av disse dataene, forutsatt at vi har nok av det, vil vær " typisk " for den spesifikke modellen vi genererer fra.

(derav hvorfor notatet hans heter " Generative læringsalgoritmer ")

Men hva om vi gjør dette bakover? Jeg gir deg en haug med data i stedet, og jeg forteller deg at den ble generert på en slik måte. Du kan da, omvendt, komme tilbake og fortelle meg sannsynligheten på mynten, og $ \ mu $ s og $ \ Sigma $ s av de to normale distribusjonene som passer best til disse dataene. Denne bakoverøvelsen er GDA .

---

¹ Merk at Andrews modell bruker samme kovariansmatrise $ \ Sigma $ for begge klassene. Dette betyr at uansett hva normalfordelingen min ser ut for en klasse – uansett hvor høy / feit / skrå det er – antar jeg den andre klasse «kovariansematrise ser også akkurat slik ut.

Når $ \ Sigma $ er den samme mellom klassene, har vi et spesielt tilfelle av GDA kalt Linear Discriminant Analysis, fordi det resulterer i en lineær avgjørelsesgrense (se bilde nedenfor fra Andrews notater).

Denne antagelsen kan absolutt være falsk, og GDA beskriver denne øvelsen i det mest generelle tilfellet når $ \ Sigma $ s kan være forskjellige mellom klasser.

GDA er en form for lineær distribusjonsanalyse. Fra en kjent $ P (x | y) $, $$ P (y | x) = \ frac {P (x | y) P_ {prior} (y)} {\ Sigma_ {g \ i Y} P (x | g) P_ {prior} (g)} $$

er avledet ved bruk av Bayes «.

Det er i utgangspunktet, som @ttnphns bemerket, vanligvis brukt som en generisk etikett for enhver diskriminerende analyse som antar en populasjon som viser den gaussiske fordelingen. For en mer inngående forklaring, les Fisher «s 1936-papir i Annals of Eugenics (ja, det er egentlig det det het). Det er vanskelig å lese, men det er kilden til ideen (en liten advarsel: i motsetning til vin blir papirene ikke bedre, og denne er veldig forvirrende å lese når man vurderer at den ble skrevet i en matematisk lingo som ikke brukte ideer som «generative distribusjonsanalysemodeller», så det er en viss terminologisk forvirring her.) Jeg innrømmer herved skammelig at jeg stort sett er selvlært, og min utdannelse på GDA vært fra et fantastisk foredrag (hvis det er din ide om moro) av Andrew Ng fra Stanford som er vel verdt å se på (og snakker om emnet i samtiden lingo).