Vad är en Gaussian Discriminant Analysis (GDA)?

GDA, är en metod för dataklassificering som vanligtvis används när data kan approximeras med en normalfördelning. Som första steg behöver du en träningssats, dvs en massa data som ännu inte klassificerats. Dessa data används för att träna din klassificerare och få en diskriminerande funktion som talar om för vilken klass en data har högre sannolikhet att tillhöra.

När du har din träningsuppsättning måste du beräkna medelvärdet $ \ mu $ och standardavvikelsen $ \ sigma ^ 2 $ . Dessa två variabler, som du vet, låter dig beskriva en normalfördelning.

När du har beräknat normalfördelningen för varje klass, för att klassificera en data måste du beräkna, för var och en, sannolikheten att dessa uppgifter tillhör den. Klassen med högst sannolikhet väljs som affinitetsklass.

Mer information om diskriminerande funktioner för normal densitet finns i lärobok som Mönsterklassificering DUDA, HART, SOTRK eller Mönsterigenkänning och maskininlärning BISHOP .

En tutorial till GDA finns också här Part1 och Part2

Kommentarer

• Den första boken är av " Stork ", inte " Sotrk ".
• tutorial-länkarna är trasiga, kan du kontrollera en gång igen
• Länkar har nu fixats.

Jag tror Andrew Ng ” s anteckningar på GDA ( https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf ) är den bästa förklaringen jag har sett på konceptet, men jag vill " försök att förklara detta för någon på gymnasienivå " enligt begäran (och relatera det tillbaka till Andrews anteckningar för de av du som bryr dig om matematiken).

Tänk dig att du har två klasser. Beskriv en klass som $ y = 0 $ och en klass som $ y = 1 $ . Kan till exempel vara $ äpplen $ vs $ apelsiner $ .

Du har en datapunkt $ x $ som beskriver en observation av en av dessa saker. En observation kan vara, dvs. $ [pris, diameter, vikt, färg] $ . Det kan vara en samling av alla attribut som kan mätas, och du kan mäta så många saker för att beskriva en $ x $ som du vill. Om vi mäter fyra olika saker för att beskriva en $ x $ , så säger vi att $ x $ är fyrdimensionellt . Generellt kallar vi detta $ d $ .

Här är modellen för GDA från Andrews anteckningar:

På vanlig engelska står det:

$ p (y) $ kan beskrivas som en orättvis mynt-flip. Det kan till exempel vara så att $ p (y = 0) = 0,4 $ och $ p (y = 1) = 0,6 $ . Det vill säga 40% chans att saker och ting är äpplen och 60% chans att saker är apelsiner, period, där ute i världen.

Med tanke på $ y = 0 $ (dvs. om vi kan anta att saken är ett äpple), alla mätningar i x distribueras normalt med någon uppsättning parametrar $ \ mu_0 $ och $ \ Sigma $ . $ \ mu_0 $ är inte ett värde – det är en $ d $ -dimensionell vektor. För att definiera en normalfördelning behöver vi en $ \ mu $ för varje dimension av x (medelpris, medelvikt, etc) och också en $ d $ x $ d $ kovariansmatris $ \ Sigma $ som beskriver hur dimensionerna relaterar till varandra. Varför? Eftersom vissa saker kan vara korrelerade (dvs. stor frukt väger förmodligen mer).

Vi antar att om $ y = 1 $ (saken är en orange), fungerar dess mått också normalt. Förutom att deras medel är olika och vi beskriver dem med $ \ mu_1 $ . Vi använder dock samma $ \ Sigma $ . ¹

Ok … efter alla inställningarna, gör ett tankeexperiment:

Vänd ett orättvist mynt som avgör om något är äpple eller orange. Baserat på det resultatet, gå till Normalfördelning 0 eller Normalfördelning 1 och prova en datapunkt. Om du upprepar detta många gånger kommer du att få massor av datapunkter i $ d $ -dimensionellt utrymme. Fördelningen av dessa data, förutsatt att vi har tillräckligt med det, kommer att vara " typisk " för den specifika modell som vi genererar från.

(varför hans anteckning heter " Generativa inlärningsalgoritmer ")

Men vad händer om vi gör detta bakåt? Jag ger dig en massa data istället, och jag säger till dig att det genererades på ett sådant sätt. Du kan då, tvärtom, komma tillbaka och berätta sannolikheten för myntet och $ \ mu $ s och $ \ Sigma $ s av de två normala distributionerna, som passar dessa data så bra som möjligt. Denna bakåtövning är GDA .

¹ Observera att Andrews modell använder samma kovariansmatris $ \ Sigma $ för båda klasserna. Det betyder att oavsett vad min normala fördelning ser ut för en klass – hur lång / fet / sned det än är – Jag antar att den andra klass ”kovariansmatris ser också ut exakt så.

När $ \ Sigma $ är densamma mellan klasserna har vi ett speciellt fall av GDA kallas Linear Discriminant Analysis, eftersom det resulterar i en linjär beslutsgräns (se bild nedan från Andrews anteckningar).

Detta antagande kan verkligen vara falskt och GDA beskriver denna övning i det mest allmänna fallet när $ \ Sigma $ kan skilja sig åt mellan klasserna.

GDA är en form av linjär fördelningsanalys. Från en känd $ P (x | y) $, $$ P (y | x) = \ frac {P (x | y) P_ {prior} (y)} {\ Sigma_ {g \ i Y} P (x | g) P_ {prior} (g)} $$

härleds genom tillämpning av Bayes ”.

Det är i grund och botten, som @ttnphns noterade, används vanligtvis som en generisk etikett för alla diskriminerande analyser som antar en population som visar den Gaussiska fördelningen. För en mer fördjupad förklaring, läs Fishers 1936 papper i Annals of Eugenics (ja, det är verkligen vad det hette). Det ”är svårt och obetalbart läst, men det är källan till idén (en liten varning: till skillnad från vin blir papper inte bättre, och den här är väldigt förvirrande att läsa när man överväger att den var skriven i en matte lingo som inte använde idéer som ”generativa distributionsanalysmodeller”, så det finns en viss terminologisk förvirring här). Jag erkänner härmed skamligt att jag mestadels är självlärd, och min utbildning på GDA har främst varit från en underbar föreläsning (om det är din idé om kul) av Andrew Ng från Stanford som är väl värt att titta på (och talar om ämnet i samtida lingo).