Hvad er en Gaussian Discriminant Analysis (GDA)?

GDA, er en metode til dataklassifikation, der ofte bruges når data kan tilnærmes med en normalfordeling. Som første trin har du brug for et træningssæt, dvs. en masse data, der endnu ikke er klassificeret. Disse data bruges til at træne din klassifikator og opnå en diskriminerende funktion, der fortæller dig, til hvilken klasse data har større sandsynlighed for at tilhøre.

Når du har dit træningssæt, skal du beregne gennemsnittet $ \ mu $ og standardafvigelsen $ \ sigma ^ 2 $ . Disse to variabler giver dig, som du ved, mulighed for at beskrive en normalfordeling.

Når du har beregnet normalfordelingen for hver klasse, skal du klassificere data, du skal beregne sandsynligheden for hver enkelt. at disse data hører til det. Klassen med størst sandsynlighed vælges som affinitetsklasse.

Flere oplysninger om diskriminerende funktioner til normal tæthed kan findes i lærebog som Mønsterklassificering DUDA, HART, SOTRK eller Mønstergenkendelse og maskinlæring BISHOP .

En tutorial til GDA kan også findes her Part1 og Part2

Kommentarer

• Den første bog er af " Stork ", ikke " Sotrk ".
• tutorials-linkene er brudt, kan du tjekke en gang igen
• Links er nu rettet.

Jeg tror Andrew Ng ” s noter om GDA ( https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf ) er den bedste forklaring, jeg har set på konceptet, men jeg vil " prøv at forklare dette for nogen på gymnasieniveau " som ønsket (og relater det tilbage til Andrews noter til dem af du der holder af matematikken).

Forestil dig at du har to klasser. Beskriv en klasse som $ y = 0 $ og en klasse som $ y = 1 $ . Kunne f.eks. Være $ æbler $ versus $ appelsiner $ .

Du har et datapunkt $ x $ , der beskriver en observation af en af disse ting. En observation kunne være, dvs. $ [pris, diameter, vægt, farve] $ . Det kan være en samling af alle attributter, der kan måles, og du kan måle så mange ting for at beskrive en $ x $ som du vil. Hvis vi måler 4 forskellige ting for at beskrive en $ x $ , så siger vi $ x $ er 4-dimensionel . Generelt kalder vi dette $ d $ .

Her er modellen af GDA fra Andrews bemærkninger:

På almindelig engelsk siger dette:

$ p (y) $ kan beskrives som en uretfærdig mønt-flip. Det kan for eksempel være, at $ p (y = 0) = 0,4 $ og $ p (y = 1) = 0,6 $ . Det vil sige 40% chance for, at tingene er æbler og 60% chance for, at ting er appelsiner, periode, derude i verden.

Givet $ y = 0 $ (dvs. hvis vi kan antag at sagen er et æble), alle målinger i x fordeles normalt med nogle sæt parametre $ \ mu_0 $ og $ \ Sigma $ . $ \ mu_0 $ er ikke en værdi – det er en $ d $ -dimensionel vektor. For at definere en normalfordeling har vi brug for en $ \ mu $ for hver dimension af x (gennemsnitspris, middelvægt osv.) Og også en $ d $ x $ d $ kovariansmatrix $ \ Sigma $ der beskriver hvordan dimensionerne relaterer til hinanden. Hvorfor? Fordi visse ting kan være korreleret (dvs. stor frugt vejer sandsynligvis mere).

Vi antager, at hvis $ y = 1 $ (sagen er orange), opfører dens målinger sig også normalt. Bortset fra, at deres midler er forskellige, og vi beskriver dem med $ \ mu_1 $ . Vi bruger dog den samme $ \ Sigma $ . ¹

Ok … efter al denne opsætning, gør et tankeeksperiment:

Vend en uretfærdig mønt, der bestemmer, om noget er æble eller orange. Derefter, baseret på dette resultat, skal du gå til Normalfordeling 0 eller Normalfordeling 1 og prøve et datapunkt. Hvis du gentager dette mange gange, får du masser af datapunkter i $ d $ -dimensionelt rum. Fordelingen af disse data, forudsat at vi har nok af det, vil være " typisk " for den specifikke model, som vi genererer fra.

(derfor hvorfor hans note kaldes " Generative læringsalgoritmer ")

Men hvad hvis vi gør dette baglæns? Jeg giver dig en masse data i stedet, og jeg fortæller dig, at den blev genereret på en sådan måde. Du kunne derefter omvendt komme tilbage og fortælle mig sandsynligheden på mønten og $ \ mu $ s og $ \ Sigma $ s af de to normale distributioner, der passer bedst til disse data. Denne bagudøvelse er GDA .

¹ Bemærk, at Andrews model bruger den samme kovariansmatrix $ \ Sigma $ for begge klasser. Det betyder, at uanset hvad min normale fordeling ser ud for en klasse – uanset hvor høj / fed / skrå det er – Jeg antager, at den anden klasse “kovariansmatrix ser også nøjagtigt sådan ud.

Når $ \ Sigma $ er den samme mellem klasser, har vi et specielt tilfælde af GDA kaldet Linear Discriminant Analysis, fordi det resulterer i en lineær beslutningsgrænse (se billedet nedenfor fra Andrews noter).

Denne antagelse kan bestemt være falsk, og GDA beskriver denne øvelse i det mest generelle tilfælde, når $ \ Sigma $ s kan være forskellige mellem klasser.

GDA er en form for lineær fordelingsanalyse. Fra en kendt $ P (x | y) $, $$ P (y | x) = \ frac {P (x | y) P_ {prior} (y)} {\ Sigma_ {g \ i Y} P (x | g) P_ {prior} (g)} $$

er afledt ved anvendelse af Bayes “s.

Det er grundlæggende, som @ttnphns bemærkede, normalt brugt som en generisk etiket til enhver diskriminerende analyse, der antager en population, der viser den gaussiske fordeling. For en mere uddybende forklaring, læs Fisher “s 1936-papir i Annals of Eugenics (ja, det hedder virkelig det). Det “læses hårdt og uretmæssigt, men det er kilden til ideen (en lille advarsel: i modsætning til vin bliver papirer ikke bedre, og denne er meget forvirrende at læse, når man overvejer at den blev skrevet i en matematik-lingo, der ikke brugte ideer som “generative distributionsanalysemodeller”, så der er en vis grad af terminologisk forvirring her. været fra en vidunderlig forelæsning (hvis det er din idé om sjov) af Andrew Ng fra Stanford , der er værd at se (og taler om emnet i nutid lingo).