가우스 판별 분석 (GDA)이란 무엇입니까?

GDA는 다음과 같은 경우에 일반적으로 사용되는 데이터 분류 방법입니다. 데이터는 정규 분포로 근사 할 수 있습니다. 첫 번째 단계로 훈련 세트, 즉 분류되었지만 분류 된 데이터가 필요합니다. 이러한 데이터는 분류기를 훈련하고 데이터가 속할 확률이 더 높은 클래스를 알려주는 판별 함수를 얻는 데 사용됩니다.

훈련 세트가있는 경우 평균을 계산해야합니다. $ \ mu $ 및 표준 편차 $ \ sigma ^ 2 $ . 아시다시피이 두 변수를 사용하면 정규 분포를 설명 할 수 있습니다.

각 클래스에 대한 정규 분포를 계산 한 후에는 각 클래스에 대해 계산해야 할 데이터를 분류하기 위해 확률을 그 데이터가 그것에 속하는 것입니다. 확률이 가장 높은 클래스가 선호도 클래스로 선택됩니다.

정규 밀도에 대한 판별 함수에 대한 자세한 내용은 패턴 분류 DUDA, HART, SOTRK 와 같은 교과서에서 찾을 수 있습니다. 또는 패턴 인식 및 기계 학습 BISHOP .

GDA에 대한 자습서는 Part1 및 Part2

Andrew Ng ” GDA ( https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf )에 대한 메모는 내가 본 개념에 대해 가장 잘 설명했지만 " 요청에 따라 고등학교 수준의 누군가를 위해 "이를 설명하고 수학을 좋아하는 당신).

두 개의 수업이 있다고 상상해보십시오. 한 클래스를 $ y = 0 $ 로 설명하고 한 클래스를 $ y = 1 $ 로 설명합니다. 예를 들어 $ apples $ 대 $ oranges $ 일 수 있습니다.

이러한 것 중 하나에 대한 관찰을 설명하는 데이터 포인트 $ x $ . 예를 들어, $ [가격, 지름, 무게, 색상] $ 을 관찰 할 수 있습니다. 측정 할 수있는 모든 속성의 모음 일 수 있으며 원하는만큼 $ x $ 를 설명하기 위해 측정 할 수 있습니다. $ x $ 를 설명하기 위해 4 가지 항목을 측정하면 $ x $ 는 4 차원이라고합니다. . 일반적으로이를 $ d $ 라고합니다.

다음은 Andrew의 메모에 나온 GDA 모델입니다.

일반 영어로 다음과 같이 말합니다.

$ p (y) $ 는 불공정 한 동전 던지기로 설명 할 수 있습니다. 예를 들어 $ p (y = 0) = 0.4 $ 및 $ p (y = 1) = 0.6 $ . 즉, 40 %의 가능성이 있습니다. 사과와 오렌지 일 확률이 60 %입니다.

$ y = 0 $ (즉, 가능하다면 사과라고 가정) x의 모든 측정 값은 일부 매개 변수 세트 $ \ mu_0 $ 및 와 함께 정규 분포됩니다. $ \ Sigma $ . $ \ mu_0 $ 는 하나의 값이 아니라 $ d $ 차원 벡터입니다. 정규 분포를 정의하려면 x의 각 차원 (평균 가격, 평균 무게 등)에 대한 $ \ mu $ 와 $ d $ x $ d $ 공분산 행렬 $ \ Sigma $ 차원이 서로 어떻게 관련되는지. 왜? 어떤 것들은 상관 관계가있을 수 있기 때문입니다 (즉, 큰 과일의 무게가 더 많을 것입니다).

$ y = 1 $ (물건이 주황색) 인 경우 측정 값도 정상적으로 작동한다고 가정합니다. 수단이 다르며 $ \ mu_1 $ 로 설명합니다. 하지만 동일한 $ \ Sigma $ 를 사용합니다. ¹

좋아요 … 모든 설정을 마친 후 사고 실험을 수행합니다.

사과인지 오렌지인지를 결정하는 불공정 한 동전을 뒤집습니다. 그런 다음 그 결과에 따라 정규 분포 0 또는 정규 분포 1로 이동하고 데이터 포인트를 샘플링합니다. 이 작업을 여러 번 반복하면 “ $ d $ 차원 공간에 수많은 데이터 포인트를 얻게됩니다.이 데이터가 충분하다면이 데이터의 분포는 우리가 생성하는 특정 모델의 " 일반 "이어야합니다.

(따라서 그의 메모가 호출되는 이유 " 생성 학습 알고리즘 ")

하지만이 작업을 거꾸로하면 어떨까요? 많은 데이터를 제공합니다. 대신에 그런 방식으로 생성되었다고 말씀 드리지만, 반대로 돌아와서 동전의 확률과 $ \ mu $ 및 $ \ Sigma $ . 이 역방향 실습은 GDA 입니다.

¹ Andrew의 모델은 동일한 공분산 행렬을 사용합니다. $ \ Sigma $ . 즉, 한 클래스에 대해 내 정규 분포가 어떻게 보이는지-키가 크고 / 뚱뚱하고 / 가늘게- 다른 클래스는 가정합니다. class “공분산 행렬도 똑같습니다.

$ \ Sigma $ 가 클래스간에 같으면 GDA의 특별한 경우가 있습니다. 선형 판별 분석이라고하는 이유는 선형 결정 경계를 생성하기 때문입니다 (Andrew의 메모에서 아래 그림 참조).

이 가정은 확실히 거짓 일 수 있으며 GDA는 $ \ Sigma $ s는 클래스마다 다를 수 있습니다.

GDA는 선형 분포 분석의 한 형태입니다. 알려진 $ P (x | y) $에서 $$ P (y | x) = \ frac {P (x | y) P_ {prior} (y)} {\ Sigma_ {g \ in Y} P (x | g) P_ {prior} (g)} $$

는 Bayes “를 적용하여 파생됩니다.

기본적으로 @ttnphns가 언급했듯이 일반적으로 제네릭으로 사용됩니다. 가우스 분포를 나타내는 모집단을 가정하는 판별 분석에 대한 레이블입니다. 더 자세한 설명을 보려면 Annals of Eugenics에 실린 피셔의 1936 년 논문 을 읽어보십시오 (예, 그게 진짜 이름입니다). 어렵고 보람없는 읽기이지만 아이디어의 원천은 입니다 (약간의 경고 : 와인과는 달리 논문은 더 나아지지 않습니다.이 글은 그것을 고려할 때 읽기가 매우 혼란 스럽습니다. “생성 분포 분석 모델”과 같은 개념을 사용하지 않는 수학 용어로 작성 되었기 때문에 여기에 용어 혼란이 있습니다.) 저는 이로써 제가 대부분 독학이며 GDA에 대한 제 교육은 주로 스탠포드의 Andrew Ng의 멋진 강의 (재미에 대한 생각이라면) 에서 나왔습니다.이 강연은 시청할 가치가 있습니다 (그리고 현재 주제에 대해 이야기합니다. lingo).