ガウス判別分析（GDA）とは何ですか？

GDAは、次の場合に一般的に使用されるデータ分類の方法です。データは正規分布で近似できます。最初のステップとして、トレーニングセット、つまりまだ分類されている一連のデータが必要になります。これらのデータは、分類器をトレーニングし、データが属する可能性が高いクラスを示す識別関数を取得するために使用されます。

トレーニングセットがある場合は、平均 $ \ mu $ と標準偏差 $ \ sigma ^ 2 $ 。ご存知のように、これら2つの変数を使用すると、正規分布を記述できます。

各クラスの正規分布を計算したら、データを分類するために、それぞれの確率を計算する必要があります。そのデータがそれに属していること。確率が最も高いクラスがアフィニティクラスとして選択されます。

正規密度の判別関数の詳細については、教科書のパターン分類DUDA、HART、SOTRK を参照してください。またはパターン認識と機械学習BISHOP 。

GDAのチュートリアルは、 Part1 および Part2

AndrewNgだと思います ” s GDAに関するメモ（ https://web.archive.org/web/20200103035702/http://cs229.stanford.edu/notes/cs229-notes2.pdf ）は、私がこの概念について見た中で最も良い説明ですが、"要求に応じて、高校レベルの誰かにこれを説明してみてください"（そして、Andrewのメモに関連付けてください。数学を気にするあなた）。

2つのクラスがあると想像してください。 1つのクラスを $ y = 0 $ として記述し、1つのクラスを $ y = 1 $ として記述します。たとえば、 $ apples $ と $ oranges $ のようになります。

これらのうちの1つの観測を説明するデータポイント $ x $ 。観測値は、つまり、 $ [価格、直径、重量、色] $ である可能性があります。これは、測定可能な任意の属性のコレクションにすることができ、 $ x $ を説明するために必要な数の項目を測定できます。 $ x $ を説明するために4つの異なるものを測定する場合、 $ x $ は4次元であると言います。 。一般に、これを $ d $ と呼びます。

AndrewのメモからのGDAのモデルは次のとおりです。

平易な英語では、次のようになります。

$ p（y）$ は、不公平なコイントスとして説明できます。たとえば、 $ p（y = 0）= 0.4 $ および $ p（y = 1）= 0.6 $ 。つまり、40％の確率でリンゴと60％の確率で、世界中にオレンジがあります。

$ y = 0 $ が与えられた場合（つまり、可能であれば）物がリンゴであると仮定します）、xのすべての測定値は、通常、いくつかのパラメーターのセット $ \ mu_0 $ およびで分散されます。 $ \ Sigma $ 。 $ \ mu_0 $ は1つの値ではありません。 $ d $ 次元のベクトルです。正規分布を定義するには、xの各次元（平均価格、平均重量など）に対して $ \ mu $ と、 $ d $ x $ d $ 共分散行列 $ \ Sigma $ 寸法が互いにどのように関連しているか。どうして？特定のものが相関している可能性があるためです（つまり、大きな果物はおそらくもっと重くなります）。

$ y = 1 $ （オレンジ色）の場合、その測定値も正常に動作すると想定しています。それらの平均が異なることを除いて、 $ \ mu_1 $ で説明します。ただし、同じ $ \ Sigma $ を使用します。 ¹

わかりました…セットアップがすべて終わったら、思考実験を行います。

何かがリンゴかオレンジかを判断する不公平なコインを裏返します。次に、その結果に基づいて、正規分布0または正規分布1に移動し、データポイントをサンプリングします。これを何度も繰り返すと、 $ d $ 次元空間に大量のデータポイントが取得されます。十分なデータがあれば、このデータの分布は次のようになります。生成元の特定のモデルの"典型的な"である。

（したがって、彼のメモが呼ばれる理由"ジェネレーティブラーニングアルゴリズム"）

しかし、これを逆方向に実行するとどうなりますか？大量のデータを提供します代わりに、そのような方法で生成されたと言います。逆に、戻ってコインの確率と $$ mu $ と $ \ Sigma $ 。この後方演習はGDA です。

¹ Andrewのモデルは同じ共分散行列 $ \ Sigma $ 。これは、一方のクラスの正規分布がどのように見えるかを意味します-どんなに背が高く/太く/鈍い場合でも-私は他のクラスを想定していますclass “共分散行列もまったく同じように見えます。

$ \ Sigma $ がクラス間で同じである場合、GDAの特殊なケースがあります。線形判別分析と呼ばれるのは、線形決定境界が生じるためです（Andrewのメモから下の写真を参照）。

この仮定は確かに間違っている可能性があり、GDAは、 $の場合、最も一般的なケースでこの演習を説明します。 \ Sigma $ は、クラス間で異なる場合があります。

GDAは、線形分布分析の形式です。既知の$ P（x | y）$から、$$ P（y | x）= \ frac {P（x | y）P_ {prior}（y）} {\ Sigma_ {g \ in Y} P（x | g）P_ {prior}（g）} $$

ベイズを適用して導出されます。

基本的に、@ ttnphnsが指摘したように、通常はジェネリックとして使用されます。ガウス分布を示す母集団を想定する判別分析のラベル。より詳細な説明については、Annals of Eugenics の Fisherの1936年の論文をお読みください（そうです、それは実際にはそれが呼ばれていたものです）。 「読みづらくてやりがいのない読み物ですが、 アイデアの源です（少し警告：ワインとは異なり、紙は良くなりません。これを考えると、読むのが非常に混乱します。 「生成的分布分析モデル」のようなアイデアを使用しない数学用語で書かれたので、ここではある程度の用語の混乱があります。私はここに恥ずかしそうに私がほとんど独学であり、GDAに関する私の教育は主にスタンフォード大学のAndrewNgによる素晴らしい講演（それがあなたの楽しみのアイデアである場合）からのものであり、見る価値があります（そして現代の主題について話します） lingo）。