ベイズ推定に因子グラフを使用するのはなぜですか？

回答を試みます私自身の質問です。

メッセージ

因子グラフの非常に重要な概念はメッセージは、メッセージがAからBに渡される場合、AがBについて何かを伝えると理解できます。

確率モデルのコンテキストでは、因子からのメッセージ$ f $ から変数 $ x $ は、 $ \ mu_ {f \ to x} $として表すことができます。 は、 $ f $ が何か（この場合は確率分布）を知っており、それをに伝えます。 $ x $ 。

ファクターはメッセージを要約します

"ファクター" context、ある変数の確率分布を知るには、そのnからすべてのメッセージを準備する必要があります隣接する要素をまとめてから、すべてのメッセージを要約して分布を導き出します。

たとえば、次のグラフでは、エッジ $ x_i $ は次のようになります。変数とノード $ f_i $ は、エッジで接続された因子です。

$ P（x_4）$ を知るには、 $ \ mu_ {f_3を知る必要があります。 \ to x_4} $ と $ \ mu_ {f_4 \ to x_4} $ そしてそれらをまとめます。

メッセージの再帰的構造

では、これら2つのメッセージを知る方法は？たとえば、 $ \ mu_ {f_4 \ to x_4} $ です。 $ \ mu_ {x_5 \ to f_4} $ と $ \ mu_の2つのメッセージを要約した後のメッセージと見なすことができます。 {x_6 \ to f_4} $ 。また、 $ \ mu_ {x_6 \ to f_4} $ は基本的に $ \ mu_ {f_6 \ to x_6} $ 、これは他のいくつかのメッセージから計算できます。

これはメッセージの再帰的構造であり、メッセージはメッセージによって定義できます。

再帰は1つは理解を深めるため、もう1つはコンピュータプログラムの実装を容易にするためです。

結論

要因の利点は次のとおりです。

1. 要因。流入メッセージを要約し、流出メッセージを出力し、限界の計算に不可欠なメッセージを有効にします
2. ファクターは、メッセージを計算する再帰的な構造を有効にし、メッセージの受け渡しまたは信念の伝播プロセスを容易にします。理解し、おそらく実装が簡単です。

コメント

• 正直なところ、これは方法の要約であると感じています実際の答えではなく、メッセージパッシングによってファクターグラフで推論を実行する質問。

ベイジアンネットワークは、定義上、確率変数のコレクション$ \ {X_n ：P \ rightarrow \ mathbb {R} \} $とグラフ$ G $で、確率関数$ P（X_1、…、X_n）$が$ G $によって決定される方法で条件付き確率として因数分解されます。 http://en.wikipedia.org/wiki/Factor_graph を参照してください。

最も重要なのは、ベイジアンネットワークの因子が$の形式であるということです。 P（X_i | X_ {j_1}、..、X_ {j_n}）$。

因子グラフは、より一般的ですが、情報をグラフィカルに保持する方法であるという点で同じです。 $ P（X_1、…、X_n）$またはその他の関数の因数分解について。

違いは、ベイジアンネットワークが因子グラフに変換されると、因子グラフの因子がグループ化されることです。たとえば、因子グラフの1つの因子は、$ P（X_i | X_ {j_1}、..、X_ {j_n}）P（X_ {j_n}）P（X_ {j_1}）= P（X_i | X_ { j_2}、..、X_ {j_ {n-1}}）$。元のベイジアンネットワークはこれを3つの因子として保存しましたが、因子グラフは1つの因子としてのみ保存します。一般に、ベイジアンネットワークの因子グラフは、元のベイジアンネットワークよりも少ない因数分解を追跡します。

A因子グラフは、ベイジアンモデルのさらに別の表現です。特定のベイジアンネットワークで推論するための正確なアルゴリズムと、対応する因子グラフで推論するための別の正確なアルゴリズムがある場合、2つの結果は同じになります。因子グラフは、変数間の条件付き独立性を利用して効率的な（正確で近似的な）推論アルゴリズムを導出するための便利な表現ですモデルにより、次元の呪いが軽減されます。

類推すると、フーリエ変換には信号の時間表現とまったく同じ情報が含まれますが、一部のタスクはより簡単です。周波数領域で達成され、時間領域でより簡単に達成できるものもあります。同じ意味で、因子グラフは同じ情報（確率モデル）の単なる再定式化であり、巧妙なアルゴリズムを導出するのに役立ちますが、実際には"追加"何でも。

より具体的には、マージナル $の導出に関心があると想定します。モデル内のある量のp（x_i）$ 。これには、他のすべての変数を積分する必要があります。

$$ p（x_i）= \ int p（x_1、x_2、\ ldots、x_i、\ ldots、x_N）dx_1x_2 \ ldots x_ {i-1} x_ {i + 1} \ ldots x_N $$

高-次元モデル、これは、計算が非常に難しい 高次元空間での統合です。（この周辺化/積分の問題は、高次元での推論を困難/扱いにくいものにします。1つのアプローチは、この積分を効率的に評価する賢い方法を見つけることです。これは、マルコフチェーンモンテです。カルロ（MCMC）法はそうします。これらは、計算時間が非常に長いことで有名です。）

詳細をあまり詳しく説明しなくても、因子グラフは、これらの変数の多くが条件付きで互いに独立しているという事実をエンコードします。 。これにより、上記の高次元の積分を、はるかに低次元の一連の積分問題、つまり、さまざまなメッセージ。このように問題の構造を活用することで、推論が可能になります。これは、因子グラフの観点から推論を定式化することの主な利点です。