Perché utilizzare il grafico dei fattori per linferenza bayesiana?

Cercherò di rispondere la mia domanda.

Messaggio

Una nozione molto importante del grafico fattoriale è messaggio , che può essere inteso come A dice qualcosa su B, se il messaggio viene passato da A a B.

Nel contesto del modello probabilistico, messaggio da factor $ f $ alla variabile $ x $ può essere indicata come $ \ mu_ {f \ to x} $ , che può essere inteso come $ f $ sa qualcosa (distribuzione di probabilità in questo caso) e gli dice di $ x $ .

Il fattore riepiloga i messaggi

Nel ” fattore ” contesto, per conoscere la distribuzione di probabilità di una variabile, bisogna avere tutti i messaggi pronti dal suo n fattori vicini e quindi riassumere tutti i messaggi per derivare la distribuzione.

Ad esempio, nel grafico seguente, i bordi, $ x_i $ , sono variabili e nodi, $ f_i $ , sono fattori collegati da archi.

Per conoscere $ P (x_4) $ , dobbiamo conoscere $ \ mu_ {f_3 \ to x_4} $ e $ \ mu_ {f_4 \ to x_4} $ e riassumerli insieme.

Struttura ricorsiva dei messaggi

Allora come conoscere questi due messaggi? Ad esempio, $ \ mu_ {f_4 \ to x_4} $ . Può essere visto come il messaggio dopo aver riassunto due messaggi, $ \ mu_ {x_5 \ to f_4} $ e $ \ mu_ {x_6 \ to f_4} $ . E $ \ mu_ {x_6 \ to f_4} $ è essenzialmente $ \ mu_ {f_6 \ to x_6} $ , che può essere calcolato da altri messaggi.

Questa è la struttura ricorsiva dei messaggi, i messaggi possono essere definiti dai messaggi .

La ricorsione è un buona cosa, una per una migliore comprensione, una per una più facile implementazione del programma per computer.

Conclusione

I vantaggi dei fattori sono:

1. Fattore, che riepiloga i messaggi di afflusso ed emette il messaggio di uscita, abilita i messaggi che è essenziale per il calcolo marginale
2. I fattori abilitano la struttura ricorsiva del calcolo dei messaggi, rendendo più facile il processo di trasmissione del messaggio o di propagazione delle credenze capire e possibilmente più facile da implementare.

Commenti

• Ad essere onesti, credo che questo sia più un riassunto di come eseguire inferenze in grafici fattoriali mediante passaggio di messaggi, piuttosto che una risposta al reale domanda.

Una rete bayesiana, per definizione, è una raccolta di variabili casuali $ \ {X_n : P \ rightarrow \ mathbb {R} \} $ e un grafico $ G $ tale che la funzione di probabilità $ P (X_1, …, X_n) $ sia fattorizzata come probabilità condizionate in un modo determinato da $ G $. Vedere http://en.wikipedia.org/wiki/Factor_graph .

Soprattutto i fattori nella rete bayesiana sono del formato $ P (X_i | X_ {j_1}, .., X_ {j_n}) $.

Un grafico fattoriale, anche se è più generale, è lo stesso in quanto è un modo grafico per conservare le informazioni sulla fattorizzazione di $ P (X_1, …, X_n) $ o qualsiasi altra funzione.

La differenza è che quando una rete bayesiana viene convertita in un grafico fattoriale, i fattori nel grafico fattoriale vengono raggruppati. Ad esempio, un fattore nel grafico dei fattori può essere $ P (X_i | X_ {j_1}, .., X_ {j_n}) P (X_ {j_n}) P (X_ {j_1}) = P (X_i | X_ { j_2}, .., X_ {j_ {n-1}}) $. La rete bayesiana originale lo memorizzava come tre fattori, ma il grafico dei fattori lo memorizza solo come un fattore. In generale, il grafico dei fattori di una rete bayesiana tiene traccia di meno fattorizzazioni rispetto alla rete bayesiana originale.

A Il grafico dei fattori è solo unaltra rappresentazione di un modello bayesiano. Se avessi un algoritmo esatto per linferenza in una particolare rete bayesiana e un altro algoritmo esatto per linferenza nel grafico del fattore corrispondente, i due risultati sarebbero gli stessi. I grafici dei fattori sono semplicemente una rappresentazione utile per derivare algoritmi di inferenza efficienti (esatti e approssimativi) sfruttando lindipendenza condizionale tra variabili in il modello, mitigando così la maledizione della dimensionalità .

Per fare unanalogia: la trasformata di Fourier contiene esattamente le stesse informazioni della rappresentazione temporale di un segnale, tuttavia alcuni compiti sono più facili realizzati nel dominio della frequenza, e alcuni sono più facili nel dominio del tempo. Nello stesso senso, un grafico fattoriale è solo una riformulazione della stessa informazione (il modello probabilistico), che è utile per derivare algoritmi intelligenti ma “non ” aggiunge ” qualsiasi cosa.

Per essere più precisi, supponi di essere interessato a derivare il marginale $ p (x_i) $ di una certa quantità in un modello, che richiede lintegrazione su tutte le altre variabili:

$$ p (x_i) = \ int p (x_1, x_2, \ ldots, x_i, \ ldots, x_N) dx_1x_2 \ ldots x_ {i-1} x_ {i + 1} \ ldots x_N $$

In alto -modello dimensionale, questa è unintegrazione su uno spazio ad alta dimensione, che è molto difficile da calcolare. (Questo problema di marginalizzazione / integrazione è ciò che rende linferenza in alte dimensioni difficile / intrattabile. Un approccio è trovare modi intelligenti per valutare questo integrale in modo efficiente, che è ciò che la catena di Markov Monte I metodi Carlo (MCMC) fanno. Questi sono noti per soffrire di tempi di calcolo notoriamente lunghi.)

Senza entrare troppo nei dettagli, un grafico fattoriale codifica il fatto che molte di queste variabili sono condizionatamente indipendenti luna dallaltra . Ciò consente di sostituire la precedente integrazione ad alta dimensione con una serie di problemi di integrazione di dimensioni molto inferiori , ovvero i calcoli di i diversi messaggi. Sfruttando la struttura del problema in questo modo, linferenza diventa fattibile. Questo è il vantaggio principale della formulazione dellinferenza in termini di grafici fattoriali.