Miksi käyttää tekijäkaaviota Bayesin päätelmiin?

Yritän vastata oma kysymykseni.

Viesti

Erittäin tärkeä käsitys tekijäkaaviosta on viesti , joka voidaan ymmärtää A: ksi kertoo jotain B: stä, jos viesti välitetään A: lta B: lle.

Todennäköisessä mallikontekstissa viesti tekijältä Muuttujan $ f $ muuttujaan $ x $ voidaan merkitä nimellä $ \ mu_ {f \ to x} $ , joka voidaan ymmärtää $ f $ tietää jotain (todennäköisyysjakauma tässä tapauksessa) ja käskee sen $ x $ .

Kerroin tiivistää viestit

" -kertoimessa " context, jonkin muuttujan todennäköisyysjakauman tuntemiseksi on oltava kaikki viestit valmiina sen n: stä kahdeksan tekijää ja tiivistää sitten kaikki viestit jakauman johtamiseksi.

Esimerkiksi seuraavassa kaaviossa reunat $ x_i $ ovat muuttujat ja solmut, $ f_i $ , ovat reunojen yhdistämiä tekijöitä.

Jos haluat tietää $ P (x_4) $ , meidän on tiedettävä $ \ mu_ {f_3 \ to x_4} $ ja $ \ mu_ {f_4 \ to x_4} $ ja tiivistävät ne yhdessä.

Viestien rekursiivinen rakenne

Kuinka sitten tietää nämä kaksi viestiä? Esimerkiksi $ \ mu_ {f_4 \ – x_4} $ . Se voidaan nähdä viestinä yhteenvedon jälkeen kahdesta viestistä, $ \ mu_ {x_5 \ to f_4} $ ja $ \ mu_ {x_6 \ – f_4} $ . Ja $ \ mu_ {x_6 \ – f_4} $ on olennaisesti $ \ mu_ {f_6 \ – x_6} $ , joka voidaan laskea joistakin muista viesteistä.

Tämä on viestien rekursiivinen rakenne, viestit voidaan määrittää viesteillä .

Rekursio on hyvä asia, yksi ymmärtämisen parantamiseksi, toinen tietokoneohjelman helpommaksi toteuttamiseksi.

Päätelmä

Tekijöiden hyödyt ovat:

1. tekijä, joka tiivistää sisäänvirtaussanomat ja antaa ulosvirtaussanoman, mahdollistaa viestit, jotka ovat välttämättömiä marginaalisen laskennan kannalta.
2. Tekijät mahdollistavat viestien laskennan rekursiivisen rakenteen, mikä helpottaa viestien välittämistä tai uskomusten etenemistä . ymmärtää ja mahdollisesti helpompi toteuttaa.

kommentit

• Ollakseni rehellinen, mielestäni tämä on enemmän yhteenveto siitä, miten tehdä päätelmä tekijäkaavioissa viestien välittämisen avulla kuin vastaaminen todelliseen kysymys.

Bayesin verkko on määritelmänsä mukaan joukko satunnaisia muuttujia $ \ {X_n : P \ rightarrow \ mathbb {R} \} $ ja kaavio $ G $ siten, että todennäköisyysfunktio $ P (X_1, …, X_n) $ kertoo ehdollisena todennäköisyytenä tavalla, jonka $ G $ määrää. Katso http://en.wikipedia.org/wiki/Factor_graph .

Tärkeintä Bayesin-verkon tekijät ovat muotoa $ P (X_i | X_ {j_1}, .., X_ {j_n}) $.

Tekijäkäyrä, vaikka se onkin yleisempi, on sama, koska se on graafinen tapa säilyttää tietoja $ P (X_1, …, X_n) $ tai minkä tahansa muun funktion kertoimesta.

Ero on siinä, että kun Bayesin verkko muunnetaan tekijägraafiksi, tekijäkaavion tekijät ryhmitellään. Esimerkiksi yksi tekijä tekijäkaaviossa voi olla $ P (X_i | X_ {j_1}, .., X_ {j_n}) P (X_ {j_n}) P (X_ {j_1}) = P (X_i | X_ { j_2}, .., X_ {j_ {n-1}}) $. Alkuperäinen Bayesin verkko tallensi tämän kolmeksi tekijäksi, mutta tekijäkaavio tallentaa sen vain yhtenä tekijänä. Yleensä Bayesin verkon tekijäkaavio pitää kirjaa vähemmän tekijöistä kuin alkuperäinen Bayesin verkko teki.

A tekijäkaavio on vain yksi edustus Bayesin mallista. Jos sinulla olisi tarkka algoritmi päättelyyn tietyssä Bayesin verkossa ja toinen tarkka algoritmi päättelyyn vastaavassa tekijäkaaviossa, nämä kaksi tulosta olisivat samat. Tekijäkuvaajat ovat vain hyödyllisiä esityksiä tehokkaiden (tarkkojen ja likimääräisten) päättelyalgoritmien johtamiseksi hyödyntämällä muuttujien ehdollista riippumattomuutta mallia, lieventäen siten ulottuvuuden kirousta .

Analogian antamiseksi: Fourier-muunnos sisältää täsmälleen samat tiedot kuin signaalin aikaesitys, mutta jotkut tehtävät ovat helpompia suoritetaan taajuusalueella, ja jotkut ovat helpommin saavutettavissa aika-alueella. Samassa merkityksessä tekijäkaavio on vain saman informaation (todennäköisyysmallin) uudelleen muotoilu, mikä on hyödyllistä älykkäiden algoritmien johtamiseen, mutta ei ”t oikeastaan " lisää " mikä tahansa.

Tarkemmin sanottuna oletetaan, että olet kiinnostunut johtamaan marginaali $ p (x_i) $ jonkin verran mallissa, joka edellyttää integrointia kaikkien muiden muuttujien yli:

$$ p (x_i) = \ int p (x_1, x_2, \ ldots, x_i, \ ldots, x_N) dx_1x_2 \ ldots x_ {i-1} x_ {i + 1} \ ldots x_N $$

Korkealla -dimensionaalinen malli, tämä on integrointi korkean ulottuvuuden avaruuteen, jota on hyvin vaikea laskea. (Tämä syrjäytymis- / integrointiongelma tekee suurista ulottuvuuksista johtopäätöksen vaikeaksi / vaikeasti käsiteltäväksi. Yksi lähestymistapa on löytää älykkäitä tapoja arvioida tätä integraalia tehokkaasti, mikä on Markov-ketju Monte Carlo (MCMC) -menetelmät tekevät. Niiden tiedetään kärsivän tunnetusti pitkästä laskentajaksosta.)

Laskematta liikaa yksityiskohtiin tekijäkaavio koodaa tosiasian, että monet näistä muuttujista ovat ehdollisesti riippumattomia toisistaan . Tämä mahdollistaa yllä olevan, korkean ulottuvuuden integroinnin korvaamisen -sarjaan integrointiongelmista, joilla on paljon pienempi ulottuvuus , nimittäin eri viestejä. Hyödyntämällä ongelman rakennetta tällä tavoin päätelmästä on mahdollista. Tämä on tärkein etu päätelmän muotoilemisesta tekijäkaavioiden suhteen.