Chci se naučit, jak funguje Gibbs Sampling, a hledám dobrý základní až středně pokročilý papír. Mám znalosti z informatiky a základní statistické znalosti.
Každý, kdo četl dobrý materiál? kde jste se to naučili?
Díky
Komentáře
- googling " Gibbsovo vzorkování " není ' špatný způsob získání řady pohledů na toto téma. Myslím, že je to dobrý způsob, jak začít, protože k tomu máte sklon přistupovat s " skeptickou myslí " – můžete ' slovo googles nepovažuji za samozřejmost, takže je třeba najít řadu pohledů. Samozřejmě budete možná potřebovat renomovaný zdroj v pozdější fázi, když se pokusíte implementovat. Ale začínat " renomovaným zdrojem " není vždy nejlepší nápad, protože mohou být docela spojeny s konkrétním způsobem, jak něco dělat – tj. znají " správnou cestu " a " všechny ostatní jsou špatné nebo neúčinné ".
- (+1) Otázky, na které společnost Google snadno odpoví, obvykle nejsou vítány, ale tato IMO se snaží využít kolektivní moudrosti komunity způsobem, který žebříček Google nedokáže. Bylo by zajímavé sledovat, jaké zdroje lidé skutečně považovali za užitečné pro učení tohoto materiálu.
- To je ten problém. Google vrací příliš mnoho výsledků a ne všechny články nebo výukové programy jsou dostatečně jasné.
Odpovědět
I “ d začít s:
Casella, George; George, Edward I. (1992). „ Vysvětlení Gibbsova vzorníku „. Americký statistik 46 (3): 167–174. ( PDF ZDARMA )
Abstrakt : Počítačově náročné algoritmy, jako je Gibbsův vzorkovač, se staly stále populárnějšími statistickými nástroji, a to jak v aplikované, tak v teoretické práci. Vlastnosti těchto algoritmů však někdy nemusí být zřejmé. Zde uvádíme jednoduché vysvětlení jak a proč funguje vzorkovač Gibbs. Analyticky stanovíme jeho vlastnosti v jednoduchém případě a poskytneme přehled pro složitější případy. Existuje také řada příkladů.
Americký statistik je často dobrým zdrojem pro krátké (ish) úvodní články, které nepředpokládají žádnou předchozí znalost daného tématu, předpokládají však, že máte pozadí pravděpodobnosti a statistik, které lze rozumně očekávat člena Americká statistická asociace .
Odpověď
Jeden online článek, který mi opravdu pomohl porozumět Gibbsovu vzorkování, je odhad parametrů pro textovou analýzu od Gregora Heinricha. Není to obecný výukový program pro vzorkování Gibbs, ale pojednává o něm z hlediska přidělování latentních dirichletů, což je docela populární bayesovský model pro modelování dokumentů. Do matematiky jde ve spravedlivých detailech.
Jeden, který jde do sudého taxativnějším matematickým detailem je Gibbs Sampling pro nezasvěcené . A myslím tím vyčerpávající v tom, že předpokládá, že znáte nějaký vícerozměrný počet a od tohoto bodu pak vyloží každý krok. Takže i když je spousta matematiky, nic z toho není pokročilé.
Předpokládám, že to pro vás bude užitečnější, než něco, co bude mít pokročilejší výsledky, například ty, které dokazují, proč Gibbsovo vzorkování konverguje k správné rozdělení. Reference, na které poukazuji, to nedokazují.
Odpovědět
Kniha Strategie Monte Carlo ve vědeckých výpočtech je vynikajícím zdrojem. Řeší věci matematicky důsledně, ale můžete snadno přeskočit matematické části, které vás nezajímají, a přesto z toho budete mít spoustu praktických rad. . Zejména dělá pěknou práci, když spojuje vzorkování Metropolis-Hastings a Gibbs, což je zásadní. Ve většině aplikací budete muset čerpat ze zadní distribuce pomocí Gibbsova vzorkování, a proto je užitečné vědět, jak to zapadá do logiky Metropolis obecně.