Jag vill lära mig hur Gibbs Sampling fungerar och jag letar efter ett bra grundläggande till mellanliggande papper. Jag har en datavetenskaplig bakgrund och grundläggande statistikkunskap.
Någon har läst bra material runt omkring? var lärde du dig det?
Tack
Kommentarer
- googling " Gibbs-sampling " isn ' ett dåligt sätt att få en rad synpunkter på ämnet. Jag tycker att det är ett bra sätt att börja eftersom du tenderar att närma dig det med ett " skeptiskt sinne " – du kan ' ta inte googles-ordet för givet, så du måste hitta en rad vyer. Naturligtvis kan du behöva en ansedd källa i ett senare skede när du försöker implementera. Men att börja med " ansedd källa " är inte alltid den bästa idén, eftersom de kan vara ganska kopplade till ett visst sätt att göra något – dvs de vet att " rätt sätt " och " alla andra har fel eller är ineffektiva ".
- (+1) Frågor som lätt kan besvaras av Googling är vanligtvis inte välkomna, men den här IMO försöker utnyttja den kollektiva visheten i en gemenskap på ett sätt som Googles ranking inte kan göra. Det vore intressant att se vilka källor människor verkligen tyckte användbara för att lära sig detta material.
- Det är problemet. Google returnerar alldeles för många resultat och inte alla artiklar eller självstudier är tillräckligt tydliga.
Svar
I ” d börja med:
Casella, George; George, Edward I. (1992). ” Förklara Gibbs sampler ”. Den amerikanska statistikern 46 (3): 167–174. ( GRATIS PDF )
Abstrakt : Datorintensiva algoritmer, såsom Gibbs-samplaren, har blivit alltmer populära statistiska verktyg, både i tillämpat och teoretiskt arbete. Egenskaperna hos sådana algoritmer är dock ibland inte uppenbara. Här ger vi en enkel förklaring av hur och varför Gibbs sampler fungerar. Vi analyserar dess egenskaper i ett enkelt fall och ger insikt för mer komplicerade fall. Det finns också ett antal exempel.
Den amerikanska statistikern är ofta en bra källa för korta (ish) inledande artiklar som inte antar någon förkunskap om ämnet, även om de antar att du har bakgrunden i sannolikhet och statistik som rimligen kan förväntas av en medlem i American Statistical Association .
Svar
En onlineartikel som verkligen hjälpte mig att förstå Gibbs-sampling är Parameteruppskattning för textanalys av Gregor Heinrich. Det är inte en allmän Gibbs-samplingshandledning, men den diskuterar den i termer av latent dirichletallokering, en ganska populär Bayesian-modell för dokumentmodellering. Den går in i matematiken i rätt detalj.
En som går in i jämn mer uttömmande matematisk detalj är Gibbs Sampling för de oinitierade . Och jag menar uttömmande genom att den förutsätter att du känner till någon multivariat beräkning och sedan lägger ut varje steg från den punkten. Så medan det finns mycket matte är inget av det avancerat.
Jag antar att dessa kommer att vara mer användbara för dig än något som får mer avancerade resultat, som de som bevisar varför Gibbs-samplingen konvergerar till korrekt fördelning. De referenser som jag påpekar bevisar inte detta.
Svar
Boken Monte Carlo Strategies in Scientific Computing är en utmärkt resurs. Den behandlar saker på ett matematiskt noggrant sätt, men du kan enkelt hoppa över matematiska avsnitt som inte intresserar dig och ändå får massor av praktiska råd ur det . I synnerhet gör det ett bra jobb med att knyta ihop Metropolis-Hastings och Gibbs-provtagning, vilket är avgörande. I de flesta applikationer måste du rita från en bakre fördelning med hjälp av Gibbs-sampling, och det är bra att veta hur det passar in i Metropolis logik i allmänhet.