Ich möchte lernen, wie Gibbs-Sampling funktioniert, und suche nach einem guten Basis- bis Zwischenpapier. Ich habe einen Informatik-Hintergrund und statistische Grundkenntnisse.
Hat jemand gutes Material gelesen? Wo hast du es gelernt?
Danke
Kommentare
- googeln " Gibbs Sampling " ist kein ' ein schlechter Weg, um eine Reihe von Ansichten zu diesem Thema zu erhalten. Ich denke, es ist ein guter Anfang, weil Sie dazu neigen, sich ihm mit einem " skeptischen Verstand " zu nähern – Sie können ' Googles-Wort ist nicht selbstverständlich, daher müssen Sie eine Reihe von Ansichten finden. Natürlich benötigen Sie möglicherweise zu einem späteren Zeitpunkt eine seriöse Quelle, wenn Sie versuchen, diese zu implementieren. Es ist jedoch nicht immer die beste Idee, mit der " seriösen Quelle " zu beginnen, da sie möglicherweise mit einer bestimmten Vorgehensweise verbunden sind – dh sie wissen, dass " richtig " und " alle anderen falsch oder unwirksam sind ".
- (+1) Fragen, die von Googeln leicht beantwortet werden können, sind normalerweise nicht erwünscht, aber diese IMO versucht, die kollektive Weisheit einer Gemeinschaft zu nutzen auf eine Weise, die das Google-Ranking nicht kann. Es wäre interessant zu sehen, welche Quellen Menschen wirklich für das Erlernen dieses Materials nützlich fanden.
- Das ist das Problem. Google gibt viel zu viele Ergebnisse zurück und nicht alle Artikel oder Tutorials sind klar genug.
Antwort
I “ d Beginnen Sie mit:
Casella, George; George, Edward I. (1992). „ Erklären des Gibbs-Samplers „. Der amerikanische Statistiker 46 (3): 167–174. ( KOSTENLOSES PDF )
Zusammenfassung : Computerintensive Algorithmen wie der Gibbs-Sampler sind sowohl in der angewandten als auch in der theoretischen Arbeit zu immer beliebteren statistischen Werkzeugen geworden. Die Eigenschaften solcher Algorithmen sind jedoch manchmal nicht offensichtlich. Hier geben wir eine einfache Erklärung Wie und warum der Gibbs-Sampler funktioniert. Wir ermitteln seine Eigenschaften analytisch in einem einfachen Fall und geben Einblicke in kompliziertere Fälle. Es gibt auch eine Reihe von Beispielen.
Der amerikanische Statistiker ist oft eine gute Quelle für kurze (ish) einführende Artikel, die keine Vorkenntnisse des Themas voraussetzen, obwohl davon ausgegangen wird, dass Sie über einen Hintergrund in Bezug auf Wahrscheinlichkeit und Statistik verfügen, der vernünftigerweise zu erwarten ist eines Mitglieds der American Statistical Association .
Antwort
Ein Online-Artikel, der mir wirklich geholfen hat, Gibbs Sampling zu verstehen, ist Parameterschätzung für die Textanalyse von Gregor Heinrich. Es ist kein allgemeines Gibbs-Sampling-Tutorial, aber es diskutiert es in Bezug auf die latente Dirichlet-Zuordnung, ein ziemlich beliebtes Bayessches Modell für die Dokumentmodellierung. Es geht ziemlich detailliert in die Mathematik ein Ein ausführlicheres mathematisches Detail ist Gibbs-Abtastung für Uneingeweihte . Und ich meine erschöpfend, da davon ausgegangen wird, dass Sie einen multivariaten Kalkül kennen und dann jeden Schritt von diesem Punkt aus ausführen. Während es also viel Mathematik gibt, ist nichts davon fortgeschritten.
Ich gehe davon aus, dass diese für Sie nützlicher sind als etwas, das fortgeschrittenere Ergebnisse liefert, wie diejenigen, die beweisen, warum Gibbs-Sampling gegen das konvergiert korrekte Verteilung. Die Referenzen, auf die ich hinweise, beweisen dies nicht.
Antwort
Das Buch Monte-Carlo-Strategien im wissenschaftlichen Rechnen ist eine hervorragende Ressource. Sie behandelt Dinge auf mathematisch strenge Weise, aber Sie können leicht mathematische Abschnitte überspringen, die Sie nicht interessieren, und trotzdem jede Menge praktische Ratschläge erhalten . Insbesondere macht es einen guten Job, Metropolis-Hastings und Gibbs Sampling zusammenzubinden, was entscheidend ist. In den meisten Anwendungen müssen Sie mithilfe der Gibbs-Stichprobe aus einer posterioren Verteilung ziehen. Daher ist es hilfreich zu wissen, wie sie in die Logik von Metropolis im Allgemeinen passt.