Ik wil leren hoe Gibbs-steekproeven werken en ik ben op zoek naar een goede basis tot gemiddeld werkstuk. Ik heb een computerwetenschappelijke achtergrond en statistische basiskennis.
Heeft er iemand goed materiaal gelezen? waar heb je het geleerd?
Bedankt
Reacties
- googelen " Gibbs-sampling van " is geen ' een slechte manier om een reeks meningen over het onderwerp te krijgen. Ik denk dat het een goede manier is om te beginnen, omdat je het vaak benadert met een " sceptische geest " – je kunt ' Het woord van Google is niet vanzelfsprekend, dus u moet een reeks weergaven vinden. Het kan natuurlijk zijn dat u in een later stadium een betrouwbare bron nodig heeft wanneer u deze probeert te implementeren. Maar beginnen met de " betrouwbare bron " is niet altijd het beste idee, omdat ze misschien nogal gehecht zijn aan een bepaalde manier om iets te doen – dwz ze kennen de " juiste weg " en " alle andere zijn fout of niet effectief ".
- (+1) Vragen die gemakkelijk kunnen worden beantwoord door te googelen zijn meestal niet welkom, maar deze IMO probeert te profiteren van de collectieve wijsheid van een gemeenschap op een manier die de Google-ranglijst niet kan doen. Het zou interessant zijn om te zien welke bronnen mensen echt nuttig vonden om dit materiaal te leren.
- Dat is het probleem. Google retourneert veel te veel resultaten en niet alle papers of tutorials zijn duidelijk genoeg.
Answer
I ” d beginnen met:
Casella, George; George, Edward I. (1992). “ Uitleg over de Gibbs-sampler “. De Amerikaanse statisticus 46 (3): 167–174. ( GRATIS pdf )
Samenvatting : Computerintensieve algoritmen, zoals de Gibbs-sampler, zijn steeds populairdere statistische hulpmiddelen geworden, zowel in toegepast als theoretisch werk. De eigenschappen van dergelijke algoritmen zijn echter soms niet duidelijk. Hier geven we een eenvoudige uitleg van hoe en waarom de Gibbs-sampler werkt. We stellen de eigenschappen ervan analytisch vast in een eenvoudig geval en geven inzicht in meer gecompliceerde gevallen. Er zijn ook een aantal voorbeelden.
De Amerikaanse statisticus is vaak een goede bron voor korte (achtige) inleidende artikelen die niet uitgaan van enige voorkennis van het onderwerp, hoewel ze er wel van uitgaan dat je de achtergrond hebt in waarschijnlijkheid en statistieken die redelijkerwijs kunnen worden verwacht van een lid van de American Statistical Association .
Antwoord
Een online artikel dat me echt heeft geholpen Gibbs Sampling te begrijpen, is Parameterschatting voor tekstanalyse door Gregor Heinrich. Het is geen algemene tutorial voor Gibbs-steekproeven, maar het bespreekt het in termen van latente dirichlet-toewijzing, een redelijk populair Bayesiaans model voor documentmodellering. Het gaat tot in detail in op de wiskunde.
Een die ingaat op even Uitputtend wiskundig detail is Gibbs-steekproeven voor niet-ingewijden . En ik bedoel uitputtend omdat het veronderstelt dat je een of andere multivariate calculus kent en vervolgens elke stap vanaf dat punt uiteenzet. Dus hoewel er “veel wiskunde is, is niets ervan geavanceerd.
Ik neem aan dat deze nuttiger voor u zijn dan iets dat meer geavanceerde resultaten oplevert, zoals de resultaten die bewijzen waarom Gibbs-steekproeven convergeren naar de correcte distributie. De referenties die ik noem “bewijzen dit niet.
Antwoord
Het boek Monte Carlo Strategies in Scientific Computing is een uitstekende hulpbron. Het behandelt dingen op een wiskundig rigoureuze manier, maar je kunt gemakkelijk wiskundige secties overslaan die je niet interesseren en er toch heel veel praktisch advies uit halen . Het doet met name goed werk door de bemonstering van Metropolis-Hastings en Gibbs aan elkaar te koppelen, wat cruciaal is. In de meeste toepassingen zul je moeten putten uit een posterieure distributie met behulp van Gibbs-steekproeven, en dus is het handig om te weten hoe het past in de logica van Metropolis in het algemeen.