Jeg vil gerne lære, hvordan Gibbs Sampling fungerer, og jeg leder efter et godt grundlæggende til mellemliggende papir. Jeg har en datalogisk baggrund og grundlæggende statistisk viden.
Er der nogen, der har læst godt materiale rundt omkring? hvor lærte du det?
Tak
Kommentarer
- googling " Gibbs-prøveudtagning " isn ' en dårlig måde at få en række synspunkter på emnet på. Jeg synes det er en god måde at starte på, fordi du har tendens til at nærme dig det med et " skeptisk sind " – du kan ' t tag googles ord for givet, så du skal finde en række synspunkter. Naturligvis har du muligvis brug for en velrenommeret kilde på et senere tidspunkt, når du prøver at implementere. Men start med " velrenommeret kilde " er ikke altid den bedste idé, fordi de måske er ganske knyttet til en bestemt måde at gøre noget på – dvs. de kender " rigtige måde " og " alle andre er forkerte eller ineffektive ".
- (+1) Spørgsmål, der let besvares af Googling, er normalt ikke velkomne, men denne IMO forsøger at udnytte den kollektive visdom i et samfund på en måde, som Google-placeringen ikke kan gøre. Det ville være interessant at se, hvilke kilder folk virkelig fandt nyttige til at lære dette materiale.
- Det er problemet. Google returnerer alt for mange resultater, og ikke alle papirerne eller vejledningerne er klare nok.
Svar
I ” d start med:
Casella, George; George, Edward I. (1992). “ Forklaring af Gibbs-sampleren “. Den amerikanske statistiker 46 (3): 167–174. ( GRATIS PDF )
Abstrakt : Computerintensive algoritmer, såsom Gibbs-sampleren, er blevet mere og mere populære statistiske værktøjer, både i anvendt og teoretisk arbejde. Egenskaberne ved sådanne algoritmer er dog muligvis ikke indlysende. Her giver vi en simpel forklaring om, hvordan og hvorfor Gibbs-sampleren fungerer. Vi fastlægger dets egenskaber analytisk i et simpelt tilfælde og giver indsigt i mere komplicerede tilfælde. Der er også et antal eksempler.
Den amerikanske statistiker er ofte en god kilde til korte (ish) indledende artikler, der ikke antager nogen forudgående viden om emnet, selvom de antager, at du har baggrunden for sandsynlighed og statistik, som med rimelighed kunne forventes af et medlem af American Statistical Association .
Svar
En onlineartikel, der virkelig hjalp mig med at forstå Gibbs Sampling, er Parameterestimering til tekstanalyse af Gregor Heinrich. Det er ikke en generel Gibbs-prøveudtagningsvejledning, men den diskuterer den i form af latent dirichletallokering, en temmelig populær Bayesian-model til dokumentmodellering. Den går ind i matematikken i detaljer.
En der går i lige mere udtømmende matematisk detalje er Gibbs Sampling for Uninitiated . Og jeg mener udtømmende, idet det forudsætter, at du kender en eller flere multivariate beregninger og derefter lægger hvert trin fra det punkt. Så mens der er meget matematik, er intet af det avanceret.
Jeg antager, at disse vil være mere nyttige for dig, så noget, der får mere avancerede resultater, såsom dem, der beviser, hvorfor Gibbs-sampling konvergerer til korrekt fordeling. De referencer, jeg påpeger, beviser ikke dette.
Svar
Bogen Monte Carlo Strategies in Scientific Computing er en fremragende ressource. Den adresserer ting på en matematisk streng måde, men du kan let springe over matematiske sektioner, der ikke interesserer dig og stadig får masser af praktiske råd ud af det . Især gør det et godt stykke arbejde med at binde Metropolis-Hastings og Gibbs prøveudtagning, hvilket er afgørende. I de fleste applikationer skal du tegne fra en bageste fordeling ved hjælp af Gibbs-sampling, og det er derfor nyttigt at vide, hvordan det passer ind i Metropolis logik.