Jeg vil lære hvordan Gibbs Sampling fungerer, og jeg ser etter et godt grunnleggende til mellomliggende papir. Jeg har en informatisk bakgrunn og grunnleggende statistikk.
Noen som har lest godt materiale rundt? hvor lærte du det?
Takk
Kommentarer
- googling " Gibbs-prøvetaking " isn ' en dårlig måte å få en rekke synspunkter på emnet. Jeg synes det er en god måte å starte, fordi du pleier å nærme deg det med et " skeptisk sinn " – du kan ' t ta googles ord for gitt, så du må finne en rekke visninger. Selvfølgelig kan det hende du trenger en hederlig kilde på et senere tidspunkt når du prøver å implementere. Men å starte med " anerkjent kilde " er ikke alltid den beste ideen, fordi de kan være ganske knyttet til en bestemt måte å gjøre noe på – dvs. de vet at " riktig måte " og " alle andre er gale eller ineffektive ".
- (+1) Spørsmål som lett blir besvart av Googling er vanligvis ikke velkomne, men denne IMO prøver å kapitalisere på den kollektive visdommen til et samfunn på en måte som Google-rangeringen ikke kan gjøre. Det ville være interessant å se hvilke kilder folk virkelig fant nyttige for å lære dette materialet.
- Det er problemet. Google gir alt for mange resultater, og ikke alle papirene eller veiledningene er klare nok.
Svar
I » d start med:
Casella, George; George, Edward I. (1992). « Forklaring av Gibbs-sampleren «. Den amerikanske statistikeren 46 (3): 167–174. ( GRATIS PDF )
Abstrakt : Datakrevende algoritmer, som Gibbs-sampleren, har blitt stadig mer populære statistiske verktøy, både i anvendt og teoretisk arbeid. Egenskapene til slike algoritmer er imidlertid kanskje noen ganger ikke åpenbare. Her gir vi en enkel forklaring om hvordan og hvorfor Gibbs-sampleren fungerer. Vi etablerer analytiske egenskaper i et enkelt tilfelle og gir innsikt i mer kompliserte tilfeller. Det er også en rekke eksempler.
Den amerikanske statistikeren er ofte en god kilde til korte (ish) innledende artikler som ikke antar noen forkunnskaper om emnet, selv om de antar at du har bakgrunn i sannsynlighet og statistikk som med rimelighet kan forventes av et medlem av American Statistical Association .
Svar
En online artikkel som virkelig hjalp meg med å forstå Gibbs Sampling er Parameterestimering for tekstanalyse av Gregor Heinrich. Det er ikke en generell Gibbs-prøvetaking, men den diskuterer den når det gjelder latent dirichlet-tildeling, en ganske populær Bayesian-modell for dokumentmodellering. Den går inn i matematikken i ganske detalj.
En som går i jevn mer uttømmende matematisk detalj er Gibbs Sampling for Uninitiated . Og jeg mener uttømmende ved at den forutsetter at du kjenner til noen multivariat kalkulator og deretter legger ut hvert trinn fra det punktet. Så mens det er mye matematikk, er ingen av dem avanserte.
Jeg antar at disse vil være mer nyttige for deg enn noe som gir mer avanserte resultater, som de som beviser hvorfor Gibbs-sampling konvergerer til riktig fordeling. Referansene jeg påpeker, beviser ikke dette.
Svar
Boken Monte Carlo Strategies in Scientific Computing er en utmerket ressurs. Den adresserer ting på en matematisk streng måte, men du kan enkelt hoppe over matematiske seksjoner som ikke interesserer deg og likevel får massevis av praktiske råd ut av det . Spesielt gjør det en fin jobb med å knytte sammen Metropolis-Hastings og Gibbs prøvetaking, noe som er avgjørende. I de fleste applikasjoner må du tegne fra en bakre distribusjon ved hjelp av Gibbs-sampling, og det er nyttig å vite hvordan det passer inn i logikken til Metropolis generelt.