Voglio imparare come funziona Gibbs Sampling e sto cercando un buon articolo da base a intermedio. Ho una formazione informatica e conoscenze statistiche di base.
Qualcuno ha letto del buon materiale in giro? dove lhai imparato?
Grazie
Commenti
- googling " Il campionamento di Gibbs " non è ' un brutto modo per ottenere una serie di visualizzazioni sullargomento. Penso che sia un buon modo per iniziare, perché tendi ad affrontarlo con una " mente scettica " – puoi ' Non dare per scontata la parola su Google, quindi devi trovare una serie di visualizzazioni. Ovviamente potresti aver bisogno di una fonte attendibile in una fase successiva, quando proverai a implementare. Ma iniziare con la " fonte attendibile " non è sempre lidea migliore, perché potrebbero essere piuttosto attaccati a un modo particolare di fare qualcosa – cioè conoscono il " modo corretto " e " tutti gli altri sono sbagliati o inefficaci ".
- (+1) Le domande alle quali è facile rispondere con Google di solito non sono benvenute, ma questa IMO cerca di capitalizzare la saggezza collettiva di una comunità in un modo che il ranking di Google non può fare. Sarebbe interessante vedere quali fonti le persone hanno veramente trovato utili per lapprendimento di questo materiale.
- Questo è il problema. Google restituisce troppi risultati e non tutti i documenti o i tutorial sono abbastanza chiari.
Answer
I ” d iniziare con:
Casella, George; George, Edward I. (1992). “ Explaining the Gibbs sampler “. Lo statistico americano 46 (3): 167–174. ( PDF GRATUITO )
Astratto : Gli algoritmi ad alta intensità di computer, come il campionatore Gibbs, sono diventati strumenti statistici sempre più popolari, sia nel lavoro applicato che teorico. Le proprietà di tali algoritmi, tuttavia, a volte possono non essere ovvie. Qui diamo una semplice spiegazione di come e perché funziona il campionatore Gibbs. Stabiliamo analiticamente le sue proprietà in un caso semplice e forniamo informazioni per casi più complicati. Ci sono anche una serie di esempi.
The American Statistician è spesso una buona fonte per brevi articoli introduttivi che non presumono alcuna conoscenza preliminare dellargomento, sebbene presumano che tu abbia il background in probabilità e statistiche che ci si potrebbe ragionevolmente aspettare di un membro dell American Statistical Association .
Answer
Un articolo in linea che mi ha davvero aiutato a capire Gibbs Sampling è Stima dei parametri per lanalisi del testo di Gregor Heinrich. Non è un tutorial generale sul campionamento di Gibbs, ma lo discute in termini di allocazione latente di dirichlet, un modello bayesiano abbastanza popolare per la modellazione dei documenti. Va nella matematica in modo abbastanza dettagliato.
Uno che va in pari il dettaglio matematico più esauriente è Campionamento di Gibbs per i non iniziati . E intendo esaustivo in quanto presuppone che tu conosca un calcolo multivariato e poi espone ogni passo da quel punto. Quindi, anche se cè molta matematica, nessuna di queste è avanzata.
Presumo che questi ti saranno più utili di qualcosa che derivi risultati più avanzati, come quelli che dimostrano perché il campionamento di Gibbs converge al corretta distribuzione. I riferimenti che indico non lo dimostrano.
Risposta
Il libro Monte Carlo Strategies in Scientific Computing è una risorsa eccellente. Affronta le cose in modo matematicamente rigoroso, ma puoi facilmente saltare le sezioni matematiche che non ti interessano e ottenere comunque tonnellate di consigli pratici . In particolare, fa un buon lavoro nel collegare il campionamento di Metropolis-Hastings e Gibbs, il che è fondamentale. Nella maggior parte delle applicazioni dovrai attingere a una distribuzione a posteriori usando il campionamento di Gibbs, quindi è utile sapere come si inserisce nella logica di Metropolis in generale.