Je veux apprendre comment fonctionne Gibbs Sampling et je recherche un bon article de base à intermédiaire. Jai une formation en informatique et des connaissances statistiques de base.
Quelquun a lu du bon matériel? où lavez-vous appris?
Merci
Commentaires
- googler " Gibbs échantillonner " nest ' pas une mauvaise façon dobtenir une gamme de points de vue sur le sujet. Je pense que cest une bonne façon de commencer, car vous avez tendance à laborder avec un " esprit sceptique " – vous pouvez ' t prendre le mot Google pour acquis, vous devez donc trouver une gamme de vues. Bien sûr, vous aurez peut-être besoin dune source fiable ultérieurement lorsque vous tenterez de limplémenter. Mais commencer par la " source réputée " nest pas toujours la meilleure idée, car ils peuvent être assez attachés à une manière particulière de faire quelque chose – cest-à-dire quils connaissent la " bonne voie " et " tous les autres sont faux ou inefficaces ".
- (+1) Les questions auxquelles il est facile de répondre par Google ne sont généralement pas les bienvenues, mais celle-ci IMO tente de capitaliser sur la sagesse collective dune communauté dune manière que le classement Google ne peut pas faire. Il serait intéressant de voir quelles sources les gens ont vraiment trouvées utiles pour apprendre ce matériel.
- Voilà le problème. Google renvoie beaucoup trop de résultats et tous les articles ou didacticiels ne sont pas suffisamment clairs.
Réponse
I » d commencer par:
Casella, George; George, Edward I. (1992). « Expliquer léchantillonneur Gibbs « . Le statisticien américain 46 (3): 167-174. ( PDF GRATUIT )
Résumé : Les algorithmes intensifs en informatique, tels que léchantillonneur Gibbs, sont devenus des outils statistiques de plus en plus populaires, à la fois dans les travaux appliqués et théoriques. Cependant, les propriétés de ces algorithmes peuvent parfois ne pas être évidentes. Ici, nous donnons une explication simple expliquant comment et pourquoi l’échantillonneur Gibbs fonctionne. Nous établissons analytiquement ses propriétés dans un cas simple et fournissons un aperçu des cas plus complexes. Il existe également un certain nombre d’exemples.
Le statisticien américain est souvent une bonne source pour de courts articles introductifs (ish) qui ne supposent aucune connaissance préalable du sujet, bien quils supposent que vous avez les connaissances en probabilités et statistiques auxquelles on peut raisonnablement sattendre dun membre de l American Statistical Association .
Réponse
Un article en ligne qui ma vraiment aidé à comprendre Gibbs Sampling est l estimation des paramètres pour lanalyse de texte par Gregor Heinrich. Ce nest pas un didacticiel général sur léchantillonnage de Gibbs, mais il en parle en termes dallocation de dirichlet latent, un modèle bayésien assez populaire pour la modélisation de documents. Il entre assez en détail dans les mathématiques.
Un qui va dans pair Des détails mathématiques plus exhaustifs sont Échantillonnage Gibbs pour les non-initiés . Donc, même sil ya beaucoup de mathématiques, rien de tout cela nest avancé.
Je suppose que ceux-ci vous seront plus utiles que quelque chose qui dérivera des résultats plus avancés, tels que ceux qui prouvent pourquoi léchantillonnage de Gibbs converge vers le distribution correcte. Les références que je signale ne le prouvent pas.
Réponse
Le livre Monte Carlo Strategies in Scientific Computing est une excellente ressource. Elle aborde les choses de manière mathématiquement rigoureuse, mais vous pouvez facilement ignorer les sections mathématiques qui ne vous intéressent pas et en tirer des tonnes de conseils pratiques. . En particulier, il fait un bon travail en associant léchantillonnage Metropolis-Hastings et Gibbs, ce qui est crucial. Dans la plupart des applications, vous devrez dessiner à partir dune distribution postérieure en utilisant léchantillonnage de Gibbs, et donc savoir comment cela sintègre dans la logique de Metropolis en général est utile.