Eu quero aprender como o Gibbs Sampling funciona e estou procurando um bom papel básico ao intermediário. Tenho formação em ciência da computação e conhecimentos básicos de estatística.
Alguém leu um bom material por aí? onde você aprendeu?
Obrigado
Comentários
- googling " A amostragem de Gibbs " não é ' uma maneira ruim de obter uma variedade de pontos de vista sobre o assunto. Acho que é uma boa maneira de começar, porque você tende a abordá-la com uma " mente cética " – você pode ' Para não considerar a palavra do Google como garantida, você precisa encontrar uma variedade de visualizações. É claro que você pode precisar de uma fonte confiável em um estágio posterior ao tentar implementar. Mas começar com a " fonte confiável " nem sempre é a melhor ideia, porque eles podem estar bastante apegados a uma maneira particular de fazer algo – ou seja, eles sabem o " jeito certo " e " todos os outros estão errados ou ineficazes ".
- (+1) Perguntas que são facilmente respondidas pelo Google geralmente não são bem-vindas, mas esta IMO tenta capitalizar a sabedoria coletiva de uma comunidade de uma forma que o ranking do Google não pode fazer. Seria interessante ver quais fontes as pessoas realmente acharam úteis para aprender este material.
- Esse é o problema. O Google retorna muitos resultados e nem todos os artigos ou tutoriais são claros o suficiente.
Resposta
I ” d começa com:
Casella, George; George, Edward I. (1992). “ Explicando a amostra de Gibbs “. The American Statistician 46 (3): 167–174. ( PDF GRATUITO )
Resumo : Algoritmos com uso intensivo de computador, como o amostrador de Gibbs, tornaram-se ferramentas estatísticas cada vez mais populares, tanto no trabalho aplicado quanto no teórico. As propriedades de tais algoritmos, no entanto, às vezes podem não ser óbvias. Aqui, oferecemos uma explicação simples de como e por que o amostrador de Gibbs funciona. Estabelecemos analiticamente suas propriedades em um caso simples e fornecemos informações para casos mais complicados. Também há uma série de exemplos.
The American Statistician é frequentemente uma boa fonte de artigos introdutórios curtos (ish) que não presumem nenhum conhecimento prévio do tópico, embora presumam que você tem experiência em probabilidade e estatística que poderia ser razoavelmente esperada de um membro da American Statistical Association .
Resposta
Um artigo online que realmente me ajudou a entender o Gibbs Sampling é a Estimativa de parâmetro para análise de texto de Gregor Heinrich. Não é um tutorial de amostragem Gibbs geral, mas discute-o em termos de alocação de dirichlet latente, um modelo Bayesiano bastante popular para modelagem de documentos. Ele aborda a matemática com detalhes justos.
Um que vai até mesmo detalhes matemáticos mais exaustivos são Amostragem de Gibbs para os não iniciados . E quero dizer exaustiva no sentido de que presume que você conhece alguns cálculos multivariados e, em seguida, descreve cada etapa a partir desse ponto. Portanto, embora haja muita matemática, nada disso é avançado.
Eu suponho que isso será mais útil para você do que algo que deriva resultados mais avançados, como aqueles que provam porque a amostragem de Gibbs converge para o distribuição correta. As referências que aponto não provam isso.
Resposta
O livro Estratégias de Monte Carlo em computação científica é um excelente recurso. Ele aborda as coisas de uma forma matematicamente rigorosa, mas você pode facilmente pular as seções matemáticas que não interessam a você e ainda obter muitos conselhos práticos com elas . Em particular, ele faz um bom trabalho ao unir as amostras de Metropolis-Hastings e Gibbs, o que é crucial. Na maioria dos aplicativos, você precisará extrair de uma distribuição posterior usando a amostragem de Gibbs e, portanto, saber como isso se encaixa na lógica do Metropolis em geral é útil.