Quiero aprender cómo funciona el muestreo de Gibbs y estoy buscando un buen artículo básico a intermedio. Tengo experiencia en informática y conocimientos básicos de estadística.
¿Alguien ha leído buen material? ¿Dónde lo aprendiste?
Gracias
Comentarios
- googlear " El muestreo de Gibbs " no es ' una mala manera de obtener una variedad de opiniones sobre el tema. Creo que es una buena forma de empezar, porque tiendes a abordarlo con una " mente escéptica "; puedes ' No dé por sentado la palabra de Google, por lo que necesita encontrar un rango de vistas. Por supuesto, es posible que necesite una fuente confiable en una etapa posterior cuando intente implementar. Pero comenzar con la " fuente confiable " no siempre es la mejor idea, porque pueden estar bastante apegados a una forma particular de hacer algo. – es decir, saben que la " forma correcta " y " todas las demás son incorrectas o ineficaces ".
- (+1) Las preguntas que se responden fácilmente en Google generalmente no son bienvenidas, pero esta OMI intenta capitalizar la sabiduría colectiva de una comunidad. de una manera que el ranking de Google no puede hacer. Sería interesante ver qué fuentes realmente encontraron útiles las personas para aprender este material.
- Ese es el problema. Google devuelve demasiados resultados y no todos los documentos o tutoriales son lo suficientemente claros.
Responder
I » Empezaría con:
Casella, George; George, Edward I. (1992). « Explicación del muestreador de Gibbs «. The American Statistician 46 (3): 167–174. ( PDF GRATIS )
Resumen : Los algoritmos de uso intensivo de computadoras, como el muestreador de Gibbs, se han convertido en herramientas estadísticas cada vez más populares, tanto en el trabajo teórico como en el aplicado. Sin embargo, las propiedades de dichos algoritmos a veces pueden no ser obvias. Aquí damos una explicación simple de cómo y por qué funciona el muestreador de Gibbs. Establecemos analíticamente sus propiedades en un caso simple y brindamos información para casos más complicados. También hay varios ejemplos.
The American Statistician es a menudo una buena fuente de artículos introductorios breves (más o menos) que no asumen ningún conocimiento previo del tema, aunque asumen que tienes los antecedentes en probabilidad y estadísticas que razonablemente se podrían esperar. de un miembro de la Asociación Estadounidense de Estadística .
Respuesta
Un artículo en línea que realmente me ayudó a comprender el muestreo de Gibbs es Estimación de parámetros para el análisis de texto de Gregor Heinrich. No es un tutorial general de muestreo de Gibbs, pero lo analiza en términos de asignación de dirichlet latente, un modelo bayesiano bastante popular para el modelado de documentos. Se profundiza en las matemáticas con bastante detalle.
Uno que entra incluso Un detalle matemático más exhaustivo es Muestreo de Gibbs para los no iniciados . Y me refiero a que es exhaustivo en el sentido de que asume que conoces algo de cálculo multivariante y luego describe cada paso desde ese punto. Entonces, aunque hay muchas matemáticas, ninguna es avanzada.
Supongo que serán más útiles para usted que algo que derive resultados más avanzados, como los que prueban por qué el muestreo de Gibbs converge al distribución correcta. Las referencias que señalo no prueban esto.
Respuesta
El libro Monte Carlo Strategies in Scientific Computing es un recurso excelente. Aborda las cosas de una manera matemáticamente rigurosa, pero puede omitir fácilmente las secciones matemáticas que no le interesan y aún así obtener toneladas de consejos prácticos . En particular, hace un buen trabajo al vincular el muestreo de Metropolis-Hastings y Gibbs, lo cual es crucial. En la mayoría de las aplicaciones, necesitará extraer de una distribución posterior utilizando el muestreo de Gibbs, por lo que es útil saber cómo encaja en la lógica de Metropolis en general.