Vreau să aflu cum funcționează eșantionarea Gibbs și caut o hârtie bună de la intermediară. Am o experiență în informatică și cunoștințe statistice de bază.
Cineva a citit materiale bune în jur? unde l-ai învățat?
Mulțumesc
Comentarii
- Google " Eșantionarea Gibbs " nu este ' o modalitate proastă de a obține o serie de vizualizări despre subiect. Cred că este un mod bun de a începe, deoarece aveți tendința de a-l aborda cu o " minte sceptică " – puteți nu luați cuvântul Google ca atare, deci trebuie să găsiți o serie de vizualizări. Desigur, este posibil să aveți nevoie de o sursă de încredere într-o etapă ulterioară, atunci când încercați să implementați. Însă, începând cu " sursă de încredere " nu este întotdeauna cea mai bună idee, deoarece acestea pot fi destul de atașate unui anumit mod de a face ceva – adică știu că " este corect " și " toate celelalte sunt greșite sau ineficiente ".
- (+1) Întrebările la care Google răspunde cu ușurință nu sunt de obicei binevenite, dar aceasta IMO încearcă să valorifice înțelepciunea colectivă a unei comunități într-un mod pe care clasamentul Google nu îl poate face. Ar fi interesant să vedem ce surse într-adevăr au considerat utile pentru învățarea acestui material.
- Aceasta este problema. Google returnează prea multe rezultate și nu toate lucrările sau tutorialele sunt suficient de clare.
Răspunde
I ” începeți cu:
Casella, George; George, Edward I. (1992). „ Explicarea probei Gibbs „. Statisticul american 46 (3): 167-174. ( PDF GRATUIT )
Rezumat : Algoritmii intensivi în calculatoare, cum ar fi eșantionatorul Gibbs, au devenit instrumente statistice din ce în ce mai populare, atât în lucrări aplicate, cât și în lucrări teoretice. Cu toate acestea, proprietățile unor astfel de algoritmi s-ar putea să nu fie uneori evidente. despre cum și de ce funcționează eșantionatorul Gibbs. Stabilim analitic proprietățile sale într-un caz simplu și oferim informații despre cazuri mai complicate. Există, de asemenea, o serie de exemple.
The American Statistician este adesea o sursă bună pentru articole introductive scurte (ish) care nu presupun cunoștințe anterioare ale subiectului, deși presupun că aveți experiența în probabilitate și statistici la care s-ar putea aștepta în mod rezonabil a unui membru al American Statistical Association .
Răspuns
Un articol online care m-a ajutat cu adevărat să înțeleg eșantionarea Gibbs este Estimarea parametrilor pentru analiza textului de Gregor Heinrich. Nu este un tutorial general de eșantionare Gibbs, dar îl discută în termeni de alocare latentă a dirichletului, un model bayesian destul de popular pentru modelarea documentelor. Intră în matematică în mod detaliat.
Unul care intră în par detalii matematice mai exhaustive sunt Gibbs Sampling for the Uninitiated . Și vreau să spun exhaustiv prin faptul că presupune că cunoașteți un calcul multivariant și apoi prezintă fiecare pas din acel punct. Deci, în timp ce există „o mulțime de matematică, niciuna dintre acestea nu este avansată.
Presupun că acestea vă vor fi mai utile decât ceva care obține rezultate mai avansate, cum ar fi cele care demonstrează de ce eșantionarea Gibbs converge la distribuție corectă. Referințele pe care le subliniez nu demonstrează acest lucru.
Răspuns
Cartea Strategii Monte Carlo în calcul științific este o resursă excelentă. Se adresează lucrurilor într-un mod riguros din punct de vedere matematic, dar puteți sări cu ușurință secțiunile matematice care nu vă interesează și obțin totuși o mulțime de sfaturi practice. . În special, face o treabă frumoasă de a lega eșantionarea Metropolis-Hastings și Gibbs, ceea ce este crucial. În majoritatea aplicațiilor, va trebui să extrageți dintr-o distribuție posterioară folosind eșantionarea Gibbs, astfel încât este util să știți cum se încadrează în logica Metropolis.