(學習這部分內容大約需要50分鍾)
摘要
Gibbs采樣是一種馬爾科夫連蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每個隨機變量從給定剩余變量的條件分布迭代地重新采樣. 它是在概率模型中執行后驗推理的簡單且常用的高效方法.
預備知識
學習Gibbs采樣需要以下預備知識
- 條件分布: Gibbs采樣根據條件分布定義.
- 馬爾科夫蒙特卡洛(Markov chain Monte Carlo, MCMC): Gibbs采樣是一種MCMC算法.
- 馬爾科夫隨機場(Markov random fields): 圖模型的結構表明為什么Gibbs更新計算會高效.
學習目標
- 知道Gibbs采樣更新規則
- 明白為什么 Gibbs 采樣的穩態分布是模型分布.
- 明白為什么 Gibbs 采樣在變量緊密耦合時會變得低效.
核心資源
(閱讀/觀看其中一個資源)
免費
-
Coursera: Probabilistic Graphical Models (2013)
簡介: 概率圖模型的一門在線課程
位置: Lecture "Gibbs sampling" ](https://class.coursera.org/pgm/lecture/74)
網站
作者: Daphne Koller
其他依賴知識:備注:
- 點擊"Preview"觀看視頻
-
Bayesian Reasoning and Machine Learning
簡介: 一門研究生機器學習課程- Section 27.3, Gibbs sampling, up to 27.3.2, "Structured Gibbs sampling" (pages 547-548)
- Section 27.3.3, "Remarks" (pages 549-550)
作者: David Barber
其他依賴知識:
付費
- Pattern Recognition and Machine Learning(PRML)
簡介: 一本研究生機器學習課程, 專注於貝葉斯方法
位置: Section 11.3, pages 542-546
網站
作者: Christopher M. Bishop
其他依賴知識: - Probabilistic Graphical Models: Principles and Techniques
簡介: 一本非常全面的概率AI研究生教材
位置: Sections 12.3.1 (pages 505-507) and 12.3.3 (pages 512-515)
網站
作者: Daphne Koller,Nir Friedman
其他依賴知識:
增補資源
(以下為可選內容, 你可能會發現它們很有用)
免費
- Information Theory, Inference, and Learning Algorithms
簡介: 一本機器學習和信息論的研究生教材
位置: Section 29.5, "Gibbs sampling," pages 370-371
網站
作者: David MacKay
其他依賴知識:- Metropolis-Hastings算法
- Machine learning summer school: Markov chain Monte Carlo (2009)
簡介: 一個 MCMC 方法視頻教程
位置: 69:40 to 77:34
網站
作者: Iain Murray - Computational Cognition Cheat Sheets (2013)
簡介: 認知科學家寫的一些筆記
位置: Bayesian Inference: Gibbs Sampling
網站
付費
- Machine Learning: a Probabilistic Perspective(MLAPP)
簡介: 一本非常全面的研究生機器學習教材
位置: Section 24.2-24.2.2, pages 838-839
網站
作者: Kevin P. Murphy
相關知識
-
Gibbs采樣可以被看作 Metropolis-Hastings 算法的特例
-
簡單 Gibbs 采樣常常 mix 得很慢. 以下是一些改進版本:
- block Gibbs sampling: 一次采樣多個隨機變量.
- collapsed Gibbs sampling: 一些隨機變量被解析地積分掉了
Slice sampling 是一類特殊的 Gibbs 采樣, 適合從沒有解析形式的單變量分布中采樣.
-
我們可以使用spectral graph理論分析 mixing 率.