(学习这部分内容大约需要50分钟)
摘要
Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法.
预备知识
学习Gibbs采样需要以下预备知识
- 条件分布: Gibbs采样根据条件分布定义.
- 马尔科夫蒙特卡洛(Markov chain Monte Carlo, MCMC): Gibbs采样是一种MCMC算法.
- 马尔科夫随机场(Markov random fields): 图模型的结构表明为什么Gibbs更新计算会高效.
学习目标
- 知道Gibbs采样更新规则
- 明白为什么 Gibbs 采样的稳态分布是模型分布.
- 明白为什么 Gibbs 采样在变量紧密耦合时会变得低效.
核心资源
(阅读/观看其中一个资源)
免费
-
Coursera: Probabilistic Graphical Models (2013)
简介: 概率图模型的一门在线课程
位置: Lecture "Gibbs sampling" ](https://class.coursera.org/pgm/lecture/74)
网站
作者: Daphne Koller
其他依赖知识:备注:
- 点击"Preview"观看视频
-
Bayesian Reasoning and Machine Learning
简介: 一门研究生机器学习课程- Section 27.3, Gibbs sampling, up to 27.3.2, "Structured Gibbs sampling" (pages 547-548)
- Section 27.3.3, "Remarks" (pages 549-550)
作者: David Barber
其他依赖知识:
付费
- Pattern Recognition and Machine Learning(PRML)
简介: 一本研究生机器学习课程, 专注于贝叶斯方法
位置: Section 11.3, pages 542-546
网站
作者: Christopher M. Bishop
其他依赖知识: - Probabilistic Graphical Models: Principles and Techniques
简介: 一本非常全面的概率AI研究生教材
位置: Sections 12.3.1 (pages 505-507) and 12.3.3 (pages 512-515)
网站
作者: Daphne Koller,Nir Friedman
其他依赖知识:
增补资源
(以下为可选内容, 你可能会发现它们很有用)
免费
- Information Theory, Inference, and Learning Algorithms
简介: 一本机器学习和信息论的研究生教材
位置: Section 29.5, "Gibbs sampling," pages 370-371
网站
作者: David MacKay
其他依赖知识:- Metropolis-Hastings算法
- Machine learning summer school: Markov chain Monte Carlo (2009)
简介: 一个 MCMC 方法视频教程
位置: 69:40 to 77:34
网站
作者: Iain Murray - Computational Cognition Cheat Sheets (2013)
简介: 认知科学家写的一些笔记
位置: Bayesian Inference: Gibbs Sampling
网站
付费
- Machine Learning: a Probabilistic Perspective(MLAPP)
简介: 一本非常全面的研究生机器学习教材
位置: Section 24.2-24.2.2, pages 838-839
网站
作者: Kevin P. Murphy
相关知识
-
Gibbs采样可以被看作 Metropolis-Hastings 算法的特例
-
简单 Gibbs 采样常常 mix 得很慢. 以下是一些改进版本:
- block Gibbs sampling: 一次采样多个随机变量.
- collapsed Gibbs sampling: 一些随机变量被解析地积分掉了
Slice sampling 是一类特殊的 Gibbs 采样, 适合从没有解析形式的单变量分布中采样.
-
我们可以使用spectral graph理论分析 mixing 率.