201119西瓜书系列博客---14、概率图模型
一、总结
一句话总结：
机器学习的核心在于【根据一些已经观察到的证据(例如训练样本)来对未知变量进行估计和预测】。
其中【基于概率的模型】将学习任务归结为【计算变量的概率分布】，正如之前已经提到的：【生成式模型先对联合分布进行建模，从而再来求解后验概率】，例如：【贝叶斯分类器】先对联合分布进行【最大似然估计】，从而便可以计算【类条件概率】；【判别式模型】则是【直接对条件分布进行建模】 。
概率图模型（probabilistic graphical model）是一类用【图结构】来表达【各属性之间相关关系的概率模型】，一般而言：图中的一个结点表示一个或一组随机变量，结点之间的边则表示变量间的相关关系，从而形成了一张“变量关系图”。
1、【14.0、概率图模型】 根据边的性质不同，概率图模型大致可分为两类？
若使用【有向无环图】表示变量之间的依赖关系，称为【贝叶斯网（Bayesian nerwork）】或有向图模型；
若使用【无向图】表示变量间的相关关系，则称为【马尔可夫网（Markov network）】或无向图模型。
2、【14.1、隐马尔可夫模型】 隐马尔可夫模型？
【隐马尔可夫模型HMM】是【结构最简单】的【动态贝叶斯网】，主要用于【时序数据建模】，在【语音识别和NPL】等领域有广泛应用。
【隐马尔可夫模型HMM】中的变量分为两组：【状态变量与观测变量】，其中状态变量一般是未知的，因此又称为“隐变量”，观测变量则是已知的输出值。
3、【14.1、隐马尔可夫模型】 在隐马尔可夫模型中，变量之间的依赖关系遵循如下两个规则？
【观测变量的取值仅依赖于状态变量】；
【下一个状态的取值仅依赖于当前状态】。通俗来讲：现在决定未来，未来与过去无关，这就是著名的【马尔可夫性】。
4、【14.2、马尔科夫随机场（MRF）】 马尔科夫随机场（MRF）？
【马尔可夫随机场（Markov Random Field）】是一种【典型的马尔可夫网】，即【使用无向边来表达变量间的依赖关系】。
在马尔可夫随机场中，对于关系图中的一个子集，若任意两结点间都有边连接，则称该子集为一个【团】；若再加一个结点便不能形成团，则称该子集为【极大团】。
MRF使用【势函数】来定义【多个变量的概率分布函数】，其中每个（极大）团对应一个势函数，一般团中的变量关系也体现在它所对应的极大团中，因此常常【基于极大团来定义变量的联合概率分布函数】。
5、【14.4、学习与推断】 概率图模型 学习与推断？
对于生成式模型，通常我们都是先对【变量的联合概率分布】进行建模，接着再求出【目标变量】的【边际分布（marginal distribution）】，边际分布是指对无关变量求和或积分后得到的结果，【从联合概率得到边际分布，便是学习与推断】
6、【14.4、学习与推断】 概率图模型的推断方法大致可分为两类？
【精确推断方法】：希望能计算出目标变量的【边际分布或条件分布】的【精确值】；遗憾的是，一般情形下，此类算法的计算复杂度随着极大团规模增长呈指数增长，使用范围有限。
【近似推断方法】：希望在较低时间复杂度下获得原问题的【近似解】。
7、【14.4、学习与推断】 概率图模型的推断方法两种精确推断的方法：变量消去与信念传播？
【变量消去】：变量消去利用【条件独立性】来【消减】计算目标概率值所需的【计算量】，它通过运用乘法与加法的分配率，将对变量的积的求和问题转化为对部分变量交替进行求积与求和的问题，从而将每次的运算控制在局部，达到【简化运算】的目的。
【信念传播】：信念传播算法将变量消去法中的求和操作看作一个【消息传递过程】，较好地解决了求解【多个边际分布时】的【重复计算问题】。
8、【14.5、LDA话题模型】 概率图模型 LDA话题模型？
【话题模型】是一族【生成式有向图模型】，主要用于【处理离散型的数据】，如【文本数据】，隐狄利克雷分配模型LDA是话题模型的典型代表。
二、14、概率图模型
转自或参考：西瓜书学习笔记——第十四章：概率图模型
https://blog.csdn.net/shichensuyu/article/details/98764208