第二章 概率图模型的基本原理

分为有向概率图模型(Directed Probabilistic Graphical Model),无向概率图模型(Undirected Probabilistic Graphical Model),混合概率图模型(Mixed Probabilistic Graphical Model)。

有向概率图模型:隐马尔科夫模型,贝叶斯网络,,动态贝叶斯网络

无向概率图模型:马尔科夫随机场,条件随机场

混合概率图模型:链图

隐马尔科夫模型(Hidden Markov Model, HMM)

HMM算法实现的基本问题:

(1)初始模型选取

不同初始模型得到的结果不同

(2)多个观察值

可能有多个序列,然后对参数进行估计

(3)前向和后向算法以及Baum-Welch算法随着计算增加,计算结果的数值变小,可能产生下溢。

需要对  

贝叶斯网络的学习包含两个主要过程:学习贝叶斯网络结构,学习参数。

几种常用的贝叶斯分类器:

(1)朴素贝叶斯网络(Naive Bayesian Networks, NBN):

(2)通用贝叶斯网络(General Bayesian Networks, GBN)

(3)增强型朴素贝叶斯网络(Tree-Augmented Naive Bayes, TAN)

 

(4)马尔科夫毯贝叶斯网络(Markov Blanket Bayesian Networks, MBBN)

 

动态贝叶斯网络(Dynamic Bayesian Networks, DBNs)

隐马尔科夫模型(HMM)和卡尔曼滤波模型(KFM)是两种典型的状态空间模型。

无向概率图模型(Undirected Probabilistic Graphical Model):

马尔科夫随机场(Markov Random Fields, MRFs):

条件随机场(Conditional Random Fields, CRFs):

 

概率图模型的学习:分为结构学习和参数学习

结构学习:分为基于评分函数的学习(Scoring Function)和基于独立测试的学习(Conditional Independence Test, CIT)

评分函数:主要有基于贝叶斯统计的BDe(Bayesian Dirichlet-Likelihood Equivalent),最小描述长度MDL(Minimum Description Length),贝叶斯信息标准BIC(Bayesian Information Criterion)

基于独立测试的学习:常用的算法有CL算法,3阶段算法。

模型推理:分为精确推理与近似推理

精确推理:分为基于网络结构的推理与其他算法。

其他算法:包括图形简化法,证据扩散,汇聚算法,变量消元法,联合树算法。

近似推理:分为采样和搜索两种方法。

原文地址:https://www.cnblogs.com/huangshiyu13/p/6145634.html