概率图模型是图论与概率方法的结合产物。Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。
图模型分为两种：
- 有向图（directed graphs）：bayesian networks
- 无向图（undirected graphs）：Markov random fields
1. 定义
贝叶斯网络定义：
- DAG（Directed Acyclic Graph）：有向无环图；
- 结点
(X1,X2,…,Xn) 表示的是随机变量（random variables）； - 网络中的每一个结点
Xi ，都有条件概率分布，P(Xi∣∣ParG(Xi))
ParG(Xi) ：表示的是Xi 在网络中的父节点；
- 贝叶斯网络最终刻画的是结点所代表的随机变量的联合概率密度（joint distribution）
P(X1,…,Xn)=∏iP(Xi∣∣ParG(Xi))
Probabilistic graphical models are a joint probability distribution defined over a graph，概率图模型是定义在一副图上的联合概率分布（joint probability distribution）。如下图所示：
也即此贝叶斯网络表示了如下的联合概率分布：
2. 贝叶斯网对应的“分布”
贝叶斯网络对应的“分布”是一种合法的概率分布（legal distribution），也即需满足
Pi≥0 ：显然成立∑Pi=1 需要证明，比如这样一个简单的例子，应用链式法则（chain rule），展开得：
∑D,I,G,S,LP(D,I,G,S,L)======∑D,I,G,S,LP(D)P(I)P(G|I,D)P(S|I)P(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)∑LP(L|G)∑D,I,G,SP(D)P(I)P(G|I,D)P(S|I)⋅1∑D,I,GP(D)P(I)P(G|I,D)∑SP(S|I)������������1⋯1 ∑LP(L|S)=1 ，这是 CPD（conditional probability distribution）的性质（也即对条件概率分布的一行进行求和）；