先说结论，贝叶斯分类=最大化后验概率。
给定样本(x)和所属类别(c)，贝叶斯最优分类器欲最大化后验概率(P(c|x))。想实现这个目的可以通过判别模型（如决策树、支持向量机等，直接对后验概率建模），或生成模型（对联合概率(P(x,c))建模）。
对于生成模型，考虑：
[P(c|x)=frac{P(x,c)}{P(x)}
]
根据贝叶斯公式：
[P(c|x)=frac{P(c)P(x|c)}{P(x)} varpropto P(c)P(x|c)
]
问题转化为根据训练数据来学习先验概率(P(c))和似然值(P(x|c))。
先验概率是好求的，根据大数定律，只要样本足够多，那么(P(c))近似等于各类别样本占样本空间样本数的比例。
(P(x|c))涉及到关于(x)所有属性的联合概率，直接根据频率估计是不行的，属性空间的所有可能事件往往远大于样本空间。求似然值(P(x|c))一般用极大似然估计，假设其服从某种分布，然后从训练数据中学习分布参数。缺点就是需要对这种分布做出很好的估计，否则学习效果欠佳。
为了避开似然(P(x|c))所有属性联合概率这个障碍，朴素贝叶斯分类器就假设所有属性相互独立，半朴素贝叶斯分类器假设属性间有依赖，但只依赖一个“父属性”，贝叶斯网则用有向无环图(mathcal DAG)刻画属性间的依赖关系，并使用条件概率表描述属性间的联合概率分布。一个贝叶斯网由结构(B)和参数(Theta)构成，参数学习简单，而结构学习则是NP难问题，两种方法近似求解最优网络结构：（1）贪心法，每次调整一条边直到评分函数不再变化（评分函数的设计包含了我们对模型的归纳偏好）（2）给网络结构施加约束减少搜索空间，比如限定为树形结构。贝叶斯网的推断也是NP难问题，一般近似推断常用吉布斯采样，或者变分推断。