1 朴素贝叶斯法的学习与分类

Naive Bayes是基于贝叶斯定理和特征条件独立的假设的分类方法。对于给定的训练数据，首先基于特征条件独立学习输入和输出的联合概率分布，然后基于此模型，对给定的输入x利用贝叶斯定理求出后验概率最大的y。

1.1 基本原理

这里一张手写推导：

而这个P(ck|X=x)甚至可以是频率来估计。看下节部分。

2 参数估计

2.1 极大似然估计

先验概率P(Y=ck)的极大似然估计:

条件概率极大似然估计：

2.2 算法

2.3 贝叶斯估计

贝叶斯估计解决的问题：极大似然估计可能会出现所要估计的概率值为0的情况，使得后验概率出现偏差。
条件概率的贝叶斯估计是：

lambda>=0,相当于极大似然估计的每一个变量加上一个lambda，为0就是极大似然估计，常用值为1，这时称为拉普拉斯平滑（Laplace smoothing）。
证明其仍然为概率：

先验概率的贝叶斯估计为：

其中K是集合y中元素的个数，lambda是在Sigma之外的，不在连加符号内。
注意：Naive Bayes method是从训练数据学得P(X,Y)【P由P(X|Y)*P(Y)而得】生成的方法，是生成模型，有一个强假设：条件独立性。