朴素贝叶斯模型(NB model)

　　本节开始介绍第一个生成式模型：朴素贝叶斯模型(NB model)。生成式模型与判别式模型的区别在于，生成式模型对样本的联合分布建模:

因此我们需要求出样本的类别分布p(y)与，样本类概率分布p(x|y)。生成式模型的困难在于p(x|y)计算，有时我们很难去估计类概率分布。因此，我们会做出一些假设，Naive Bayes Assumption 是指：样本在给定类别的条件下，各个特征之间相互独立：

根据p(x_i|y)分布的假设不同，我们可以分成两种假设模型：muti-variate Bernouli model 与 multinomial event model，以下将分两个部分介绍这两种模型。

　　1.muti-variate Bernouli model

　　这种模型对应于文本分类中，特征权重是BOOL型表示方法，仅关心文本中是否出现某个词。假设当前样本集的字典V=[v₁,v₂,v_3...v_|k|]，字典的每一个词对应一次Bernouli实验。对于某个样本x=[t₁,t_2,t₃...t_|v|]，其类概率密度：

记Θ_i|j=p(t_i|c_j),Θ_j=p(y=c_j)。因此样本的联合概率分布可以写成：

对于训练集{(x_k,y_k)}(k=1,2,3,...m)，其最大似然估计：

其中满足条件:

采用拉格朗日乘子法，可以求得：

　　2.Mutinomianl event model

　　多项式模型对应文本中的词频特征权重（Term Frequency），不仅关系某个词是否出现，而且还关心起在文档里出现的次数。假设一篇文档x=[w₁,w₂,...w_|h|,...w_|x|]其中w_|h|表示文档x第h个单词，在贝叶斯假设下类概率密度函数：

使用词典模型表示该篇文档x=[t1,t2,...t|v|]，其中t_i表示字典第i个词在文档中出现的次数，因此上式可以改下成：

因此，样本的联合概率分布：

对于样本集：D={(x_k,y_k)}(k=1,2...N)，最大似然估计：

其中满足条件：

采用拉格朗日乘子法：

　　ps:老板写的Naive Bayes开源工具，上面的推导也是老板的一个课件内容整理。