朴素贝叶斯算法

看的头秃,生活艰难

由条件概率可得,P(wi | x) = P(wi, x) / P(x)

套贝叶斯公式得,P(wi | x) = P(x | wi) * P(wi) / P(x)

通过比较P(wi | x)的大小决定分为哪一类中,由于分母相同,所以转化为比较P(x | wi) * P(wi) 的大小, P(wi)表示分类为wi分类的概率, P(x | wi)表示x在wi分类下的概率,以单词组向量为例,假设单词组向量中的每个单词都是相互独立的,那么总的概率等于各个部分概率相乘,统计每个单词在wi分类下出现的次数 / wi分类中每篇出现的单词总数,然后相乘。(这种方法好像叫做拉普拉斯平滑)

由于相互独立后如果单词没有出现最终得到的概率为0,所以将概率相乘转化为概率相加,对数字去对数,同样有单调性,同时防止特征过多而造成数据相乘越来越小,最后为0的情况,同样也是用对数处理的方法,同时给分母加底数

参考资料

1、《机器学习实战》

2、https://www.cnblogs.com/lliuye/p/9178090.html

原文地址:https://www.cnblogs.com/lalalatianlalu/p/11332435.html