朴素贝叶斯

优点:在数据少的情况下仍然有效,可以处理多类别问题。

缺点:对于输入数据的准备方式较为敏感。

适用数据类型:标称型数据。

使用条件概率来分类

贝叶斯决策理论计算两个概率p1(x,y)和p2(x,y):

·如果p1(x,y) > p2(x,y),那么属于类别1;

·如果p2(x,y) > p1(x,y),那么属于类别2。具体的,应用贝叶斯准则得到:p(ci|x,y)=p(x,y|ci)P(ci)/p(x,y)

  由统计学得知,如果每个特征需要N个样本,那么对于10个特征将需要N10个样本,对于包含1000个特征的词汇表将需要N1000个样本。可以看到,所需要的样本数会随着特征数目增大而迅速增长。如果特征之间相互独立那么样本数就可以减少到Nx1000。

朴素贝叶斯分类器的两个假设:特征之间相互独立;每个特征同等重要。(有瑕疵,需改进)

贝叶斯分类模型: 

贝叶斯分类器:

注意点:各特征量值很有可能接近于0,用1+p(w|c)来解决。

原文地址:https://www.cnblogs.com/ryuham/p/4186544.html