朴素贝叶斯分类(上)

1.贝叶斯原理:
它是建立在主观判断的基础上:在我们不了解所有客观事实的情况下,同样可以先估计一个值,然后根据实际结果不断进行修正。

先验概率:通过经验来判断事情发生的概率

后验概率:发生结果之后,推测原因的概率。

条件概率:事件 A 在另外一个事件 B 已经发生条件下的发生概率,表示为 P(A|B),读作“在 B 发生的条件下 A 发生的概率”。

似然函数(likelihood function):
你可以把概率模型的训练过程理解为求参数估计的过程。举个例子,如果一个硬币在 10 次抛落中正面均朝上。那么你肯定在想,
这个硬币是均匀的可能性是多少?这里硬币均匀就是个参数,似然函数就是用来衡量这个模型的参数。似然在这里就是可能性的意思,
它是关于统计参数的函数。

贝叶斯公式:
假设有一种病叫做“贝叶死”,它的发病率是万分之一,即 10000 人中会有 1 个人得病。现有一种测试可以检验一个人是否得病的准确率
是 99.9%,它的误报率是 0.1%

A:表示事件“测出为阳性”
B1:表示“患有贝叶死”
B2:表示“没有患贝叶死”

(1) 患有贝叶死的情况下,测出为阳性的概率为P(A|B1) = 99.9%
(2) 没有患有贝叶死,测出为阳性的概率为P(A|B2) = 0.1%
(3) 患有贝叶死的概率为P(B1) = 0.01%
(4) 没有患贝叶死的概率为P(B2) = 99.99%

==>检测出来为阳性,而且是贝叶死的概率P(B1,A) = p(B1)*p(A|B1) = 0.01%*99.9% = 0.00999%
==>检测出来为阳性,而且不是贝叶死的概率P(B2,A) = p(B2)*p(A|B2) = 99.99%*0.1% = 0.09999%

===>检查为阳性,患有贝叶死的概率P(B1|A) = 0.01% / (0.01% + 0.1%) = 9%
===>检查为阳性,但没有患有贝叶死的概率P(B2|A) = 0.1% / (0.01% + 0.1%) = 90.9%

我们把(0.01% + 0.1%)均出现在计算P(B1|A) 和 P(B2|A) 时的分母位置上的叫做论据因子,也相当于一个权值因子!

基于刚刚计算P(B1|A) 和 P(B2|A)的方法,我们总结出贝叶斯公式为:

              

  由此,我们可以得出通用的贝叶斯公式:

              

2.朴素贝叶斯:
它是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯,是因为它假设每个输入变量是独立的。这是一个强硬的假设,
实际情况并不一定,但是这项技术对于绝大部分的复杂问题仍然非常有效。

朴素贝叶斯模型由两种类型的概率组成:
(1) 每个类别的概率P(Cj);
(2) 每个属性的条件概率P(Ai|Cj)。

什么是类别概率和条件概率?
假设我有 7 个棋子,其中 3 个是白色的,4 个是黑色的。
那么棋子是白色的概率就是 3/7,黑色的概率就是 4/7,这个就是类别概率

假设我把这 7 个棋子放到了两个盒子里,其中盒子 A 里面有 2 个白棋,2 个黑棋;盒子 B 里面有 1 个白棋,2 个黑棋。
那么在盒子 A 中抓到白棋的概率就是 1/2,抓到黑棋的概率也是 1/2,这个就是条件概率,也就是在某个条件(比如在盒子 A 中)
下的概率。

在朴素贝叶斯中,我们要统计的是属性的条件概率,也就是假设取出来的是白色的棋子,那么它属于盒子 A 的概率是 2/3。

3.贝叶斯原理、贝叶斯分类和朴素贝叶斯三者之间的区别?
  贝叶斯原理是最大的概念,它解决了概率论中“逆向概率”的问题,在这个理论基础上,人们设计出了贝叶斯分类器,
朴素贝叶斯分类是贝叶斯分类器中的一种,也是最简单,最常用的分类器。朴素贝叶斯之所以朴素是因为它假设属性是相互独立的,
因此对实际情况有所约束,如果属性之间存在关联,分类准确率会降低。不过好在对于大部分情况下,朴素贝叶斯的分类效果都不错。
 

原文地址:https://www.cnblogs.com/mumupa0824/p/12097114.html