【机器学习模型】朴素贝叶斯

一、啥是贝叶斯公式

   1、公式定义:

       贝叶斯公式是由英国数学家贝叶斯发展,用来描述两个条件概率之间的关系,比如P(A|B)和P(B|A)。

       按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(B|A) = P(A|B)*P(B) / P(A),即为贝叶斯公式

       假设B是由相互独立的事件组成的概率空间{B1,b2,...bn}。则P(A)可以用全概率公式展开:P(A)=P (A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)。

       贝叶斯公式表示成:  P(Bi|A)=P(A|Bi)P(Bi)/(P(A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn));

       常常把P(Bi|A)称作后验概率,而P(A|Bn)P(Bn)为先验概率。而P(Bi)又叫做基础概率。

       贝叶斯公式可表示为:

                               贝叶斯公式

   2、公式进一步描述:

       事件A在事件B的条件下的概率,与事件B在事件A下的概率是不一样的,贝叶斯法则针对这两者的关系有了明确的陈述。 

       贝叶斯公式是关于随机事件A和B的条件概率和边缘概率的

       在贝叶斯公式中,每个名词都有约定俗成的名称:

       Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

       Pr(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。

       Pr(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。

       Pr(B)是B的先验概率或边缘概率,也作标准化常量(normalized constant)。

       按这些术语,贝叶斯法则可表述为:

       后验概率 = (似然度 * 先验概率)/标准化常量 也就是说,后验概率与先验概率和似然度的乘积成正比。

        另外,比例Pr(B|A)/Pr(B)也有时被称作标准似然度(standardised likelihood),Bayes法则可表述为:

       后验概率 = 标准似然度 * 先验概率

原文地址:https://www.cnblogs.com/suifengpiaoshan/p/10305391.html