朴素贝叶斯模型

贝叶斯法则/贝叶斯定律/定理：

P(Y|X)=P(X|Y) P(Y) / P(X) 

 在某个背景证据 e 上使用一个更加通用版本的条件化公式：

P(Y|X,e)=P(X|Y,e) P(Y|e) / P(X|e) 

贝叶斯法则运用：

Useful for assessing diagnostic probability from causal probability:

P(Cause|Effect) = P(Effect|Cause) P(Cause) / P(Effect)

 

E.g., let M be meningitis, S be stiff neck:

P(m|s) = P(s|m) P(m) / P(s) = 0.8 × 0.0001 / 0.1 = 0.0008

Note: posterior probability of meningitis still very small !

 

一个牙科的例子说明了一类普遍出现的模式，在其中单个原因直接影响许多结果，所有这些结果在给定原因时都是彼此条件独立的（在给定原因时，结果之间相互独立）。全联合分布可以写成如下被称为朴素贝叶斯模型的概率分布（其中，Cause 表示原因，Effict_i 表示第 i 个结果）。

 

“朴素”是因为这个模型经常用于（作为模型的简化假设）“结果”变量在给定变量下不是条件独立的情况。

（朴素贝叶斯模型有时被称为贝叶斯分类器，一个多少有些粗心的用法，促使一些真正的贝叶斯支持者们将其称为傻瓜贝叶斯模型。）

在实际中，基于朴素贝叶斯模型的系统工作得令人惊讶的好——即使当独立性假设不成立时。

域中直接因果关系产生的条件独立性可能允许将全联合分布分解成较小的条件概率。

朴素贝叶斯模型假设在给定单一的原因变量后，所有的结果变量都是条件独立的，其规模随结果个数呈线性增长。 

【References】

[1]  Artificial Intelligence _A Modern Approach(Second Edition)