贝叶斯统计

第六章 贝叶斯估计
http://staff.ustc.edu.cn/~jbs/chapt6.pdf

统计推断中可用的三种信息 与 归纳推理 与 贝叶斯统计学

第一节 贝叶斯推断方法

一 、统计推断中可用的三种信息

美籍波兰统计学家耐曼(E.L.Lehmann1894－1981)
高度概括了在统计推断中可用的三种信息：

1. 总体信息，即总体分布或所属分布族给我们的信
   息。譬如“总体视察指数分布”或“总体是正态分
   布”在统计推断中都发挥重要作用，只要有总体信
   息，就要想方设法在统计推断中使用；
2. 样本信息，即样本提供我们的信息，这是任一种
   统计推断中都需要；
3. 先验信息，即在抽样之前有关统计推断的一些信
   息。譬如，在估计某产品的不合格率时，假如工厂保
   存了过去抽检这种产品质量的资料，这些资料（包括
   历史数据）有时估计该产品的不合格率是有好处的。
   这些资料所提供的信息就是一种先验信息。又如某工
   程师根据自己多年积累的经验对正在设计的某种彩电
   的平均寿命所提供的估计也是一种先验信息。由于这
   种信息是在“试验之前”就已有的，故称为先验信息。

贝叶斯统计学的基础

贝叶斯统计学的基础是著名的贝叶斯公式，它是英
国学者贝叶斯（T.R.Bayes1702~1761）在他死后二
年发表的一篇论文《论归纳推理的一种方法》中提
出的。经过二百年的研究与应用，贝叶斯的统计思
想得到很大的发展，目前已形成一个统计学派—贝
叶斯学派。为了纪念他，英国历史最悠久的统计杂
志《Biometrika》在1958年又全文刊登贝叶斯的这
篇论文。

++Probabilistic Language Models++

How to compute P(W)
• How to compute this joint probability:
– P(its, water, is, so, transparent, that, the)
• Intuition: let’s rely on the Chain Rule of
Probability

P(“its water is so transparent”) =
P(its) × P(water|its) × P(is|its water)
× P(so|its water is) × P(transparent|its water is so)

Markov Assumption

P(the | its water is sotransparent that) -=- P(the | transparent that)

避免过拟合