【bayes】贝叶斯估计与最大似然估计

http://qinshaoq.blog.ustc.edu.cn/?p=47

 

参考：

http://www.swarmagents.cn/files/jake2010122162119.pdf

 

设数据为D，变量为x，决定概率分布的参数为μ

似然函数：p(D|μ) {p(D|μ)=p(x1|μ)p(x2|μ)...p(xn|μ)，若将μ看作变量，则为μ的函数，但这并非关于μ的分布函数，且没有归一化}

后验概率分布：p(μ|D) = p(D|μ)p(μ) / constant   {关于μ的函数，即μ所服从的概率分布}

1. 用MLE方法只能估计出使得似然函数最大时的μ值，而基于Bayes的后验概率法则可以求出μ的后验概率分布。若需要求得最优的μ则可以用MAP来获得。

2. MLE求出最优的参数μ后带回p(x|μ)中，可以对下一个x进行预测。而在Bayes框架中，μ的后验概率分布则可以灵活的使用，如p(x|D) = p(x|μ)p(μ|D)。当然也可以用MAP求出μ后，像MLE一样带回p(x|μ)中去预测。

http://hi.baidu.com/brianlanbo/item/0c21e0fe6e62dd683d14854f