问题：给定一些样本X，给定一个参数theta的先验概率p(theta)，如何建模估计x上的密度？
——————————————————————————————————————————
根据贝叶斯规则，为了估计x上的密度，有：
p(x | X) = ∫p(x, theta | X)d(theta)
= ∫p(x | theta, X)*p(theta | X)d(theta)，由于如果给定了theta也就知道了X的分布
= ∫p(x | theta)*p(theta | X)d(theta)
实际问题是theta存在概率上的变化，所以p(theta | X)有一个概率形式，若p(theta | X)是一个复杂的形式，那么积分实在太难。
若做一个很简单的假定，只取theta在样本中（即p(theta | X))出现的众数，则p(theta | X)恒为1，式子就是一个似然估计。这种假定使得最大后验(maximum a posteriori, MAP)估计计算容易：
p(x | X) = p(x | thetaMAP) ，其中thetaMAP = arg maxp(theta | X)。
然后这种假定确实过于简单粗暴了......
然而，另一种可能的方法贝叶斯估计登场的，贝叶斯估计被定义为后验概率的期望值。首先它做了参数theta的期望，可以用E[theta] = µ来预测。假设c是theta的估计，则
E[(theta - c)2] = E[(theta - µ + µ - c)2] = E[(theta - µ)2] + (µ - c)2
此时c = µ，值最小，在theta为正态密度情况下，众数是µ。此时贝叶斯估计和前面的MAP一致了。
特殊例子，x服从N(theta, σ12)分布，theta又服从N(µ, σ22)分布，那么
可证p(theta | X)也是是正态的。
（待补充）