一、基本思想
“模型已定，参数未知”
假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。
我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。
现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后再放回罐中。
这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。
假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？
我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀
所以每次抽出来的球的颜色服从独立同分布。题目中在一百次抽样中，七十次是白球的概率是P(Data|M)
这里Data是所有的数据，M是所给出的模型表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1，第二抽样的结果记为x2
那么Data = (x1,x2,…,x100)。这样:
(P(Data | M) = P(x1,x2,...,x100|M)= P(x1|M)P(x2|M)...P(x100|M) = p^{70}(1-p)^{30})
那么p在取什么值的时候，上述值最大呢？
二、极大似然估计计算步骤
1）建立似然函数L，如果随机变量是离散型的，似然函数即各个概率相乘，如果随机变量是连续型，即各个概率密度相乘
2）使L最大
a）取对数
b）求导
c）另导数为0
上述公式
取对数后：(70lnp + 30ln(1-p))
求导：(frac{70}{p} + frac{30}{p-1})
令导数为0：(p = 0.7)
上述就是极大似然估计的求解过程