Maximum Likelihood 最大似然估计

这个算法解决的问题是，当我们知道一组变量的密度分布函数与从总体采样的个体的时候，需要估计函数中的某些变量。

假设概率密度函数如下：

$mathcal{L}( heta\,;\,x_1,ldots,x_n) = f(x_1,x_2,ldots,x_n;|; heta) = prod_{i=1}^n f(x_i| heta).$

一般来说，为了计算的方便性，我们会采取对数的方式

$lnmathcal{L}( heta\,;\,x_1,ldots,x_n) = sum_{i=1}^n ln f(x_i| heta),$

现在的目标是要使得上面函数取最大值，自变量为Θ，并且可以是一个向量。

求上面函数最大值，需要用到函数的一阶导数，求极值点，最终判断所要求的点。

Reference:

http://en.wikipedia.org/wiki/Maximum_likelihood