pattern recognition and machine learning基本思想1：最大似然估计

在prml中，解决问题最常用的方法之一就是最大似然法，这里对该方法进行简单的介绍。

Example 1: 高斯分布: Unknown $tex: \textbf{\mu}$

样本均值为 $tex: \textbf{\mu}$ 协方差矩阵 $tex: \Sigma$ . 均值未知. $tex: x_k$ 为样本点.

$\ln p(\textbf{x}_k|\textbf{\mu}) = -\frac{1}{2} \ln \[(2\pi)^d|\Sigma|\] - \frac{1}{2} (x_k - \mu)^t \Sigma^{-1} (x_k - \mu)$

$\nabla_{\mu} \ln p(x_k|\mu) = \Sigma^{-1}(x_k-\mu)$

另求导公式等于0, 得到

$tex: \sum_{k=1}^n \Sigma^{-1} (x_k-\hat{\mu}) = 0$

进一步得到

$tex: \hat{\mu} = \frac{1}{n} \sum_{k=1}^n x_k$

Example 2: The Gaussian Case: Unknown $tex: \textbf{\mu}$ **and ** $tex: \Sigma$

在这个例子中均值 $tex: \textbf{\mu}$ 和协方差矩阵 $tex: \Sigma$ 都是未知的. 使用数学负号表示 $tex: \theta_1$ = $tex: \textbf{\mu}$ ， $tex: \theta_2$ = $tex: \sigma^2$ .

$\ln p(x_k|\theta) = -\frac{1}{2} \ln 2\pi\theta_2 - \frac{1}{2\theta_2}(x_k - \theta_1)^2$

对上面式子求导：

$\nabla_{\theta}l = \nabla_{\theta} \ln p(x_k|\theta) = [ \frac{1}{\theta_2}(x_k - \theta_1) ; -\frac{1}{2\theta_2} +\frac{(x_k-\theta_1)^2}{2\theta_2^2}].$

让上面的式子等于 0, 得到

$\sum_{k=1}^n \frac{1}{\hat{\theta_2}}(x_k-\hat{\theta_1}) = 0$

and

$-\sum_{k=-1}^{n} \frac{1}{\hat{\theta_2}} + \sum_{k=1}^n \frac{(x_k-\hat{\theta_1})^2}{\hat{\theta_2}^2} = 0$

$tex: \hat{\theta_1}$ 和 $tex: \hat{\theta_2}$ 是 $tex: \theta_1$ 和 $tex: \theta_2$ 的最大似然估计. $tex: \hat{\mu}$ = $tex: \hat{\theta_1}$ $tex: \hat{\sigma}^2$ = $tex: \hat{\theta_2}$ , 得到

$tex: \hat{\mu} = \frac{1}{n} \sum_{k=1}^n x_k$

和

$tex: \hat{\sigma}^2 = \frac{1}{n} \sum_{k=1}^n(x_k - \hat{\mu})^2.$