最小二乘法

简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小

θ表示要求的参数，Yi为观测值(向量)，f（xi|θ)为理论值。

用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。并且对于新的输入样本，当有了参数估值后，带入公式可以得到输入样本的输出。

多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

极大似然估计

当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

当样本为独立同分布时，似然函数可简写为L(α)=Πp(xi;α)，牵涉到乘法不好往下处理，于是对其取对数研究，得到对数似然函数l(α)=ln L(α)=Σln p(xi;α)

同样使用多元函数求极值的方法。