数 学 老 师 不 给 窝 推 式 子 窝 要 疯 了 啊 啊 啊 ！
最小二乘法，又称最小平方法，是一种优化方法。
可以通过求目标函数最值、解决曲线拟合问题来最终解决回归问题。
回归问题，就是对于一组数据，画出散点图后$(x_i,y_i)$，寻找一个函数$f(x)$使$Q=sum_{i=1}^{n}(y_i-f(x_i))^2$最小，
即最小化误差的平方和。
这里以线性模型为例(因为高中数学就讲线性模型)
$y_i=kx_i+b+e_i$，其中$e_i$就是这个点所造成的误差。
$e_i=y_i-b-kx_i$
其中我们的目标就是最小化:
$Q=sum_{i=1}^n e^2 = sum_{i=1}^n(y_i-b-kx_i)^2$
做法就是，
对于$b,k$分别求偏导，得到
$$
left{
egin{array}{}
frac{partial Q}{partial b } & = & 2 sum_{i=1}^n &(b+kx_i-y_i) & = & 0 \
frac{partial Q}{partial k } & = & 2 sum_{i=1}^n &x_i(b+kx_i-y_i) & = & 0 \
end{array}
ight.$$
然后就是导数$=0$的时候是最值。
这样就解一个二元一次方程组就能得到结果了。