线性回归算法学习器如下，其中n为特征数目, $x_{0}=1$
$h_{\theta}(x)=\sum\limits_{i=0}^{n}(\theta_{i}x_{i})$
求$\theta$最优解使得该学习器对样本的训练偏差最小，其中m为样本数目
$\min\limits_{\theta} J(\theta)=\frac{1}{2}\sum\limits_{j=1}^{m}(h_{\theta}(x^{(j)})-y^{(j)})^{2}$
解法一： 迭代梯度下降算法
使用梯度下降算法迭代更新$\theta$
$\theta_{i} := \theta_{i} - \alpha\frac{\partial}{\partial\theta_{i}}J(\theta)$
$\theta_{i} := \theta_{i} - \alpha\sum\limits_{j=1}^{m}(h_{\theta}(x^{(j)})-y^{(j)})*x_{i}^{j}$
这是标准的梯度下降算法，缺点是每一次迭代都需要用到所有样本。
下面为梯度下降算法的一个简化
for j = 1 to m
对所有i：$\theta_{i} := \theta_{i} - \alpha(h_{\theta}(x^{(j)})-y^{(j)})*x_{i}^{j}$
每次加入一个样本，来更新所有参数，这个算法可以用于大量样本的训练，缺点自然是每次迭代并不是真正的梯度下降。
解法二： 矩阵梯度求解
另一种方式是通过矩阵运算直接算出$\theta$
$\min\limits_{\theta} J(\theta)=\frac{1}{2}(X\theta-Y)^{T}(X\theta-Y)$
目标变为求解$\theta$使得梯度为0：$\nabla_{\theta}J(\theta) = \vec 0$
通过矩阵运算推导得出
$\nabla_{\theta}J(\theta) = X^{T}X\theta-X^{T}Y = \vec 0$
$\theta=(X^{T}X)^{-1}X^{T}Y$
解法三： 线性代数求解
一般情况下我们是无法最小化方差为0，也就是说不存在$\theta$使得$X\theta=Y$有解。
那么让Y投影到X对应的向量空间上，假设这个投影向量是$X\theta$，那么投影向量对应的$\theta$就是我们要的最优解，根据点到平面的最短距离为垂直距离, 它使得$X\theta$与Y的距离最小。
同时，我们有
$X^{T}(Y-X\theta)=0$ 其中 $Y-X\theta$ 为垂直于向量空间A的误差向量，它与$X^{T}$点乘为0.
于是可以求出$\theta=(X^{T}X)^{-1}X^{T}Y$