单变量线性回归
纲要
- 代价函数
- 梯度下降算法
- 全局最优与局部最优
代价函数
函数定义：
[J( heta_0, heta_1,...)=frac{1}{2m}sum_{i=1}^{n}(h_ heta(x^{(i)})-y^{(i)})^{2}
]
代价函数是为了寻找假设函数(h( heta))上的最佳参数( heta)，以期得到一个更符合实际情况的假设函数。
梯度下降算法
数学公式定义：
[ heta_j := heta_j - alphafrac{delta}{delta heta_j}J( heta_0, heta_1,..., heta_n)
]
其中(alpha)是学习率Learning Rate，而(frac{delta}{delta heta_j})就是代价函数(J( heta))的斜率。
梯度下降算法是在函数某一点上寻找下降最快的途径，然后递归在下一个点中继续寻找。由于斜率越接近局部最优点时越小，所以它的下降速度也会越来越小。梯度下降算法对各个参数的优化是同时的，所表现的形式如下：
(temp0 := heta_0 - alphafrac{delta}{delta heta_0}J( heta_0, heta_1,..., heta_n))
(temp1 := heta_1 - alphafrac{delta}{delta heta_1}J( heta_0, heta_1,..., heta_n))
( heta_0 := temp0)
( heta_1 := temp1)
可以看出，梯度算法需要同步更新各个参数变量。同时，梯度下降算法寻找的是一个局部最优点，而线性回归模型存在全局最优点，因此它需要尽可能地遍历所有的训练集，从所有的局部最优点中比较出全局最优点。
局部最优和全局最优
我想用NG课件里的几幅图可以很好的表示这两个概念：
这是其中一个局部最优途径
这是另一个局部最优途径
线性回归模型存在全局最优