参考资料：
http://blog.csdn.net/zlbflying/article/details/48134955
http://www.tuicool.com/articles/MRbee2i
http://www.tuicool.com/topics/11020131
线性回归求价值函数最小，即求以权值为变量的函数的最小值。理论上可用最小二乘法，但其因需要求导，计算机一般无法完成，所以用牛顿法或梯度下降法求解。
梯度下降法可推导出下降最快的方向，通过该方向来更新参数值。
- 推导出的方向每次更新时用到了所有的样本——批处理梯度下降算法，可用得到全局最优解，但运算量大
- 因此可用每次更新时只用一个样本来更新参数——随机梯度下降算法，减少运算量，但可能在某些样本点使参数更新剧烈变化
线性回归，假设函数
价值函数
梯度下降法求价值函数的参数：步长（学习率）、梯度、迭代