Notation：
m=number of training examples
n=number of features
x="input" variables / features
y="output"variable/"target" variable
((x^{(i)}，y^{(i)})) = the ith trainging example
(h_ heta) = fitting function
一、梯度下降法（Gradient Descent）（主要）
其中(h_ heta(x)= heta_0+ heta_1x_1+...+ heta_nx_n=sum_{i=0}^{n}{ heta_ix_i}= heta^T)
假设损失函数为(J( heta)=frac{1}{2}sum_{i=1}^{m}{(h_ heta(x)-y)^2}) ， To minimize the (J( heta))
main idea: Initalize ( heta) (may ( heta=vec{0})) ,then keep changing ( heta) to reduce (J( heta)) ,untill minimum
Gradient decent:
只有一个样本时,对第i个参数进行更新 ( heta_i:= heta_i-alphafrac{partial }{partial heta_i}J( heta)= heta_i-alpha(h_ heta(x)-y)x_i)
Repeat until convergence(收敛):
{
( heta_i:= heta_i-alphasum_{j=1}^{m}(h_ heta(x^{(j)})-y^{j})x_i^{(j)}) ，(for every i)
}
矩阵描述（简单）：
Repeat until convergence(收敛):
{
( heta:= heta - abla_ heta J)
}
IF (Aepsilon R^{n*n})
tr(A)=(sum_{i=1}^nA_{ii}) :A的迹
(J( heta)=frac{1}{2}(X heta - vec{y})^T(X heta - vec{y}))
( abla_ heta J=frac{1}{2} abla_ heta ( heta^TX^TX heta- heta^TX^Ty-y^Tx heta+y^Ty) =X^TX heta-X^Ty)
备注：
当目标函数是凸函数时，梯度下降法的解才是全局最优解
二、随机梯度下降(Stochastic Gradient Descent )
Repeat until convergence:
{
for j=1 to m{
( heta_i:= heta_i-alpha(h_ heta(x^{(j)})-y^{j})x_i^{(j)}) ，for every i
}
}
备注：
1.训练速度很快，每次仅仅采用一个样本来迭代；
2.解可能不是最优解，仅仅用一个样本决定梯度方向；
3.不能很快收敛，迭代方向变化很大。
三、mini-batch梯度下降
Repeat until convergence:
{
for j=1 to m/n{
( heta_i:= heta_i-alphasum_{j=1}^{n}(h_ heta(x^{(j)})-y^{j})x_i^{(j)}) ，for every i
}
}
备注：
机器学习中往往采用该算法
参考地址：