不仅仅只有梯度下降算法——计算代价函数和θ编导数

问题：

给出代价函数J(θ)，需要最小化J(θ)

给出初始θ后，我们需要反复计算

[Jleft( heta  ight)]

[frac{partial }{{partial { heta _j}}}Jleft( heta  ight)]

梯度下降算法：

重复{

[{ heta _j}: = { heta _j} - alpha frac{partial }{{partial { heta _j}}}Jleft( heta  ight)]

}

优化算法有

• Conjugate gradient
• BFGS
• L-BFGS

这三个算法的优势有

• 不需要人工选择α
• 通常比梯度下降算法更快

缺点

• 更复杂