梯度下降中的步长选择-线性搜索

固定步长的时候往往不能很快的梯度下降。

所以步长的选择也很重要。

下面的dk是搜索方向，在梯度下降中就是负梯度方向。

在这里是假设了h（a）是连续可导的函数，一般情况下也是这样。

找到合适的a有几种方式

1.简单的二分搜索

2.回溯法线性搜索

上式中小于等于号右边的式子是小于f（xk）的，因为dk是跟异号的。

回溯的时候可以不断的除以2，c1可以取值0.3

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/fisherinbox/p/6492890.html