《最优化导论》-8梯度方法

1.梯度迭代

a>0时,负梯度方向,是函数值下降方向

1.1梯度下降法

当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:

1)最速下降法

梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目标函数值最大程度的减少。

流程:初始迭代点出发,沿负梯度方向开展前面说的一维搜索,找到最优步长a,从而确定新的迭代出发点,不断这样,直至收敛(实际小于某些阀值即可)。

可以发现,最速下降法的相邻搜索方向,是正交的,证明:8.1。

2)二次型中的使用

则:

二次型中最佳步长解析式

瑞丽不等式:

 

 

原文地址:https://www.cnblogs.com/onenoteone/p/12441744.html