共轭梯度(Conjugate Gradient,CG)算法

以下皆为从网络资料获取的感性认知

共轭定义

共轭在数学、物理、化学、地理等学科中都有出现。 本意:两头牛背上的架子称为轭,轭使两头牛同步行走。共轭即为按一定的规律相配的一对。通俗点说就是孪生。在数学中有共轭复数、共轭根式、共轭双曲线、共轭矩阵等。

求解目标

共轭梯度法是数值分析里面一类非常重要的方法,是用来解决无约束凸二次规划问题的一种方法
方法的目的就是通过迭代求得多元二次函数 [公式] 的极值点

基本思想

每个方向上只找一次,对于 [公式] 维空间就进行 [公式] 次计算,也就是说,我每个方向上都能走到极致,这样我就不会走任何的回头路了,效率也就最高。那么是如何实现的呢?如果每个方向上都是正交的,我肯定就是在这个方向上走到极致了,这样方向也就确定了,也就是每一次都走正交方向,然后再确定每次的步长就可以了。

西瓜比方
https://blog.csdn.net/lusongno1/article/details/78550803

抽象图

原文地址:https://www.cnblogs.com/How-Come/p/14841302.html