此部分内容接02(a)多元无约束优化问题的内容！
第一类：最速下降法(Steepest descent method)
[f({{mathbf{x}}_{k}}+mathbf{delta })approx f({{mathbf{x}}_{k}})+{{ abla }^{T}}f({{mathbf{x}}_{k}})cdot mathbf{delta }]
要使新找到的一点${{mathbf{x}}_{k}}+mathbf{delta }$的函数值小于原来点${{mathbf{x}}_{k}}$的函数值，即：
[f({{mathbf{x}}_{k}}+mathbf{delta })-f({{mathbf{x}}_{k}})={{ abla }^{T}}f({{mathbf{x}}_{k}})cdot mathbf{delta }=left| abla f({{mathbf{x}}_{k}}) ight|cdot left| mathbf{delta } ight|cos heta <0]
其中$ heta $为梯度向量$ abla f({{mathbf{x}}_{k}})$和方向向量$mathbf{delta }$的夹角，由上式可见当$ heta =pi $时$f({{mathbf{x}}_{k}}+mathbf{delta })$
与$f({{mathbf{x}}_{k}})$的差值在满足(8)式的情况下达到最大，即$mathbf{delta }$应取与梯度向量相反的方向$- abla f({{mathbf{x}}_{k}})$。故此时使函数$f(mathbf{x})$在点${{mathbf{x}}_{k}}$下降速度最快的方向为：
${{d}_{k}}=- abla f({{mathbf{x}}_{k}})$。
Step3：通过Step2确定下降方向${{mathbf{d}}_{k}}$之后，$f({{mathbf{x}}_{k}}+{{alpha }_{k}}{{mathbf{d}}_{k}})$可以看成${{alpha }_{k}}$的一维函数，这一步的主要方法有(Dichotomous search, Fibonacci search, Goldensection search, quadratic interpolation method, and cubic interpolation method)；所确定一个步长${{alpha }_{k}}>0$，${{mathbf{x}}_{k+1}}={{mathbf{x}}_{k}}+{{alpha }_{k}}{{mathbf{d}}_{k}}$；
Step4： if走一步的距离$left| {{alpha }_{k}}{{mathbf{d}}_{k}} ight|<varepsilon $，则停止并且输出解${{mathbf{x}}_{k+1}}$；else $k:=k+1$并返回Step2，继续迭代。