梯度
什么是梯度？
导数：标量。各个反向都有，反映函数在给定方向的变化率。
偏导数：标量。是一种特殊的导数。沿自变量反向，反映函数在各自变量方向的变化率。
梯度：向量。由各个偏导数组成的向量。梯度的反向反映函数增长的方向
下面的箭头表示梯度：
梯度下降
图源：https://ruder.io/optimizing-gradient-descent/
局部极小值
ResNet可以平滑局部极小值：
鞍点
有可能求得的是某个维度的极小值，却是另一个维度的极大值。
影响求极小值的因素
初始状态
不同的初始状态对结果产生影响：
学习率
不再赘述
动量
使其具有保持原来运动方向的趋势。
