[DL]优化算法

一、优化算法：我们知道，经过网络层的计算后，计算结果可能距离真值很远，此时，我们需要通过优化算法来不断调整计算值，使其最终的计算结果——预测值，与真值中的差异尽量小。

二、优化算法举例：

1、梯度下降：

Mini-batch梯度下降：用子训练集进行梯度下降

batch梯度下降：用整个训练集进行梯度下降

随机梯度下降：将一个样本当做一个子训练集