机器学习的优化目标
最小化损失函数：
模型——损失函数——表达式：
图示：
方法
梯度下降：
batch梯度下降：使用全部训练集样本，计算代价太高（n~10^6）
mini-batch梯度下降：随机采样一个子集（m~100或1000），随后使用如下公式：
mini-batch是无偏估计。更大的批量会减小梯度计算的方差。
随机梯度下降SGD：
使用mini-batch计算出结果后再根据梯度下降法的公式：
去更新参数，下一步再随机采样子集，重复该操作。此方法称为随机梯度下降（SGD）。
因此有说法：mini-batch是SGD的推广，通常所属SGD即是mini-batch。
因为是训练一次样本更新一次参数，所以梯度下降时通常呈振荡的形式，但大方向上还是下降趋势：
在SGD中学习率的设定是关键。
理论上保证SGD收敛的充分条件： 
。因此需要随着迭代次数的增加降低学习率。
设定学习率的方法：
梯度下降在实际应用中的问题
病态条件：
右图：假设周边都是悬崖，那么在进行梯度下降算法时会出现垂直下降的情况。
局部最小与全局最小：
右图所示，直观可以看出最小值在第三个凹处，然而在实际算法中根据设定起点不同，得到的“最小值”可能不是全局最小。
鞍点：
梯度为0，Hessian矩阵同时存在正值和负值；Heissan矩阵的所有特征值为正值的概率很低；对于高维情况，鞍点和局部最小点的数量多。如图所示：
在使用二阶优化算法会有问题。