CNN训练算法
同一般机器学习算法，先定义Loss function，衡量和实际结果之间差距。找到最小化损失函数的W和b，CNN中用的算法是SGD。SGD需要计算W和b的偏导，即使用链式法则。
梯度下降算法
1）标准梯度下降法：
标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值
2）随机梯度下降法：
随机梯度下降随机抽取一个样本来计算误差，然后更新权值
3）批量梯度下降法：
批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。
卷积神经网络优缺点：
1）优点
共享卷积核，对高维数据处理无压力
无需手动选取特征，训练好权重，即得特征
深层次的网络抽取图像信息丰富，表达效果好
2）缺点
需要调参，需要大样本量，训练最好要 GPU
物理含义不明确
正则化（Dropout）
神经⽹网络学习能⼒力强可能会过拟合
Dropout( 随机失活) ) 正则化：按一定的概率值随机失活一些连接权重值。