①BP神经网络：
参考：李宏毅 slides DNN backprop.pdf
②优化：
1. mini-batch: 小批量梯度下降
2. 设置 validuation data：调节超参数
3. activation function: Relu， leakly Relu， PRelu，maxout
4. loss function：softmax + 交叉熵代价函数 ——> 分类问题
二次代价函数 + 正则项 ——> 回归问题
5. normlization（输入/特征归一化）
6. 规范化：加入正则化项（L1，L2） ——> 寻找小的权重与最小化原始代价函数的折中
7. 权重初始化：W ——> 均值：0，方差：1/更号n
b ——> 均值：0，方差：1
8. 梯度优化：learning rate vallina GD
Adagrad
动量Momentum ，三者见 Deep More (v2).pdf
9. 增加训练数据集（旋转15 °，扭曲，清除背景噪音等）
10. early stopping (提早终止)
11. 权重衰减：w(t+1) <—— (1-tau * lambda) w(t) - tau * ▽C(w)
12. Dropout（训练阶段）:如同训练大量不同网络的平均。