数据集划分：train/dev/test 训练集、验证集、测试集三部分。（当没有测试集的时候，也把验证集叫做test sets）.训练集：训练算法模型。验证集：验证不同算法的表现情况，选择最佳算法模型。测试集：测试最好算法的实际表现，作为该算法的无偏估计。（泛化能力）
样本量<10000,6: 2：2。 样本量很大如100万，则98%：1%：1%。
正则化：
L1范数（也称参数洗属性惩罚），绝对值相加，限制参数数值之和，w更加稀疏：指更多零值；虽然L1得到W更稀疏但求导复杂。
L2范数（也称权重衰减），限制参数平方和，平方和开方，L2正则化更常用，求导只用到自身。
dropout: keep_prob=0.8(该层有80%神经元的输出随机置0，通过伯努利分布生成向量点乘实现) 。（dropout只是训练模型使用，测试和实际应用模型不需要），相当于多种网络的融合，减少神经元之间依赖性，更加robust.（是一种正则化技巧）。
数据增广 （data augmentation）:添加样本噪声和数量。扭曲，翻转，旋转，缩放。
early stopping：随迭代次数增加，训练误差变小（偏差），但是验证误差增加（方差）。选择合适迭代次数。缺点：损失函数值不够小。优点：防止过拟合。没有L2正则化效果好（更常用）。
方差和偏差：方差：过拟合。偏差：欠拟合。训练误差体现了是否出现偏差，验证误差（应该是验证误差和训练误差的差值）体现是否过拟合。传统机器学习中方差和偏差是对立的（正交化），而深度学习在复杂网络和海量训练样本条件下，可以同时有效减小偏差和方差恰好可以解决这个问题。
BN：
batch normalization（批标准化），其实是对Z处理，引入了γ和β参数，相当于添加了随机噪声，效果类似dropout
梯度消失或梯度爆炸
mini_batch gradient descent :
batch ：所有m个样本。minibatch: m/n个样本（minibatch_size=m/n）.
所有样本进行一次梯度下降计算：称为经历一个epoch。
指数加权平均：
优化梯度下降算法速度的方法
动量梯度下降算法：
RMSprop:
Adam（adaptive moment estimation）:上两种的结合。
学习因子衰减：（学习因子：最重要的参数）
超参调试：均匀随机取样及非均匀随机取样（线性尺度与log尺度变换），放大取样区数据量。
covariate shift：协变量偏移，训练样本每一批都有不同的分布，且每层的输出也是如此，数据分布波动很大，和测试样本的变化。而BN恰好可以减弱这种问题对于模型泛化的影响。
softmax regression: 输出层神经元输出表示该类的概率。dL/dz=a-y（同二元分类）
机器学习其实是解决两个问题：
1.定义一个评价分类器性能的指标（metric） （F1 Scorce=2·P·R/（P+R）），优化指标和满意指标。
2.如何取提升指标
解决偏差的方法：
1,训练更大的模型
2.训练更长时间或更佳的优化算法：如动量。。。
3.神经网络架构及超参调试
解决方差办法：
1更多样本
2正则化：L2,dropout, data augmentation
3.神经网络架构及超参调试
如何区分是否出现偏差方差，还是训练集与验证/测试集分布不一致？：train_dev error。
迁移学习：预训练权重加载，仅改变后面某几层权重，冻结前面权重，训练模型。然后再解冻，finetune。只需改变输入、输出及输出层的权重和偏置，不需改变隐层的权重和偏置，重新训练出输出层的权重和偏置。（当然如果新模型数据量陡增，也可以重新训练所有层的权重和偏置） （迁移学习还可以增加新模型数据量少时训练结果的鲁棒性，迁移学习的前提是输入相同，如都是图片。）
多任务学习：用一个融合的神经网络模型实现多种分类效果，如行人、车辆、交通标志、信号灯。输出维度为（C,1）。
与softmax regression区别是：多任务学习是多标签的，标签向量y可以有多个元素为1 ，而softmax regression标签向量y只有一个元素为1。
端到端模型（end to end）：将所有阶段如特征、学习处理等模块混合在一起，只关心输入和输出。（缺点：需要大量数据，排除了潜在的有用的人工设计。优点：让数据说话，需要手动设计的模块更少）