1.调试
1.1 超参数调试重要性顺序：
1. $alpha$
2.$eta$, hidden units, mini-batch size
3.layers, learning rate decay
其他：若采用adam，则直接设定$eta_{1}=0.9, eta_{2}=0.999, epsilon=10^{-8}$
1.2 为超参数选择合适范围
当超参数变化范围是[1,4]时，很显然可以采用在区间内取均值的方法。
但是，考虑学习率的变化范围，例如[0.0001, 1],此时如果在区间内随机均匀取值显然是不合理的。解决方法是我们可以在$[log_{10}^{0.0001},log_{10}^{1}]$内，即[-4, 0]内随机均匀取值。
类似的，当考虑$eta$的区间为[0.9, 0.999]时，我们可以将$1-eta$在[0.1, 0.001]内随机均匀取值。
1.3 两种超参数训练方法：pandas，caviar
panda：耐心在训练过程中一天天观察效果并调试参数
caviar：一次训练多个具有不同超参数的模型
2. batch归一化
batch norm会有一点正则化的效果，mini-batch size越大，正则化效果越小