超参数搜索的策略
在深度学习中，超参数有很多，比如学习率α、使用momentum或Adam优化算法的参数（β1，β2，ε）、层数layers、不同层隐藏
单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数重要，其优先级可以分为以下几级，如图，红色
框最优先，橙色次之，紫色再次之，最后没有框住的一般直接取经验值。
1. 随机取值。
网格搜索的问题在于：无法预先判断哪个参数是比较重要的，因此将浪费大量的运算在没有明细作用的变量上。
2. 精确搜索
为超参数选取合适的范围
对于如神经网络隐藏层数这类超参数可以采用平均取值，但是对于类似学习率和指数加权平均中的超参数ββ这类超参数需要采用对数平均取值。
如对学习率取值时，学习率的变化范围为[0.001,1]，但是如果采用平均取值，则90%的都落在[0.1,1]的范围内，反而使得学习率不能在较大范围变化。因此采用对数取值，在区间[0.0001,0.001]、[0.001,0.01]、[0.01,0.1]和[0.1,1]内平均取值。 
假设指数加权平均中的beta参数取值范围为[0.9,0.999]，那么根据平均效果计算公式，在接近1的取值时，即使较小的变化所得结果的灵敏度会变化，即使beta只有微小的变化，而当参数接近0.9时，平均效果的变化并不明显。为了在更大的范围内探索可取值，采用对数平均取值。 
超参数搜索过程的两种方式
１. 在计算资源不足的情况下，单一模型上不断的尝试改变数值的设置
２. 在计算资源充足、数据丰富的情况下，可以尝试多种不同的模型并选择最好结果的模型
Batch normalization
Batch normalization归一化的作用在于它适用的归一化过程不只在输入层，同样适用于神经网络的深度隐藏层。采用Batch normalization归一化了一些隐藏层单元值的平均值和方差。
但是与输入层归一化不同，在隐藏单元中，一般不想设置0均值和单位方差，因为那样在激活函数中就只用到了线性部分，而没有充分的发挥激活单元的非线性作用。
一般把Batch normalization放在计算z和a之间，先对z进行BN处理，再通过激活函数。
Batch normalization 只能在mini-batch上计算均值和方差，因此在test时，需要一些细节操作。
整个forward计算过程：
Batch normalization的作用：
1. “Covariate shift”
BN限制了在前面层的参数更新会影响数值分布的程度，BN归一化减少了输入值改变的问题，并使得值的变化在固定的范围，使得值的变化更加稳定；同时也使得各个层之间的学习变得相互独立，有助于加速整个网络的学习；
2. regularization效果
在结合mini-batch使用时，由z[L]z[L]的计算转化为z˜[L]z~[L]，且均值和方差的计算也是由一小部分数据估计得出，因此存在稍微的偏差，使得类似于dropout一样，在隐藏层添加了噪音，使得隐藏单元的神经元不能过分的依赖任何一个隐藏单元，有稍微正则化效果。
BN在测试集上的处理：
在测试集上预测一般是对单个样本处理，因此无法在测试集上得到整个数据集的均值和方差，而需要在测试集上使用BN时，一般可以有两种处理方式：
1、在整个训练集上得到每层的均值和方差，并利用神经网络中学习得到的参数BN；
2、在mini-batch的基础上针对每个batch计算每层的均值和方差，然后在最后预测的时候利用指数加权平均，对batch上的均值和方差做平均。
3、但是实际上如果采用深度神经网络框架时，一般都会有默认的估算均值和方差的方式。
