batch normalization

作者：魏秀参
链接：https://www.zhihu.com/question/38102762/answer/85238569
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1. What is BN?
规范化！即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入（即当 $gamma^{(k)}=sqrt{Var[x^{(k)}]}, eta^{(k)}=E[x^{(k)}]$ ），从而保证整个network的capacity。（有关capacity的解释：实际上BN可以看作是在原模型上加入的“新操作”，这个新操作很大可能会改变某层原来的输入。当然也可能不改变，不改变的时候就是“还原原来输入”。如此一来，既可以改变同时也可以保持原输入，那么模型的容纳能力（capacity）就提升了。）

关于DNN中的normalization，大家都知道白化（whitening），只是在模型训练过程中进行白化操作会带来过高的计算代价和运算时间。因此本文提出两种简化方式：1）直接对输入信号的每个维度做规范化（“normalize each scalar feature independently”）；2）在每个mini-batch中计算得到mini-batch mean和variance来替代整体训练集的mean和variance. 这便是Algorithm 1.

2. Where to use BN?
BN可以应用于网络中任意的activation set。文中还特别指出在CNN中，BN应作用在非线性映射前，即对 $x=Wu+b$ 做规范化。另外对CNN的“权值共享”策略，BN还有其对应的做法（详见文中3.2节）。

3. Why BN?
好了，现在才是重头戏－－为什么要用BN？BN work的原因是什么？
说到底，BN的提出还是为了克服深度神经网络难以训练的弊病。其实BN背后的insight非常简单，只是在文章中被Google复杂化了。
首先来说说“Internal Covariate Shift”。文章的title除了BN这样一个关键词，还有一个便是“ICS”。大家都知道在统计机器学习中的一个经典假设是“源空间（source domain）和目标空间（target domain）的数据分布（distribution）是一致的”。如果不一致，那么就出现了新的机器学习问题，如，transfer learning/domain adaptation等。而covariate shift就是分布不一致假设之下的一个分支问题，它是指源空间和目标空间的条件概率是一致的，但是其边缘概率不同，即：对所有 $xin mathcal{X}$ , $P_s(Y|X=x)=P_t(Y|X=x)$ ，但是 $P_s(X) e P_t(X)$ . 大家细想便会发现，的确，对于神经网络的各层输出，由于它们经过了层内操作作用，其分布显然与各层对应的输入信号分布不同，而且差异会随着网络深度增大而增大，可是它们所能“指示”的样本标记（label）仍然是不变的，这便符合了covariate shift的定义。由于是对层间信号的分析，也即是“internal”的来由。
那么好，为什么前面我说Google将其复杂化了。其实如果严格按照解决covariate shift的路子来做的话，大概就是上“importance weight”（ref）之类的机器学习方法。可是这里Google仅仅说“通过mini-batch来规范化某些层/所有层的输入，从而可以固定每层输入信号的均值与方差”就可以解决问题。如果covariate shift可以用这么简单的方法解决，那前人对其的研究也真真是白做了。此外，试想，均值方差一致的分布就是同样的分布吗？当然不是。显然，ICS只是这个问题的“包装纸”嘛，仅仅是一种high-level demonstration。
那BN到底是什么原理呢？说到底还是为了防止“梯度弥散”。关于梯度弥散，大家都知道一个简单的栗子： $0.9^{30}approx 0.04$ 。在BN中，是通过将activation规范为均值和方差一致的手段使得原本会减小的activation的scale变大。可以说是一种更有效的local response normalization方法（见4.2.1节）。

4. When to use BN?
OK，说完BN的优势，自然可以知道什么时候用BN比较好。例如，在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。

不请自来，BN本质上解决的是反向传播过程中的梯度问题。

详细点说，反向传播时经过该层的梯度是要乘以该层的参数的，即前向有：

$h_l = w_l^Th_{l-1}$

那么反向传播时便有：

$frac{partial l}{partial h_{l-1}} = frac{partial l}{partial h_l} . frac{partial h_l}{partial h_{l-1}} = frac{partial l}{partial h_l} w_l$

那么考虑从l层传到k层的情况，有：

$frac{partial l}{partial h_k} = frac{partial l}{partial h_l} prod _{i=k+1}^{l} w_i$

上面这个 $prod_{i=k+1}^l w_i$ 便是问题所在。因为网络层很深，如果 $w_i$ 大多小于1，那么传到这里的时候梯度会变得很小比如 $0.9^{100}$ ；而如果 $w_i$ 又大多大于1，那么传到这里的时候又会有梯度爆炸问题比如 $1.1^{100}$ 。BN所做的就是解决这个梯度传播的问题，因为BN作用抹去了w的scale影响。

具体有：

$h_l=$ $BN$ ( $w_lh_{l-1}$ ) = $BN$ ( $alpha w_lh_{l-1}$ )

那么反向求导时便有了：

$frac{partial h_l}{partial h_{l-1}}=$ $frac{partial BN w_lh_{l-1}}{partial h_{l-1}} =$ $frac{partial BN alpha w_lh_{l-1}}{partial h_{l-1}}$

可以看到此时反向传播乘以的数不再和 $w$ 的尺度相关，也就是说尽管我们在更新过程中改变了 $w$ 的值，但是反向传播的梯度却不受影响。更进一步：

$frac{partial h_l}{partial w_l} = frac{partial BNw_lh_{l-1}}{partial w_l} = frac{1}{alpha}.frac{partial BN alpha w_l h_{l-1}}{partial w_l}$

即尺度较大的 $w$ 将获得一个较小的梯度，在同等的学习速率下其获得的更新更少，这样使得整体 $w$ 的更新更加稳健起来。

总结起来就是BN解决了反向传播过程中的梯度问题（梯度消失和爆炸），同时使得不同scale的 $w$ 整体更新步调更一致。

https://www.zhihu.com/question/38102762

How Does Batch Normalizetion Help Optimization

总结：原作者提出了batch norm，并造成了两个结果：1.收敛更快。2.对learning rate的敏感度更低（也就是说lr的设置是否合理不会很大程度地影响最终结果）。并且认为网络中每层都进行了一次同分布，是造成结果的主要原因。

MIT研究员根据这一思路，将使用norm的网络随机添加高斯噪声，使得网络在添加了norm的同时又去除了norm所带来的同分布效果，但结果显示优势仍然存在，因此对原作者的解释进行了反驳。

随后MIT研究人员使用了loss的一阶信息和二阶信息进行了评估，发现使用了norm以后的loss在一阶和二阶上都具有很好的性质，由此推断nrom之所以能产生效果，不是原作者提出的解释，而是因为norm直接作用了loss函数，将loss函数变成了一个一阶、二阶均平滑的函数。

https://zhuanlan.zhihu.com/p/66683061