Batch Normalization

通过 Batch Normalization 的方式 normalize 神经网络层的输入，以解决的 internal covariate shift 问题。

B={x1,…,m} 表示一个 mini-batch，其 normalized 之后（去均值，方差为1）的值为：xˆ1,…,m，再经过线性变换得 y1,…,m：

则 Batch Normalization 为：

注：

• γ,β 如同权值矩阵 w 和偏值向量 b 一样都是待学习的参数；