BN本质上解决的是反向传播过程中的梯度问题。
详细点说，反向传播时经过该层的梯度是要乘以该层的参数的，即前向有：
那么反向传播时便有：
那么考虑从l层传到k层的情况，有：
上面这个 便是问题所在。因为网络层很深，如果
大多小于1，那么传到这里的时候梯度会变得很小比如
；而如果
又大多大于1，那么传到这里的时候又会有梯度爆炸问题 比如
。BN所做的就是解决这个梯度传播的问题，因为BN作用抹去了w的scale影响。
具体有：
(
) =
(
)
那么反向求导时便有了：
可以看到此时反向传播乘以的数不再和 的尺度相关，也就是说尽管我们在更新过程中改变了
的值，但是反向传播的梯度却不受影响。更进一步：
即尺度较大的 将获得一个较小的梯度，在同等的学习速率下其获得的更新更少，这样使得整体
的更新更加稳健起来。
总结起来就是BN解决了反向传播过程中的梯度问题（梯度消失和爆炸），同时使得不同scale的 整体更新步调更一致。