caffe-BN层

原作者:http://shuokay.com/2016/05/28/batch-norm/

 来源于:http://www.bubuko.com/infodetail-1983557.html

 什么是moving average滑动平均?

计算方法:对于一个给定的数列,首先设定一个固定的值k,然后分别计算第1项到第k项,第2项到第k+1项,第3项到第k+2项的平均值,依次类推。

在采用随机梯度下降算法训练神经网络时,使用 tf.train.ExponentialMovingAverage 滑动平均操作的意义在于提高模型在测试数据上的健壮性(robustness)

. 滑动均值滤波(MovingAverage)

方法:

把连续取N个采样值看成一个队列,队列的长度固定为N,每次采样到一个新数据放入队尾,并扔掉原来队首的一次数据.(先进先出原则)。把队列中的N个数据进行算术平均运算,就可获得新的滤波结果。

原文地址:https://www.cnblogs.com/LiuSY/p/7240480.html