BN系列

BN、LN、IN、GN

 

CBN、CmBN

  

   

   

  CBN:Cros Batch Normalization
    在目标检测的时候,我们的batch设置的比较小,因此我们的BN效果就不明显
    所以我们就设置前面的n个batch 整合成一个大的batch 再做BN
  CmBN:Cross min-Batch Normalization
    每N个batch 设置为一组,每组的第一个Batch 只用一个batch,第二个用两个batch 进行BN,
    ...,第n个batch用前n个batch 进行bn
    第n+1个batch  用2到n+1个进行BN
    
    

原文地址:https://www.cnblogs.com/yunshangyue71/p/13444828.html