高效网络小结

一、高效网络简介

　　图片来自https://zhuanlan.zhihu.com/p/53175018，高效网络的高效，直接的衡量目标是速度。

二、高效网络一览

　　CNN设计一般都是通过堆block的形式，下面只讨论每个模型的block

       1、Mobilenet

            首次使用了分离卷积(dw+pw，加速的核心操作，有人认为dw和pw之间不应该加relu)

　　　 

　　2、MobilenetV2

　　　Inverted Residuals 逆残差：将两头大中间小的结构，变为两头小中间大1的结构，增大分离卷积所占的比例

　　　Linear Bottlenecks 线性瓶颈：去掉了第二个1*1的relu

　　　

　  3、Shufflenet

　　　大量使用1*1的group conv，并通过shuffle来促进通道间的流通。

　　　实现细节：在每个block，先通过1*1 group conv将维度降为输出的1/4。

　　　

 　　4、ShufflenetV2

　　　　 提出了设计高效网络的四个原则：相同通道宽度可以最小化内存访问成本；组卷积谨慎使用；网络内部碎片操作会降低并行度；Element-wise操作不容忽视。

　　　 实现细节：对于(c)，操作内通道数量始终不变；不再使用组卷积；对于(d)，两个通道分别将维度降为1/2，便于后面的concat；最后进行shuffle。

　　　 

 三、其他

　　 1、为了快速降低特征大小，往往使用conv/s2的操作，避免使用pooling；

　　 2、大kernel size filter，复杂网络里，一般使用多个3*3来代替5*5、7*7等（计算量小、网络更深、非线性更优），而在小网络中，可在网络前端，使用大卷积核

快速将特征图大小降下来；

　　3、微软推出了mnast等自动设计的网络

参考：https://zhuanlan.zhihu.com/p/53175018