机器学习——常见的backbone

参考链接:https://www.zhihu.com/question/396811409/answer/1252521120

LeNet:5层轻量级网络,一般用来验证小型数据;

AlexNet/VGGNet:把网络层数加深;

GoogLeNet/Inception:结合1x1卷积并采用带有不同kernel和池化的多分支策略进行特征提取;

ResNet:Residual block,使训练更深层的网络变得可能;

RexNeXt:引入组卷积,在精度基本不降的情况下速度超过ResNet;

DenseNet:主要是特征复用的思想,参数量虽小计算量不敢恭维;

Res2Net:基于ResNet引入多尺度;

SENet:基于通道矫正,强化重要特征,抑制非重要特征,重点是轻便可以随意嵌入;

SKNet:引入特征图注意力,使卷积核的感受野能够自适应

DCNet:引入可变性卷积,提高了泛化能力;

SqueezeNet、ShuffleNet、MobileNet:轻量级网络;

CSPNet:利用跨阶段特征融合策略和截断梯度流来增强不同层次特征的可变性解决冗余梯度信息,提高推理速度;

EfficientNet:E0-E7的进化之路号称无人能敌,配合谷歌刚出的Lite,实现精度、延迟两不误的移动端新SOTA;

RegNet:FBAI力作,号称超越EfficientNet,GPU上提速5倍的神作;

ResNeSt:刚出来的Backbone,乍眼一看是一个ResNeXt和SKNet的结合体,论文写着刷爆各大榜单;具体效果还未使用不从得知,直观感觉是个好的神器,留待时间去考证;

原文地址:https://www.cnblogs.com/cfancy/p/13635645.html