ResNeXt论文阅读总结

 这篇博客不从详细的原理介绍ResNeXt，而是谈一谈博主阅读ResNeXt之后的一些思考。所以需要详细了解原理的读者可以自行阅读论文 Aggregated Residual Transformations for Deep Neural Networks。

文章目录

• • 0. Prerequisite knowledge
  • 1.Thinkings & Abstract
  • 2. Intro & Principle Analysis
  • 3. Trash talk

0. Prerequisite knowledge

• ResNet解析 CSDN
• Inception网络模型 博客园

1.Thinkings & Abstract

 首先我刚刚开始读论文的时候对ResNeXt的第一印象就是Inception和ResNet的结合改进版本，而两者的结合版叫做Inception-ResNet，作者也在论文上面说了ResNeXt与它的关系，我后面会详细介绍。
 然后就是我读完整篇论文的感受就是，作者设计这个网络虽然看着与Inception-ResNet十分相似，但是它其实吸收了三种代表网络的设计原则：

1. 吸收了ResNet的shortcut connections的思想加深了网络的depth
2. 吸收了Inception的split-transform-merge策略扩展了网络的cardinality
3. 吸收了VGG简练的设计原则，克服了Inception各种卷积核参数过于复杂，难以控制的缺点

 从上面的总结就能够看出来作者设计ResNeXt网络与Inception-ResNet最大的区别就在于简练的设计原则，即ResNeXt在Block的每一个Path分支上都采用了相同的拓扑结构，将需要考虑的超参数减少到最基本的三个，即：

• depth：网络深度
• width：层的通道数目 (the number of channels in a layer)
• cardinality：直译过来就是基数，其实就是指transform的分支个数。

2. Intro & Principle Analysis

 原理的部分我就不细讲了，这里我附上一各我感觉写的很不错的知乎博客，ResNeXt 深入解读与模型实现。

3. Trash talk

 读完文章之后感觉作者真的是个写作鬼才，特别是那个回顾单个神经的那个section，将输入向量与权重的内积也看做一种聚合变换，从而推导出ResNeXt的广义定义，不得不说作者讲故事的能力一流。

 虽然ResNeXt作为CVPR2017上面的论文，但是博主还是觉得这篇paper的创新性确实有待商榷。但从另一方面来看，作者讲故事的功夫还是很厉害，从几个原则推导出了一个完整的ResNeXt理论框架，前后逻辑十分流畅，作为顶会论文还是有点东西的。