CNN归纳偏好

出处:Transformer为何能闯入CV界秒杀CNN?

CNN 中的卷积运算由于使用了两个重要的空间约束,从而有助于视觉特征的学习和提取:

  • 由于 CNN 权重共享机制,卷积层所提取的特征便具有平移不变性,它们对特征的全局位置不感冒,而只在乎这些决定性的特征是否存在。
  • 由于卷积算子的性质,所以卷积的特征图具有局部敏感性,也就是每次卷积操作只会考虑原始数据的一小部分的局部信息。

正是由于此,CNN 的归纳偏差缺乏对输入数据本身的整体把握。它很擅长提取局部的有效信息,但是没能提取全局数据之间的长距离特征。比如,当我们使用 CNN 去训练一个人脸识别模型时,卷积层可以有效的提取出眼睛大小、鼻子翘不翘、嘴巴颜色等小器官的特征,但是无法将他们联系起来,无法形成"眼镜在鼻子上"、"嘴巴在眼睛下面"的这种长距离的特征。因为每个卷积核都很局部,没办法同时处理这么多个特征。为了提取和跟踪这些原始数据中的长相关特征,模型需要扩大自己的感受野,这就需要使用一些更大的卷积核,以及更深的卷积。但是由此会带来计算效率的大幅下降,会让模型的复杂度剧烈上升,甚至会让模型产生维度灾难从而无法收敛训练。

原文地址:https://www.cnblogs.com/peixu/p/14709488.html