论文: Deformable Convolutional Networks

论文: Deformable Convolutional Networks

 

 

CNN因为其内部的固定的网络结构,对模型几何变换的识别非常有限。

本paper给出了两个模块deformable convolution 和 deformable ROI-Pooling来提高CNN的模型变换能力。

过去的办法解决几何变换的方法,一,使用data Augmentation来增大不同几何形状的object,二,使用sift 或者 sliding windows这样的方法来解决。

本paper主要针对三个module进行了deformable的改进,deformable Convolution, deformable ROI-Pooling 和 deformable PSROI-Pooling 

这里主要讲 conv layer 的 deformable Conv 版本。

本paper是使用公式

 针对p0点的像素点,使用Pn是之前conv的方法,添加了^P 来作为offset,其中^P是一个非常小的量。 而这个offset是由

得到的,G(. , .) 是 bilinear interpolation kernel。

在训练中,同时对conv kernel和offsets进行学习。
其中,该deformable conv kernel的求导为:


这paper的目的是augmentating空间样本点和RoI-pooling得到额外的offset量,同时在learning 中学习到offset量。

本人观点:

利用deformable offset 来学习每一个 pixel 的偏移量,从而主动学习到object的region。改变了过去方方正正的 object region,可以learn到deformable的region。

原文地址:https://www.cnblogs.com/zhang-yd/p/7359546.html