Image Super-Resolution Using Very Deep Residual Channel Attention Networks【RCAN】【阅读笔记】

  图像超分任务可以看作是试图从LR图像中恢复尽可能多的高频信息。在SR任务中,输入的LR图像包含了丰富的低频信息。但是之前的任务把不同channel都同等对待,限制了CNN的表达能力。因此文中在EDSR的基础上结合了channel attention机制,构建了residual in residual模块用长跳连接多个残差组,组成了very deep residual channel attention network(RCAN)。这些长跳连接可以更好地传递低频信息,让主网络集中于学习高频信息。

  RCAN的完整网络结构如下图。多个RCAB模块通过短跳连接组成RG,再对RG进行残差连接称为长跳连接。

  每一个RCAB中包含了channel attention(CA)模块,这个模块和SENet中的squeeze and excitation模块是一样的。先用一个average pooling把每一个channel的特征图变成一个1x1的point,然后也参照SENet引入了reduction来减小模型的复杂度。SENet中的SE block在阅读笔记中有讲过。

   训练使用了DIV2K中800张图像,测试在Set5, Set14, B100, Urban100, Manga109. 在Y频道上计算PSNR和SSIM进行评估。

  通过去除长短连接,说明了RIR结构的作用。如果LSC和SSC都被去除,不管有没有CA表现都要相对差一些。说明仅仅简单的堆叠残差模块是无法实现深层且有效的SR模型的。通过加入LSC或SSC都可以提升表现,加入两个效果更好。

  对x2的任务RCAN在Set5, Set14, B100数据集上比EDSR大概好差不多0.2-0.3个点,对于倍数更大的任务比如x8任务提升要更大一点,差不多有0.6-0.7左右。EDSR参数量43M,RCAN参数量16M,RCAN的深度要比EDSR深。对于倍数大的任务优势要更大一些,一些模型在x8任务中会有明显的错误。

原文地址:https://www.cnblogs.com/wyboooo/p/13493349.html