Image Super-Resolution Using Deep Convolutional Networks【SRCNN】【阅读笔记】

SR领域的经典论文,2015年发表。将CNN引入SR任务中,可以处理彩色图像。

由于SR问题属于不适定性问题,一种解决方法是通过引入先验知识限制解空间。

SR算法根据先验知识不同可分为prediction models, edge based method, image statistical methods和patch based(example based)methods四种。其中example-based表现最好。

example-based方法可进一步划分维internal example和external example。internal就是指从输入图像中生成examplar patches,利用的是自相似性质。external是指通过外部数据集学习LR-HR patches之间的映射,研究如何汇集和关联这些LR-HR patches对,如何进行表示。

本文中的方法:

对于一个LR图像,首先使用bicubic 插值upscale到所需的尺寸得到图片Y,然后学习一个映射F,使得F(Y)尽可能和ground-truth接近。学习的过程包含三步:
  • Patch extraction and representation,从Y中提取patches并表示为高维向量
  • Non-linear mapping,将高维向量映射到另一高维向量
  • reconstruction,整合上述的high-resolution patch-wise representations
这三个步骤都可以分别用一层卷积层进行。同时将之前比较常用的sparse-coding-based方法也视为CNN的一种形式,用于指导CNN网络的设计。按照sparse-coding-based method,最后一层filter大小应小于第一层filter,这样可以更好地依赖high-resolution patches的中心部分;第二层的filter个数小于第一层,因为希望更稀疏。
使用了MSE(仅在X-i的中心像素中进行),所有层的卷积都不使用padding
 

 文中实验结论:

  • 增大网络宽度(增加filter数)可以提升表现,但会减慢速度
  • 增大filter尺寸。增大1,3层的尺寸可以获取更丰富的结构信息,效果虽有改善但比较小;增大2层尺寸可以利用neighborhood信息,效果比较好。同样会减慢速度
  • 增加层数不是很有效,有时反而会降低表现。
  • 对于彩色图像,使用YCrCb训练效果不好,在Y上预训练效果最好。在RGB上同时训练效果最好。

评价标准:PSNR, SSIM, IFC, NQM, WPSNR, MSSSIM

用于比较的模型:A+, KK, ANR , NE+LLE, SC, Bicubic

测试集:Set5, Set14, BSD200

原文地址:https://www.cnblogs.com/wyboooo/p/13345133.html