Mobicom2019-MobiSR:Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors-RoysonLee

创新点:

设计了两个SR模型,分别处理 上采样复杂度(upscaling difficulty) 不同的图像块,达到质量和速度的平衡

思路:

1. 如何衡量图像块的上采样复杂度:

total variation(TV) metric:
image TV越大,重建越困难

image

image

image image

Fig3: TV越大,PSNR越小, 重建质量越不好

Fig4: TV越大,不同模型重建的PSNR差值越小 => 对于TV较大的图像块,可以用较小的SR model在达到相似PSNR情况下提升速度

2. 选择参考SR模型

基于RCAN作改进

image image

性能对比(性能蛮好的) 

FEQE是2018 PIRM Challenge on perceptual SR on mobile 的冠军

image

3. 其他压缩模型变体:

image

 image

训练以上所有模型

4. 测试所有模型的 运行时间 和 运行质量

image image

根据Fig7和Fig8选择了 (这三个模型位于Pareto fronts)

5. 三个模型两两组合(),测试运行质量和时间

TV小于 , 大于用

image

image

随着PSNR容忍度的升高,提出的方法在达到相似的PSNR下,速度提升

一些想法:

1. 对图像块分类只用TV?有没有其他的更全面的方法

2. 模型对()可否自动选择

退化估计(模糊、噪声、伪影、光照)-> 结构估计-> 给定PSNR容忍度下,运行速度最快的模型选择

原文地址:https://www.cnblogs.com/btschang/p/11507015.html