超分辨率技术前沿调研

1、2019.3.13,三星电子QLED 8K电视。

三星全新QLED TV采用了特别开发的量子点8K处理器(Quantum Processor 8K),通过8K人工智能增强技术(8K AI Upscaling)提升画质和音效双重表现,为消费者带来具备沉浸感的逼真视觉效果和震撼的听觉体验,开启了超高清8K时代。

高达7860*4320的屏幕分辨率、3300万像素,显示屏采用了全阵列直入式背光源,和优化影像的HDR10+技术。8K HDR4000技术使得每帧画面的连接性流畅性倍增,对画质本身也是一次全面革新。4000尼特峰值亮度进一步加强黑色展现力。

三星通过8K人工智能增强技术(8K AI Upscaling)提升画质和音效表现。三星的人工智能机器学习,是通过植入量子点8K处理器(Quantum Processor 8K),为电视提供大脑,创建超高分辨率图像所需的程序图像公式。可快速分析图像数据,并将其与存储在公式库中的数百万个图像公式进行比较。在选择最佳图像公式后,它可以在高达8K级别分辨率下智能重建图像纹理,边缘清晰度和细节水平。因此,大多数内容都可以拥有难以置信的清晰度。

三星QLED 8K电视国内首发 98英寸版售价近百万 https://baijiahao.baidu.com/s?id=1627939123538574564&wfr=spider&for=pc

2、2017 Twitter在超分辨率技术上取得新进展,能还原打码图片

Twitter 及哥本哈根的研究人员在获得ICLR 2017 oral paper的《Amortised MAP Inference for Image Super-Resolution》中表示,在超分辨率处理过程中,直接对低像素图像进行最大后验概率估值是非常重要的,就像如果想要确保样图图像先验,就需要先构建一个模型一样地重要。想要进行摊销最大后验概率推断,从而直接计算出最大后验概率估值,本文在这一步引入的新方法是使用卷积神经网络。

而为了确保网络输入低分辨率图像后,能始终如一地输出相应的高分辨率图像,研究人员创造性地引入了新型神经网络架构,在这个网络里,有效解决超分辨率的方法是,向仿射子空间进行投影。使用新型架构的结果显示,摊销最大后验概率推理,能减少到两个分布之间的最小化交叉熵,这个结果与生成模型经过训练后得到的结果相类似。

(1)生成式对抗网络 (GAN)

(2)去噪指导超分辨率,从去噪过程中反向推导去噪的梯度估值,从而训练网络

(3)基线法,该方法使用最大似然训练图像先验

AffGan-Twitter在超分辨率技术上取得新进展,能还原打码图片|ICLR 2017 | 雷锋网 https://www.leiphone.com/news/201704/UOlptCxSKNIAQ5EC.html

搜索结果:最大空间分辨率算法 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/information/%E6%9C%80%E5%A4%A7%E7%A9%BA%E9%97%B4%E5%88%86%E8%BE%A8%E7%8E%87%E7%AE%97%E6%B3%95

3、2016年 Google 超分辨率技术 RAISR:模糊图片瞬间变清晰,运算速度快十倍

RAISR: Rapid and Accurate Image Super Resolution,速度提升大约十至一百倍,可以避免产生混叠效应 (aliasing artifacts)。节省带宽75%。

对于 RAISR,谷歌别辟蹊径得采用机器学习,用一对低分辨率、高分辨率图片训练该程序,以找出能选择性应用于低分辨图片中每个像素的过滤器,这样能生成媲美原始图片的细节。目前有两种训练RAISR的方法:

  • 第一种是“直接”方式,过滤器在成对高、低分辨率图片中直接学习。

  • 第二种方法需要先对低分辨率图片应用低功耗的的升采样,然后在升采样图片和高分辨率图片的组合中学习过滤器。

  • “直接”方式处理起来更快,但第二种方法照顾到了非整数范围的因素,并且更好地利用硬件性能。

无论是哪种方式,RAISR  的过滤器都是根据图像的边缘特征训练的:亮度和色彩梯度,平实和纹理区域等等。

这又受到方向(direction,边缘角度),强度(strength,更锐利的边缘强度更高)和黏性 (coherence,一项量化边缘方向性的指标)的影响。

以下是一组 RAISR 过滤器,从一万对高、低分辨率图片中学习得到 (低分辨率图片经过升采样)。该训练过程耗费约一小时。

注:3 倍超分辨率学习,获得的 11x11 过滤器集合。过滤器可以从多种超分辨率因素中学习获得,包括部分超分辨率。注意当图中边缘角度变化时,过滤器角度也跟着旋转。相似的,当强度提高时,过滤器的锐利度也跟着提高;黏性提高时,过滤器的非均相性(anisotropy)也提高。

从左至右,学习得到的过滤器与处理后的边缘方向有选择性的呼应。举例来说,最底一行中间的过滤器最适合强水平边缘(90 度梯度角),并具有高粘性(直线的而非弯曲的边缘)。如果这个水平边缘是低对比度的,那么如同图中最上一行,另一个过滤器就被选择。

实际使用中,RAISR 会在已经学习到的过滤器列表中选择最合适的过滤器, 应用于低分辨率图片的每一个像素周围。当这些过滤器被应用于更低画质的图像时,它们会重建出相当于原始分辨率的细节,这大幅优于线性、双三(bicubic)、兰索斯 (Lancos)解析方式。

谷歌超分辨率技术 RAISR :模糊图片瞬变高清,速度提升数十倍 | 雷锋网 https://www.leiphone.com/news/201611/6wejLGlSGF22AuL1.html

Google超分辨率论文RAISR实现小结 - 羽凌寒 - CSDN博客 https://blog.csdn.net/u011630458/article/details/69524582

4、2017年10月 TSR(Tencent Super Resolution)腾讯QQ空间

腾讯QQ空间联合优图实验室,移动端并行加速框架RapidNet。在图片size只有原来25%的情况下将图片还原到与原图的同等效果,在空间的应用可以节省用户75%的流量。

采用深度神经网络来识别图片内容并进行图片内容的细节重构,能够通过机器学习来识别图片的内容与纹理,从而能够将图片进行高清重建, 达到业界(NTIRE2017)领先水平。

训练并实现了一个10层的深度卷积神经网络,对比目前学术界研究的神经网络,本网络能够很好的解决CheckerBoard Artifacts和对于部分图片处理文理不清晰问题。通过神经网络能够抽象出图片的整体特殊,识别图片的纹理与内容,根据图片的纹理与内容进行图片的高清细节重建,从而达到远超过原图的视觉效果。

通过控制卷积神经网络的层数与每层的CHANEL数,在简化整体计算量的情况下,能够很好的解决图片过于平滑,纹理不清晰的问题。通过精简化设计,TSR能够保证模型在只有4。6KB的基础上有不错的处理效果。

神经网络结构图如下:

TSR:基于深度学习的超分辨率技术及应用 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1006272

腾讯QQ空间超分辨率技术TSR - ostartech - 博客园 https://www.cnblogs.com/wxl845235800/p/7847361.html

5、2017年11月  华为推出新型HiSR:移动端的超分辨率算法

 HiSR(Hisilicon Super-Resolution

在同样的标准下,处理效果相比 Google 的 RAISR 超分算法有明显的提升,此外 HISR 通过 Kirin 970 芯片的 HiAI 移动人工智能平台加速,首次实现了移动端的深度网络超分辨率算法,不仅达到了实时处理的速度,还保证了图片的效果,能效比提升了 50%。

七层深度的卷积神经网络,该模型能够有效地提升图片的质量,解决了深度网络研究存在的很多问题,比如说图片超分辨率时出现的块效应和细节丢失、边缘纹理不清晰的问题。该网络能够在 Kirin 970 的 HiAI 移动人工智能平台实现实时运算速度,相对普通的 CPU 计算,速度提升了 25 倍,即使相对于能够并行处理的 GPU,速度也提升了 6 倍。

大多数超分辨率的深度网络来说,例如 SRCNN 和 TSR 等超分算法,都是通过采用 Bicubic 算法先将图片直接放大到需要的尺寸,然后再进行卷积操作,也就是说这类算法的操作都是为了改善 Bicubic 算法的缺陷,计算量比较大,运行的时间较长,而且效果往往也会局限于 Bicubic 算法的限制,得不到很大的提升。

HiSR 超分辨率深度学习网络采用先进的反卷积的结构,反卷积(Deconvolution)的概念第一次出现是 Zeiler 在 2010 年发表的论文 Deconvolutional networks 中。随着反卷积在神经网络可视化上的成功应用,其被越来越多的工作所采纳比如:超分辨率、场景分割、生成模型等。

HiSR 采用了一层反卷积实现图片的放大和还原,而且反卷积同样通过学习实现参数的更新,可以保留丰富的细节和纹理,实现了超分辨率图片的还原。

针对当前主流的网络压缩传输应用,提供两种可选的网络用于图片的增强(1x 网络)和放大(3x 网络)。

1x 网络:

HiSR 采用独立训练的 1x 网络对图片进行了处理,通过该网络的处理,图像的细节不断的增强,各种块效应也消失了,图片的鲜艳程度也提高了,给用户带来了强烈的视觉体验。网络结构如下:

3x 网络

HiSR 采用独立训练的 3x 网络对图片进行了处理,该网络只需要在 1x 的网络上进行很小的改动,加入了反卷积层,还原高分辨率图像的特征,图像的细节通过卷积层的不断学习和增强,可以有效的提升高分辨率图像的质量。HiSR 的 3x 网络结构如下:

 业界 | 华为推出新型HiSR:移动端的超分辨率算法 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1118612

原文地址:https://www.cnblogs.com/wxl845235800/p/10530765.html