基于深度学习的图像质量评价(一)概述

很详细的综述:https://blog.csdn.net/qq_23304241/article/details/80953613

什么是图像质量评估(IQA)?

图像质量评估(IQA)算法将任意图像作为输入,并输出质量分数作为输出。有三种类型的IQA:

  1. 全参考IQA: 有一个非失真的参考图像来测量失真图像的质量,可用于评估图像压缩算法的质量。
  2. 降低(半)参考IQA: 没有参考图像,而是具有一些选择性信息的图像(例如水印图像),用于比较和测量失真图像的质量。
  3. 目标盲目或无参考IQA: 算法获得的唯一输入是要测量其质量的图像。

在我看来基于深度学习的图像质量评价主要有两种:

1、直接利用回归,输入为图像,输出为质量评价分数。那么训练数据集就是 图像和label。
2、利用伪参考图像,然后将待评价图像和伪参考图像一起输入到回归网络中,输出质量评价分数。那么训练数据要包含:待评价图像、参考图像和label。注:伪参考图像这个说法是我自己想的。

一、直接利用回归

直接利用回归进行质量评价。这个思路比较简单,就是我们输入一张待评价图像然后输出的是一个值(score)。

网络就可以设计为一个卷积神经网络,例如我们可以选用VGG网络进行回归。

但是由于图像质量评价的数据往往难以获得,且存在很大的主观性,所以说数据量是不大的。所以Xialei Liu等人就提出了RankIQA来解决数据量小的问题。

RankIQA:别看名字这么玄乎,其实本身思想其实很简单,就是利用迁移学习。那么从哪里迁移网络参数呢?是从参数共享的网络得到。这个参数共享又不能说是孪生网络(注:论文中说是孪生网络),因为这个网络不像孪生网络一样有连接在一块,所以应该只能算是参数共享的网络。

二、利用伪参考图像

为什么我说这个是伪参考图像,因为这里面训练的时候是需要参考图像的,并且网络会生成一个假的参考图像,这个参考图像是通过网络对质量差的图像修复得到,例如一种模糊图像,然后由网络对其进行修复生成一张清晰的图像。然后利用这个清晰的图像作为参考图像对图像进行质量评价。

这里介绍两篇文章:RAN4IQA和Hallucinated-IQA,这两篇文章都是这样的思路,都是利用GAN(对抗生成网络)修复质量差的图像,然后将得到的修复后的图像(伪参考图像)作为参考图像对待评价图像进行打分。

所以这两个网络可以分解成三部分:伪参考图像评价网络 = GAN + 评价网络 = 修复网络(生成网络)+ 判别网络 + 评价网络

其实我们可以发现,当我们抛开评价网络,剩下的GAN就成了一个图像修复网络了。

链接:

https://blog.csdn.net/u012925804/article/details/102691040?spm=1001.2101.3001.6650.11&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-11.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-11.no_search_link

正如以上所说对于一种图像质量评价算法性能好坏的评估就是看在具有不同失真的大数据集上观察者的主观评分和算法评分的相关度。如果它们的相关度较高,则说明该质量评价算法的性能较好,否则反之。

现在用到的评价参数主要有四个。它们分别是SROCC,KROCC,PLCC和rMSE

原文地址:https://www.cnblogs.com/h694879357/p/15521246.html