论文阅读|GETNET: A General End-to-End 2-D CNN Framework for Hyperspectral Image Change Detection

abstract

有两个问题:1.传统算法不适用于高光谱图像的高维数据;2.亚像素级的信息没有被充分利用。因此作者提出了通用的端到端的2维CNN来进行高光谱图像的变化检测。主要贡献:1.引入融合亚像素表示的混合亲和矩阵,挖掘更多的跨通道梯度特征,融合多源信息;2.设计2维CNN在更高的层次有效学习多源数据差异特征,增强了CD算法的泛化能力;3.设计了一个新的HIS-CD数据集进行比较实验

introduction

完整的CD检测过程:1.图像预处理(应该是获得两张对应的图像,就是获得数据);2.生成DI;3.评估。

对于HIS-CD有三个主要问题:1.混合像素问题,就是在该像素区域内有多个物体表面,这个像素表示的是这多个物体表面的平均值,那这样表示就不精确,就限制了HIS-CD的检测;2.高维数据问题,一些CD算法进行特征提取和波段选择来降维,某种程度上会丢失信息;3.有限的数据集问题,HIS-CD数据集较少,且制作耗时费力。

More Actions作者的动机主要有两个:1.必须解决混合像素的问题,利用光谱分解技术分解出一个像素内的具体成分以及相应的abundance map(一个像素内各成分所占的比例);2.深度网络可以很好的解决高维数据问题并且能提取有效的特征,但许多运用了深度学习的HIS-CD方法没有充分提取特征,这些方法一般主要分析一维光谱向量的像素变化,而对应同一像素上不同光谱间的特征包含丰富的信息,但都被忽视了

relation work

CD最普遍和最简单的方法是图像差值以及图像比值,当处理多光谱图像时,主要有以下四种分类:

  1. 图像的算术操作。对光谱向量作减法;
  2. 图像变换。将多光谱图像转变到特定的特征空间,突出变化像素,抑制无变化像素;
  3. 图像分类。这类方法一般是有监督的,需要先验知识;对一对图片中的像素,或者特征进行比较然后分类,相同或者不同;
  4. 其它先进的方法。主要有基于深度学习的方法;作者关心的是光谱分解方法,光谱分解方法在HSI- CD里面没有广泛的研究,许多关于分解的方法都是个例研究。

methodology方法论

主要有以下步骤:光谱分解,提取端元(端元应该就是一个像素内所包含的多个物体表面),丰度估计,形成混合亲和矩阵,GETNET网络处理这个矩阵得出结果。

混合光谱分解用于亚像素级别信息挖掘

一个完整的光谱分解过程包括:端元提取,丰度估计。

端元提取采用的是ATGP算法;丰度估计采用线性分解以及非线性分解方法对提取到的端元解混

线性混合模型,假定每一个像素是端元的线性组合

(r):反射系数,(b imes1)向量 (m):端元个数 (omega_{li}):第(i)个端元的丰度分数,就是占比 (X)(b imes m)的一个矩阵,(b)个波段,(m)个端元 (x_i)(X)中的一列 (epsilon)(b imes1)的噪声向量,传感器和模型误差引起 FCLS算法求出(omega_l)

非线性混合模型

(igodot):是逐点相乘 (a_{ij})(i)(j)之间的非线性参数来表征模型非线性特性 (omega_{ni}):第(i)个端元的非线性比例 BFM算法求出(omega_n)

HSI的大小是(h imes w imes b)(omega _n)(omega _l)可以表示为(h imes w imes m),将其简单的拼接在一起就得到了多元数据立方体

1570420390016

混合亲和矩阵用于信息融合

提出了混合亲和矩阵来进行多源信息融合

1570420402271

上式是一个基本的计算方法,(r_{ij})表示的是对应像素的信息向量

每一个像素都是一个(n imes n)的混合亲和矩阵,(n = b + 2m),这个矩阵包含了像素级别信息:各个光谱波段间的关系,而且包含了亚像素信息:对应像素中各个端元的丰度之间的关系。

1570420412161

具体分为5部分,A表示两幅图中对应像素的特定波段之间的差异信息,就是各个波段之间用(8)式进行计算;B表示两幅图中对应像素中的特定端元间的线性丰度的差异信息,计算同(8);E表示两幅图中对应像素中特定端元间的非线性丰度的差异信息;因为高光谱数据和端元丰度图之间没有关系,所以C为0。

每一个混合矩阵被输入到2维CNN中,将CD看成是一个分类任务,即某一像素是否改变。那个这个混合亲和矩阵有什么意义呢?

  1. 是一种有效的方法来同时处理多源数据的融合,结合了高光谱数据和丰度图数据;

  2. 一维的像素向量被映射到二维的矩阵中,能够提供丰富的跨通道梯度的信息,最大化多源信息的利用率;

  3. 这个矩阵能和CNN无缝衔接,CNN能够有效的学习到用于CD检测的特征,而且能够整合矩阵中不同部分的信息

GETNET

不同于一般CNN网络的权值共享,GETNET采用的是局部权值共享,因为矩阵有两部分不同性质的信息,因此采用两个不同的卷积核,左上角和右下角。经过卷积核池化之后,学习到两种不同的高层次的特征,然后用全连接层融合两类特征,来提高模型的泛化能力,因为两类特征对不同的数据集比较敏感。如下图

这里的channels应该是每一层卷积核的个数,也就是输出的feature map的通道数

因为根据CVA的结果来看变化和未变化的比例是1:2,也就是说没有变化的像素更多,因此要多采用未变化的样本来训练网络,使网络能够区分更多的未变化样本。所以训练采用的是用CVA方法生成的带标签的伪数据集,正负样本比例是1:2

实验部分

数据集:总共使用了四个数据集,三个现有的数据集,以及开源出了一个数据集

实验结果:

1570420572009

原文地址:https://www.cnblogs.com/QuintinLiu/p/11745851.html