一种新的基于对抗性的高光谱和多光谱图像融合方法 论文笔记

题目：A Novel Adversarial Based Hyperspectral and Multispectral Image Fusion

期刊：remote sensing 

年份：2019

作者：Xukun Luo  , Jihao Yin , , Xiaoyan Luo  and Xiuping Jia

摘要:为了重建高空间分辨率和高光谱分辨率的图像，最常用的方法之一就是将高光谱图像与相应的多光谱影像图像进行融合。为了有效地获得HSI波段的谱相关性和MSI像素的空间相关性，提出了一种面向HSI-MSI融合问题的对抗选择融合(ASF)方法。首先，采用基于解混的融合(UF)方法挖掘出MSI中的空间相关性。在此基础上，提出了一种基于频带重构的融合方法(BRF)，将H2SI作为优化频带图像字典和重构系数的乘积。最后，设计了光谱空间质量指数(SSQ)来指导UF和BRF的对抗性选择过程。在四幅真实图像上的实验结果表明，该方法比其他比较方法具有更小的重建误差和更好的重建效果。

1.方法

图1显示了对抗性选择融合(ASF)模型主要由三部分组成，包括基于解混合的融合(UF)、基于带重建的融合(BRF)和基于SSQ的对抗性选择。在UF中，端元矩阵与高空间分辨率丰度矩阵的乘积得到了初步的融合结果。由于UF方法只考虑MSI中的空间相关性，因此提出了BRF方法来获得HSI中的光谱相关性。在BRF中，利用波段图像字典和重构系数的乘积重建了另一个初步的融合结果。最后，计算两个初始融合数据的光谱-空间质量(SSQ)指标，并以SSQ指标为指导，在对抗选择过程中生成最终的H2SI。

此外，为了更好地理解HSI和MSI的数学关系，首先引入了传感器观测模型。 然后，详细描述了UF方法和BRF方法，并在最后给出了基于SSQ的对抗性选择策略。

图1.对抗性选择融合(ASF)模型在高光谱图像(HSI)和多光谱影像图像(MSI)中的应用。

1.1.传感器观测模型

HSI和MSI都是3d数组或张量，通常称为图像立方体。为了得到更好的表达式，这些图像立方体以2D矩阵的形式表示为 ，每列 表示一个像素的光谱响应。这里，n是像素的数量，L是带的数量。本文分别用 表示HSI、MSI和目标H2SI。nds和Lds分别表示下采样HSI的像素数和下采样MSI的带宽数。定义表明，H2SI具有与HSI相同的带数L，与MSI相同的像素数n。正如文献[19]所示，HSI是H2SI的空间退化的形式，MSI 而MSI是它的光谱退化形式。

 

有了这些表示，高光谱测量的模型[1]如下:

 

其中 表示点扩展函数(PSF)从H2SI(z)到HSI(x)的转换，描述了高光谱传感器的空间响应。更具体地说，利用高斯函数半最大值全宽的各向同性高斯PSF进行空间模拟。Ns表示光学和电子噪声等模型残差，这些残差均匀地分布在波段和像素上。

同样，多光谱测量被建模为:

 

其中 是光谱响应变换矩阵，每行ri代表光谱响应函数从Z到Y的变换。Nr类似于Ns，这意味着模型的残差。

当应用于实际数据时，S由点扩展函数的估计来确定。 通过辐射校准得到光谱响应函数R.因此，本文假定S和R是已知的。在实验中，我们将原始的高光谱数据作为参考融合结果，首先利用方程(2)生成MSI，利用方程(1)生成低空间分辨率HSI。

 

1.2.基于解混的HSI-MSI融合

UF方法在保存空间结构信息方面取得了较好的效果，获得了更准确的端元和丰度信息。因此，本文采用UF方法挖掘MSI中的空间相关性。光谱分解的目的是通过获得端元光谱信息和丰度信息(各种纯物质在混合像元中所占的比例)来确定混合像元的组成。换句话说，所有的光谱图像都可以表示为端元矩阵和丰度矩阵的乘积，从而在融合问题中完美地建立了HSI、MSI和H2SI之间的数学关系。根据常用的线性混合模型，H2SI可以描述如下:

Z=EA(3)

其中 是端元矩阵,每列 代表某个端元的谱,p代表端元的数目. 是丰度矩阵,每列 表示所有端元在第ith像素处的丰度值.值得注意的是,由于其物理意义,这些矩阵中的所有值都是非负的.

因此，对于HSI-MSI融合问题，通过将方程（3)替换为方程(1)和(2），X和Y可以近似为：

分别是空间退化丰度矩阵和光谱退化端元矩阵。到目前为止，如图2所示，HSI-MSI 融合问题转化为从 HSI 和 MSI 中挖掘出最优端元矩阵E 和丰度矩阵A。然而，与卷积解混问题相比，有两个退化图像作为输入，而不是单个光谱图像.直接在 HSI 上使用光谱分解算法提取端元信息往往会导致端元光谱不准确，因此有必要充分利用 HSI 和 MSI 之间密切的数学关系。 换句话说，Ads是A的空间退化形式，Eds是E的光谱退化形式。

 

图2. 基于解混合的融合(UF)策略的说明。

 

 因此，为了得到融合结果，我们需要搜索E和A的优化形式来满足方程（4)和(5）。 然后，将HSI-MS I融合问题转换为以下操作[23,26]

在方程（6）中， 表示Frobenius范数，其目的是最小化线性光谱混合模型中的残差。第一项意味着估计的融合数据应该能够表示HSI，而第二项对应于MSI。 参数λM控制各项的相对重要性。

在本文中，我们选择CNMF方法来执行UF的过程，通过NMF交替解X和Y来估计E和A。 具体来说，我们首先通过顶点分量分析初始化E (VCA)。然后，在X上重复NMF来优化E和Ads，并在Y上执行NMF来优化Eds和A，直到收敛。端元矩阵E和丰度矩阵A是非负的，每个像素的丰度之和可以假定为一，称为丰度和对一约束(ASC)。 为了满足ASC，我们使用了文献[27]中给出的方法。 在计算过程中，通过在X和E(也是Y和Eds)的最后一行中添加一个均匀向量来实现。

1.3. 基于波段重建的HSI-MS I融合

UF方法可以得到 MSI 中的空间相关性,但忽略了 HSI 中的谱相关性.为了同时考虑空间和谱 间的相关性,本节提出了 BRF 方法.将理想的 H2SI 作为频带图像字典和重构系数的乘积,BRF 通 过优化重构系数得到 HSI 的谱相关性.BRF方法的细节如下。

在高密度光谱波段下，高光谱分辨率图像在光谱维数上不可避免地具有高度的相关性[28]。 换句话说，高光谱分辨率图像在光谱维度上是稀疏的[29，30]，这使得搜索用于重建所有波段数据的精细波段图像字典成为可能。 在这里，波段图像字典意味着这个字典中的每个元素都由来自单个波段的像素值构成。 需要强调的是，本词典中的所有值都是通过求解优化问题而不是通过某些方法直接赋值得到的 。 波段重建的思想也被用于其他HSI研究，如超分辨率重建、波段选择和分类[31]，取得了一些有效的结果。 在这里，我们支持 提出了BRF技术进行HSI-MS I融合.

 首先，H2SI可以表示为带图像字典和重构系数矩阵的乘积如下：

 

 其中Z表示H2SI，每行 是一个带的矢量表示。 是带图像字典，每一行 表示共享的波段图像，k是字典中元素的数目。 为重构系数矩阵，每行mj  表示zj的线性重建系数。 因此，将HSI-MSI融合问题转化为搜索最优带图像字典和重构系数矩阵。 在此过程中，我们从HSI中得到重建系数信息，有效地提供了波段的光谱相关性。

 基于谱带重构，我们将方程（7)替换为方程(1)和(2），因此X和Y可以以下形式表示：

与UF方法中Eds和Ads的定义相同，Bds是B的空间退化版本，而Mds是M的下采样版本。图3显示了这两个公式的关系， 最终的融合数据将由M和B的乘积得到。

 

图3. 基于波段重建的融合策略说明

为了优化M和B，我们定义

 

我们采用乘法更新规则来交替优化方程式（10）中的这两项，保证在两个因式分解矩阵的非负约束下收敛于局部最优，更新规则如下：

 

其中 表示矩阵的转置。∗和./分别表示元素明智的乘法和除法。更具体地说，在算法1中总结了BRF方法的优化算法。

 如算法总结，我们首先使用Y初始化B，因为它简单，有利于收敛。字典B中的字典元素数k同时表示为 MSI的频带数，特别是k，也可以分配。 然后我们交替地优化了M和B，直到满足终止条件。在步骤2中，我们将NMF应用于方程（10）以优化M.作为初始化阶段，Bds是由Bds=BS获得的。 用方程（11）更新M，直到收敛，BDS固定。 作为优化阶段，Bds和M都被方程式（11)和(12）交替更新，直到下一次收敛。

在步骤3中，采用了类似的步骤来优化B。 作为初始化阶段，通过Mds=RM获得Mds。这一过程对于继承HSI获得的可靠重构系数信息具有重要意义。 然后用方程（14）更新B，直到收敛，用Mds固定优化相位，Mds和B依据方程（13)和(14）交替更新，直到下一次收敛。

步骤2和步骤3交替重复，直至收敛.. 通过交替更新B和M，该过程利用了HSI的光谱信息和MSI的空间信息。 最后我们可以用M和B的乘积重建H2SI，如方程（7）中所示。 换句话说，我们通过使用带图像字典和相应的系数重建每个带图像得到最终结果。 在实验中，我们首先将输入（HSI和MSI）平均分为多个区域，然后在每个区域中独立执行BRF，这样效率更高，更有利于查找优化的波段图像字典。

 与考虑空间维数稀疏性的UF方法相比，BRF考虑了光谱维数的稀疏性。 此外，在UF和BRF的优化中采用了不同的初始化手段。 在UF中，我们使用从HSI提取的端元光谱初始化了端元矩阵E。 在BRF中，我们将带图像字典B初始化为MSI中的带。 不同的初始化方法将极大地影响最终结果，这意味着UF和BRF方法可以获得非常不同的融合结果.. 将融合数据视为最终端元矩阵和丰度矩阵的乘积，逐像素重构融合数据像素。在此过程中，丰度矩阵保留了MSI中像素的空间相关性。对于BRF方法，从HSI获得的重构系数信息可以获得其带的全谱相关性。 也就是说，这两种方法从两个不同但互补的方面解决了 HSI-MSI 融合问题，产生了两种互补的融合结果。为了更好的融合在空间和光谱方面的性能，本文提出了SSQ指数以有效地综合这两个方面，下一节将对此进行详细介绍。

1.4. 基于光谱空间质量指数的对抗性选择策略

为了结合 UF 和 BRF 的优点，将两种融合结果中各自的优点结合起来，首次设计了光谱空间质量指数(SSQ)对两种融合结果进行初步评价。然后，以 SSQ 指数为指导，在对抗性选择过程中合成出 SSQ 得分较高的部件，得到最终结果。整个过程被称为“对抗性选择策略”。

 SSQ指数是基于HSI和MSI都是理想H2SI的退化形式，这意味着H2SI的空间下采样应该接近HSI，光谱下采样是基于HSI的。 然而，UF和BRF方法的融合结果通常不符合这一事实，这归因于融合方法的缺点。 对于UF方法，由于光谱变化和不准确的端元光谱，线性解混模型不能完全表示光谱数据。 因此，融合数据不能用最终成员矩阵和丰度矩阵的乘积进行精细重构。 在BR F方法中也出现了类似的情况，其中带图像字典不能完全表达和重建融合数据的所有信息。 因此，融合数据不能用最终成员矩阵和丰度矩阵的乘积进行精细重构。 在BRF方法中也出现了类似的情况，其中带图像字典无法协同使用

在SSQ中，输入HSI用于评估融合数据的光谱质量，而MSI用于评估空间质量。 具体而言，输入HSI与空间之间的误差。具体来说，利用初步融合结果输入的 HSI 与空间退化形式之间的误差来度量融合结果的光谱得分。首先，对于初步的三维融合结果，定义了像素在第 i 行、第 j 列和第 b 波段的光谱得分如下:

 其中Xc是原始输入HSI，Xˆc是UF方法或BRF方法得到的初步融合结果的空间退化形式，Xc和Xˆc都是三维形式，而不是二维矩阵形式。 µXc表示XC的所有像素的平均值。 |·|表示绝对值运算.. w是空间下采样的比率。 ε是一个常数，以避免分母接近于零。值得一提的是，由于HSI中的像素对应于H2SI中的区域，所以方程（15）中的除法运算被舍入以保证坐标的有效性。 由于 各向同性高斯PSF的重叠，融合数据中的每个像素对应于在HSI（不同权重）多个像素。 为了更好的计算效率，我们只需选择最大权重的像素作为参考作为方程（15）中的索引定义，较高的值表示较小的误差和较好的质量。

然后，以MSI为参考的光谱角的余弦值可以得到初步融合结果中第i行、j列像素的空间分数。  在这里，每个像素的所有波段都有相同的分数，计算如下：

 其中yij表示位于原始MSI中第一行和J列的像素的光谱，yˆij是初始光谱退化版本中相应像素的光谱。RY融合数据。 ||·||2表示欧氏范数，也称为2范数。 因为Y中的所有值都是非负的，所以光谱分数在0到1之间。 因此，更高的数值表明更高的相似性和更好的质量。 因此，最后的SSQ指数可以通过以下公式得到：

 

 以SSQ指标为指导，在两个初步融合数据的对抗性选择过程中可以得到最终的H2SI。 在这里，我们采用了一种最简单的策略，叫做“ 胜利者拿走了一切” 这是一种简单有效的方法。 此外，我们认为UF方法在光谱相关性高的部分表现更好，而 BFR 方法更适合于谱相关性较高的部分，因此我们直接选择其中一种方法而不是两者的组合。这项工作是通过以下方式完成的:

 

 其中，ZUF、ZB RF和ZAF分别表示UF方法、BRF方法和三维最终对抗性选择的融合结果。 SSQUF和SSQB RF是相应的SSQ指标 。 最后，我们总结了算法2中的整个过程。