CN119399043A 基于分类和多级残差增强的高光谱与多光谱图像融合方法 （齐鲁工业大学(山东省科学院)）

基于分类和多级残差增强的高光谱与多光本申请公开了一种基于分类和多级残差增像融合方法获取的重建的高分辨率高光谱图像在对背景噪声较多的源图像进行融合时具有较谱与多光谱图像融合方法对不同类别的地物还2S1：分别对PaviaUniversity数据集和Pavi所述基于分类引导和多级残差增强的图像融合网络，包括上采样模块和块以及并联的波段嵌入模块和空间注意力模块一个3x3卷积层分别连接多级残差增强模块和分类网络，分信息交互模块均与第一个逐元素相乘模块连接，第一个逐S5、将待处理低分辨率高光谱图像和待处理高分辨2.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方S1_1、基于PaviaUniversity数据集中的图像获取S1_2、基于PaviaCenter数据集中的图像获S1_3、基于PaviaUniversity数据集中的图S1_4、基于PaviaCenter数据集中的图像用于训练的原用于训练的原始低分辨率高光谱图像以及用于训练的高分辨率多光谱图像共同构成训练集A；用于测试的原始低分辨率高光谱图像以及用于测试的高分辨率多光谱图像共同3.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方输入端与通道注意力模块的输入端连接，第一个Concat层的输出端与像素混洗模块连接，34.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方输入端和平均池化层的输入端相连接，最大池化层的输出端和平均池化层的输出端均与5.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方输入端和平均池化层的输入端相连接，最大池化层还依次连接第一个全连接层、第一个6.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方一个多级残差连接模块的输入端与第三个多级残差连接模块的输出端均与Add层连接，三7.根据权利要求6所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方多级残差连接的方式进行连接，每个卷积单元均包括和Concat层，最后一个卷积单元的Concat层输出端连接8.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方9.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合方积层，5x5卷积层的输入端以及第一个3x3卷积层的输入端均与和通道注意乘单元，第一个3x3卷积层的输出端连接第四个逐元素相乘第一个3x3卷积层的输出端还均与第一个Add层相连接，第一个Add层连接空间注意力模三个Add层连接通道注意力模块，上采样模块的输出端还连注意力模块的输出端分别与第五个逐元素相乘单元的输入端和第六个逐元素相乘单元的410.根据权利要求1所述的一种基于分类和多级残差增强的高光谱与多光谱图像融合类别分别对应的原始低分辨率高光谱图像中均随机选择10%的图像及其相对应的标签作为多光谱图像进行划分，然后从9种地物类别分别对应的原始高分辨率多光谱图像中均随机选择10%的图像及其相对应的标签作为用于训练的原始高分辨率多光谱子图像；用于训练的原始低分辨率高光谱子图像和用于训练的原始高分辨率多光谱子图像构成训练集所述基于分类和多级残差增强的高光谱与多光谱图像融合方法的训S4_2、将步骤S4_1得到的训练集B输入至本申请基于分类引导和多级残差增强的图像5[0003]现有的基于深度学习的高光谱与多光谱图像融合方法通过对高光谱图像和多光S1：分别对PaviaUniversity数据集和PaviaCenter数据集中的图像进行预处6本申请中用于训练的原始低分辨率高光谱图像以及用于训练的高分辨率多光谱图像共同构成训练集A；本申请中用于测试的原始低分辨率高光谱图像以及用于测试的高输入端与通道注意力模块的输入端连接，第一个Concat层的输出端与像素混洗模块连接，输入端和平均池化层的输入端相连接，最大池化层的输出端和平均池化层的输出端均与以及最大池化层的输入端均与逐元素相乘单元的输输入端和平均池化层的输入端相连接，最大池化层还依次连接第一个全连接层、第一个一个多级残差连接模块的输入端与第三个多级残差连接模块的输出端均与Add层连接，三×3卷积层的输出端以及第一个卷积单元的输入端7注意力模块的输出端分别与第五个逐元素相乘单元的输入端和第六个逐元素相乘单元的包括融合损失lr和分类损失lc，基于分类引导和多级残差增强的图像融合网络的总生成地物类别分别对应的原始低分辨率高光谱图像中均随机选择10%的图像及其相对应的标签辨率多光谱图像进行划分，然后从9种地物类别分别对应的原始高分辨率多光谱图像中均随机选择10%的图像及其相对应的标签作为用于训练的原始高分辨率多光谱子图像；用于训练的原始低分辨率高光谱子图像和用于训练的原始高分辨率多光谱子图像构成训练集本申请中所述基于分类和多级残差增强的高光谱与多光谱图像融合方法的训练S4_2、将步骤S4_1得到的训练集B输入至本申请基于分类引导和多级残差增强的8本申请所述高光谱与多光谱图像融合方法基于由PaviaUniversity数据集得到S1：分别对PaviaUniversity数据集和PaviaCenter数据集中的图像进行预处中，PaviaUniversity数据集的获取网址：/li_yapeng/MambaHSI，PaviaUniversity数据集包含地物的像素总共有42776个，包含的地物类别为9种；Pavia9预处理图像中其余90%的样本点为中心、以尺寸大小为16×16，将初步预处理图像进行分University数据集得到的初步预处理图像所包含的地物像素的数量就是42776，PaviaUniversity数据集得到的初步预处理图像的样本点就是预处理图像中其余90%的样本点为中心、以尺寸大小为16×16，将初步预处理图像进行分将PaviaUniversity数据集中的图像通过光谱响应函数获得一次处理高分辨率本申请采用的光谱响应函数的与https://nwp_/site/software/rttov/download/coefficients/spectral_response_functions/#mw公开的将PaviaCenter数据集中的图像通过光谱响应函数获得一次处理高分辨率多光寸大小为64x64，将一次处理高分辨率多光谱图像进行分[0020]本申请中用于训练的原始低分辨率高光谱图像以及用于训练的高分辨率多光谱图像共同构成训练集A；本申请中用于测试的原始低分辨率高光谱图像以及用于测试的高所述基于分类引导和多级残差增强的图像融合网络的结构，如图1所示，图1中，波段嵌入模块连接第一个3x3卷积层，第一个3x3卷积层分别连接多级残差增强连接，通道注意力模块的输出端以及第二个3x3卷积层的输出光谱图像进行初步融合，得到补全空间和光谱信息的的是在保证原始低分辨率高光谱图像清晰度的同时有效增加低分辨率高光谱图像的分辨第一个3x3卷积层，用于对波段嵌入模块输出的特征图进行局部特征提取处理，多级残差增强模块，用于对第一个3x3卷积层输出的特第二个3×3卷积层，用于对第一个逐元素相乘单元输出的特征图进行卷积操作，及第二个逐元素相乘单元输出的空间光谱信息增强的特征图在多个尺度上捕捉不同层次出端；本申请中，像素混洗模块与《HyperspectralImageSuper_resolutionviaDeepSpatio_spectralAttentionConvolutionalNeuralNetworks》论文中公开Sigmoid层的输出端以及最大池化层的输入端均与逐元素相乘[0026]空间注意力模块中，最大池化层用于对输入的特征图在空间维度做最大池化操图像中不同位置的权重自适应地调整，得到具有能突出图像中重要空间细节的空间特征谱信息特征；平均池化层对输入的原始低分辨率高光谱图像在通道维度做平均池化操作，计算特征窗口内所有值的平均值；最大池化层输出的特征图会依次经过第一个全连接层、接层输出的特征图和第四个全连接层输出的特征图利用Add层进行相加操作；卷积层用于逐元素相乘模块则用于对Sgmoid层输出的特征图以及输入通道注意力模块的原始低分辨多级残差连接模块的输入端与第三个多级残差连接模块的输出端均与Add层连接，三个多差连接的方式进行连接，每个卷积单元均包括依次连接的3×3卷积层、RELU激活层和3卷积层的输出端以及第一个卷积单元的输入端均第一次拼接图分别输入到第二个卷积单元的卷积层、第二个卷积单元的Concat层、第三个卷积单元的Concat层和第四个卷积单元的Concat层中；第一个卷积单元中第二次拼接图分别输入到第三个卷积单元的Concat层和第四个卷积单元的本申请中采用的分类网络与论文《HybridSN:Exploring3_D_2_DCNNFeature层的输入端与分类网络的输出端连接，Add层的输入端与空间注意力模块的输出端连接，[0034]分类网络输出的特征图依次经过卷积层的卷积处理和最大池化层的最大池化处理后，与空间注意力模块输出的特征图通过Add层进行相加，实现信息整合，而后再经过第一个3×3卷积层，5×5卷积层的输入端以及第一个3×3卷积层的输入端均与图2中和通5卷积层的输出端和第一个3×3卷积层的输出端还均与第一个Add层相连接，第一个Add层的输出端均与第四个Add层相连接。本申请基于注意力的多尺度融合模块中空间注意力模5×5卷积层用于对图2中第二个逐元素相乘单元输出的特征图通过较大的感受野二个逐元素相乘单元输出的特征图提取局部细节特征，增强图像中的细节信息和纹理特征；第一个Add层用于将第一个3×3卷积层输出的特征图以及5×5卷积层输出的特征图进注意力图和第一个3×3卷积层输出的特征图进行逐元素相乘，实现对局部空间信息的整合；第二个Add层用于将第三个逐元素相乘模块输出的特征图和第四个逐元素相乘模块输个Add层用于将第五个逐元素相乘模块输出的特征图以及第六个逐元素相乘模块输出的特本申请中基于分类引导和多级残差增强的图像融合网络的总生成损失包括融合地物类别分别对应的原始低分辨率高光谱图像中均随机选择10%的图像及其相对应的标签辨率多光谱图像进行划分，然后从9种地物类别分别对应的原始高分辨率多光谱图像中均随机选择10%的图像及其相对应的标签作为用于训练的原始高分辨率多光谱子图像；用于训练的原始低分辨率高光谱子图像和用于训练的原始高分辨率多光谱子图像构成训练集本申请中所述基于分类和多级残差增强的高光谱与多光谱图像融合方法的训练S4_2、将步骤S4_1得到的训练集B输入至本申请基于分类引导和多级残差增强的模块、信息交互模块和基于注意力的多尺度融合模块和分类网络的学习率均设置为1x10为了对比本申请所述的基于分类和多级残差增强的高光谱与多光谱图像融合方法的融合效果，本申请将现有的四种高光谱与多光谱图像融合方法和本申请所述基于分类和多级残差增强的高光谱与多光谱图像融合方法进行了对比，其中，现有的高光谱与多光于《U2Net:AGeneralFrameworkwithSpatial_Spectral_IntegratedDoubleU_NetforImageFusion》）、PSRT方法（出自于《PSRT:PyramidShuffle_and_Reshuffle《KNLConv:Kernel_spaceNon_localConvolutionforHyperspectralImageSuper_resolution》上述现有的四种高光谱与多光谱图像融合方法以及本申请所述的基于分类和多级残差增强的高光谱与多光谱图像融合方法均采用本申请所构建的测试集进行测标签分别输入到/PSRben/U2Net中所示的基于PyTorch的高光谱与多光谱图像融合评价工具，即可输出评价指标PSNR、SAM、ERGAS和SSIM，评价指标合方法在表1中以Ours方法进行表示。[0044]本申请中对测试集中由PaviaUniversity数据集得到的用于测试的图像进行测[0045]由于上述现有的四种高光谱与多光谱图像融合中，PSRT方法进行测试得到的PSNR、SAM、ERGAS和测试结果均较佳，具体来说，PSRT方法进行测试得到的相较于PSRT方法，本申请所述高光谱与多光谱图像融合方法的PSNR评价指评价指标降评价指标评价指标提相较于评价指标降评价指标评价指标提相较于PSRT方法，本申请所述高光谱与多光谱图像融合方法的相较于PSRT方法，本申请所述高光谱与这表明本申请所述高光谱与多光谱图像融合方法在提高重建的高分辨