CN117911830B 一种光谱保真的全局交互高光谱多光谱跨模态融合方法 （安徽大学）

号US2005111754A1,2005.05.26US2020302249A1,2020.09.24hierarchicalcrosstrafusion.Knowledge-BasedSystems卷1-13.一种光谱保真的全局交互高光谱多光谱跨本发明涉及一种光谱保真的全局交互高光了忽略相对较远领域波段的互补内容而导致的征提取不充分，以及传统Transformer的窗口注意力限制了对长距离依赖进行建模的能力的问本发明基于高光谱图像丰富的光谱信息和多光211)获取不同分辨率的合成高光谱多光谱数据集：根据Wald协议构建训练网络所需模光谱图像和高空间分辨率多光谱图像分别是以原始高光谱图像经过空间降采样和光谱降12)构建光谱保真的全局交互高光谱多光谱跨模态融合模型：该模型由高光谱相邻波之后再堆叠一个各个方向上步长均为2的最大1221)构建多光谱粗略空间信息提取子模块，该模块由两个卷积核大小为3×3的卷积可以被看作具有多相位和多尺度的滤波器，其特性被其高斯核函数的频率f和相位θ所决123)构建用于实现高光谱多光谱图像空间模态和光谱模态跨模态交互的引导融合信1231)构建用于将输入特征映射为深层特征的映射子模块，该模块由三个卷积核大小1232)构建用于对深层特征进行引导转换的互引导子模块，以产生融合高光谱图像潜3Xout＝WxVxAttn+PE(V)，12412)构建高频信息保留块，其位于多级编码器中的光谱位置敏感自注意力块与1242)构建加窗多尺度Transform层，由一个PatchPartition操作，LinearEmbedding操作，三个不同窗口大小的12421)构建第一个多尺度窗口大小TransformerBlock，其由LayerNorm，windowsize＝8的WindowAttention和多层感知器MLP组成，将输入进行矩阵查询Q,键值K,值V的12422)构建第二个多尺度窗口大小TransformerBlock，其由LayerNorm，windowsize＝4的WindowAttention和多层感知器MLP组成，将输入进行矩阵查询Q,键值K,值V的12423)构建第三个多尺度窗口大小TransformerBlock，其由LayerNorm，windowsize＝2的WindowAttention和多层感知器MLP组成，将输入进行矩阵查询Q,键值K,值V的1243)构建用于提高特征图的邻域空间和邻域光谱相关性的空谱校准子模块，其应用GAP表示全局平均池化操作，YGMP表示全局最大池化操作，W1D表示1_D卷积，MLPspe为输出光谱特征；在空间分支上，使用通道最大池化和通道平均池化操作，spa为输出空间特征；413)光谱保真的全局交互高光谱多光谱跨模态融合模型训练：将预处理好的成对不同14)高光谱和多光谱遥感影像融合结果获取：将获取的成对待融合真实高光谱和多光2.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其23)对原始参考高光谱图像进行光谱降采样操作，使用对应多光谱卫星的光谱响应函24)给高分辨率多光谱图像和低分辨率高光谱图像中分别加入高斯白噪声，模拟真实25)对原始参考数据的中心区域裁剪出128x128的分块作为测试集，剩余区域用于训5BP高通分量和低通分量，高通分量捕获的高光谱图像的噪声被去除，得到去除噪声的高光谱3.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其最后执行一次三分支特征的拼接和跳跃连接操作，得到相邻波段32)将预处理后的模拟多光谱图像输入多光谱空间纹理提取模块，获取高空间分辨率321)将预处理后的模拟多光谱图像输入两个卷积核大小为3x3的卷积层，每次卷积后322)将初步提取的空间特征输入Gabor滤波子模块，提取包含基础的纹理特征的特征331)对输入的高光谱特征执行一次1x1x3的3D卷积、对输入的多光谱特征执行一次3332)将光谱特征和空间特征分别输入两组映射333)将空谱交互融合特征输入条带卷积子模块，用大小为1x9的条带卷积核分别从水34)将条带卷积块的输出特征输入可利用频谱全局信息的U型多尺度Transformer模块63412)其次注意力图依次被输入到多个高频信息保留块，通过平均池化操作生成下采3413)将高频信息保留块的输出输入FFN前馈层，依次经过线性变换和GELU激活函数，342)将编码器的输出输入U型多尺度Transforme3421)执行一次PatchPartition对得到的多个patch执行一次LinearEmbedd在位置编码信息嵌入操作时与经过PatchPartition和LinearEmbedding操作的输入3422)将数据块经过三阶段连续的加窗多尺度视觉Tra3431)执行空谱校准子模块的光谱分支，首先通过一个全局最大池化操作和一个全局平均池化操作生成两个1x1xC维的特征，在多层感知器MLP函数自适应地校准特征的响应3432)执行空谱校准子模块的空间分支，通过通道最大池化和通道平均池化操作生成两个HxWx1维特征；344)将瓶颈层的输出输入特征集成解码子345)对特征集成解码子模块的输出执行一次3x3卷积来微调特征图；36)使用L1损失函数lossL1和结构相似性损失SSIM函数lossssim作为网络模型的损失函结构相似性SSIM可以比较IMHIF和IHR之间的结构差异1和X2分别等于和和分别表示X1和X278谱和多光谱图像进行有效融合，可以生成既具备高空间分辨率又包含细致光谱信息的图迁移到高光谱和多光谱图像超分辨率融合领域，随之而来的是不可避免的空间和光谱畸后通过编码器解码器结构的U型多尺度Transformer模块，利用相邻像素和相邻光谱之间9率高光谱图像和高空间分辨率多光谱图像分别是以原始高光谱图像经过空间降采样和光差为2的高斯模糊核滤波和四次双线性插值下采样得到用于训练的低空间分辨率高光谱图[0032]31）构建用于充分探索每个波段分组中的潜在信息的高积交叉融合分支由两个卷积核大小为3×3×3的卷积层，每个卷积层后接一个Relu层堆叠[0039]333）构建用于捕获不同方向长距离上下文信息的条带卷积子模块，包括包含水，[0046]3412）构建高频信息保留块，其位于编码器级中的光谱位置敏感自注意力块与瓶颈层，由一个PatchPartition操作，LinearEmbedding操作，三个不同窗口大小的用空间和光谱双分支结构在光谱方向和空间方向上重新校准特征图的权重；输入特征[0082]在位置编码信息嵌入操作时与经过PatchPartition和LinearEmbedding操作的[0083]4422）将数据块经过三阶段连续的加窗多尺度视觉Transformer模块信息提取模块，每阶段的TransformerBlock均执行LayerNorm，WindowAttention和MLP操作，其有复杂地面特征和严重光谱混合的大规模场景中精度有限的问题，构建U型多尺度[0118]如图1所示，本发明所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方均值和标准差为2的高斯模糊核滤波和四次双线性插值下采样得到用于训练的低空间分辨高通分量和低通分量，高通分量捕获的高光谱图像的噪声被去除，得到去除噪声的高光谱[0128]（1）如图4所示，高光谱相邻波段融合模块由三个并行的3D卷积交叉融合分支组[0130]中心频率和带宽参数决定了Gabor滤波器特定的性能，在对不同的纹理图像进行滤波时，只有频率相符合的纹理信号才能通过特定参数的Gabor滤波器，采用四个相位的导融合信息重建模块中进行下一步更加精细的特征[0162]在位置编码信息嵌入操作时与经过PatchPartition和LinearEmbedding操作的窗口大小依次为8、4、2，每阶段的TransformerBlock均执行LayerNorm，Window