CN118628357B 基于transformer的跨模态融合高光谱图像超分重建方法 （北京卫星信息工程研究所）

基于transformer的跨模态融合高光谱图像本发明涉及一种基于transformer的跨模态列；采用随机掩膜机制对视觉transformer的编相似度的损失函数，对视觉transformer的编码后的视觉transformer的编码器提取的特征进行2步骤S23、将掩膜部分和视觉transformer的编码器获得的增强特征一起输入到视觉步骤S3、构建基于解码器重构的图像与真值图像的相似度的损失函数，对视觉步骤S4、利用图像重建模块对优化后的视觉transformer的编码器提取的特征进行超对特征图Z和特征图F按照频谱方向进行拆分获得zi和fi序列，将其输入Quasi_Quasi_Recurrent池化层中ii2.根据权利要求1所述的基于trans处理，获得两种模态对应的图像块序列，包括RGB模态图像块序列和高光谱模态图像块序列，预处理过程至少包括不重叠的分割切块和加入步骤S12、对RGB模态图像块序列和高光谱模态图像块在训练阶段中，利用L1函数计算重建误差对解码器和编码器3HSI代表解码器对编码器生成的高光谱特征进行重构的损失函数，LRGB代表解码器对编码器生成的视觉特征进行重构的损失函数，Ifuse代表拼接后的高光谱一RGB融合4.根据权利要求2所述的基于transforme在推理阶段中，不进行所述步骤S21中掩膜过程，直接将融合t视觉transformer的编码器中进行特再利用图像重建模块对编码器提取的特征进行在任一特征编码层中，首先将融合特征向量经过归一化操作后同时作为Query，Key，在多头注意力机制内部，在每个头部中将融合特征转置之后和自身进行矩阵乘法运设备执行如权利要求1至5中任一项所述的基于transformer的跨模态融合高光谱图像超分理器执行时，实现如权利要求1至5中任一项所述的基于transformer的跨模态融合高光谱4[0001]本发明涉及跨模态数据融合与遥感图像数据增强技术领域，尤其涉及一种基于[0003]为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种基于transformer的跨模态融合高光谱图像超分重建方法，通过嵌入层将两种模态的数据进行通过自注意力机制实现特征的单一模态数据的自增强和跨模态间的信息交互，经过三层Quasi_Recurrent卷积单元和一层双向Quasi_Recurrent卷积单元对于高光谱图像的重建，[0004]为实现上述发明目的，本发明提供一种基于transformer的跨模态融合高光谱图[0007]步骤S3、构建基于解码器重构的图像与真值图像的相似度的损失函数，对视觉[0008]步骤S4、利用图像重建模块对优化后的视觉transformer的编码器提取的特征进序列，5[0015]步骤S22、将未被掩膜的token序列输入到视觉transformer的编码器中进行特征表解码器对编码器生成的视觉特征进行重构的损失函数，Ifuse代表拼接后的高光谱_RGB[0022]根据本发明的一个技术方案，所述步骤S4中，所述图像重建模块由3层Quasi_[0025]对特征图Z和特征图F按照频谱方向进行拆分获得zi和fi序列，将其输入Quasi_Quasi_Recurrent池化层中的操i好的视觉transformer的编码器中进[0032]在任一特征编码层中，首先将融合特征向量经过归一化操作后同时作为Query，6个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种基于transformer所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种基于transformer的跨模态融合高光谱图像超[0040]本发明提出了一种基于transformer的跨模态融合高光谱图像超分重建方法，通过嵌入层将两种模态的数据进行无重叠切片拼接并加入位置编码，通过视觉transformer对RGB数据和高光谱数据的强时空配准要求，使网络能够自适应对跨模态数据进行融合和[0042]通过采用基于Quasi_Recurrent卷积单元设计的深度学习图像重建模块实现对于更好地利用全局频谱互相关信息，额外加入的双向Quasi_Recurrent卷积单元能够采用更[0044]图1示意性表示根据本发明一种实施方式的基于transformer的跨模态融合高光[0045]图2示意性表示根据本发明一种实施方式的基于transformer的跨模态融合高光[0046]图3示意性表示根据本发明一种实施方式的视觉transformer编码器工作原理示7[0048]图5示意性表示根据本发明一种实施方式的基于transformer的跨模态融合高光解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，射后的通道数与RGB模态数据通道书保持相同以便进行下一步的拼接操作，对获得的两模[0059]步骤S22、将未被掩膜的token序列输入到视觉transformer的编码器中进行特征8表解码器对编码器生成的视觉特征进行重构的损失函数，Ifuse代表拼接后的高光谱_RGB[0072]步骤S4、利用图像重建模块对优化后的视觉transformer的编码器提取的特征进好的视觉transformer的编码器中进Quasi_Recurrent卷积单元和1层双向Quasi_Recurrent[0078]对特征图Z和特征图F按照频谱方向进行拆分获得zi和fi序列，将其输入Quasi_Quasi_Recurrent池化层中的操i9个计算机程序，以使电子设备执行如上述技术方案中任一项的一种基于transformer的跨计算机指令被处理器执行时，实现如上述技术方案中任一项一种基于transformer的跨模[0084]本发明的一种基于transformer的跨模态融合高光谱图像超分重建方法，面向场景配对的高空间分辨率RGB和低空间分辨率高光谱图像对，基于视觉transformer的编码卷积单元设计的深度学习图像重建模块，对transformer提取的融合特征进行重构。利用transformer中的注意力机制使网络自适应地从可见光模态数据学习到高分辨率空间特的注意力机制实现特征信息在两种模态中的双向流通自适应融合，采用基于Quasi_Recurrent卷积单元设计的深度学习图像重建模块更适应于高光谱多波段数据，能够更好实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的[0088]这些计