CN114936995B 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 （郑州轻工业大学）

基于大核注意力机制的多尺度特征增强的本发明公开了一种基于大核注意力机制的与非局部特征提取模块是由多尺度残差块与大充分整合大核注意力模块与多尺度残差块所提采用基于非对称卷积的U型特征提取网络来获取大提升了多光谱与全色图像融合结果的图像质2S1：对低分辨率的多光谱图像与全色图像进行预处S2：构造由多尺度残差块与大核注意力模块的大核注意力模块用于获取长程依赖关系、局部空间信息以及空间与光谱维度的适应性，所述的多尺度残差块用于提取多尺度局部空间信息，并对提取的特征进行初步的信息聚S201：将步骤1中获取的两种特征进行拼接操作输入到多尺度残差块与大核注意力模独引入一条由3个3×3卷积构成的级联分支，来获取对应的5×5,7×7尺度的更加精细的通道卷积来获取空间与通道上的局部信息以及长程依赖关系的S204：将这两个分支所提取的特征利用1×1卷积S302：利用通道注意力模块提取多尺度特征S5：再将输出的特征输入到局部与非局部特征提取模块与金字塔挤压注意力模块中，2.根据权利要求1所述的基于大核注意力机制的多尺度特征增强的遥感图像融合方3.根据权利要求1所述的基于大核注意力机制的多尺度特征增强的遥感图像融合方34.根据权利要求1所述的基于大核注意力机制的多尺度特征增强的遥感图像融合方S501：将步骤S4输出的特征再次输入到局部与非局5.根据权利要求1所述的基于大核注意力机制的多尺度特征增强的遥感图像融合方6.根据权利要求2所述的基于大核注意力机制的多尺度特征增强的遥感图像融合方4结果在光谱保持和空间增强方面都有了很大的提升。基于深度学习的遥感图像融合方法，是遥感图像融合的一个重大创新。这些创新算法都是依据多光谱图像与全色图像的特性，度学习的遥感图像融合算法得到了广大研究[0005]虽然transformer在提取长程依赖关系上具有明显的优势，但是这些基于transformer的融合算法仍有一定的局限性：1)对于高分辨率的遥感图像来说二次计算复5[0009]S2：构造由多尺度残差块与大核注意力模块组成的局部[0010]S3：通过金字塔挤压注意力模块在更细粒度的水平上有效地提取多尺度空间信块来增强局部关键点的效果，同时U型网络的编解码构造可以更好地获取不同尺度与深度[0018]步骤S201：将步骤1中获取的两种特征进行拼接操作输入到多尺度残差块与大核卷积膨胀卷积)、局部卷积(深度卷积)以及通道卷积(点卷积)来获取空间与通道上的局部6HRMSi表示对应的第i个重建出的高分辨[0037]1.针对基于transformer的融[0040]图1为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的流程[0041]图2为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的原理7[0042]图3为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的多尺[0043]图4为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的大核[0044]图5为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的金字[0045]图6为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法的基于[0046]图7为本发明基于大核注意力机制的多尺度特征增强的遥感图像融合方法在[0049]为了解决基于transformer的遥感图像融合方法无法捕获通道适应性，且对于高[0051]步骤2：构造由多尺度残差块与大核注意力模块组成的局部与非局部特征提取模[0052]步骤3：通过金字塔挤压注意力模块在更细粒度的水平上有效地提取多尺度空间非对称卷积块来增强局部关键点的效果，同时U型网络的编解码构造可以更好地获取不同[0054]步骤5：再将输出的特征输入到局部与非局部特征提取模块与金字塔挤压注意力特征提取模块用来初始提取多光谱图像与全色图像中的局部与非局部的通道与空间信息，8称卷积的U型网络进行深层次的特征提取，最后再次使用局部与非局部特征提取模块和金[0068]现有的基于transformer的框架对于局部特征与长程特征的融合大都采用简单的[0069]步骤3.1：通过在金字塔结构中使用不9HRMSi表示对应的第i个重建出的高分辨128/512/512的多光谱/全色/地面真实图像对用于[0092]表1给出了本发明方法和对比方法的性能指标情况。本实验采用了如下的性能指之间空间像素的相似度，相关系数的值越大，表示融合的结果越好。ERGAS(ErreurRelativeGlobalAdimensionnelledeSynthese)表示多光谱图像全局反射率之间的差图像的光谱曲线之间的差异，其值越小，表示融合的结果越好。通用图像质量指数4.03124.6858果低。本发明的方法通过跨尺度通道聚合以及U型网络编解码的方式加强了特征