CN118587105B 一种红外与可见光图像融合方法、装置及电子设备 （北京理工大学）

号叉注意块将提取的浅层和深层特征直接融合为2将所述初步融合特征与所述各层次特征信息中浅层特征进行融合，获得最终融合特其中，分别表示从红外图像和可见光图像中提取的各层次特将所述各层次特征信息中最深层的特征拼接，利用两个卷积层生成一个初步融合特利用交叉注意力机制将所述初步融合特征与所述各层次特征信息中浅层特征直接整3初步融合模块，将所述各层次特征信息中最深层的特最终融合模块，将所述初步融合特征与所述各所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1_6中任一项9.一种计算机可读存储介质，其特征在于，所述执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1_6中任一项所述的4[0001]本申请涉及计算摄像科学技术领域，尤其涉及一种红外与可见光图像融合方法、[0003]现有基于深度学习的方法获得融合图像是简单的Transformer和卷积块的堆叠，的基于Transformer的融合方法并没有充分利用Transformer的潜力，并且在引入[0010]为达上述目的，本申请第一方面实施例提出了一种红外5[0026]优选地，所述将所述初步融合特征与所述各层次特征信[0027]利用交叉注意力机制将所述初步融合特征与所述各层次特征信息中浅层特征直意力块采用移动窗口策略计算窗口注意力，采用LeakyReLU为激活函数生成最终的融合图[0033]为达上述目的，本申请第二方面实施例提出了一种红外[0037]最终融合模块，将所述初步融合特征与所述各层次特征信息中浅层特征进行融6[0043]本申请提供的一种红外与可见光图像融合方法，利用红[0045]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0046]图1为本发明所提供的一种红外与可见光图像融合方法的第一种具体实施例的流7[0059]其中，分别表示从红外图像[0065]利用交叉注意力机制将所述初步融合特征与所述各层次特征信息中浅层特征直意力块采用移动窗口策略计算窗口注意力，采用LeakyReLU为激活函数生成最终的融合图取过程不断深化所带来的信息丢失。利用模态引导的Transformer输出的融合图像在保持[0074]特征提取模块通过卷积层和高效远程注意力块分别进行浅层局部特征提取和的8[0075]模态引导的特征融合模块将从特征提取模块获得的不同层次的特征整合到融合像和可见光图像进行深度特征提取。如图3所示，高效远程注意力块首先执行局部特征提需再次计算。三个模态引导的交叉注意力块中处于中间位置的一个在计算窗口注意力时，征可以将其输出rf表示为：9所有卷积层都使用LeakyReLU作为激活函数。模态引导的融合模块整合的融合特征输入到Transformer的红外与可见光图像融合框架进行红外图像与可见光图像融合，利用卷积层特征的同时避免了特征提取过程不断深化所带来的[0090]最终融合模块400，将所述初步融合特征与所述各层次特征信息中浅层特征进行[0092]本实施例的一种红外与可见光图像融合装置用于实现前述的一种红外与可见光术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器[0104]本技术