CN119515698A 一种红外与可见光图像融合方法、电子设备和存储介质 （无锡学院）

本发明公开了一种红外与可见光图像融合训练的提示词生成网络对融合图像质量进行约像对应的所述红外图像输入所述图像融合网络不仅有效抑制了传统夜间图像融合算法存在的2构建图像融合网络，所述图像融合网络使用预训练的将所述弱可见光图像以及与所述弱可见光图像对应的所述红外图像输入所述图像融将给定的文本嵌入到所述亮度调节网络的训练中，借助CLIP编码后的文本呈现为向KAN网络通过两层线性层对输入的文本向量进行扩展和调整，并通过Lea对输入的弱可见光图像进行展平操作，以使得DFN模块中的Mamba模通过编码器中的DFN模块提取输入的弱可见光图像的特征，通过DFN模块中并行的CNN通过DFN模块的多层次结构逐层加深特征提取的深度，帮助网络在不同层次捕获图像通过仿射变换模块将文本特征嵌入到解码器中的每一个层级，从而实像增强，仿射变换模块使用KANLinear层和LeakyReLU激活函数对文本特征进行逐层处理，解码器中的每一层DFN模块后均能够接收经过仿射变换模块后的文本特征引导，以确3解码器中的每个上采样模块用于将特征图的空间分辨率放大一倍，从而逐输入图像相同的分辨率，在每个上采样模块之后，解码器中的特征图会进入下一个DFN模解码器中的卷积层用于将解码器的输出特征图转换为最终的融合图用3x3的卷积核。6.根据权利要求5所述的红外与可见光图像融合方所述MambaBlock模块用于从全局角度提取图像的语义信息，所述MambaBl包括Norm模块、三个MLP模块、两个Conv模块、ForwardSSM模块、BackwardSSM模块和使用第一MLP模块来对输入特征进行初步的非线性变换；将第一卷积后的特征被分送到ForwardSSM模块和BackwardSSM模块；ForwardSSM模块和BackwardSSM模块分别用于捕捉序列特征的前向和后向关系；ForwardSSM模块通过时间Activation模块输出的激活特征与ForwardSSM模块、BackwardSSM模块的输出分别进行将初始输入特征添加到第三MLP模块的输出上，通过残差连接确保原始特征细节得以所述Multi_CNN模块用于提取局部的纹理信息，其采用不同卷积核大小的卷积层并行所述DFN模块中还包括权重融合模块；在DFN模块中，MambaBlock模块和Mult块两个分支提取到的特征通过可学习的权重进行融合；权重融合模块用于自适应地调整4输入的弱可见光图像以及与弱可见光图像对应的红外图像经过Flatten操作，转换为通过编码器对两个模态的图像特征进行编码，提取出各自的特征表示利用Aix模块对不同模态特征进行初步融合8.根据权利要求7所述的红外与可见光图像融合方法所述拼接的操作形成了两种不同的序列组合，分别为第一组合和第两个序列分别被反序列化回原始的二维特征形式，将序特征，沿W维度池化后得到形状BXCXHX1的特征；然后沿着新增的维度拼接，得到一个形状为BX2XCXHXW的张量；使用3D卷积对拼接后的将两个增强后的分支特征放在一起，通过可学习的权重进行融合；59.一种电子设备，包括存储器、处理器以及存储在6其他重要信息。这些过曝问题使得现有融合方法在动态光照条件下的适应性和鲁棒性不7[0011]将所述弱可见光图像以及与所述弱可见光图像对应的所述红外图像输入所述图[0021]通过DFN模块的多层次结构逐层加深特征提取的深度，帮助网络在不同层次捕获[0025]解码器中的每一层DFN模块后均能够接收经过仿射变换模块后的文本特征引导，8和BackwardSSM模块分别用于捕捉序列特征的前向和后向关系；ForwardSSM模块通过时[0033]接着，通过第二MLP模块将输出传递给Activation模块，允许模型进行非线性转[0036]将初始输入特征添加到第三MLP模块的输出上，通过残差连接确保原始特征细节[0037]所述Multi_CNN模块用于提取局部的纹理信息，其采用不同卷积核大小的卷积层[0040]所述DFN模块中还包括权重融合模块；在DFN模块中，MambaBlock模块和Multi_9CNN模块两个分支提取到的特征通过可学习的权重进行融合；权重融合模块用于自适应地的特征提取；将MambaBlock模块和Multi_CNN模块两个分支的特征按照权重进行加权相[0042]输入的弱可见光图像以及与弱可见光图像对应的红外图像经过Flatten操作，转[0048]进一步，所述Aix模块的输入为红外特征和可见光特征，所述Aix模块为Mamba和算机程序被处理器执行时实现前述的红外与[0066]图7是本申请的用于证明抑制白天过曝问题的有益效果的效果图，左侧的a1和a2[0074]将所述弱可见光图像以及与所述弱可见光图像对应的所述红外图像输入所述图[0093]当提供与白天场景相关的文本输入(例如：“Imageprocessingtasksin[0096]在文本向量嵌入到亮度调节网络的过程中，首先通过CLI[0097]仅仅通过KAN网络对向量长度进行调整并不足以将文本信息完整嵌入到网络中。射变换通过计算缩放系数γ和偏移系数β,对输入特征x进行线性和偏置操作，数用于评估生成图像与正常光照条件下的参考图像(LOL数据集中的亮光图像)之间的差包含细节纹理信息的局部区域时，可能会忽略这些细节，导致在这些通道上的表现不佳，通过训练过程自动调整Mamba和CNN的输出权重，使网络学会在不同通道上平衡两者的贡(如"goodfusionimage")对网络进行引导训练，这种方式可以作为有效的监督方法。然张来自LLVIP数据集的可见光图像和50张红外图像，以及50张高质量的融合图像(从这些文本在训练过程中提供了额外的监督信号，帮助融合网络理解高质量融合图像的特种监督信号使模型能够学习如何生成合适的文本描述来区分单模态图像的文本描述与其图像特征的相似度较高(接近1)，而精确的提示词。[0110]为了进一步提高生成文本的质量，本发明提出了一种新型的文本嵌入优化策highcontrastimages”,仅执行图像融合任务，在夜晚环境下引导文本设置为“Dark,[0113]3.1：融合网络借助知识蒸息的捕捉能力。而CNN分支上我们添加了坐标注意力机制，对通道内的信息进行压缩与激利用本发明提出的Aix特征融合模块和相应的文本引导完成全面的特征重组，通过解码器责提取输入图像的特征，通过并行的CNN和Mamba架构分别提取局部纹理和全局语义信息。层处理，生成适配当前解码器层级的变换参数，这些参数包括缩放系数(gamma)和偏移值的权重参数W来对两部分进行自适应融合，使得网络能够根据实际情况对Mamba和CNN进行高训练过程中的数值稳定性。之后模块中使用了多层感知器(MLP)来对输入特征进行初步取局部的时序模式或空间特征。在这里，卷积后的特征被分送到正向和反向的SSM模块。ForwardSSM和BackwardSSM是该模块的核心部分，分别用于捕捉序列特征的前向和后向[0124]正向和反向SSM的设计使得模型可以在处理复杂序列时利用双向信息，从而提高提取中尺度的图像特征。7x7卷积核具有更大的感受野，可以捕捉到全局的纹理和结构信息，适合提取较大尺度的特征。Multi_CNN模块通过将不同卷积核大小的特征进行并行提取，能够在不同尺度上捕捉丰富的纹理细节信息。然后这些多尺度特征会被拼接和Multi_CNN两个分支提取到的特征通过可学习的权重进行融合。权重融合模块的作用如[0125]其中，Norm模块即归一化模块，使用BatchNormalization(BN)或LayerNormalization(LN)。归一化模块的作用是标准化输入数据，减少内部协变量偏移的空间结构信息。该模块通过多头自注意力机制(Multi_Hea[0134]Flatten和LayerNorm：首先对输入特征进行展平(Flatten)，然后进行层归一化在更小的空间范围内提取局部信息，沿H维度池化后得到形状B×C×1×W的特征，沿W维度上添加一个新维度，通过unsqueeze操作将其变为B×1×C×H×W，然后沿着新增的维度拼接，得到一个形状为B×2×C×H×W的张量。使用3D卷积(卷积核为1×1×1)对拼接后的特度去掉得到输出。同顺序的拼接，解决了单一顺序建模带来的信息丢失问题，而CNN通过引入坐标注意力机于文本引导和蒸馏的融合网络架构，基于深度学习CNN和Mamba并行的特征提取和融合模块，旨在解决之前暗光环境下融合网络存在的白天图片过曝问题和夜间点光源过曝问题。效传递和特征逼近实现了新颖的边增强边融合策略。为实现融合网络的不同场景差别处的红外特征和可见光特征需要进行混序拼接再融合，以弥补序列化带来的融合不充分问[0149]本申请的技术方案还有效抑制了夜间点光源过曝问题，采取的LLVIP数据集中图理单元(CentralProcessingUnit，CPU)，其可以根据存储在只读存储器(Read_OnlyMemory，ROM)中的程序或者从储存部分加载到随机访问存储器(RandomAccess[0163]以下部件连接至I/O接口：包括键盘、