CN114187221B 基于自适应权重学习的红外与可见光图像融合方法 （北京环境特性研究所）

基于自适应权重学习的红外与可见光图像本发明涉及一种基于自适应权重学习的红制与融合权重自适应生成构建了深度特征自适可见光图像进行初步的连接操作后输入至生成发明融入了像素级注意力机制以及层次级联思2源数据进行连接操作后进入生成器网络，通过深度特征所述融合图像进入双通道鉴别器进行判别；构建所述生成器，采用基于像素级注意力机制和所述深度特征自适应提取模块包括注意力子网络、无注意力子网络和生成子网络；所述注意力子网络以及所述无注意力子网络对图像特征进行提取与通道压无注意力子网络所输出的特征进行通道恢复与自适应特所述注意力子网络由两个3×3卷积和一个1×1卷积构成；其中，3×3注意力机制用于为不同通道分配相应权重，以提高所述注意力子网络提取重要信息的能输入特征xn-1分别经过注意力子网络和无注意力子网络后，在各自输出端得到的特征3.根据权利要求1所述的基于自适应权重学习的红外与可见光图像融合方法，其特征4.根据权利要求1所述的基于自适应权重学习的红外与可见光图像融合方法，其特征5.根据权利要求4所述的基于自适应权重学习的红外与可见光图像融合方法，其特征6.根据权利要求5所述的基于自适应权重学习的红外与可见光图像融合方法，其特征37.根据权利要求6所述的基于自适应权重学习的红外与可见光图像融合方法，其特征45通过跨层级级联方式基于深度特征自适应提取模块搭建了生成器网络；基于孪生网络思后生成融合图像，通过生成器与判别器的博弈对抗完成红外图像与可见光图像的融合生6[0025]图1是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的流程[0026]图2是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的网络[0027]图3是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的生成[0028]图4是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的深度[0029]图5是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的鉴别[0032]图1是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的流程[0033]图2是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的网络机制和融合权重自适应学习机制构建了深度特征自适应提取模块21(DFAFE模块)，并通过级联操作模块22采用跨层级级联方式以多个深度特征自适应提取模块21构建生成器网络。11)先进行连接操作后进入生成器网络，通过深度特征提取与层次特征融合生成融合图像7重自适应生成子网络213。注意力子网络211和无注意力子网络212能够对图像特征进行提应提取模块21进行跨层级级联进一步提高深度特征提取与层次特征融合能力进而构建生11进行连接操作输入至网络，通过生成器2与判别器的博弈对抗完成红外与可见光图像的[0036]图3是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的生成器2的结构框架图，本发明实施例提供的基于自适应权重学习的红外与可见光图像融合方入图像提取梯度后作为整体一起输入到生成器2，再经过由深度特征自适应提取模块21跨[0037]图4是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的深度211由两个3×3卷积和一个1×1卷积构成，并且在第一个3×3卷积加入了像素级注意力机8γ1光图像中的复杂背景及目标细节信息，实现了高效的红外与可见光图像的高质量融合生[0040]图5是本发明实施例的基于自适应权重学习的红外与可见光图像融合方法的鉴别器的结构框架图；本发明实施例提供的基于自适应权重学习的红外与可见光图像融合方器2的损失函数为LG，对抗损失函数为Ladv，梯度损失函数为Lgrad，结构相似度损失函数为梯度损失函数Lgrad用以控制生成器对红外图像的热辐射信息以及可见光图像的纹理细节9捕捉到红外图像的热辐射信息以及可见光图[0051]采用本发明实施例基于自适应权重学习的红外与可见光图像融合方法进行实验验证本发明方法的红外与可见光图像融合性能，在验证实验中采用图像融合公开数据集TNO，从其中随机抽取了约20组红外与可见光图像对，并通过数据增广方式将数据扩充至抽取了10对红外与可见光图像构建测试数[0052]本次实验中对比算法选用了同样采用基于对抗机制的神经网络图像融合算法衡量图像之间的相似程度，MI越大说明融合图像留的源图像的信息越多，