CN119418032A 基于红外可见光特征增强与融合的目标检测方法 （中北大学）

基于红外可见光特征增强与融合的目标检本发明涉及可见光与红外多模态目标检测复杂场景下更好地利用双模态特征进行目标检相较于现有方法，本发明方法在SYUGV数据集上2特征交互增强模块，可见光图像Ivi和红外图像Iir分别通过卷积特征提取模块获取可见光特征Fvi和红外特征Fir，接着通过特征交互增强模块联合Fvi和Fir为每个通道分配空间重要2.根据权利要求1所述的基于红外可见光特征增强与融合的目标检测方法，其特征在习能力，CONV模块和CSP结构构成卷积3.根据权利要求2所述的基于红外可见光特征增强与融合的目标检测方法，其特征在于：双模态特征Fev和Fei分别经过平均池化下采样以及维度转换操作将其转换为序列Iev,QiKv重采用多头注意力机制计算可见光特外注意力权重采用多头注意力机制计算红外特征注意力权重C"=MHA(Q,,K,V)-concat(C,…C。)W",其中，h表示头的数3O表示参数矩阵；将两个权重分别赋予双模态特征Fev和Fei后连接得到通过后续FC1为线性层，RELU表示非线性激活，FC2表示线性4出了一种基于深度学习的红外与可见光决策级融合检测模型；Sun[8]提出一个由可见光分高复杂环境中的检测鲁棒性。由于传统CNN只注意力引导特征的融合方法，该方法利用Transformer对可见光和红外双模态进行全局特5[0005][1]RamachandranA,SangaiahAK.Areviewonobjectdetectioninunmannedaerialvehiclesurveillance[J].InternationalJournalofCognitiveComputinginEngineering,2021,2:215_228.[0006][2]HuY,ShiL,YaoL,etal.DualAttentionFeatureFusionforVisible_InfraredObjectDetection[C]//InternationalConferenceonArtificialNeuralNetworks.Cham:SpringerNatureSwitzerland,2023:53_65.[0007][3]宁大海,郑晟.可见光和红外图像决策级融合目标检测算法[J].红外技术,2023,45(3):282_291.[0008][4]BustosN,MashhadiM,Lai_YuenSK,etal.Asystematicliteraturereviewonobjectdetectionusingnearinfraredandthermalimages[J].Neurocomputing,2023:126804.[0009][5]YueG,LiZ,TaoY,etal.Low_illuminationtrafficobjectdetectionusingthesaliencyregionofinfraredimagemaskingoninfrared_visiblefusionimage[J].JournalofElectronicImaging,2022,31(3):033029_033029.[0010][6]LiuJ,FanX,HuangZ,etal.Target_awaredualadversariallearandamulti_scenariomulti_modalitybenchmarktofuseinfraredandvisibleforobjectdetection[C]//ProceedingsoftheIEEE/CVFconferenceoncomputervisionandpatternrecognition.2022:5802_5811.[0011][7]CongT,YongshunL,HuaY,etal.Decision_levelfusiondetectionforinfraredandvisiblespectrabasedondeeplearning[J].InfraredandLaserEngineering,2019,48(6):[0012][8]SUNYM,CAOB,ZHUPF,etal.Drone_basedRGB_InfraredCross_ModalityVehicleDetectionviaUncertainty_AwareLearning[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2022,32:6700_6713.[0013][9]GENGKK,ZOUW,YINGD,etal.Low_observabletargetsdetectionforautonomousvehiclesbasedondual_modalsensorfusionwithdeeplearningapproach[J].JournalofAutomobileEngineering,2019,233(9):2270_2283.[0014][10]XueY,JuZ,LiY,etal.MAF_YOLO:Multi_modYOLOforpedestriandetection[J].InfraredPhysics&Technology,2021,118:103906.[0015][11]ChengX,GengK,WangZ,etal.SLBAF_Net:Super_LightweightbimodaladaptivefusionnetworkforUAVdetectioninlowrecognitionenvironment[J].MultimediaToolsandApplications,2023,82(30):47773_4779[0016][12]ShenJ,ChenY,LiuY,etal.ICAFusion:Iterativecross_attentionguidedfeaturefusionformultispectralobjectdetection[J].PatternRecognition,2024,145:109913.6表达不足以及红外可见光特征在双模态融合中无法充分利用互补特征导致漏检和误检的包括卷积特征提取模块和特征交互增强模块，可见光图像Ivi和红外图像Iir分别通过卷积特征提取模块获取可见光特征Fvi和红外特征Fir，接着通过特征交互增强模块联合Fvi和Fir构成卷积特征提取模块，可见光图像Ivi和红外图像Iir经过卷积特征提取模块得到可见光[0023]上述的基于红外可见光特征增强与融合的目标检测方法，双模态特征Fev和Fei分采用多头注意力机制计算可见光特征7[0025]对于输入序列Iei，将其投影至三个权重矩阵上计算出一组Query、Ke算红外注意力权重采用多头注意力机O表示参数矩阵；将两个权重分别赋予双模态特征Fev和Fei后连接得到通过后[0039]基于红外可见光特征增强与融合的目标检测方法，该方法基于图1中的双分支融8框架由三部分构成：双分支特征编码器(DualBranchEncoder)、交叉融合网络(CrossFusionNetwork)以及检测器(Detector)。双分支特征编码器由卷积特征提取模块和特征图像Iir分别通过卷积特征提取模块获取可见光特征Fvi和红外特征Fir，接着通过特征交互增强模块联合Fvi和Fir为每个通道分配空间重要特征图(spatialimportancemap，SIM)，将前两部分的增强特征Ff和融合特征F0作为特征金字塔的输入，选用YOLOv8作为检测器完意力(Squeeze_and_ExcitationNetworks，SENet)和卷积注意力(ConvolutionalBlock9[0051]将W与输入特征进行组合计算赋予权重的特征信息，并引入残差连接添加输入特[0054]基于空间和通道注意力机制的特征交互增强模块DBE使模型关注到重要特征。然意力，输入分别经过平均池化下采样以及维度转换操作将其转换为序列V是融合了红外特征的可见光注意力权重。参数矩阵，用于生成融合红外的可见光特征注意力红外特征注意力权重cy,将两个权重分别赋予初始分支特征后连接得到通过后续进行特征融合后的32倍下采样的融合特征Fo采样特征Ff和经过1层DBE特征增强后Concat得到的8倍下采样特征Ff。将这3种尺度的特征法损失函数分为两部分，分别是用来目标识别的目标框损失和用来分类的改进交叉熵损[0077]为验证该方法在复杂场景下双模态数据检测的优势并使无人平台应用于实际场双模态图像分辨率均为720×576，鉴于双模态数据取自连续视频帧且多帧中无有效目标，因此进行了一定程度数据清洗。最终获得总共6272张有效图像，其中3232张是白天拍摄，算次数(Flops)和模型参数数量(Params)来检验算法的参数数量和模型复杂度。其中mAP0.50是以边界框和标签之间的IoU为0.50到0.95每隔0.05计算的所有类别的AP平[0080]为了评估双分支特征编码器和交叉融合网络对目标检测性能的贡献，本方法在用Yolov8s作为单模态基准检测网络。双模态基准网络则通过修改backbone部分为上述的[0084]表1不同模态输入的模型检测性能Tab.1Modeldetectionperformanceof[0087]Grad_CAM方法用于识别并突显输入图像中对网络模型进行类别预测的关键区选择所有目标类别并利用特征图对不同层计算权重特征生成热力图。在生成的热力图中，[0090]为了量化分析双模态特征交互增强模块DBE与特征融合网络对检测性能的贡献，性未得到增强，提升效果有限，而特征交互增强模块DBE增强了红外与可见光特征有用信高了1.4其中使用交叉注意力机制相较自注意力机制的检测精度提升了0.7图8为消[0091]表2双分支检测模型的消融实验结果Tab.2Ablationexperimentalresultsof[0096]表3不同模型的对比实验结果Tab.3Comparativeexperimentalres