CN118470557B 一种基于可见光与红外多模态融合的小目标检测方法及系统 （中国科学院国家空间科学中心）

号一种基于可见光与红外多模态融合的小目本发明公开了一种基于可见光与红外多模将卫星或无人机采集的可见光图像和红外图像2将卫星或无人机采集的可见光图像和红外图像进行像素级所述改进的特征表达网络，用于通过将Leaky_Relu激活函数引入卷积层部分，以所述改进的Head网络结构，用于通过引入BottleneckCSP2结构，进行所述MF模块，用于从不同模态中提取共享和特殊信息，能够以对称且所述改进的Head网络结构包括4个结构相同的分支以及1个分类和回所述改进的卷积模块，用于对改进的主干网络结构处理得到的特2.根据权利要求1所述的基于可见光与红外多模态融合的小目标检测方法，其特征在将卷积模块的SiLu激活函数替换为Leaky_Relu函数，改进后的卷积模块包括Conv2d、3.根据权利要求2所述的基于可见光与红外多模态融合的小目标检测方法，其特征在使用最近邻插值对池化后的特征图进行上采样，使得不同尺度4.根据权利要求3所述的基于可见光与红外多模态融合的小目标检测方法，其特征在输入的特征图x，通过卷积层Conv1和批量归一化层BN1，以及Leaky_ReLU激活函数，Conv1和BN1输出的结果再通过空洞卷积层atrous_conv和批量归一化层BN_atrous以及3将Pooled_features中的每个池化特征图通过最近邻插值进行上采样，以匹配原始输将特征图x、空洞卷积的输出x_atrous和上采样后的池化特征图Pooled_features_将拼接后的特征图features通过一维卷积层Conv2和批量归一化层BN2，并5.根据权利要求1所述的基于可见光与红外多模态融合的小目标检测方法，其特征在6.根据权利要求1所述的基于可见光与红外多模态融合的小目标检测方法，其特征在7.根据权利要求1所述的基于可见光与红外多模态融合的小目标检测方法，其特征在8.一种基于权利要求1所述的基于可见光与红外多模态融合的小目标检测方法的系融合模块，用于将卫星或无人机采集的可见光图像和红外图像进行像素级融合处理；和所述改进的特征表达网络；用于通过将Leaky_Relu激活函数引入卷积层部分，以所述改进的Head网络结构，用于通过引入BottleneckCSP2结构，进行4[0002]近年来，应用于卫星和无人机的目标检测技术对民用和军事领域产生重要影目标。其主要原因在于网络的特征信息提取以及特征融合能力不足和特征表达能力有限，提高遥感小目标识别准确度成为一个重要的研究算法直接应用于红外和可见光多模态融合小目标检测场景中很难取得理想模态数据的采集过程中由于采集视角和时间差异使得小目标的空间对齐和配准可能不准感器的数据信息。像素级融合具体流程如图1所示，像素级融合是指在原始数据上进行融5[0015]优选的，所述改进的主干网络结构包括：依次连接的MF模块、改进的卷积模块、[0021]将卷积模块的SiLu激活函数替换为Leaky_Relu函数，改进后的卷积模块包括[0027]输入的特征图x，通过卷积层Conv1和批量归一化层BN1，以及Leaky_ReLU激活函6[0028]最大池化层Maxpool对输入x进行池化，捕获不同尺度的特征，形成Pooled_[0029]将Pooled_features中的每个池化特征图通过最近邻插值进行上采样，以匹配原[0030]将特征图x、空洞卷积的输出x_atrous和上采样后的池化特征图Pooled_[0031]将拼接后的特征图features通过一维卷积层Conv2和批量归一化层BN2，并应用[0032]优选的，所述改进的特征表达网络中，调整平均池化层下采样比例通过调整[0034]所述改进的卷积模块，用于对改进的主干网络结构处理得到的特征图进一步处[0039]另一方面，本发明提供了一种基于可见光与红外多模态7征信息易丢失的问题。通过将BottleneckCSP结构引入Backbone部分，并在Head模块引入BottleneckCSP2结构以增强网络的[0057]图6是本发明的一种基于可见光和红外多模态融合的小目标实时识别方法与其他[0060]所述改进的SPP空间金字塔池化模块主要作用是捕获不同尺度特征以提高模型对[0062]输入的特征图x，通过卷积层Conv1和批量归一化层BN1，以及Leaky_ReLU激活函8[0063]最大池化层Maxpool对输入x进行池化，捕获不同尺度的特征，形成Pooled_[0064]将Pooled_features中的每个池化特征图通过最近邻插值进行上采样，以匹配原[0065]将特征图x、空洞卷积的输出x_atrous和上采样后的池化特征图Pooled_[0066]将拼接后的特征图features通过一维卷积层Conv2和批量归一化层BN2，并应用[0067]所述引入改进的卷积模块是将卷积模块的SiLu激活函数替换为Leaky_Relu函[0069]作为上述方法的一种改进，所述改进的主干网络通过引入BottleneckCSP结构以得模型能够更好地适应不同场景和光照条件下的小目标检测任务，提高检测的鲁棒性。[0074]Leaky_Relu激活函数是一种改进的ReLU(RectifiedLinearUnit)激活函数。它[0075]平均池化层的下采样比例的改进，主要是通过通过调整subscale实现。调整9subscale可以改变FALoss从而影响小目标的检测能力。根据数据集特点将原模型中subscale调整为0.0700，使得在降低模型计算量的同时尽量减少小目标特征的丢失。=int(1/subscale)。其中，subscale就是平均池化层的下采样比例。从而通过调整[0080]本发明的实施例1提出了一种一种基于可见光与红外多模态融合的小目标检测方[0088]图4是未改进的主干网络Backbone框图。采用SiLU激活函数和无改进的SPP网图5是本发明的一种基于可见光和红外多模态融合的小目标实时识别模型框图。主要由两[0090]本发明的实施例2提供了一种基于可见光与红外多模态融合的小目标检测系统，[0097]图6是本发明的基于可见光和红外多模态融合的小目标实时识别方法与其他方法的识别结果对比图。一种基于可见光和红外多模态融合的小目标实时识别方法具体步骤入Head网络(包含颈部网络)，将Head部分中用于检测小目标的P3特征图对应的C3结构用[