CN120107564B 一种基于特征聚合网络的夜间目标检测方法 （浙江长龙海运有限公司）

(19)国家知识产权局(12)发明专利地址316000浙江省舟山市普陀区东港街道海天大道2701号公司21212GO6V10/82(2022.0GO6N3/0464(2023.01)GO6N3/045(2023.01)一种基于特征聚合网络的夜间目标检测方法本发明提供一种基于特征聚合网络的夜间目标检测方法，属于图像数据处理检测技术领用图像预处理操作对夜间图像数据集进行数据层特征聚合模块和金字塔聚合注意力机制进行否21.一种基于特征聚合网络的夜间目标检测方法，其特征在于，包括：S1、获取夜间目标检测数据集，按照7:3的比例将数据集随机划分训练集和测试集；S2、利用图像预处理操作，对步骤S1获取的夜间目标检测数据集进行数据集增广；S3、选取步骤S2预处理操作后的图像，并将选取的图像输入到基于特征聚合设计的主干部分进行通用特征提取，提取高分辨率初始特征、中分辨率初始特征和低分辨率初始特征；基于特征聚合设计的主干包括聚集特征提取模块、卷积特征提取模块、双层特征聚合模块和金字塔聚合注意力机制，具体包括：S31、聚集特征提取模块从输入图像中提取高效特征，将输入图像的空间信息进行重组，通过切片操作和拼接操作将图像的宽维度和高维度减少一半，同时增加通道数，其中：切片操作的公式如下：度，I₁,I₂,I₃',I₄表示将原始图像按奇偶索引切成的4个部分，I₁,I₂,I₃,I₄的尺寸均为(C,拼接操作的公式如下：其中，Concat()表示拼接操作，Ifous表示拼接后的特征图像，Ious的尺寸均为(4C,对拼接操作后的特征图像进行卷积操作，公式如下：其中，Fonv表示卷积后的输出特征图像，Conv(表示卷积操作；其中，FEO表示卷积特征提取模块函数，X表示卷积特征提取模块函数的输入变量，LRelu(表示LeakyReLU激活函其中，DFFO表示双层特征聚合模块函数，y表示双层特征聚合模块函数的输入变3其中，PCAO表示金字塔聚合注意力机制函数，Z表示金字塔聚合注意力机制函数的S36、将步骤S35提取的高分辨率初始特征F11依次输入到卷积特征提取模块函数和双S37、将步骤S36提取的中分辨率初始特征F12依次输入到卷S4、将步骤S3获取的高分辨率初始特征、中分辨率初始特征和低分辨率初始特征输入到基于金字塔特征融合的颈部分，进一步提取具有多样性和鲁棒性的高分辨率中级特征、S43、将步骤S37提取的低分辨率初始特征F13依次输入到4S45、将步骤S35提取的高分辨率初始特征F11和步骤S44提取的残差中分辨率特征Fn2其中，I₁,I₂,I₃,I₄表示从数据集中随机选择四张夜间图像，Concatenate表示按照随5Imix=λIA+(1-λ)IB;其中，IA和IB表示从夜间目标检测数据集中随机选择两张原始图像，YA和YB表示IA和IB对应的标签，λ表示从[0,1]之间的均匀分布中随机采样的混合比例；H'=H+△H;S52、基于提取到的高分辨率预测特征图、中分辨率预测特征图和低分辨率预测特征6P′={b,b,b,b,p'(C₁),p'(c₂)…P'(c,)}其中，b,b,表示特征图P'的边界框中心点坐标位置，b,b表示特征图P'的边界框的宽和高，p'(c,),j∈{1,2…,n}表示特征图P'的边界框的类别C;的置信度；S53、为了在不同分辨率之间进行合并，将不同分辨率的边界框坐标转换到相同的尺度上，标准化公式如下：其中，(b1,b¹',b1¹,bl)表示标准化后的边界框的坐标，H和W表示输入图像的高S54、根据标准化后的边界框坐标，计算边界框的左上角坐标和右下角坐标，公式如下：S55、筛选出置信度大于阈值的候选边界框，公式如下：p'(c;)>th;S56、根据指定类别过滤边界框，公式如下：7其中，BK,B₁表示经过上述操作后的两个不同的剩余边界框，IoU(B,B₁)表示边界框B和边界框B₁的交并比，Area(B∩B₁)表示边界框B₆和边界框B的交集面积，Area(B₆UB₁)表示边界框B₆和边界框B的并集面积；表示置信度损失的权重超参数，Lcis表示分类损失，用于度量模型在分类任务上的表现，Lbox表示边界框回归损失，用于度量模型在定位边界框上的表现，Lcone表示低置信度损8一种基于特征聚合网络的夜间目标检测方法技术领域[0001]本发明涉及图像数据处理检测技术领域，具体而言，尤其涉及一种基于特征聚合网络的夜间目标检测方法。背景技术[0002]随着城市化进程的加快和社会的持续发展，夜间活动和夜间安全变得越来越重夜间环境光照不足，图像质量较差，噪声增加，导致传统的目标检测方法在夜间环境中性能大大降低。因此，如何提高夜间目标检测的准确性和鲁棒性，已成为计算机视觉和图像处理领域的重要研究课题。[0003]近年来，夜间目标检测方法在计算机视觉和图像处理中得到了广泛应用，国内外也有众多学者研究这一课题并取得了相应的进展。随着深度学习技术的迅猛发展，基于深度学习的目标检测方法在夜间目标检测中显示出了巨大的潜力。深度学习方法通过构建深度神经网络，能够自动提取图像的高层特征，具有较强的鲁棒性和泛化能力，该方法直接从夜间图像输入到目标检测结果输出，可以为夜间场景提供额外的场景信息，提高目标检测的准确性和鲁棒性。[0004]尽管基于深度学习的方法在夜间目标检测中展现出了优异的性能，但仍然面临一些挑战。首先，夜间环境中光照变化剧烈，噪声较多，这对深度学习模型的训练和推断提出了更高的要求。其次，夜间目标检测数据集的标注和收集较为困难，数据量不足可能导致模型的过拟合和泛化能力差。此外，实时性要求高的应用场景对模型的计算效率提出了严格的要求，需要在模型复杂度和检测精度之间找到平衡点。[0005]综上所述，夜间目标检测领域的发展需要通过多种技术手段的综合应用，提高夜间目标检测的精度和鲁棒性，以满足实际应用的需求。发明内容[0006]根据上述提出的技术问题，提供一种基于特征聚合网络的夜间目标检测方法。本发明基于特征聚合设计的主干部分(Backbone)进行通用特征提取，通过聚集特征提取模块(Focus)提升特征提取的效率和精度，使用卷积特征提取、双层特征聚合模块和金字塔聚合注意力机制进行特征提取。并设计基于金字塔特征融合的Neck进一步融合主干部分(Backbone)中提取得到的初始特征。本发明方法可以有效提高夜间环境下目标检测的效果及鲁棒性。[0007]本发明采用的技术手段如下：[0008]一种基于特征聚合网络的夜间目标检测方法，[0009]S1、获取夜间目标检测数据集，按照7:3的比例将数据集随机划分训练集和测试[0010]S2、利用图像预处理操作，对步骤S1获取的夜间目标检测数据集进行数据集增广；9低分辨率初始特征；公式如下：平移参数；公式如下：表示IA和IB对应的标签，λ表示从[0,1]之间的均匀分布中随机采样的混合比例；CN120107564Bw(s,t)表示高斯核的权重，⊗表示卷积操作，I表示从夜间数据集中随机的原始图像；[0030]S25、采用HSV颜色空间增强技术，通过改变图像的色调、饱和度和明度来模拟不同的光照条件，公式如下：[0034]其中，H,S,V表示原始图像的色调，饱和度，亮度分量；H',S',V'表示增强图像的色调，饱和度，亮度分量；△H,△S,△V表示随机的调整参数；[0035]S26、采用随机水平翻转技术，增加模型对镜像变化的鲁棒性，公式如下：[0037]其中，Inip表示随机水平翻转操作后的图像，W表示图像的宽度。[0038]进一步地，步骤S3中的基于特征聚合设计的Backbone包括聚集(Focus)特征提取[0042]I₂'=I[:,0:H:2[0043]I₃'=I[:,1:H:2为宽度，I₁,I₂,I₃',I₄表示将原始图像按奇偶索引切成的4个部分，I₁,I₂,I₃',I₄的尺寸均为[0049]对拼接操作后的特征图像进行卷积操作，公式如下：[0052]S32、设计卷积特征提取模块的函数，公式如下：11[0054]其中，FEO表示卷积特征提取模块函数，x表示卷积特征提取模块函数的输入变[0057]其中，DFFO表示双层特征聚合模块函数，y表示双层特征聚合模块函数的输入变量，ChunkO表示通道方向分割操作；[0059]PCA(z)=Conv(Concat(MP(Conv(z)),MP(MP(Conv(z),MP(MP(MP(Co[0060]其中，PCAO表示金字塔聚合注意力机制函数，Z表示金字塔聚合注意力机制函数的输入变量，MPO表示最大池化操作；[0061]S35、将步骤S31的输出特征图像Fconv依次输入到卷积特征提取模块函数和双层特征聚合模块函数中，提取高分辨率初始特征[0063]其中，F11表示提取的高分辨率初始特征；[0064]S36、将步骤S35提取的高分辨率初始特征F11依次输入到卷积特征提取模块函数和双层特征聚合模块函数中，提取中分辨率初始特征，公式如下：[0066]其中，F12表示提取的中分辨率初始特征；[0067]S37、将步骤S36提取的中分辨率初始特征F12依次输入到卷积特征提取模块函数和金字塔聚合注意力机制函数中，提取低分辨率初始特征，公式如下：[0069]其中，F13表示提取的低分辨率初始特征。[0070]进一步地，步骤S4中的基于金字塔特征融合的Neck包括卷积特征提取模块和双层特征聚合模块，步骤S4具体包括：[0072]FE(x)=LRelu(BN(Conv([0075]S43、将步骤S37提取的低分辨率初始特征F13依次输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取低分辨率残差特征，公式如下：[0078]S44、将步骤S36提取的中分辨率初始特征F12和步骤S43提取的低分辨率残差特征Fn输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取残差中分辨率特征，公式如下：[0081]S45、将步骤S35提取的高分辨率初始特征F11和步骤S44提取的残差中分辨率特征Fn₂输入到双层特征聚合模块函数中，提取高分辨率中级特征，公式如下：[0084]S46、将步骤S44提取的残差中分辨率特征Fn₂和步骤S45提取的高分辨率中级特征F21输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取中分辨率中级特征，[0086]其中，F22表示提取的中分辨率中级特征；[0087]S47、将步骤S43提取的低分辨率残差特征Fn₁和步骤S46提取的中分辨率中级特征F22输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取低分辨率中级特征，公式如下：[0090]进一步地，步骤S5,具体包[0091]S51、将步骤S4提取的高分辨率中级特征F21、中分辨率中级特征F22、低分辨率中级特征F23输入到基于卷积层设计的Head中完成目标检测预测，提取高分辨率预测特征图、中分辨率预测特征图和低分辨率预测特征图，公式如下：[0095]其中，P1表示高分辨率预测特征图，P2表示中分辨率预测特征图，P3表示低分辨率预测特征图；[0096]S52、基于提取到的高分辨率预测特征图、中分辨率预测特征图和低分辨率预测特坐标；[0117]S57、对剩余的边界框应用非极大值抑制，公式如下：界框B陇和边界框B1的交并比，Area(B∩B)表示边界框B₆和边界框B₁的交集面积，Area(BUB)表示边界框B₆和边界框B₁的并集面积；[0120]S58、对所有边界框进行排序，选择置信度最高的边界框，并去除与其交并比IoU大于设定阈值的其他边界框，重复此过程，直到没有边界框满足条件，返回剩余的边界框作为最终检测结果，公式如下：[0122]其中，output表示最终检测结果，NMS表示非极大值抑制过程。[0123]进一步地，步骤S6中，设计的综合损失函数，如下：[0124]Lotal=2sLs+2Lbx+coneLconf[0125]其中，2cis表示分类损失的权重超参数，bx表示边界框回归损失的权重超参数，2conf表示置信度损失的权重超参数，Lcs表示分类损失，用于度量模型在分类任务上的表现，Lbox表示边界框回归损失，用于度量模型在定位边界框上的表现，Lcone表示低置信度损失，用于度量模型对目标存在性的置信度预测，Ltotal表示综合损失，是分类损失、边界框回归损失和置信度损失的加权和。[0126]较现有技术相比，本发明具有以下优点：[0127]1、本发明提供的一种基于特征聚合网络的夜间目标检测方法，基于特征聚合设计的Backbone能够有效地提取不同分辨率的特征，通过设计双层特征聚合模块和金字塔聚合注意力机制，捉到更多细节信息，从而提高检测精度。[0128]2、本发明提供的一种基于特征聚合网络的夜间目标检测方法，基于金字塔特征融合的Neck能够进一步融合不同层次的特征，提高模型对不同尺度目标的检测能力。该Neck包含卷积特征提取和双层特征聚合模块，能够更好地保持特征的多样性，并提高模型的鲁棒性。[0129]3、本发明提供的一种基于特征聚合网络的夜间目标检测方法，通过空间金字塔池化技术结合注意力机制，能够有效地提取不同尺度的信息，并且通过注意力机制强化重要特征，进一步提升模型的检测性能。[0130]4、本发明提供的一种基于特征聚合网络的夜间目标检测方法，使用分类损失、边界框回归损失、置信度损失设计的综合损失函数可以更全面地指导模型训练，提高检测结果的准确性。[0131]基于上述理由本发明可在目标检测等领域广泛推广。附图说明[0132]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0133]图1为本发明方法流程图。[0134]图2为本发明方法与其他算法的精确率-召回率(Precision-Recall)曲线对比图。[0135]图3为本发明方法与其他算法在夜间室内场景目标检测结果。[0136]图4为本发明方法与其他算法在夜间室外场景目标检测结果。具体实施方式[0137]为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0139]如图1所示，本发明提供了一种基于特征聚合网络的夜间目标[0140]S1、获取夜间目标检测数据集，按照7:3的比例将数据集随机划分训练集和测试[0141]S2、利用图像预处理操作，对步骤S1获取的夜间目标检测数据集进行数据集增广；[0142]S3、选取步骤S2预处理操作后的图像，并将选取的图像输入到基于特征聚合设计的Backbone部分进行通用特征提取，提取高分辨率初始特征、中分辨率初始特征和低分辨率初始特征；[0143]S4、将步骤S3获取的高分辨率初始特征、中分辨率初始特征和低分辨率初始特征输入到基于金字塔特征融合的Neck部分，进一步提取具有多样性和鲁棒性的高分辨率中级[0144]S5、将步骤S4中提取的高分辨率中级特征、中分辨率中级特征、低分辨率中级特征输入到基于卷积层设计的Head部分，完成目标检测预测。特征聚合网络的检测过程。[0147]S21、采用Mosaic马赛克技术，将四张图像随机拼接成一张新的图像，从而模拟更[0149]其中，I₁,I₂,I₃,I₄表示从数据集中随机选择四张夜间图像，Concatenate表示按照随机的布局将I₁,I₂,I₃,I₄拼接在一起，M表示Mosaic马赛克数据增广方法的结果图像；式如下：射变换后的横、纵坐标，(a,b,c,d)表示仿射变换矩阵的参数，用于控制旋转、缩放和剪切，(tx,t,)表示平移参数；[0156]其中，IA和IB表示从夜间目标检测数据集中随机选择两张原始图像，YA和YB表示IA和IB对应的标签，入表示从[0,1]之间的均匀分布中随机采样的混合比例；[0159]其中，Iblur表示图像模糊后的图像，N表示归一化因子，r表示图像模糊半径，w(s,t)表示高斯核的权重，⊗表示卷积操作，I表示从夜间数据集中随机的原始图像；CN120107564B[0168]具体实施时，作为本发明优选的实施方式，步骤S3中的基于特征聚合设计的[0169]S31、Focus特征提取模块从输入图像中提取高效特征，其主要功能是将输入图像的空间信息进行重组，通过切片操作和拼接操作将图像的宽维度和高维度减少一半，同时增加通道数，从而进行后续的卷积操作。其中：[0170]切片操作的公式如下：[0172]I₂'=I[:,0:H:2[0178]其中，Concat(表示拼接操作，Ifous表示拼接后的特征图像，Ioaus的尺寸均为变量，Chunk(表示通道方向分割操作；[0189]PCA(z)=Conv(Concat(MP(Con[0190]其中，PCAO表示金字塔聚合注意力机制函数，Z表示金字塔聚合注意力机制函数的输入变量，MPO表示最大池化操作；[0191]S35、将步骤S31的输出特征图像Fconv依次输入到卷积特征提取模块函数和双层特征聚合模块函数中，提取高分辨率初始特征[0193]其中，F11表示提取的高分辨率初始特征；[0194]S36、将步骤S35提取的高分辨率初始特征F11依次输入到卷积特征提取模块函数和双层特征聚合模块函数中，提取中分辨率初始特征，公式如下：[0196]其中，F12表示提取的中分辨率初始特征；[0197]S37、将步骤S36提取的中分辨率初始特征F12依次输入到卷积特征提取模块函数和金字塔聚合注意力机制函数中，提取低分辨率初始特征，公式如下：[0199]其中，F13表示提取的低分辨率初始特征。[0200]具体实施时，作为本发明优选的实施方式，步骤S4中的基于金字塔特征融合的Neck包括卷积特征提取模块和双层特征聚合模块，步骤S4具体包括：[0205]S43、将步骤S37提取的低分辨率初始特征F13依次输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取低分辨率残差特征，公式如下：[0208]S44、将步骤S36提取的中分辨率初始特征F12和步骤S43提取的低分辨率残差特征F1输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取残差中分辨率特征，公式如下：[0211]S45、将步骤S35提取的高分辨率初始特征F11和步骤S44提取的残差中分辨率特征Fn₂输入到双层特征聚合模块函数中，提取高分辨率中级特征，公式如下：[0213]其中，F21表示提取的高分辨率中级特征；[0214]S46、将步骤S44提取的残差中分辨率特征Fn₂和步骤S45提取的高分辨率中级特征F21输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取中分辨率中级特征，公式如下：[0216]其中，F22表示提取的中分辨率中级特征；[0217]S47、将步骤S43提取的低分辨率残差特征Fn₁和步骤S46提取的中分辨率中级特征F22输入到双层特征聚合模块函数和卷积特征提取模块函数中，提取低分辨率中级特征，公式如下：[0219]其中，F23表示提取的低分辨率中级特征。[0221]S51、将步骤S4提取的高分辨率中级特征F21、中分辨率中级特征F22、低分辨率中级特征F23输入到基于卷积层设计的Head中完成目标检测预测，提取高分辨率预测特征图、中分辨率预测特征图和低分辨率预测特征图，公式如下：[0225]其中，P1表示高分辨率预测特征图，P2表示中分辨率预测特征图，P3表示低分辨率预测特征图；[0226]S52、基于提取到的高分辨率预测特征图、中分辨率预测特征图和低分辨率预测特征图，得到特征图P¹,公式如下：[0228]其中，b,b,表示特征图P'的边界框中心点坐标位置，b,b表示特征图P'的边界框的宽和高，p'(c,),j∈{1,2…,n}表示特征图P'的边界框的类别C;的置信度；[0229]S53、为了在不同分辨率之间进行合并，将不同分辨率的边界框坐标转换到相同的[0242]p'(c,)>th;的真阳性。较低的IoU值表明模型在精确定位对象方面存在困难，可以通过改进边界框回归或提高注释准确性来改善。于设定阈值的其他边界框，重复此过程，直到没有边界框满足条件，返回剩余的边界框作为[0251]output={BIBa[0254]Lotal=2Lds+2xLbx+conLconf[0255]其中，2cs表示分类损失的权重超参数，Aox表示边界框回归损失的权重超参数，conf表示置信度损失的权重超参数，Lais表示分类损失，用于度量模型在分类任务上的表现，Lox表示边界框回归损失，用于度量模型在定位边界框上的表现，Lconf表示低置信度回归损失和置信度损失的加权和。[0257]如图2所示，展示了YOLOv5s、YOLOv6s和本发明方法的Precision-RecallCurve(精确率-召回率曲线),图2中，(a)表示使用YOL0v5s方法的Precision-Recall曲线图；(b)表示使用YOLOv6s方法的Precision-Recall曲线图；(c)表示使用本发明方法的Precision-Recall曲线图；精确率(Precision)和召回率(Recall)是评估分类模型性能的重要指标，Precision-Recall曲线展示了模型在不同阈值下精确率和召回率之间的权衡关系，用于不平衡数据集或在关注正类检测性能时的评估。图2中可以看出，本发明方法在所有类中的mAP@0.5(mAP50)指标为0.637,高于YOL0v5s方法的mAP@0.5(mAP50)指标0.618和高于YOLOv6s方法的mAP@0.5(mAP50)指标0.625,本发明方法在精确率和召回率上均表现优异，说明在夜间目标检测任务中有更好的性能。[0258]如图3所示，展示了本发明与其他算法在夜间室内场景目标检测结果。图3中，(a)表示使用YOLOv5s方法对目标进行检测的结果；(b)表示使用YOL0v6s方法对目标进行检测的结果；(c)表示使用本发明方法对目标进行检测的结果；(d)表示真实的检测结果。从图3中可以看出，YOLOv5s方法和YOLOv6s方法在所0.3,但是YOL0v5s方法和YOLOv6s方法均错误的将夜间图像中的猫检测为狗，本发明方法在所有类中的mAP@0.5(mAP50)指标为0.8,且本发明方法成功的检测出图像中的猫。[0259]如图4所示，展示了本发明与其他算法在夜间室外场景目标检测结果。图4中，(a)表示使用YOLOv5s方法对目标进行检测的结果；(b)表示使用YOL0v6s方法对目标进行检测的结果；(c)表示使用本发明方法对目标进行检测的结果；(d)表示真实的检测结果。根据图4可以看出，本发明方法与YOLOv5s方法和YOLOv6s方法在所有类中的mAP@0.5(mAP50)指标相同，均为0.4,虽然YOLOv5s方法、YOLOv6s方法和本发明方法都成功的检测出船体，但是YOLOv5s方法的检测框进标记了半截船体，而YOLOv6s方法针对同一个船体生成了三个检测框，其中两个检测框具有错误的检测像素范围。综上所述，本发明方法可以鲁棒性的检测出夜间场景中的物体，同时可以提供更精准的目标检测范围。[0260]本实施例从准确率、召回率、mAP