【《基于多尺度特征融合网络的工机具目标检测方法分析》5000字（论文）】

基于多尺度特征融合网络的工机具目标检测方法分析目录TOC\o"1-3"\h\u31971基于多尺度特征融合网络的铁路工机具目标检测方法分析 146101.1引言 1163381.2方法总体框架 1219631.2.1ResNet网络 2165951.3多尺度特征融合网络模型 459651.3.1基于ResNet网络的RetinaNet目标检测算法 4127641.3.2基于特征融合增强的目标检测模型 666991.3.3特征融合增强模块结构设计 7172721.4实验结果与分析 8169791.4.1数据集 8125861.4.2实验环境 9203201.4.3模型训练 9280891.4.4实验结果 10引言铁路工机具自动清点[33]的核心问题是图像目标检测。本文第三章中选择了以MobileNet为基础网络的SSD网络模型作为工机具目标检测模型，基本实现了铁路工机具的自动清点。但是SSD是基于不同特征检测层的多尺度的目标检测模型，其并没有考虑不同特征检测层之间的相关性，没有充分利用浅层的细节信息和高层的语义信息，导致其对小目标的检测精度偏低，无法很好的处理工机具样本中小目标的检测情况。为了提高多尺度目标的检测精度，本章提出了一种基于多尺度特征融合网络的铁路工机具目标检测方法。以深度学习目标检测网络Retinanet[29]为基础，在对多尺度特征进行逐层融合的同时应用特征增强方法使目标特征靠近感受野中心，从而使特征对目标的细节信息具有更好的表征能力，从而可提高多尺度目标的检测精度和鲁棒性。方法总体框架本文提出的基于多尺度特征融合网络的铁路工机具目标检测方法总体结构如图4-1所示。由于工机具数据集样本中的工机具目标具有不同的形状和尺度，为解决多尺度目标检测问题，引入特征融合增强模块进行工机具目标检测。首先对特征提取网络提取的特征生成多尺度特征金字塔图，然后利用上采样和横向连接的方式进行自上而下逐层融合，在融合的过程中采用特征增强策略，可提高特征对目标的表征能力。随后利用数据集增强后的工机具数据集对设计的多尺度特征融合增强网络模型进行预先训练，经过充分训练的工机具目标检测模型对待检测的工机具图片可准确检测出工机具类别名称和位置信息。图4-1工机具目标检测总体框架ResNet网络随着深度卷积神经网络层数的加深，卷积网络可以提取出更深层次的特征，进而可以提高图像识别率。为了提高模型对工机具目标检测的性能，可以采取增加网络层数的方法。然而，通过简单地堆叠卷积层来增加网络深度，将导致训练后的网络存在精度饱和和精度降低的问题。残差网络能很好的解决上述问题，它在增加网络深度的同时缓解了网络性能下降的问题，也使模型能提取到更多目标特征。深度残差网络ResNet[26]是一种由一系列残差块串联而成的网络结构，它的主要贡献在于通过加深网络层的数量来整合不同层的特征，并添加残差映射以解决网络退化问题。ResNet引入了深度残差结构来解决卷积神经网络退化问题。其结构如图4-2所示，在前馈网络中加入了跳跃连接，可以通过这条捷径来缓解梯度消失的问题，同时，低层特征可通过这条捷径与高层特征融合，使模型实现恒等映射学习。图4-2ResNet的残差模块ResNet的深度残差网络的关系可用公式（4-1）表示，表示残差网络结构的输出，表示网络需要学习的参数。原始映射被修改为,若残差，就构成了一个恒等映射，能很好的维持网络性能。残差网络即能很好的优化模型参数，又能很好的训练更深层的网络（4-1）表4-1展示了ResNet-50和ResNet-101的网络结构。在ResNet网络中，使用了瓶颈块的结构设计来减少参数量，保证了深度网络良好的性能。

表4-1ResNet网络结构名称输出尺寸ResNet-50ResNet-101－多尺度特征融合网络模型本章的多尺度特征融合网络模型以基于ResNet网络的深度学习目标检测网络Retinanet[29]为基础，构造了特征融合增强模块，可实现对不同尺度铁路工机具的高精度检测。基于ResNet网络的RetinaNet目标检测算法RetinaNet网络是由Lin等人[29]在2018年提出的，作者重点分析了one-stage目标检测模型的检测精度普遍低于two-stage检测模型的原因，指出其根本原因是样本的类别不平衡。由于one-stage目标检测模型省略了生成候选区域网络的步骤，直接对整张图像进行预测，造成背景类数量的增加，从而影响检测精度。作者基于这一问题提出了一种比传统交叉熵损失更好的损失函数Focalloss。RetinaNet网络结构如图4-3所示：如图4-3所示，该网络由四部分组成。图4-3a是用于提取输入图像特征的残差网络ResNet[26]；图4-3b是用来生成多尺度特征图的特征金字塔网络FPN[27]；图4-3c是用来实现目标分类的分类子网络；图图4-3RetinaNet网络结构图图4-3d是用来实现目标定位的回归子网络。RetinaNet网络的形式化描述见公式（4-2）-（4-4），以二分类为例，其中p∈[0，1]是模型预测为正样本的概率；α∈[0，1]为加权因子，其值的设定可以决定正负样本对总损失的影响。，称为调制因子，其作用在于减少易分类样本权重，使模型更专注于训练难分类的样本。（4-2）（4-3）（4-4）最后，在RetinaNet[29]网络上测试了该损失函数，取得了较高的检测精度，特征金字塔网络FPN[27]的使用提升了该模型对小目标的检测效果。基于特征融合增强的目标检测模型图4-4展示了多尺度特征融合增强网络模型框架(Multi-scalefeaturefusionenhancednetwork，MSFFEN)，包含ResNet网络[26]和特征金字塔网络（FPN）[27]的RetinaNet[29]，并在FPN网络中添加了特征融合增强模块（FFEM，FeatureFusionandEnhancementModule）进行改进。图4-4多尺度特征融合增强网络框架特征金字塔网络（FPN）通过自顶向下的路径和横向连接增强了卷积网络，从而可以获得更丰富的多尺度目标区域特征映射。在ResNet-50[26]结构上构建了一个具有P3到P7的金字塔。方法采用ResNet-50中的conv3_4，conv4_6，conv5_3这三层卷积层作为FPN的原始特征映射层，分别命名为C3、C4、C5。然后，通过上采样和横向连接从C3，C4，C5中产生P3，P4，P5。随后对C3进行3×3的卷积得到P6,对P6进行3×3卷积得到P7。其中，本文提出的特征融合增强模块FFEM将C4和P5融合生成P4，再将C3和P4融合生成P3，特征融合增强模块将这些原始特征映射先融合再转换为增强特征映射，它们的大小与原始特征映射相同。最后在FPN的特征映射集合上分别使用两个结构相同但参数不共享的FCN[28]子网络，从而完成目标类别分类和位置回归任务。训练图像的输入大小为600，最低层到最高层的特征映射大小从75到5。与DSSD[19]和RetinaNet[29]不同的是，本文使用了扩大感受野的特征增强模块，对于卷积核和感受野尺寸，满足等比例原则即可。特征融合增强模块结构设计图4-5展示了具体的特征融合增强模块结构图，思想来源于FPN[27]和RFB[30]。在这里，首先对当前特征映射层和上一层原始特征映射层使用1×1卷积核进行特征映射，目的是减少输入通道数，避免计算量过大。然后，对当前特征映射层进行双线性插值上采样操作，使之与上一层原始特征映射层的特征图大小统一。采用逐点相乘(Eltwproduct)操作得到特征融合层。为了加强网络的特征提取能力，使目标区域尽可能靠近感受野中心，从而提高特征对细节信息的表征能力，采用了特征增强的方法。其借鉴了Inception[31]的思想，主要是将特征融合层划分为三部分，对每个部分分别采用不同尺寸卷积核的卷积层构建分支结构，并在分支结构后引入膨胀卷积层，且卷积层的卷积核大小与膨胀卷积层的膨胀率对应。最后将不同尺寸的卷积层输出并通道相连(Concat)得到特征增强层。达到充分利用多尺度特征图之间的上下文信息的同时使目标区域尽可能靠近感受野中心的目的，从而提升模型对不同尺度目标检测的鲁棒性。图4-5特征融合增强模块图为了增强原始特征层特征，特征融合增强模块采用了上一层的原始特征和当前层的局部特征进行特征融合增强。增强后的特征定义如下：(4-5)(4-6)(4-7)(4-8)其中表示第层的原始特征层，表示第层的特征融合层，表示一组基本的膨胀卷积、逐点相加、上采样和通道连接操作。实验结果与分析数据集采用了第三章所述的工机具数据集，并按6：2：2的比例划分为训练集、验证集和测试集，且实验中的检测对象与第三章所述一致。实验环境实验环境配置与第三章所述一致，参数设置中除语言调至Python3.7，深度学习框架改为PyTorch1.7.0外，其他均相同。模型训练为了验证特征融合增强模块对工机具检测性能的有效性，本文进行了两组对比实验。采用了以ResNet-50[26]为特征提取网络的Retinanet[29]作为模型1。在模型1的基础上加入特征融合增强模块FFEM作为模型2。利用数据集增强[32]后的工机具数据集分别在两个模型上进行训练，并基于训练后的模型验证特征融合增强模块对工机具检测性能。用牛顿动量（NesterovMomentum）[25]优化后的随机梯度下降算法（StochasticGradientDescent，SGD）对工机具目标检测模型进行训练。模型训练过程中，批大小为8，动量值为0.9，权重衰减值为0.0005，学习率衰减率设为0.1，学习速率前80k次迭代为0.001，随后每20k次迭代改变一次学习速率,经过120k次迭代，得到最终的训练模型。图4-6展示了模型1和模型2的工机具目标检测训练过程图。从图中可以看出，经过120k次训练迭代后模型基本收敛，模型1的损失为0.18，模型2的损失为0.16。Model1Model2图4-6模型训练过程对比图实验结果4.5.3.1特征融合增强模块表4-2分别展示了模型1和模型2对各类工机具检测的平均精度。由表可以看出，在模型1检测结果中，所有类的AP均在86%以上，最高接近99%，其中信号灯和工具包这类小尺度目标的AP达到了98.94%和97.90%，电机和编织袋这类大尺度目标的AP分别为97.90%和97.54%，mAP为95.33%。而在模型2检测结果中，所有类的AP均在92%以上，最高接近100%，其中信号灯和工具包这类小尺度目标的AP达到了99.38%和99.23%，电机和编织袋这类大尺度目标的AP分别为99.35%和98.38%，mAP为97.44%。对比分析可以发现，模型2对各类不同尺度铁路工机具的检测结果明显优于模型1的检测结果。对比实验结果表明本文的特征融合增强模块可有效提高对不同尺度铁路工机具目标检测的精度。模型2的mAP达到了97.44%，基本满足铁路工机具智能运维的实际应用需求。表4-2特征融合增强模块对工机具AP性能的有效性模型APRetinanet+ResNet-50(模型1)Retinanet+ResNet-50+FFEM(模型2)铲子86.8992.08电机97.9099.35电线96.0198.14电钻93.8895.20工具包97.9099.23编织袋97.5498.38铁丝98.3199.84桶91.7694.14信号灯98.9499.38照明灯94.2198.69mAP95.3397.444.5.3.2骨干网络对检测效果的影响分析为了更好地理解多尺度特征融合网络模型MSFFEN，本文进行了进一步实验，以检查不同的骨干网络如何影响检测性能。分别采用ResNet-50和ResNet-101[26]作为骨干网络进行对比实验研究，结果如表4-3所示。由表可见，采用基于ResNet-50和ResNet-101的多尺度特征融合网络模型MSFFEN-ResNet-50和MSFFEN-ResNet-101在工机具数据集上分别得到了97.44%和98.11%的检测精度，这表明更复杂的特征提取网络可能更利于工机具检测。更重要的是，可以看到MSFFEN-ResNet-50比Retinanet-ResNet-50高2.11%左右，MSFFEN-ResNet-101比Retinanet-ResNet-101[29]高0.26%左右。这说明了多尺度特征融合增强模型MSFFEN方法的有效性。在SSD300[5]、FSSD300[34]、RFBNet300[30]和Retinanet600[29]目标检测模型上利用工机具数据集对所提出的多尺度特征融合网络模型（MSFFEM）进行了评估。表4-3展示了这些目标检测模型对工机具测试集检测的结果。对比分析可以发现，MSFFEN-ResNet-101即基于ResNet-101的多尺度特征融合网络模型的检测结果明显优于其他目标检测模型。与SSD[5]、FSSD[34]、RFBNet300[30]和Retinanet-ResNet-101[29]相比检测精度分别高出15.11%、7.95%、11.41%、0.26%，证明了本文提出方法的可靠性。由表4-3可以看出，MSFFEN-ResNet-101对信号灯、铲子等这类小目标的检测AP分别达到了99.69%和93.65%，与SSD[5]、FSSD[34]、RFBNet300[30]和Retinanet-ResNet-101[29]相比检测精度分别提高了36.17%、9.5%、9.64%、0.19%和20.47%、7.38%、21.84%、0.49%，实验结果表明本文提出的方法可以提高对小目标类检测的精度。实验表明本文提出的模型能有效解决SSD中小目标检测难的弱点，并且能提高对目标的检测精度。表4-3工机具测试集检测结果模型SSDFSSDRFBNetRetinanetMSFFEMRetinanetMSFFEM网络MobileNetVGGVGGResNet-50ResNet-50ResNet-101ResNet-101mAP83.0090.1686.7095.3397.4497.8598.11铲子73.1886.2771.8186.8992.0893.1693.65电机92.7396.7485.3197.9099.3598.8799.68电线79.6784.9682.8096.0198.1498.0798.36电钻81.0295.1187.8493.8895.2096.6597.42铁丝100.0087.9089.5498.3199.8499.8899.84桶79.3389.6788.2691.7694.1495.7695.92工具包90.0890.7590.6997.9099.2399.4699.38编织袋95.6494.3491.3297.5498.3898.4398.42信号灯63.5290.1990.0598.9499.3899.5099.69照明灯76.5685.6789.3394.2198.6998.7298.694.5.3.3模型检测效果为进一步分析目标检测的机理，图4-7给出了模型1和模型2对几种典型工机具的检测结果（红色字体）。图中给出了模型预测的边界框、分类标签和工机具的AP值。由图可见，模型2在图a检测出的电机、工具包、编织袋的精度比模型1在图a检测出的相应目标的精度高，且在图a中，模型2还额外检测出了照明灯目标。此外，模型2在图b检测出的电机和编织袋的精度也比模型1在图b检测出的精度高，且在图b中，模型2检测出了电钻这个目标类,而模型1出现了检测错误，将其他目标误