【《基于ResNext50-SSD的车辆行人检测方法案例》3500字】

PAGEPAGE20基于ResNext50-SSD的车辆行人检测方法案例目录TOC\o"1-3"\h\u819基于ResNext50-SSD的车辆行人检测方法案例 134201.1ResNext原理概述 1298921.2融合双注意力模块的ResNext50-SSD网络结构 3195451.2.1改进的网络结构 3322271.2.2算法模型训练 5233821.3实验结果与分析 6235431.3.1实验环境及参数设置 64061.3.2实验结果和分析 7SSD算法以VGG作为基础网络来提取目标的特征信息，存在网络深度不够、特征提取不够充分全面的问题。本章针对SSD算法特征提取能力有限，浅层特征不利于小目标检测的问题，提出了一种改进SSD的方法，基于ResNext50-SSD的车辆行人检测算法，用更强大的主干特征提取网络提高检测精度。本章方法的基本框架采用SSD，主要由3个部分组成，分别是ResNext50特征提取网络，第三章提出的特征融合方法，双注意力模块的双向特征金字塔融合模块，检测模块。同时利用第三章改进的损失函数，通过实验验证方法的有效性，提升小目标车辆行人的检测性能。1.1ResNext原理概述卷积神经网络通过卷积操作和池化操作的堆叠，网络的深度加深，就会出现梯度消失的问题，导致网络的性能退化。为了提高网络的精度，一般通过加深网络层数，或者加大网络的宽度，增加模型的参数。因此深度残差网络结构被提出，ResNet的快捷连接结构使得网络参数减少，没有增加计算量，加快训练速度，同时也提高了性能，缓解了网络退化问题。ResNext是在ResNet残差结构的基础上改进，综合了VGG和Inception的优点，将VGG的单元重复策略应用到Inception的拆分-转换-合并策略中。ResNext仍然是快捷方式连接，引入基数来控制分组的路径的数量，来提升网络性能。如图4-1所示，ResNext结构比较简单，使用相同的网络拓扑结构，重复堆叠的形式，模块内部结构相同，进行拆分、转换和合并。网络中的每个模块均采用分组卷积，它输出的时候通过对应元素值求和进行合并。ResNext可以保证参数复杂度不会增加，可以提高模型的性能，同时还减少网络的超参数的数量。图4-1ResNext网络结构Fig.4-1ResNextNetworkStructure如表4-1所示，为ResNext50和ResNet50网络结构的参数表，由表可知，ResNext50网络结构和ResNet50一样，由不同数量的残差模块组成，下采样操作使得特征图尺寸缩小，最后连接全连接层输出。ResNext50网络修改了每一路卷积的通道数，增加32路Group卷积。增加了网络层数，还是采取残差网络结构的连接方式，Group卷积使得网络加宽，在降低参数量的同时使得其特征提取能力得以增强。因此，与VGG相比，采用ResNext50能够更好地提取车辆行人的特征信息。表4-1ResNext50和ResNet50网络结构参数表Table4-1NetworkStructureParameterTableofResnext50andResNet50模块尺寸ResNet50ResNext50Conv0112×1127×7，64，stride27×7，64，stride2Stage156×563×3maxpool,stride2maxpool，stride2Stage228×28Stage314×14Stage47×71.2融合双注意力模块的ResNext50-SSD网络结构1.2.1改进的网络结构本章算法是利用ResNext50作为基础特征提取网络，替换了原始网络中的VGG，更好地提高特征提取能力。为了有效提高网络对小尺度车辆行人目标的检测能力，加入了空间注意力和通道注意力双重注意力模块来增强特征，获得更丰富的特征。结合第三章提出的双重注意力模块应用在双向特征金字塔的特征融合，多尺度特征预测来提高小目标的检测精度。设计出新的网络结构改进ResNext50-SSD的检测方法，ResNext50-SSD网络结构如图4-2所示。图4-2ResNext50-SSD网络结构Fig.4-2ResNext50-SSDnetworkstructure（1）特征提取网络更换基础网络，采用ResNext50网络作为本章算法的基础特征提取网络，基础网络层更深、ResNext50中残差块的使用，共有32个分支，也就是有32个变换。通过每个ResNext块中的变换实现分组卷积，32个分组卷积每个组内进行卷积，使用Group卷积这种方式来有效提升网络的性能，获得更全面的特征。输入图像的大小为300×300。ResNext网络的全连接层去掉,在额外增加Conv7、Conv8，Conv9三组卷积，对深层特征进行提取。依然使用原来SSD的特征输出尺度，选择Stage2_unit4_plus、Stage3_unit6_plus、Stage4_unit3_plus、Conv7_2、Conv8_2、Conv9_2这六层特征图，用于检测不同尺寸大小的车辆行人，多尺度检测与原来SSD算法保持一致，还是保持6尺度输出。（2）多尺度特征融合本章方法设计的网络结构如图4-3所示：特征融合模块，包括两方面的改进，一是本章算法采用第三章的基于双注意力的特征融合方法对浅层网络的特征进行重新表达，二是通过将空间注意力和通道注意力分别加入到自上而下通路和侧向通路来实现，利用双注意力模块实现多尺度特征融合，对特征进行权重的重新分配，学习特征层之间的相关性。双注意力模块作为各个基本特征之间融合的桥梁，穿插在两个方向上的特征金字塔网络上。最后将由深到浅和由浅到深两个方向上生成的特征图进行特征融合。图4-3改进的方法的网络结构Fig.4-3ThenetworkstructureoftheimprovedmethodResNext50中Stage2_unit4_plus、Stage3_unit6_plus和Stage4_unit3_plus这三层特征进行融合，在特征融合过程中，首先对Stage4_unit3_plus进行上采样操作，Stage_unit6_plus进行1×1的卷积操作，然后采用第三章提到的双注意力模块作为Stage4_unit3_plus和上采样后的Stage3_unit6_plus特征层的联系，穿插在两个方向上的特征金字塔上，深层特征向浅层特征融合，浅层特征向深层特征融合。双向生成的特征做了特征融合使得特征多尺度输出。（3）损失函数采用的其他的改进方法还有通过非极大值抑制思想，使用CIoU代替原始的边界框损失函数IoU来直接优化，解决了IoU不能准确反映两个框的重叠度的问题，定位更加准确。针对于目标损失函数，其中在目标分类中采取FocalLoss损失函数代替交叉熵损失函数，位置回归中采用SmoothL1损失函数。1.2.2算法模型训练本章算法模型训练流程如图4-4所示，首先训练数据集中的图片归一化处理，设置总训练次数n、批大小batch_size等参数。使用ResNext50基础特征提取网络对输入图像中的车辆和行人进行特征提取，由结合双注意力模块的双向特征金字塔进行特征融合，融合后得到的不同尺度的特征图送入预测模块，最后进行分类和回归操作，由CIoU损失函数计算，然后通过计算FocalLoss函数得出分类损失，通过SmoothL1损失函数得出回归损失，二者加权求和，计算出总的损失。最后判断是否达到总的训练次数，没达到继续训练，直到达到结束模型的训练，更新网络的权重系数。图4-4算法模型训练Fig.4-4Algorithmmodeltraining1.3实验结果与分析1.3.1实验环境及参数设置本文实验基于Windows系统下的PyTorch深度学习框架，软、硬件环境如下：本章方法进行的实验都是在Windows系统上完成，实验过程中使用的GPU型号是GTX1080Ti。在KITTI数据集上进行了实验，来证明本章改进方法的有效性。我们设置输入图片分辨率为300×300。模型总迭代次数是总共40000次。在训练的过程中，不断设置调整学习率大小，以降低训练过程的损失。初始的学习率设为0.001，其中前20000次的学习率为0.001，在迭代20000次时学习率设置成0.0001，在迭代30000次时学习率设置0.00001。我们使用SGD随机梯度下降法优化参数，训练过程中加入了动量参数，来加快收敛。动量设置成0.9，权重衰减大小是0.0005，迭代batch_size批大小设为8。1.3.2实验结果和分析为了验证本章改进的方法的有效性，改进的方法与其他经典的目标检测方法进行对比实验在KITTI数据集，对比结果如表4-2所示。实验结果表明，相比基础网络是VGG的SSD目标检测算法，改进的方法具有更高的检测精度和速度，本文的评价精度mAP值比SSD算法提高了1.1个百分点。车辆和行人类的单独的每一类的精度都提高了。ResNet50-SSD网络模型中主干网络为残差结构的ResNet50，本章方法和ResNet50-SSD算法相比精度提升明显，提高了3.5个百分点。第三章是在SSD算法的基础上，仍然使用VGG作为特征提取网络，添加了基于双注意力的双向特征金字塔特征融合模块，本章改进的方法与第三章的方法不同之处在于主干基础网络的选取，选取了ResNext50网络。本章方法相比于原来的SSD在mAP上分别提高了1.1个百分点。本章方法相比于第三章的改进的方法在检测精度上提高了0.8个百分点。说明替换了特征提取网络，本文改进的方法有效提高了车辆行人的检测精度，检测的效果更好。从表中可以得出，原来SSD的检测运行速度是41帧每秒，特征提取网络换成ResNet50之后，模型的检测速度下降了，变成了32帧每秒，在实时性上表现比较差。而本章的方法使用了ResNext50，检测速度与第三章的方法相比也下降了。说明检测算法的特征提取网络上消耗了一定的时间，因为主干特征提取网络ResNext50比VGG网络层更深，网络的层数增加了，导致模型的检测速度变慢。表4-2KITTI数据集在不同的算法下的实验结果Table4-2ExperimentalresultsofKITTIdatasetunderdifferentalgorithms算法基础网络单类AP%mAP%速度（FPS）车辆行人SSDVGG81.766.275.541ResNet50-SSDResNet5086.569.876.132第三章方法VGG90.171.678.844本章方法ResNext5092.481.179.629如图4-5所示，展示了本文改进的方法模型在测试集上的一部分可视化结果，图中的边界框有2种颜色，黄色代表车辆目标，蓝色代表行人目标。从图中可以明显看到，可以看到本文改进的方法具有更好的检测效果，对小目标有很好的检测性能，而且相互遮挡的行人也被检测出来了。这是因为本文在特征融合过程加入了双注意力的双向特征金字塔，使得特征表达更充分，充分融合浅层和深层的特征，不同尺度的特征融合获得更多的特征信息。双注意模块可以对特征通道权重的重新标定，有效地突显目标的关键特征的信息，抑制无关特征的表达。并