【《基于深度学习目标检测的相关知识基础综述》9400字】

基于深度学习目标检测的相关知识基础综述目录TOC\o"1-3"\h\u28903基于深度学习目标检测的相关知识基础综述 1114811.1目标检测理论 1322251.1.1定位与检测 156631.1.2目标检测数据集 675701.1.3性能指标与计算方法 7381.2基于回归的目标检测算法 9290111.2.1YOLO目标检测基本思想 920501.2.2YOLOv5网络架构与组件 1398571.2.3YOLOv5目标框回归与跨网格预测 18目标检测理论定位与检测目标检测是计算机检测非常基本的任务，作为计算机视觉的三大基本任务之一，目标检测的目的是从复杂度不同的背景识别运动目标，分离背景完成跟踪、识别等后续任务。在现实场景中得到了广泛的应用，在实际应用场景中，根据不同的工作要求，实现了不同的技术，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。它主要做两件事情，那就是对于图片上的物体我们要识别出它是什么，也就是说我们给被检测出的物体给出类别标签，另外给出置信度得分，来对要被检测的物体的类别判断及确定，另外要对识别出的物体用一个矩形框框出来，这个矩形框又称之为BoundingBox，BoundingBox给出了物体在图片中的定位，预测该对象从属的类别。目标尺度是影响目标检测性能的重要因素之一，目前无论是在公共数据集中还是在真实图像中，小目标的检测精度都远低于高目标和中尺度目标，经常出现漏检和误检，小目标的检测在许多实际场景中有着重要的应用，甚至是许多智能设备有效、安全运行的关键，例如在非导电系统中，当目标（如红绿灯或行人）相对较小时，非驾驶车辆仍需准确识别这些目标并采取相应措施；在卫星成像分析中，对车辆和船舶进行检测需求大，但是这些目标往往由于太小而难以检测，因此，研究有效的小目标检测方法，提高小目标检测性能显得十分重要和迫切。现阶段面临的问题是小目标检测困难，一是底层特征缺乏语义信息，二是目标在分类数据集中的尺度分布与目标在检测数据集中的尺度分布存在一定的差异，三是小目标的训练样本数据量较少，小目标检测得不到充分学习。图STYLEREF1\s图STYLEREF1\s2SEQ图\*ARABIC\s11目标识别流程图图STYLEREF1\s图STYLEREF1\s2SEQ图\*ARABIC\s12图STYLEREF1\s2图STYLEREF1\s23区域选择：获取候选框的方法有两种，一种是滑动窗口法，由于目标可能出现在图像的任意位置，对目标的大小无法确定，最初采用滑动窗口的方法对整幅图像进行遍历，我们需要设计大量的不同尺度和长宽比的“滑窗”来使它们通过CNN，然而这个计算量是非常巨大的，图2-2、2-3所示，将产生大量的冗余窗口，对后续特征提取和分类的速度和性能有一定的影响[16]，为了保证速度，分类器不能太复杂。如需快速定位到目标的潜在区域，来减少大量的不必要计算。由此另一种方法，从图片中选出候选边界框（BoundingBox），先是利用分割算法对图像进行分割产生多个子区域，再经过比较相似子区域进行区域合并，不断迭代合并得到结果。特征提取:设计一个鲁棒的特征并不容易，常常受一些因素影响，如背景复杂程度、光照强度不同，同一目标形态各异等,逐步完善全局特征以过滤和提取更多关键特征，例如纹理特征，颜色特征等，这使得提取的特征越来越详细，提取的复杂特征可以在解析那些复杂样本中起到很好的作用。HOG（定向梯度直方图）特征由RobertK.McConnell[17]于1986年首次提出，在粗略的空间采样，精细的方向采样和强大的局部光学归一化的条件下，行人通常只要保持直立的姿势，就可以允许一些微妙的身体运动，而这些微妙的运动可以被忽略而不会影响检测效果，因此常用于行人识别，识别效果好。该特征与DPM算法[18]结合在一起即可完成目标识别任务；SIFT(缩放入侵功能转换)特征是由DavidLowe于2004提出的[19]，它对于旋转，缩放和亮度变化是不变的，并且对于角度变化，仿射变换和噪声在一定程度上是稳定的，在目标识别、姿态识别、目标跟踪等领域被广泛使用;LBP特征是于1994年由Ojala和Harwood等人首先提出,由于具有不受光照变化影响的优势，主要用于人脸检测任务。受特征点以前成功的就是SIFT/SURF/FAST之类，现在完全可以通过CNN模型形成的特征图来定义。分类:分类的准确性与特征提取的好坏相关联,分使用训练好的分类器对特征进行目标类别识别，分类器主要有SVM、AdaBoost等。传统的目标检测方法在取得一定效果的同时，也暴露出其固有的缺陷：一是采用滑动窗口进行区域选择，时间复杂度和窗口冗余度较高；二是外观的多功能性，由于光照变化和背景多样性的不确定性，导致人工设计的特征提取方法的稳健性和泛化性较差，算法步骤复杂，检测效率和准确性较差，传统的检测方法难以满足算法的需要高性能目标检测。目前目标检测深度学习方法主要分为两类[20]：(1)以RCNN系列算法为代表的、“两步走”的基于候选区域的目标检测算法。由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类。R-CNN训练过程涵盖内容包括有，选出潜在目标候选框（ROI）、训练一个好的特征提取器、训练最终分类器、训练回归模型。有RCNN、FastR-CNN、FasterR-CNN。(2)以YOLO、SSD为代表的、“一步走”的基于回归的目标检测算法。不需要产生候选框，直接将目标框定位的问题转化为回归问题来处理。在单阶段目标检测方法中，不再使用建议框进行“粗检测+精修”，而采用一步到位的方式得到结果。单阶段目标检测方法只进行一次前馈网络计算，因此在速度上有了很大的提升。基于候选区域的目标检测算法从理论上来讲比基于回归的目标检测算法精准度更高,而基于候选区域的目标检测算法从理论上来讲比基于回归的目标检测算法速度更快。目标检测数据集(1)PASCALVOC数据集：PASCALVOC2007，9964张图像，24640个标注；PASCALVOC2012，11530张图像，27450个标注。该数据集有20个分类：Person:person

Animal:bird，cat，cow，dog，horse，sheep

Vehicle:aeroplane，bicycle，boat，bus，car，motorbike，train

Indoor:bottle，chair，diningtable，pottedplant，sofa，tv/monitor图STYLEREF1\s2图STYLEREF1\s2SEQ图\*ARABIC\s13几种公共数据集对比图（3）ImageNet数据集：于2010年发布，增加类和图像数，是图像识别最大的数据库，其中数据集1200多万张，2.2万个类别，类别标注图片103万张，包含了200个对象类别，由于数据集过大，加重了训练时的计算量，目标检测难度提升。性能指标与计算方法A.检测精度相关指标图表2-1是二分类混淆矩阵（confusionmatrix），第一位T/F表示预测对错，第二位P/N表示预测的结果。TruePositive（真正,TP）被模型预测为正的正样本；

TrueNegative（真负,TN）被模型预测为负的负样本；

FalsePositive（假正,FP）被模型预测为正的负样本；

FalseNegative图表STYLEREF1\s图表STYLEREF1\s2SEQ图表\*ARABIC\s11二分类混淆矩阵查准率，又称精度Precision是评估预测的准不准，会跟随预测的进程上下波动，其计算方法如式(1)：Precision=TP/(TP+FP)(1)查全率，又称召回率Recall是评估找的全不全，会跟随包含更多预测而增加，其计算方法如式(2)：Recall=TP/(TP+FN)(2)平均精确率AveragePrecision，简称AP，衡量的是学习出来的模型在每个类别上的好坏，是不同召回率下的平均，先前往往通过平滑锯齿形图形近似计算，将recall分为11个级别，计算最大精度的平均值如式(3)、(4)所示，因PR曲线下的面积是precision对recall的积分，2010年修正新的计算方法，假设这N个样本中有M个正例，那么将得到M个recall值，对每个recall值r计算出对应（r'>r）的最大precision，后对M个precision值取平均。P(3)AP=(4)查准率与查全率通常难以同时顾及，不可兼得，往往需要通过修改参数来实现一个查准率和查全率的曲线，该曲线与x轴、y轴围成的面积为AUC，是用来衡量预测模型的好坏，同时囊括了查准率与查全率这两个指标，由于计算复杂，所以被F-score来近似代替，其计算方法为：F−score=（2∗precision∗recall）/（precision+recall）(5)交并比IoU(IntersectionoverUnion)这个是预测出的bbox和实际标注的bbox的交集除以他们的并集。显然，这个数值越大，说明预测的结果越好，目标值为1，IoU=1意味着预测框和实际框完全重叠，设置一IoU阈值为0.5，如果IoU>=0.5，把这个目标检测分类为TruePositive（TP）,如果IoU<0.5，则认为是误检了分类为FalsePositive(FP)，IoU设置越大，Recall相应地可能会提高。PR曲线(Pecision-Recallcurve)为不同置信度阈值下的查准率和查全率情况。mAP:不同类别下的平均值，m表示平均，即所有类别的平均准确率之和除以所有类别，即数据集中所有类别的平均准确率的平均值。mAP衡量的是学习出的模型在所以类别上的好坏。mAP值是其最直观的表达方式，mAP值越大，表明该模型的精度越高，常用指标是mAP@0.5和mAP@0.5:0.95。B.检测速度指标前传耗时（ms）：从输入一张图像到输出最终结果所消耗的时间，包括前处理耗时（如图像归一化）、网络前传耗时、后处理耗时（如非极大值抑制）。每秒帧数FPS（FramesPerSecond）：每秒钟能处理的图像数量。浮点运算量（FLOPS）：处理一幅图像所需的浮点运算次数与具体的软件和硬件无关，不同算法之间的检测速度可以进行比较。基于回归的目标检测算法YOLO目标检测基本思想图图STYLEREF1\s2SEQ图\*ARABIC\s14基于PascalVOC2012目标检测数据集的YOLO图个模型被命名为“YOLO”（YouOnlyLookOnce）[21]。YOLO是第一个单阶段目标检测方法，也是第一个实现了实时检测的目标检测方法。CNN可以实时分类，而R-CNN需要几秒钟的检测时间，主要原因是提取算法大约需要1-2s的时间来处理图像，然后有许多后续步骤：学习提案的功能，更正边界，消除错误警报等，这是最好的，该方法还需要2-40S的时间才能完成处理，整个过程是分离的，不仅复杂，这也要花费很多时间，因此在这种情况下，YOLO（您只看一次）就诞生了。YOLO的实现基于R-CNN框架，但它基于端到端思想，该思想利用了优化框架位置的想法，后来又添加了线性单个元素来调整YOLO的重要作用在于提高检测速度，这与以前使用分类器的方法不同。YOLO的作者对边界和相应的概率进行了回归，检测速度可以达到45Fps。YOLO算法如图2.2-1所示，整个网络包含了24个CNN层，2个全连接层。YOLO将输入图像划分为S乘以S的网格，如果目标的中心点落入网格单元中，则该网格单元将检测到目标，每个网格单元将预测n个边界框以及这些边界框的置信度得分这些置信度得分反映了YOLO对目标是否包含在边界框中以及其对边界框的预测准确性的信心。如果单元格中没有目标，则置信度得分为0;否则，置信度得分应为等于预测框的IoU和真实值。将置信度定义为PR（Object）×IoU（其中IoU是预测和真值边界框的IoU），当边界框是背景时（即不包含目标）PR（Object）=0;当边界框中包含目标时，PR（Object）=1。每个边界框包含五个预测值x，y，w，h和置信度c，x和y表示从边界框中心到网格单元边界的距离r，相对于整个图像预测宽度w和高度h整个图像预测出来的。每个网格单元还预测C条件类概率Pr(classi|Object)。这些概率是基于网格单元包含目标的条件，并且每个网格单元仅预测一组类别的概率，而不考虑边界框的数量B。在测试中，将条件概率与单个预测框的置信度相乘，得到每个预测框的特定类别的置信度。这些分数量化了类别出现在方框中的概率，以及预测的方框与目标的匹配程度。Conf=Pr(Classi|Object)∗Pr(Object)∗IoU=Pr(Classi)∗IoU(6)YOLO学习的关键步骤：YOLO对网络输入图像的大小有要求。YOLO设计的尺寸是448*448，首先，应将图片缩放到指定的大小（448*448），然后将图片划分为S*S的小网格，如图2.2-1所示。在每个像元中进行几个预测：像元中是否包含对象？包含该对象的矩形和对应于该小盒子的C类的位置的分数是多少？因此，要为每个像元预测的尺寸是B*（1+4）+C，其中B表示每个单元格中重叠对象的最大数量，1表示单元格中包含的对象的置信度，4用于预测矩形框，C表示数量任务中所有可能类别的总和（不包括背景）。因此，YOLO网络的最终特征层的大小为S*S*（B*5+C），图中特征层的大小为7*7*（2*5+20）=7*7*30（PascalVOC2012目标检测数据集中有20个类别）。V1虽检测速度快，但精度却不如R-CNN，且输入大小是固定的。由于输入层是完全连接的，因此必须将YOLO训练模型的分辨率缩放到固定的分辨率；并且目标检测效果所占的比例很小，即使每个格子可以预测到B个预测框，但只选择IoU最高的B-box作为物体检测输出。每个格子最多预测一个物体，也就是说，当物体占画面比例小，当图像包含一群动物或一堆帽子时，即使每个网格中包含多个对象，也只能检测到一个对象。YOLOv2算法在2016年底，YOLO的作者发布了一个更快更好的升级版本YOLOv2，以及可以检测9000多个目标类别的模型YOLO9000[22]，以每秒67帧的处理速度，YOLOv2达到了76.8％。PascalVOC2007数据集上的mAP。YOLOv2在VOC2007以每秒40帧的速度获得mAP的78.6％，优于FasterR-CNN和SSD等方法。YOLO9000是通过目标检测和分类的联合训练方法在COCO检测数据集和ImageNet分类数据集上同时训练得到的。此联合训练方法使YOLO9000可以预测未标记检测数据的目标类别。YOLO9000可以预测9000多种不同目标类别并实时运行。YOLOv2的基本网络也进行了调整，使用了DarkNet-19[23]去网络分类。该网络有19个卷积层和5个最大池化层。把1*1的卷积核放置于3*3的卷积核之间，用来压缩特征。相比于DarkNet，DarkNet-19的ImageNet分类任务TOP-5准确率提高了3.2%(DarkNet为88%，DarkNet-19为91.2%)。YOLOv2则侧重于提高召回率和改进定位，同时保持分类的准确性，引入“锚定框”（anchorboxes）的概念以预测边界框，并删除了整个连接层，添加了一个传送层，检测是在13×13的特征图上进行的，在低分辨率的特征图上，较容易检测较大的物体，但较难检测较小或重叠度较高的物体。YOLOv3算法YOLO在2018年初推出了改进版本YOLOV3[24]。YOLOV3的整体结构发生了很大变化，其中更重要的是使用多个独立的逻辑分类器代替Softmax函数，以及使用一种类似于FPN的融合多个尺度特征图预测的方法。YOLOV2速度非常快，YOLOV3为了提高准确性，在一定程度上搁置了对速度的提升，这种速度的降低与底层Darknet的复杂性增加直接相关，YOLOV2使用Darknet-19基本网络，其模型具有30层网络。YOLOV3使用Darknet-53[25]基本网络，并且模型具有106层网络（网络的深化导致速度降低）。且使用9个锚框，每个锚框有3种尺寸，如果需要在自己的数据集中训练YOLOV3，则这9个锚框应通过K-means算法进行聚类，然后按大小排列锚框并将其划分分为三个大小。YOLOV3中的预测边界框数量是YOLOV2中的10倍以上，这也就解释了为何YOLOv3要比YOLOv2检测速度慢。虽然YOLOv3结合了残余层跳转连接和上采样等高级结构，但更值得注意的是它可以检测3个尺寸。YOLOv2只对单个特征图使用1×1卷积核进行检测，而YOLOv3吸收了FPN的思想，对网络中3个不同位置的3个不同大小的特征图使用1×1卷积核完成检测。在用于检测的3个特征图，有2个是上采样和特征融合结束后获得的。在不同大小的特征图上检测，YOLOv3比YOLOv2对小目标的检测效果更好。理论上，大小为13×13的一层用于检测大目标，26×26的一层用于检测中等目标，52×52的一层用于检测小目标。YOLOv4和YOLOv5算法2020年4月23日，继YOLOv3之后AlexeyBochkovskiy发表了一篇名为《YOLOv4：OptimalSpeedandAccuracyofObjectDetection》的文章，这是YOLO系列的一个重大更新。YOLOv4[26]与v3比较。在保证速度的同时，大大提高了模型的检测精度。对COCO数据集的平均精度(AP)和帧率精度(FPS)分别提高了10%和12%，YOLOv4在输入侧采用马赛克数据增强方法，对四幅图片进行随机缩放、裁剪、排列等增强，极大地丰富了检测数据集，增加了小目标的数量，提高了网络的鲁棒性。在主网络部分，YOLOv4基于YOLOv3主网络Darknet53和CSPNet构建了CSPDarknet-53网络。CSPDarknet-53网络不仅提高了CNN网络的学习能力，而且在保证准确性的同时减少了计算量和内存开销。直到同年6月25日，Ultralytics发布了YOLOv5的第一个官方版本。YOLOv5在对象检测方面的表现非常好，特别是YOLOv5s模型的140FPS推理速度是惊人的，使用darknet架构的YOLOv4有244MB，而YOLOv5的大小仅有27MB。图STYLEREF1\s2图STYLEREF1\s2SEQ图\*ARABIC\s15YOLOv4的网络结构图从YOLOv4的网络结构图2-5，可以推测出，YOLO也v5是分为Input、Backbone、Neck、Prediction四个部分。YOLOv5共有四个网络结构模型（图2-6），分别是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。YOLOv5的四种结构由depth_multiple和width_multiple两个参数控制网络的深度和宽度，其中depth_multiple体现通过改变BottleneckCSP数目来控制网络的深度，width_multiple则以卷积核数量控制网络的宽度，其中YOLOv5s网络最小，速度最少，AP精度也最低。表格SEQ表格\*ARABIC1YOLOv5sYOLOv5mYOLOv5lYOLOv5xDepth_multiple0.330.671.01.33Width_multiple0.550.751.01.25BottleneckCSP数BCSPn(True)1,3,32,6,63,9,94,12,12BottleneckCSP数BCSPn(Flase)1234Conv卷积核数量32,64,128,256,51248,96,192,384,76864,128,256,512,102480,160,320,640,1280图STYLEREF1\s图STYLEREF1\s2SEQ图\*ARABIC\s16YOLOv5四种网络结构模型性能对比图像数据增强（MosaicAugmentation）YOLOv5将每批训练数据通过数据加载器传递，同时对训练数据进行增强。数据加载器执行三种类型的数据增强:缩放、颜色空间调整和马赛克增强。具体到采用四张图片随即缩放、随机裁剪、随机排布的方式进行拼接。但小目标本身不易被检测出来，而COCO数据集中小目标在所以数据中占比较大，YOLOv4的作者就采用了Mosaic数据增强的方式，YOLOv5将这种方法保留下来，基于训练数据自动学习。使用数据增强有几个优点，一是丰富了检测数据集，增添了更多的小目标，网络鲁棒性更好。二是减少GPU。自适应锚定框（AutoLearningBoundingBoxAnchors）在YOLOv3和YOLOv4中，使用K-means和遗传学习算法分析自定义数据集，以获得适用于自定义数据集中的对象边界框预测的预设锚框。在YOLOv5中自适应图片缩放。锚定框是基于训练数据自动学习的。先验框是预先设定的锚框，图STYLEREF1\s图STYLEREF1\s2SEQ图\*ARABIC\s17锚定框参数在常见的目标检测算法中，不同的图像有不同的长度和宽度。因此，常用的方法是将原始图像的长度均匀缩放到标准尺寸，然后将其发送到检测网络。在推理过程中，减少了计算量，提高了目标检测速度。自适应图片缩放将原始输入图片生成固定尺寸送入检测网络，在YOLO系列算法中常见尺寸比例有416*416，608*608。BackboneFocus结构Focus模块是用来减少浮点运算量、增加速度的，但对精度帮助不大，在具体操作中把数据切为4份，每份数据都是相当于2倍下采样得到的，然后在channel维度进行拼接，最后进行卷积操作，其最大的好处是可以最大程度减少信息损失而进行下采样操作。如输入是[b，c，h，w]则得到[b，c*4，h/2，w/2]，把宽度w和高度h信息整合到c空间中，以yolo5s的结构为例，原始640*640*3的图像输入focus结构，采用切片操作，先变成320*320*12的特征图，再经过第一次32个卷积核的卷积操作，最终变为320*320*32的特征图[28]。YOLOv5m是320*320*48，YOLOv5l是320*320*64，YOLOv5x是320*320*80。由于本次训练目的为多目标检测，分别对电动车及安全头盔检测，所以使用了YOLO5x来提高精确度，以下主要对于YOLO5x网络模型进行展开。CSP(CrossStagePartialNetwork)跨阶段局部网络CSPNet[29]实际上是基于Densenet的思想。复制基础层的特征图，通过denseblock发送到下一阶段，以分离基础层的特征图。这可以有效地缓解梯度消失的问题，支持特征传播，鼓励网络特征重用，从而减少网络参数的数量。每个CSP模块前面的卷积核大小为3×3，步长为2，所以可以起到下采样的作用。因为Backbone有5个CSP模块，输入的图像为608*608,所以特征图的变化规律为:608→304→152→76→38→19，经过5个CSP模块，得到特征图的大小为19*19。YOLOv5使用两个CSP结构，第一种是在Backbone中使用CSP_1，该模块由CBL模块、Resunint模块Concate组合而成，其中Bottleneck使用Res结构;第二种是在Neck中使用CSP_2，该模块由卷积层和N个Resunint模块Concate组合而成，而Bottleneck中Res结构没有被采用。在主干网络Backbone采用CSPDarknet-53网络结构增强CNN的学习能力，轻量化的同时又能保持准确性，且降低计算量和节省计算内存消耗。SPP（SpatialPyramidPooling）空间金字塔池化这个模块主要有最大池化的操作，如图所示进行了5*5、9*9、13*13池化的操作，它可以增大感受野，提取出最重要的上下文特征，不会导致操作速度减小，经过池化并没有尺寸的变化，一般也不会导致特征图的减小。NeckNeck主要用于生成特征金字塔。特征金字塔将增强模型对不同尺度目标的检测，从而能够识别出相同的不同尺寸和尺度的目标。FPN主要是通过融合高低层特征提升目标检测效果，对于一般的FPN，特征图大小是不同尺度，可以对不同尺度做融合，比较大的特征图传递信息时不容易与最上层的特征图做融合。PANet增加了一个Bottle_up的路径来解决这一问题，Bottle_up结构可以充分利用网络浅的特点进行分割，相同尺度融合后再做拼接操作，从而得到更丰富信息。且利用自适应特征池恢复每个候选区域与所有特征层之间的破损信息路径，在每个特征层上聚合每个候选区域，避免任意分配。YOLOv5的neck网络仍保留着YOLOv4中FPN+PAN结构，只不过在此基础上再做改进。输出端Boundingbox损失函数YOLOv5的损失函数主要包括三种类型:分类损失（classificationloss），定位损失（localizationloss），置信度损失（confidenceloss）。其中定位损失是预测框与GT框之间的误差，置信度损失指的是框的目标性，总的损失函数为三类损失之和，每类损失之前可加上一个系数，这样对于某种损失更加地关注。具体而言。YOLOv5使用二元交叉熵损失函数计算类别概率和目标置信度得分的损失，计算复杂度降低。另外使用GIoU_Loss作为boundingbox回归的损失。如分类器输出出现互斥的目标类别，YOLOv5使用多标签分类，输出标签可以是“帽子”和“头盔”，它们不再相互排斥，得分总和可以大于1。softmax函数将得分转换为总和为1的概率，所以在v3、v4、v5中将不在使用softmax函数，而是选择多个独立的逻辑（logistic）分类