人工智能开发框架应用 课件 5-目标检测算法

9.1目标检测算法9.1.1认识目标检测9.1.2基于候选区域的目标检测算法9.1.3基于回归的目标检测算法9.1.1认识目标检测

目标检测（物体检测）的主要任务是从输入图像中定位感兴趣的目标（物体），再准确地判断出每个感兴趣的目标的类别。近年来，目标检测技术已经在生活中的多个领域得到了广泛应用，如机器人导航、智能视频监控、安全检测等。对于人类而言，在一个区域中识别一个物体是非常容易的事情，但在计算机中，图像是用一定范围的数值来表示的，使得计算机很难判断一张图像片中的某个目标的存在及位置，加上背景、遮挡或相似物体的干扰，更加大了目标检测的难度。为了便于理解目标检测算法的相关内容，我们先介绍一下边界框（boundingbox）概念。在目标检测中，通常将目标所在的区域位置称为边界框，将可能出现的区域位置称为候选区域。边界框是一个矩形框，可以由矩形左上角的x和y轴坐标与右下角的x和y轴坐标确定。传统的目标检测方法是先采用类似穷举的滑动窗口方式生成大量的候选区域，再对每个候选区域进行图像特征提取，最后使用训练好的分类器，对这些特征进行分类。这种方法存在两个方面的缺陷，一是候选区域的产生会消耗大量的算力，二是提取的特征不能适应目标的多样性情况。这使得检测精度和速度都无法达到实际应用的要求。9.1.1认识目标检测

随着深度学习研究和应用地不断深入，基于深度学习的目标检测和识别方法逐渐成为主流，所用到的深度学习模型为卷积神经网络。目前能够实现目标检测的深度学习算法有两类：基于候选区域和基于回归。基于候选区域的目标检测算法也称为二阶段方法，它将目标检测问题分成两个阶段，第一个阶段生成候选区域（RegionProposal），第二个阶段把候选区域放入分类器中进行分类并修正位置；基于回归的目标检测算法则只有一个阶段，即直接对预测的目标进行回归，来实现目标检测。9.1.2基于候选区域的目标检测算法

基于候选区域的目标检测算法的基本思想是，利用图像中的纹理、边缘、颜色等信息，预先找出图中目标可能出现的位置（候选区域），并在候选区域上滑动窗口，进一步判类别位置信息，使得在减少所生成的候选区域数量的情况下，保持较高的召回率，从而获得更好的识别效果。这类算法的代表是R-CNN、SPP-NET、FastR-CNN、FasterR-CNN和MaskR-CNN。下面我们来分别进行介绍。

1.R-CNN2014年，Girshick提出了首个目标检测算法R-CNN，其计算流程如图9-1所示。图9-19.1.2基于候选区域的目标检测算法

由图9-1，R-CNN算法分为4个步骤。（1）输入图像，利用选择搜索算法提取约2000个候选区域。（2）将每个候选区域缩放到固定大小，使用卷积层进行特征提取。（3）将提取的特征向量送入支持向量机（SupportVectorMachines，SVM）分类器，判断其所属类别。（4）将候选区域所属类别信息送入全连接层，使用线性回归微调候选区域位置和大小。虽然R-CNN能够在目标检测的精度上得到很大提升，但其缺点也很明显，一是图像的缩放处理会导致图像失真，二是候选区域数量大，使得卷积层在提取特征时资源消耗过多，且提取的特征数据需要单独保存，会占用大量的硬盘空间；三是步骤繁琐，训练测试过程比较复杂。9.1.2基于候选区域的目标检测算法

2.SPP-NET针对R-CNN的缺陷，何恺明等人提出了改进算法SPP-NET。所提出的改进之处包括两个方面，一是将整个图像一次性送入CNN进行特征提取，而非逐个候选区域送入，避免了卷积层对每个候选区域分别提取特征造成的重复计算，二是在卷积层和全连接层之间，增加特征金字塔池化层（SpatialPyramidPooling，SPP），对不同大小特征图进行池化操作，并生成特定大小的特征图，解决R-CNN所存在的图像失真问题。SPP-Net有效加快了目标检测的速度，但仍存在一些不足。一方面，由于它与R-CNN结构相同，仍然存在训练过程复杂和占用硬盘空间过大问题，另一方面，卷积层之后固定了图像大小，限制了卷积层的微调处理。9.1.2基于候选区域的目标检测算法

3.FastR-CNNGirshick等借鉴特征金字塔池化层的思路，使用感兴趣池化层（RegionofInterest，RoI）做替代，提出了FastR-CNN，其计算流程如图9-2所示。图9-29.1.2基于候选区域的目标检测算法

由图9-2，FastR-CNN算法可分为4个步骤。（1）同R-CNN一样，利用选择搜索算法提取约2000个候选区域。（2）将图像送入卷积网络提取特征，将候选区域投影到特征图上得到相应的特征矩阵。（3）通过RoIPooling层，将候选区域的特征大小进行统一。（4）通过全连接层，对候选区域进行分类和回归。FastR-CNN在目标检测速度上比R-CNN有较大改进，且实现了多任务端到端的训练（训练过程无需人工干预），但未能解决候选区域选取和训练过程消耗时间较长的问题。

4.FasterR-CNN针对生成候选区域计算量大占用时间多的问题，Girshick等人在卷积层后添加了候选区域生成网络（RegionProposalNetwork，RPN，也称为区域建议网络）来提取数量更少但质量更高的候选区域，以进一步改善目标检测的速度和精度。所提出的算法FasterR-CNN的计算流程如图9-3所示。9.1.2基于候选区域的目标检测算法

由图9-3，FasterR-CNN的计算流程分为3个步骤。（1）输入图像，由卷积层对其提取特征。（2）将所提取的特征送入RPN层产生候选区域，并投影到特征图上得到相应的特征矩阵。（3）通过RoIPooling层，将候选区域的特征大小进行统一。（4）通过全连接层，对候选区域进行分类和回归。

我们可以将FasterR-CNN理解成“候选区域生成网络+FastR-CNN”的模型，它实现了端到端的目标检测，与R-CNN、FastR-CNN、SPP-NET相比，FasterR-CNN无论在速度上还精度上都有了较大的提升。图9-29.1.2基于候选区域的目标检测算法

5.MaskR-CNN

何恺明等人在FasterR-CNN的基础上提出了MaskR-CNN。该算法针对特征图和原始图像上的感兴趣区域出现不对准问题，使用RolAlign层替代Rol，同时增加了Mask预测分支网络，能够并行实现目标检测和图像语义分割任务。MaskR-CNN网络结构分为三个部分：卷积主干结构，用于提取整个图像的特征；候选区域生成部分；三个预测分支。其算法流程如图9-4所示。图9-49.1.2基于候选区域的目标检测算法

MaskR-CNN的优点在于，它在FasterR-CNN基础上，增加了一个目标掩码（Mask）作为第三个分支，通过掩码将一个对象的空间布局进行编码，从而更为精准地提取目标的空间布局，但也正是因为这个分支的增加，带来了更大的计算量，导致其检测速度比FasterR-CNN会慢一些。9.1.3基于回归的目标检测算法

基于回归的目标检测算法不会直接生成感兴趣区域，而是将目标检测任务看做是对整幅图像的回归任务。在很大程度上，基于回归的目标检测算法能够在保证精确率的基础上，同时达到实时目标检测的效果。这类算法中，具有代表性的有YOLO和SSD系列。

1.YOLO系列YOLO（YouOnlyLookOnce）是最早具有实际应用价值的一阶段目标检测算法。它有三个版本YOLOv1、YOLOv2和YOLOv3，其中YOLOv2和YOLOv3都是对YOLOv1的改进。YOLOv1由Redmon等在2015年提出，其核心思想是将整幅图像作为输入，将目标检测问题转化成一个回归问题，直接在输出层回归边界框的位置及其所属的类别，整个系统如图9-5所示。图9-59.1.3

基于回归的目标检测算法

实际上，YOLO并没有真正的去掉候选区域，而是创造性的将候选区和目标分类合二为一。它将图像划分成SxS个网格区域，这里的划分并未对图像进行物理上的剪裁，而只是逻辑上的划分，然后对每个网格中的物体进行预测。每个预测的结果包括边界框的位置、尺寸、置信度以及边界框中物体属于各个类别的概率。YOLO算法的优势在于，首先它的网络结构简单，直接使用卷积神经网络结构，同时实现预测边界框的位置和类别；其次，它的速度快，能够进行实时检测；第三，它具有较强的泛化能力，可迁移到其他领域。9.1.3基于回归的目标检测算法

2.SSD系列SSD（SingleShotmultiboxDetector）是对YOLO算法的改进。SSD是一个全卷积网络（图9-6），图像先经过VGG16进行特征提取后，分6次依次进行不同尺度的特征提取，之后进行分类和回归处理，整个检测过程一步到位，检测速度较快。图9-69.1.3