计算机视觉 课件 第9章视觉目标检测

1第九章视觉目标检测§9.1背景知识§9.3深度学习方法§9.2传统方法§9.4多模态方法§9.5新兴方法2§9.1背景知识一、任务定义二、评价指标3任务定义

4目标检测度量标准：平均精度均值(meanAveragePrecision,mAP)Precision：正确检测的目标数/总检测到的目标数Recall：正确检测的目标数/总真实目标数AP(AveragePrecision):某一类别下Precision对Recall的积分AP计算，以CatDetection为例：5目标检测度量标准：平均精度均值(meanAveragePrecision,mAP)AP计算，以CatDetection为例：检测框置信度真实情况IoU阈值检测框10.9TP>0.5检测框20.8FP>0.5检测框30.7TP>0.5检测框40.6TP>0.5检测框50.5FP>0.5检测框置信度真实情况累计TP累计FPPrecisionRecall框10.9TP101/(1+0)=1.001/3=0.33框20.8FP111/(1+1)=0.501/3=0.33框30.7TP212/(2+1)=0.672/3=0.67框40.6TP313/(3+1)=0.753/3=1.00框50.5FP323/(3+2)=0.603/3=1.00整理为框1框2框3框4框56目标检测度量标准：平均精度均值(meanAveragePrecision,mAP)Precision：正确检测的目标数/总检测到的目标数Recall：正确检测的目标数/总真实目标数AP(AveragePrecision):某一类别下Precision对Recall的积分mAP:多个类别AP的平均值，反映模型整体性能mAP的变体mAP@IoU=.50:IoU阈值为50%mAP@IoU=.75:IoU阈值为75%mAP@[.50:.05:.95]:IoU从50%到95%每隔5%的mAP平均值7§8.2传统方法一、“维奥拉-琼斯”(VJ)检测器二、梯度直方图检测器三、基于可偏移部件的检测模型四、基于霍夫投票的检测模型8基于手工特征的检测方法“维奥拉-琼斯”(VJ)检测器广泛用于实时、快速人脸检测中所利用的手工特征：哈尔（Harr）特征边缘、线条、中心周围特征等捕捉面部结构差异利用Adaboost迭代选择最强特征，利用积分图像快速完成像素特征计算9基于手工特征的检测方法梯度直方图（HOG）检测器适合应用于行人检测所利用的手工特征：分析图像局部区域的梯度方向直方图捕捉边缘、纹理和形状信息对局部光照变化较为鲁棒，但不适用于复杂背景、可变形物体检测10基于手工特征的检测方法基于可偏移部件（DPM）的检测模型把物体模型化为一组可变形的部件与一个根(root)部件提取图像的HOG特征，使用滑动窗口技术在不同尺度和位置搜索部件，与预定义的部件模型相匹配能够适应物体的变形，但计算成本高（滑窗机制）[图源：R.Girshik]11基于手工特征的检测方法基于霍夫投票（HoughVoting）的检测模型擅长检测图像中的几何形状（直线、圆等）霍夫变换（关键技术）：将图像空间内的种子点映射至参数空间内，峰值处即为存在几何形状的区域Canny边缘检测器提取种子点→霍夫变换→累积，寻找峰值→局部最大值处即为目标形状[图源：R.Girshik]12传统目标检测方法√可解释性强：有明确的数学表达和逻辑√计算效率较高√

对标注需求少×泛化能力有限：不适合复杂、变化、大规模场景，精度较低×高维数据（视频等）处理困难×手工设计需要人为先验和繁重调试[图源：R.Girshik]传统方法13§9.3深度学习方法一、二维图像检测二、三维点云检测三、环视图像检测两阶段目标检测首先产生候选区域，然后对候选区域进行分类预测得到最终检测结果。代表工作：R-CNN,FastR-CNN,FasterR-CNN,特征金字塔网络（FPN）单阶段目标检测不同于两阶段目标检测算法，单阶段算法不需要产生候选区域的阶段，而是直接预测物体的类别概率和位置坐标值。因为单次检测即可直接得到最终的检测结果，因此有更快的检测速度。代表工作：YOLO系列，SSD，DETR基于深度学习的二维图像检测1415基于深度学习的二维图像检测RegionswithConvolutionalNeuralNetworkFeatures(R-CNN)主要创新：首次将卷积神经网络用于图像的目标检测任务关键组成部分：用选择性搜索算法提取候选框，然后通过卷积神经网络提取候选框内图片块的特征，使用SVM分类器得到分类结果，最后使用分类器修正候选框位置。16基于深度学习的二维图像检测FastR-CNN主要创新：提出了候选框池化层（ROIpoolinglayer），将不同尺寸的感兴趣区域对应的特征划分为相同尺寸的特征向量。提出了多任务损失函数,将分类任务与边框回归任务统一到卷积神经网络中，共享主干神经网络的参数，大幅度提升了推理速度，进一步减少内存占用。17基于深度学习的二维图像检测FasterR-CNN主要创新：引入区域预测网络（RegionProposalNetworks，RPN）来代替传统的区域预测方法，其可以与检测网络共享图像特征，实现端到端的训练。RPN网络接受所有的Anchors，并且输出可能含有物体的那些建议框。18基于深度学习的二维图像检测特征金字塔网络（FeaturePyramidNetwork,FPN）R-CNN系列存在问题：从卷积神经网络输出的最后一层特征图上提取特征，由于经过多次下采样操作，特征的分辨率低，小尺寸目标在特征图上信息保留少，导致对小目标的检测能力受限。另一方面，如果使用浅层的具有较高分辨率的特征图，特征表现能力差，误检率提升。主要创新：采用多尺度特征融合的方式，增强浅层特征的表达能力。通过卷积神经网络的下采样操作，可以得到不同分辨率的特征图；进行上采样操作，使需要融合的特征层保持一致的分辨率，通过侧向连接将上采样后的深层特征层和浅层特征层进行融合。19基于深度学习的二维图像检测

20基于深度学习的二维图像检测YOLO系列（YouOnlyLookOnce）YOLOv2：在保持快速的检测速度同时能够检测达9000个类别YOLOv3：多尺度预测，即在多个网格尺寸下的预测。这有助于获得更精细的方框，并大大改善了对小物体的预测21基于深度学习的二维图像检测DETR提出背景：自Transformer提出之后，其在自然语言处理领域产生深远的影响。Transformer模型使用注意力机制建立序列元素之间的关系，可以关注更长的上下文内容主要创新：首次将该模型引入目标检测框架。DETR没有非极大值抑制的后处理步骤，也没有锚框等先验知识的约束，实现端到端的目标检测

基于深度学习的三维点云检测22VoxelNet主要创新：从体素化的点云中学习区分特征表示，设计一种新的体素特征编码层，通过将点特征与局部聚集特征相结合，实现了体素内部的点间交互，属于单阶段目标检测算法基于深度学习的三维点云检测23PointRCNN主要创新：第一个基于原始点的两阶段3D目标检测算法。使用PointNet++提取特征，基于前景点的特征生成一系列候选框。在第二阶段，全局的语义特征与局部特征融合后作为精细定位的特征，然后进行精确位置的回归任务基于深度学习的三维点云检测24PVRCNN解决问题：基于点的方法可以保留精确点的位置，但是由于无序的存储方式，在近邻查找过程中计算量开销大。而基于体素的方法更容易聚合近邻信息提取特征，但是受分辨率限制，精度会低。主要创新：以点的形式存储数据，减少内存占用；以体素化形式进行卷积，避免查询非结构化存储的点云数据，减少访问耗时，提高局部特征表示能力。基于深度学习的三维点云检测2526基于深度学习的环视图像检测常用于自动驾驶系统中，例如特斯拉的纯视觉传感方案相比单目相机：多个相机形成视野冗余、立体视觉相比激光雷达：成本大大降低27基于深度学习的环视图像检测关键科学问题：BEV视觉BEV=Bird’sEyeView，鸟瞰/俯视视角传统前视视角存在近大远小、遮挡问题28基于深度学习的环视图像检测关键科学问题：二维视角、三维视角转换视角转换：在2D图像平面特征、3D空间检测之间充当桥梁作用分为2D-3D视角转换、3D-2D视角转换和基于网络学习的视角转换29基于深度学习的环视图像检测LSS（Lift,SplatandShoot）：常见的2D-3D视角转换方法Lift：在二维图像上预测像素的深度信息，实现特征升维Splat：使用相机参数，将图像深度值转换为三维点云，将图像特征“投影”至三维空间Shoot：在BEV处理特征图，用检测头（DetectionHead）预测物理量[LSS,ECCV’20]30§8.4多模态融合方法一、方法背景二、基于投影的多模态对齐三、基于注意力机制的多模态对齐31多模态融合检测方法不同传感器的优势互补

传感器类别优势劣势单目相机标定简单，成本低廉对深度信号的感知距离有限，对光照敏感，容易产生畸变双目相机拥有对深度信号的感知能力，对光照不敏感，感知距离更远更高成本，需要一定标定成本，视场角度有限，不适用于透明或反射表面激光雷达高精度，适用于室外场景，尤其是低光照甚至黑暗场景成本较高，传感器尺寸较大，容易受介质影响毫米波雷达适用于室外场景，尤其是强光或极端天气场景，拥有远距离感知能力精度较低，对物体形状、角度较为敏感32多模态融合检测方法自动驾驶行业的需求光照良好环境：相机√，激光雷达×低能见度、恶劣（雨雾）天气：相机×，激光雷达√色彩、纹理识别（交通灯、标识牌）：相机√，激光雷达×物体定位、尺寸、速度估计：相机×，激光雷达、毫米波雷达√33基于投影的多模态对齐方法

34基于注意力机制的多模态对齐方法

[AutoAlign,IJCAI’22]35基于注意力机制的多模态对齐方法

36§8.5新兴方法一、狭长