数字图像处理技术及应用 课件 9-目标检测技术

目标检测技术📋

目录目标检测概述-基本概念与应用背景传统目标检测方法-滑动窗口、HOG、SIFT、模板匹配基于深度学习的目标检测算法-YOLO系列、SSD、FPN、Transformer、关键点检测、R-CNN系列目标检测数据集与评价指标-常用数据集与性能评估方法思考题与习题-关键问题讨论参考文献-主要参考资料9.1目标检测概述目标检测是计算机视觉的核心技术之一，旨在识别并定位图像或视频中的物体位置及其类别。关键应用领域：🚗

自动驾驶👁

视频监控🏥

医疗影像分析🏭

工业检测🤖

机器人视觉技术挑战：☀光照变化📏

尺度差异🚫

遮挡问题🔄

姿态变化目标检测已经从传统手工特征提取，演进到深度学习驱动的智能化阶段，在准确率和实时性上均取得了显著提升。39.2传统目标检测方法9.2.1滑动窗口技术基本步骤：窗口移动：在图像上滑动固定大小窗口特征提取：提取窗口内颜色、纹理等特征目标检测：使用分类器判断是否包含目标后处理：NMS消除重叠框优点：直观易实现具有一定全局搜索能力缺点：✗

计算量大✗

生成候选框多✗

实时性差9.2.2方向梯度直方图（HOG）HOG是一种基于梯度方向分布的特征描述子，适用于行人检测等任务。提取步骤：图像预处理-灰度化、归一化计算梯度-使用Sobel等算子划分细胞单元-通常8×8或16×16像素计算梯度直方图-统计方向分布块归一化-降低光照影响特征串联-形成最终特征向量HOG特点：对光照、尺度、部分遮挡具有较好的鲁棒性，尤其适用于人体检测。9.2.3尺度不变特征变换（SIFT）SIFT具有尺度不变性、旋转不变性，适用于图像匹配与三维重建。关键步骤：尺度空间极值检测-构建高斯金字塔关键点定位-精确定位关键点方向分配-确定主梯度方向关键点描述-生成128维特征向量SIFT特征匹配示例9.2.4模板匹配模板匹配通过相似度度量在图像中寻找与模板最匹配的区域。相似度度量方法：方法公式特点交叉相关R(x,y)=Σ[T(x',y')×I(x+x',y+y')]分数越高匹配越好平方差匹配法(SSD)S(x,y)=Σ[T(x',y')-I(x+x',y+y')]²寻找最小值实现最佳匹配相关系数归一化处理，减少光照影响对光照变化鲁棒模板匹配示意图9.2.5色彩特征基于色彩特征的目标检测适用于颜色显著的目标，如火焰、植被等。常用色彩空间：基本色彩空间：RGB

-红绿蓝三通道灰度-单通道强度高级色彩空间：HSV/HSI

-色调、饱和度、亮度Lab

-模拟人眼感知不同色彩空间展示9.2.6

HOG特征在人体检测中的应用HOG特征对光照、尺度、旋转具有较好鲁棒性，常用于行人检测。检测流程：特征提取与参数调整-细胞单元、块大小、方向区间数据集准备与标注-正负样本标注模型训练-SVM等分类器检测与后处理-滑动窗口、NMSMIT行人数据库样本示意图9.3基于深度学习的目标检测方法深度学习方法利用神经网络从数据中学习特征表示，实现端到端的目标检测。主要算法分类：一阶段检测器： 两阶段检测器：YOLO系列

-

实时检测

R-CNN系列

-

区域提议SSD

-

多尺度检测

Faster

R-CNN

-

RPN网络RetinaNet

-Focal

Loss

Cascade

R-CNN

-级联优化新兴方法：Transformer-based

-

DETR,

EDTER关键点检测-FCOS,

CenterNet多尺度融合-FPN,

PANet,

ASFF深度学习方法以其优异的性能和灵活性逐渐取代了传统的基于图像处理技术的方法，在准确率和实时性上均取得了显著提升9.3.1

YOLO系列算法YOLOv1：实时目标检测的革新者核心创新：将目标检测精简为单一回归任务，仅需一次前向传播。YOLOv1的主要思想YOLO版本演进：版本主要改进特点YOLOv2Darknet-19、BatchNorm、AnchorBoxes精度提升，多尺度训练YOLOv3多尺度预测、更精细Anchor分配小目标检测改进YOLOv4CSPDarknet53、MISH激活、SPP-Block精度与速度最佳平衡9.3.2单阶段检测方法：SSDSSD通过多尺度特征图与Anchor

Boxes

实现高效检测。工作原理：特征提取-VGG16等基础网络多尺度特征图-不同分辨率特征图检测不同尺度目标分类与定位-每个位置预测类别和边界框偏移特点：单次前向传播多尺度检测适用于实时场景无需区域提议阶段处理速度较快复杂场景表现优异SSD在没有区域提议阶段的情况下，可以直接对图像中的目标进行有效地分类和定位，极大地提高了处理速度。9.3.3特征金字塔网络（FPN）与多尺度融合FPN通过自底向上+自顶向下路径实现多尺度特征融合。FPN特征金字塔结构FPN核心组件：底部-顶部路径-自底向上特征提取顶部-底部路径-自顶向下特征传播侧边连接-特征融合改进版本：PANet引入自底向上的融合和自顶向下的细化，增强信息流动。9.3.4基于Transformer的目标检测技术DETR（Detection

Transformer）将物体检测任务建模为直接的集合预测问题，无需Anchor

Boxes。主要特性：端到端训练全局上下文建模无锚框设计对长尾分布适应性强DETR核心工作机制：Encoder阶段-特征提取与全局信息交互Decoder阶段-生成物体查询与预测集束匹配与损失函数-一对一匹配优化DETR在保持与Faster

R-CNN相当甚至更优的检测精度的同时，仅消耗约一半的计算资源，展现出极高的计算效率和资源利用率。9.3.5基于关键点的目标检测技术FCOS（全卷积单阶段检测器）无锚框与无提议设计，直接在每个特征图位置上回归目标边界框。创新点：像素级预测，类似语义分割引入"中心度"分支抑制低质量检测框特征金字塔多层级预测CenterNet将物体检测转化为关键点估计问题，通过定位物体中心点实现检测。9.3.5基于关键点的目标检测技术3.CentripetalNetCentripetalNet是一种基于关键点的物体检测方法，其创新之处在于引入“向心偏移”的概念来提升角点匹配的质量。9.3.5基于关键点的目标检测技术4.CornerNet-LiteCornerNet-Lite是在CornerNet基础上提出的高效关键点检测方法，针对CornerNet中可能出现的错误关键点匹配问题进行了针对性改进。9.3.6

R-CNN系列发展历程R-CNN系列标志着深度学习在目标检测领域的重要进步。演进历程：模型提出时间核心创新主要特点R-CNN2014区域候选+CNN特征准确率提升，但效率低FastR-CNN2015RoI池化，共享特征训练速度大幅提升Faster

R-CNN2015引入RPN网络端到端训练，实时性提升CascadeR-CNN2018多阶段级联优化精度显著提升169.4目标检测评价指标与性能评估9.4.1常见数据集数据集发布时间图像数量类别数主要特点PASCAL

VOC2005-20129,963-11,54020贴近现实，多目标实例MSCOCO2014328,00091高度模拟真实环境ImageNet200914,000,00021,841庞大且多样化Open

Images20179,000,0006,000广泛类别覆盖数据集选择考虑因素：任务类型（检测、分类、分割）类别数量与多样性标注质量与完整性

图像分辨率与真实性数据集影响力与接受度9.4.2目标检测常见评估指标核心评价指标：基本指标：mAP

（平均精度）IoU

（交并比）Recall

（召回率）Precision

（精确率）IoU计算：IoU(A,B)

=

(A∩B)

/

(A∪B)交并比：预测框与真实框的交集除以并集IoU示意图IoU=交集面积/并集面积交集区域9.5损失函数9.5.1分类损失1.交叉熵损失：Softmax

+

Cross

EntropyLoss

=

-y·log(p)

-

(1-y)·log(1-p)2.

Focal

Loss：解决正负样本不均问题

FL(p)=-(1-p)^γ·log(p)γ为调制系数，调整难易样本权重9.5.2回归损失损失函数公式特点L1

Loss|x|梯度恒定，可能震荡L2

Lossx²梯度与x成正比，可能爆炸Smooth

L1分段函数结合L1和L2优点IoU

Loss1

-

IoU尺度不变，范围[0,1]IoU系列损失演进：IoU

→

GIoU

→

DIoU

→

CIoU

→

EIoU逐步增加对中心点距离、长宽比等约束，提升回归精度思考题与习题关键问题讨论：

目标检测与图像分类的区别是什么？讨论为什么在某些应用场景下，目标检测比单纯的图像分类更为重要。

什么是非极大值抑制（NMS）？描述其工作原理，并讨论其在减少冗余检测框中的作用和潜在的局限性。

比较两阶段（如FasterR-CNN）和一阶段（如YOLO）检测架构。分析它们在速度与精度上的权衡，以及适用场景的差异。小目标检测问题有哪些挑战？提