计算机视觉 课件 第七章 目标跟踪

计算机视觉第七章目标跟踪CONTENTS本章目录01·目标跟踪概述02·传统跟踪方法03·深度学习单目标跟踪04·多目标跟踪MOT05·评价指标与数据集06·典型应用场景2/4501目标跟踪概述从视频序列中持续定位感兴趣目标PART01·概述什么是目标跟踪？给定视频第一帧中目标的位置（边界框），在后续帧中持续估计该目标的位置和状态。4/50PART01·概述跟踪vs检测：分工不同对比维度目标检测目标跟踪输入单帧图像视频序列+首帧位置输出所有目标类别和位置特定目标后续帧轨迹身份不区分同一目标保持ID一致性特点找有什么、在哪里知道是谁，持续跟随协作检测提供候选框跟踪关联形成轨迹5/50PART01·概述目标跟踪的两大类别单目标跟踪SOT·只跟踪一个指定目标·首框已知，后续帧定位·不关心其他目标·典型：SiamFC,KCF,MDNet·场景：视频stabilization、体育回放多目标跟踪MOT·同时跟踪多个目标·需要跨帧保持ID一致·处理目标出现/消失/交叉·典型：SORT,DeepSORT,ByteTrack·场景：监控、自动驾驶、人流统计6/50PART01·概述目标跟踪的六大挑战遮挡Occlusion目标被其他物体或背景短暂遮挡，重新出现后需重新匹配尺度变化Scale目标远近导致尺寸变化，固定窗口会跟丢光照变化Illumination光线强弱、阴影、逆光导致外观特征漂移姿态旋转Pose目标旋转、俯仰、非刚体形变导致外观变化快速运动Motion目标快速移动或相机抖动导致帧间位移大相似干扰Distractors背景中出现与目标外观相似的物体导致漂移7/50PART01·概述目标跟踪的基本流程8/5002传统跟踪方法卡尔曼滤波·粒子滤波·MeanShift·光流PART02·传统方法卡尔曼滤波KalmanFilter核心思想：假设目标运动服从高斯线性模型，用"预测+更新"两步递推估计目标位置。两个步骤预测：x̂ₖ⁻=A·x̂ₖ₋₁+B·uₖ根据上一帧状态预测当前位置更新：x̂ₖ=x̂ₖ⁻+Kₖ(zₖ-H·x̂ₖ⁻)用观测值修正预测，Kₖ为卡尔曼增益优缺点✓计算快，适合实时系统✓数学基础完善，可解释性强✗仅适用于线性高斯运动模型✗对非线性运动（转弯、加速）效果差10/50PART02·传统方法·原理详解卡尔曼滤波：预测—更新递推循环预测阶段（Predict）x̂ₖ⁻=F·x̂ₖ₋₁+B·uₖPₖ⁻=F·Pₖ₋₁·Fᵀ+Q·F：状态转移矩阵（匀速模型）·Q：过程噪声协方差·把上一帧最优估计向前推一帧更新阶段（Update）K=P⁻·Hᵀ·(H·P⁻·Hᵀ+R)⁻¹x̂ₖ=x̂ₖ⁻+K·(zₖ-H·x̂ₖ⁻)Pₖ=(I-K·H)·Pₖ⁻·R大→K小→更信预测·Q大→K大→更信观测10+/51PART02·传统方法粒子滤波ParticleFilter核心思想：用一组带权重的随机样本（粒子）表示目标状态的后验分布，通过"采样-加权-重采样"适应非线性、非高斯运动。适用场景·非线性运动目标·雷达/红外跟踪·目标机动变化大局限·需要大量粒子·实时性较差11/50PART02·传统方法MeanShift均值漂移核心思想：在候选窗口内计算颜色直方图概率密度梯度，沿梯度方向移动窗口直到收敛到密度最大处（目标位置）。优点·原理简单，计算快·对目标旋转部分容忍缺点·不能自适应尺度变化·快速运动易跟丢·严重遮挡时漂移12/50PART02·传统方法CamShift：连续自适应MeanShift改进点：在MeanShift基础上，每帧根据颜色概率分布自动调整搜索窗口的大小和方向，解决尺度变化问题。CamShift工作流程1.计算目标颜色直方图（HSV空间）2.反投影得到颜色概率分布图3.在概率图上运行MeanShift定位中心4.根据零阶矩调整窗口大小5.根据二阶矩估计目标方向6.下一帧从新窗口继续典型应用·人脸跟踪（早期）·手势跟踪·简单背景下的彩色目标跟踪局限：·相似颜色干扰时漂移·严重遮挡失败13/50PART02·传统方法光流法OpticalFlow核心思想：计算相邻帧间像素的运动向量，通过稀疏特征点（角点）跟踪实现目标跟踪。经典算法：Lucas-Kanade稀疏光流。假设条件·亮度恒定·时间连续/小运动·空间一致优点·无需模板匹配·可估计运动场缺点·大运动失效·遮挡区域不可靠14/5003深度学习单目标跟踪Siamese系列——从匹配到检测的范式跃迁PART03·深度学习SOT孪生网络Siamese：跟踪即匹配核心思想：把跟踪转化为模板匹配问题——模板分支提取目标特征，搜索分支提取候选区域特征，互相关响应图上最大响应位置即为目标。23/50PART03·深度学习SOTSiamFC：全卷积孪生网络（2016）开创性工作：将全卷积孪生网络用于跟踪，离线训练大规模视频对，跟踪时无需在线更新，速度达86FPS。关键设计·模板z：127×127，搜索x：255×255·共享全卷积backbone（AlexNet变体）·互相关层输出17×17响应图·逻辑损失：正样本对响应高，负样本低·跟踪时只前向一次，不更新模板·速度86FPS，远超传统方法局限·响应图分辨率低（17×17）·不估计边界框大小，只用中心位置·尺度变化处理差·无在线更新，目标外观剧变时漂移·后续SiamRPN引入检测头改进24/50PART03·深度学习SOTSiamRPN：引入区域提议网络改进：在SiamFC互相关后并联两个头——分类分支（前景/背景）+回归分支（边框坐标），类似FasterR-CNN的RPN。25/50PART03·深度学习SOTSiamRPN++：深层网络突破解决问题：早期Siamese网络只能用很浅的AlexNet，深层网络因填充（padding）破坏了平移等变性导致性能下降。SiamRPN++提出空间感知采样，使ResNet-50等深层网络可用于跟踪，精度大幅提升。关键创新·ResNet-50作为backbone·多层特征融合（layer2/3/4）·深度互相关替代朴素互相关·训练时打破平移等变性约束·LaSOT上精度大幅领先影响·证明深层CNN可用于跟踪·后续SiamRPN++成为基线·GOT-10k、LaSOT冠军·开启Transformer跟踪先河26/50PART03·深度学习SOTSiamMask：跟踪+分割统一创新点：在SiamRPN++基础上增加一个分割分支，同时输出目标边界框和像素级掩膜（mask）。这使得跟踪结果从"框"升级为"像素级轮廓"，可直接用于视频编辑、AR叠加等场景。27/50PART03·深度学习SOTTransformer跟踪：STARK/OSTrack新范式：用Transformer替代互相关，将模板和搜索区域作为token序列输入，通过自注意力直接回归目标边界框。代表：TransT(2020)、STARK(2021)、OSTrack(2022)。vsSiamese·互相关→自注意力·局部匹配→全局建模·多尺度anchor→直接回归当前SOTA·OSTrack、MixVPR·LaSOT/TNL2K领先28/50PART03·深度学习SOT单目标跟踪模型演进对比模型年份核心机制Backbone贡献SiamFC2016全卷积互相关AlexNet开创孪生跟踪范式SiamRPN2018+RPN分类/回归AlexNet端到端边框估计SiamRPN++2019深层网络+多层融合ResNet-50精度大幅提升SiamMask2019+分割掩膜分支ResNet-50跟踪+分割统一OSTrack2022Transformer自注意力ViT全局建模SOTA29/50PART03·深度学习SOT单目标跟踪小结演进主线：手工相关滤波→孪生网络匹配→RPN检测头→深层backbone→Transformer全局建模当前趋势·Transformer替代互相关·更大模型+自监督预训练·跟踪与分割统一·长时跟踪（LT）·域自适应与泛化关键挑战·长时遮挡后恢复·相似目标区分·实时性与精度平衡·边缘设备部署选型建议·嵌入式：KCF/SiamFC·通用：SiamRPN++·高精度：OSTrack·分割：SiamMask30/5004多目标跟踪MOTSORT·DeepSORT·ByteTrack——检测+数据关联范式PART04·多目标跟踪MOT问题定义：检测+关联核心思路：先用检测器（如YOLO、FasterR-CNN）在每帧找出所有目标，再通过数据关联把不同帧的同一目标串起来，分配唯一ID。32/50PART04·多目标跟踪·数据关联匈牙利算法：代价矩阵的最优分配问题：m条轨迹与n个检测框之间如何一对一匹配，使总代价（1−IoU或距离）最小？匈牙利算法O(n³)求解。代价矩阵示例（IoU反向）Det1Det2Det3Trk10.10.80.9Trk20.90.20.7在SORT/DeepSORT中的角色·输入：卡尔曼预测框vs检测框IoU矩阵·输出：一对一匹配对、未匹配检测（新轨迹）、未匹配轨迹（丢失）33+/51PART04·多目标跟踪SORT：简单在线实时跟踪极简设计：只用卡尔曼滤波+匈牙利匹配，基于检测框IoU进行关联，不需要外观特征。速度达260Hz，是工业界最常用的MOT基线之一。算法流程1.检测器输出所有目标框2.卡尔曼滤波预测每轨迹下一帧位置3.计算检测框与预测框的IoU矩阵4.匈牙利算法最优匹配5.未匹配检测→新轨迹6.未匹配轨迹→标记丢失局限·仅用位置IoU，无外观信息·目标交叉时ID切换频繁·遮挡后容易跟丢·适合简单场景·DeepSORT引入外观特征改进33/50PART04·多目标跟踪DeepSORT：加入外观特征关键改进：在SORT基础上引入行人重识别（ReID）外观特征，通过级联匹配同时考虑运动信息和外观信息。ID切换次数降低45%，成为工业界事实标准。34/50PART04·多目标跟踪ByteTrack：低置信度检测也要用核心洞察：传统方法丢弃低置信度检测框（<0.5），但这些框往往是被遮挡/远处的真实目标。ByteTrack把高分框和低分框分两级，先用高分匹配，再用低分二次匹配未关联轨迹。35/50PART04·多目标跟踪OC-SORT：观察中心卡尔曼滤波改进：针对遮挡导致轨迹断裂问题，提出观察中心（Observation-Centric）策略，重新加权历史观察，提升遮挡恢复能力。2022年算法，MOTA/MOTP多项指标领先ByteTrack。核心创新·观察中心重加权（OCR）·方向速度建模（ORV）·相机运动补偿（CMC）·自适应观测更新·遮挡后轨迹恢复能力强典型应用·高频遮挡场景（人群密集）·自动驾驶跟踪·无人机对地跟踪·运动相机视频·与ByteTrack互补选型36/50PART04·多目标跟踪MOT核心评价指标指标全称含义MOTA多目标跟踪精度综合考虑误检、漏检、ID切换；越高越好MOTP多目标跟踪精度检测框与真实框的IoU平均值，反映定位精度IDF1IDF1ScoreID一致性F1，衡量轨迹保持能力；MOT最重要指标之一FP/FN误检/漏检数虚假检测数量/未检出真实目标数量IDsIDSwitch同一目标ID被切换的次数，越低越好FPS帧率每秒处理帧数，反映实时性37/50PART04·多目标跟踪常用MOT数据集MOT16/MOT17·行人跟踪基准·2D街景俯拍视角·高遮挡、密集人群·提供检测框·MOTChallenge官方·学术论文最常用CrowdHuman·大规模行人检测·15000+图像·严重遮挡标注·训练检测器常用·与MOT数据集配合KITTI·自动驾驶场景·车载相机视角·汽车+行人+骑行者·3D标注·自动驾驶研究必备38/5005评价指标与数据集SOT指标·OTB·VOT·LaSOT·GOT-10kPART05·评价与数据集单目标跟踪评价指标指标全称含义Precision中心位置误差精度预测中心与真实中心距离小于阈值的帧比例Success成功覆盖率预测框与真实框IoU>阈值的帧比例，画成功率曲线AUC曲线下面积成功率曲线下面积，综合排名指标AOAverageOverlapGOT-10k官方指标，平均IoU40/50PART05·评价与数据集常用SOT数据集对比数据集年份规模特点用途OTB-1002013100视频早期经典入门基线、传统方法对比VOT2014+60视频重置机制竞赛型挑战、鲁棒性评估LaSOT20191400视频长时密集大模型评测、长期跟踪GOT-10k201810k视频测试集不可见泛化能力评测、竞赛TNL2K2022700视频长时2k帧最新长时跟踪基准41/50PART05·评价与数据集数据集选择与实验建议入门阶段·OTB-100跑通baseline·实现KCF/SiamFC·画Precision/Success图·对比不同特征和参数·理解跟踪难点进阶阶段·LaSOT/GOT-10k评测·复现SiamRPN++/OSTrack·对比不同backbone·消融实验·分析失败案例42/5006典型应用场景自动驾驶·智能监控·无人机·体育分析·人机交互PART06·应用场景应用一：自动驾驶目标跟踪核心需求：持续跟踪车辆、行人、骑行者，预测运动轨迹，为决策规划提供时序输入。典型方案·3D检测+多目标跟踪·多传感器融合（相机+激光雷达）·ByteTrack/OC-SORT·输出轨迹序列给规划模块·强实时（>30FPS）关键挑战·高速运动下的鲁棒性·夜间/恶劣天气·多目标遮挡交叉·低延迟要求·安全相关、零容错44/50PART06·应用场景应用二：智能视频监控核心需求：大规模摄像头网络中跟踪行人、车辆，实现人流统计、异常行为检测、目标检索。典型功能·客流统计与热力图·人群聚集检测·越界/逆行报警·跨摄像头目标追踪·可疑人员布控技术栈·YOLO+ByteTrack·行人ReID跨镜检索·边缘盒部署（低功耗）·7×24小时无人值守·公安部雪亮工程45/50PART06·应用场景更多应用场景无人机跟踪·地面目标自动跟随·航拍搜救·高速运动+相机抖动体育视频分析·球员位置追踪·比赛战术分析·足球/篮球热点图人机交互/AR·手势跟踪控制·AR贴纸跟随·体感游戏视频剪辑/影视·自动剪辑精彩镜头·前景提取与换背景·镜头跟随特效