计算机视觉 课件 第10章视觉目标跟踪

1第十章 视觉目标跟踪§10.1背景知识§10.3深度学习方法§10.2传统跟踪方法§10.4新兴跟踪方法2§10.1背景知识一、研究内容二、方法分类三、目标表征3研究内容视觉目标跟踪是计算机视觉领域的一个重要研究方向目标：模拟生物视觉系统在动态环境中识别和跟踪运动物体的能力通过对连续图像序列的分析，视觉目标跟踪算法能够实时地检测和定位目标对象，提取其关键特征，并实现对其整个运动轨迹的精确追踪流程：首先以矩形框或者掩码的形式初始化需要跟踪的对象模型输出后续帧中指定对象的矩形框或者掩码4研究内容度量标准：根据数据集的不同存在不同的度量标准平均像素误差：预测框与真实框中心位置的像素距离取帧平均，小于阈值即认为预测成功平均重叠率：两个矩形框交集的面积与并集的面积之比取帧平均，大于阈值即认为预测成功成功率曲线：序列中跟踪成功的帧数占总帧数的比例定义为跟踪成功率，选取不同的阈值，则可以得到各阈值下的成功率。可以根据曲线下的面积来衡量tracker的跟踪精确度5研究内容视觉目标跟踪问题可分为特征表示、目标匹配和运动模型三大类特征表示：选择适当的特征以实现对目标物体与背景的有效区分。常见的特征描述方法通常基于颜色、边缘与梯度、光流以及纹理等底层或中层视觉信息6研究内容视觉目标跟踪问题可分为特征表示、目标匹配和运动模型三大类目标匹配：一种在整幅图像中寻找与目标模板相似的区域的计算过程，依赖于目标模板和匹配搜索算法的协同作用匹配搜索算法的主要任务是识别并定位与目标模板相似的像素区域基于模板的跟踪中的匹配基于检测的跟踪中的匹配7研究内容视觉目标跟踪问题可分为特征表示、目标匹配和运动模型三大类运动模型：对物体在空间中的运动进行描述和预测通过建立目标对象的运动方程，结合已知的初始状态和观测数据，可以有效地校正目标运动参数并推断其未来的运动趋势8方法分类依据多种分类准则，视频目标跟踪算法可被划分为不同类别目标数量：单目标和多目标方法目标类型：刚性目标和非刚性目标的追踪摄像机数目：单目摄像机和多目摄像机跟踪摄像机是否运动：基于静止背景和移动背景的方法传感器类型：可见光图像跟踪及非可见光（如红外）图像跟踪跟踪处理速度：可分为实时和非实时两类单目标跟踪非刚性目标跟踪多目标跟踪非刚性目标跟踪多目标跟踪刚性目标跟踪9目标表征跟踪目标的表示主要是为了构建一个精确且有效的特征描述框架跟踪目标的表示方法分为对象形状表示法和表观模型表示法两类对象表示法通过提取目标对象的轮廓和几何结构信息，从而确保在复杂背景或部分遮挡情况下仍能准确识别并追踪目标边界框（BoundingBox）表示法关键点（Keypoint）表示法多边形（Polygon）表示法掩膜（Mask）表示法轮廓（Contour）表示法10目标表征跟踪目标的表示方法分为对象形状表示法和表观模型表示法两类表观模型表示法侧重于分析物体的纹理、颜色以及运动模式等信息，它允许系统适应目标对象的外观变化，如光照条件改变或物体表面的自然磨损直方图表达法（Histogram）灰度共生矩阵法（GLCM）局部二进制模式法（LBP）直方图梯度方向法（HOG）深度学习特征法原图直方图局部二进制模式直方图梯度方向深度学习特征法11§10.2传统跟踪方法一、确定性目标跟踪方法二、非确定性目标跟踪方法12确定性目标跟踪方法核心思想通过最大化目标与候选区域的相似度度量来实现目标跟踪主要步骤获取目标模板：在图像中选择一个包含目标的区域，作为目标模板特征提取：提取目标模板特征，例如颜色、边缘、纹理等特征相似度度量：计算目标与候选区域的特征相似度来评估目标的匹配程度最优化搜索：通过优化算法如梯度下降、遗传算法等，寻找特征相似度最大的候选区域，作为目标的估计位置主要方法根据特征表示和相似度度量方法可分为：基于特征匹配的方法、基于区域统计匹配的方法、基于模型匹配的方法、基于Mean-Shift的方法13确定性目标跟踪方法基于特征点匹配的目标跟踪方法核心思想：提取目标的特征点来进行跟踪，不考虑目标的整体特征应用场景：交通场景跟踪，行人、车辆等目标为刚体运动目标，表观模型不易改变，可基于特征匹配实现简单、快速、稳定的跟踪14确定性目标跟踪方法基于区域统计匹配的目标跟踪方法核心思想：将运动目标分割为若干区域，通过计算候选区域与运动目标的区域特征相关性来确定跟踪目标的最佳位置优点：可以根据目标的整体特征进行跟踪，而不局限于单个特征点；对于目标发生形变、姿态变化、目标遮挡等有更好的鲁棒性15确定性目标跟踪方法基于模型匹配的目标跟踪方法核心思想：建立模型来表示目标，并在图像中匹配该模型以实现目标跟踪目标模型：描述目标的形状和姿态，例如几何模型、运动模型、统计模型优点：可以根据目标的运动和变化来自适应调整模型参数，更好应对目标形状和姿态的变化16确定性目标跟踪方法基于均值漂移的目标跟踪方法核心思想：通过加权的颜色直方图来描述跟踪目标，并通过均值漂移的迭代过程来实现对目标的自适应跟踪均值漂移迭代：根据候选区域和目标区域的颜色直方图计算均值漂移向量，该向量表示了在颜色空间中应朝着哪个方向移动候选区域；根据均值漂移向量迭代更新候选区域，直到算法收敛17确定性目标跟踪方法

18确定性目标跟踪方法

19确定性目标跟踪方法

20确定性目标跟踪方法基于均值漂移的目标跟踪方法采用核函数直方图模型，通过平滑处理和计算梯度来适应目标的各种变化，对于边缘遮挡、目标运动和背景噪声更加鲁棒缺点：由于均值漂移算法的平滑性质，当目标运动较快时容易出现滞后现象；仅利用颜色直方图特征，当目标与背景颜色相近时容易受到干扰21非确定性目标跟踪方法

22非确定性目标跟踪方法

23非确定性目标跟踪方法基于卡尔曼滤波的目标跟踪方法卡尔曼滤波采用递推计算、计算复杂度低，能够高效处理信号中的噪声和干扰，从而实现对目标的实时跟踪模型参数和初始化对卡尔曼滤波的性能影响较大，在实际应用中需要根据具体问题进行调整和优化24非确定性目标跟踪方法基于粒子滤波的目标跟踪方法在基于卡尔曼滤波的目标跟踪方法中，为避免系统的复杂性引入了匀速运动假设，容易造成较大误差、甚至无法收敛粒子滤波：将系统状态的后验分布表示为一组带权随机样本（粒子），通过观测数据和运动模型对粒子的位置和权值进行调整，以逼近真实的后验状态分布，得到最终的状态估计值25非确定性目标跟踪方法

26§10.3深度学习方法一、基于相关滤波器的方法二、基于分类的方法三、基于双路网络的方法四、基于梯度优化的方法27经典视觉目标跟踪算法主要依赖于手工特征构建目标表观模型，并通过鲁棒的训练方法实现目标跟踪在具有挑战性的数据集（如VOT2018）中，经典视觉目标跟踪算法的性能仍无法满足实际应用需求自AlexNet以来，基于深度学习的视觉目标跟踪算法已经大幅度超越了经典方法，并不断地刷新着最佳性能的纪录基于深度学习的目标跟踪方法28

基于相关滤波器的深度学习跟踪方法29深度学习网络经典的基于相关滤波的跟踪方法使用手工设计的特征提取器这里引入深度学习网络可以自动学习目标的特征表示优点：提高了模型对目标变化的适应能力基于相关滤波器的深度学习跟踪方法30

基于分类的深度学习跟踪方法31在训练过程中，网络不仅学习对图像块进行分类的能力，还学到了目标的特征表示通过进一步处理网络的输出，例如应用回归算法或额外的定位网络，可以得到目标的准确位置信息基于分类的深度学习跟踪方法32双路（Siam）网络跟踪算法是一种基于孪生网络结构的跟踪方法，它通过学习目标与背景之间的关系来实现高效而准确的目标跟踪核心思想通过构建一个孪生网络结构，将目标图像和背景图像作为两个输入进行处理通过对两个分支的输出进行相关运算，得到一个置信图，用于目标定位优势与传统相关滤波器方法相比，双路网络具有显著的性能优势该方法无需进行实时的在线参数更新，且仅需一次性提取目标模板特征，提高了跟踪速度基于双路网络的深度学习跟踪方法33

基于双路网络的深度学习跟踪方法34基于梯度优化的深度学习跟踪方法是一类端到端的目标跟踪算法核心思想通过训练单层卷积层来等价替换相关滤波器优势特征提取和高斯响应的生成可以紧密结合在一起，实现端到端的训练和预测模型在线更新的过程也是网络根据物体的变化情况做自适应调整的过程训练通常直接使用MSE损失，以最小化卷积神经网络预测得到的响应分布与真实响应分布的区别当网络能够准确地预测响应分布之后，只需要与相关滤波跟踪器类似地取响应分布的极大值即可确定目标位置基于梯度优化的深度学习跟踪方法35基于梯度优化的深度跟踪方法的典型结构其核心是使用卷积神经网络替代相关滤波操作该网络结构通常分为基础和残差两支基础分支较为简单，用于捕捉物体大体上的位置而残差分支层数更多，结构相对复杂，其作用是捕捉复杂场景下物体的精细位置信息基于梯度优化的深度学习跟踪方法36§10.4新兴跟踪方法一、基于Transformer的方法二、基于检测的方法三、基于生成模型的方法37

基于Transformer的目标跟踪方法38优势注意力机制可以融合丰富的时序关系，以提高目标跟踪的精度和稳定性注意力机制能够有效替换原有的相关操作，完成模板特征到搜索图片特征的融合，凭借其更大的表示空间更好地进行目标定位和尺度回归Transformer为视觉目标检测领域带来的变革也辐射到了目标跟踪领域，例如基于Transformer架构的目标检测网络DETR在目标跟踪领域的广泛应用等基于Transformer的目标跟踪方法39对于一段视频序列，单目标跟踪和目标检测的目的相同对于多目标跟踪，为了完成多目标跟踪，通常先逐帧进行目标检测，然后对检测结果进行