【《基于判别式分类器的视频目标跟踪分析》3700字】

PAGE59基于判别式分类器的视频目标跟踪分析目录TOC\o"1-3"\h\u21080基于判别式分类器的视频目标跟踪分析 1116681.1目标跟踪流程 175101.2数据集 2246721.3评价准则 4236231.3.1跟踪精度 4260331.3.2跟踪速度 5116491.3.3跟踪鲁棒性 5224181.4难点与挑战 6目前，基于判别式分类器的视频目标跟踪算法已成为目标跟踪领域的重要研究方向。本章首先介绍了基于判别式分类器的视频目标跟踪算法的跟踪流程，然后介绍了目标跟踪中用到了一些数据集以及对算法进行性能分析的评价标准，最后分析了该类方法中的技术难点与挑战。1.1目标跟踪流程一个完整的基于外观模型的目标跟踪算法通常包含以下五个部分，如图2-1所示。图2-1基于判别式模型的目标跟踪流程Fig.2-1Objecttrackingprocessbasedondiscriminantmodel运动模型的目的主要是在目标位置附近生成一些候选样本框，从而在下一帧中利用跟踪算法能够预测出目标的最大可能位置。基本原理为通过构建运动模型并添加基本约束（基本约束一般为相邻两帧目标之间的位置不能相距过远），得到一组目标位置可能的候选区域，从而为特征提取做准备。特征提取是采用某种编码方式将输入图像从二维空间映射到某一特征空间，对物体外观进行抽象描述。在计算机视觉领域，特征的表达与提取是非常重要的内容，一个好的特征表达有时会起到事半功倍的效果。在特征提取阶段，所提取的特征不仅要能够对目标和周围背景有很强的区分度，还需要具备一定的计算效率。目标跟踪算法所采用的特征可以是单一的人工特征等，也可以是多种特征的组合，还可以是由机器自主学习到的学习特征。只要能满足区分度强和实时性高，都是好的特征。外观模型是跟踪算法主要的设计模块，目前的外观模型主要分为生成式模型和判别式模型。生成式模型可以看作是一种模板匹配的方法，首先对目标生成外观数据的先验分布并提取目标的相关特征，然后在根据生成的先验分布数据，通过逐步迭代搜寻与目标模板匹配度最高的区域，作为最终的跟踪定位结果。判别式模型可以看作是一种分类的方法，对比目标模型与背景信息的不同对分类器进行训练。模型的更新是对目标外观的更新，在跟踪过程中，目标外观形状会随着环境的变化而变化，因此需要对目标的外观模型进行实时的更新。目前研究中常用的更新策略有：对每帧都进行更新、间隔一定的帧数更新一次、基于一定阈值的更新等。1.2数据集为了评价各种跟踪算法的性能，需要采用相同的数据库对不同的算法进行测试。本节主要搜集整理了目标跟踪中常用来对算法的性能进行不同场景测试的一些数据集，对其进行总结归纳并对一些常用的数据集进行了详细介绍。表2-1整理了目标跟踪领域中一些可用的跟踪数据集，包括数据集的发表年份，包含的视频的个数，是长期还是短期的跟踪序列，以及数据集的特性。表2-1跟踪数据集Tab.2-1Trackingdataset数据集发表时间视频数量序列长度特性VIVID[45]20059长期高空拍摄的车辆视频OTB50[46]201350短期室内室外场景PTB[47]2013100短期RGBD视频ALOV++[48]2013314短期相似物体的追踪视频VOT[49]2014-201820/60/60/60短期室内室外场景OTB-100[50]2015100短期室内室外场景VID[51]20154417长期+短期视频目标检测NUS-PRO[52]2015365短期相机运动UAV-123[53]2016143长期+短期无人机采集+仿真Nfs[54]2017100短期高帧率视频DTB-70[55]201770短期无人机采集YTBB[56]2017380000短期视频目标检测VOT-LT[57]201835长期室内室外场景Tracking-Net[58]201830643长期+短期大规模室外场景由于OTB数据集和VOT数据集分别都有一套相对完整的评价体系，因此目前目标跟踪算法中用的最多的主要是OTB数据集（包括OTB50和OTB100）和VOT数据集（VOT2013-VOT2018）来进行训练与测试。下面对这两个数据集进行着重介绍：OTB（ObjectTracking:ABenchmark）：如图2-2为OTB数据集中的一部分，每个视频均包含了多种不同的挑战属性。这些属性主要包括：目标尺度变化（SV）、光照变化（IV）、非刚性形变（DEF）、快速运动（FM）、运动模糊（MB）、平面外旋转（OPR）、目标出视场（OV）、平面内旋转（IPR）、背景杂波干扰（BC）、低分辨率（LR）、目标被遮挡（OCC）。图2-2OTB数据集部分视频展示Fig.2-2PartofthevideodisplayoftheOTBdatasetVOT（VisualObjectTracking）：与OTB数据集相比，VOT数据集中目标的标注框会随着目标运动过程中的姿态变化而变化。VOT数据集每年都会新加入一些不同场景和不同挑战属性的视频序列来对数据集进行更新，VOT2013-VOT2017主要针对的较短时长的视频序列，在VOT2018和VOT2019中新增加了一些长时跟踪视频。虽然OTB数据集和VOT数据集是目前最常用的跟踪数据集，但是对于目标跟踪任务，由于数据集标注任务的艰难和跟踪场景的复杂变化，仅仅依靠这两个数据集来应对复杂的跟踪任务是远远不够的。近几年新增加的训练数据集主要有以下几个：ALOV++数据集：该数据集主要着重于对跟踪过程中的不同光照亮度、视频的清晰度、背景混乱、出现相似目标这几个属性下的目标跟踪，视频主要来自Youtube网站上的视频。（2）VID数据集：该数据集是视频目标检测任务中常用的数据集，包含了30个不同类别的目标。考虑到不同的任务需求，所有的类别在每个帧上也都进行了标签标注。（3）COCO数据集：该数据集是物体检测与分割的数据集，数据集的主要用处在于对视频场景信息的理解和表示，所选取的目标通过精确的语义进行位置的标定。1.3评价准则目标跟踪性能评价准则用来评判跟踪算法的性能好坏。VisualTrackerBenchmark（VTB）评价准则是目前视频目标跟踪算法中最常用的评价体系，该评价体系对跟踪算法主要从跟踪精度、跟踪速度以及跟踪鲁棒性这三大类来进行对比评价。1.3.1跟踪精度中心位置误差（CenterError，CE）中心位置误差指的是跟踪算法所预测的目标框和标注的目标框中心点之间的误差。（2-1）式（2-1）中，，分别代表标注的目标框的中心坐标，，代表和跟踪算法预测出的目标框的坐标。中心位置误差越小，表明跟踪精确度越高。在OTB评价准则中精确度图使用的标准就是中心位置误差，通过计算视频中所有帧的平均中心位置误差来评判跟踪算法性能的优劣。精确度图给出了跟踪算法在给定阈值距离之内跟踪成功的帧数占视频总帧数的比例。对于每个跟踪器，通常取距离阈值等于20个像素点来作为代表性的精度比较。图2-3为精度评价标准示意图。图2-3精度评价标准示意图Fig.2-3Schematicdiagramofaccuracyevaluationstandards区域重叠率（RegionOverlap,RO）区域重叠率指的是跟踪算法所预测的目标框和标注的目标框之间的重叠面积的大小。（2-2）式（2-2）中，A代表标注的目标框的面积，B代表跟踪算法所预测的目标框的面积。重叠面积越大，表明跟踪越准确，跟踪算法的精度越高。如果则认为当前帧中目标跟踪成功；否则，跟踪失败。在OTB评价准则中成功率图使用的标准就是边界框的重叠率，成功率图表示的是重叠率取从0到1不同值是跟踪成功的帧数占视频总帧数的比例，如图2-4为成功率评价标准示意图。图2-4成功率评价标准示意图Figure2-4Schematicdiagramofsuccessrateevaluation1.3.2跟踪速度FPS（FramesPerSecond）：FPS指的是算法每秒可以跟踪到的视频帧数量，用来评价算法的跟踪速度。1.3.3跟踪鲁棒性对跟踪算法进行评估的一般方法是，根据初始帧中给定的目标位置首先对算法进行初始化，然后在选定的测试视频序列中运行算法，最后根据采用的评价准则给出算法的运行结果。把这种只进行一次评估的方法一般称为一次通过的评估（One-PassEvaluation，OPE）。在跟踪过程中，初始帧的目标信息至关重要，因此有的跟踪器会对初始化过程较为敏感，进而影响到算法的整体评估性能。因此，另外两种评估方式在跟踪算法的评价中有时也会用到，这两种测试分别称为时间鲁棒性评估（TemporalRobustnessEvaluation，TRE）和空间鲁棒性评估（SpaceRobustnessEvaluation，SRE）。（1）一次通过评估：该评估方式是将算法在数据集上对所有视频序列从第一帧运行到最后一帧，这种方式简单快捷且更具直观性。（2）时间鲁棒性评估：该评估方式是将一个完整的视频序列随机以不同帧作为跟踪开始帧（终点帧还是原来的视频的最后一帧）划分成20个长短不一的视频帧，对跟踪算法进行时间鲁棒性的测试。（3）空间鲁棒性评估：该评估方式将视频序列第一帧中给定的目标框在跟踪开始前进行一系列变换操作，对跟踪算法进行空间鲁棒性的测试。这些操作主要是将目标框在空间位置的八个方向进行一定程度的移位以及对目标框进行四种不同的尺度缩放。虽然时间和空间上的鲁棒性能够从多个方面测试算法的性能，但是大量的实验结果表明，算法在时间和空间上的鲁棒性评估结果与一次评估的结果基本表现出正相关趋势。另外，对于TRE和SRE，跟踪器在OTB数据集上运行完所有的视频序列需要测试三十多万帧的视频图像，而对于OPE，跟踪器运行完所有的视频序列则大概需要测试三万多帧的视频图像。因此综合考虑，目前大部分目标跟踪算法只进行OPE测试。1.4难点与挑战近年来，基于判别式分类器的视频目标跟踪方法得到了广泛的研究，新算法层出不穷。尽管这些方法是的跟踪算法的准确性和鲁棒性都有所提高，解决了传统方法难以解决的一些难题，但依然存在着许多的问题制约了跟踪性能的进一步提升。关于存在的这些问题总结如下：视频场景中存在的各种挑战属性，使得各种目标跟踪算法在面对复杂环境时仍然具有严峻挑战。（2）各个框架下的各种算法存在的问题，基于相关滤波的目标跟踪算法的优势计算速度快，但特征提取上采用的是人工特征，使得跟踪的鲁棒性较差