【《行人跟踪算法研究综述》7000字】

行人跟踪算法研究综述目录TOC\o"1-3"\h\u16433行人跟踪算法研究综述 1268931.1目标跟踪的评价指标 188661.1.1传统指标 2217791.1.2CLEARMOT指标 2279411.1.3ID分数 3286551.2卡尔曼滤波 4150981.2.1问题定义 45911.2.2卡尔曼滤波算法 427851.2.3扩展的卡尔曼滤波算法 534991.3匈牙利匹配 6182381.4Deep-Sort目标跟踪算法 7200621.4.1MOT算法过程 7287751.4.2SORT与Deep-Sort比较分析 8110761.5基于Deep-Sort行人跟踪实验 115641.5.1数据集介绍 11264911.5.2视频数据标注 13141611.5.3视频跟踪结果与分析 14行人跟踪是目标跟踪的具体子类，而目标跟踪分为多个研究方向，包括单目标跟踪，多目标跟踪，行人重识别等。本章主要研究基于车载视频的行人跟踪。对视频序列中不同目标的轨迹展开跟踪是多目标跟踪研究的主要问题。近年来随着计算机性能以及深度学习的兴起，深度模型的表现能力得到增强，算法相关问题也得到了很好的解决。1.1目标跟踪的评价指标为了提供一个可以公平测试和比较算法好坏的通用实验设置，一组度量标准实际上已经被确立为公共标准，并且几乎在每一项工作中都要使用它们。最相关的是Wu和Nevatia定义的传统指标以及事件活动分类指标CLEARMOT和ID分数指标。这些度量标准指标集的制定就是为了客观的展示被测试模型的性能情况，通过指标值的好坏指出它们中可能存在的问题。下面分别对以上指标的定义做出相关介绍。1.1.1传统指标传统指标是由Wu和Nevatia定义[55]，为了突出MOT多目标跟踪算法可能产生的不同类型的错误。为了更好的展示这些问题我们定义了以下值。表3-1传统指标参数名参数说明MT大部分（至少80%）帧中被正确跟踪真实轨迹数碎片集跟踪被打断次数ML大部分丢失(少于20%)未正确跟踪的真实轨迹数错误轨迹与真实值不一致的预测轨迹ID切换正确跟踪场景中原有关联ID被重新分配的次数1.1.2CLEARMOT指标CLEARMOT指标是针对事件，活动和关系分类而开发的。主要指标是MOTA（多对象跟踪准确度）和MOTP（多对象跟踪精度）。它们由其他更简单的指标组成。首先，我们将解释这些简单的指标，并在此基础上构建较复杂的指标。判断一个目标与一个预测是否相关的最常用的度量是边界框的并交集(IoU)，具体来说，真实值与预测之间的建立映射关系如下：如果真实目标oi和预测hj在帧t-1中匹配，并且在第t帧中IoU(oi，hj)≥0.5，则oi和hj是匹配的。在执行前一帧的匹配后，剩余的目标继续与剩余的预测进行匹配，仍然使用0.5IoU阈值。不能与假设关联的真实值边界框被被计数为假阴性(FN)，不能与真实边界框相关联的假设被标记为假阳性(FP)。另外，每次跟踪中断并在以后恢复时，都计为碎片(Fragm)，而在跟踪持续时间内每次跟踪的对象发生ID切换的次数成为IDSW。然后得到简单指标如下：表3-2CLEARMOT指标指标名指标说明FP整个视频中误报的次数FN整个视频中漏报的次数Fragm碎片总数IDSWID切换总数将MOTA分数定义如下：(1.1)其中是真实值的数量，值得注意的是分数可能为负，因为该算法可能会犯一些比真实值的数目更多的错误。通常不直接使用值，而是使用值的百分比。另一方面，的计算公式为：(1.2)其中表示帧t中的匹配数，而是假设i与分配的真实值对象之间的边界框重叠。重要的是要注意，此度量标准很少考虑有关跟踪的信息，而是侧重于检测的质量。1.1.3ID分数MOTA评分的主要问题在于，它考虑了跟踪器做出错误决定的次数，例如ID切换，但是在某些情况下，人们可能会更关注一个物体在尽可能长的时间内不失去其位置。因此，新定义了几个替代的指标，这些指标对应补充CLEARMOT指标给出的信息。映射是全局执行的，而不是逐帧匹配真实值和检测框。为了解决该问题，将该问题的最小成本作为问题解决方案。IDTP是选择为真实ID匹配的边缘权重之和（可以看作是正确分配的检测ID数）。IDFN是所选假阴性ID边缘权重之和，IDFP是所选假阳性ID边缘权重之和。利用这三个基本度量，可以计算出另外三个度量：识别精度(1.3)识别召回(1.4)F1标识(1.5)通常，几乎所有工作中报告的指标都是CLEARMOT指标，主要跟踪的轨迹(MT)，主要丢失的轨迹(ML)和IDF1，因为该指标是MOTChallenge排行榜中显示的指标。此外，跟踪器可以处理的每秒帧数(FPS)也包含在排行榜中。但是，我们发现该指标很难在不同算法之间进行比较，因为某些方法包括检测阶段，而其他方法则跳过了该阶段，另外它与所使用的硬件息息有关。1.2卡尔曼滤波卡尔曼滤波是一种算法，可以根据给定的随时间变化的测量结果提供一些未知变量的预测。Kalman在1960年首先提出了卡尔曼滤波算法，而其提出的初衷是为了解决离散数据的线性滤波问题。1.2.1问题定义卡尔曼滤波器常用于基于状态空间格式的线性动力学系统状态预测。流程模型将状态从时间k-1到时间k的演变定义为：(1.6)其中F是应用于先前状态向量的状态转换矩阵，是应用于控制向量的输入矩阵，而是假定为协方差Q零均值高斯的过程噪声向量，即~N(0,Q)过程模型与描述当前时间步骤k处的状态与度量之间的关系的度量模型配对，如下所示：(1.7)其中是测量向量，是测量矩阵，是假定为具有协方差R的零均值高斯的测量噪声向量，即~N(0,Q)。卡尔曼滤波器的作用是在给定x0的初始估计值，测量序列z1，z2，…，zk以及F，B，H，Q和R描述的系统信息的情况，在时间k提供的估计值。请注意，在大多数应用中，假设这些矩阵的下标不会随时间而变，因此此处省略了这些矩阵的下标。尽管协方差矩阵应反映噪声的统计信息，但真实统计信息在许多实际应用中是未知的或者是非高斯的。因此，Q和R通常用作用户可以调整以获得所需性能的调整参数。1.2.2卡尔曼滤波算法卡尔曼滤波算法包括两个阶段：预测和更新。在不同的文献中，通常也会被称为“传播”和“校正”。卡尔曼滤波算法总结如下：预测：预测状态评估(1.8)预测协方差误差(1.9)更新：剩余测量(1.10)再一次执行卡尔曼(1.11)预测评估状态(1.12)预测协方差误差(1.13)在上述方程中，帽子运算符^表示一个变量的评估，即表示x的变量评估。那上标-和+分别表示预测(先验)和更新(后验)评估。1.2.3扩展的卡尔曼滤波算法Kalman滤波在实际应用中条件并不能完全满足，可能导致滤波结果不是最优的，甚至会导致发散。扩展卡尔曼滤波则是它的非线性版本，它基于当前评估基础上实现模型线性化转换。假设我们有以下是状态转换和度量的模型：(1.14)(1.15)是关于和控制输入1预测状态函数，它表示的当前状态。是将当前状态与测量值联系起来的测量函数。和分别为过程模型和协方差Q、R的测量模型的高斯噪声。而我们只需得到每个模型在每个时间步长的雅可比矩阵，即向量函数对向量的一阶偏导数(1.16)(1.17)此处保留F和H的下标，因为对于每个时间步长，矩阵通常随状态向量的不同值而变化。通过这样做可以线性化当前估计值的模型。扩展的滤波算法与卡尔曼滤波非常相似。预测：预测状态评估(1.18)预测协方差误差(1.19)更新：剩余测量(1.20)卡尔曼获取(1.21)更新评估状态(1.22)更新协方差误差(1.23)1.3匈牙利匹配匈牙利算法是求解线性分配问题的一种算法。初始使用是给定一个成本矩阵a，其中有元素，它表示将一个工人i分配给一个任务j的成本，以确定使总成本最小的最佳分配。本文中是根据预测算法预测目标框与上一帧框的IoU关系来确定是否是上一帧的目标。使用成本矩阵初始化增广矩阵，具体步骤如下所示：1、从每行中减去该行的最小值，从每列中减去该列的最小值。2、找到增广矩阵的0，如果其列或行中没有加星号的0，则加零，对矩阵中每个0重复该操作。3、用加星号的0覆盖每一列，如果所有列均被覆盖，则匹配即为最大。4、找到一个没有覆盖的0并将其填充，如果包含加注0的行中没有加星号的0，则跳转到第5步。否则覆盖该行并找到包含加星号的0的列，重复执行这一步，直到没有剩余的0为止。保存最小的发现值并跳转第6步。5、构造一系列交替的加注0和加星号的0，如令表示在步骤4中发现的未覆盖的满注0。让表示列中的存在的加星号0。令表示行中的0，继续直到该序列终止于列中不再有加注星号0的位置处。取消加星标系列的0，为系列中的每个底部的0加星号。返回第3步。6、将最小未覆盖值添加到每个覆盖行的每个元素，并从每个未覆盖列的每个元素中减去它。返回第4步，而不更改任何星形、素数或覆盖的行。图3-1匈牙利算法步骤转换示例通过这些步骤的流程如图3-1所示。这可以通过对步骤3到6使用外部while循环和内while步骤4和6。步骤4完成后处理器进行检查，如果是跳转步骤5。在这种情况下，它打破了内部循环，结果将运行接下来的步骤5的代码。在这之后,外部回路使步骤3跟随步骤5。如果步骤3检测到算法完成了，然后它就打破了外部循环终止代码。1.4Deep-Sort目标跟踪算法1.4.1MOT算法过程MOT多目标跟踪算法中大多采用的先完成检测步骤，再检测完成的基础上再进行目标跟踪的标准方式。完成检测步骤即是从视频帧中提取分类目标，并且这些目标的检测框的都已经标记完成，然后将这些目标用于跟踪过程中。为了能够给包含相同目标的边界框的目标分配相同的ID，许多MOT算法直接将跟踪任务表述为ID分配问题。目前大部分MOT方法在使用好的检测框架保证好的检测质量前提下，致力于改善关联与匹配算法，因为越精确的检测算法越能够提高跟踪的性能与准确性。当前MOT数据集大都提供对应检测方法结果数据，这些结果数据可以直接进行跟踪算法的验证，这样跟踪算法就可以专注于比较关联算法质量的性能，如果包含了检测器检测过程，那么得到的数据很可能是因为检测的准确度不够而严重影响跟踪的结果，没办法直观的评价跟踪算法的优劣。MOT多目标跟踪算法目前分为两种，第一种是批处理跟踪方法。批处理跟踪方法允许使用来自将来的帧来标识当前帧中的对象。通过利用全局帧信息来完成跟踪过程，这种方式使得跟踪质量有了一定的提高。第二种是在线跟踪方法。它与批处理方式刚好相反，它只能够使用当前和过去帧信息来预测目标帧，将来的帧的信息是不被允许使用的。这种算法有其应用的场景，例如在自动驾驶或者机器人导航情况下是必需满足的这种条件。而与批处理跟踪方法相比，在线跟踪方法因为无法使用将来的信息来修复过去的错误往往表现能力较差。重要的事情是，虽然实时算法都要求以在线方式运行，但并非每一种在线方法都必须要实时运行，只要能够以实时方式运行即可。但是通常在线算法效率慢而导致无法在实时环境中使用，尤其是在利用深度学习算法时，几乎都逃不掉这样的命运，因为深度算法通常需要大量计算，这种计算需要巨大的性能支撑，而实时环境大多无法满足要求。MOT多目标跟踪算法大多包含以下部分或全部的步骤，所以称以下步骤为跟踪算法的一般性过程。1、检测阶段：此阶段对象检测算法将使用边界框来分析每一个输入帧，然后识别属于模型中目标类别的对象，例如行人。2、特征提取和运动预测阶段：此阶段分析检测或运动轨迹预测将使用一种或者多种特征提取算法，目的以提取外观信息、运动信息、交互特征信息等，再通过预测器预测每一个跟踪目标应该出现的下一个出现位置。3、亲和阶段：特征和运动预测用于计算成对的检测或小波之间的相似度与距离。4、关联阶段：相似度和距离度量用于将给标识相同目标分配唯一的ID，以此来将属于同一目标的检测和小波关联起来。1.4.2SORT与Deep-Sort比较分析SORT简单实时在线跟踪算法，英文全称为SimpleOnlineandRealtimeTracking。它的核心算法就是前文已经介绍过的卡尔曼滤波和匈牙利匹配。卡尔曼滤波定义了目标的8种运动状态，每种运动状态使用1个正态分布的向量与之相对应，在目标随机移动过程中，上一帧目标框信息和速度等参数作为输入信息，经过算法处理输出当前帧的目标框位置和速度等信息，正态分布向量的作用就是将两者进行线性加权，得到最终数据信息。匈牙利匹配算法就是通过计算前后帧的相似度矩阵和求解该相似度矩阵实现前后两帧目标匹配从而完成ID分配问题。图3-2sort算法核心流程目标检测器得到目标框，同时卡尔曼滤波预测当前帧的轨迹，然后将目标框与轨迹进行IoU匹配，最终得到三个结果。没有匹配到的轨迹。这部分通常被认为是失败的。表明目标框无法匹配对应轨迹，假如失败持续了超过阈值的Tlost次，那么将从图片中删除该目标的ID。无法匹配的目标框。表明没有任意一个轨迹能匹配到目标框。所以要为目标框分配一个新的轨迹。匹配到的轨迹。这部分表明匹配是成功的。卡尔曼滤波算法可以根据当前帧轨迹状态来预测下一帧的目标框状态，同时更新匹配上轨迹的预测值和所有其它轨迹的状态预估值。Deep-Sort算法由Sort演进而来，最大的特点是加入了外观信息，借用了ReID模型来提取特征，减少了ID切换的次数。核心流程如图3-3所示。图3-3DeepSort算法核心流程Deep-Sort算法是SORT的继承算法，在IoU匹配之前增加了级联匹配方法(MatchingCascade)，并且在过程中加入了确认新轨迹的规则。总体与Sort算法基本一致，唯一区别的是需要对目标框进行两轮匹配，先进行级联匹配，在级联匹配的基础上再进行IoU匹配。两轮匹配完成之后完成卡尔曼滤波更新操作。图3-4是对图3-3中的级联匹配方法展开描述。图3-4级联匹配流程相似度矩阵是就是图3-4中的代价矩阵，它由马氏和余弦距离计算相似度得到，同时利用门控阈值来预防代价矩阵出现过大的值从而导致一系列问题的出现。下半部分中说明了级联匹配的数据关联步骤，整个匹配过程是一个最大年龄的循环(默认值为70)，也就是检测框从年龄为0到年龄等于70的轨迹和进行匹配，以优先匹配没有丢失过的轨迹，靠后匹配丢失较为久远的轨迹为原则。通过这样的处理方式，可以完成被遮挡目标的重新找回，降低被遮挡目标再出现时的发生的ID切换次数。1、检测框匹配轨迹成功，也就是检测框与轨迹配对成功。一般连续跟踪的目标都包含在这种情况中，前后两帧中都包含目标，并且两者能够匹配上。2、检测框匹配轨迹失败，也就是存在没有匹配上轨迹的检测框。这种情况一般是图像中突然出现了新目标，新目标的出现导致检测框无法在之前的轨迹中找到匹配的目标。3、轨迹匹配检测框失败，也就是存在没有匹配上检测框的轨迹。这种情况通常发生在跟踪的目标出图像区域，导致轨迹不在图像内而无法匹配图像中任意一个检测框。4、目标遮挡是区别于其它三种情况的一种特殊的状态。发生目标被遮挡时，同样由于轨迹的消失导致无法匹配图像中的检测框，这种状态可以称为暂时性消失。之后随着目标的再次运动，被遮挡目标会再次显示在图像上，此时轨迹可以匹配上检测框，Deep-Sort使用级联匹配方法让遮挡消失目标尽可能分配到出现遮挡之前的ID值，即为了ID不发生切换，ID的切换次数减少也就意味着算法性能的提升。1.5基于Deep-Sort行人跟踪实验表3-3展示了部分目标跟踪算法基于MOT16数据集性能测试的结果。由结果对比数据Runtime信息可知，SORT和Deep-Sort两种算法能够满足本文对视频的行人跟踪要求，其它几种算法在实时性上都有所欠缺。表3-3MOT数据集相关算法实验结果对比算法MOTAMOTPMTMLIDRuntimeDeep-Sort61.479.10.3280.18278140HzSORT59.879.60.2540.227142360HzEAMTT52.578.80.190.34991012HzKDNT68.279.40.410.199330.7Hz图中可以看到Sort算法虽然拥有较高的实时性能，但是在ID切换指标方面表现出一些不足。而Deep-Sort跟踪算法相比于Sort在ID切换指标上下降了接近一半的比率，同时丢失率ML指标数据更少、跟踪率MT指标数据更多，说明了Deep-Sort性能较优，当然它的实时性能指标由于在提取更多的目标特征时的性能消耗而导致指标出现三分之一的下降，但是它依然可以满足视频目标跟踪的实时性要求。1.5.1数据集介绍MOT16是一个用于衡量多目标跟踪方法性能的客观标准数据集。评价跟踪算法是否具有高效的性能，MOT16这样的数据集必不可少。它是从2016年提出的多目标跟踪竞赛中衍生而来。数据集标注检测目标类别主要是车辆和行人。它包含了检测结果目标框数据，对外提供统一的目标检测框数据后，目标跟踪算法就可以更专注于目标跟踪部分，而不用在花费精力在检测上。图3-5为Deep-Sort工程示例，当前主要介绍其中数据集部分。MOT16文件夹下包含有两个目录test和train。他们分别代表测试和训练集。这两个目录下分别有7个子目录，每个子目录下都是一段视频抽帧图片和数据标注信息。图3-4deepsort工程示例det目录下存在det.txt文件，文件内容每行是一个检测物体标注信息。例如”1,-1,1359.1,411.27,120.26,362.77,2.3092,-1,-1,-1”。表3-5det.txt文件说明数据值英文名称中文注释1frame视频帧号-1id目标运动轨迹编号（在目标文件中都为-1）1359.1bb_leftbbox的坐标尺寸411.27bb_topbbox的坐标尺寸120.26bb_widthbbox的宽362.77bb_heightbbox的高2.3092conf分类的置信度分数-1,-1,-1<x>,<y>,<z>MOT3D参数，2D参数值默认为-1gt文件夹下的gt.txt，内容和det.txt很像。例如“3,1,912,484,97,109,0,7,1”。表3-5gt.txt文件说明数据值中文注释3视频帧号1目标运动轨迹编号912目标框x坐标484目标框y坐标97目标框坐标宽109目标框坐标高0目标轨迹是否进入考虑范围标志0:忽略，1：活跃7轨迹对应的目标种类(当前存在12种，行人id为1)1运动时目标之间边框包含、覆盖以及边缘裁剪情况1.5.2视频数据标注DarkLabel是一个轻量的视频标注软件，导出的格式可以使用脚本转化成通用的数据集格式。包括检测数据集、目标跟