正反向误差跟踪失败自动检测(TLD论文翻译).docx

正反向误差：跟踪失败自动检测摘要：本篇论文提出了一种新的跟踪失败检测方法。该检测算法基于正反向误差，也就是说，跟踪是实时的前后方向并且在这两条轨迹之间的差异是可以测量的。我们论证了以上所说的正反向误差能够确定跟踪失败的可靠性检测，并且在视频流只能够选择可靠的轨迹。我们还验证了该方法是对常用的归一化互相关算法(NCC)的补充。基于该误差，我们突出了一种名为中值流的新的目标跟踪算法。在运用标准视频序列（包含柔性目标）实验时，该方法实现了非常好的表现。1简介点跟踪是计算视觉任务中非常普通的一个：给出一个点在t时刻的位置，目标就是估计它在t+1时刻的位置。在实际中，跟踪面临的一个问题就是目标突然改变外形或者突然从视场中消失。在这种情况下，跟踪算法就会失败。我们研究了跟踪失败的检测问题，然后提出了一种新的方法，该方法能够使任意一种跟踪器能够自己评估自身的可靠性。这种方法是基于所谓的正反向一致性假设（正确的跟踪与时间流的方向无关），体现在算法上，该假设是按照如下方式运用的：首先，一个跟踪器按照时间往前走的方向通过跟踪一个点生成一条轨迹。第二，在最后一帧图像中点的位置初始化一条确认轨迹。这个确认的轨迹是通过从最后一帧到第一帧的反向跟踪获取的。第三，比较这两条轨迹，如果差异很大，就认为正向轨迹是不正确的。图1描述了当在两张图片（基本轨迹）中跟踪一个点时，这种方法的运用。第一个点在两张图片中都是可见的，并且跟踪器能对该点进行正确定位，按照正反向跟踪这个点能够生成相同的轨迹。另一方面，第二个点在右边的图像中是不可见的，然而跟踪器定位了另外一个点当作点2，从该点进行反向跟踪，在一个不同于原先的初始位置结束了，很容易确认出两条轨迹不一致，在实验的时候，这种情况极有可能是跟踪失败了。图1 正反向误差惩罚（不利于）不一致的轨迹。点1在两幅图像中都是可见的，跟踪器在正反向上表现一致，点2在第二幅图中被遮挡了，正反向轨迹不一致检测跟踪失败的一个常用方法是用跟踪点周围的图像块来描述这个跟踪点，我们用t和t+1时刻相对应的图像块的差值平方和（SSD，sum-of-square differences）3,9来比较这两个图像块，这种误差能够检测出由于遮挡和目标的迅速移动造成的跟踪失败，但是不能检测出轨迹的缓慢的漂移。可以通过定义一个绝对误差来检测漂移，比如比较当前帧的图像块和初始图像的各种仿射变换（该种误差为绝对误差）11，但这种方法只适用于平面目标。最近，提出了一种比较普通的估计跟踪性能的方法13，该方法基于的思想和本文中提出的思想相似，这种方法利用静态测量模型为粒子滤波器设计的。但是我们并不建议将该方法使用到点跟踪上。该论文的剩余部分是按照如下方式组织的：第二部分构造了一个新的误差衡量方法，叫做正反向误差并且在第三部分将该方法与SSD方法进行数量上的比较。在第四部分，将该方法用于特征点选择。第五部分提出了中值流跟踪器，利用标准视频序列检测该跟踪器时，体现了非常优越的性能。该论文做了总结及展望了工作。2、正反向误差该部分定义了特征点轨迹的正反向（FB）误差，具体看图1的说明。为图像序列，是一个点在t时刻的点的位置，使用任意一个跟踪器，点往前跟踪k步，那么形成的轨迹就是，代表往前，代表长度。我们的目标是估计所给出的图像序列的轨迹的误差（可靠性），为了这个目的，我们构建了确认轨迹。点从后往前跟踪至第一帧，产生轨迹，其中。正反向误差定义为两个轨迹之间的距离：。对于不同的轨迹比较会得到不同的距离（distance）。为了简化，我们使用轨迹中初始点和结束点之间的欧氏距离，。以上提出的FB误差的主要优势是它可以应用到一系列的跟踪器并且很容易执行。如果数据违反了假设，那么跟踪失败。比如说当目标比预期的运动快的时候，在这种情况下，跟踪器会产生一条轨迹，从某种程度上而言，该轨迹是任意的，而从后往前会产生另外一条随意的跟踪轨迹，这两条轨迹极有可能不同。最近提出了一种新的跟踪算法，该算法在预测目标位置时直接使用了时间可逆性。因此，按定义而言前后轨迹应该是一致的。在这种情况下，不能使用FB误差。3 跟踪失败的检测FB误差确定正确跟踪的能力是利用综合数据进行定量评估的。我们把100张自然的图片序列进行随机仿射变换并且加上高斯噪声。在原始图片序列的一个整齐的（有规律的）网格（以5个像素作为间隔）上初始化一系列的点，将这些点投射到变形的图片上来产生地面实况地面实况，即“ground truth”指的是用于有监督训练的训练集的分类准确性。也指收集准确客观的数据用于验证的过程。轨迹。在原始图像和变形图像之间对应点的替代点是通过Lucas-Kanade跟踪器8,11来估计的。替代点以结束更近（Displacements that ended up closer），之后从地面实况获取的两个像素被标记为内点（65%），用某种误差（FB,SSD）来评估轨迹，如果误差小于某个阈值就将轨迹划分为内点。将结果和地面实况数据进行比较，并计算出准确率和查全率数据。图2显示了将FB误差作为阈值的函数时的结果性能图，注意到1个像素的查全率为95%、正确率为96%时的阈值。这样好的性能说明FB误差通过设置阈值检测正确的轨迹。下面的图显示了当FB和标准的SSD比较时对应的正确率和查全率曲线图。显然对大多数工作点来说FB明显优于SSD。对于较小的阈值而言，SSD是无法检测出内点的，并且它的正确率是从70%以下开始的，（随机猜测可能是始于65%）。我们做了另外一个实验，规律的格子用FAST特征检测子代替取得了相同的观察曲线和结论。图2 将前后向误差阈值化能够确定正确的跟踪点（上图）。基于FB和SSD的分类器的正确率和查全率特征。FB优于SSD4 从视频中的轨迹选择跟踪性能对初始化十分敏感，所以要跟踪的点的选择十分重要。通过在第一帧图像中检测容易跟踪的关键点完成跟踪点的选择。问题是在之后的视频序列中这些点被遮挡、消失或者改变外形都会导致跟踪失败。因此，如果可能的话，选择机制应该综合整个视频流中的信息。在这里我们提出了一种基于FB误差的残暴的强制性选择机制：1）从第一帧开始贯穿整个视频序列跟踪其中的每一个像素。2）通过FB误差评估轨迹。3）分配给每个像素对应轨迹的误差。这个结果图像被称为错误映射（Error Map），并且在这个序列中显示哪些点是被可靠跟踪的。点的选择是通过阈值化完成的。图3 视频中点的选择（左）行人1视频的第一帧。红色点代表最可靠轨迹中1%的点（右）相同序列中的误差映射。像素密度和轨迹的可靠性成反比误差映射是通过行人1视频构造出来的14，结果在图3中显示。左边图片显示的是视频流中的第一帧，红色的点表示最可靠的像素的1%，右边的图片显示的是误差映射。较暗的部分表示较低的FB误差：树影（A），两个行人的上身（B），从这些区域中选择的点在整个视频流中都被正确跟踪。较亮的颜色部分很难或者不可能被跟踪。这些区域可能是被遮挡了（C），从视场中消失了（D），或者缺少足够多的结构化信息（E）。这个实验说明了FB误差可以用来选择特征点因为这些点在整个视频流中的跟踪是可靠的。这是与标准特征选择方法的对比，标准特征选择方法是基于一张图像的信息。5 通过中值流的目标跟踪之前的部分讨论的是点跟踪的方法，当然认为这些点是无关的。然而，在正常的视频流中，点之间几乎不可能是无关的，它们是在一起移动的较大单元中的小部分。这些单元被叫做目标（汽车、行人、人脸等），本部分应用一个点的跟踪算法和上面提到的FB误差衡量，设计了一个拥有更好性能的新的鲁棒的目标跟踪器。新的跟踪器的简图如图4，这个跟踪器接收了一对图像，一个边界框，并且输出了一个边界框，在边界框中的一个矩形网格中的一系列的点被初始化。这些点之后就会被Lucas-Kanade跟踪器跟踪，该跟踪器能够在之间产生稀疏的移动流。之后估计预测点的质量，每个点就会被赋予一个误差（FB,NCC,SSD）。一半的最差点会被过滤掉，剩下的一半预测点会被用来估计整个边界框的替代框，我们把这种跟踪叫做中值流跟踪。图4 中值流跟踪器接受了一个边界框和一对图像。在该边界框中一些点会被跟踪，我们会估计它们的误差并且把外点拒绝掉，剩下的点可以用来估计边界框的运动我们使用剩余的一半的点在每一空间维度的（实际就是x，y二维）中值来估计边界框的替代框，用下述方式来计算尺度变化：对于一对点，计算当前两点的距离与之前两点之间的距离之比。边界框的尺度变化定义为这些比例中的中值。基于点描述的一个隐含的假设是目标是由刚性小块组成的。不满足假设的目标的某些部分（边界，柔性部分）不会被考虑紧投票系统，因为他们会被误差测量拒绝掉。我们检测了一系列的中值流跟踪器的变体。基准跟踪器，在文献5中也用到了，它不会评估点的跟踪误差，但是会基于所有的点来估计边界框的替代框。跟踪器通过FB,NCC 和SSD算个估计误差。50%的外点会被剔除掉。跟踪器是把FB和NCC 算法合起来使用的，把这些跟踪器和当前最先进的各种跟踪器比较7,4,1,2，比较时是利用文献14中的视频序列。目标从第一帧中初始化，然后一直跟踪到最后一帧结束。如果边界框和地面实况的重叠率超过50%，我们就认为轨迹是正确的。性能被评定为跟踪器跟踪正确的最大帧数。图5 行人1视频：多种误差测量的性能比较表1 根据正确跟踪的帧数进行相关先进算法的比较图5验证了在中值流跟踪器性能方面误差测量的影响。基准跟踪器和跟踪器是表现最差的。这支持我们早先的论断：SSD在确定正确的点跟踪轨迹方面是最不可靠的。和性能差不多，并且是基准跟踪器跟踪目标的两倍长。很明显最具有优势，并且在整个视频流中能够一直跟踪目标。这说明FB和NCC是无关的，但是当它们合起来的时候会对跟踪效果有很大的提升。最后一行显示的是特定算法表现最好时的次数。获得中值流的最好的结果是基于FB和NCC错误的组合。这个跟踪器能够获得3倍的最好的结果并且定义了一个新的最好的性能在这些视频序列中。6 结论这篇论文提出了一个新的测量方法，正反向误差，能够估