TLD目标跟踪算法实用教案

1、目录(ml) TLD算法(sun f)简介 TLD框架结构 P-N Learning TLD算法(sun f)实现第1页/共31页第一页，共32页。目录(ml) TLD算法(sun f)简介 TLD框架结构 P-N Learning TLD算法(sun f)实现第2页/共31页第二页，共32页。TLD算法(sun f)简介 TLD(Tracking-Learning-Detection)是英国萨里大学(dxu)的一个捷克籍博士生Zdenek Kalal在2012年7月提出的一种新的单目标长时间跟踪算法。 该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在

2、被跟踪过程中发生的形变、部分遮挡等问题。 同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征(tzhng)点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。第3页/共31页第三页，共32页。目录(ml) TLD算法(sun f)简介 TLD框架结构 P-N Learning TLD算法(sun f)实现第4页/共31页第四页，共32页。TLD框架(kun ji)设计 TLD是一个用于针对视频中未知物体长期跟踪(gnzng)的架构。简单来说，TLD算法由三部分组成：跟踪(gnzng)模块、检测模块、学习模块。 跟踪模块(m kui)是观察帧与帧之间的目标的动向。

3、 检测模块是把每张图看成独立的，然后去定位。 学习模块将根据跟踪模块的结果对检测模块的错误进行评估，生成训练样本来对检测模块的目标模型进行更新，避免以后出现类似错误。第5页/共31页第五页，共32页。TLD结构(jigu)特点 TLD跟踪系统最大的特点就在于能对锁定的目标进行不断的学习，以获取目标最新的外观特征，从而及时完善跟踪，以达到最佳的状态。也就是说，开始时只提供一帧静止的目标图像，但随着目标的不断运动，系统能持续不断地进行探测，获知(huzh)目标在角度、距离、景深等方面的改变，并实时识别，经过一段时间的学习之后，目标就再也无法躲过。 TLD技术采用跟踪和检测(jin c)相结合的策略

4、，是一种自适应的、可靠的跟踪技术。TLD技术中，跟踪器和检测(jin c)器并行运行，二者所产生的结果都参与学习过程，学习后的模型又反作用于跟踪器和检测(jin c)器，对其进行实时更新，从而保证了即使在目标外观发生变化的情况下，也能够被持续跟踪。第6页/共31页第六页，共32页。目录(ml) TLD算法(sun f)简介 TLD框架结构 P-N Learning TLD算法(sun f)实现第7页/共31页第七页，共32页。P-N Learning 模块(m kui)介绍 P-N LearningTLD架构的学习模块。学习模块的目的是为了提高检测器的性能。学习器是一个在线的过程。在视频流的每

5、一帧中，我们希望能够评估当前检测器，确定出其错误并及时更新以避免(bmin)将来出现类似错误。 P-N学习的主要思想就是检测器的错误能够被两种类型的专家(zhunji)（P-experts和N-experts）标识出。P-experts仅识别错误的负样本，N-experts仅识别错误的正样本。当然，P-N专家(zhunji)自身也有可能会发生错误，但是，他们的相互独立性又能够相互弥补双方的错误。第8页/共31页第八页，共32页。P-N学习(xux)公式化 x是特征空间(kngjin)X的一个样本，y是标签空间(kngjin)Y的其中一个标签，Y=-1,1。在一组例子里，X被称为未被标记的样本集

6、合，Y称为标签集合。L=(x,y)称为被标记集合。 P-N学习的任务就是学习训练得到这样一个分类器 f：XY根据(gnj)已标注的数据集Ll来自引导地把未标记样本Xu变为标记样本。 分类器 f 为一个来自于由参数参数化的函数族F的函数，训练过程主要就和参数的估计相关连。 P-N学习的输入是一个标记集合Ll和一个未标记集合Xu第9页/共31页第九页，共32页。P-N Learning 结构(jigu)特点P-N学习(xux)主要包括四个模块：（1）一个(y )待学习的分类器（2）训练样本集 一些已知类别标签的样本（3）监督训练 一种从训练样本集中训练分类器的方法（4）P-N experts 在学

7、习过程中产生正、负样本的函数 P-N学习最重要的部分是分类器的错误估计。关键的想法是把假的正样本和假的负样本分别独立的处理，每一部分由一个独立的专家分析（P专家或N专家）。 P-experts将那些被分类器错误标记为负样本的样本，赋予“正”的标签，并添加到训练样本集中 N-experts则将那些被分类器错误标记为正样本的样本，赋予“负”的标签，并添加到训练样本集中第10页/共31页第十页，共32页。P-N Learning模块(m kui)图( ), ( )kk(1),(1)kk第11页/共31页第十一页，共32页。P-N Learning迭代(di di)机制( )( )false posi

8、tivekflasenegativekP-experts第K次迭代(di di)产生正样本数：( )( )( )cfnknknkN-experts第K次迭代(di di)产生负样本数：( )( )( )cfnknknk第K次迭代前错误的样本数：(1)( )( )( )cfkknknk(1)( )( )( )cfkknknk第12页/共31页第十二页，共32页。P-N Learning性能指标 P-precision P-recall N-precision N-recall/()ccfPnnn/cRn/()ccfPnnn/cRn1( )( )1( )( ),ffccPRknRkPPRknRkP

9、nn(1)(1)(1) ( )( )(1)(1)( )(1) ( )PkRkRkPPkRkRkP第13页/共31页第十三页，共32页。P-N Learning的收敛(shulin)和稳定我们(w men)定义：( ) ( )( )Tx kkk1111PRRPMPRRP于是就得到(d do)迭代等式：(1)( )x kM x k过渡矩阵M的特征值为：当特征值 都小于1时，向量 收敛到 0 x12,12,第14页/共31页第十四页，共32页。P-N Learning的收敛(shulin)和稳定第15页/共31页第十五页，共32页。P-N Learning的运行机制b）中待检测目标在一个视频帧中可能

10、同时出现在好几个区域，并且待检测目标在相邻(xin ln)视频帧之间的运动没有连续性c）中每个视频帧中，目标只可能出现在一个区域，并且，相邻视频帧之间检测到的目标区域是连续的，构成(guchng)了一个目标的运动轨迹。这种性质，我们称之为“结构性” P-N学习的关键就是找到这种结构性的数据，从而来判别检测(jin c)模块所产生的错误标签。第16页/共31页第十六页，共32页。P-N Learning的运行机制由上例我们可以(ky)看出： P-experts寻找视频序列中的时域上的结构性特征，并且假设目标是沿着轨迹线移动的，P-experts记录目标在上一帧中的位置，并根据帧与帧之间的跟踪算法

11、来预测目标在当前帧中的位置。如果检测模块将跟踪算法预测到的目标在当前帧中的位置标记为负标签，那么(n me)P-experts就产生一个正的训练样本。 N-experts寻找视频序列中的空间域上的结构性特征，并且假设目标在一个视频帧中只可能出现在一个位置。N-experts对检测模块在当前帧中的所有输出结果以及跟踪模块的输出结果进行分析，并找到具有最大可能性的那个区域。当前帧中所有目标可能出现的区域当中，如果某个区域同最大可能性区域之间没有重叠，就将其认定(rndng)为负样本。另外，具有最大可能性的那个区域，被用于重新初始化跟踪模块。第17页/共31页第十七页，共32页。P-N Learni

12、ng的运行机制p-experts p-experts 产生产生(chnshng)(chnshng)错误错误的正样本的正样本N-experts N-experts 找到目标找到目标(mbio)(mbio)最可能最可能位置位置第18页/共31页第十八页，共32页。目录(ml) TLD算法(sun f)简介 TLD框架结构 P-N Learning TLD算法(sun f)实现第19页/共31页第十九页，共32页。综合(zngh)框图第20页/共31页第二十页，共32页。一些基本(jbn)定义 在任意时刻(shk)，被跟踪目标都可以用其状态属性来表示。该状态属性可以是一个表示目标所在位置、尺度大小的

13、跟踪框，也可以是一个标识被跟踪目标是否可见的标记。 目标的形状采用图像片p来表示，每一个图像片都是从跟踪框内部采样(ci yn)得到的，并被归一化到15*15像素的大小两个图相框pi,pj的相似度：第21页/共31页第二十一页，共32页。目标(mbio)模型 目标模型是一个代表迄今为止观测到的被检测目标及其周围背景的数据结构(sh j ji u)，它是一系列正样本和负样本的集合任意给定(i dn)一个图像片P和目标模型M，我们定义几个量化指标：（1）正样本最近邻相似度（2）负样本最近邻相似度（3）前50%正样本的正最近邻相似度（4）相关相似度（5）保守相似度第22页/共31页第二十二页，共32

14、页。目标(mbio)模型最近(zujn)邻分类器（Nearest Neighbor classifier）： 在TLD算法中，相似度（ ）被用于指出一个任意(rny)的图像块和目标模型中的部分有多大的相似crSS ,相关相似度用来定义最近邻分类器如果NNrMpS),(那么图像块P被分类为正样本目标模型更新 为了把一个最新被标注的图像块整合到目标模型，我们采用如下策略：只有当最近邻分类器估计出的标签和P-N专家估计出的标签不一致时，才将这个图像块加入到目标模型中。定义定义分类边缘分类边缘：NNrMpS),(对于一个图像片，如果分类边缘小于一个值对于一个图像片，如果分类边缘小于一个值 ，那么就把这

15、个图像块添加到目标模型中。，那么就把这个图像块添加到目标模型中。第23页/共31页第二十三页，共32页。目标(mbio)检测器 检测器通过一个扫描窗口来扫描输入(shr)图像，然后判断出每一个图像块有没有目标。扫描(somio)窗口参数设置为： 缩放比例的步长系数为缩放比例的步长系数为1.21.2，水平步长是宽度的，水平步长是宽度的10%10%，垂直步长，垂直步长是高度的是高度的10%10%，最小的扫描窗口大小为，最小的扫描窗口大小为2020个像素。个像素。 这样一来，对于大小为320*240的图像来说会产生约5万个图相框。这是一个非常巨大的数字，如果没有非常有效的分类器，计算运行将十分缓慢。

16、第24页/共31页第二十四页，共32页。级联分类器（Cascsded classifier） 考虑到需要处理矩形框的数量太大，每一个(y )图像块的分类都必须非常有效。我们把分类器划分为三个模块：目标(mbio)检测器（1）图像片方差检测模块（Patch Variance）（2）集成(j chn)分类器（Ensemble Classifier）（3）最近邻分类器（NN Classifier）第25页/共31页第二十五页，共32页。目标(mbio)检测器 Patch Variance（图像片方差检测(jin c)模块） 这个分类器模块去除这个分类器模块去除(q ch)(q ch)所有像素方差小于

17、被跟踪图相框像素方差所有像素方差小于被跟踪图相框像素方差50%50%的图相框的图相框方差方差 Ensemble Classifier（集成分类器） 经过图像片方差检测之后未被去除的图相框进入集成分类器。集成分类器又可以分经过图像片方差检测之后未被去除的图相框进入集成分类器。集成分类器又可以分成成n n个基本的分类器。每个基本的分类器个基本的分类器。每个基本的分类器i i进行像素的比较，产生一串进行像素的比较，产生一串2 2进制的代码进制的代码x x，这串这串2 2进制代码指向一个后验概率进制代码指向一个后验概率Pi(y|x) yPi(y|x) y属于属于0,10,1，所有基本分类器产生的后，所

18、有基本分类器产生的后验概率会被平均，集成分类器就把平均后验概率大于验概率会被平均，集成分类器就把平均后验概率大于50%50%的图相框认为是包含目标的的图相框认为是包含目标的图相框。图相框。 NN Classifier （最近邻分类器）图相框图相框P P就被认为是包含目标的图相框就被认为是包含目标的图相框NNrMpS),(第26页/共31页第二十六页，共32页。跟踪器 TLD算法的跟踪模块（Tracker），是一种在名为中值流跟踪（Median-Flow tracker）的跟踪方法基础上增加了跟踪失败检测算法的新的跟踪方法。中值流跟踪方法利用目标(mbio)框来表示被跟踪目标(mbio)，并在连续的相邻视频帧之间估计目标(mbio)的运动。中值(zhn zh)流跟踪方法： 在上一帧的目标框中选择若干个像素点作为特征点，在下一帧中寻找上一帧中的特征点在当前帧的对应位置。然后将这若干个特征点在相邻两帧之间的位移变化进行排序，得到位移变化的中值，利用(lyng)该中值，得到小于中值50%的特征点，将这50%的特征点作为下一帧的特征点，并依次进行下去。 在TLD算法中，原作者将10*10的格子中的像素点作为初始特征点，并利用金字塔LK光流法来在连续的相邻视频帧之间估计若干特征点的运动。第27页/共31页第二十七页，