TLD跟踪算法图文流程.ppt

1、TLD跟踪学习报告,概述：TLD算法，即Tracking，Learning，Detection的简称，最初由捷克籍博士生Zdenek Kalal提出，用于对一个长时间对运动目标进行跟踪。TLD跟踪系统最大的特点就在于能对锁定的目标进行不断的学习，以获取目标最新的外观特征，从而及时完善跟踪，以达到最佳的状态。也就是说，开始时只提供一帧静止的目标图像，但随着目标的不断运动，系统能持续不断地进行探测，获知目标在角度、距离、景深等方面的改变，并实时识别，经过一段时间的学习之后，目标就再也无法躲过。TLD算法在运行时，三个模块同时进行运算，相互补充，跟踪模块负责跟踪并预测目标可能出现的位置，检测模块负责

2、寻找目标，检测跟踪模块的准确性，学习模块对跟踪目标进行学习，对目标可能出现的形变进行适应，及时更新跟踪器与检测器的参数，保证跟踪的准确性。 深入解读TLD代码,TLD算法的整体结构：,跟踪模块,学习模块,检测模块,目标模型,更新参数,更新参数,综合模块,视频输入,TLD算法VC版本代码的源文件如下：FerNNClassifier.cpp，LKTracker.cpp，run_tld.cpp，TLD.cpp，tld_utils.cpp。 FerNNClassifier的功能：实现集合分类器与最近邻分类器； LKTracker.cpp的功能：实现金字塔LK光流法的目标跟踪并且评估跟踪结果； run_

3、tld.cpp的功能：实现与用户的交互，反馈鼠标的操作，完成跟踪框的读入； TLD.cpp的功能：TLD算法框架，包括了初始化以及对帧的处理过程。,TLD的运行过程。 一、读取并初始化参数 void TLD:read(const FileNode const float SCALES = 0.16151,0.19381,0.23257,0.27908,0.33490,0.40188,0.48225, 0.57870,0.69444,0.83333,1,1.20000,1.44000,1.72800, 2.07360,2.48832,2.98598,3.58318,4.29982,5.15978

4、,6.19174; int width, height, min_bb_side; BoundingBox bbox; Size scale; int sc=0; for (int s=0;s img.cols | height img.rows) continue; scale.width = width; scale.height = height; scales.push_back(scale);,检测器采用扫描窗口的策略，其中SHIFT是扫描窗口移动步长（宽和高的10%），SCALES数组存放的是扫描窗口的尺度缩放比例。即：产生不同尺度的扫描窗口（共21个）进行扫描，扫描窗的大小是目标

5、框的一定比例。,依次判断扫描窗口的大小，排除小于min_win的窗口,将对应尺度的窗口存入scale中，避免在扫描时计算，加快检测速度,for (int y=1;yimg.rows-height;y+=round(SHIFT*min_bb_side) for (int x=1;ximg.cols-width;x+=round(SHIFT*min_bb_side) bbox.x = x; bbox.y = y; bbox.width = width; bbox.height = height; bbox.overlap = bbOverlap(bbox,BoundingBox(box); bbo

6、x.sidx = sc; grid.push_back(bbox); sc+; ,按步长移动扫描窗口，进而遍历整个视频帧,计算与输入的bounding box的重叠度并且将本位置和本尺度的扫描窗口存入grid中,（2）计算输入帧的积分图像并且给各个变量分配空间，其中grid.size()是第一步中产生的所有的扫描窗口的个数。 计算积分图像需要用到iisum.create()与iisqsum.create()两个函数。 （3）初始化样本产生器generator并且通过计算扫描窗口与bounding box的重叠度得到最初始的分类good boxes与bad boxes。 generator的作用

7、此时被定义为仿射变换，仿射变换即线性变换+平移。 getOverlappingBoxes函数功能：根据输入的bounding box在整帧图像中寻找与该box最相似的num_closest_init个扫描窗口，然后把这些窗口归入good_boxes中，同时把重叠度小于0.2的窗口归入bad_boxes中。 （4）初始化分类器,分类器的初始化，TLD中检测模块用到的分类器是级联的三个：方差分类器、集合分类器和最近邻分类器，根据代码的内容，分类器初始化的流程图如下：,产生正样本,产生负样本,得到best box的均值与方差，并把该方差作为方差分类器的初始阈值,方差分类器初始化完成,一半的负样本作为

8、训练集,一半的负样本作为测试集,正样本与训练集合并，用于训练集合分类器与最近邻分类器,利用测试集来测试训练好的集合分类器与最近邻分类器，评价并更新分类器的阈值,集合分类器与最近邻分类器初始化完成,三、帧的处理 （1）跟踪模块 1、bbPoints()，均匀采样，在lastbox中产生10*10个特征点，存入 points1，再将points1赋值给points。 2、调用LKTracker.cpp中的LKTracker:trackf2f()函数。 trackf2f()函数的功能：利用金字塔LK光流法实现跟踪，计算FB error 并且匹配相似度，筛选出FB error小于FB error中值的

9、特征点和匹配 相似度大于匹配相似度中值的特征点。 3、bbPredict()，利用筛选后的特征点预测bounding box在当前帧中 的位置与大小。 当前的box的X坐标 =前一帧box的X坐标+全部特征点位移的中值-当前box的宽的一半； 当前box的Y坐标 =前一帧box的Y坐标+全部特征点位移的中值-当前box的高的一半； box的尺度变化是通过计算当前特征点相互之间的距离与上一帧特征点之间的相互距离的比 值取其中值作为尺度变化的因子。,4、跟踪失败检测 如果FB error中值大于10个像素，或者预测到的box在图像外面，则认为跟踪失败。 5、评估跟踪的可信度与有效性 将预测的bou

10、nding box归一化为15*15的图像片，计算图像片pattern到在线模型的保守相似度，如果保守相似度大于阈值，则评估为跟踪有效。 这里调用了FerNNClassifier.cpp中的classifier.NNConf()函数，进行相关相似度的计算并且与在线模板进行匹配。 至此，跟踪模块结束。,（2）检测模块 检测模块主要是三个级联的分类器，依次是：方差分类器、集合分类器和最近邻分类器。,方差分类器,集合分类器,最近邻分类器,方差大于var阈值,后验概率的平均值大于阈值fern_th,相关相似度大于阈值,TLD的检测模块采用的是扫描窗口的策略，由于在TLD初始化时详细分析了该方法，此处不

11、再赘述。 1、方差分类器 先计算每个待检测窗口的积分图像，由积分图像计算窗口的方差，方差大于var的窗口认为其含有前景目标，并进入集合分类器。 阈值var是在初始化时best box的方差。 2、集合分类器 首先利用classifier.getFeatures()函数得到输入图像的特征组的特征（13位二进制代码）； 由measure_forest()函数将每个特征值对应的后验概率进行累加，累加值作为票数votes； 后验概率平均值大于阈值fern_th，则通过集合分类器；,如果通过了方差分类器和集合分类器的扫描窗口数量大于100个，只取后验概率大的前100个。 补充：集合分类器基于N个基本分类

12、器，每个分类器基于一个像素比较集。 像素比较集产生方法：先用一个归一化的patch来离散化像素空间，产生所有可能的垂直和水平的像素比较集，然后将这些像素比较集随机分配给N个分类器，每个分类器得到完全不同的特征集合，所有分类器的特征组统一起来就可以覆盖整个patch。 getFeatures()函数的原理：通过在结构体Feature中重载一个运算符bool Operater()，返回patch的图像在（Y1，X1）和（Y2，X2）点的像素比较值，存入leaf中，作为特征。,3、最近邻分类器 计算图像片pattern到在线模型的相关相似度和保守相似度，如果相关相似度大于阈值，认为其含有前景目标，并

13、通过最近邻分类器。 （3）综合模块 综合模块存在的意义：TLD只跟踪单一目标，但是检测器有可能检测出多个目标，因此综合器综合跟踪器跟踪到的单个目标和检测器可能检测到的多个目标，输出保守相似度最大的那个目标。,检测器检测到的box,与跟踪器跟踪到的box距离较远的类，且它的相关相似度比跟踪器的要大,距离跟踪器预测到的box很近的box（重叠度大于0.7）,如果满足以上条件的box只有一个，则用该box重新初始化跟踪器,寻找,寻找,对坐标和大小进行累加,与跟踪器本身预测到的box进行坐标与大小的加权平均，作为最终的bounding box，其中跟踪器的权值较大,（4）学习模块 学习模块的核心内容是训练分类器，训练分类器的本质是更新分类器的参数（阈值）。 1、检测一致性 检测一致性的目的在于判断是否需要训练分类器，流程如下：,归一化目标box,计算目标box与在线模型的相关