TLD最终学习 文档.doc

TMD（tracking，modeling and detection） TLD(Learning)区别：1、Modeling（1）modeling中利用两个时间对目标的外观进行学习描述，一个是增长事件，一个是修剪事件。通过增长事件将跟踪到的目标的新的外观特征增加到学习训练样本中；而通过修剪事件对样本中的杂质进行消除。（2）Growing events1） 与起始待跟踪目标图像相似的图像块，均被加入到在线模型2） 如果当前帧的跟踪目标图像与前一帧的相似，则将当前的跟踪结果图像加入到在线模型3） 计算跟踪轨迹上的目标图像到在线模型间的距离，选择具有特定模式的目标图像，即起初目标图像与在线模型的距离较小，随之距离逐渐增大，而后距离又恢复成较小状态。循环检验是否存在这种模式，并将该模式内的目标图像加入到在线模型（3）Pruning events：修剪事件假设每帧只有一个目标，当跟踪器和检测器都认可目标位置时，剩余的检测图像就被认为是错误样本，从在线模型中删除。2、LearningP-N Learning：PN学习的关键在于两种类型的“专家(experts)”。这一步骤的目的是利用跟踪预测结果提升检测器的能力。P-experts将那些被分类器标记为负样本，但根据结构性约束条件应该为正样本的那些样本赋予“正”的标签，并添加到训练样本集中；而N-experts则将那些被分类器标记为正样本，但根据结构性约束条件应该为负样本的那些样本赋予“负”的标签，并添加到训练样本集当中。P-N学习样例：在程序中的学习：与最原始的模型进行匹配，如果没有匹配上，但相似度很到，直接更新原始的模型；若匹配上且相似度高，直接添加都后面。这里有不明白的地方：对最近邻分类器的训练TLD基本框架1、 跟踪器利用金字塔LK光流法跟踪特征点（在跟踪框中均匀采样10*10=100个特征点（网格均匀撒点），筛选出速度小于中值速度且匹配相似度大于中值相似度的点。2、 检测器TLD的检测分类器有三部分：方差分类器模块、集合分类器模块和最近邻分类器模块；这三个分类器是级联的。当前帧的每一个扫描窗口依次通过上面三个分类器，全部通过才被认为含有前景目标。（1） 方差分类器模块：利用积分图计算每个待检测窗口的方差，方差大于var阈值（目标patch方差的50%）的，则认为其含有前景目标，通过该模块的进入集合分类器模块；（2） 集合分类器模块：集合分类器（随机森林）共有10颗树（基本分类器），每棵树13个判断节点，每个判断节点经比较得到一个二进制位0或者1，这样每棵树就对应得到一个13位的二进制码x（叶子），这个二进制码x对应于一个后验概率P(y|x)。那么整一个集合分类器（共10个基本分类器）就有10个后验概率了，将10个后验概率进行平均，如果大于阈值（开始设经验值0.65）的话，就认为该图像片含有前景目标；（3） 最近邻分类器模块：将图像块缩放为15X15大小，计算该图像块与在线模型的相关相似度与保守相似度，若相关相似度大于阈值，则认为含有前景目标。TLD初始化：得到跟踪框的初始位置box1、 获取扫描检测框得到所有的需要检测的窗口，并计算每一个检测的窗口与跟踪框的重叠度（重叠度定义为两个box的交集与它们的并集的比），将结果存放在grid中（扫描策略：步长为宽高的 10%，尺度缩放系数为1.2，步长取当前尺度高度的最小值的10%）；2、 从grid中选择与box重叠率大的前num_closest_init个（10）个窗口存放在good_boxes容器中，把重叠率小于0.2的窗口全部放在bad_boxes中；并获得重叠率最高的窗口best_box；3、 将best_box区域的图像片归一化为均值为的*15大小的patch，存放在pEx中；对图像进行仿射变换num_warps_init次（20），得到仿射变化后good_boxes中窗口的不同样本（已计算了特征fern（13位的二进制代码），存放在pX中，即pX有200个正样本；4、 将bad_boxes中方差大于best_box方差的50%的窗口图像片添加到负样本容器nX中（已计算了特征fern（13位的二进制代码），然后在nX中随机取100个负样本存放与nEX中；5、 调整样本集：nX取一半训练，另一半用于测试存放与nXT中，同样，nEx取一半训练（50），另一半用于测试存放与nEXT中。将nX与pX合并到ferns_data容器中，将pEx与nEx合并到nn_data容器中；6、 集合分类器的训练对每一个样本ferns_datai ，如果样本是正样本标签，先用measure_forest函数返回该样本所有树的所有特征值对应的后验概率累加值，该累加值如果小于正样本阈值0.6，也就是输入的是正样本，却被分类成负样本了，出现了分类错误，所以就把该样本添加到正样本库，同时用update函数更新后验概率。对于负样本，同样，如果出现负样本分类错误，就添加到负样本库，同时用update函数更新后验概率。7、 最近邻分类器的训练对每一个样本nn_data，如果标签是正样本，计算输入图像片与在线模型之间的相关相似度conf，如果相关相似度小于0.65 ，则认为其不含有前景目标，也就是分类错误了；这时候就把它加到pEx正样本库中；同样，如果出现负样本分类错误，就添加到负样本库nEx。8、 利用测试集对分类阈值进行修改（调整阈值以免让负样本标记为正样本）（1） 对集合分类器，对每一个测试集nXT，所有基本分类器的后验概率的平均值如果大于thr_fern（0.6），则认为含有前景目标，然后取最大的平均值（大于thr_fern）作为该集合分类器的新的阈值；（2） 对最近邻分类器，对每一个测试集nExT，最大相关相似度如果大于nn_fern（0.65），则认为含有前景目标，然后取最大的最大相关相似度（大于nn_fern）作为该最近邻分类器的新的阈值TLD跟踪模块1、 先在lastbox中均匀采样10*10=100个特征点（网格均匀撒点）2、 LK光流法跟踪（1） 先利用金字塔LK光流法跟踪预测前向轨迹（2） 再往回跟踪，产生后向轨迹（3） 然后计算FB-error：前向与后向轨迹的误差（4） 对每个点利用亚像素提取10X10区域进行连续两帧点匹配，计算每个点的相关系数（5） 筛选出FB-error小于中值误差且相似系数大于中值系数的匹配点。3、 预测目标块位置（大小不变）4、 如果最终跟踪的点中有轨迹误差大于10的直接认为跟踪失败5、 将预测到的位置图像块归一化到15X15，计算这个图像块与在线模型的保守相似度，如果保守相似度小于阈值，则认为跟踪无效TLD检测模块1、 计算当前图像的积分图，并对图像进行高斯模糊2、 遍历每个窗口，对每个窗口进行检测（1） 方差分类器检测：利用积分图计算每个待检测窗口的方差，方差大于var阈值（目标patch方差的%）的，则认为其含有前景目标，进入集成分类器（2） 先计算该图像片的特征值，再计算该特征值对应的后验概率累加值，若集合分类器的后验概率平均值大于阈值，则认为含有目标。3、 选出检测出目标的100个窗口，窗口的选择是按照后验概率的大小降序排列后选择的前100个。4、 对选择后的窗口进入最近邻分类器进行检测（1） 将窗口进行归一化15X15大小（2） 计算该窗口图像片到在线模型的相关相似度和保守相似度（3） 相似度大于阈值，则认为含有目标5、特征（2bitBP）TLD综合模块if (tracked)if(detected)1、 先通过重叠度对检测器检测到的目标bounding box进行聚类，每个类的重叠度小于.5；2、 统计与目标块重叠率小于0.5且相似度大于跟踪块的相似度的box类的个数3、 如果这种类只有一个，则用检测的结果作为这帧跟踪的结果，否则统计重叠率大于0.7的box的个数并对这些box进行位置累加；若这种box的个数大于0，将刚才累加的位置与跟踪的位置进行加权得到这帧的跟踪位置。/ if(detected)/ if (tracked)else if(detected) 对检测到的box聚类，如果只有1类，直接认为是跟踪目标其它情况都是直接用跟踪的结果TLD学习模块1、 将图像块归一化到15*15大小；2、 计算这个图像块与在线模型的相关相似度；3、 如果相似度太小、方差太小或者被识别为负样本，就不进行重新训练了，结束学习过程，否则继续（本人认为此时目标被遮挡了，不宜将被跟踪的目标 添加到训练样本集中）4、 生产样本（1） 集合分类器的样本1） 计算所有扫描窗口与目标的重叠度2） 整帧图像中的全部窗口中寻找与该lastbox距离最小（即最相似，重叠度最大）的num_closest_update个窗口，然后把这些窗口归入good_boxes容器同时，把重叠度小于0.2的，归入bad_boxes 容器；3） 然后用仿射模型产生正样本（类似于第一帧的方法，但只产生*10=100个）4） good_boxes的所有正样本加入到fern_examples中，将bad_boxes中相似度大于等于1的负样本放入fern_examples中；（对负样本的要求较高）（2） 最近邻分类器的样本生成：将重叠率小于bad_overlap的窗口添加到nn_examples样本集中5、 利用fern_examples中的