目标跟踪-深度学习ppt课件

1、深度学习在目标跟踪中的应用,经典目标跟踪方法 基于深度学习的目标跟踪方法 跟踪方面的资料,经典目标跟踪方法 基于深度学习的目标跟踪方法 跟踪方面的资料,构建目标描述模型时，模型可分为产生式模型和判别式模型。 产生式模型主要是通过计算目标和样本的联合概率，找到与目标模型最相近的样本作为当前目标状态的估计。 判别式模型则是计算条件概率，直接判断样本是否为目标。 根据构建模型的不同，跟踪算法可以分为：产生式方法、判别式方法 产生式方法 通过建立描述目标外观形状的模型来实现跟踪。即在下一帧图像中寻找最接近目标模型的物体的位置。这种“最接近”通常用最大似然或最大后验概率的形式来表示。 产生式方法着眼于对

2、目标本身的刻画，忽略背景信息，在目标自身变化剧烈或者被遮挡时容易产生漂移。 产生式方法分为：点跟踪、核跟踪、轮廓跟踪、基于稀疏表示的跟踪,判别式方法 把跟踪看成目标和背景的分类问题，与传统的跟踪算法不同，它不需要建立复杂的观测模型来描述目标，而是通过训练分类器来将目标从背景中提取出来。 分类器常用于目标检测中，在背景中检测目标的位置。在背景中得到了目标的位置也就实现了目标跟踪。因此，这种方法也被称作基于检测的跟踪（Tracking-by-Detection） 判别式方法因为显著区分背景和前景的信息，表现更为鲁棒，在目标跟踪领域占据主流地位。 值得一提的是，目前大部分深度学习目标跟踪方法也归属于

3、判别式框架,判别式方法的主要步骤： 已知目标初始位置，抽样提取当前帧的正负样本，在线训练分类器； 读入下一帧图像，一般假设前后两帧目标的位置不变，在目标位置周围抽取图像样本； 将抽取的样本送入之前训练的分类器，根据分类器得分最高的样本即可确定目标的新位置。 由于目标的各种外观信息都包含在训练分类器所需的正负样本中，因而判别式方法具有很好的鲁棒性，能够有效地处理真实场景中遇到的目标尺度变化、光照变化、部分遮挡等问题,判别式方法采用的分类器有很多种： 1）Boosting分类器 2）贝叶斯分类器 3）SVM（支持向量机）分类器 4）随机森林分类器 5）RLS（正则化最小二乘法）分类器 6）神经网络

4、分类器 7,经典目标跟踪方法 基于深度学习的目标跟踪方法 跟踪方面的资料,不同于检测、识别等视觉领域深度学习一统天下的趋势，深度学习在目标跟踪领域的应用并非一帆风顺，其主要问题在于训练数据的缺失。 深度模型的魔力之一来自于对大量标注训练数据的有效学习，而目标跟踪仅仅提供第一帧的bounding-box作为训练数据。这种情况下，在跟踪开始针对当前目标从头训练一个深度模型困难重重。 目前基于深度学习的目标跟踪算法采用了几种思路来解决这个问题： 1、利用辅助图片数据预训练深度模型，在线跟踪时微调 2、利用现有大规模分类数据集预训练的CNN分类网络提取特征 3、利用跟踪序列预训练，在线跟踪时微调 4、

5、运用递归神经网络进行目标跟踪的新思路,1、利用辅助图片数据预训练深度模型，在线跟踪时微调 在目标跟踪的训练数据非常有限的情况下，使用辅助的非跟踪训练数据进行预训练，获取对物体特征的通用表示(general representation )。在实际跟踪时，通过利用当前跟踪目标的有限样本信息对预训练模型微调(fine-tune)，使模型对当前跟踪目标有更强的分类性能。 这种迁移学习的思路极大的减少了对跟踪目标训练样本的需求，也提高了跟踪算法的性能。 代表性文章：DLT、SO-DLT（都出自香港科技大学王乃岩博士） DLT(NIPS2013)Learning a Deep Compact Image

6、 Representation for Visual Tracking SO-DLT(arXiv2015)Transferring Rich Feature Hierarchies for Robust Visual Tracking,2、利用现有大规模分类数据集预训练的CNN分类网络提取特征 直接使用ImageNet这样的大规模分类数据库上训练出的CNN网络如VGG-Net获得目标的特征表示，之后再用观测模型(observation model)进行分类获得跟踪结果。 这种做法既避开了跟踪时直接训练large-scale CNN样本不足的困境，也充分利用了深度特征强大的表征能力。 代表性文章

7、：FCNT、HCF FCNT(ICCV15)Visual Tracking with Fully Convolutional Networks HCF(ICCV15) Hierarchical Convolutional Features for Visual Tracking,3、利用跟踪序列预训练，在线跟踪时微调 前面介绍的两种解决训练数据不足的策略和目标跟踪的任务本身存在一定偏离。有没有更好的办法呢？ VOT2015冠军MDNet给出了一个示范。该方法在OTB50上也取得了OPE准确度绘图0.942，OPE成功率绘图0.702的惊人得分。 代表性文章：MDNet MDNet(CVPR20

8、16) Learning Multi-Domain Convolutional Neural Networks for Visual Tracking,4、运用递归神经网络进行目标跟踪的新思路 近年来RNN尤其是带有门结构的LSTM，GRU等在时序任务上显示出了突出的性能。不少研究者开始探索如何应用RNN来做解决现有跟踪任务中存在的问题。 代表性文章：RTT、DeepTracking RTT(CVPR16) Recurrently Target-Attending Tracking DeepTracking: Seeing Beyond Seeing Using Recurrent Neural Networks(AAAI16,上面三种解决训练数据缺失的思路各有千秋，但使用跟踪序列预训练的方法更贴合跟踪任务的本质，因此更值得关注。同时，基于RNN的目标跟踪算法还有很大提