目标跟踪综述课件

1、目标跟踪综述东北大学-模式识别与智能系统-田维目录1.课题背景与研究意义2.国内外研究现状3.存在的问题4.总结，发展与展望5.参考文献1课题背景与研究意义运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来发展较快，研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到图像处理、计算机视觉、模

2、式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的应用前景。基于对比度分析的方法算法思想：基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。分类：边缘跟踪，型心跟踪，质心跟踪。优缺点：不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。基于特征匹配的目标跟踪算法算法思想：基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。 寻找的过程就是特征匹配过程。目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多， 如Kanade Lucas

3、Tomasi（KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。优缺点：特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。贝叶斯跟踪卡尔曼滤波粒子滤波隐马尔科夫模型动态贝叶斯模型卡尔曼滤波基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线性动态系统状态预估的递归算法，它是一个不断地预测与校正的过程。当假设系统状态模型和观测模型都是线性且

4、符合高斯分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最优的滤波器。局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯型的，对于非线性、非高斯环境而言，不能直接用来解决目标的估计问题。为此，人们开发出各种非线性滤波算法，一种是扩展卡尔曼算法(EKF)，它对非线性系统进行局部线性化，从而间接利用卡尔曼算法进行滤波与估算。但是只适用于滤波误差和预测误差很小的情况，否则，滤波初期估计协方差下降太快会导致滤波不稳定甚至发散。修正增益的推广卡尔曼滤波算法(UKF)虽然通过改善增益矩阵，相应改善了状态协方差的估计性能，但该方法对测量误差有一定限制。若测量误差较大，则算法在收敛精度、收敛时间及稳定性

5、等方面表现得很不理想。除了KF 和PF 之外，隐马尔科夫模型（HMMs）和动态贝叶斯模型（DBNs）也是贝叶斯框架下重要的视觉跟踪方法。HMMs 和DBNs 将运动目标的内部状态和观测量用状态变量（向量）表示，DBNs 使用状态随机变量（向量）集，并在它们之间建立概率关联。HMMs 将系统建模为马尔科夫过程。核方法算法思想：对相似度概率密度函数或者后验概率密度函数采用直接的连续估计。Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪算法反复不断地把数据点朝向MeanShift 矢量方向进行移动，最终收敛到某个概率密度函数的极值点。在Mean Shift

6、 跟踪算法中，相似度函数用于刻画目标模板和候选区域所对应的两个核函数直方图的相似性，采用的是Bhattacharyya 系数。因此，这种方法将跟踪问题转化为Mean Shift 模式匹配问题。核函数是Mean Shift 算法的核心， 可以通过尺度空间差的局部最大化来选择核尺度，若采用高斯差分计算尺度空间差，则得到高斯差分Mean Shift 算法。优缺点：Mean Shift 算法假设特征直方图足够确定目标的位置，并且足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转和尺度运动的估计

7、。为克服以上问题，人们提出了许多改进算法，如多核跟踪算法、多核协作跟踪算法和有效的最优核平移算法等。Towards robust multi-cue integration for visual tracking基于强大的多线索融合技术的目标跟踪Perceptual Computing and Computer Vision Group, ETH Zurich, SwitzerlandMachine Vision and Applications (2003) 14一般的系统框架目标：用多维的时间序列表示，本文中，用90*72的M维时间序列表示目标。单一线索观察模型：在时间上排序，估计目标在单

8、一线索下n维状态向量产生的视觉线索的概率图序列，每个空间矢量是到n维概率分布P(j)的预测。 例如：如果要估计目标在二维空间的运动。 M(j)表示映射，r(j)表示映射参数多线索融合模型模型建立模型估计引入反馈 调整参数rc(t)和rj(t) Democratic integration算法思想：对五个线索建立一个共同估计，这个估计用来评定每个线索，并确定下一时刻该线索的权值。同时每个线索都有自适应性，提高其性能，从而提高整个系统的性能。但是必须满足两个假设：首先，各个线索的共同估计必须占主导地位。其次，环境的变化对视觉线索的影响很小。将输入量S(t)分成五个线索：强度特征，颜色特征，运动特征

9、，形变特征，对比度特征，每个特征都有其自适应性。feed back自适应的权值调整在两个层面上1.自组织的多线索融合其中qi(t)指观测量与平均响应的概率密度差，用来调节权值，权值Wi为自适应。2.自适应单线索观察 f函数：抽取一个合适的特征向量Soccer sequenceTwo person sequence基于上下文跟踪的方法除了联合使用目标的多特征之外， 还可以充分采用上下文、背景和辅助目标等信息来实现稳健的目标跟踪如文献12设计了一种考虑上下文的跟踪算法。该算法采用数据挖掘技术在视频中获取辅助目标， 并将辅助目标用在跟踪中。对目标和这些辅助目标的协作跟踪可以获得有效的跟踪性能。这里的

10、辅助目标是至少在一小段时间内和目标同时出现， 和目标具有相同的相关性运动并且比目标更容易跟踪的视频内容。文献13在跟踪算法中，同时采用目标和目标周围背景的特征点，将目标特征点用于跟踪，将背景特征点用于鉴别目标是否被遮挡。3.存在的问题1.运动目标的准确分割动态环境下，光照，阴影等因素对帧图像影响2.运动目标的相互遮挡目标丢失后如何重新获取目标的引导方法。3.运动目标的稳定特征提取提取目标的哪些特征，能够取得更好的跟踪效果4.三维坐标下运动模型的建立鉴于2维模型对角度和遮挡处理的薄弱性。5.实时性问题提高目标的准确性和实时性4 总结，发展与展望由于目标跟踪任务的复杂性，应该根据不同的应用场合选用

11、不同的跟踪方法。在系统设计中，应该跟据具体的精度要求、稳健性要求、计算复杂度要求和实性要求等采用不同的算法。多种技术的联合应用可以有效克服单一技术的局限性。因此，目标跟踪算法的方向发展为多模跟踪、多特征融合跟踪、基于目标所在的上下文跟踪。参考文献7.蔡荣太，吴元昊，王明佳，吴庆祥,视频目标跟踪算法综述,2010年第34 卷第12 期8.周娜，基于视觉的运动目标跟踪算法的研究与实现，东北大学硕士论文，20089.薛建儒, 郑南宁, 钟小品, 平林江，视感知激励多视觉线索集成的贝叶斯方法与应用,200810.M. Spengler and B. Schiele, “Towards Robust M

12、ulti-Cue Integration for Visual Tracking,” Machine Vision and Applications,200311.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008参考文献12.YANG M，HUA G，WU Y. Context-aware visual trackingJ.IEEE Transactions on Pattern Analysis and Machine