目标跟踪综述

1、东北大学-模式识别与智能系统-田维目录目录 1.课题背景与研究意义 2.国内外研究现状 3.存在的问题 4.总结，发展与展望 5.参考文献1课题背景与研究意义课题背景与研究意义 运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。 智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来发展较快，研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到

2、图像处理、计算机视觉、模式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的应用前景。2.国内外研究现状国内外研究现状视频目标跟踪算法基于对比度分析基于匹配核方法运动检测其它方法特征匹配贝叶斯跟踪Mean shift方法光流法基于对比度分析的方法基于对比度分析的方法 算法思想：基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。 分类：边缘跟踪，型心跟踪，质心跟踪。 优缺点：不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。基于特征匹配的目标跟踪算法基于特征匹配的目标跟踪算法 算法思想：基于匹配的目标跟踪算法需要提取目标

3、的特征，并在每一帧中寻找该特征。 寻找的过程就是特征匹配过程。 目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多， 如Kanade Lucas Tomasi（KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。 优缺点：特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛

4、采用。贝叶斯跟踪贝叶斯跟踪 卡尔曼滤波 粒子滤波 隐马尔科夫模型 动态贝叶斯模型卡尔曼滤波卡尔曼滤波 基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线性动态系统状态预估的递归算法，它是一个不断地预测与校正的过程。当假设系统状态模型和观测模型都是线性且符合高斯分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最优的滤波器。 局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯型的，对于非线性、非高斯环境而言，不能直接用来解决目标的估计问题。为此，人们开发出各种非线性滤波算法，一种是扩展卡尔曼算法(EKF)，它对非线性系统进行局部线性化，从而间接利用卡尔曼算法进行滤波与估算。但是只适用于滤波误

5、差和预测误差很小的情况，否则，滤波初期估计协方差下降太快会导致滤波不稳定甚至发散。修正增益的推广卡尔曼滤波算法(UKF)虽然通过改善增益矩阵，相应改善了状态协方差的估计性能，但该方法对测量误差有一定限制。若测量误差较大，则算法在收敛精度、收敛时间及稳定性等方面表现得很不理想。粒子滤波粒子滤波 两种变形扩展了KF 的应用范围，但是不能处理非高斯非线性模型，这个时候就需要用粒子滤波（PF）。由于运动变化，目标的形变、非刚体、缩放等问题，定义一个可靠的分布函数是非常困难的，所以在PF 中存在例子退化问题，于是引进了重采样技术。 除了KF 和PF 之外，隐马尔科夫模型（HMMs）和动态贝叶斯模型（DB

6、Ns）也是贝叶斯框架下重要的视觉跟踪方法。HMMs 和DBNs 将运动目标的内部状态和观测量用状态变量（向量）表示，DBNs 使用状态随机变量（向量）集，并在它们之间建立概率关联。HMMs 将系统建模为马尔科夫过程。基于运动检测的目标跟踪算法基于运动检测的目标跟踪算法 基本思想：通过检测序列图像中目标和背景的不同运动来发现目标存在的区域， 实现跟踪。 光流法：光流算法是基于运动检测的目标跟踪的代表性算法。光流是空间运动物体在成像面上的像素运动的瞬时速度，光流矢量是图像平面坐标点上的灰度瞬时变化率。光流的计算利用图像序列中的像素灰度分布的时域变化和相关性来确定各自像素位置的运动， 研究图像灰度在

7、时间上的变化与景象中物体结构及其运动的关系。将二维速度场与灰度相联系，引入光流约束方程，得到光流计算的基本算法。 优缺点：光流场的方法能够很好的用于二维运动估计，它也可以同时给出全局点的运动估计，但其本身还存在着一些问题：需要多次迭代，运算速度慢，不利于实时应用。核方法核方法算法思想：对相似度概率密度函数或者后验概率密度函数采用直接的连续估计。Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪算法反复不断地把数据点朝向MeanShift 矢量方向进行移动，最终收敛到某个概率密度函数的极值点。在Mean Shift 跟踪算法中，相似度函数用于刻画目标模板

8、和候选区域所对应的两个核函数直方图的相似性，采用的是Bhattacharyya 系数。因此，这种方法将跟踪问题转化为Mean Shift 模式匹配问题。核函数是Mean Shift 算法的核心， 可以通过尺度空间差的局部最大化来选择核尺度，若采用高斯差分计算尺度空间差，则得到高斯差分Mean Shift 算法。优缺点：Mean Shift 算法假设特征直方图足够确定目标的位置，并且足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转和尺度运动的估计。为克服以上问题，人们提出了许多改进算法

9、，如多核跟踪算法、多核协作跟踪算法和有效的最优核平移算法等。多特征融合跟踪多特征融合跟踪 基本思想：利用多特征刻画目标是一种非常有效的实现稳健跟踪的方法。不同的特征可以从相同的或者不同的传感器获得，如彩色和轮廓，彩色和梯度，Haar-Like 特征和边缘，角点、彩色和轮廓，彩色和边缘，彩色和Wi-Fi三角化等。 在贝叶斯框架下，有两种方法可以集成多个特征：1） 假设特征之间是统计独立的，可以将多个特征以加权和的形式组合起来；2） 假设多个特征之间的条件关联服从线性约束， 可以将相似度概率密度分布表示为各个特征相似度概率密度分布的线性组合；Towards robust multi-cue int

10、egration for visual tracking 基于强大的多线索融合技术的目标跟踪 Perceptual Computing and Computer Vision Group, ETH Zurich, Switzerland Machine Vision and Applications (2003) 14一般的系统框架一般的系统框架 目标：用多维的时间序列表示，本文中，用90*72的M维时间序列表示目标。 单一线索观察模型：在时间上排序，估计目标在单一线索下n维状态向量产生的视觉线索的概率图序列，每个空间矢量是到n维概率分布P(j)的预测。 例如：如果要估计目标在二维空间的运动。

11、 M(j)表示映射，r(j)表示映射参数多线索融合模型多线索融合模型 模型建立 模型估计 引入反馈 调整参数rc(t)和rj(t) Democratic integration 算法思想：对五个线索建立一个共同估计，这个估计用来评定每个线索，并确定下一时刻该线索的权值。同时每个线索都有自适应性，提高其性能，从而提高整个系统的性能。但是必须满足两个假设：首先，各个线索的共同估计必须占主导地位。其次，环境的变化对视觉线索的影响很小。 将输入量S(t)分成五个线索：强度特征，颜色特征，运动特征，形变特征，对比度特征，每个特征都有其自适应性。 根据前面各特征的影响度，调整各自的权值Wi，使他们能够对不

12、断变化的环境产生反应，集成为一个多状态显示的预估方案估计目标位置定义为合并后的概率分布的最大响应feed back 自适应的权值调整在两个层面上 1.自组织的多线索融合其中qi(t)指观测量与平均响应的概率密度差，用来调节权值，权值Wi为自适应。 2.自适应单线索观察 f函数：抽取一个合适的特征向量Democratic integration 方法局限性的分析方法局限性的分析 颜色突变的情况Soccer sequenceTwo person sequenceIntegration with CONDENSATION 单纯利用感兴趣特征进行目标跟踪，当所选特征突变时，权值的调整会产生误操作，因此

13、有着很大的局限性 可以利用当前帧以及当前帧前一帧做观测模型，充分利用视频信息，并结合多线索特征融合两个方法，建立新的算法。基于上下文跟踪的方法基于上下文跟踪的方法 除了联合使用目标的多特征之外， 还可以充分采用上下文、背景和辅助目标等信息来实现稳健的目标跟踪 如文献12设计了一种考虑上下文的跟踪算法。该算法采用数据挖掘技术在视频中获取辅助目标， 并将辅助目标用在跟踪中。对目标和这些辅助目标的协作跟踪可以获得有效的跟踪性能。这里的辅助目标是至少在一小段时间内和目标同时出现， 和目标具有相同的相关性运动并且比目标更容易跟踪的视频内容。文献13在跟踪算法中，同时采用目标和目标周围背景的特征点，将目标

14、特征点用于跟踪，将背景特征点用于鉴别目标是否被遮挡。3.存在的问题存在的问题 1.运动目标的准确分割动态环境下，光照，阴影等因素对帧图像影响 2.运动目标的相互遮挡目标丢失后如何重新获取目标的引导方法。 3.运动目标的稳定特征提取提取目标的哪些特征，能够取得更好的跟踪效果 4.三维坐标下运动模型的建立鉴于2维模型对角度和遮挡处理的薄弱性。 5.实时性问题提高目标的准确性和实时性4 总结，发展与展望总结，发展与展望由于目标跟踪任务的复杂性，应该根据不同的应用场合选用不同的跟踪方法。在系统设计中，应该跟据具体的精度要求、稳健性要求、计算复杂度要求和实性要求等采用不同的算法。多种技术的联合应用可以有

15、效克服单一技术的局限性。因此，目标跟踪算法的方向发展为多模跟踪、多特征融合跟踪、基于目标所在的上下文跟踪。参考文献参考文献 1.邵文坤,黄爱民,韦庆，动态场景下的运动目标跟踪方法研究，2006 2.杨静宇，一种基于直方图模式的运动目标实时跟踪算法,胡明昊，任明武，2004.3 3.蔡荣太. 非线性自适应滤波器在电视跟踪中的应用D.北京：中国科学院，2008. 4.SOTO D A，REGAZZONI M C S. Bayesian tracking for video analyticsJ.IEEE Signal Processing Magazine，2010，27（5） 5.王宇. 基于M

16、ean Shift 的序列图像手势跟踪算法J.电视技术，2010，34（6） 6.WU Ying，FAN Jialue. Contextual flow C/Proc. 2009 IEEE International Conference on Computer Vision，Miami，FL，USA：IEEE Press，2009参考文献参考文献 7.蔡荣太，吴元昊，王明佳，吴庆祥,视频目标跟踪算法综述,2010年第34 卷第12 期 8.周娜，基于视觉的运动目标跟踪算法的研究与实现，东北大学硕士论文，2008 9.薛建儒, 郑南宁, 钟小品, 平林江，视感知激励多视觉线索集成的贝叶斯方法与

17、应用,2008 10.M. Spengler and B. Schiele, “Towards Robust Multi-Cue Integration for Visual Tracking,” Machine Vision and Applications,2003 11.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2008参考文献参考文献 12.YANG M，HUA G，WU Y. Con