基于视频的运动目标检测与跟踪技术研究.ppt

1、基于视频的运动目标检测与跟踪技术研究,高 琳 2010.11,内容提要,1. 研究背景 2. 主要研究工作 3. 总结创新处 4. 进一步研究的内容,视频运动目标检测与跟踪是计算机视觉领域中的一个核心问题 机器人 视频压缩 医疗诊断 人机交互 智能视频监控,论文背景,论文背景,视频监控在银行、电力、交通、安检以及军事设施等领域的安全防范和现场记录报警等方面有着非常广泛的应用。,统计数据显示，英国目前有400多万个摄像机，而伦敦的居民平均每个人每天要被摄像机拍摄300次。,公安部主导的“平安城市”计划，促进了视频监控市场的迅速增长，全国约有200万个监控摄像机用于城市监控与报警系统。,青藏铁路全

2、线1300路通道采用视频分析，对全线铁路进行入侵保护。,监控技术发展的三个阶段,当今社会信息的高度密集化、复杂化。人们所面临的突发事件、异常事件越来越多传统的人力视频监控已经达不到实时处理突发事件的目的,1 vs 1,1 vs N,智能视频监控系统是利用计算机视觉技 术，在不需要人为干预的情况下，对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而使视频监控系统具有像人一样的智能。,视频运动目标的检测和跟踪是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。,低层视觉处理,中层视觉处理,高层视觉处理,智能视频监视系统的基本框架,视频

3、运动目标的检测和跟踪也是近年来的一个研究热点，许多重要国际会议和期刊发表了大量目标检测与跟踪方面的论文。,图像处理、计算机视觉的顶级会议和期刊 会议 ICCV： International Conference on Computer Vision CVPR： International conference on Computer Vision and Pattern Recognition ECCV： European Conference on Computer Vision 期刊 PAMI： IEEE Transactions on Pattern Analysis and Machi

4、ne Intelligence IJCV： International Journal of Computer Vision PR： Pattern Recognition. TIP： IEEE Transactions on Image Processing IVC： Image and Vision Computing,利用序列图像在时间和空间上的冗余信息， 将场景中的运动目标从背景中分离出来。主要 困难在于光照变化、背景物运动干扰、运动目 标阴影以及摄像机运动等干扰因素。 主要方法： 帧间差法 光流法 背景减除法,先对背景进行建模，然后将当前帧与背景模型进行比较，区分出前景和背景。,运动

5、目标检测,目标跟踪的目的就是通过对视频数据的处理 与分析，将图像序列中不同帧内同一运动目标关 联起来，从而计算出目标的运动参数，如位置、 速度、加速度以及运动轨迹等。 视频目标跟踪问题分类： 照摄像机的数目：单摄像机跟踪和多摄像机跟踪 目标的性质：刚体目标和非刚体目标的跟踪 跟踪目标的数目：单目标跟踪和多目标跟踪 ,运动目标跟踪,按照其执行的先后顺序，主要有两种方式： .先检测后跟踪,运动目标检测与跟踪的关系,t 时刻,t+1 时刻,.边检测边跟踪 将目标的检测与跟踪相结合，利用跟踪结果来确定检测所要处理的区域范围，跟踪时则利用检测来获得目标状态的观测。,运动目标检测与跟踪的关系,(c),(b

6、),(a),内容提要,1. 研究背景 2. 主要研究工作 3. 总结创新处 4. 进一步研究的内容,1. 视频运动目标检测 基于背景模型的运动检测 2. 视频单目标跟踪 目标表示模型的建立 特征空间选择，模型更新，漂移问题 3. 视频多目标跟踪 数据关联，目标之间的相互遮挡,主要研究工作,视频运动目标检测,背景减除法是运动目标检测的主流方法，先对背 景进行建模，然后将当前帧与背景模型进行比较，区 分出前景和背景。 由于背景通常不是静止不变的，会随着环境的变 化而变化，如何建立一种能够适应环境变化的背景模 型，是背景减除法的研究重点。,背景减除法,统计背景模型： 单高斯模型 混合高斯模型 非参数

7、模型 ,单高斯模型：假定每个像素特征在时间域上的分 布可以由单个高斯分布来描述,混合高斯模型(GMM)：为了描述分布形式更为复 杂的背景，有必要应用到多模态的分布形式。,经典GMM方法中存在的问题,基于像素建模，计算量大 忽略了图像结构信息 高斯成分数目难以确定,GMM改进方法 引入MRF 非参数密度估计 高斯个数自适应选择 ,GMM模型定义 高斯成分 每个成分的权重,更新权重 对于匹配的成分，更新其均值和方差,为指示变量，若高斯成分与 匹配,GMM模型更新,，否则,GMM模型估计,根据 对高斯成分进行递减排序 前面b个成分作为背景分布，其余成分为前景分布 T: 背景高斯成分在整个分布中所占的

8、最小比重，可以看成是超像素点为背景点的最小先验概率,1. 视频运动目标检测 基于背景模型的运动检测 2. 视频单目标跟踪 目标表示模型的建立 特征空间选择，模型更新，漂移问题 3. 视频多目标跟踪 数据关联，目标之间的相互遮挡,主要研究工作,基于概率图模型目标建模的视觉跟踪算法,可分性 目标模型与背景具有足够的可区分性; 一致性 在相邻帧之间,前景在前景模型上的测量值具有良好的连 续性和稳定性;,目标表示模型,对跟踪目标的特征描述，在初始帧通过手工或 自动初始化，用于后续帧中的匹配搜索，以找出与 模型最相似的目标区域。,颜色直方图 忽略了目标的空间结构信息 Snake轮廓模型 仅考虑目标的边界

9、，在目标与背景容易混淆 的情况下，目标模型通常容易退化 局部特征模型 一组局部特征来表示，缺乏目标的全局 结构 信息，稳定性较弱，易受噪声、目标姿态以及光 照条件的影响。 2D/3D空间模型 模型参数估计的运算量很大，并且难以保证 模型的精度。,常见的目标模型,本文的目标模型,思考：如何建立一种目标模型，能够统一描述目标的全局特征和局部特征。 设计一种基于概率图模型的目标表示模型，利用具有仿射不变性的局部区域特征描述目标的细节信息，全局上则用特征间的空间约束关系反映目标的空间结构信息，通过概率图模型将这些信息结合起来。,MSER特征,MRF,概率图模型在概率论和图论之间架起了一座桥梁，能够有效

10、解决应用数学和工程中的两个重要问题：不确定性和复杂性。常用的有，贝叶斯网络(BN),马尔可夫随机场(MRF)和条件随机场模型(CRF)等,节点(Nodes) ：随机变量 （局部特征的状态） 边(Edges)：变量之间的概率关系,拓扑结构,根据特征区域的尺度以及和特 征间的欧式距离来定义节点间的邻 域关系,图模型中节点 的邻域 定义为,模型的定义,为节点 所对应的椭圆参数。,模型的定义,势函数,特征状态节点 之间的势函数,状态节点 与对应观测 之间的似然函数,跟踪算法框图,空间域上概率图模型的状态配置推断,根据当前时刻的图像观测 ，在定义的图模型中进行贝叶斯推断，得到所有节点的联合状态后验概率分

11、布,采用信任传播算法(Belief Propagation,BP)，通过消息传播的方式，计算后验概率,时间域上的粒子滤波跟踪,在概率图模型中，每个节点的状态表示为空间中的概率分布函数，由于目标状态的变化可以认为是分布函数在时间域上的传播过程，因此跟踪问题可作为概率推断问题，顺序地推断每个时刻下状态的概率分布。,t 时刻,t +1 时刻,实验结果,本文算法,文献33,文献98,33 Comaniciu, D., V. Ramesh and P. Meer, Kernel-based object tracking. IEEE Transactions on Pattern Analysis an

12、d Machine Intelligence, 2003. 25(5): p. 564-577.,98 Nummiaro, K., E. Koller-Meier and L.V. Gool, An adaptive color-based particle filter. Image and Vision Computing, 2003. 21(1): p. 99-110,实验结果,位置误差,相对尺度误差,场景不同位置处的光照条件有所不同，并且被跟踪的行人朝着摄像机的方向行走，因此在图像上的尺度变化较大。,实验结果,本文算法,文献33,文献98,部分遮挡情况下的跟踪结果,1. 视频运动目标检

13、测 基于背景模型的运动检测 2. 视频单目标跟踪 目标表示模型的建立 特征空间选择，模型更新，漂移问题 3. 视频多目标跟踪 数据关联，目标之间的相互遮挡,本论文的主要工作,基于特征空间自适应选择的视频跟踪算法,监视场景中，由于光照变化，背景变化或是目标尺寸变化，目标的外观会发生改变，采用固定目标模型的视觉跟踪方法通常不能适应这些变化，需要不断对模型进行调整更新。,根据目标的外观变化直接调整目标模型的参数,先定义一个特征空间集，跟踪过程中将目标模 型转换到当前选择的特征空间下。,模型更新,更新方法,在选择的特征空间下，利用特征直方图描述目标和背景,目标直方图,背景直方图,目标区域和背景区域,颜

14、色特征空间集,RGB三个色彩分量的49种线性组合,对于选择的特征空间，目标和背景之间差异越大，越适合于目标跟踪。,2g-b,r-2g+2b,2r-g,-r+2g+b,通过引入信息论中的交叉熵来衡量前景目标与背景之间的差异。,特征空间选择,交叉熵(Cross Entropy)作为信息熵的一种应用，可以看成是两个概率分布之间的信息量差异。为了方便，算法中我们应用交叉熵的对称形式，即对称交叉熵：,分别为目标和背景的特征直方图,选择 最大的特征空间作为当前特征空间：,似然图像,根据目标和背景特征直方图，计算特征值 所对应的对数似然比,交叉熵 由小到大,偏移问题(Drift Problem),模型更新的

15、一个主要难点是模型的偏移问题(Drift Problem)。由于遮挡物或背景象素的影响，目标模型在更新时，利用了错误的信息造成模型误差，随着跟踪过程的推进，更新中的累计误差使模型对目标的描述能力逐渐减弱，造成目标模型与目标观测间的匹配度下降。减小非目标观测对目标模型的影响，是解决偏移问题的关键。,通过前景目标分割的方法，减小背景对目标模型的影响。 利用二维CRF (Conditional Random Field) 模型对跟踪目标的时空上下文信息进行建模，然后使用近似推断算法估计出模型的全局最优解，实现对目标象素点的标记。,前景目标分割,颜色特征函数,光流特征函数,连通性约束函数,前景目标分割

16、,给定图像帧,的后验概率,定义为：,CRF模型直接对标记变量,分布进行建模 ，后验概率,CRF模型参数学习和推断,利用条件极大似然 (Conditional Maximum Likelihood) 准则训练该条件判别模型：,随机梯度增长算法搜索参数 的最优解，学习规则为,例如，时域势函数 系数 按下式迭代更新,CRF模型参数学习和推断,采用极大后验边缘准则(Maximum Posterior Marginals, MPM)求取概率上最优的标记场 ，每个标记变量 的值按 下式计算：,其中 用LBP (Loop Belief Propagation)算法计算得到 。,跟踪算法流程图,实验结果,混淆

17、背景,实验结果,部分遮挡,本文算法,文献41,41 Collins, R. and Y. Liu, On-Line selection of discriminative tracking features. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2005. 27(10): p. 1631-1643.,实验结果,本文算法,文献41,目标尺度变化,1. 视频运动目标检测 基于背景模型的运动检测 2. 视频单目标跟踪 目标表示模型的建立 特征空间选择，模型更新，漂移问题 3. 视频多目标跟踪 数据关联，目标之间的相互遮挡,

18、主要研究工作,概率多目标跟踪算法,数据关联：在观测数据和目标之间建立起对应关系 状态估计：每个目标根据其对应的观测进行状态估计,与单目标跟踪相比，多目标跟踪增加了数据关联问题。多目标跟踪的过程可以划分为以下两个阶段：,最近邻算法 联合概率数据关联滤波器（JPDAF） 多假设跟踪算法（MHT）,数据关联方法,为了处理多目标跟踪中的不确定性，近年来，基于贝叶斯理论的方法被大量应用于视频多目标跟踪问题，这些方法在贝叶斯理论框架下，将多目标跟踪问题转化成一个推断目标状态最大后验概率的过程。,为每个目标分配一个单目标跟踪器，相互独立地跟踪每个目 标，通过设计一些特殊的方法来处理目标之间的交互和遮挡 问题。 通过提高目标状态空间的维数，构造出包含所有目标的联合 状态空间，并在构造的空间中估计所有目标的联合状态。,目标状态估计,维数灾难问题,贝叶斯框架下有两类方法:,跟踪问题可以看成是一个动态系统的状态估计问题，对动态系统的分析和推断一般需要建立状态空间模型。,表示 时刻的目标状态（如目标的位置，速度，尺度等）,观测方程,贝叶斯滤波跟踪,状态转移方程,表示 时刻的目标观测,贝叶斯滤波的基本原理就是在所有已知信息的基础上，推断系统状态变量的后验概率密度分布。针对视频跟踪问题，贝叶斯滤波就是从所有得到的图像观测数据 ，推断出当前时刻（时刻 ）目标状态的后