（应用数学专业论文）基于颜色和头部轮廓的粒子滤波跟踪算法.pdf

中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 基于颜色和头部轮廓的粒子滤波跟踪算法 专业：应用数学 硕士生：孙国伟 导师：戴道清教授 摘要 运动目标跟踪是计算机视觉中的一个重要而备受关注的研究内容。人类通过 感官感知外界的信息，而视觉信息是人类获取的主要信息。运动图像序列中包含 了比静态图像更多的有用信息，目标跟踪则是随着数字视频技术的发展及应用而 产生的一个新的研究课题，其在智能监控、感知接口、运动分析、虚拟现实等许 多领域有广泛的应用前景。 本文研究对单人头部运动的跟踪，讨论了在贝叶斯框架下一般的目标跟踪问 题，介绍了粒子滤波的通用算法，对基于顺序重要性采样的粒子滤波算法进行了 详细推导和总结，提出了一种基于颜色和头部轮廓的粒子滤波跟踪算法。目前已 经提出的一些跟踪方法，大多数基于单一图像信息，显然，多信息的融合，能够 提供更加可信赖的状态估计。本文认为人的头部可以用椭圆近似，结合头部轮廓 和面部区域的互补性，可以融合两个不同的模型来表示目标，一个为基于轮廓误 差的椭圆模型，另一个为基于内部区域颜色的颜色直方图模型：这样，一方面利 用边缘的精确定位提高评价的准确性，另二方面利用区域的丰富信息提高鲁棒 性。考虑到目标的运动在相邻的视频帧之间有一定的连续性和规律性，本文采用 自适应速度模型来刻画目标的运动。最后利用粒子滤波实现目标的跟踪。对测试 序列的实验表明本文提出的跟踪算法能较好地克服光照和姿态的变化，在背景比 较复杂的情形下也能实现对目标的跟踪。 关键词：颜色直方图，轮廓误差，贝叶斯跟踪，粒子滤波 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 h e a d t r a c k i n gb a s e do nc o l o ra n dc o n t o u r w i t hp a r t i c l ef i l t e r m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ：g n o w e is u n s u p e r v i s o r ：p r o f e s s o rd a o q i n gd a i a b s t r a c t m o v i n go b j e c t st r a c k i n gi so n eo ft h ea c t i v er e s e a r c hd i r e c t i o ni nt h ef i e l do f c o m p u t e rv i s i o n p e o p l eg e tt h ee x o t e r i ci n f o r m a t i o nb ys e n s e ，a n dv i s i o ni n f o r m a t i o n i st h em a i nk n o w l e d g et h e yg e t i m a g es e q u e n c e so fm o v i n go b j e c tc o n t a i nm o r e i n f o r m a t i o nt h a ns t a t i ci m a g e s ，w h i l eo b j e c tt r a c k i n gi san e wr e s e a r c hs u b j e c tw i t h t h ed e v e l o p m e n to fd i g i t a lv i d e of r e q u e n c yt e c h n o l o g y i th a si m p o r t a n ts i g n i f i c a n c e i ns c i e n c ea n de n g i n e e r i n ga n dp o t e n t i a l l yw i d e s p r e a da p p l i c a t i o n si nm a n yd o m a i n s ， s u c ha ss m a r ts u r v e i l l a n c e ，p e r c e p t u a li n t e r f a c e ，m o t i o na n a l y s i s ，v i r t u a lr e a l i t y i nt h i sp a p e r ，w er e s e a r c ht h eh e a d - t r a c k i n go fs i n g l ep e o p l ei ni m a g e ss e q u e n c e s t h et h e s i sd i s c u s s e st h eg e n e r a lo b j e c t st r a c k i n gp r o b l e mu n d e rt h ef r a m eo fb a y e s i a n e s t i m a t i o na n dt h ec o m m o na l g o r i t h mo fp a r t i c l ef i l t e r t h ep a r t i c l ef i l t e rb a s e do n s e q u e n t i a li m p o r t a n c es a m p l i n gi sd e d u c e di nd e t a i l w ep r e s e n tap a r t i c l ef i l t e r b a s e dv i s u a lt r a c k i n gw i t hc o l o ra n ds h a p ec u e sf u s i o n v a r i o u st r a c k i n ga l g o r i t h m s h a v eb e e np r o p o s e ，h o w e v e r ，m o s to ft h e ma r eb a s e do nas i n g l ei m a g ec u e i ti sc l e a r t h a tm u l t i p l ec u e sf u s i o nc a np r o v i d em o r er e l i a b l eo b s e r v a t i o n i nt h i sp a p e r ，w eu s e a ne l l i p s et or e p r e s e n tt h eh u m a nh e a d c o m b i n i n gt h ek n o w l e d g eo fh e a dc o n t o u r a n df a c ec h a r a c t e r i s t i c ，w ei n o s c u l a t et w od i f f e r e n tm o d e l st or e p r e s e n to u ro b j e c t ， o n ei se l l i p s em o d e lb a s e do nc o n t o u re r r o r ，t h eo t h e ri sc o l o rh i s t o g r a mm o d e lb a s e d o nc o l o ri n f o r m a t i o no fi n n e ro b je c ta r e a t h e no no n eh a n dw ec a ni m p r o v et h e c o r r e c t n e s sb yp r e c i s eo r i e n t a t i o no fe d g e ，o nt h eo t h e rh a n d ，i m p r o v er o b u s t n e s so f a l g o r i t h mb yr i c hi n f o r m a t i o no fi n n e ro b j e c t w h e nc o n s i d e r i n gt h es p a c ec o n t i n u i t y a n dr e g u l a r i t yo ft h em o v i n go b j e c tb e t w e e nn e i g h b o r h o o df r a m e s ，w eu s ea d a p t i v e v e l o c i t ym o d e lt od e s c r i b em o v i n go b j e c t ，t h e nu s ep a r t i c l ef i l t e rt ot r a c kt h eo b j e c t t h em e t h o di sd e m o n s t r a t e dt ob er o b u s tt oi ni l l u m i n a t i o nc h a n g e s ，p o s ev a r i a t i o n a n dc l u t t e rb a c k g r o u n d sf o rt h et e s ti m a g es e q u e n c e s k e y w o r d s ：c o l o rh i s t o g r a m ，c o n t o u re r r o r ，b a y e s i a nt r a c k i n g ，p a r t i c l ef i l t e r i n g i i 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 1 1 研究背景及意义 第1 章引言 运动目标跟踪是计算机视觉中的一个重要而备受关注的研究内容，运动图像 为我们提供了比单一图像更为丰富的信息。运动图像分析是各种图像处理方法的 一种综合应用，是所有计算机视觉研究的个重要课题，它在八十年代初期随着 计算机技术的巨大发展而逐渐发展起来，主要研究内容是对图像中感兴趣的对象 的运动和距离进行计算。 对从图像序列中解释运动这一问题的广泛研究，起源于1 9 7 9 年在美国费城 的宾夕法尼亚大学召开的一个名为“时变图像的计算机分析( c o m p u t e ra n a l y s i s o ft i m e - v a r y i n gi m a g e r y ) ”的专题讨论会，此后，一些补充会议的召开，和各 种专题杂志的出现，则促进了这一研究领域的理论的发展和结果的推广。当前， 国际上一些权威期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv isi o n ) 、 c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s o n p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o n c o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e r v i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、 i w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e ) 等都将对动态 图像的分析和研究作为主题内容之一，为该领域的研究人员提供了更多的交流机 会d i 2 】【3 】【1 0 】【1 7 1 。 近年来，人们对于动态图像分析研究的兴趣仍然在不断地增长，这主要归功 于以下两个方面：( 1 ) 计算和存储成本的大幅度下跌，使得以视频速率或近似 视频速率采集存储图像序列成为可能，视频序列中连续两帧之间不会发生剧烈变 化，这种信息冗余对于目标跟踪或运动分割极为有用，但是要完全利用图像序列 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 中的冗余信息仍然是一个富有挑战性的任务；( 2 ) 动态图像分析在科学技术研 究和工程应用上有着十分诱人的前景，这是推动这项研究的主要动力。 而与图像序列运动目标跟踪有关的应用主要有以下j l 个方面2 】【3 】【 】： ( 1 ) 智能监控( s m a r ts u r v e i l l a n c e ) 智能监控【6 】【1 0 1 系统的需求主要来自那些对安全要求敏感的场合，如银行、 商店、自动售货机、a t m 机、停车场等。目前监控摄像机在商业应用中已经普遍 存在，在很多情况下，视频数据只是作为“事后事实”，这使得视频监控系统丧 失了其应有的主动性和实时性的优势。而我们需要的监控系统应能够每天连续 2 4 小时的实时监视，并自动分析摄像机捕捉的图像数据，当盗窃发生或发现具 有异常行为的可疑的人时，系统能向保卫人员准确及时地发出警报，从而避免犯 罪的发生，同时也可以减少雇佣大批监视人员所需要的人力、物力和财力的投入。 另一方面，为预防和阻止犯罪，对无人值守的自动视频监控系统的需求量日益上 升，这类系统的主要目的是减少对繁琐人工的依赖，自动完成对复杂环境中人禾j 车辆等感兴趣的目标进行实时观测以及对目标的行为和交互进行分析和描述。 ( 2 ) 感知接口( p e r c e p t u a li n t e r f a c e ) 人机交互意味着机器具有行为理解的能力，在高级用户接口应用领域中，我 们希望未来的机器能像人一样与我们更加容易和便捷地交流，如手势驱动控制、 手语翻译等。现实生活中，人与人之间的信息交流主要是依靠语言，并适当结合 手势、身体姿势和面部表情等，因此视觉信息可以作为语音和自然语言理解的有 效补充来完成更加智能的人机交互。实现这一目标的可能的方式之一是机器具有 识别与理解人的姿势、动作、手势的能力，其技术关键是可靠准确的跟踪技术。 这就要求未来的计算机必须具备感知外部环境的能力，即代替传统的键盘或鼠标 输入模式、独立地提取周围环境的重要信息( 如检测到人的存在等) ；更进一步 的能力是进行人的识别和行为理解，结合面部表情、身体姿势和手势等【1 4 儿1 9 】【2 0 1 的 分析来与人进行相应的交流。 ( 3 ) 运动分析( m o t i o na n a l y s i s ) 从图像中分割人体部分，并在图像序列中跟踪分析感兴趣的肢体、关节等的 运动1 儿2 1 ，对于建立人体的几何模型、解释人体的运动行为机制从而提高它的运 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 动性能有着积极的推动作用；图像序列运动目标跟踪也可以应用于从大量的体育 活动数据库中进行基于内容的快速搜索【2 8 】；从图像序列中分割人体部分还可以 应用于医疗领域，人体运动参数为评价残疾、诊断疾病，确定康复和治疗方案提 供了重要的依据等。 ( 4 ) 虚拟现实( v i r t u a lr e a l i t y ) 虚拟现实是跟踪的又一重要应用领域，目前许多电脑游戏中人的形体、运动 和行为交互的设计逼真性实际得益于物理空间中人的运动分析，可靠的跟踪人脸 特征变化可以提供有关表情和头部运动变化的相关信息，为网上交流和演员练习 提供了有价值的视觉反馈：基于互联网络的交互式空间的开发刚刚起步，如虚拟 聊天室，它在通过文本交流的同时可以通过二维图标来导航用户，如果增加手势、 头的姿势、面部表情等线索，将会给参与者们提供更加丰富的交互形式：另外， 运动目标跟踪在视频会议、人物动画、虚拟工作室等其它虚拟现实场合也有着极 其广泛的应用。 1 2 目标跟踪的相关技术和研究现状 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有 关特征的对应匹配问题。由于目标跟踪分类方法繁多，就跟踪视角而言，有对应 于单摄像机的单一视角、对应于多摄像机的多视角和全方位视角；就跟踪方法而 言，有基于模型的跟踪( m o d e l - b a s e dt r a c k i n g ) 、基于区域的跟踪( r e g i o n b a s e d t r a c k i n g ) 、基于活动轮廓的跟踪( a c t i v ec o n t o u rb a s e dt r a c k i n g ) 、基于特 征的跟踪( f e a t u r e b a s e dt r a c k i n g ) ；当然还可以通过跟踪空间( 二维或三维) 、 跟踪环境( 室内或户外) 、跟踪人数( 单人、多人、人群) 、摄像机状态( 运动或 固定) 等方面进行分类。本节只是对目前几种比较常用的目标跟踪算法进行总结。 1 2 1 基于背景消除的跟踪方法 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 从图像序列中分割运动区域的一个常用方法是背景消除，即：阀值非运动区 域估计和当前图像的误差。 最简单的背景消除是差分方法，当摄像机位置相对静止( 如监视某一路口车 流量的固定摄像机) ，那么在不同时刻上获取的图像之间的简单相减使得运动检 测成为可能。差分图像d ( i ，j ) 是个二值图像，其中非零值代表了具有运动的图 像区域，也就是连续图像，l 和，之间具有较大灰度差值的区域： d ( f ，) = 1 矿i i 。, j 。) f - 办p i 飚2 ( 屯i 其中0 为阀值。在相减后的图像中，灰度不发生变化的部分被减掉，这里包 括大部分背景和一小部分目标。对于实际的图像，一般不使用简单相减方法，因 为其抑制噪声能力差。若对一次差分图像，再求二次差分，则更能有效检测出运 动物体。因此，虽然差分方法计算简单，效果很好，但是它要求背景绝对静止， 且对光线的变化非常敏感，因而适合的场合非常有限。 当图像序列连续帧之间背景噪声大、光照变化明显、背景杂乱时，简单的差 分方法难以得到满意的效果。此时可以考虑用自适应背景对消法，c h r i s s t a u f f e r 4 1 认为每个像素都服从混合高斯分布，并实时更新混合高斯模型，像素 分类基于代表它的混合高斯模型是否能有效地被考虑成背景模型：f r i e d m a n 与 r u s s e l 1 9 1 将背景分成目标、阴影和背景三类，并由带权值的三个高斯分布所组 成的混合高斯模型来描述，通过计算图像中每一个像素的概率来判断该像素所属 的类别，利用e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法求解更新方程，以此对模 型的参数实时更新，由于这种方法先验地将像素分为三类，因此对于不属于这三 类的像素不能有效地处理；c r w r e n 等 3 0 1 对跟踪目标是用多类统计模型，但 是用单高斯分布建模每个背景像素，该方法在室内取得了比较好的跟踪效果，但 是对户外环境并不能很好的处理。 1 2 2 基于活动轮廓的跟踪方法 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 活动轮廓模型【7 ”】【9 1 或者称为蛇行( s n a k e ) ，是能量达到最小的曲线，模型 的能量是根据它的形状和在图像中的位置确定的，该能量的局部极小值是与期望 得到的图像属性相关的。活动轮廓模型是一种有效的分割和跟踪工具，它可分为 参数活动轮廓模型和几何活动轮廓模型。 参数活动轮廓模型由k a s s 等人提出，直接用曲线或曲面的参数化形式来 表示曲线或者曲面的变形。用参数表示轮廓线： v ( s ) = ( x ( s ) ，y ( s ) ) 轮廓线的能量定义为： 瓦b = f 瓦出 v ( s ) 协 2 j ： 既， v ( j ) 】+ e 姆【v ( s ) 】+ 巨。 v ( s ) 】) 出 式中，互。，表示主动轮廓线的内部能量；互一表示图像作用力的能量：疋。表示 外部限制作用力产生的能量。曲线在内部力、外部力和约束力的作用下，主动地 向感兴趣的目标轮廓附近移动，当曲线能量最小时，该曲线就是感兴趣目标的轮 廓。由于该方法利用了感兴趣目标的轮廓的全局信息，获得的轮廓是一条封闭的 曲线，又不需要得知感兴趣目标的任何先验知识，因此在边缘检测、图像分割、 目标跟踪和三维重构等方面得到了广泛应用。 几何活动轮廓模型由c a s e l l e s 等人8 1 和m a l l a d i 等人9 1 提出，该模型将主 动轮廓看成两个区域的分界面，主动轮廓的运动过程就是分界面的进化过程，从 数学意义上讲，是更为严格的一种曲线进化过程。几何形变模型表示为： 雩：八一k ) l v o i v o )一= 卅以一 a “” 常数项圪代表常数变形，其作用是压缩或者膨胀主动轮廓，类似于参数形变模型 中的压力：曲率k 代表曲率形变，其作用是光滑主动轮廓，类似于参数形变模型 中的弹力；，为乘性速度停止项，其表达形式为： 1 7 1 + iv q ( x ，y ) i ( x ，y ) i n 速度函数的设计是几何形变模型中最重要的研究热点，速度项在进化中起着关键 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 作用，它不但要保证大d , f u 方向合适，而且要保证进化到对象边界时，轮廓能够 及时停止运动；在出现曲线进化越过了对象边界的情况时，速度项要保证可以返 回到对象边界处，即阻止边界泄漏。 但是，传统的s n a k e 模型存在着两个严重的缺点。首先，初始轮廓必须靠近 感兴趣目标的真实边缘，否则就会得到错误的结果：其次，传统的s n a k e 模型不 能进入感兴趣目标的深凹部分。 针对这些缺点，人们已经提出了很多改进方法，这些方法总体上是通过设计 一个外部力来实现的。有c o h e n 【1 2 1 提出的主动轮廓线的气球模型、距离势能模型、 g v f 2 s n a k e ( g r a d i e n tv e c t o rf l o ws n a k e ) 模型b3 1 等。这些模型都扩大了初始 轮廓的捕获区域，使初始轮廓不必靠近感兴趣目标的真实边缘，降低了对轮廓线 初始化的敏感性。m e n e t 【1 5 1 等人提出了b - s n a k e ，目标轮廓用b 样条来表达，轮 廓的表达更加有效，更加结构化。 1 2 3 基于特征的跟踪方法 许多个体特征都可以用于目标跟踪，但不管运动目标是刚体，还是非刚体， 在图像序列相邻的两帧中，由于图像序列间的采样时间间隔很小，可以认为这些 个体特征基本不变，在运动形式上具有一定的平滑性。因此可以用直线、曲线、 参照点等个体特征来跟踪运动目标。 基于特征的跟踪包括特征的提取和特征的匹配两个过程。p o l a n a 与n e l s o n 的文章【1 1 1 就是一个很好的点特征跟踪的例子，文中将每个行人用一个矩形框封 闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两人出现相互遮 挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行；该方法的优点是 实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅考虑了平移运动，如 果结合纹理、彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外，s e g e n 与p i n g a l i 2 1 1 的跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用 基于位置和点的曲率值的距离度量在连续帧之间进行匹配。 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 基于特征的跟踪方法有其显著的优点：( 1 ) 由于使用的特征运动方式简单， 运动具有平滑性，因此跟踪目标的算法比较简单；( 2 ) 这种方法已经假设特征符 号运动是相互独立的运动，因此在运动分析时可以不区分运动物体是刚体还是非 刚体，也不用管它的几何形状；( 3 ) 跟踪过程中特征容易捕捉，能够匹配到每一 个特征符号。 但是，基于特征的跟踪方法也有其致命的缺点：( 1 ) 伴随着复杂运动的简单 运动，刚体运动目标的特征提取就会产生困难，如圆柱旋转式运动时，运动目标 不可能是匀加速运动，更不可能是匀速运动；( 2 ) 运动初始化时的难点。刚体的 一些特征会因为遮挡而无法识别，因此，基于特征的跟踪算法必须解决目标跟踪 过程中的运动初始化的难点，但这些问题的解决又会使跟踪算法变得非常复杂； ( 3 ) 在改变符号参数和3 d 目标运动参数时，这些参数是非线性的，因此特征跟 踪中恢复的3 d 运动参数对噪声相当敏感。 1 2 4 基于运动估计的跟踪方法 从图像序列中进行运动目标的分割与跟踪是另一种常用技术是运动估计。传 统的运动估计方法是基于光流的方法，它利用运动目标随时问变化的光流特征检 测目标运动参数，通常有基于全局光流场和特征点光流场两种方法。全局光流法 的缺点是计算量大；特征光流法通过特征匹配来求得特征点处的流速，同全局光 流场算法相比较，这种算法具有计算量小和快速灵活的特点，但由于得到的是稀 疏的光流场，因而很难提取运动目标的精确形状。总的说来，由于噪声、多光源、 阴影、透明性和遮挡性等原因，使得计算出的光流场分布不是十分可靠和精确。 而且，多数光流法计算复杂，耗时多( 即便是特征点光流) ，且抗噪性能差，如 果没有特殊的硬件支持，很难实现实时检测。 除了光流估计法以外，对目标状态进行估计的最常用方法是贝叶斯 ( b a y e s i a n ) 滤波2 4 】【3 1 】【3 3 】【3 6 1 。从b a y e s i a n 观点来看，跟踪问题就是在获得截止 k 时刻的数据z 。：。= kf - 1 ，k ) 后，递归计算k 时刻时的状态后验概率密度函 7 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 数p ( x 。iz l ：。) 。在线性高斯情形下，最优b a y e s i a n 滤波就是常规的卡尔曼 ( k a l m a n ) 滤波3 1 1 。而对于非线性、非高斯系统而言，b a y e s i a n 滤波始终没有 好的求解方法。为此，人们开发出各种非线性滤波算法。一种是扩展卡尔曼算法 ( e x t e n d e dk a l m a nf i i t e r ，e k f ) 【3 l 】【3 3 i ，它对非线性系统进行局部线性化，从 而间接利用卡尔曼算法进行滤波与估算。但是只适用于滤波误差和预测误差很小 的情况，否则，滤波初期估计协方差下降太快会导致滤波不稳定甚至发散。修正 增益的推广卡尔曼滤波算法虽然通过改善增益矩阵，相应改善了状态协方差的估 计性能，但该方法对测量误差有一定限制。若测量误差较大，则算法在收敛精度、 收敛时间及稳定性等方面表现得很不理想。另一种是蒙特卡罗算法1 2 3 1 2 4 】【3 4 l 【3 5 儿36 1 ， 亦即粒子滤波算法( p a r t i c l ef i i t e r ，p f ) ，它是最近出现的解决非线性问题的 有效算法。粒子滤波技术通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤 波，适用于任何能用状态空问模型以及传统的卡尔曼滤波表示的非线性系统，精 度可以逼近最优估计。对于粒子滤波算法( p f ) 而言，粒子数匮乏是其主要缺陷， 粒子数匮乏是指随着迭代次数的增加，粒子丧失多样性的现象。降低该现象影响 的最有效的方法是选择重要性函数和采用重采样方法。 除了上述几种常用的运动目标跟踪方法以外，有些文献也将几种方法结合起 来使用。 1 3 本文的主要工作 本文研究对单人头部运动的跟踪，提出了基于轮廓误差的椭圆模型，并将其 与基于内部区域颜色的颜色直方图模型相融合来表示目标。用白适应速度模型来 模拟目标状态转化，利用粒子滤波理论实现对目标的跟踪。主要做了以下几方面 的工作： 第一，粒子滤波技术通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤 波，本文详细介绍了粒子滤波的概念和方法，及其存在的一些难点和解决方法， 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 并总结了粒子滤波在跟踪方面的一些应用。 第二，对于头部轮廓信息的提取，我们用椭圆模型表示头部轮廓，提出了轮 廓误差的概念，由此得到轮廓似然函数来度量目标的形状相似性；目标最重要的 区域信息就是颜色直方图，本文用颜色直方图作为目标区域特征。结合人脸轮廓 和面部区域的互补性，提供了更加可信赖的目标表示。 第三，目标的运动在相邻的视频帧之间有一定的空间连续性和规律性，我们 利用前几帧图像跟踪得到的目标信息，可以预测目标的运动速度和椭圆横纵轴的 变化率。因此本文用自适应速度模型来模拟目标状态转化方程，融合颜色和头部 轮廓信息构造观测似然函数，最后用粒子滤波实现对单人头部运动的跟踪。 本文的结构为：第1 章是引言，主要介绍了目标跟踪的研究背景及意思、相 关技术和研究现状；第2 章介绍粒子滤波概念、方法及其在目标跟踪方面的一些 应用；第3 章介绍本文方法；第4 章给出实验结果并对结果进行了分析和总结。 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 第2 章粒子滤波 在视觉分析、机动目标跟踪、信号传输与压缩、金融领域、图像处理等应用 中数据分析的目的，都是通过观测值来估计系统的未知状态，即求解状态的后验 分布。根据贝叶斯概率模型，这个后验分布可以通过状态的先验分布和联系状态 与观测的似然函数来确定。状态的先验分布可以通过先验知识和机器学习得到， 联系状态和观测的似然函数则由系统的度量方程得到。这就是贝叶斯概率模型的 框架，它将系统状态的求解转换为基于贝叶斯定理的后验概率的求解。 2 1 贝叶斯跟踪 为了定义跟踪问题，假设目标状态序列x k = 魂，k ) 的演化方程为： x k = 以( x ，k 1 ) ( 2 1 ) 上式称为系统方程，其中，为目标在k 时刻的状态向量，以：r k r 寸r 是 状态向量吒一。和系统噪声向量v 的函数， v k 1 ，k ) 是离散系统噪声序列，f i x 和 ”。分别是状态向量和系统噪声向量的维数，是自然数集。 目标的观测方程为： z 女= h k ( x 女，仇) ( 2 2 ) 其中，为k 时刻的观测向量，么：r 仇r 寸r 也是状态向量吒和测量噪声向量 仇的函数， 仇，k ， 是离散测量噪声，力：和九。分别是测量向量和测量噪声向量 的维数。 从b a y e s i a n 观点来看，跟踪问题就是在获得截止k 时刻的数据 z 。：。= 亿ii = 1 ，埘后，递归计算k 时刻的状态向量k 的后验概率密度函数 p ( x 。iz l ：。) 。假设状态向量的初始概率密度函数p ( x 。i2 0 ) 三p ( x 。) 已知，原则上， 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 p ( x 。lz 1 ：。) 可以通过预测和更新来获得。 假设我们已经知道k - 1 时刻的概率密度函数p ( x k 一。iz l ：k - i ) ，利用系统模型和 c h a m p m a n k o l m o g o r o v 方程可以得到状态在k 时刻的先验概率密度： p ( x tz l ：) = i p ( x 七ix k - 1 ) p ( 一lz l ：k - 1 ) d x ( 2 - 3 ) 式( 2 - 3 ) 为贝叶斯预测方程，式( 2 - 3 ) 的推导我们用到了系统方程所描述的是 一阶马尔可夫过程这一事实：状态演化概率p ( x 。i 吒一。) 可以由系统方程( 2 1 ) 和 统计值k 一。获得。在时刻k 获得新的测量之后，利用贝叶斯规则更新状态先验 概率： p ( x ki z l 。= 掣裂协4 ， 式( 2 - 4 ) 中，正则化常数是： p ( z 七iz 心一1 ) = i p ( z 七i ) p ( iz l ：k - i ) d x k 似然函数p ( z 。i x k ) 由测量方程( 2 2 ) 和统计值仇获得，测量值气用来修正先验概 率密度，以获取当前状态的后验概率。式( 2 - 3 ) 和式( 2 - 4 ) 是贝叶斯跟踪的一 般表达式，通常不可能对它进行精确求解。在满足一定条件下，可以得到最优贝 叶斯解，但条件不满足时，可以利用扩展卡尔曼滤波( e k f ) 或粒子滤波( p f ) 获得次优贝叶斯解。 2 2 卡尔曼滤波 在1 9 6 0 年，r e k a l m a n 【2 5 1 发表了他的著名论文，文中详细介绍了离散线性 滤波问题的递归求解。它是线性高斯条件下最优贝叶斯滤波。由于在数字计算方 面的巨大优势，卡尔曼滤波在此后的到了广泛的研究。 卡尔曼滤波】【3 1 1 假定在每一时刻状态后验密度都是高斯型的，因此参数为 均值和协方差。如果p ( 魂一。iz l ：k - i ) 是高斯分布，可以证明在下述条件下p ( x 。l z l ：。) 也是高斯分布： 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 ( 1 ) k 一。和俾是高斯分布： ( 2 ) f k ( x k 书，) 是吒一，和咋一的线性函数 ( 3 ) h k ( x i ，仇) x k 和仇的线性函数。 这样，式( 2 1 ) 和式( 2 2 ) 改写为： n 讫2 ，女x k 一1 + v 一l z t2 h k x k i 十n k 只和巩是已知的系统矩阵和测量矩阵。v 和仇分别是均值为零，方差为q 一。和 r k 的统计独立的高斯白噪声。这里，e 和h 。以及噪声参数q 一和r 可以是时变 的。 卡尔曼算法如下所示： p ( x k 一1z l ：) = n ( x k _ l ；刈，e 刈) p ( x th ) = n ( x 女；聊舭_ l 忍1 ) p ( x tz ) = n ( x t ；m k l k , 只l t ) 其中，n ( x ；m ，p ) 表示变量为x 、均值为m 和方差为p 的高斯函数。上式中均值 与方差的计算为： 脚枇一12 疋m 1 只肛i = q 一1 + 疋最刈 m i 女= m t + z 女一以m 女) 只i 七= 最卜- 一k 峨最肛1 s t = 风忍肌1 叫+ r k k = p k i k - i h ：s ： 如果假设条件成立，卡尔曼滤波就是跟踪问题的最优解，这意味着在线性高斯环 境下，任何其它算法的性能都没有卡尔曼滤波的性能好。 在许多情况下，一 ：面的假设条件不成立，此时可以考虑扩展卡尔导滤波 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 ( e k f ) 。当函数五和魂非线性时，方程的局部线性化可能是问题的充分描述， 考虑将非线性函数在估计点附近进行泰勒级数展开。扩展卡尔曼滤波( e k f ) 的 算法和卡尔曼滤波( k f ) 算法类似，其中的均值与方差求解为： m 七l _ i 一l = a ( m 七一l i 七一1 ) 最l = q 一1 + e 只刈 i 女= m 矧+ ( 乙一魂( i ) ) 最悻= 最p l k t h l 只 s k = h k 玟i k - i h ：+ r k = 最肌。磁1 上面两种滤波器都是基于特定假设来保证数学上的推导。然而，实际数据往 往非常复杂，包含非高斯、非线性、高维和噪声等因素，在这种情况下一般得不 到解析解。此时可以考虑用粒子滤波求解，粒子滤波也称顺序的蒙特卡罗方法 ( s e q u e n t i a lm o n t ec a r l om e t h o d s ) 提供了一种方便而有效的从非高斯、非线 性、高维的观测数据中计算后验概率的方法。粒子滤波非常灵活，容易实现，可 以并行化，实用性强。随着价钱便宜、功能强大的计算设备的出现，以及应用统 计学、工程学等领域的最新发展，粒子滤波的研究和应用被越来越重视，并取得 了许多成果。下面几节将详细介绍粒子滤波的基本理论、概念和方法，及其存在 的一些难点和解决方法，并总结了粒子滤波在跟踪方面的一些应用。 2 3 粒子滤波 粒子滤波技术通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤波，适 用于任何能用状态空问模型以及传统的卡尔曼滤波表示的线性系统，精度可以逼 近最优估计。关键思想是利用一系列随机样本的加权和表示所需要的后验概率密 度。这些样本称为粒子，然后在观测的基础上，调节每一个粒子所对应权值的大 小和样本的位置，来获得服从实际分布的样本，并以该样本集的均值作为系统状 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 态估计值。当样本数非常大时，随机样本的加权和与后验概率密度的函数表示等 价，粒子滤波接近最优贝叶斯估计。由于粒子滤波采用一组加权样本集合来表示 系统的统计特性，这些样本根据真正的非线性方程进化而无需将其线性化，这样 无论在理论上还是实际应用中，它都优于卡尔曼滤波。 2 3 1 粒子滤波基本思想 下面详细介绍粒子滤波算法，主要参考文献 2 4 3 3 3 5 3 6 。 令 x ：，以) 兰l 表示后验概率密度p ( 以iz l ：k ) 的随机采样，其中，为粒子个 数， x ：，i = l ，) 是七时刻的粒子，对应的权值为 以，i = l ， ，嵋= 1 ； 从而在k 时刻的后验密度可表示为： p ( x 女i ( 2 5 ) 我们采用重要性采样原理选择权值。假设我们有概率密度函数 p ( x ) o f f n ( x ) ，但是很难直接从p ( x ) 得到x 的采样，而我们容易从被称为重要 性密度函数的q ( x ) ( i m p o r t a n c ed e n s i t y ) 得到采样x 1 g ( x ) ，i = 1 ，n ， 于是，对概率密度函数p ( x ) 的估计可以表示为： ns p ( x ) w 7 万( x - - x 7 ) i = l 式中w f n 吼( x x i j ) _ 是第f 个粒子的权值。 在粒子滤波中，如果粒子x k 自重要性密度函数q ( x kz ) ，另b 么式( 2 5 ) 中的权1 4 7 。! 可以定义为： 注意到： 以粼 ( 2 - 6 ) 、，七 x一 七 x ，- 、 万 峨 瑚 = 、- ，七 z 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 q ( x kz l ：i ) = g ( 稚i p ( x ki z l = 七) 垓- l ，毛：女) q ( x k lz l ：女) p ( z 七ix k ，z l ：t 1 ) p ( 砟iz l ：七一1 ) p ( z 女i7 、 l ：k - 1j p ( z 1 ，z m 1 ) p ( k砟一1 ，z l ：七一1 ) p ( x k lz l ：一1 ) p ( z | lz 1 ：| 一1 ) p ( z 女ix k ) p ( x ki 一1 ) p ( 一lz l ：一1 ) p ( z tz l ：女一1 ) p ( z 膏ix k ) p ( x kx k 1 ) p ( x k lz l ：七一1 ) 将以上两式代入( 2 - 6 ) 可得权值递推公式： 叱f - 1 掣q ( x 糍 k 掣k _ l ，z j 权值还需要进行归一化以乍w 。i 示为： ( 2 - 7 ) i 以，通过重要性采样，后验概率密度可表 p ( x 。lz l ：k ) = 扭l 嵋万( 一x ：) 当- - o ( 3 时，上式接近与真实的后验概率密度。 下图为粒子滤波工作原理示意图： p a r t i c l e s：i = 1 ， ，。-， 1 r l j r ， 2 ，n 。1 图2 一1 1 5 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪算法 2 3 2 退化问题 对于粒子滤波算法( p f ) 而言，粒子数匮乏是其主要缺陷，粒子数匮乏，即 所谓的退化问题，是指随着迭代次数的增加，粒子丧失多样性的现象。降低该现 象影响的最有效的方法是选择重要性函数和采用重采样方法。 退化问题说明经过多次迭代之后，除了一个粒子之外，所有粒子只有微小的 权值，这意味着大量的计算工作被用来更新那些对后验密度估计几乎没有影响的 粒子上。适当选取粒子个数可以有效的克服退化现象，文献 2 2 介绍了一个有效 采样大小： 2 丽n ( 2 8 ) 其中，w k “= p ( x ：iz l ：k ) q ( x ：ix ：一。，z t ) 。可以看出 且易越小退化 现象越严重。因此应该尽量选择足够大的，而这又影响算法的实时性。我们 一般很难精确得到式( 2 8 ) ，这时我们可以求的估计力= 1 兰。( 以) 2 。 具体采样个数依赖于3 个因素j ： ( 1 ) 状态空间的维数： ( 2 ) 先验概率密度函数和重要性密度的相似度： ( 3 ) 算法执行效率； 2 3 3 重要性函数的选择和重采样 2 3 3 1 重要性函数的选择 降低退化现象有两个方法：选取好的重要性函数和对粒子进行重采样。 a d o u c e t 5 1 证明，在i 一。和乙已知的条件下，使权值以方差最小化的最优重要 1 6 中山大学硕士学位论文：基于颜色和头部轮廓的粒子滤波跟踪