（计算机应用技术专业论文）meanshift算法在运动人体跟踪中的应用研究.pdf

浙江工业大学硕士学位论文 m e a n s h i t t 算法在运动人体跟踪中的应用研究 摘要 人体跟踪是运动人体视觉分析中非常活跃的一个课题，其在智能监控领 域中广泛的应用前景和潜在的经济价值激发了广大科研工作者的浓厚兴趣， 也使它成为研究的热点问题之一。 本文先总结了运动人体视觉分析的研究背景、研究现状及在智能监控领 域中应用的实际意义，而后讨论和分析了各种人体跟踪方法的优缺点及人体 跟踪方法中的难点。 在上述的基础上，探讨了基于m e a n s h i f t 的跟踪算法和提高鲁棒性的改进 算法。针对区域分块法所存在的判别效果和稳定性不够好的问题提出了改进 方法，以期进一步结合人体的颜色分布特征，一方面通过减少人体区域分块 数目以减少处理时间但又不失相关空间信息；另一方面通过对每个分块进行 一定系数的加权以提高判别效果，提高复杂监控环境下人体跟踪的鲁棒性。 论文解决了智能监控中人体在完全遮挡情况下的跟踪问题，在人体线性 运动遮挡情况下采用结合卡尔曼滤波预测的跟踪算法，获得较好的跟踪结果， 但该方法不适于人体的非线性运动的遮挡情况。因此利用积分直方图快速计 算的方法优势完成穷尽搜索，并且该方法在人体线性或非线性运动遮挡情况 下跟踪情况都相对较好，提高了人体跟踪的鲁棒性。 方图 关键词：m e a n s h i f t ，人体跟踪，b h a t t a c h a r r y a 系数，完全遮挡，积分直 浙江工业大学硕士学位论文 t h er e s e a r c ho ft r a c k i n gm o t i o nh u m a nb a s e d o nm e a n s h i f ta l g o r i t h m a b s t r a c t h u m a nt r a c k i n gi so n eo ft h em o s ti m p o r t a n tt o p i c so nv i s u a la n a l y s i so f h u m a nm o t i o n s i n c ei t sw i d e s p r e a da p p l i c a t i o np r o s p e c t sa n dp o t e n t i a le c o n o m i c v a l u ei ni n t e l l i g e n tm o n i t o r i n ga r e a , i th a si n s p i r e dt h ei n t e r e s to fm a n ys c i e n t i f i c r e s e a r c h e r s t r a c k i n gm o t i o nh u m a n h a sb e c o m eo n eo ft h eh o tp o i n t so fr e s e a r c h t l l i sp a p e ra tf i r s ts u m m a r i z e st h eb a c k g r o u n da n dc u r r e n ts i t u a t i o no fv i s u a l a n a l y s i so f h u m a n m o t i o nr e s e a r c h a n dt h e ni td e s c r i b e st h ep r a c t i c a ls i g n i f i c a n c e o fa p p l i c a t i o ni n i n t e l l i g e n tm o n i t o r i n ga r e a m o r e o v e r ，t h ea d v a n t a g e sa n d d i s a d v a n t a g e so fav a r i e t yo fh u m a nt r a c k i n gm e t h o d sa r ea n a l y z e d a n dt h e d i f f i c u l ti s s u e so nh u m a n t r a c k i n ga r ea l s od i s c u s s e d m e a n s h i f tt r a c k i n ga l g o r i t h ma n do t h e ra l g o r i t h m sw h i c ha r ei m p r o v e do n r o b u s t n e s sa r ei n t r o d u c e da sf o l l o w i n g o nt h eb a s i so fa b o v e ，an e wi m p r o v e d m e t h o di sp u tf o r w a r dt os o l v et h ep r o b l e mo fl a c k i n gd i s c r i m i n a t i o ne f f e c ta n d s t a b i l i t yi ne m i l i om a g g i oa n da n d r e ac a v a l l a r o sr e g i o n a lb l o c k sm e t h o d i t c o m b i n e dw i t hh u m a nc o l o rd i s t r i b u t i o ne x p e c t st or a i s et h er o b u s t n e s so fh u m a n t r a c k i n gu n d e rc o m p l e xm o n i t o r i n ge n v i r o n m e n t o no n eh a n d , i tr e d u c e s p r o c e s s i n gt i m eb yc u t t i n gd o w nt h en u m b e ro fh u m a nr e g i o n a lb l o c k s ，y e tn o t l o s i n gr e l a t e ds p a t i a li n f o r m a t i o n o nt h eo t h e rh a n d , a d d i n gw e i g h t e dc o e f f i c i e n t s f o re a c hb l o c ki m p r o v e st h ed i s c r i m i n a t i o ne f f e c t 塑堑三些盔兰堕主兰垡丝茎 i na d d i t i o n , t h ep r o b l e mo ft r a c k i n gh u m a nu n d e rc o m p l e t e l yo c c l u s i o ni n m o n i t o r i n gi sr e s o l v e d t h ei m p r o v e dt r a c k i n ga l g o r i t h mc o m b i n e dw i t hk a l m a n f i l t e rc a r lo b t a i nb e t t e rt r a c k i n gr e s u l t su n d e rl i n e a rm o t i o no c c l u s i o nc i r c u m s t a n c e s b u ti ti su n s u i t a b l ef o rn o n 1 i n e a rm o t i o no c c l u s i o ns i t u a t i o n s m a k i n gu s eo ft h e a d v a n t a g eo fi n t e g r a lh i s t o g r a mm e t h o dc a nc o m p l e t ee x h a u s t i v es e a r c hf a s t s o t r a c k i n ga l g o r i t h mc o m b i n e dw i t hi n t e g r a lh i s t o g r a mc a ng e tr e l a t i v e l yb e t t e r t r a c k i n gr e s u l t su n d e rb o t hl i n e a ra n dn o n q i n e a rm o t i o no c c l u s i o ns i t u a t i o l l s ， i n c r e a s i n gt h er o b u s t n e s so ft r a c k i n gh u m a n k e yw o r d s ：m e a n s h i f t , h u m a nt r a c k i n g ，b h a t t a c h a r r y ac o e f f i c i e n t , c o m p l e t e o c c l u s i o n , i n t e g r a lh i s t o g r a m i l l 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 袁秀 日期：凋年7 胡2 0e l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打叫”) 作者签名： 导师签名： 日期：知订年1 2 月五吕e t e i 期：h 年jz 月埸日 浙江工业大学硕士学位论文 1 1 课题研究的背景和意义 1 1 1 运动人体的视觉分析 第1 章绪论 运动人体的视觉分析是近年来计算机视觉领域中备受关注的前沿课题，其研究内容包 括从包含人体的图像序列中检测、识别，跟踪并对其行为进行理解和描述，属于图像分析 和理解的范畴。其中，检测、识别和跟踪属于视觉中低级和中级处理( 1 0 w - l e v e la n d i n t e r ：r a e d i a t e d e v e lv i s i o n ) ，而行为理解和描述则属于高级处理( h i g h - l e v e lv i s i o n ) 。从技 术角度看，该内容涉及图像处理、计算机图形学、模式识别、人工智能、计算机视觉等多 门学科，可见研究本身的难度不小同时，动态场景中运动的快速分割、人体的非刚性运 动、人体自遮挡和人体之间互遮挡的处理等也为运动人体的分析研究带来了更大的挑战。 由于运动人体的视觉分析在高级人机交互、智能安全监控、视频会议、医疗诊断及基 于内容的图像存储与检索等方面具有广泛的应用前景，并具有较高的潜在经济价值，从而 激发了世界上广大科研工作者的浓厚兴趣。最早进行运动人体分析的工作可追溯到1 9 7 3 年 心理学家j o h a n s s o n 对人类运动感知所做的实验，即在人体关节点位置处附着亮点，利用人 体运动时亮点产生的光点集合序列来辨别出运动人体的形态，如走路、跑步等等。在此之 后，运动人体分析就吸引了越来越多的研究人员的目光，尤其是在美国、英国等发达国家 已经开展了大量相关项目的研究，例如1 9 9 7 年美国国防高级研究项目署设立了以c a r n e g i e m e l l o n 大学牵头、麻省理工大学等高校参与的视觉监视重大项目v s a m ，主要研究用于战 场和普通民用场景进行监控的自动视频理解技术i l 】；m a r y l a n d 大学研制的实时视觉监视系 统w 4 是一个对人及肢体行为进行实时处理的系统，它不仅能够检测和跟踪人体运动，而且 还可以通过建立外观模型来实现多人的跟踪，还可以判断入是否携带物体等简单行为1 2 】； 麻省理工大学开发的p f i n d e r 的系统是一个利用颜色和形状特征对大视角范围内的人进行跟 踪的实时系统【3 】；英国的雷丁大学( u n i v e r s i t yo f r e a d i n g ) 【帅已开展了对车辆和行人的跟踪 及其交互作用识别的相关研究。 紧跟国际的发展，国内也于2 0 世纪9 0 年代开展了这方面的研究。目前开展这方面研 l 浙江工业大学硕士学位论文 究的单位主要有中国科学院计算所、清华大学和浙江大学等，其中中国科学院自动化研究 所主要开展了运动人体的视觉分析技术研究，在跟踪运动人体中使用了运动模型和关节体 模型。清华大学研究的基于音频视频信息融合的人体跟踪系统，将其应用于现场档案系统， 并进一步基于音频信息和视频信息来识别人物身份四。浙江大学生物医学工程学院则是主 要研究人体的手势，分析步态运动的特点，应用于临床诊断和物理治疗上，该校的人工智 能研究所采用单目视频图像序列，对人体没有出现被遮挡部位的动作进行了跟踪，首帧采 用手工标注人体的特征点问，该方法基于单日视觉，无法准确估计被遮挡部位的位置，手 工干预较多。和国外相比，国内的研究还只能说是刚刚起步，和美国等发达国家差距还比 较大，这需要我国研究者们的进一步努力。 1 1 2 在智能监控中的应用 研究运动人体的视觉分析不仅具有较高的学术价值和理论意义，可以带动和促进其他 学科的发展，而且在安全智能监控方面具有广泛的应用前景【7 】嘲。 所谓“智能”是指能够在一定的场景中检测是否有人的出现( 如通过检测人脸的方法) ， 同时能够监视该场景中人的活动，并对其行为加以分析和识别，跟踪可疑行为( 如经常在 重要地点徘徊等等行为) 从而采取相应的报警措施。智能监控区别与传统监控在于它能够 发挥实时主动的监督作用，当异常情况发生时，不再需要通过记录的结果观察发生的事实， 从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入。 通常智能监控的需求主要来自那些对安全要求敏感的场合，如银行、商店、停车场等，在 自动售货机、a t m 机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计 等监控方面也有着相应的应用。此外，在访问控制( a c c e s sc o n t r 0 1 ) 场合，也可以利用人 脸或者步态的跟踪识别技术以便确定来人是否有进入该安全领域的权利。 因此，将运动人体的视觉分析方法应用到传统的视觉监控领域中，可以提高监控系统 的智能化，其实际应用的意义是十分重要的。而运动人体视觉分析中的关键问题之一是人 体跟踪方法，所以本文主要针对智能监控中的人体跟踪方法和跟踪中遇到的问题进行了研 究和讨论。 1 2 人体跟踪方法及难点 人体跟踪的目的是通过对获得的图像序列进行分析，计算出人体在每一帧图像上的坐 2 浙江工业大学硕士学位论文 标和确切位置，也即如何解决在连续帧间创建基于位置、速度、色彩、纹理等特征的对应 匹配问题。实现人体跟踪的关键在于完整地分割人体、合理地提取特征和准确地识别人体， 同时要考虑算法实现的高效性。保证实时性。人体跟踪按对象分，有头、上肢和手等身体 部分的跟踪和整个人体的跟踪 9 】 l 习；人体跟踪按视角分。有单一摄像机的单视角2 】【3 】【1 6 1 m 、 多摄像机的多视角【1 1 9 1 以及全方位视角1 2 0 l e 2 1 】的跟踪；人体跟踪按人数分，有单人 3 1 2 2 1 1 2 2 1 、 多人1 2 1 1 2 4 1 1 狮人群【2 q 的跟踪。以下根据不同的方法将人体跟踪方法分为五类【7 】【2 7 】【2 s 1 1 2 9 】【3 0 1 ： 1 2 1 基于模型的人体跟踪 基于模型的人体表达方法有三种；( a ) 线图法( s t i c kf i g u r e ) ) ( b ) 二维轮廓( 2 d c o n t o u r ) ；( c ) 立体模型( v o l u m e t r i cm o d e l ) 。线图法是把人体运动的实质看作是骨骼的运 动，用直线来近似表示身体的每个部分，例如，k a r a t f l o v a t 3 q 建立了人体运动学的分层模型， 用于单目视频序列中人体的跟踪。二维轮廓法的使用直接与人体在图像中的投影有关。如 j u 等f 3 2 】提出的纸板人模型，它将人的肢体用一组连接的平面区域块来表达，该区域块的参 数化运动受关节运动( a r t i c u l a t e dm o v e m e n t ) 的约束。立体模型法利用三维模型来描述人 体的结构细节，因此计算量较为繁杂。s i d e n b l a d h 等 3 5 1 采用由9 个圆柱体和3 个球体构成的 三维运动学人体模型进行跟踪。 人体几何模型从简单的线图模型到二维边界模型再到复杂的三维立体模型，实现的跟 踪精度越来越高，但计算量也越来越大。使用模型跟踪方法的一般原理是预先定义一个模 型并预测下一图像中的模型姿态，接着将这一预测的模型进行分析、合成、抽象，得到的 结果再与实际图像的数据比较，直至找到最匹配的模型，同时更新系统模型。 1 2 2 基于区域的人体跟踪 基于区域跟踪的方法是将人体分割为头、躯干、四肢等相对应的区域块，通过跟踪这 些区域块来实现人体的跟踪。如，1 9 8 5 年l e u n g 和y a n g 提出的基本人体模型”】是由5 个u 形 条带和一个身体主干，以及多个连接点和中心点所组成的条带模型；p f m d e r 系统【3 】中利用 小区域特征进行室内单人的跟踪，它将人体分为头、四肢和躯干等部分，利用高斯分布建 立人体模型，属于人体的像素被划分成不同的身体部分，通过跟踪身体各部位区域来完成 人体的跟踪：孙怡 3 4 1 等提出了使用1 6 个多边形块来表示人体区域模型，并以区域面积重合 率为匹配原则，采用粗到细的匹配过程进行人体跟踪。但是基于区域跟踪的方法在人体存 3 浙江工业大学硕士学位论文 在较长的影子和互遮挡这两种情况下难以处理，可以借助色彩、纹理加以改善。 1 2 3 基于活动轮廓的人体跟踪 该方法的思路是用封闭的曲线轮廓来表示运动的人体。并且能够自动更新。如， s a n g - c h e o lp a r k 等1 3 6 人首先使用分水岭的分割法得到人体的轮廓点，然后使用最大似然估 计法预测下一个位置，再利用n a u s d o r f 艇离来寻找最佳匹配的轮廓模型，虽然克服了部分 遮挡问题但处理速度非常慢；w i l h e l m s 等f 3 7 】采用轮廓在不受限制的单目视频中跟踪人体， 在序列中轮廓可以被自动跟踪，通过交互界面用户可以灵活地操作。 用人体轮廓作为跟踪目标的方法不会受光照等的影响，相对于基于区域的跟踪方法， 轮廓表达有减少计算复杂度的优点。但是要求初始化轮廓必须独立准确，在实际应用中很 难实现。如果在初始若干帧中能够合理地分开人体的各个部分并实现轮廓初始化，那么即 使在有部分遮挡存在的情况下也能连续地进行跟踪。然而人体的轮廓本身较复杂，而且随 着人体的运动其轮廓也随之快速地发生变化，因此轮廓的控制相对比较困难。在单目视频 中跟踪整个人体的轮廓有着不小的难度，而在多摄像机下的人体运动跟踪则更多地采用了 人体轮廓这一特征。 1 2 4 基于特征的人体跟踪 基于特征跟踪的方法使用特征点、特征线、色彩和纹理等来代替人体的跟踪。该方法 一般包括特征提取和特征匹配两个基本过程。如，卢昕【”】根据人体结构模型对人体不同部 位的关节点采用不同的跟踪策略，得到相应关节点的预测位置和特征检测窗口后，通过模 板匹配得到关节点的确切位置，通过计算得出运动参数。 基于特征跟踪方法的优点还在于，即使在被跟踪的人体目标出现遮挡交错等现象时仍 然可以实现较为准确的跟踪。如，p o l a n a 与n e l s o n 的文章p 9 】中就使用人体封闭框的质心作 为跟踪的特征，在跟踪过程中若两人出现相互遮挡时，只要质心的速度能被区分开来，跟 踪仍能被成功地执行。通常特征点越简单，越容易抽取但越难跟踪，而高层次的特征点难 以抽取但容易跟踪。所以在实际应用中需要根据系统的要求，在特征点的复杂性和跟踪效 率之间选取一个折衷的方案，根据不同需要选取不同的特征点加以跟踪。 以上分类方法中，基于模型的跟踪方法中所建立的三维模型最精确，但计算量大，对 硬件要求高；基于区域的跟踪方法在复杂的监控环境下不容易获得完整的身体部分的信 4 浙江工业大学硕士学位论文 息；基于活动轮廓的跟踪方法存在难以初始化的问题；基于特征的跟踪方法较为简单实用， 但该方法一般仅依赖单一低层特征，因此跟踪鲁棒性较差。这些分类的人体跟踪方法并不 是完全独立的，在跟踪人体时，结合使用几种方法可以提高跟踪的鲁棒性和稳定性。 1 2 5 人体跟踪方法中的难点 1 非刚性 人体是一个高度复杂的关节物体，人体的运动由骨骼驱动相应部分的动作形成。而从 表观上看，人体的脂肪、肌肉及表面皮肤的变形直接反映了人体各部分的运动。而视频中 的人体往往都穿着柔软且可任意变形的衣服，所有这些因素都决定了人体的高度非刚性结 构。同时，人体的运动也是高度复杂的非刚体运动，而且存在不可预知的随意性。简单的 刚体运动分析方法显然不适用于人体运动分析，所以必须针对人体这个特殊复杂的关节物 体研究新的非刚体运动分析方法要实现自动跟踪真正感兴趣的任意变化的运动人体，仍 然面临着艰难的挑战，需要寻求新的有效的解决办法。 2 遮挡处理 由于并不一定都处于简单的环境，视频中的人体可能被周围其他人体或物体部分或全 部遮挡，而且人体关节高度灵活的结构也会带来人体自身各部分之间的相互遮挡。这些遮 挡或自遮挡造成了视频中人体部分信息的缺失，不同程度地影响着视频中人体的准确定位 和跟踪。当然，现在可以利用统计方法，从获得的图像信息中进行人体姿势、位置等的预 测；不过对于解决遮挡问题，最有实际意义的潜在方法应该是多个摄像机拍摄的多个同步 视频来分析运动的人体。另外，一般系统也不能完成何时停止和重新开始身体部分的跟踪， 即遮挡前后的跟踪初始化缺少自举方法。 3 三维建模与跟踪 三维方法在不受限的复杂的人体运动判断、更准确的物理空间的表达、遮挡的准确预 测和处理等方面的优点是二维方法所不能比拟的；它能提供更加有意义的与身体姿势直接 相关的可视化特征用于行为识别：同时，三维恢复对于虚拟现实中的应用也是必需的。对 3 d 人体跟踪，目前首选的是运动学人体模型表示，即用圆锥、圆柱或可变形表面等表示的 肌肉附着在骨架结构上的表示方法。对人体运动估计，人体模型需要3 0 个左右的关节参数， 以便能以相当的准确度解释或重建合理的人体运动。然而，3 0 维以上的参数空间中的最优 估计对计算而言是过于苛求的，完全的随机搜索实际上也是不可行的，在这样一个空间中 搜索求解的关键问题是如何有效地进行空间分解或如何快速有效地定位最优估计。 5 浙江工业大学硕士学位论文 目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少，且大部分系 统由于要求鲁棒性而引入了简化的约束条件。三维跟踪也导致了从图像中人体模型的获 取、遮挡处理、人体参数化建模、摄像机的标定等一系列难题。以建模为例，人体模型通 常使用许多形状参数所表达。所以，3 d 建模与跟踪在未来工作中应值得更多的关注。 4 多摄像机的使用 使用单一摄像机的三维人体的跟踪研究还很缺乏，身体姿势和运动在单一视角下由于 遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟踪和恢复，其优 点是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个 不同的方向视角以用于解决遮挡问题。对于多摄像机跟踪系统而言，我们需要确定在每个 时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信息融合是一个 比较关键的问题。 5 性能评估 一般而言，鲁棒性、准确度、速度是人运动分析系统的三个基本要求。例如，系统的 鲁棒性对于监控应用特别重要。这是因为它们通常被要求是自动、连续地工作，因此这些 系统对于诸如噪声、光照、天气等因素的影响不能太敏感。系统的准确度对于控制应用特 别重要，例如基于行为或姿势识别的接口控制场合。而系统的处理速度对于那些需要实时 高速的监控系统而言更是非常关键，尤其对于多人体跟踪系统，人们往往对于系统的实时 性提出较高的要求，需要算法能够准确并在人体出现在场景中的时候实时的进行人体检测 与跟踪。众所周知，在算法设计时，一方面为了提高实时性，需要减少人体特征的数量和 复杂度；另一方面为了提高准确度，需要同时使用多个特征进行综合判断。且由于图像本 身数据量大，仅仅为了计算某一个特征往往需要花费大量的时间，实时性和准确度往往难 以同时满足。 因此，如何选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的 问题。同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的实 时性、鲁棒性亦相当重要。 1 3 本文所做的工作 1 3 1 主要研究内容 为了解决智能监控中人体跟踪算法的鲁棒性和快速性问题，本文主要研究基于核概率 6 浙江工业大学硕士学位论文 密度估计的m 扰n s h i f t 足艮踪算法在人体跟踪中的应用。整个论文在m 啪s l l i f i 跟踪算法己经成 熟的实时跟踪的基础上，着重研究了如何进一步提高跟踪的鲁棒性，解决在人体完全遮挡 情况下的跟踪丢失问题。主要工作包括以下几个方面： ( 1 ) 介绍了运动人体视觉分析的研究背景、现状和在智能监控中的应用意义，总结了各 种人体跟踪方法的优缺点和人体跟踪方法中的热点难点问题。 ( 2 ) 深入学习和研究了m e a n s h i f l 理论，探讨了基于m c a n s h i f l 的跟踪算法和已提出的提 高鲁棒性的改进算法。针对其中e m i l i om a g g i o 和a n d r e ac a v a l l a r o 4 0 1 提出的区域分块的改 进方法，结合人体的颜色分布特征做了进一步改进。一方面通过减少人体区域分块数目以 减少处理时间但又不失相关空间信息；另一方面通过对每个分块进行一定系数的加权以提 高判别效果，提高了复杂监控环境下人体跟踪的鲁棒性。 ( 3 ) 解决智能监控中人体在完全遮挡和遮挡后运动不可预知情况下的跟踪。结合卡尔曼 滤波预测的方法，使用遮挡因子进行遮挡发生判断，遮挡中使用了卡尔曼滤波预测代替本 文改进的m e a n s h i f l 的跟踪算法，预测结束后使用搜索窗i ：l 进行匹配来判定遮挡的解除， 遮挡结束后继续使用初始跟踪算法。考虑到不能解决遮挡后人体运动不可预知的问题，进 一步做了改进，即利用积分直方图快速计算直方图的性质，遮挡后在搜索窗口中进行快速 匹配的方法来代替卡尔曼滤波预测，提高了人体跟踪的鲁棒性。 1 3 2 文章结构安排 第一章着重阐述了课题的背景、研究现状和研究意义，概述了人体跟踪方法和人体跟 踪中的难点问题以及本文所做的工作。 第二章介绍了核概率密度估计方法和m e a n , s h i f t 理论在概率密度梯度估计中的应用以 及迭代收敛性的证明。详细叙述了基于m c a n s h i f l 算法的目标跟踪方法和算法复杂度的计 算。 第三章详细介绍了本文针对e m i l i om a g g i o 等人的分块跟踪提出的改进算法，并给出 了基于m c a n s h i f l 理论的跟踪算法、原分块跟踪算法和改进算法的实验对比结果。实验结 果表明，该改进算法在提高鲁棒性的同时降低了原分块跟踪算法的时间复杂度。 第四章首先介绍了结合卡尔曼滤波预测的遮挡处理方法，并给出了实验结果。实验证 明该方法在人体线性运动完全遮挡下跟踪的情况较好，但在遮挡后人体运动不可预知的情 况下跟踪丢失。然后详细介绍了结合积分直方图的遮挡处理方法，给出与卡尔曼滤波预测 方法对比实验。实验结果说明，结合积分直方图的遮挡处理方法不仅适用于人体线性运动 7 浙江工业大学硕士学位论文 的情况，而且也适用于人体遮挡后不可预知的情况。 第五章总结了本文所做的工作，指出了本文工作中的不足，并对将来进一步的研究工 作提出一些设想。 浙江工业大学硕士学位论文 第2 章m e a n s h i f t 理论 m c a n s h i r 这个概念最早是由f u k u n a g a 等人【4 1 】于1 9 7 5 年在一篇关于概率密度梯度函 数的估计中提出来的，其最初含义就是偏移的均值向量而我们说的m 龃n s h i f l 算法一般 是指一个迭代的步骤，即先算出当前点的偏移向量，移动该点到其偏移均值处，然后以此 为新的起始点，重复上述步骤继续移动，直到满足一定的条件结束。m e a n s h i f l 算法利用无 参数密度估计中的核密度估计方法，快速有效地沿着密度梯度方向爬升到密度的模式点。 1 9 9 5 年y i z o n gc h e l l 一蚓对基本的m c a n s h i f l 算法做了以下两个方面的推广首先y i z o n g c h e n g 定义了一族核函数，使得随着样本与被偏移点的距离不同，其偏移量对均值向量的 贡献也不同；其次，y i z o n g c h c n g 还设定了一个权重系数，使得不同样本点的重要性不同， 这大大扩大了m c a n s h i r 的适用范围。另外，y i z o n g c h e n g 还指出了m c a n s h i f l 可能应用的 领域，并给出了具体的例子。c o m a n i c i u 等人【4 3 x 4 4 1 把m c a n s h i r 成功地运用于特征空间的 分析，在图像平滑和图像分割中m e a n s h i f l 都得到了很好的应用。c o m a n i c i u 等人证明了 m e a n s h i f l 算法在满足一定条件下，一定可以收敛到最近的一个概率密度函数的稳态点，因 此m c a n s h i f l 算法可以用来检测概率密度函数中存在的模态。在文献【4 5 】中，c o m a n i c i u 等 主要讨论了m e a n s h i f t 在目标跟踪中的应用，这是m c a n s h i f t 在目标跟踪中应用的经典文献。 本章主要介绍m 翻m s h i f l 算法涉及的无参数密度估计理论和核密度梯度估计以及m e a n s h i r 算法迭代的收敛性证明，最后介绍了m e a n s h i f i 算法在目标跟踪中的应用。 2 1 无参密度估计 无参密度估计一般也称非参数估计，和参数密度估计共同构成了概率密度估计方法。 在目标跟踪等一些低层视觉任务中，使用参数密度估计方法需要事先规定假设的概率密度 函数的结构形式，由目标区域内的数据估计概率密度函数的参数，通过估计的参数得到整 个特征空间的概率密度分布函数。但我们假设的概率密度函数形式很少符合实际情况，而 且所有经典密度函数的参数形式都是单模的，即只有单个局部极大值，这与实际问题常常 遇到多模的情况不符。无参数密度估计方法对先验知识要求最少，完全依靠训练数据进行 估计，而且可以用于任意形状密度的估计。所以我们可以依靠无参密度估计方法，即不事 9 塑至三些查兰堡圭兰丝丝奎 先规定概率密度函数的结构形式，在某一连续点处的密度函数值可以由该点临域中的若干 样本点估计出。下面介绍几种常见的无参密度估计方法【螂4 7 1 。 2 1 1 直方图 直方图是基本的无参数密度估计。直方图法是把数据的值域分成若干相等的区间，数 据就按区间分成若干组，每组形成一个矩形，其高和该组数据的多少成比例，其底为所属 区间，这些矩形依次排列组成的图形就是直方图，它提供给数据的分布一个直观的形象。 但它只适用于维数低的数据。当维数高的时候，直方图所需要的空间将随着维数的增加成 指数级增加。 以一元为例，假定有从小到大排序的k l ，而 个数据( a 虫i s 鲂) ，将这些数据覆 盖的区域( a ，b ) 等间隔分为不相交的k 组，分别记为h l ，”，磁。对每组数据计数，每一点 的密度用其所在组的频率定义。如果某一点不属于任何一组，、则定义该点的密度为零。即 如) ：j 老，艇彬- l ，j( 2 1 )夕( x ) = 而艇q 一剐”( 2 1 ) 1 0 ，其他 其中，一既是归一化参数，又表示每一组的组距，称为带宽或窗宽；吩是日中数据的个数。 直方图的密度定义公式很容易扩展到任意维空间。设有一个观测点而，知，将空间 分成若干小区域r ，v 是区域r 所包含的体积。如果有k 个点落入r ，则可以得到如下密 度公式： 人加等( 2 - 2 ) 如果这个体积和所有样本体积相比很小，则得到一个不稳定的估计，而且密度值局部变化 很大，里现多峰不稳定的特点；反之，如果这个体积太大。则圈进大量样本，从而使估计 过于平滑，所以应该在稳定和过度平滑之间寻找平衡。 2 1 2 核密度估计 核密度估计的原理和直方图方法有些类似，是一种平滑的无参密度估计方法。对于一 组采样数据，把数据的值域分成若干相等的区间，每个区间称为一个b i n ，数据就按区间 分成若干组，每组数据的个数与总参样个数的比率就是每个b i n 的概率值。相对于直方图 法，它多了一个用于平滑数据的核函数。核密度估计方法适合于中小规模的数据集，可以 1 0 浙江工业大学硕士学位论文 很快地产生一个渐进无偏的密度估计，有良好的概率统计性质。具体来说，如果数据为期， 而，在任意点j 处的一种核密度估计为 夕( 加去喜置晕) ( 2 3 ) 这里置( ) 称为核函数( k e r n e lf u n c t i o n ) ，它通常满足对称性以及i k ( 善) 出= 1 ，积分 为1 的条件是使得夕( ) 是一个积分为1 的密度。可以看出，核函数是一种权函数。该估计 利用数据点南到工的距离c 碱) 来决定x j 在估计点工的密度时所起的作用，离点x 越近的样 本点，加的权也越大。式子中的h 表示带宽，h 越大，估计的密度函数就越平滑，但偏差 可能会较大；如果h 选的太小，估计的密度曲线和样本拟合的较好，但可能很不光滑，一 般以均方误差最小为选择原则。核密度估计同样也可以扩展到多维空间，其中葺为d 维向 量，多维核密度估计表示为 蛔= 去喜x 甲( 2 - 4 ) 表2 - 1 为一些常用的核函数，核函数也称。窗口函数” 表2 - 1 常用核函数 核函数名称核函数x ( u ) 均匀( u n i f o r m ) 圭，q “勘 三角( t r i a n g l e ) 0 - 1 , , i ) i 1 1 ) e p a n e c h i k o v 3 - ( 1 - u 2 ) ，酬1 ) 四次( q u a r t i c )蔷( 1 彳v 悱1 ) 三权( t r i w e i g h t ) j 3 2 5 ( 1 - u 2 ) i d l 1 ) 高斯( g a u s s ) 了翥唧( 一三旷) 余弦( c o s i n u s ) 至c o s ( 互“) 州“is1 )42 、i 。 核密度估计有一个性质h g 】：如果采样充分，核密度估计能够渐进地收敛于任意的密度 函数。这个性质保证了该技术可以对服从任何分布的数据进行密度估计。设一组随机数据 浙江工业大学硕士学位论文 z 密度函数为p ( x ) ，从中采样组成采样点集合s = ( di = 1 n ，那么其样本均值为：贾= 葺， 在点x 处的估计密度可以写： 触) = 专圣鼬叫= 研m 】 ( 2 - 5 ) 即：核函数密度估计值p ( x ) 等于在样本集合s 上函数k ( x - x , ) t 挎样本均值。根据贝努里大数 定理，当样本点足够多时，事件的频率近似于事件的概率，因此有： 艘声( x ) = e 【k o x ) 】* 研足。一x ) 】- x q - t ) p ( t ) d t = ( k r x x ) ( 2 - 6 ) 这说明估计的密度p ( 工) 渐进地收敛于核函数与真实密度的卷积，因此，如果 p ( 工) = ( 足tp x 工) ，估计密度多( 曲就渐进地收敛于真实密度p 了。一个典型的情形是：如 果核函数趋向于6 函数，采样数据的个数趋向于无穷大，多( 力收敛于p ，并且估计多( 力 是密度p 的无偏估计。 2 1 3 k 一近邻估计 核密度估计的加权是以数据点到点j 的欧式距离为基准来加权的。而k 一近邻估计是无 论欧式距离多少，只要是离j 点的最近的k 个点之一就可以加权，则k 一近邻密度估计为 衲= 面k - 丽1 ( 2 - 7 ) 其中d a x ) 表示点j 到所有样本点欧式距离，且匾( 功s 畋( 工) 以( 力。显然k 的取值决 定了估计密度曲线的光滑程度，k 越大则越光滑。还可以与核估计结合起来定义广义k 近 邻估计为 衲= 杀万喜噎裔 任s ， 嘲k q ) id k 堪 2 2m e a n s h i f t 算法 2 2 1 核密度梯度估计 m e a n s h i f i 算法实质是核密度估计算法，将每个点。移动”到密度函数的局部极大值点 处，即密度梯度为零的点，也叫模式点。在前面已提到多维空间下点x 处的核密度估计为 1 2 浙江工业大学硕士学位论文 蛔= 嘉喜x 币 陋 尺度函数k 应该满足1 4 l 】 8 叩l k o 力l 一 ( 2 1 0 ) 一i x ( 圳痧 o 因此序列五 是收敛的。 为了证明序列饥 i f t , 2 , - 是收敛的，我们重写( 2 - 2 9 ) 式，但是假设乃4 0 简单推导 后有： 加+ 1 ) 荪胆嘉k w i 妻g 蝌) 既然五u + 1 ) 一五u ) 收敛到o ，上式意味着i ) 一乃l 也收敛到o ，0 5 j - 1 , , 2 , 。- 是柯西数 硎