（模式识别与智能系统专业论文）人体运动的跟踪与识别.pdf

摘要 图像序列中人体运动的视觉分析是计算机视觉研究领域的重要 课题之一，也是近年来备受研究者关注的前沿方向。人体运动的跟踪 与识别主要包括：从背景图像中检测出运动人体；在视频中对运动人 体进行跟踪；提取运动特征；运动识别。本文主要对人体运动的跟踪、 特征提取与识别进行了研究，主要工作体现在以下几个方面： ( 1 ) 提出了一种多特征的基于m e a ns h i f t 算法和粒子滤波器的跟 踪算法。利用系统模型对粒子进行传播得到粒子新的预测值后，将 m e a ns h i f t 算法用于每一个粒子，经过m e a ns h i f t 迭代，使粒子集 中在其局部区域内。粒子在集中的过程中会获得较大的权值，很好地 克服了粒子滤波器的退化现象，且在很大程度上减少了所需的粒子数 目，提高了算法的效率。同时考虑到单一特征的局限性，取颜色和纹 理特征作为观测模型，增强了算法的鲁棒性。 ( 2 ) 提出一种综合运动历史图像( 姗i ) 、特征图像、人体轮廓高宽 比和速度的特征提取方法。采用基于梯度的光流场计算速度，人体轮 廓高宽比可以较好的区分不同的运动模式，姗i 在空间上很好地描述 了运动发生的位置和区域，又在时间上反映了运动是如何发生的，特 征图像隐式包含了运动的速度与方向。从运动序列中的一个运动周期 内提取出多幅m h i 及特征图像，通过主成分分析法进行降维，得到表 示运动的特征点；将特征点与速度和人体轮廓高宽比组成一个向量作 为复合运动特征。 ( 3 ) 采用基于改进模糊c 均值聚类( f c m ) 和学习矢量量化网络的 识别方法对人体运动进行识别。在f 叫中，提出了一种自适应初始化 聚类中心的方法。随机选择第一个聚类中心，剩下的聚类中心可以自 适应地由算法得到。采用该方法对样本集进行初始聚类后，将聚类的 结果作为已标记的训练样本输入学习矢量量化网络，从而得到精确的 聚类中心及最终的分类结果。 实验结果表明，本文的跟踪算法实时性强，且具有良好的鲁棒性： 采用m h i 、特征图像、人体轮廓高宽比和速度的复合特征，用本文的 识别方法，可以有效的识别出6 种运动行为：走、跑、单脚向前跳跃、 原地双脚跳跃、侧向跑和双脚并拢向前蹦跳。 关键词粒子滤波器，m e a ns h i f t 算法，运动历史图像，模糊c 均值 聚类，学习矢量量化 a b s t r a c t v i s u a la n a l y s i so fh u m a nm o t i o ni ni m a g es e q u e n c ei sa ni m p o r t a n t r e s e a r c ha r e ai nt h ef i e l do fc o m p u t e rv i s i o n h u m a nm o t i o n t r a c k i n ga n d a n a l y s i s i n c l u d e st h e f o l l o w i n gs t e p s ：m o v i n gp e o p l ed e t e c t i o n i n b a c k g r o u n d s ；h u m a nm o t i o nt r a c k i n gi nv i d e o ；m o t i o nf e a t u r ee x t r a c t i o n ； a n dm o t i o nr e c o g n i t i o n i nt h i sp a p e r , w em a k er e s e a r c hi nh u m a nm o t i o n t r a c k i n g , f e a t u r ee x t r a c t i o na n dm o t i o na n a l y s i s o u rr e s e a r c hw o r kf o c u s o nt h ef o l l o w i n g a s p e c t s ： o ) at r a c k i n ga l g o r i t h mc o m b i n i n gm e a ns h i f ta l g o r i t h ma n d m u l t i - f e a t u r ep a r t i c l ef i l t e ri sp r o p o s e di nt h i sp a p e r a f t e re a c hs a m p l ei s m e a s u r e db yd y n a m i cm o d e l ，m e a ns h i f ta n a l y s i si s a p p l i e dt oe a c h s a m p l eb a s e do no b s e r v a t i o nd e n s i t y a _ f 论rm e a ns h i f ti t e r a t i o n s ，s a m p l e s a r e h e r d e d t ot h el o c a lm o d e so ft h eo b s e r v a t i o n s ot h ed e g e n e r a c y p r o b l e mi se f f i c i e n t l yo v e r c o m ea n di td e c r e a s e st h ec o m p u t a t i o n a lc o s t a tt h es a m et i m e ，c o n s i d e r i n gt h el i m i t a t i o no fs i n g l eo b s e r v a t i o nf e a t u r e ， t h ec o l o ra n dt e x t u r ei sa d o p t e da st h eo b s e r v a t i o nf e a t u r e st oi m p r o v et h e a l g o r i t h m sp e r f o r m a n c e ( 2 ) am e t h o do ff e a t u r ee x t r a c t i o n ，w h i c hi sb a s e do nm o t i o nh i s t o r y i m a g e ，f e a t u r ei m a g e ，s p e e da n dt h er a t i oo fh u m a ns i l h o u e t t e sh e i g h t a n dw i d t h ，i sp r o p o s e di nt h ep a p e r s p e e di sc o m p u t e db yo p t i c a lf l o w e s t i m a t i o nb a s e do ng r a d i e n t t h er a t i oo fh e i g h ta n dw i d t hc a n d i s t i n g u i s hd i f f e r e n tm o t i o n sv e r yw e l l a n dm o t i o nh i s t o r yi m a g e sc a n e x p r e s st h ea r e ao fm o t i o ni ns p a c ea n dh o w t h em o t i o nt a k e sp l a c ei n t e m p o r a lv e r yw e l l f e a t u r ei m a g ec r e a t e db yr e c u r s i v ef i l t e r i n g i n d i c a t e st h es p e e da n dd i r e c t i o no f t h em o t i o ni m p l i c i t l y m o t i o nh i s t o r y i m a g e sa n df e a t u r ei m a g e sa r ee x t r a c t e df r o mv i d e os t r e a m si na c t i o n d u r a t i o n ；t h e nt h ep r i n c i p a lc o m p o n e n ta n a l y s i si su s e dt ol o w e rt h e d i m e n s i o n a l i t y , a n de i g e n s p a e e sc o r r e s p o n d i n gt os e v e r a lm o t i o n si s t h e nf o r m e d ah u m a nm o t i o ni m a g ea n daf e a t u r ei m a g ea r et h e n p r o j e c t e dt oap o m ti nt h ei n d i v i d u a le i g e n s p a c e t h ec o m p l e xm o t i o n f e a t u r ei st h ev e c t o rc o m p o s e db yt h ef e a t u r ep o i n t s ，s p e e da n dt h er a t i o o f h u m a ns i l h o u e t t e sh e i g h ta n dw i d t h ( 3 ) am e t h o df o rm o t i o nr e c o g n i t i o n ，w h i c hi sb a s e do ni m p r o v e d f u z z yc - m e a n sc l u s t e r i n ga n dl e a r n i n gv e c t o rq u a n t i z a t i o n , i sa d o p t e di n t h ep a p e r w ep r e s e n ta na d a p t i v ea l g o r i t h mt oi n i t i a l i z et h ec l u s t e r c e n t e r s c h o o s i n gt h ef i r s tc l u s t e rc e n t e ra tr a n d o ma n dt h er e m a i n d e rc a n b ef o u n da d a p t i v e l yb yt h ea l g o r i t h m a f t e rc l u s t e r i n gt h ed a t a s e t , u s i n g t h er e s u l ta st h el a b e l e ds a m p l e st ot r a i n i n gt h el v qn e t w o r k , a n d t h r o u g ht h el v qn e t w o r k , w ec a ng e tt h ea c c u r a t ec l u s t e rc e n t e r sa n dt h e w e l lc l a s s i f i e dr e c o g n i t i o nr e s u l t s t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h et r a c k i n ga l g o r i t h mb a s e do n p a r t i c l ef i l t e ra n dm e a ns i f t f ti nt h i sp a p e ri sr o b u s ta n df a s t a n du s i n gt h e c o m p l e xc h a r a c t e rb a s e do nm h i ，s p e e da n dt h er a t i oo f h e i g h ta n dw i d t h ， t h er e c o g n i t i o nm e t h o db a s e do ni m p r o v e df c ma n dl v qi sa c t i v e i t c a nr e c o g n i z es i xa c t i o n s ：w a l k , r u n , s k i p ，p j u m p ，s i d ea n d j u m p k e yw o r d s p a r t i c l ef i l t e r , m e a ns h i f ta l g o r i t h m m o t i o nh i s t o r y i m a g e s ，f u z z yc m e a nc l u s t e r , l e a r n i n gv e c t o rq u a n t i z a t i o n 原刨性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 丕缘难 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者魏珥导师簦名虹吼萼旺月上日 中南大学硕士学位论文第一章绪论 1 1 研究背景及意义 第一章绪论 人类接受的外界信息有8 0 以上来自于视觉，视觉是人类最重要的信息交流 方式。人类是通过眼睛和大脑来获取、处理与理解视觉信息的。周围环境中的物 体在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲 信号，经神经纤维传入大脑皮层进行处理与理解。视觉不仅指对光信号的感受， 还包括了对视觉信息的获取、传输、处理、存储与理解的全过程。随着网络的飞 速发展，视频已经逐渐成为信息传播的主流载体之一。由于视觉在人类感知中的 特殊地位，视频领域一直都是研究的热点所在。 通常情况下，视频序列中的运动目标是人眼最为关注的部分。事实上，与静 态图像相比，图像序列及视频的最大优点就在于对运动信息的捕获【l 】1 2 】。因此运 动目标的分析理应是图像序列和视频中研究的重点，也必然成为多媒体领域研究 的一个重要方向。 图像序列中人体运动的视觉分析【1 】是计算机视觉研究领域的重要课题之一， 也是近年来备受研究者关注的前沿方向。人体运动视觉分析的主要目的，是从一 组包含人的图像序列中检测、跟踪、识别人体，并对其行为进行理解和描述，属 于图像分析和理解的范畴。其中，运动检测和运动跟踪等属于低层视觉 ( 1 0 w - l e v e la n di n t e r m e d i a t e - l e v e lv i s i o n ) 问题，而行为的理解和描述等 属于高层视觉( h i g h - l e v e lv i s i o n ) 问题。从技术角度而言，人体运动视觉分 析的研究内容相当丰富，主要涉及模式识别、图像处理、计算机视觉、人工智能 等学科知识；同时，动态场景中运动目标的快速分割、人体的非刚性运动、人体 自遮挡和目标之间互遮挡的处理等也为人体运动分析研究带来了一定的挑战。 围绕人体运动所展开的工作最早可追溯到1 9 7 3 年心理学家j o h a n s s o n l 3 对 于人类运动感知所做的研究工作。在他的实验中，在人的关节点附着亮点，使人 处于黑暗的环境中，因此只有关节点可见。实验结果表明：对于静态的光点集合， 人的视觉感知系统无法得出任何有意义的信息，而对于运动中产生的光点集合序 列，人们可以辨别出运动的形态如走路、跑步等，甚至判别出运动者的性别，故 由此提出了运动的识别问题。在此之后，由于人的运动分析在高级人机交互、安 全监控、视频会议、医疗诊断及基于内容的图像存储与检索等方面具有广泛的应 用前景和潜在的经济价值，从而激发了国内外广大科研工作者及相关商家的浓厚 兴趣，尤其在美国、英国等国家已经开展了大量相关项目的研究。例如，1 9 9 7 年美国国防高级研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 中南大学硕士学位论文 第一章绪论 设立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院 ( m a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 1 4 】，主要研究用于战场及普通民 用场景进行监控的自动视频理解技术；1 9 9 9 年欧盟i s t ( i n f o r m a t i o ns o c i e t y t e c h n o l o g y ) 的f r a m e w o r k 5 程序委员会设立重大项目a d v i s o r ( a n n o t a t e d d i g i t a lv i d e of o rs u r v e i l l a n c ea n do p t i m i z e dr e t r i e v a l ) 【5 j ，旨在开发一 个系统来有效地管理公共交通系统( 如地铁) ，从而缓解城市的压力，它覆盖了 人群和个人的行为模式分析、人机交互等研究；2 0 0 0 年美国自然科学基金会设 立重大项目m u l t i m o d a lh u m a n - ：o m p u t e ri n t e r a c t i o n ：t o w a r dap r o a c t i v e c o m p u t e r ，由伊利诺斯大学u i u c ( u n i v e r s i t yo f i l l i n o i sa t u r b a n a - c h a m p a i g n ) 的贝克曼研究所承担，该项目希望开发新的更加智能的人机 交互技术；实时视觉监控系统1 4 嘲不仅能够定位人和分割出人的身体部分，而且 通过建立外观模型来建立多人的跟踪，并可以检测人是否携带物体等简单行为； 英国的雷丁大学( u n i v e r s i t yo fr e a d i n g ) p 】已开展了对车辆和行人的跟踪及 其交互作用识别的相关研究；i 咖与m i c r o s o f t 等公司也正逐步将基于视觉的手 势识别接口等应用于商业领域中【硼【9 】。当前，国际上一些权威期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) ，c v i u ( c o m p u t e rv i s i o na n d i m a g eu n d e r s t a n d i n g ) ，p a m i ( i e e et r a n s a c t i o n so np a t t e r na n a l y s i sa n d m a c h i n ei n t e l l i g e n c e ) ，i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会 议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) ，c v p r ( i e e e c o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) ， b c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) ，i w v s ( i e e ei n t e r n a t i o n a l w o r k s h o po nv i s u a ls u r v e i l l a n c e ) ，瑚v c ( t h eb r i t i s hm a c h i n ev i s i o n c o n f e r e n c e ) 等将人的运动分析研究作为主题内容之一，为该领域的研究人员提 供了更多的交流机会。国内开展人体运动分析研究的单位有浙江大学人工智能研 究所、中科院计算所等单位。浙大人工智能研究所采用单目视觉对人体没有出现 被遮挡部位的动作进行了跟踪，首帧采用手工标注人体的特征点【1 0 1 ，该方法基 于单目视觉，无法准确估计被遮挡部位的位置，手工干预较多；中科院计算所的 研究主要用于手语识别，被测人带有数据手套【1 1 l ，是基于身体带有传感器的方法。 人体运动的视觉分析是计算机视觉中一个重要的研究方向，也是一个很广泛 的研究课题。它不仅在虚拟现实、智能监控、人机交互、运动分析、基于模型的 编码等方面具有广泛的应用前景和潜在的经济价值，在计算机视觉理论研究的层 次上也有很高的价值，而且对于人类认识自身有着重要的心理学和哲学上的意 义。它涉及到计算机视觉中的很多基本问题，例如运动监测、目标定位和识别、 2 中南大学硕士学位论文 第一章绪论 刚体和非刚体跟踪、场景恢复与表示、行为分析和建模、语义理解、机器学习等。 人体运动的视觉分析是具有挑战性的研究工作，它的很多研究成果都可以被其它 领域借鉴，从而更广泛地对计算机视觉的整体研究工作产生推动作用。 1 2 主要应用领域 人体运动的视觉分析研究在很多领域均有着广阔的应用前景【1 2 】【1 3 】【1 4 l ，本节 对一些典型的应用进行简要的介绍如下。 1 运动分析1 1 6 】f 1 h 1 1 町 运动分析主要应用于三个方面。一是在体育运动的数据库中进行基于内容的 图像检索。二是在舞蹈、运动等训练中，用视觉的方法建立人体的几何模型，通 过关节的运动分析来指导、纠正训练者的动作。三是在医学步态分析中的应用。 目前的医学步态分析闭【2 7 】圆是一个旨在提供诊断和治疗支持的研究领域，它可 以提供人体正常步态建模的线索，有助于开发生物反馈系统来分析病人的步态， 判断其腿部受伤情况或者畸形程度，从而做出积极的整形补偿或有效的治疗；当 然，步态分析也可以作为独特的生物特征用于远距离的身份识别例。 2 智能安全监控【1 9 1 2 0 j 2 1 】 一个应用是在访问控制( a c c e s sc o n t r 0 1 ) 场合识别个人的身份。通过进行 人脸的识别、步态的分析等，决定来人是否有进入该安全区域的权利。另外一个 应用则更关注于人在该场景下的动作( 而不仅仅识别人的身份) ，主要来自那些 对于安全要求敏感的场合，如停车场、超市、自动贩卖机、a t m 和交通管理等。 当场景里出现可疑行为时，能及时向保安人员发出警报，从而避免犯罪的发生。 3 人机交互接口圆例 在人们的日常生活中，除了口头语言外，手语、姿势等肢体语言是最常见的 交流方式。智能人机交互就是要让目前的计算机尽力摆脱键盘、鼠标等传统交换 设备的局限，通过语音、手语等常用的自然交流方式直接与人交互，使计算机能 像常人一样与我们更加便捷地交流。这要求计算机具备感知外部环境的能力，独 立地获取周围环境的重要信息，如跟踪人体部分和接体的运动等。更进一步的能 力是进行人的识别和行为理解，结合面部表情、姿态和手势等的分析来与人进行 交流，也可以驱动相应的控制。在这类领域中，人体运动分析动作用主要分为两 类：一类系统中，人体运动分析是作为主要交互手段来与机器沟通，如在手势识 别中，通过对于特定手势的分析识别，达到控制机器的目的。另一类则是在人机 交互中起辅助作用，比如在自然语言的理解中，通过人体视觉信息补充听觉信息， 可以有助于自然语言的分析理解过程。对于机场、工厂等喧闹环境，基于手势、 姿态分析的智能高级人机交互技术能够提供比语音识别更加准确的信息输入。 3 中南大学硕士学位论文 第一章绪论 4 虚拟现实 虚拟现实的目的就是为人们提供一个虚拟的交互世界。而在这个虚拟世界 中，我们想要再现一个用户的动作姿态，就必须首先获得他在真实物理空间中的 人体的姿态，然后映射到虚拟空间中去。这也就是需要用到人体运动视觉分析的 原因。增加用户的手势、头部运动和面部表情等方面的表达，将提供给用户更加 广阔的交互空间。另外，人的运动分析在虚拟游戏、视频会议、人物动画制作等 虚拟现实场合也有着相当广泛的应用。 5 计算机图形学 在计算机图形学领域中，人体运动分析主要应用在运动合成中( m o t i o n s y n t h e s i s ) 。在传统的角色动画设计工作中，动画设计师需要在不同关键帧上面 设置表演者的动作，通过插值等方法来生成最终的动画。而在此类动画创作过程 中，即使是有经验的设计师，设计出的动作也可能比较僵硬不自然，尤其当表演 者的动作较大时，结果往往不是很理想。由此需要一种称之为运动合成的技术即 通过捕捉实际演员的动作来自动完成动画的生成工作。通过在人体运动过程中对 人体三维结构的重建，可以精确对人体运动建模。这需要对运动人体采取运动捕 捉技术。传统的运动捕捉技术一般采用机械式或电磁式装置。前类系统主要依靠 机械装置来跟踪测量运动轨迹。通过将机械装置附着在人体上，在运动时由运动 带动机械装置，由装置所附传感器来记录人体的肢体位置。该类系统影响人体的 活动自由，且不适于高速的人体运动。后者则通过在人体各部位安装磁性传感器 用于接受磁场信号，并通过计算得到各传感器在空间中的位置和方向，但同样存 在着和前者类似的问题，且系统昂贵。而基于视频的运动捕捉系统，是利用光学 系统捕捉人体运动，成本低廉，适于捕捉快速的人体运动，是未来研究和应用的 方向。 6 图像压缩 在图像压缩领域中，如m p e g _ 4 中所描述的电话视频中，可通过跟踪人的头 部运动，确定人的头部在图像区域中的位置，并对这一部分采取较高细节的编码 方式，而对背景则采用较低细节的编码方式，从而有效地对相关视频进行压缩。 此外，在机器人技术中，服务型机器人需要随时跟随使用者，这就需要对人 体的运动能够进行实时有效地跟踪。 1 3 人体运动分析的基本方法 人体运动分析的一般过程可分为以下四个步骤：( 1 ) 从背景中提取运动目标； ( 2 ) 从运动目标中分出人体目标；( 3 ) 运动人体的跟踪，即在连续的图像帧问 创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题；( 4 ) 人体 4 中南大学硕士学位论文第一章绪论 行为的理解与描述。用简易框架图表示如图1 - 1 所示。 人体 运动 序列 运动 目标 检测 运动 目标 分类 人体 运动 跟踪 图i - i 体运动分析一般处理框架 行为 理解 插述 其中运动目标检测、运动目标分类和人体运动跟踪属于视觉低级和中级处理 部分，面行为理解和描述属于高级处理。 跟踪的目的就是要在视频序列的连续图像帧之间建立有关特征的对应匹配， 获取关于位置、速度、形状、纹理或色彩等的连续信息。这些被跟踪匹配的特征 可以是点、线、图像块，轮廓以及3 d 特征元等。人体运动的跟踪也就是要建立 图像序列中人体的这些特征之间的对应关系。常用的数学工具有卡尔曼滤波 3 0 1 ( k a l 腑nf i l t e r i n g ) 、c o n d e n s a t i o n 算法【3 、动态贝叶斯网络 3 2 1 ( d y n a m i c b a y e s i a nn e t w o r k ) 和m e a ns h i f t 算法等。其中卡尔曼滤波是基于高斯分布的 状态预测方法，可实时地进行跟踪预测。c o n d e n s a t i o n 算法是以因子抽样为基 础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。m e a n s h i f t 算法是基于样本估计的算法。目前就跟踪对象而言，可分为跟踪人体运动 部分【3 3 1 3 4 1 1 3 5 】【3 6 】网、人的运动整体【3 9 】；就摄像机的数量而言，可分为单摄像机跟 踪和多摄像机跟踪。当然还可以通过跟踪空间( 二位或三位) 、跟踪环境( 室内 或户外) 、跟踪人数( 单人、多人、人群) 、摄像机状态( 运动或固定) 等方面进 行分类。根据特征的不同对一些典型的跟踪方法进行介绍如下。 1 基于区域的跟踪( r e g i o n - b a s e dt r a c k i n g ) 基于区域的人体跟踪方法用图像帧中的运动区域或块( b l o b ) 来表示整个人 体或人体的各个部分，跟踪过程就是要在所有图像帧中定位这些区域并建立它们 之间的对应关系。基于区域的跟踪方法目前已有较多的研究。例如w r e n 等 4 0 1 利 用小区域( b l o b ) 特征进行室内单人的跟踪，文中将人体看作由头、躯干、四肢 等身体部分所对应的b l o b 组成，利用高斯分布建立人体和场景的模型，属于人 体的像素被规划于不同的身体部分，通过跟踪各个b l o b 来完成对整个人的跟踪。 基于区域跟踪的难点是处理运动目标的影子和遮挡，这或许可以利用彩色信息以 及阴影区域缺乏纹理的性质来加以解决，如g c k e n n a 等【4 1 1 首先利用色彩和梯度 信息建立自适应的背景模型，并且利用背景减除方法提取运动区域，有效地消除 了影子的影响；然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可 以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同 5 中南大学硕士学位论文第一章绪论 时人群又是由单个的人组成的，因此利用区域跟踪器并结合人的表面颜色模型， 在遮挡情况下也能够较好地完成多人的跟踪。 2 基于模型的跟踪( m o d e l b a s e dt r a c k i n g ) 传统的人体表达方法有如下三种1 4 2 ：1 ) 线图法( s t i c kf i g u r e ) ：人运动 的实质是骨骼的运动，因此该表达方法将身体的各个部分以直线来近似，如 k a r z u l o v a 建立了人体运动学的分层模型，用于单目视频序列中人体的跟踪。2 ) 二维轮廓( 2 一dc o n t o u r ) ：该人体表达方法的使用直接与人体在图像中的投影有 关，如j u 等提出的纸板人模型( c a r d b o a r dp e r s o nm o d e l ) ，它将人的肢体用一 组连接的平面区域块所表达，该区域块的参数化运动受关节运动( a t t i c u l a t e d m o v e m e n t ) 的约束，该模型被用于关节运动图像的分析；n i y o g i 与a d e l s o n 利 用时空切片方法进行人的跟踪：首先观察有人的下肢轨迹所产生的时空交织模 式，然后在时空域中定位头的运动投影，接下来识别其他关节的轨迹，最后利用 这些关节轨迹勾画出一个行人的轮廓。3 ) 立体模型( v o l u m e t r i cm o d e l ) ：它是 利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节，因此要求更多的 计算参数和匹配过程中更大的计算量。这在很大程度上类似于人脑的分析过程， 等价于在较强先验知识的指导下进行模型的匹配处理。算法的关键是通过3 d 模 型的二维投影与图像特征之间的相似性度量来确定模型的姿态，每一时刻只要确 定了模型的状态也就得到了人体的3 d 姿态。近年来，随着图形学中人体建模和 动画技术的发展成熟，这类结合图形学和视觉技术的方法也得到了越来越多的研 究。s i d e n b l a d h 等采用三维运动学人体模型进行跟踪，由9 个圆柱体和3 个球 体构成人体模型。对任一图像帧，可由3 d 人体模型在已知摄像机模型下生成其 对应的外观模型，用来计算模型与图像的相似性。对捕捉的3 d 运动数据进行训 练学习得到人体的运动模型，利用得到的外观模型和运动模型，在概率框架下跟 踪单目视频中人体的运动。但是，这种外观模型对人穿着色彩和样式多变的衣服 的情况适用性并不好，作者也只是试验了灰度图像序列中的入体行走运动的跟 踪。w a c h t e r 与n a g e l 利用椭圆锥台建立三维人体模型，通过在连续的图像帧之 间匹配三维人体模型的投影来获得人运动的定量描述，其中，它利用了迭代的扩 展卡尔曼滤波方法，结合边缘、区域信息及身体解析约束确定的身体关节运动的 自由度，实现单目图像序列中人的跟踪。 3 基于特征的跟踪( f e a t u r e b a s e dt r a c k i n g ) 基于特征的跟踪包括特征提取和特征匹配两个过程。p o l a n a 与n e l s o n 的文 章【4 3 】利用点特征来进行跟踪，文中将每个行人用一个矩形框封闭起来，封闭框 的质心被选择作为跟踪的特征；在跟踪过程中若两人出现相互遮挡时，只要质心 的速度能被区分开来，跟踪仍能被成功地执行；该方法的优点是实现简单，并能 6 中南大学硕士学位论文第一章绪论 利用人体运动来解决遮挡问题，但是该文仅仅考虑了平移运动，如果结合纹理、 彩色及形状等特征可能会进一步提高跟踪的鲁棒性。另外，s e g e n 与p i n g a l i 的 跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的 曲率值的距离度量在连续帧之间进行匹配。以卡尔曼滤波形式的点、线特征的跟 踪技术在计算机视觉领域中已被很好地开发利用，如j a n g 与c h o i 利用区域的形 状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波预测方法，利 用使特征匹配能量函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚 性物体的跟踪具有很好的自适应性。 4 基于轮廓的跟踪( c o n t o u r - b 8 s e dt r a c k i n g ) 基于轮廓的跟踪网思想是利用曲线轮廓来表示运动目标，如果该轮廓能够 自动连续地更新，则称为活动轮廓( a c t i v ec o n t o u r ) 。轮廓跟踪在运动目标跟 踪中得到了深入研究和广泛应用。p e t e r f r e u n d 采用基于卡尔曼滤波的活动轮廓 来跟踪非刚性的运动物体。作者采用基于梯度和光流的测度准则，其算法对部分 遮挡和杂乱背景有较好的鲁棒性。但就人体运动跟踪而言，作者只对简单的摆手 动作的手部轮廓外形进行了跟踪实验。i s a r d 等用活动轮廓来表示杂乱无章背景 中的手掌和固定背景中的人体，在跟踪中都取得了较好的结果。他们利用随机微 分方程去描述复杂的运动模型，可变形活动轮廓作为观测模型，通过由粒子集表 示的条件概率密度随时间传播的方法实现轮廓的跟踪由于采用b 样条表示的轮 廓曲线可随视频帧灵活变化，而基于粒子滤波的跟踪方法能在每一时刻保留相应 的多个估计，使得他们的方法对杂乱背景有很好的鲁棒性。 与基于区域的跟踪方法不同，用人体轮廓作为跟踪目标的方法不会受光照等 的影响。相对于基于区域的跟踪方法，轮廓表达也有减少计算复杂度的优点。如 果初始若干帧能够合理地分开人体的各个部分并实现轮廓初始化的话，即使在有 部分遮挡存在的情况下也能连续地进行跟踪。然而人体的轮廓本身较复杂，而且 随着人体盼运动其轮廓也快速地发生变化，因此轮廓的控制相对比较困难。在单 目视频中跟踪整个人体有着不小的难度，而在多摄像机下的人体运动跟踪则更多 地采用了人体轮廓这一特征。 5 基于轮廓与区域相结合的跟踪 由于区域跟踪和轮廓跟踪存在各自的优缺点，将两者结合起来，以提高人体 运动跟踪的效率和鲁棒性。在w a c h t e r 等的工作中，轮廓和区域信息都被使用以 同时增加准确性和鲁棒性。他们采用椭圆锥台建立三维人体模型，通过在连续的 图像帧之间匹配三维人体模型的投影，结合边缘、区域信息及人体解析约束确定 人体关节运动的参数。利用迭代的扩展卡尔曼滤波方法，实现了单目图像序列中 的人体跟踪。将轮廓信息和区域信息结合在一起虽然增加了计算的代价，但对跟 7 中南大学硕士学位论文 第一章绪论 踪结果准确性和鲁棒性的提高也是明显的。在对人体运动跟踪结果精确度要求较 高的视频人体动画和体育运动分析等应用场合，应更多地采用这类方法。 人的行为理解与描述是近年来被广泛关注的研究热点，它是指对人的运动模 式进行分析和识别，并用自然语言等加以描述行为理解可以简单地认为是时 变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行 匹配由此可见，行为理解的关键问题是如何从学习样本中获取参考行为序列， 并且学习和匹配的行为序列能够处理在相似的运动模式类别中空间和时间尺度 上轻微的特征变化 匹配时变数据的技术通常有动态时间规整d t w 1 ( d y n a m i ct i m ew a r p i n g ) 、 隐马尔可夫模型h m b i s 4 s ( h i d d e nm a r k o vm o d e l s ) 和神经网络n n ( n e u r a l n e t w o r k ) 。其中，d t w 具有概念简单、算法鲁棒的优点，早期被广泛应用于语音 识别中，近来才被用于匹配人的运动模式；对d t w 而言，即使测试序列模式与参 考序列模式的时间尺度不能完全一致，只要时问次序约束存在，它仍能较好完成 测试序列和参考序列之间的模式匹配。舢s 是更加成熟的匹配时变数据的技术， 它是随机状态机器。删s 的使用涉及到训练和分类两个阶段，训练阶段包括指 定一个隐马尔可夫模型的隐藏状态数，优化相应的状态转换和输出概率以便于产 生的输出符号与在特定的运动类别之内所观察到的图像特征相匹配。对于每一个 运动类别，一个删是必须的。匹配阶段涉及到一个特定的h m m 可能产生相应于 所观察图像特征的测试符号序列的概率计算。h m m s 在学习能力和处理未分隔的 连续数据流方面比d t w 有更好的优越性，当前被广泛应用于人的运动模式匹配中 4 0 3 。n n 同样也是目前比较感兴趣的匹配时变数据的方法。如g u o 等【4 7 l 用其分析 人的运动模式；r o s e n b l u m 等嗍使用径向基函数网络从运动中识别人的情感。 对于人的行为识别而言，目前主要有下述两种方法。 1 模板匹配方法( t e m p l a t em a t c h i n g ) 采用模板匹配技术【4 9 l 的行为识别方法首先将图像序列转换为一组静态形状 模式，然后在识别过程中和预先存储的行为标本相比较。例如，b o b i c k 与d a v i s 睁o j 采用运动能量图像m e i ( m o t i o ne n e r g yi m a g e s ) 和运动历史图像姗i ( m o t i o n h i s t o r yi m a g e s ) 来解释图像序列中人的运动。序列中的运动图像首先经差分运 算并二值化；雨后这些包含运动区域的二值化运动图像随着时问累加形成旺i ； 最后姬i 增强为m h i ，m h i 中每个像素的值与该位置的持续运动时间成比例。每 种行为由不同视角下图像序列的m e i 和m h i 所组成，从中可以提取出基于矩的行 为特征用于识别阶段的模板匹配。p o l a n a 与n e l s o n 4 3 利用二维网格特征进行人 的运动识别，首先计算连续帧之间的光流场，将每个光流帧在空间栅格上沿x 和y 方向分解，每个单元格的幅度被累加，从而形成一个高维特征向量用于识别； 8 中南大学硕士学位论文第一章绪论 为了归一化运动的持续时间，他们假设人的运动是周期性的，并将整个序列分解 为该行为的许多循环过程；最后，采用最近邻算法进行行为识别。模板匹配技术 的优点是计算复杂度低、实现简单，但它对于噪声和运动时间间隔的变化是敏感 的。 2 状态空间方法( s t a t es p a c ea p p r o a c h e s ) 基于状态空间模型【5 1 】的方法定义每个静态姿势作为一个状态，这些状态之 间通过某种概率联系起来。任何运动序列可以看作为这些静态姿势不同状态之间 的一次遍历过程，在这些遍历期间计算联合概率，其最大值被选择作为分类行为 的标准。目前，状态空间模型已经被广泛应用于时间序列的预测、估计和检测， 最具有代表性的是舢s 。每个状态中可用于识别的特征包括点、线或二维小区 域。例如，y a m a t o 等【5 2 】利用二维小区域块的运动、彩色、纹理等特征进行人的 行为识别；人的运动区域块的网格特征被用作学习和识别的低级特征；学习是利 用h m m s 来为每个类别产生符号模式；模型参数的优化是利用b a u m - w e l c h 算法实 现的；识别是以给定序列图形下前向计算( f o r w a r dc a l c u l a t i o n ) 的结果而确 定的。b r e g l e r 基于人体动力学在不同抽象等级的统计分解提出了一个综合性的 网络用来识别人的运动。识别过程起始于低级处理，基于运动、彩色相似度和空 间接近程度等的小区域块以混合高斯模型来估计，不同的身体部