（计算机应用技术专业论文）图像序列中的人体运动分析.pdf

摘耍 摘要 近年来，人体运动分析成为计算机视觉和图像处理技术中备受关注的一个前沿方 同。其研究在虚拟现实、智能监视系统、高级用户接口、运动分析和基于模型的图像编 玛等方面具有广阔的前景和理沦意义。但足由于受到人体运动的特殊复杂性限制，使得 其研究还处十钏绒阶段。 本文以图像序列中人体运动分析为研究内容，对图像序列中的运动分析和人体运动 跟踪方法进行了比较深入的研究。首先详细分析和实现了图像序列中的人体运动分割算 法。在差图像算法的基础上，结合直方图自动阈值分割和数学形态学算法提出了运动人 体分割算法。接着对图像序列中的人体步态运动跟踪技术进行了研究。在建立二维人体 模型的基础上，提出了一种基于逆运动学方法和图像局部匹配的人体关节点跟踪算法， 有效的完成了图像序列中人体腿部关节点的跟踪。最后还对人体运动分析在步态识别中 的技术进行了研究，并就基于统计的识别方法进行了详细描述。 在本文的最后，还对进一步的研究工作提出了一必想法。 关键字：人体运动分析运动跟踪图像序列步态识别 a b s t r a c 丁 a b s t r a c t h u m a nm o t i o na n a i y s i si sc u r r e n t l yo n eo ft h em o s ta c t i v er e s e a r c ht o p i c si nt h ed o m a i n o f c o r n p u t e rv i s i o na n di m a g ep r o c e s s i n g t h i ss t r o n gi n t e r e s ti sd r i v e nb y aw i d e s p e c t r u mo f p f ”u m i s i n ga p p l i c a t i o n i n m a u ya r e a s s u c ha sv i r t u a l r e a l i t y ，s m a r t s u r v e i l l a n c e s y s t e m ， a d v a n c e du s e ri n t e r f a c e ，m o t i o na n a l y s i sa n dm o d e l b a s e dc o d i n g ，e t c b u tb e c a u s eo ft h e c o m p l e x i t yo f h u m a n m o t i o n ，t h er e s e a r c hi ss t i l li nt h es t a g eo fd e v e l o p m e n t 。 t h i sp a p e ri sf o c u so nt h eh u m a nm o t i o na n a l y s i si ni m a g es e q u e n c e s t h em o t i o n a n a l y s i s i ni m a g es e q u e n c e sa n dt h ec u r r e n tm e t h o d so fh u m a nm o t i o na n a l y s i sa r es t u d i e dd e e p l y f i r s t i y ，t h e m e t h o d so ft h em o t i o nh u m a nb o d y s e g m e n t a t i o n i n i m a g es e q u e n c e s a r e a n a l y z e d b a s e do nt h ed i f f e r e n c ei m a g ea l g o r i t h mt od e t e c t i n gt h em o t i o nh u m a nb o d y ，t h e a l g o r i t h m so f h i s t o g r a ma u t ot h r e s h o l ds e g m e n t a t i o na n dm o 垮h o m g i c mo p e r a t o r sa r e u s e d 。 a c c o m p l i s ht h em o t i o nh u m a nb o d ys e g m e n t a t i o n s e c o n d l y ，t h em o t i o nt r a c k i n go f h u m a n g a i ti ni m a g es e q u e n c e s i ss t u d i e d b a s e do nt h e2 dh u m a n m o d e l ，t h ei n v e r s ek i n e m a t i c sa n d t h el o c a ls e a r c hm a t c ha r eu s e dt oa c c u r a t et r a c k i n gt h ej o i n tp o s i t i o n si ni m a g es e q u e n c e s l a s t l y ，t h eg a i tr e c o g n i t i o nt e c h n i q u ei ss t u d i e d ，a n dt h es t a t i s t i c a lm e a s u r e m e n ta p p r o a c hi s d e s c r i b e di nd e t a i l a tt h ee n do ft h i sp a p e r 。s o m eo t h e ri d e a sa b o u tf u t u r ew o r k i n ga r ep r o p o s e d k e p v o r d s ：h u m a n m o t i o na n a l y s i sm o t i o nt r a c k i n g i m a g es e q u e n c e s g a i tr e c o g n i t i o n y 5 8 3 4 3 0 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文甲不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申清学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名雌日期 。争、6 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名：邀，日期j 趔 导师签名塾! 堕日期。圭叨q 、t 8 第一章绪论 第一章绪论 随着计算机视觉和图像处理技术的不断发展，在视频图像中对人体运动进行跟踪和 分析成为计算机学科中一个具有挑战性的研究课题之一。由于人体运动分析在虚拟现 实、智能监视系统、高级用户接口、运动分析和基于模型的图像编码等方面具有广阔的 应用前景和理论意义，越来越多的计算机视觉工作者都投入到了人体运动分析的技术研 究中，并取得了一些显著成果。但是由于人体运动分析还存在着许多现实困难，对人体 运动的研究还处于初级阶段。本文主要针对视频图像序列中的人体运动分析进行研究， 并就图像序列中的人体运动分割和关节点跟踪分析提出了实现的方法。 1 1 人体运动分析的历史和现状 人体运动分析一直是计算机学科中一个重要的研究课题，许多学者对此问题都提出 了许多不同的方法，开展了不同的研究工作。但是由于人体运动的复杂性和不规则性使 它很难用一个统一的方法进行研究。尽管许多学者已经进行了有益的尝试，但是许多方 法和模型或是过于简单而不能普遍采用，或是过于复杂难以在实际中进行应用，人体运 动跟踪和分析还需要不断发展。 传统的人体运动分析在实际中已经取得了应用。但是其技术实现需要使用专用设 备。传统中用于运动分析的设备有三类：机械式、磁感应式、光学式。其中机械式设备 是最早出现的一种。它通过在人体身上直接附加机械装置来记录人体关节的运动。但其 主要问题是记录精度不高，而且由于机械装置有一定重量，会影响人体做出自然的动作。 磁感应式设备利用在人体身上放置电磁传感器来测量人工生成的环境磁场，并据此得到 关节的位置，其测量精度较高，但数据采样率不高，无法记录快速的运动。此外由于磁 感应设备需要连接线，限制了人体的活动范围，而且在跟踪环境中不能有金属物体。光 学记录设备它通过拍摄附着在人体身上的反射标记来计算人体的运动轨迹。其方法的主 要优点是记录的运动范围比较大，记录的采样速率较高。但光学记录的数据需要通过后 处理过程建立反射标记在不同摄像机中记录的影像之间的对应关系，并据此计算出反射 标记的空间运动轨迹。由于需要后处理过程也使得光学记录很难用于实时场合。 由于以上传统人体运动分析方法存在的局限性和设备费用的问题，使得人体运动分 析技术很难得到广泛的应用。随着计算机视觉和图像技术的发展，针对图像序列的人体 运动分析得到了广泛的研究。视频图像序列的人体运动分析由于设备简单，成本小，丽 且对人体没有任何限制条件等特点，其研究成为了国内外研究人员的研究热点之一。本 文也是针对图像序列中的人体运动开展研究。 图像序列中的人体运动分析 国外研究基于图像序列的人体运动分析有基于模型的方法和非基于模型的方法。基 于模型的典型方法之一是事先建立人体模型”。，将模型与运动序列的酋帧匹配，在后 续帧的跟踪过程中，采用人体运动参数限利等条件，用卡尔曼滤波器等方法进一步估计 后续帧的运动参数，调整模型，使模型与之匹配，最终构造出模拟人体运动的模型序列 。“。这种方法的缺点是后续帧的跟踪存在累计误差，不能跟踪长序列图像。非基于模型 的典型方法。”事先不需建立人体模型，而是根据人体运动呈现的几何、纹理、色彩等 信息，估计人体运动的状态，其缺点在于人体运动姿态很难用有限个状态描述，需要依 赖九验知谚 ，难以完成准确的定位。 在对人体运动分析时，目前有采用单目视觉“。和多目视觉”来开展研究的。单目 视觉只用一台摄像机摄像，定标简单、计算量小，但对人体复杂动作和长时间的部位重 叠不能准确估计；而多目视觉利用设置在不同观测点的多台摄像机摄取图像，实现信息 融合，理论上能较好地解决因出现重叠与身体自遮挡时单目视觉估计不准的问题。但多 个摄像机的标定复杂，信息冗余，标定误差在一定程度上制约了跟踪目标的精度。 在实现运动分析的算法中，首帧人体位置的确定目前也有两种不同的方法：一种方 法是用手工标注人体的特征点( 如关节点) ”“，这不利于人体跟踪的自动化；另一种方 法是去除人体以外的背景后“3 1 ，确定身体的各个部位，这种方法可部分实现自动化，但 对于人体这样具有关节旋转运动的非刚体来说，难以彻底地去除背景。 从国外发展的趋势上看，跟踪人体运动的类型由简单的周期性运动如步行、跑步过 渡到对人体自由运动乃至复杂的体操动作的跟踪与分析：跟踪的视点从单目视觉到多目 视觉；跟踪过程由人工干预逐步向自动化标注的方向过渡。 紧跟国际的发展，国类也于2 0 世纪9 0 年代开展了这方面的研究。浙江大学人工 智能研究所采用单目视频图像序列对人体没有出现被遮挡部位的动作进行了跟踪，首帧 采用手工标注人体的特征点“”，该方法基于单且视觉，无法准确估计被遮挡部位的位置， 手工干预较多；中国科学院自动化研究所主要开展了人运动的视觉分析技术研究，在跟 踪人体运动中使用了运动模型和关节体模型“。 由于人体运动分析的复杂性和应用的广泛性吸引了国内外众多的研究者。美国、德 国、日本各大学及科研院所长期获得各方面资助，开展人体运动分析的研究。i e e e 也 定期举办人体运动分析的专题会议，并且在每年i e e e 举办的众多国际会议中，均有这 一主题，可见国际上对该项研究的高度重视。 1 2 人体运动分析研究的应用背景 人体运动分析技术具有十分广阔和重要的应用领域。目前，在智能监控系统、高级 用户接口、运动分析、虚拟现实及基于模型的编码等 1 e - t s 方面具有广泛的应用前景和潜 在的经济价值，从而激发了国内外广大科研工作者及相关商家的浓厚兴趣。人体运动分 第一章绪论 析的应用领域详见表1 1 所示。 ( 1 ) 智能监控系统( s m a r ts u r v e i l l a n c es y s t e m ) 人体运动分析最有前景的潜在应用就是智能监控系统。智能监控区别于传统的监 控系统，这罩所说的智能监控系统在于其智能性，简单而言，不仅可用摄像机代替人眼 而还可用计算机代替人协助来完成监控任务。智能监控系统的需求主要来自那些对安 全要求敏感的场合，如银行、商店、停车场等。目前监控摄像机在商业应用中已经普遍 存在，但并没有充分发挥其实时主动的监督作用，因为它们通常是将摄像机的输出结果 记录下来，当异常情况发生后，保安人员歹j 通过记录的结果观察发生的事实，但往往为 时己晚。而我们需要的监控系统应能够每天连续2 4 小时的实时监视，并自动分析摄像机 捕捉的图像数据，当盗窃发生或发现到具有异常行为的可疑的人时，系统能向保卫人员 准确及时地发出警报，从而避免犯罪的发生，同时也减少了雇佣大批监视人员所需要的 人力、物力和财力的投入：在访问控制( a c c e s sc o n t r 0 1 ) 场合，可以利用人脸或者步态的跟 踪识别技术，以便确定来人是否有进入该安全领域的权利：另外，人体运动分析在自动售 货机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等监控方面也 有着相应的应用。 ( 2 ) 高级用户接口( a d v a n c e d u s e ri n t e r f a c e ) 在高级用户接口应用领域中，我们希望未来的机器能像人一样与我们更加容易和便 捷地交流，如手势驱动控制，手语翻译等。人与人之间的信息交流主要是依靠语言，并 适当结合手势、身体姿势和面部表情等，因此视觉信息可以作为语音和自然语言理解的 有效补充来完成更加智能的人机交互。这就要求未来的计算机必须具备感知外部环境的 能力，即代替传统的键盘或鼠标输入模式、独立地提取周围环境的重要信息( 如检测到 人的存在等) ：更进一步的能力是进行人的识别和行为理解，结合面部表情、身体姿势 和手势等的分析来与人进行相应的交流。在机场等高噪声的场合，基于视觉的高级用户 接口能够提供比语音识别更加准确的信息输入。 ( 3 ) 运动分析( m o t i o na n a l y s i s ) 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于建立人体 的几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极的推动作用，这 可以应用于体育运动、舞蹈等训练中；传统的步态分析是肌电图学、关节动力学的研究 范畴，而目前的医学步态分析是一个旨在提供诊断和治疗支持的研究领域，它可以提供 人体正常步态建模的线索，有助于开发生物反馈系统来分析瘸人的步态，判断其腿部受 伤情况或者畸形程度，从而做出积极的整形补偿或有效的治疗；步态分析也可以作为独 特的生物特征用于远距离的身份识别：另外，人体运动分析和行为识别也可以用于从体 育活动数据库中进行基于内容的快速搜索等。 ( 4 ) 虚拟现实( v i r t u a lr e a l i t y ) 目前许多电脑游戏中人的形体、运动和行为交互的设计逼真性实际得益于物理空间 图像序列中的人体运动分析 中人体运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等；基于互联网络 的交可式窄间的开发刚刚起步，如虚拟聊天室，它在通过文本交流的同时可以通过二维 图标来导航用户，如果增加手势、头的姿势、面部表情等线索，将会给参与者们提供更 加丰富的交互形式：另外，人体运动分析在视频会议、人物动画、虚拟工作室等其它虚 拟现实场合也有着相当广泛的应用。 ( 5 ) 基于模型的编码( m o d e l b a s e dc o d i n g ) 通过提取一定的静态场景中人物的形态特征参数年1 3 3 d 姿态参数，以较低的数据量对 视频数掘流加以描述，实现视频数据的压缩和甚低e e 特率传送。可以用于在因特网上展 开远程视频会议以及v o d ( v i d e oo nd e m a n d ) 视频点播。 表11 人体运动分析的应用领域 f 研究领域实际应用场合 虚拟现实交互虚拟世界 游戏 虚拟演播室 人物动画 远程会议系统 智能监控系统门禁系统 自动停车场 大型超市、百货商店 自动提款机，自动出售机 ， 交通设施 人流统计系统 高级用户接口交流辅助设备 符号语言翻译 手势驱动控制系统 嘈杂环境信号系统( 机场、工厂) 运动分析运动录像的基于内容的索引 针对性的运动训练 舞蹈芭蕾等姿势分析 外科病人i 临床分析系统 基于模型的编码高效视频编码 第一章绪论 1 3 本文主要内容 人体运动分析技术的发展离不开计算机视觉、计算机图像处理技术、生理学等学科 知识的理论基础支持。在计算机视觉领域，刚体运动和非刚体运动的运动形式，光流分 析技术咀及特征匹配等技术直接影响并作用于人体运动建模和人体运动数据分析和解 决过程中。图像处理技术中的特征提取、图像匹配等也为人体运动跟踪提供了重要的理 论依据。生理学中的人体结构等因素都是本文的重要依据。前人在这些领域所作的研究 与实践，得出的i 里论和i 经验，都为本文研究提供了很大的帮助。 概括起来，本文在研究人体运动分析方面，主要有以下几个方面的工作： 介绍了人体运动分析的发展历史和研究现状，并说明了人体运动分析的研究应 用背景。 详细介绍了图像序列中运动分析理论基础和分析方法，阐述了各种分析方法的 特点和关键技术。 对现有的人体运动分析方法进行了总结与研究，介绍了几种典型的人体运动分 析技术。 在人体运动跟踪方面，针对图像序列中人体运动的特点，在差图像算法进行人 体运动检测的基础上，结合直方图自动闽值分割和数学形态学算法提出了运动 人体分割的方法。有效地抑制了噪声和完整的填充了人体图像断裂处。得到了 较好的分割效果。 在人体运动分析方面，在建立二维人体模型的基础上，提出了基于逆运动学的 方法来对图像序列中的人体关节点进行粗略跟踪，并使用人体每个部分的局部 特点来达到局部精确匹配的运动人体关节点跟踪算法，有效的完成了图像序列 中人体关节点的跟踪和描述。 对人体运动分析在步态识别中的技术进行了研究，并就基于统计的步态识别方 法进行了详细描述，对下一步步态识别技术提出了自己的看法。 本文的文章结构安排与所做的工作相对应，各章的具体安排如下： 第一章：绪论部分。介绍了课题的发展历史和研究现状，并对人体运动分析的应用 背景进行了归纳，并简单介绍了本文所作的主要工作。 第二章：介绍了图像序列中基本的运动分析技术。 第三章：对现有的人体运动技术迸行了介绍与研究，并对人体运动分析中的关键技 术进行了讨论。 第四章：详细研究了图像序列中的运动分割技术，并提出和实现了图像序列中的一 种人体运动分割算法。 第五章：描述了人的全身跟踪及基于模型的人体腿部运动跟踪技术，并提出和实现 图像序列中的人体运动分析 了基于逆运动学的人体关节点跟踪算法。 第六章：介绍了人体运动分析在步态识别中的研究，就其采用的一些技术和方 法展开了分析。 结束语部分作为本文工作的总结，在简要回顾了本文工作的基础上，对人体运动分 析技术的进一步发展提出了自己的一些看法和想法。 第二章图像序列运动分析基础 第二章图像序列运动分析基础 图像中包含有大量的有用信息，而与静态图像相比，动态图像序列包含有更为丰富 的信窟、。运动分析的目的就是在动态图像序列中，得到关于特定物体的属性诸如空间位 置，姿态，运动速度以及恢复物体的运动结构，既而可阻对场景在较高层次上做出相应 的解释与分析。视频图像序列的运动分析一直以来都是计算机视觉领域中的重要研究课 题。 2 1 刚体运动与非刚体运动 物体的运动基本上可分为刚体运动与非刚体运动。刚体主要指的是形状和大小不随 外力和运动而变的固体，在运动过程中，刚体内的任意两个质点的距离保持不变。与刚 体运动相对应的就是非刚体运动，非刚体运动过程中，物体的外形和大小均可能发生变 化。 现实世界中的大部分物体运动均以非刚体运动的形式出现。诸如水的流动，人体运 动，动物的跑动，织物的摆动等等都是非刚体运动的表现形式之一。因此对于非刚体运 动所进行的运动分析研究更具有普遍的意义和应用价值。 对于本文中研究的人体运动，认为人体的各组成部分是按照刚体规律运动，然而人 体的各部分由关节点相连在一起，则人作为整体是非刚体的运动。人体的这种运动形式， 也称为关节相连的非刚体运动，其属于非刚体运动中的一种特殊形式。 2 2 运动分析概述 运动分析按所需要完成的目标或获得信息的层次高低可分为以下几类“”： ( 1 ) 运动检测 运动检测仅仅要求获知运动的出现与发生，且只需要对于某种类型运动做出 快速的响应，不需要获得关于物体和运动的详细描述信息。一般而言差分图像技 术可用于运动的检测。这种问题往往在安全领域中得到应用，例如在视频监控中 需对镜头中的运动物体进行示警。 ( 2 ) 运动物体检测和定位 运动物体检测和定位需要对特定运动物体的运动做出判断和检测，并需要 在运动过程中获得在任何时刻物体的运动位置。因此，这就需要能够在图像序 列中检测出所关注的物体，而且要求在运动过程中进行跟踪，以便于定位。 图像序列中的人体运动分析 般而言+ 运动特征匹配技术主要用于解决此类问题。在诸如卫星云图的跟踪分析 及交通安全等领域中需要这种应用。“。 ( ：3 ) 获得物体的详细属性和解释物体的运动 一般而言着重于获得物体的三维结构”或完成基于运动的识别”“。应该说这 是运动分析的最高层次，解决该类问题就可以从图像序列中比较完整的获得场景 中的重要信息。 运动分析一般可分为三个相应的过程，首先对图像序列进行预处理，以降低噪声的 影n 向或通过技术手段增强感兴趣的部分；接着从图像序列中经过处理和分析，获得相关 的运动信息：最后根据运动信息来对目标进行跟踪、从运动获得结构以及进行三维重建， 甚至对运动进行解释。下面我们着重介绍两种常用的运动分析技术，即基于光流的运动 分析技术和基于特征的运动分析技术“。 2 3 基于光流的运动分析技术 当物体在空间中运动时，在图像空间中将引起亮度的变化。因此可以说图像空间中 的亮度变化反映了物体的运动，而光流分板正是基于这一观点而产生。 2 3 1 光流的基本概念 光流指的是图像中亮度图案的运动速度分布，用于表达由于物体运动所引起的图像 亮度的变化。假设物体上的点b 以速度v 0 运动，则在图像平面上与异相对应的一点弓， 也具有速度v ，以对应只的运动，如图2 1 所示 p 。 p l 孓 图2 1 质点运动光流场 光流可由下式表示： 沁旷侈鲁 上式中u ，v 分别表示在x ，y 方向上的速度。 ( 2 一1 ) 第二章幽像序列运动分析基础 9 一一 2 3 2 光流的计算 ， 光流可以看作是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。光流的 计算主要基于两种假设： 1 在一定时r j 隔上亮度图像的亮度保持不变； 2 图像上的相邻点以比较一致的速度运动。 设图像上的点( x ，y ) 在时刻t 的图像亮度值为l ( x ，y ，t ) ，经过时间间隔f 后对应点 为l ( x + 出，y + 咖，+ 曲) ，当血一0 时可以认为亮度值不变，可以得到下式： l ( x + 出，y + a y ，f + d t ) = i ( x ，y ，f )( 2 2 ) 将上式由泰勒缴数展开有 地y ，”+ 出芸+ 咖等+ 改詈+ o ( a 2 ) = ，( x ，y ，r ) ( 2 3 ) 忽略高阶项可得到下式 车学+ 牢学+ 娶：0 ( 2 - - 4 ) d t 吐d t 铷8 t 。 当取极限m 一0 时，有 + “+ v l ，= 0 ( 2 5 ) 式( 2 5 ) 称为光流的约束方程，给出了图像梯度对于运动速度的约束关系。很显然， 每一个像素只有一个约束条彳牛，丽要求得两个未知数，所以仅仅依靠上述约束条件还不 能确定光流。通过上面的约束方程，仅仅能够得到图像梯度上的光流分量，对于与梯度 垂直方向上的光流还不能确定，因此还需要附加另外的约束条件。这问题被称为“孔 径问题”。解决这一问题就需要提供另外的条件，而一个自然的假设条件是对于某个特 定的物体而言其相邻点之间的亮度变化相对较少，由此可以定义平滑性约束“”，用某个 点与其邻域的光流值的偏差来表示平滑性，如下式： s ，= 去沁“广) 2 + ( z d i j 4 1 - - ) 2 + ( 一。，一v 口) 2 + ( v 蚶+ l - v n ) 2 ( 2 - 6 ) 光流约束方程的误差： c , j = ( l “+ j y b + l ) 2 ( 2 7 ) 使得下式最小化 r1 m i n e = ( q + 强) ( 2 8 ) l j j 可以通过以下的迭代方式得到： 幽像序列中的人体运动分析 一l：蛳-11一掣掣乎善弘(2-ztq 9 ) 。旷可可丽刖， 9 ：弘半些善五， ( 2 1 0 ) 2 。”可可丽以。， 1 2 1 0 式( 2 - 9 ) 和( 2 10 ) 可看作是光流约束和局部平均的共同作用结果。其中磊和z 分 别为点( i ，j ) 周围邻域的平均值。 基于光流的方法利用了灰度的变化信息，在使用时可分为两步： ( 1 ) 从图像序列的灰度变化中计算速度场。一般需要计算灰度一阶导数和二阶导数。 ( 2 ) 利用一砦约束条件从速度场中推测运动参数和物体结构。 正如许多文献所报道的那样，由于实际景物中的速度场不一定总是与图像中的直观 速度场有唯一对应关系且偏导数计算会加重噪声水平，使得光流法在实际中常常不稳 定。虽然光流反映了物体在空间中的运动，但是它并不能反映所有的运动形式。例如考 虑在光照条件恒定不变的情况下，均匀圆球的自转运动。在这种情况下，物体虽然有运 动，但是在图像中的亮度却没有变化，也即光流无法与物体的运动相对应。另一个例子 是考虑在物体不动的情况下，照明的光源发生运动或明暗发生变化，这样势必造成图像 中的亮度变化，而物体却没有任何运动，这就也表明光流并不能完全反映物体的运动。 尽管这样，在大多数情况下光流仍然可以认为是物体运动的表征。 2 4 基于特征的运动分析技术 基于特征的运动分析方法也是另一种常用方法，其主要是将图像特征从一幅图像到 另一幅图像对应起来。从以上对于光流技术的研究可以看出，运用光流技术需要一个基 本的前提条件，即需要较高的采样率，以保证在一定的时间间隔上，物体的亮度基本保 持不变。而这一要求对于许多实际应用的场合下很难保证。而通过对于类似人眼的高级 视觉系统的研究表明，人眼可以在相当的时间间隔上通过对于空间中的相应特征进行匹 配来建立运动感觉，即可以在长距离空间中跟踪视觉目标。 基于特征的方法利用了特征位置的变化信息，通常分为两步： ( 1 ) 特征选择 从图像序列中抽取显著特征，如与拐角、边界、有明显标记的区域对应的 点、线或曲线等。提取对灰度不敏感的有效特征至今仍是图像处理研究领域中 比较活跃的方面。 ( 2 ) 特征匹配 在计算运动信息之前，需要对物体上的特征点进行逐帧跟踪。匹配算法大都引 入了刚体约束条件，已有的技术包括模板匹配、结构匹配、树搜索匹配、约束松弛 第二章图像序列运动分析基础 匹配及假设检验匹配等。 2 4 1 特征选择 选择合适的特征在基于特征的运动分析中起着极为重要的作用。一般而言，所选的 特征应根据不同的应用目标而加以分别考虑。 根据应用情况，可选取特征的复杂程度往往有较大的不同。既可以是点、线、块“”2 ” 这些较为简单的特征，也可以是具备某种复杂结构关系的图形或较为完整的物体图像。 一般而言，选择简单的特征有利于图像特征的提取和检测，但是不利于特征之间的对应 和匹配；而选择复杂的特征有利于简化对应的难度和复杂度，降低了对应错误的可能性， 但是如何从图像中检测和提取特征本身就具有一定的困难，而且由于特征本身在运动的 情况下可能出现较大的变化，这使得如何定义特征本身具各了相当的难度。 2 4 2 特征匹配 特征匹配就是要在图像序列的各特征之间建立一一对应的关系。特征匹配一直是 个非常棘手的问题。假设图像序列共有k 帧图像，每帧有n 个特征，则在整个图像序列中 一共可以建立起r ”n 种特征对应关系。因此这是一个组合爆炸问题。而且，如何在这 么多的组合中，选择出正确的对应结果也存在着相当的困难。另外，特征匹配也存在着 容错性较差的问题，当出现特征对应错误的情况下，后续图像序列的对应必将受前面错 误的影响，从而导致错误的蔓延和扩散，影响最终结果。 由以上分析可知，解决特征匹配问题必须引入某些约束机制。一般所用的约束有最 大速度约束、加速度恒定约束、运动的刚性约束等。最大速度约束表明运动的速度存在 着某个上限，因此特征在一定的时间间隔下距离的改变不大。加速度恒定约束则说明特 征运动的平滑性。运动的刚性约束则对刚体上的特征的运动特性进行了约束，即相同刚 体上的特征在运动过程中相互距离保持不变，具有相同的运动参数。 2 5 本章小结 本章主要就图像序列中的运动分析方法作了详细的介绍。基于光流的运动分析由于 光流计算方法相当复杂，且抗噪声性能差，一般在没有特别的硬件装置的情况下不能应 用于全帧视频流的实时处理中。而基于特征的运动分析需要根据选择运动的特征信息， 并对之进行全帧视频流的跟踪处理，较之基于光流的方法，在实际场合的运动分析中应 用更为广泛。 第三章人体运动分析方法 第三章人体运动分析方法 人体运动分析在很多方面中有着诸多重要和实际的应用。随着计算机视觉理论的研 究与计算机处理能力的提高，人体运动分析技术正在从理论研究走向实用化。到目前为 止，人体运动分析的研究已取得了很大成绩，有些系统己达到了实用化阶段，如利用附 着在人体特征点处的标志物进行特征点跟踪的方法已得到较为广泛的应用，但是附着在 人体表面的标志物有时被遮挡或伴随着人体表面的变形，标志点会产生错位，歆测人多 少有不适感，尤其在智能监控系统中监视人体行为，不可能在被监控人的身体上带有传 感器和任何标记。近年来，从无标志物运动人体图像序列中分析人体运动引起研究者的 重视。本文主要也是针对无标志物的运动人体分析开展研究。 3 1 人体运动分析概述 人体运动分析是一个复杂的研究课题，尤其是从视频图像序列得到或恢复人体的运 动信息还存在许多团难： ( 1 ) 人体运动是一个复杂的运动系统，人体运动具有很少的自由度和商度的非线性 特点。 ( 2 ) 人体是非刚体，而且结构复杂，在运动中存在着严重的遮挡现象。 ( 3 ) 人体的外表由于穿着服装，因此人体的外观表现出极大的差异，很难用统一的 模型加以表达。 ( 4 ) 人体运动在图像中四肢的边界有时候与其他部分视觉特征上缺少有效的对比， 使得很难建立图像间的跟踪匹配。 由于上述问题的存在，目前对于人体运动分析的研究工作，都是从各种不同的角度 着手，采取各类不同的约束与前提条件来简化研究工作，其他很难应用于实际场合中。 一般在研究中使用以下的假设条件“： ( 1 ) 与运动有关的假设条件： 一般情况下研究人体运动分析主要满足的条件有：主体在研究工作空间内运动； 摄像机不运动或具有恒定的运动速度；在某个时刻，工作空间中只有一个人在运动。 而对于人机交互系统来说要满足研究主体正面直对着摄像机。在步态分析的情况 下，要保持主体运动与摄像机平面平行。在有些简化的跟踪系统下还要保持没有遮 挡，以及具有明确运动方式。 ( 2 ) 与运动环境有关的假设条件： 对于室内跟踪系统，要求有恒定的光源。为了从图像序列中分割处于运动的人 图像序列中的人体运动分析 体，有时候还要求尽可能具有静态或统一的背景图像，在要求获得人体运动的绝 对运动参数的系统巾，还需要已知摄像机参数以及特定的硬件参数。 ( 3 ) 与运动主体有关的假设条件： 为了跟踪人体，在初始化时一般需要己知人体起始姿势通常情况下用手工的 方法进行标注；有的系统要求运动主体穿有特定的带有颜色的或紧身衣服。 目前解决人体运动分析问题，往往随着应用领域的不同变化而刁i 同。各个实际的应 用目标往往由于不同的目的，需要从人体运动分析中获取的信息也随之不同，从而解决 的办法不同，因此人体运动分析也存在着不同的分类方法。 根据采用摄像机的数目可分为基于单目的方法“7 1 和基于多目的方法o 。单目方法 指的是采用一台摄像机获取图像，只对从一个摄像机角度获得的视频序列进行分析。而 多目指的是采取多台摄像机，对从多角度获得的视频序列进行处理。由于大多数的视频 图像采用单目的方法获取，因此单目方法比多目的应用范围更加普遍。然而由于采用单 日力法，不可避免的列t 需要获取深度信息的各类应用场合下，难以取得满意的结果。 而多目方法则可通过分析多角度的视频序列，较好的获得深度信息，但其往往需要在实 验室条件下进行，与单目相比增加了许多限制条件。 根据人体运动分析研究对象的不同可以分为：( 1 ) 以人脸凹1 、唇“、手势“”等为代 表的较小尺度的局部人体运动研究：( 2 ) 以是手臂。州、腿部。“3 或全身等人体中较大尺度 的全身或肢体运动研究。局部人体运动研究主要有：人脸识别中，通过对入脸的运动分 析，跟踪人脸在空间姿态和位赶，可以定位人脸，从而为进一步的人脸识别做基础。唇 读( 1 i pr e a d ) 分析领域上，通过对唇的运动分析，可以对语言进行识别或进行相应的辅 助识别工作。手势识别方面，通过分析手指间的相互空间关系，可以获得丰富的信息， 达到理解手势的目的。在对全身或肢体的运动分析上，主要跟踪分析人体的全身或肢体 运动，识别人体运动的类别，获取人体运动的参数，并在此基础上理解人的主体运动及 相关行为方式。本文的主要研究对象是包括四肢运动在内的人的全身和肢体运动，不涉 及以人脸，手势为主的局部人体运动。 根据人体运动分析的应用目的可以分为：( 1 ) 以整体人体为研究对象1 ；( 2 ) 以人 体关节点为研究对象。”。在诸如视频监控领域中，其研究对象往往是复杂的自然场景， 所关注的一般是人的整体行为与位置，因此不需要人体各个肢体部分的详尽信息，所以 一般只需在图像序列中确定人体的位置以及判断人体的运动方向即可。该类系统的研究 重点在于如何从一个复杂的背景中去获得人在场景中的具体位置，主要依赖于图像的分 割与运动检测技术。而在类似计算机动画中，获取人体三维空间的精确位置是应用的关 键技术，其主要的研究重点在于如何从运动恢复结构。 从以上分析可知，就人体运动分析而言，从不同角度出发存在着多种不同的研究方 法。在一下章节中将按照不同的人体运动分析方法来加以分类介绍，同时就相关领域的 工作做一个较为全面的回顾。 第三章人体运动分析方法 3 2 基于特征的人体运动分析 基于特征的运动分析方法在上一章节已经给予了介绍，其作为运动分析领域的一个 基本研究方法和手段，同样在人体运动分析领域中是研究的主要技术。人体不管从外形 特征还是皮肤颜色都是明显的特征，基于特征的人体运动分析也被许多研究者所采用。 在基于特征的研究方法中，事先不对人体的外形建模，主要依赖于人体运动关键部 位( 一般是人体关节点) 相关的特征，在视频序列中跟踪图像的特征，并利用跟踪的结果 进行相应的运动分析，以获得人体运动的运动参数或从中推断出人体的运动结构。 3 2 1 特征选择 特征选择是基于特征的人体运动分析技术的基本问题。特征选择必须符合对噪声不 敏感、易于识别以及具有唯一性等条件。而一般常用的特征包括点、角点、边缘、线、 块( 8 l o b ) 以及更为复杂的结构特征。简单的特征易于提取和判别，由于这种特征在跟踪 中不具有唯一性，所以不利于跟踪。复杂的特征提取较为困难但是易于定位与跟踪。这 些需要在特别针对不同的应用领域及所要达到的目标做一个权衡。 3 ，2 2 特征匹配 在人体运动分析中较为普遍的是采用预测的方法来解决对应的问题，这主要是由于 人体运动虽然被归结为非刚体运动但是由于其可被看作是连接型非刚体运动，因此人体 的结构特征在空间上提供了一定的约束信息，有利于预测工作的进行。人体运动的预测 一般是基于前面所有帧处理分析的结果，以及关于物体的诸如位置，色彩，运动方向等 信息。通过预测可以较为粗略的得到物体在空间中的大概位置，以及预测帧中的人体运 动参数在参数空间中的大橛位置。通过预测大大缩小了给定特征存在的空间范围，减少 了特征搜索及提取的时间。一般的预测过程往往根据人体运动方式来得出较为匹配的运 动模型，并凭借此运动模型来指导预测过程。然而到目前为止还没有一个能适应不同运 动方式下的运动模型在相关领域中被提出来。 3 2 3 运动跟踪 当相关的特征被提取和正确对应后，就可以进行相应的运动分析工作。对于那些特 征与人体结构相对应的情况下，如特征与人体关节点相对应时，一旦特征的位置得到， 就可以获得关节点的位置，从而也确定了人体的结构。 在基于特征的人体运动分析中，p o l a n a 和n e l s o r t c ! ”在人体全身运动中将运动人体的 6 图像序州中的人体运动分析 质心作为特征，用以代表人体的位置。在莳一帧中的质心位置被用于估计下一帧中人体 质心的位置。而在s e g e n 和p i n g a l 的跟踪系统中使用了运动轮廓的角点作为对应特征， 这些特征点采用基于位置和点的曲率值间的距离度量在连续帧间进行匹配。女 1 j a n g 与 c h o i “利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结合卡尔曼滤波 的预测方泣，使特征匹配能量函数最小化来完成运动目标的跟踪。a z a r b a y e j a n i 和 p e n t i a n d l 。的工作中将图像中的所有具有一致色彩、纹理、亮度以及运动特征的b l o b 提 取出来作为特征。选择的特征为一个向量( x ，y ，y ，u ，v ) ，其中前两项表示空间位置， 而后三项表示了色彩在y u v 空间中的分量。人体的各个部分如头、手臂、躯干和腿部被 分别表示成为不同的b l o b 。因此，跟踪人体成为在每一视频帧中进行分割从而获得不同 的b l o b ，并将分割后的b l o b 与相应的人体部分相对应的过程。 3 3 基于模型的人体运动分析 基于模型的方法首先根据应用的需要建立起相应的人体形状模型，然后在人体运动 的跟踪过程中，将模型投影到图像空间，通过一定的评价方法，计算模型与实际图像数 据间的相似度。在模型的参数空间中，寻找参数使得模型与实际图像数据最相似，当相 似度满足某种标准后停止寻找过程，就可将相应的参数作为此时的人体运动参数。下面 就该类方法所涉及的几个关键问题作一介绍。 3 ，3 ，1 人体模型 在基于模型的人体运动分析中首先需要对人体进行建模。模型一般根据实际应用所 需要模型提供的信息类型及需要在跟踪过程中所能提供的约束条件来选取。到目前为 止，模型的类型多种多样，既可以由简单的细棍图模型表示，也可以扩展到复杂的三维 人体模型。在视频监控中，不需要获得人体的肢体具体的姿态，只需知道每个人的具体 位置，所以一般用一个区域模型即可表示人体。但是在计算机动画中，需要知道人体各 肢体的具体参数，所以需要精确的对人体各肢体进行建模。由此可以看出，模型实际上 是对应用所要获取的信息的一种表达方式，只要获取了模型的参数，实际上就获得了应 用所需的信息。 传统方法中所采用的模型可分为细棍图模型( s t i c kf i g u r e ) 、2 d 条带模型( r i b b o n ) 和 3 d 实体模型( v o l u m e ) 三种。 细棍图模型可看作一种最为简洁的人体抽象表示。在该类模型中，把人体的运动看 作是人体骨骼的运动，因此把人体的各个部分看成是相互连接的直线，通过用点代表关 节点、直线代表人体的肢体和躯干，如人体的肢体如手臂、腿部、躯干由直线段表示， 而关节则是直线段的交点并可以根据实际需要赋予一定的自由度。在c h e n 和l e e 。”的 第三章人体运动分析方法 工作中，他们将人体的骨架用1 7 个直线段和1 4 个关节点，以及头部的6 个特征点来表 示，如图3 1 所示。b h a r a _ c k u m a r 等人。州也使用了细棍模型来表示人体的下肢，用以研 究人的下肢运动。 l e u n g 和y a n g ”3 提出了由5 个u 形条带和一个身体主干，以及多个连接点和中心点 所组成的条带人体模型。这一模型由基本模型和扩展模型组成，基本模型表示了人体的 结构关系和外形，如图3 2 所示。扩展模型包括三种模式：姿态支持模型，侧视模型和 一个鞍马运动模型。还有j u 等人。”3 提出的纸板人体模型，用十块相互连接的纸板分别 代表人的头、两个上臂、两个前臂、躯干、两个大腿、两个小腿，每块纸板由四个角点 来定义，每块纸板的上两个角点和上个纸板的下两个角点绞接形成链式结构。纸板可以 变形、旋转，利用帧间的平滑约束和纸板间链接约束求解光流方程，进行运动估计完成 人体跟踪。 三维人体模型中较为常用的是椭圆柱体模型，例如r o h r 。1 的3 d 实体模型是由1 4 个 椭圆截面的柱体组成，如图3 4 所示。该柱体由柱体的长和椭圆的长短半轴长等3 个参 数来描述。w a c h t e r 与n a g e l “”利用椭圆锥台建立三维人体模型，通过在连续的图像帧间 匹配三维人体模型的投影来获得人运动的定量描述。由于一般需要在二维