（工程力学专业论文）基于视频的人体运动分析研究.pdf

摘要 摘要 人体运动分析是个多学科融合的重点研究方向，在体育训练和生物医学、 安全监控、虚拟现实、人机交互等领域有着j 一泛的应用。人体运动属于非刚体 运动的范畴，具有高度的非线性特点，利用视频进行人体运动分析有很多优点。 人体运动跟踪是运动分析的基础和关键环节，探索行之有效的人体运动跟 踪方法，具有重要的实际意义。本文以单目视频图像中的人体步行运动为研究 对象，讨论了人行走过程中头部和腿部各关节点的跟踪方法。 在充分了解掌握相关研究工作的基础上，本文针对人体不同部位的运动特 性，分别提出了不同的跟踪策略。完成的研究工作主要包括：( 1 ) 首先，提出 了一种基于颜色信息的运动目标检测方法，准确提取了人体的运动区域； ( 2 ) 采用二值图像投影和边缘匹配相结合的方法，准确跟踪了人行走过程中的头部 运动。( 3 ) 采用基于模型的研究方法跟踪腿部运动，在初始化腿部的二维模型 之后，充分考虑了关节活动范围、行走过程中各关节点的运动约束关系进行模 型位置预测，采用边缘匹配和色块匹配相结合的方法计算模型和图像的相似度。 通过计算预测位置处的匹配可信度，进而设定动态目标搜索范围。由于预测方 法和匹配评价函数的有效性，在遮挡情况下仍能保证跟踪的准确性与稳定性。 ( 4 ) 实验证明了该方法可以成功的跟踪视频序列中的步行人体腿部运动，通过 对实验结果进行分析，得到了人行走过程的一些运动规律。 关键词：人体运动；模型；跟踪；运动约束 a b s t r a c t a b s t r a c t h u m a nm o t i o na n a l y s i si sa ni m p o r t a n tr e s e a r c hd i r e c t i o nw h i c hc o m b i n e s v a r i o u s d i s c i p l i n e s i t h a sv i t a l a p p l i c a t i o n s i n p h y s i c a lt r a i n i n g ，b i o m e d i c a l e n g i n e e r i n g ，s m a r ts u r v e i l l a n c e , v i r t u a lr e a l i t y , a d v a n c e dp e r c e p t u a li n t e r f a c e sa n ds o o n h u m a nm o t i o ni sn o n - r i g i dm o t i o na n di sn o n l i n e a r v i d e o - b a s e dh u m a na n a l y s i s h a sg r e a ta d v a n t a g e s h u m a nm o t i o nt r a c k i n gi st h eb a s ea n dk e yp r o c e d u r eo fm o t i o na n a l y s i s p u r s u i n gt h ee f f e c t i v em e t h o do fh u m a nm o t i o nt r a c k i n gi ss i g n i f i c a n t t h et h e s i s f o c u s e so nt h eh u m a nw a l k i n gm o v e m e n ti nt h em o n o c u l a rv i d e o s ，a n dd i s c u s s e st h e t r a c k i n gm e t h o do f t h eh e a d ，j o i n t so f l e g so f t h ew a l k i n gm a n a f t e rf u l lu n d e r s t a n d i n go ft h er e s e a r c hw o r kr e l a t e d ，a c c o r d i n gt ot h em o t i o n f e a t u r e so fd i f f e r e n tp a r t so fh u m a nb o d y ，t h et h e s i sh a sp r o p o s e dd i f f e r e n tt r a c k i n g a l g o r i t h m s t h em a i nr e s e a r c hw o r ki n c l u d e s ：( 1 ) p r o p o s eam o v i n go b j e c td e t e c t i o n m e t h o db a s e do nt h ec o l o ri n f o r m a t i o no fi m a g e sa n de x t r a c tt h ea r e ao fm o v i n g h u m a na c c u r a t e l y ；( 2 ) a d o p tt h ec o m b i n e dm e t h o do fb i n a r yi m a g ep r o j e c t i o na n d e d g em a t c h i n gt o t r a c kt h eh e a dm o v e m e n to fw a l k i n gh u m a n ；( 3 ) a d o p tt h e m o d e l - b a s e dm e t h o dt ot r a c kt h em o v e m e n to fl e g s ：a f t e rt h ei n i t i a l i z a t i o no f t w o d i m e n s i o nm o d e lo fl e g s ，p r e a i c tt h ep o s i t i o no ft h em o d e lo nt h eb a s i so ft h e j o i n tm o v e m e n ts c o p ea n dt h em o t i o nc o n s t r a i n t so ft h ej o i n t si nt h ew a l k i n g ；m a k e u s eo ft h ec o m b i n e dm e t h o do fe d g em a t c h i n ga n dc o l o rb l o c km a t c h i n gt oc o m p u t e t h es i m i l a r i t yo f m o d e la n di m a g e t h ed y n a m i cs e a r c h i n gs c o p ei sd e t e r m i n e db yt h e m a t c h i n gr e l i a b i l i t y a tt h el o c a t i o no ft h e p r e d i c t e dp o s i t i o n o w i n g t ot h e e f f e c t i v e n e s so ft h ep r e d i c t i o nm e t h o da n dt h em a t c h i n ge s t i m a t i o nf i m c t i o n ，t h e t r a c k i n gi sa c c u r a t ea n dr o b u s t ( 4 ) t h ee x p e r i m e n th a sp r o v e dt h a tt h em e t h o dc a n t r a c kt h em o v e m e n to fw a l k i n gh u m a ni nt h ev i d e os e q u e n c e ss u c c e s s f u l l y s o m e m o v i n gr u l e so f w a l k i n gc a nb ec o n c l u d e da f t e rt h ea n a l y s i so f t h ed a t a k e y w o r d sh u m a nm o t i o n ；m o d e l ；t r a c k i n g ；m o t i o nc o n s t r a i n t s i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文巾特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：i1 3 金日期：丝2 ：曼：! 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 第1 章绪论 第1 章绪论 1 1 人体运动分析综述 基于视频的人体运动分析，就是从视频或图像序列中获取人体的运动信息， 并对它们进行分析、识别等工作。这一课题在体育训练和生物医学、智能监控、 人机交互、计算机动画等方面都具有广阔的应用前景 卜3 1 ，所以它正越来越受到 研究学者的重视。人体运动分析通过跟踪和分析人体的运动参数，达到对人体行 为的分类和识别，它是人体行为理解的基础。探索行之有效的跟踪与分析方法， 具有重要的实际意义。 1 2 研究背景 人体运动分析指的是运用某种手段跟踪，捕捉人体的运动，获得人体的运动 参数并从运动中重建人体的结构和姿态。其最终目的是达到对人体运动的理解并 加以应用。人体运动分析是生物力学领域的一个重要研究方向。 人体运动分析方法一般分为两种。一是在人体的各个关节部位分别加上传感 器。在人体运动过程中，可以通过传感器即时精确地获得人体各部位在各个时刻 的运动参数，可根据此参数进行进一步的运动分析过程。二是利用图像序列对人 体运动进行分析。在这一分析方法中，根据人工干预的程度可分为有标志和无标 志两种方法。有标志的方法是指在人体的关节点处贴上特殊颜色的、或光电的、 或磁性的标记，标注特征点【4 】，进行特征点的跟踪，通过分析这些标记的位置来 恢复人体的运动数据。无标志的方法是不依赖任何标志物或手工标注，根据图像 序列本身的信息进行运动分析与跟踪。序列可以用单个摄像机进行拍摄，也可以 采用多个摄像机同时从多个视角进行拍摄。比较而言，采用传感器进行人体运动 分析的方法尽管简单准确，但是由于加上传感器后人的行动不可避免的受到约 束。通过标记进行特征点的跟踪过程中，附着在人体表面的标志物有时被遮挡或 伴随着人体表面的变形，标志点会产生错位，影响分析结果的正确性，有很大的 局限性。因而直接利用图像序列进行人体运动分析的方法更具有实用价值。 人运动的视觉分析利用计算机视觉和图像图形的方法，在不需要人干预、或 者只需要很少干预的情况下，通过对摄像机拍录的视频序列进行分析来实现人的 检测、定位与跟踪，并在此基础上获取人体姿态和运动参数，并进一步进行语义 分析和行为理解。总之，要在不侵犯被分析者的前提下，实现运动分析的自动化， 从而使人从繁琐的劳动中解放出来。 步行人体运动一直是人体运动分析领域中的重要研究对象。因为步行是在一 般情况下和自然场景中，人体最为普遍的运动形式。在生物医学领域中，步行运 动有其特殊的重要研究价值。例如在诊断领域中，可以利用计算机视觉技术，获 得人体的步行参数并结合相应的肌电信号，对小儿麻痹症，中风病人的疾病严重 北京t 、i k 大学t 学硕十论文 程度，康复状况进行分析与判断，有利于医生的治疗工作的开展。而在一些安全 领域中，不同人的步行运动的不同模式被称为步态。因此步态可作为个人的标识 特征，而如何获取、利用步态是生物认证研究中一个重要问题。 1 3 国内外研究现状 由于人的运动分析在高级人机交互、安全监控、视频会议、医疗诊断及基于 内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发 了国内外广大科研工作者及相关商家的浓厚兴趣。最早进行人体运动分析的工作 可追溯到1 9 7 3 年心理学家j o h a n s s o n 对人类运动感知所做的实验。他在实验中， 在人的关节点位置处附着亮点，使人处于黑暗的环境中，做不同的动作来产生运 动，关节点处因附有亮点而可见。对于静态的光点集合，人的视觉感知系统无法 得出任何有意义的信息，但对于运动中产生的光点集合序列，人们不仅可以辨别 出运动的形态如走路、跑步等等，甚至可以判断出运动者的性别。在此之后，人 体运动分析就吸引了越来越多的研究人员的目光，尤其是在美国、英国等发达国 家，它们已经开展了大量相关项目的研究。例如，英国的雷丁大学( u n i v e r s i t y o f r e a d i n g ) 已开展了对车辆和行人的跟踪及其交互作用识别的相关研究，m m 与 m i c r o s o f t 等公司也正逐步将基于视觉的手势识别应用于商业领域。实时视觉监 控系统【5 】不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现 多人的跟踪，并可以检测人是否携带物体等简单行为。当前国际上一些权威期刊 和重要学术会议等将人的运动分析研究作为主题内容之一，为该领域的研究人员 提供了更多的交流机会。i e e e 也定期举办人体运动分析的专题会议，可见国际 上对该项研究的高度重视。人体运动分析在国外起步很早，而且研究也已经比较 深入，其应用也逐步发展到商业领域。 目前国内开展这方面研究的单位主要有中国科学院计算所、北京航空航天大 学和浙江大学等，其中中国科学院计算所的研究主要用于手语识别，它是给被测 人手上戴上数据手套，是一种基于传感器的方法。其自动化研究所主要开展了人 运动的视觉分析技术研究，在跟踪人体运动中使用了运动模型和关节体模型。北 航研究的是航天活动中的人体运动，它利用了现场录像资料。浙江大学生物医学 工程学院则是主要研究人体的手势及步态运动分析在临床诊断和物理治疗上的 应用。浙江大学人工智能研究所采用单目视频图像序列对人体没有出现被遮挡部 位的动作进行了跟踪，在初始帧手工标注人体的特征点，该方法基于单目视觉， 无法准确估计被遮挡部位的位置，人工干预较多。国内也经常举办图形图像方面 的各种会议，如计算机图形图像和视觉会议等。国家“8 6 3 ”计划、“9 7 3 ”项目、 国家自然科学基金等都对人体运动跟踪技术的研究提供了项目资助，这些都将极 大地推动我国在人体运动跟踪方面的进一步深入研究。 第l 章绪论 1 4 人体运动分析的应用领域 人体运动分析具有十分广阔和重要的应用范围，而这也就是这一问题的研究 意义所在。目前，人体运动分析的应用领域主要有以下几个方面： ( 1 ) 体育训练和生物医学 在体育训练和生物医学领域中，人体运动分析一直以来都扮演着十分重要的 角色。在训练运动员的过程中，可以用视频运动分析技术分析运动员的视频序列， 恢复运动过程中的人体姿态和运动参数，再对这些数据进行科学分析，找出动作 的缺陷，从而为运动员的下次训练提供建议。另外，人的运动分析在医学矫正和 l 临床诊断方面有着重要的应用，传统的步态分析是肌电图学、关节动力学的研究 范畴，而目前的医学步态分析【】是一个旨在提供诊断和治疗支持的研究领域， 通过获取患者的行走等动作的视频，利用计算机来分析其运动数据，与正常步态 进行一系列的比较分析并做出诊断。它可以提供人体正常步态建模的线索，有助 于开发生物反馈系统来分析病人的步态，判断其腿步受伤情况或者畸形程度，从 而做出积极的整形补偿或有效的治疗 9 , 1 0 】。 ( 2 ) 智能安全监控 传统的视频监控系统是由一个或多个摄像机及与之相连的一套电视监视器 组成，它需要工作人员连续监视屏幕，这种做法耗费大量人力物力，而且由于工 作人员的疲劳容易失误。并且随着监控区域的增大，容易造成漏警。而实际需要 的监控系统应该能够连续2 4 小时实时监控，并能自动分析摄像机捕获的图像数 据，当异常行为发生时，系统能向保安人员准确及时的发出警报，从而避免犯罪 的发生，同时也可减少雇佣大批监视人员所需的人力，物力和财力投入。因此， 智能监控系统i n , t 2 1 在安全监控场所很有应用前景，如银行、超市、停车场等，它 不仅提高安全性、减少犯罪，而且还节省大量人力物力。在访问控制( a c c e s s c o n t r 0 1 ) 场合，也可以利用人脸或者步态的跟踪识别技术h 3 j 4 以便确定来人是否 有进入该安全领域的权利。另外，人的运动分析在自动售货机、a t m 机、交通 管理、公共场所行人的拥挤状态分析【l5 】及商店中消费者流量统计等监控方面也有 着相应的应用。 ( 3 ) 人机交互 人机交互接口也一直是人体运动分析的重要应用领域。在人们的日常生活 中，除了口头语言以外，手语、姿势等肢体语言是最常见的交流方式。智能人机 交互就是要让目前的计算机尽量摆脱键盘、鼠标等传统交互设备的局限，通过语 音、手语、姿态等人们习惯的自然交流方式直接与人交互，使计算机能像常人一 样与我们更加自然便捷地交流。这就要求计算机具备感知外部环境的能力，独立 地获取周围环境的重要信息，如跟踪人体部分和整体的运动等。更迸一步的能力 是进行人的识别和行为理解，结合面部表情、身体姿态和手势等的分析来与人进 北京t 业大学下学硕十论文 行相应的交流，也可以驱动相应的控制。对于机场、工厂等喧闹环境，基于手势、 姿态等视觉分析的智能高级人机交互技术能够提供比语音识别更加准确的信息 输入。 ( 4 ) 计算机动画 传统的人体动画中人物角色的形体、运动和行为设计依赖于运动捕获设备的 使用，即在演员身体的各关节位置上附着传感器，当演员做特定动作时，通过传 感器获得运动数据。这种方法往往耗资巨大，而又限制了演员的自由活动，造成 一定程度的动作失真。基于视频的人体运动分析方法保证了人体不受限的自由运 动，而且造价低，效率高，是未来研究和应用的发展方向。 1 5 人体运动分析的研究内容 人运动的视频分析旨在对视频或图像序列进行分析，从而获得人体姿态和运 动参数，并进一步进行姿态识别、语义分析及行为理解。主要包括三个基本步骤： ( 1 ) 运动目标检测；( 2 ) 人体运动跟踪；( 3 ) 人体行为的识别和理解。其一般性框架 如图1 1 所示。可以看出人体的运动跟踪是运动分析的中心环节。 图卜1 人体运动分析流程图 f i g u r ei - it h ec h a r to f h u m a nm o t i o na n a l y s i s ( 1 ) 运动目标检测 运动目标检测是视频运动目标检测与跟踪的第一部分，它就是实时的在被监 视的场景中检测运动目标，并将其提取出来。运动区域的有效分割对于目标分类、 跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中 对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子 及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 运动目标检测的算法依照目标与c c d 之间的关系可以分为静态背景下运动 检测和动态背景下运动检测，所谓静态背景下运动检测就是摄像c c d 在整个监 视过程中不发生移动，只有被监视目标在摄像c c d 的视场内运动，这个过程只 有目标相对于c c d 的运动；动态背景下运动检测就是摄像c c d 在整个监视过程 中发生了移动( 如平动、旋转或多自由度运动) ，被监视目标在摄像c c d 的视场 内也发生了运动，这个过程就产生了目标与c c d 之间复杂的相对运动。静态背 景下运动目标检测目前有背景减除、时间差分和光流法等几种常用的方法。 动态背景下运动检测由于存在着目标与c c d 之间复杂的相对运动，所以算 法也要比静态背景下运动目标检测算法复杂的多，常用的动态背景下运动检测算 法是匹配块法、光流估计法、图像匹配法以及全局运动估计法等方法。 4 第1 章绪论 ( 2 ) 人体运动的跟踪 人体运动的跟踪和标定是人体运动跟踪与分析过程的关键，是进一步识别和 理解人体运动行为的基础。其任务是从包含运动人体的图像序列中恢复人体的结 构参数，并对人体运动参数进行估计。按照在特征对应过程中是否采用反映先验 知识的形状模型，可以把人体运动的跟踪方法划分为有模型的方法和无模型的方 法两种。有模型的方法是将图像与预先定义的模型相匹配，当实际图像序列与模 型间的匹配关系建立以后，特征对应也就相应地完成了。无模型的方法是通过对 各帧之间的位置( p o s i t i o n ) 、速度( v e l o c i t y ) 、色彩( c o l o r ) 、纹理( t e x t u r e ) 及经过各种 变换后的特征参数预测和估计来建立帧间的特征对应关系。当然，这两种方法可 以在不同层次上结合起来使用，以实现对复杂人体运动的跟踪。 ( 3 ) 行为识别与理解 运动目标检测与人体跟踪属于人体运动视觉分析中的底层视觉部分，人的行 为识别与理解以前两个步骤为基础，属于高层视觉部分。人的行为识别与理解就 是指对人的运动模式进行分析和识别，并用自然语言等加以描述。目前对人体运 动分析的研究主要集中在前两个步骤上。 1 6 本文研究内容 本文主要对单日视频中人体步行运动的跟踪问题进行了研究，针对人体不同 部分的运动特性，分别提出了不同的跟踪策略，对人行走过程中的头部运动和腿 部运动进行了跟踪。首先，提出了改进的运动目标检测方法，准确提取了人体的 运动区域，为下一步的跟踪打下了良好基础；采用二值图像投影和边缘匹配相结 合的方法，成功地跟踪了人行走过程中的头部运动。在此基础上，采用基于模型 的方法跟踪行人的腿部运动，得到了腿部各关节点的运动参数。通过对实验结果 进行分析，得到了人行走过程的一些运动规律。 1 7 论文结构 论文主要分为五个章节来进行讨论，内容如下： 第一章：绪论，主要介绍了人体运动分析的研究背景及历史发展状况，具体 应用领域，并对人体运动分析的整个流程进行了粗略的概述，最后介绍了本文的 主要研究内容。 第二章：基于模型的人体运动跟踪，按不同的分类方法介绍了现有的跟踪方 法，其中着重介绍了基于模型的跟踪方法的总体框架，并给出了本文所采用的人 体几何模型，介绍了坐标系变换和摄像机模型的相关知识，并提出了一种基于图 像的自动跟踪测量方法。 第三章：行人头部的跟踪，提出了一种基于颜色信息的运动目标检测方法， 准确提取了人体的运动区域；采用二值图像投影法预测和边缘匹配相结合的方 北京t 业大学t = 学硕十论文 法，准确跟踪了人行走过程中的头部运动。 第四章：行人的腿部运动跟踪，首先详细介绍了对一段肢体模型的跟踪方法 实现：分为初始化、预测和相似性计算三大部分。然后给出了对整个腿部模型的 跟踪策略。 第五章：运用前面提出的方法在测试视频序列上进行了实验，并给出了跟踪 结果和测得的运动参数，并进行了分析讨论。 最后对全文进行总结，并对下一步的工作做了展望。 6 第2 章基于模型的人体运动跟踪 第2 章基于模型的人体运动跟踪 2 1 人体运动分析方法分类 正如在绪论中所指出的那样，人体运动分析有着诸多重要和实际的应用。因 此，对于该问题科学家们作了不少有益的工作。然而到目前为止，还没有任何一 套系统可以真正鲁棒地从视频序列中得到或恢复人体的运动信息和三维结构。究 其原因主要有以下几方面：首先人体运动是一个复杂的运动系统，人体的运动具 有很大的自由度和高度的非线性特点。其次人体是非刚体，而且结构复杂，在运 动中存在着严重的遮挡现象。此外，人体的外表由于穿着服装，因此人体的外观 表现出极大的差异，很难用统一的模型加以表达。正是由于上述问题的存在，目 前对于人体运动分析的研究工作，都是从各种不同的角度着手，采取各类不同的 约束与前提条件来简化研究工作。 如何解决人体运动分析问题，往往随着应用领域的不同变化而不同。各个实 际的应用目标往往由于不同的目的，需要从人体运动分析中获取的信息也随之不 同，从而解决的办法不同，也存在着多种分类的方法。 根据采用摄像机的数目可分为基于单目的方法和基于多目的方法。单目方法 指的是采用一台摄像机获取图像，只对从一个摄像机角度获得的视频序列进行分 析。而多目指的是采取多台摄像机，对从多角度获得的视频序列进行处理。由于 大多数的视频资料采用单目的方法获取，因此单目方法比多目的应用范围更加普 遍。然而采用单目方法，对于需要获取深度信息的各类应用场合难以取得满意的 结果。而多目方法则可通过分析多角度的视频序列，较好的获得深度信息，但其 往往需要在实验室条件下进行，与单目相比增加了许多限制条件。 人体运动分析还可以从研究人体各种不同的运动出发。人体运动的形式多种 多样，一股的人体运动形式有步行、跳跃、奔跑等，特殊的有体育运动等。要提 出一个一般的技术分析框架来容纳所有的人体运动，到达普遍的适应性，从目前 而言并不是很现实。而不同的运动，往往有不同的运动模式，可以从中总结获得 不同的运动模型，而这些运动模型往往可以在特殊的人体运动研究中作为先验知 识，起到关键性的指导工作。因此，对各类人体运动的形式，目前很多学者的工 作都是从某一种运动形式出发，有的研究步行运动，有的研究体操动作，对不同 的运动形式进行研究。由于就某种具体的应用目标而言，其所涵盖的人体运动形 式往往有限，因此这类方式有其实际意义。 就人体运动分析的各类方法而言，另一类可用的区分标准是是否准备从视频 序列中提取人体的三维运动信息并从中恢复人体二维结构。这种分类方式主要根 据实际的应用场合，在诸如视频监控领域中，其研究对象往往是复杂的自然场景， 所关注的一般是人的整体行为与位置，因此不需要人体各个肢体部分的详尽信 北京下业大学丁学硕十论文 息，所以一般只需在图像序列中确定人体的位置以及判断人体的运动方向即可。 该类系统的研究重点在于如何从一个复杂的背景中去获得人在场景中的具体位 置，主要依赖于图像的分割与运动检测技术。而在类似角色动画中，获取人在三 维空间的精确位置是应用成功的关键，因此一般采取在实验室环境中，使用昂贵 的运动捕捉系统，主要的研究重点在于如何从运动恢复结构。其采取的一般方法 与思路就与二维的情况有很大的不同。 2 2 人体运动跟踪的研究背景 从上节可知，就人体运动分析的方法而言，从不同角度出发存在着多种不同 的分类准则。人体运动跟踪是人体运动分析的关键环节，是行为理解与描述的基 础，必须从人体运动跟踪过程中获取人体运动的各个参数才能进行下一步的分 析。因此我们对人体运动跟踪所用方法进行一下总结和回顾。根据是否建立人体 几何模型，可分为两大类：基于模型和非基于模型的方法。以下进行详细介绍。 2 2 1 基于模型的跟踪 基于模型的跟踪一般采用预测一匹配一更新这样一种框架结构。图2 1 给出 了基于模型的人体运动跟踪框架。具体来说，跟踪当前帧时，首先利用连续性假 设和运动模型知识，根据前面若干帧的跟踪结果预测当前帧的人体姿态，然后将 处于预测状态的人体模型投影到图像平面，与当前帧的实际图像特征进行相似性 匹配，根据匹配误差，优化相似性评价函数，更新人体状态向量，使匹配误差最 小。最后得到的状态向量就是当前帧的跟踪结果。而在第一帧，由于不能预测， 需要例外处理，即通过初始化来估计人体的初始姿态。据此，一个完整的基于模 型的人体运动跟踪系统需要包括如下模块：人体模型、运动模型、相似性计算和 搜索策略。 图2 - 1 基于模型的人体运动跟踪框架 f i g u r e2 - 1t h em a i n f r a m eo f h u m a nm o t i o nt r a c k i n gb a s e d0 1 1m o d e l 第2 章基于模型的人体运动跟踪 i i l a m 鼍曼曼曼曼! 蔓苎曼曼曼曼曼曼自量舅曼曼量曼曼曼吕墨曼量曼量量曼舅 2 2 2 非基于模型的跟踪 ( 1 ) 基于特征点的跟踪( f e a t u r ep o i n t - b a s e dt r a c k i n g ) 基于特征的方法通常包括特征提取和特征匹配两个过程。 提取特征是运动目标跟踪的一个重要环节，根据所研究的对象和对象所处的 环境选择适合的目标特征也是一个关键步骤。图像目标的特征大致可以分为： 1 1 图像的视觉特征，如图像的边缘、轮廓、形状、纹理和区域等特征； 2 ) 图像的统计特征，如颜色直方图、各种不变矩等特征； 3 ) 图像的变换系数特征，如傅立叶描述子、小波变换系数和自回归模型等特 征； 4 ) 代数特征，如图像矩阵的奇异值分解等。 特征匹配就是要在图像序列的各特征之间建立一一对应的关系。特征匹配一 直是一个非常棘手的问题。已有的技术包括模板匹配、结构匹配，树搜索匹配、 约束松弛匹配及假设检验匹配等。一般来说，特征匹配的计算量很大。另外，特 征匹配也存在着容错性较差的问题，当出现特征对应错误的情况下，后续图像序 列的对应必将受前面错误的影响，从而导致错误的蔓延和扩散，影响最终结果。 由以上分析可知，解决特征匹配问题必须引入某些约束机制。 p o l a n a 等口6 】的工作是一个很好的点特征跟踪的例子。他们将每个行人用一个 矩形框包围起来，选用矩形框的中心点作为跟踪的特征。在跟踪过程中，用前若 干帧中中心点的位置来估计当前的位置。若出现遮挡时，只要质心的速度能被区 分开来，跟踪仍能成功进行。c a i 等【17 】也提出了一个跟踪人体二维平移运动的系 统，由恢复的静止或变化的背景图像，通过匹配背景图像中的线段来估计前景图 像的运动，最终利用包围盒的中心来实现跟踪。 上述工作都是针对整个人体，通过特征点的跟踪得到人的运动轨迹，这对视 频监控和人数统计这样的应用已经可以满足要求。而要得到人体的关节运动，并 进一步进行分析和模拟，这种人整体的运动轨迹跟踪显然是不够的。人身上附着 标记的情况下，标记就是最容易提取的特征点。因此，基于特征点的跟踪也是带 标记的人体运动跟踪最适合的方法。朱强等 i s 】尝试实现了一种基于色块的人体 运动跟踪方法，在灰度为底的特制紧身衣的各个关节点处附上色块，将人体跟踪 转化为色块的跟踪。在拍摄穿上该紧身衣的人体视频之后，自动跟踪关节点的位 置。近年来出现了不少采用标记的人体运动跟踪和获取的方法和系统，这也是一 种较为成熟的人体运动捕获技术。 基于特征点的跟踪的优点是跟踪算法本身相对比较简单，但提取特征点却存 在较大难度，对视频图像质量、人体和背景的对比程度等有着较高要求，这也较 大程度地限制了这类方法的适用范围。 ( 2 ) 基于区域的跟踪 9 北京t 业大学t ：学硕十论文 基于区域的人体跟踪方法用图像帧中的运动区域或小区域o l o b ) 来表示整个 人体或人体的各个部分，跟踪过程就是要在所有图像帧中定位这些区域并建立它 们之间的对应关系。单目视频中基于区域的跟踪方法目前已有较多的研究。i n t i l l e 等口9 】利用视频中运动的区域表示球员，在连续的图像帧之间通过球员周围区域 的模板匹配进行跟踪，他们是以整个人体作为一个目标区域进行跟踪。 l e u n g 等【2 叫提出并实现了标记和跟踪运动人体的f i r s ts i g h t 系统。他们用2 d 带状模型( r i b b o nm o d e l ) 来表示人体，一个r i b b o n 区域表示身体的某一部分。 模型中用了5 个u 形r i b b o n 区域来构造人体，分别表示人体的头部和四肢。对 于输入的灰度图像序列，首先分割得到前景运动目标。在此基础上通过区域抽象 过程检测并描述各区域，检测到的r i b b o n 区域被一帧一帧跟踪。然后用带状人 体模型来匹配这些被跟踪到的区域，合适的区域被标记为人体的头、手臂和腿。 最后可得n - - 维人体骨架序列作为输出。 w r e n 等【2 l 】的p f i n d e r ( p e r s o nf i n d e r ) 系统将人体看作由头、躯干、四肢等各 部分所对应的小区域块( b l o b ) 所组成，利用高斯分布建立这些小区域和背景的统 计模型。用一个映射表来表示像素的归属，通过图像帧中像素的归属判别确定小 区域的位置。他们利用这样的小区域特征进行了室内单人的运动跟踪。h a r i t a o g l u 等【5 】的形4 则是一个在室外环境跟踪多人并监视其行为的实时视觉监控系统，在 单目灰度视频或红外视频下，通过区域形状分析和跟踪定位多个人及各自的头、 手、脚、躯干各部分，建立每个人的外观模型实现多人的跟踪。 c h a m 等【2 2 】提出一个称为比例棱镜模型( s c a l e dp r i s m a t i cm o d e l s s p m ) 的2 d 人体模型，以图像区域来表征人体模型每一部分的特征。基于该模型利用2 d 人 体图像配准的跟踪方法，从单耳视频图像序列中跟踪人体运动。h u a n g 掣”】结合 c h a i n 和j u 2 3 】的工作，把s p m 模型的思想扩展到2 d 纸板人体模型中，并增加 一个表示各部分宽度的自由度。基于这样一个区域连接的人体模型，利用混合运 动模型在统计框架下获取运动参数，实现了一个从单目视频序列中跟踪人体运动 的方法。 阴影和遮挡等的存在使得基于区域的跟踪方法遇到了困难，这可以利用色彩 信息以及阴影区域通常缺乏纹理的特性加以解决。如m c k e n n a 掣2 4 】利用色彩和 梯度信息建立自适应的背景模型，通过自适应背景减除提取运动区域，消除了影 子的影响。跟踪在区域、人，人群三个抽象级别上进行，区域可以合并和分离。 而人是由身体各部分区域在满足特定几何约束下组成的，同时人群又是由单个的 人组合而成的。利用区域跟踪器并结合人体外观颜色模型，在有遮挡情况下也能 较好地完成多人的跟踪。 相对于基于特征点的跟踪方法，区域特征提供了更多的信息，使得特征之间 的对应匹配更加准确。然而，图像中的区域分割本身有着较大难度，对视频图像 1 0 第2 章基丁二模型的人体运动跟踪 质量、人体和背景的对比程度等也有着较高要求，且对光照、服饰等的变化较为 敏感。当人体旋转或被遮挡时，更是会因无法得到相应的人体区域使得出现跟踪 丢失，这也是基于区域的人体运动跟踪方法本身固有的缺陷。 ( 3 ) 基丁轮廓的跟踪( c o n t o u r - b a s e dt r a c k i n g ) 基于轮廓的跟踪思想是利用曲线轮廓来表示运动目标，如果该轮廓能够自动 连续地更新，则称为活动轮廓( a c t i v ec o n t o u r ) 。轮廓跟踪在运动目标跟踪中得 到了深入研究和广泛应用，在视频人体跟踪中也有很好的应用。p e t e r f r e u n d 2 习 采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体。作者采用基于梯度和 光流的测度准则，其算法对部分遮挡和杂乱背景有较好的鲁棒性。但就人体运动 跟踪而言，作者只对简单的摆手动作的手部轮廓外形进行了跟踪实验。 w i l h e l m s 等 2 6 , 2 7 采用活动轮廓从不受限制的单目视频中跟踪人或动物的运 动。在图像序列中，活动轮廓可以被自动跟踪，也可以在界面上通过用户交互灵 活地操纵。他们正是考虑活动轮廓的这一特性，选用其作为被跟踪的特征，通过 整个过程中一系列的用户交互，实现了结合视觉和图形学方法的视频人体运动跟 踪和动画生成的系统。 与基于区域的方法不同，用人体轮廓作为跟踪目标的方法不会受光照等的影 响。相对于基于区域的跟踪方法，轮廓表达也有减少计算复杂度的优点。如果初 始若干帧能够合理地分开人体的各个部分并实现轮廓初始化的话，即使在有部分 遮挡存在的情况下也能连续地进行跟踪。然而人体的轮廓本身较复杂，而且随着 人体的运动其轮廓也快速地发生变化，因此轮廓的控制相对比较困难。在单目视 频中跟踪整个人体的轮廓有着不小的难度，而在多摄像机下的人体运动跟踪则更 多地采用了人体轮廓这一特征。 ( 4 ) 区域和轮廓相结合( c o m b i n e d 谢t 1 1r e g i o na n dc o n t o u r ) 正是由于区域跟踪和轮廓跟踪各自不同的优缺点，人们自然而然地把两者结 合在一起，以提高人体运动跟踪的效率和鲁棒性。在w a c h t e r 等1 2 8 的工作中，轮 廓和区域信息都被使用以同时增加准确性和鲁棒性。他们采用椭圆锥台建立三维 人体模型，通过在连续的图像帧间匹配三维人体模型的投影，结合边缘、区域信 息及人体解析约束确定人体关节运动的参数。利用迭代的扩展卡尔曼滤波方法， 实现了单目图像序列中人体的跟踪。 z h a o 掣2 9 通过3 d 运动捕捉数据学习得到高度结构化的运动模型，用来跟 踪芭蕾舞演员双臂的运动。他们在特征匹配中采用了边界轮廓和区域纹理颜色分 布相结合的匹配策略，并通过一个变形因子来度量图像序列中相应区域的形变。 n i n g 等 3 0 3 1 】通过一种比较可靠的运动检测方法，提取图像的边缘特征和区域特 征。然后，这两种特征被同时考虑到姿态评价函数中，一方面利用边缘的精确定 位提高评价的准确性，另一方面利用区域的丰富信息提高鲁棒性。最终实现的算 北京t 业大学1 = 学硕十论文 法用来跟踪室内和室外拍摄的单目视频中人行走的运动参数。 将轮廓信息和区域信息结合在一起虽然增加了计算的代价，但对跟踪结果准 确性和鲁棒性的提高也是明显的。在对人体运动跟踪结果精确度要求较高的视频 人体动画和体育运动分析等应用场合，应更多地采用这类方法。 2 3 人体几何模型 对于视频人体运动跟踪，我们认为，充分利用相应的先验知识，采用基于模 型的人体运动跟踪方法是我们的首选。在人体运动跟踪中可以利用的先验知识包 括人体几何模型、运动模型及其约束。人体几何模型是充分利用人体解剖学知识 建立的人体构造模型，给出了人体的关节模型、姿态表示方式，也决定了跟踪过 程中用于匹配的特征等等。运动模型是用数学方法表示人体的运动特性，如行走、 跑步、舞蹈等。运动模型是人体运动的先验知识，在运动预测中起着关键作用。 运动约束表示人运动应遵守的限制，如关节不能无限制地活动，人体一个部分不 能穿越其它部分等【强】。 人体几何模型一般是根据人体的生理结构，将人体表示成一系列由关节连接 的骨架，根据连接关系，进一步可以表示成层次性的树状结构。为了得到更加精 确的人体模型，有时候还在骨架外围加上肌肉和皮肤纹理。人体几何模型体现了 人体各个部分的形状、大小、以及连接关系，蕴涵了人体生理结构的先验知识。 在前人的工作中，人体几何模型主要有骨架模型( s k e l e t o nm o d e l ) 3 3 3 4 、纸板模 型( c a r d b o a r dm o d e l ) 3 5 州、圆柱模型( c y l i n d e rm o d e l ) 3 7 3 8 1 、圆台模型 ( t r u n c a t e d c o n em o d e l ) 3 9 , 4 0 、超二次曲线( s u p e rq u a d r i cm o d e l ) 1 4 1 1 和分层结构化 的模型( h i e r a r c h i c a l m o d e l ) 4 2 4 3 1 。一般来说，模型越复杂越精确，其跟踪结果也 就越准确，但同时需要更多的参数和更多的时间来搜索解空间。 釉m 铡糙 图2 - 2 人体骨架及连接关系 f i g u r e2 - 2t h eh u m a ns k e l e t o na n dt h ec o n n e c t i o no f j o i n t s 1 2 第2 章荩丁模喇的人体运动跟踪 人体既有作为一个整体的运动形式，各个部位也有其特有的运动规律，也就 是说，对人体模型来说，既有作为一个“人”整体的平移、旋转运动，也有作为 人局部的各部位的运动。这些部位连接在其直接父部位的连接点上，在一定范围 内按一- 定的自由度运动。例如上臂与躯干连接在肩关节点上，上臂只能在肩关节 点上依照一定范围按一定的自由度运动，而不能脱离肩关节；前臂与上臂连接在 肘关节点上，前臂只能在肘关节点上依照一定范围按一定的自由度运动，也不能 脱离肘关节等等。人体的各组成部位按刚体( r i g i d ) 规律运动，而人作为整体则是 非刚体( n o n - r i g i d ) 的。人体的这种运动形式，也称为关节运动。关节运动属于非 刚体运动中的一种特殊类型。 如上所述，人在行走时，大腿的运动是以躯干为父部位的，而小腿是以大腿 为父部位的，脚是以小腿为父部位的，因此我们可以运用这种运动约束来进行运 动分析。本文采用如图2 3 所示的人体骨骼模型作为分析行走人体下肢关节点的 人体模型。 图2 - 3 人体骨骼模型 f i g u r e2 - 3t h eh u m a ns k e l e t o nm o d e l 2 4 图像坐标变换 一幅二维图像可以用一个二维数组来表示，即图像是由图像的基本单元 像素组成。也就是说图像像素与数组元素是一一对应的，要想得到图像中菜点的 像素值首先需要知道该点在图像中的坐标值。我们的人体几何模型中每个部分都 是规则的几何形体，可以很容易地计算表面上各个点的坐标位置。但整个人体并 北京工业大学工学硕士论文 不是一个刚体，它的每个部分可以绕相应的关节在一定的范围内转动，这样要在 统一的全局坐标系下计算人体模型上的各个点的坐标位置就存在一定的困难。为 此，我们为人体每个肢体定义一个局部坐标系，原点位置在模型一端的中心位置 处，图2 4 为腿部模型的局部坐标系示意图。在计算时，先计算在局部坐标系中 的坐标，然后再通过坐标变换求得在全局坐标系中的坐标。 2 4 1 坐标变换知识 k y ，l r ；从( x ，y ) 到新坐标( x ，y ) 的