（计算机应用技术专业论文）基于特征跟踪的视频运动捕获技术研究.pdf

浙江大学硕士学位论文 摘要 近年来，运动捕获技术在计算机动画领域中应用频频，影响也日益扩大，引 起了广大专家学者的极大关注。但是，现有的运动捕获技术大多存在着捕获设备 过于昂贵、表演者动作受限等缺点，从而制约了该技术的进一步推广和应用。为 了解决这一问题，本文提出了一种从视频中提取人体运动信息，并用此来生成运 动捕获文件的方法。这是近年来计算机视觉研究中的热点问题，在体育运动分析、 人机接厂1 、虚拟现实和动画制作等领域都有着广泛的应用价值。 基于视频的人体运动捕获打破了传统运动捕获的局限，它不需要任何多余的 辅助设备，也不需要在表演者身上捆绑传感器，可以让表演者自由自在、随心所 欲的施展动作，从而保证了人体动作的自由流畅，且成本非常之低。从某种意义 j 一蜕，我们研究的将是一个简易的、廉价的运动捕获系统，也可以既是一种现有 运动捕获系统的替代，通过它就可以完成对视频中人体运动的测量、存储和再现。 存本文中，我们结合运动捕获和人体运动分析两大热点研究技术，主要剥其 中的，维人体运动跟踪方法和三维运动重建等关键技术做了深入的研究，最终实 现了一个基于特征跟踪的视频人体运动捕获原型系统。它可以从一段固定背景的 视频片断中提取人体的运动信息，自动生成运动捕获数据文件，从而完成对人体 运动的捕获过程。系统的具体做法是首先在首帧l _ | j 标注人体的各个关节点位置， 然后在后续帧中做基于特征的跟踪，生成二维关节点坐标序列，再对运动做i 维 重建，最后经过对数据的转换和重新组织，生成所需的运动捕获数据文件。实验 表明，该方法具有一点的准确性和实用性。 关键词：视频运动捕获人体模型人体运动分析 基于特征的跟踪 作者声明：本文从参考文献、i n t e r n e t 中引用的文字、图片和数据等，版权 属于原作者。 浙江大学硕士学位论文 a b s t r a c t i nr e c e n t y e a r s ，m o t i o nc a p t u r et e c h n o l o g yh a sb e e nu s e df r e q u e n t l y i nt h e d o m a i no fc o m p u t ea n i m a t i o n ，a n dt h ei n f l u e n c eo fi th a sb e c o m el a r g e r ，s oi th a s b e e nr e c e i v i n gi n c r e a s i n ga t t e n t i o nf r o ml o t so fr e s e a r c h e r si nm a n yf i e l d sb u tt h e s e e x i s t i n gm o t i o nc a p t u r es y s t e m s s u f f e r e df r o m m a n yc o n s t r a i n t s ，i n c l u d er e q u i r i n gt h e a c o r st ow e a rs p e c i a lc l o t h i n go rt oa t t a c hv i s u a lo rm a g n e t i cm a r k e r st ot h e i rb o d i e s b e s i d e st h e s e ，t h ep r i c eo fm o t i o nc a p t u r ed e v i c e si st o oe x p e n s i v e t h e s ec o n s t r a i n t s 1 _ e s t r i c tt h i st e c h n o l o g yt of u r t h e ra p p l i c a t i o n t os o l v et h i s p r o b l e ma n dr e m o v et h e s er e s t r a i n t s w e w a n tt oe x t r a c th u m a n m o t i o ni n f o r m a t i o nf r o mv i d e od i r e c t l y , a n dm a k eu s eo ft h e s ei n f o r m a t i o nt o g e n e r a t em o t i o nc a p t u r ed a t af i l e i ti so n eo ft h eh o t t e s tr e s e a r c hi s s u e si nc o m p u t e r v i s i o nf i l e di nr e c e n tf e wy e a r s n o w ，i th a sac o m p r e h e n s i v ea p p l i c a t i o ni nt h e a n a l y s i so fa t h l e t ep e r t b r m a n c e ，h u m a n c o m p u t e ri n t e r f a c e ，v i r t u a lr e a l i t ya n d v i d e o a n i m a t i o ne t c l h er e s e a r c ho ft h i st h e s i sw i l li m p l e m e n tas i m p l em o t i o nc a p t u r es y s t e m o ra s u b s t i t u t eo fe x i s t i n gm o t i o nc a p t u r es y s t e m si td o e s n tn e e da n ya u x i l i a r yd e v i c e s t h r o u g hi t w ec a ni m p l e m e n t h u m a nm o t i o nm e a s u r e m e n t ，r e c o r da n dr e c o v e r y i n t h i sp a p e r ，w ew i l l i n t e g r a t em o t i o nc a p t u r ea n dh u m a n m o t i o na n a l y s i st e c h n o l o g y t o g e t h e rt h ek e yi s s u e s ，s u c ha sh u m a n m o t i o nt r a c k i n ga n d3 dm o t i o nr e c o v e r y ，a r e d e e p l ys t u d i e d t ov e r i f y o u rt h o u g h t s ，w ed e v e l o pav i d e ob a s e dh u m a nm o t i o n c a p t u r ep r o t o t y p es y s t e m a tl a s t ，i tc a ne x t r a c th u m a nm o t i o ni n f o r m a t i o nf r o ma v i d e o c l i p w i t hf i x e d b a c k g r o u n d ，a n dg e n e r a t e am o t i o n c a p t u r e d a t af i l et o i m p l e m e n t t h e p r o c e s s o fh u m a nm o t i o n c a p t u r e t h ee x p e r i m e n t a l r e s u l t s d e m o n s t r a t et h ef e a s i b i l i t ya n d p r a c t i c a b i l i t yo f o u r a p p r o a c h e s k e y w o r d s ：v i d e o ，m o t i o nc a p t u r e ，h u m a nm o d e l ，h u m a n m o t i o na n a l y s i s ， f e a t u r e b a s e dt r a c k i n g 浙江人学硕f 学位论文 1 1 引言 第一章绪论 1 1 1 运动捕获技术应用和研究的兴起 近年来，伴随着计算机技术的飞速发展，人们对高效率计算机动画制作于段 的需求也变得越来越强烈。然而在传统意义上，计算机动画制作往往采用的是用 全人工调整关键帧的方法，这种制作方法t 作效率非常之低，目前己成为计算机 动画制作过程中的最大瓶颈。为了彻底解决这一问题，就逐步诞生了一种新的计 算机动丽制作技术一即运动捕获技术。 运动捕获英文名称为m o t i o nc a p t u r e ，在国内也被译作动作捕获，是一项目 前在幽际。t 2 广泛应用的高新技术，根据其组成材料的不同，可分为机械式、光学 式和电磁式三种。它是给表演者身卜- 的各个相应关节上安置传感器，当表演者做 出动作时，通过捕获设备实时检测、记录表演者各个关节在三维空唰的运动轨迹， 并将其转化为数字化的“抽象运动”“1 。然后利用辅助的动画软件，将这些运 动数据做后期处理，用于驱动不同的角色模型，使得这些角色模型做出与表演者 摸一样的动作来，从而在计算机上实现了运动的再现，并生成最终所见的动画 序列。 作为一种新的、极其强大的计算机动画制作手段，运动捕获技术目前已经充 分地运用到影视广告和游戏制作等相关行业中去。它具有高速度、高质量、极具 真实性等特点，不仅极大地提高动画制作的水平和效率，降低了成本，而目使动 丽制作过程更为直观，效果更为生动。目前，随着计算机处理速度的加快和三维 制作软件性能的提高，运动捕获技术已有取代传统的全人工调整关键帧的动画制 作方法的趋势。很多著名的电影如 、 、 、 、 等都采用了运动捕获设备和技术。至于游戏公司，运 动捕获的应用就更加广泛了，2 0 世纪9 0 年代末期以来，越来越多的游戏采用了 运动捕获设备和技术来增加游戏的真实性。像e a 公司的f i f a 足球系列、n b a 篮球系列、e p ic ( ；a m e s 公司的u n r e a lt o u r n a m e n t 、s e g a 公司的n t ? l 系列和u b l 浙江大学硕士学位论文 s o f t 公司的v i p 系列等很多著名的游戏都采用了大量的运动捕获技术。3 。 萨是因为运动捕获技术拥有如此广阔的应用前景和巨大的商业价值，引起了 广大专家学者的浓厚兴趣和极大关注，从而掀起了一股对它进行研究的高潮。从 2 0 世纪8 0 年代起，美国b i o m e c h a n i c s 实验室、s i m o nf r a s e r 大学、麻省理工 学院以及u c i 大学的m o t i o nc a p t u r es t u d i o 等科研单位和机构就开始了对运 动捕获技术的研究。此后，运动捕获技术更是吸引了越来越多的研究人员和开发 商的目光，并逐步从试用性研究阶段走向了实用化阶段。目前在发达国家，运动 捕获已经进入了实用化，有很多厂商相继推出了多种商品化的运动捕获设备，如 v ic o n 、p o l h e m u s 、s e g ai n t e r a c t i v e 、m a c 、x - i s t 、f i i m b o x 、m o t o n a n a l y s i s 等等。其应用领域也远远超出了计算机动画制作范畴，并成功地用于虚拟现实、 游戏、人体工程学研究、模拟训练、生物力学研究等诸多方面。可以预计，随着 技术本身的发展和相关应用领域技术水平的提高，运动捕捉技术将会得到越来越 广泛的应用，财它的研究也将会越来越深入。 1 1 2 运动捕获技术的缺陷 目前，运动捕获已是计算机动画领域中最具前途、也是最热门的研究技术之 ，它吸引了幽内外众多专家和学者的目光。每年在1 e e e 举办的众多罔际会议 t j ，均可见这主题的沦文和相关讨论，可见国际上对该项技术研究的重视和哭 注程度。 但是对普通的研究者来浣，由于现有的运动捕获技术自身的一些特点和现实 条件的约束，给他们的科研活动也带来了种种不便。具体原凶分析如下： 首先是运动捕获设备价格不菲。一整套完整的运动捕获系统包括硬件设施和 配套软件，价格卜分昂贵。现在的商用运动捕获系统价格少则儿十万，多则数百 万。这么高昂的价格显然不是一般的研究者能承担得了的，目前国内也只有极少 数的大型影视制作公司和科研机构拥有整套的运动捕获设备。 其次是整个运动捕获过程繁杂，涉及专业人员众多。完成一个动作捕获，从 前期的准备策划，到动作设计，乃至最后的设备安装、实地捕捉，都要制定详细 的引划。期叫不但需要动作设计师、表演者和动作捕获工程师等专业人员的参与， 而f 1 还需要人量的h 寸间供他们之间交流和沟通，所以每次捕捉过程复杂、时削周 浙江人学硕士学位论文 期长。 最后是运动捕获设备捕获到的动作有种种限制。人体本足一个很复杂的形 体，自由度众多，运动的人体更是难以准确跟踪和记录数据。而运动捕获设备捕 获动作时，必须要在表演者的身上捆绑大量的感应元件，或者足要穿一件特制的 紧身农( 该衣服的关节部位处也会装有各种感应器) ，这样多的器械安置在表演者 的周嗣，会使表演者的做出的动作受到限制，不仅使得捕获到的动作不够自然连 贯，而目很多动作电根本无法做出。 综目戈们可知，传统的运动捕获技术存在着种种缺陷和不足，这些缺陷不仅 影响了该项技术的进一步推广应用，而且也阻碍了研究者的研究进程。为了解决 这一问题，我们希望能找到一种替代的方法，可以更加方便、快捷地获取更多人 体运动数据。本文的研究正是从这个角度展开的。 1 1 3 研究课题的提出 运动捕获技术倍受关注，研究者也越来越多。但对于普通的运动捕获研究者 来说，虽可以从网上获取一些免费的运动捕获数据文件，但数量十分之少，且动 作的种类电十分有限，并不能充分满足他们的需求，所以人们一直希望能从别的 途径来获取更多运动数据源。 而在另一方面，随着信息载体的多元化，数字视频被人们越来越多地使用。 目i l l j - ，人们已经在各种领域积累了极其丰富的人体运动视频，如何有效充分地重 削这些视频资源也是摆在人们面前的难题。基于以卜两点考虑，我们就希望能从 视频中提取出人体运动参数，然后用它来生成运动捕获文件。这样既可以充分利 用视频资源，又可以生成更多的运动数据源，所以这就引出了本文的研究课题 基于视频的运动捕获。 基于视频的运动捕获一般针对人体运动进行，根据视频中人体有无标记 ( m a r k e r ) 可分为带标记捕获和无标记捕获两种，如图1 1 所示。目前，对基于视 频的运动捕获研究大多集中在前者，它是指在视频拍摄时，选择合适的标记点， 通常是一些容易进行特征提取的标记点，将它贴在所需要得到的位置上，通过提 取标记点特征，得到标记点的运动信息，这样就可以得到该位置的运动信息。但 我们知道，在实际保存的人体运动视频中并没有这样的标记点。所以最好是利用 浙江大学硕士学位论文 人体目标的特征信息( 如位置、速度、形状、纹理和色彩等) 柬得到运动参数，这 就是本文将要研究的无标记视频人体运动捕获。 至口 三口 至口 j 口 图1 1 运动捕获分类 无标记视频人体运动捕获打破了传统的运动捕获技术的局限，极大地重用了 现有的人体动作视频资源，拓宽了运动捕获数据生成的途径。它直接从视频中提 取人体各天节运动参数，生成人体运动数据文件。另外它没有在人体关节上附加 各种传感器，保证了人体的自由运动，目价格低廉，捕获过程简便。通过这种方 法，研究者就可以获得各种动作的运动参数，以供他们进步研究分析之用。 1 2 本论文实现的工作和目标 从上节的介绍我们可知，本文将要实现的是一个基于视频的人体运动捕获系 统，它主要是借助了现有的人体运动分析技术来实现的。 人体运动分析是近年来计算机视觉领域中备受关注的研究热点之一，它是指 从段视频中或者一组图像序列中提取人体的运动信息，并对它进行分析、识别 和理解。在过去的十多年时间中，专家学者们已经对人体运动分析展丌了大量的 研究二作，并取得了一系列的成果，使得它在计算机动画、互动游戏、实时监控、 虚拟现实和运动分析等领域都有了广泛的应用。 但总的来说，真正令人满意的人体运动分析解决方案并没有出现。这是因为 对人眼来蜕，是很容易检测到一个人的运动。但对计算机来说，这却是一个相当 难的任务，因为在图像和视频中只含有二维信息，它丢失了人体的深度信息，并 且包含各种噪声的干扰，这就更加增加了识别和跟踪的难度。所以目前有关人体 运动跟踪和分析的研究上仍停留在十分初级的阶段。 存本文研究中，我们将结合人体运动分析和运动捕获两大研究热点，主要侧 最r 刈人体运动的二维跟踪和三维重建的研究和探索，最后实现了。一个基于特征 塑垩查兰堡= ! = 兰垡鲨兰 跟踪的视频人体运动捕获原型系统。它可以从一段视频中提取人体的运动信息， 进行三维重建后，最后自动生成运动捕获数据文件。通过这些文件能驱动虚拟环 境的角色模型，生成卡通动画。本文涉及到的研究领域有计算机视觉、计算机动 画以及数字图像处理等等。 从某种意义上来说，本文研究的将是一个简易的、廉价的运动捕获系统，或 者既是一种现有运动捕获系统的替代。我们通过它可以完成对视频中人体运动的 测量、存储和再现。下面是系统的结构图。 阁1 2 系统结构图 首先，我们将建立一个包含各种人体运动的视频库。当需要进行视频运动捕 获时，从库巾检索出一段动作视频，先由用户对首帧中人体关节位置进行标注， 然后经过刘人体运动的二维跟踪和三维重建，生成标准的运动捕获数据文件，最 后将它放入到运动捕获动作库中。生成的运动捕获数据文件将与输入的人体运动 视频片断之间建立一种1 一对应关系，以便丁二将来的进步应用。 我们知1 道一个理想的运动捕获系统是不需要任何多余的辅助设备的，表演者 本身也不要考虑到设备的存在，可以自由自在、随心所欲的施展动作。我们的目 标就是致力于此，希望借助于已有的人体运动分析技术，从一段同定背景的视频 片断i + j 提取人体的运动信息，以此来完成运动捕获过程。 在本文研究中，我们采用的方法是单摄像机下固定背景的人体无标记跟踪， 它不需要在人体身上加任何标记，也不需要紧身衣和其他辅助设备，唯一需要的 是输入的一段包含人体运动的原始视频。从用户角度来讲，我们的方法也是十1 分 直接的，它只需要用户在首帧中标注人体的各个关节点位置，后续的工作都将由 讨算机自动完成。 浙江大学硕士学位论文 1 3 本文研究的意义 从上面的分析我们可以得知，本课题研究的意义在于： 1 ) 它是现有运动捕获系统的。种替代。通过它可以获得一个廉价的运动捕获 系统，为后续研究工作的开展提供方便。 2 ) 它是现实与虚拟的桥梁。通过跟踪拍摄到的现实世界中人的运动，然后在 计算机中创建一个虚拟的仿真场景，就可以实现运动在虚拟世界的再现。 3 ) 它在体育及舞蹈训练中具有极大的应用价值。如在训练过程中，我们町以 捕捉视频中运动员的动作参数，进行量化分析，就可以为运动员的训练提供指导 和建议，有助于提高运动员的训练水平。 1 4 论文章节的组织结构 本文通过对人体的二维运动跟踪、 频的人体运动捕获原型系统。在这里， 的纣i 织结构做一简单的介绍。 三维重建和数据转换，实现了一个基于视 我们将结合图1 2 的系统结构图，对本文 在本文第一章中，我们先引出了本文的研究课题，然后提出丰要的研究内容 和实现的目标，最后介绍了本文的组织结构。 伍第_ 章，我们先回顾了运动捕获技术的起源、组成和分类等等，然后介绍 了人体运动分析技术，并对它的主要研究内容、研究现状和应用作了详细论述。 在第三章，我们先简要介绍了几种常见的二维运动跟踪算法，并分析了它们 各自的优缺t i ，接着详细介绍了我们采用的基于特征的运动跟踪算法。 在第四章，我们先利用二维运动跟踪获得的结果，对人体运动做了三维重建。 然后对i 维运动重建后得到的人体关节三维坐标进行转换，最后对数据进行重新 组织后，生成目前流行的两种运动捕获数据文件。 在第五章，将介绍我们的基于视频的人体运动捕获系统v h m c ( v i d e o b a s e d h u m a nm o t i o nc a p t u r es y s t e m ) 的设计和实现，并给出了部分的实验结果。 在第六章，对现有的工作了做了相应的总结，并对未来的研究方向作了一定 的展望。 浙江大学硕士学位论文 第二章运动捕获和人体运动分析技术基础 2 1 运动捕获技术 2 1 1 运动捕获的起源 近年来，为了使人体运动更加逼真，在很多电影和游戏中广泛应用了运动捕 获技术。它以很高的精度实时记录下人体每一个关节在三维空间中的位置，然后 经过后期处理，就可以在计算机上重现这些运动数据。 运动捕获技术的雏形最早出现在1 9 7 0 年末，当时迪斯尼公司在影片制作过 程中，为了在卡通人物身上使用更加合理完善的动作，摄影师就尝试着将电影脚 本中活生生的人在场景中的运动进行跟踪，然后与关键帧技术结合产生卡通动 f 面。这个方法当时被称为r o t o s c o p i n g = “，它在影片 s n o ww h i t e 和其它一些 电影中获得了极大的成功。这种r o t o s c o p i n g 技术可以认为是原始的运动捕获 的先驱。但是它并非严格意义上的运动捕获技术，其“捕获”的运动只不过是由 大量烦琐的手工劳动产生的，实现起来十分费劲。 图2 1 运动捕获系统 现在的运动捕获技术是指在运动物体的关键部位设置跟踪器，由系统捕捉跟 踪器位置，捕获到物体的动作信息后，再传输给计算机系统处理。当计算机将这 些动作资料识别之后再由用户在制作软件中对其进行调整和合成，从而实现对 虚拟窄问r f ，的物体运动的控制，最终生成计算机动画。经过了三十多年的发展和 浙江大学硕士学位论文 不断探索，运动捕获技术已经日益成熟，市场规模也越来越大，被广泛应用在影 视、广告、游戏制作之中，并且仍然以非常快的速度在发展和完善。 2 1 2 运动捕获系统组成 完整的运动捕获系统一般由硬件和软件组成，硬件负责动作跟踪定位；软件 负责数据处理。一般情况下硬件由以下几个部分组成： ( 1 ) 传感器。它是固定在运动物体特定部位的跟踪装置，将向运动捕获系统 提供运动物体的位置信息。一般会随着捕捉的细致程度而确定跟踪器的数目。 ( 2 ) 信号捕捉设备。它们负责位置信号的捕捉，该设备会因运动捕获系统的 类型不同而有所不同。 ( 3 ) 数据传输设备。这种设备负责将捕获到的动作资料从信号捕捉设备快速 准确地传输到计算机系统中。 ( 4 ) 数据处理设备。经过运动捕获系统捕捉到的资料因干扰、失真等问题， 需要经过修正和调整后，才能交付三维动画软件进行后续制作。而数据处理设备 正是用米完成此修正调整功能的。 在软件方而，几乎所有的商用运动捕获系统都配有自己的后处理软件，但 是由专业软件公司k a y d a r a 开发的f i l m b o x 系统，却以它独特的数据处理方式和 巨大的资料兼容性，赢得了用户的青睐。目前它已经逐渐成为运动捕获系统后 处理软件的苗选。f i l m b o x 可以完成资料的收集、处理、管理等功能，它既能兼 容绝大多数的运动捕获系统的硬件接口，又能兼容绝大多数的当今流行的三维制 作软件( 如m a y a 、3 d sm a x 、s o f t l m a g e 等) 。其性能优越，功能强大，性价比极 高，已成为目前运动捕获系统中必不可少的软件配置。 2 1 3 运动捕获系统分类 运动捕获的信号捕捉设备可以有所差异，根据其组成材料的不同，运动捕 获系统分为机械式、光学式和电磁式三种“3 。 ( 1 ) 机械式( m e c h a n i c a l ) 。这是最普通、最简单的运动捕获系统，它把可伸 缩的机械结构安装于物体上，以取得各部位的运动量。它的主要优点是价格低廉。 但山于机械传感器与资料线缆的限制，它的动作捕捉范围较为有限，且不能捕捉 浙江大学硕士学位论文 较复杂的动作，精度也低，所以适用于一些低成本的动作制作。 ( 2 ) 电磁式( m a g n e t i c ) 。它是将一个个磁性的动作感应器放在运动物体的主 要关节上，由接受器接受电磁信号，从而得到物体的动作信息。它的捕捉精度比 机械式的高，系统定位准确，技术成熟，缺点是容易受到外界环境干扰，所以只 适用于诸如面部等细微部位的跟踪。 ( 3 ) 光学式( o p t i c a l ) 。这种系统是目前世界上使用最广泛的、技术上最成熟 的运动捕获系统，它在需要捕捉的物体的主要关节和部位粘贴特殊反光材质的跟 踪点，用来反射摄像机发射来的光线。摄像机接受反射【鱼：l 来的光线，并汇总到计 算机内部，然后转换成三维坐标的点。它具有捕捉动作范围大、无运动方式限制 等特点，并且捕捉精度高、动作造型准确，适用于复杂运动的跟踪。但缺点是价 格高昂。 2 1 4 动作捕获过程 从技术的角度来说，运动捕获的实质就是要测量、跟踪、记录物体在三维空 旧j 中的运动轨迹。一个完整的运动捕获过程可分为动作设计、动作捕获、数据处 理和资料修正等四个阶段，如图2 2 所示。 ( 1 ) 动作没计。动作设计对整个动作捕获来说是至关重要的，整个捕获能否成 败关键就由这个阶段决定。这时动作设计师可以摆脱以往许多传统制作方法对动 作设计的限制，充分发挥想象力，来设计出完全符合需要的精彩动作。 ( 2 ) 动作捕获。根据设计师设计好的动作，然后选择专业人员，在其身上根据 需要安放一定数目的传感器。当他按规定完成动作的同时，由动作捕获工程师来 完成捕获任务。 ( 3 ) 数据处理。当运动捕获到动作资料后，会传输给计算机系统。这时还需要 对这些资料加以处理，保存成一定格式的动作数据文件。目前常用的运动捕获数 据文件格式主要有三类，分别是b i o v is i o n 公司的b v a b v t t 系列、a c c l a i m g 公 司的a s f a m c 和m o t i o ba n a l y s i s 公司的h t r 格式。 ( 4 ) 资料修平。在动作捕获过程，有时候会因各种电磁干扰，或者表演者的动 作不到位等原因，会导致捕获到的资料失真或残缺不全。在这个阶段，就可根据 浙江大学硕士学位论文 具体情况对资料进行修正。若资料发生严重错误，就可考虑重新进行一次动作捕 获。 图2 2运动捕获流程 2 1 5 运动捕获技术的应用 将运动捕获技术用于计算机动画制作之中，可极大地提高动画制作的水平。 它大大地提高了动画制作的效率，降低了成本，而且使动画制作过程更为直观， 效果更为牛动。 目前，运动捕获技术不仅仅可以应用于计算机动画制作，在其他领域也有非 常广泛的应用前景”1 。 提供新的人机交互手段 表情和动作是人类情绪、愿望的重要表达形式，运动捕获技术完成了将表情 和动作数字化的工作，提供了新的人机交互手段，比传统的键盘、鼠标更直接方 便，不仅可以实现“三维鼠标”和”手势识别”，还使操作者能以自然的动作和表情 直接控制计算机，并为最终实现可以理解人类表情、动作的计算机系统和机器人 提供了技术基础。 虚拟现实系统 为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的 位置与方向，准确地跟踪测量参与者的动作，将这些动作实时检测出来，以便将 这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的，这也 正足运动捕获技术的研究内容。 机器人遥控 机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，运 动捕获技术将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。与传 统的遥控方式相比，这种系统可以实现更为直观、细致、复杂、灵活而快速的动 o 浙江大学硕士学位论文 作控制，大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未成 熟的情况下，这一技术有着特别重要的意义。 互动式游戏 可利用运动捕获技术捕捉游戏者的各种动作，用以驱动游戏环境中角色的动 作，给游戏者以一种全新的参与感受，加强游戏的真实感和互动性。 体育训练 运动捕获技术可以捕捉运动员的动作，便于进行量化分析，结合人体生理学、 物理学原理，研究改进的方法，使体育训练摆脱纯粹的依靠经验的状态，进入理 论化、数字化的时代。还可以把成绩差的运动员的动作捕捉f 来，将其与优秀运 动员的动作进行对比分析，从而帮助其训练。 另外，在人体工程学研究、模拟训练、生物力学研究等领域，运动捕获技术 同样火有可为。可以预计，随着技术本身的发展和相关应用领域技术水平的提高， 运动捕捉技术将会得到越来越广泛的应用。 2 2 人体运动分析技术 2 2 1 人体运动分析简介 人体运动分析，就是指跟踪或提取人体的运动信息，并对它进行分析、识别 和理解。它是近年来计算机视觉领域中备受关注的前沿方向，受到了越来越多的 学者关注和重视。 传统的人体运动分析方法一般分为两种“1 】：种就是利用上节提到的运动捕 获技术，它在人体的各个关节部位分q , l l d l ：i 上传感器，在人体运动过程中，传感器 会不断地将各关节在空间中的位置返回给计算机，这样计算机就可以精确地获得 人体在各个时刻的运动信息。另一种方式则是针对包含人体运动的图像序列进行 分析。图像序列可以是单摄像机拍摄，也可以是多个摄像机同时从各个视角拍摄 的。 我们这里所说的人体运动分析主要是指第z 1 q , ，即从图像序列中获取人体的 运动信息，并对它进行分析与识别等工作。由于这研究具有极大的研究价值， 日自0 成为数字图像处理和计算机视觉研究中的热点问题，从技术角度而言，它包 浙江大学硕土学位论文 含人在图像序列中的检测、识别、跟踪并对其行为进行理解和描述，属于图像分 析和理解的范畴。 人体运动分析研究涉及的领域非常丰富，主要包含有模式识别、图像处理、 计算机视觉、人t 智能等学科知识。它具有相当广阔的应用前景，被广泛地应用 在智能监视系统、虚拟现实、视频编码、人机接口、人机交互、运动员动作分析、 医学分析以及动画制作等各种领域”“1 。 我们知道人体运动是属于非刚体运动范畴，具有高度的非线性特点，十分特 殊复杂。利用图像序列进行人体运动分析，具有相当大的挑战性，如动态场景巾 运动的快速分割、人体自遮挡和目标之间互遮挡的处理都是十分困难的。尽管如 此，广火研究者经过多年的刻苦钻研，仍提出了不少相应的解决方法。但在同时， 几乎所有这些方法都加上种种限制。 人体运动分析根据分类标准的不同，有多种不同的类型。例如根据运动研究 刈象的不同，可以分为局部人体运动和全部人体运动：根据摄像机数量的不同， 可分为单摄像机跟踪和多摄像机跟踪：根据跟踪过程中是否采用了反映先验知识 的模型，又一_ 以分为基于模型方法和非基于模型方法。 2 2 2 人体运动分析研究主要内容 人体运动分析运用某种手段或方法来跟踪( t r a c k in g ) 、捕捉( c a p t u r e ) 人体 的运动，获取人体的运动参数，然后利用得到的参数重建( r e c o v e r y ) 人体的结构 和姿态( p o s e ) 。人体运动分析的最终e l 的就是达到对人体运动行为的理解并加以 应用。 一般来说，利用图像序列进行人体运动分析包含三个基本步骤：( 1 ) 从复杂 背景中提取运动人体：( 2 ) 人体运动的跟踪和标定；( 3 ) 人体运动行为的识别和理 解m 。其中，人体运动的跟踪和标定是人体运动分析过程的关键步骤，足进一步 识别和理解人体运动行为的基础。人体行为的识别和理解则是人体运动分析的最 高层次，但目前的研究还远远没达到这一地步，所以研究工作大多集中在前两项 之中，它们都属于计算机视觉中低级和中级处理部分( 1 0 w 一1 e v e r a n d i n t e r m e d i a t e l e v e l v is i o n ) ，而最终的行为理解和描述，则属于高级处理 ( h i g h l e v e lv i s i o n ) ，当然，它们之间也可能存在交叉。整个人体运动分析 浙江大学硕士学位论文 的过程可用下图来描述。 图2 3 人体运动分析的全部过程 接下来，我们将具体介绍各个阶段所涉及的内容。 ( 1 ) 从复杂背景从提取运动人体 从复杂背景中提取运动人体就是从整幅图像中将对应的人体区域提取出来， 它涉及到图像的分割和对人体区域判别两个问题。分割图像一般属于是低层次的 特征提取，主要利用了人体的几何信息、颜色信息和运动信息。其中，几何信息 包括身体的形状、轮廓、各部位的形状及相对位置等等；颜色信息指皮肤、衣服 颜色以及它们的分布等；运动信息指的是身体各部位之间的运动相关性以及整体 的运动轨迹。运动人体区域的提取( 主要是对首帧的提取) 为后而正确的人体跟 踪奠定基础，邑通常可以采用灰度闽值法、边缘检测算子法、差分法等方法来实 现。 ( 2 ) 人体运动的跟踪和标定 人体运动的跟踪和标定是在连续的图像帧之间创建基于位置( p o s i t i o n ) 、 速度( v e l o c i t y ) 、形状( s h a p e ) 、纹理( t e x t u r e ) 和色彩( c o l o r ) 等有关特征的 对应匹配问题，它是人体运动跟踪与分析过程的关键，是进一步识别和理解人体 运动行为的基础。其任务是从包含人体运动的图像序列中恢复人体的结构参数， 并对人体运动参数进行估计。一般可分三步完成，首先涉及到对图像中各帧底层 特征进行处理，如对身体部位的标定，关节点位嚣的检测与识别；然后在各个帧 之间建立身体部位和关节点的特征对应关系；最后从这些特征对应中恢复人体的 i 维结构与运动信息。可以把这三步依次称为特征提取( f e a t u r ee xl r a l i o n ) 、 特征对应( f e a t u r ec o r r e s p o n d e n c e ) 和三维恢复( 3 dr e s t o r a t i o n ) 。 按照在特征对应过程中是否采用反映先验知识的形状模型，可以把人体运动 的跟踪方法划分为基于模型的方法和非基于模型的方法两种。基于模型的方法是 将图像与预先定义的模型相匹配，当实际图像序列与模型间的匹配关系建立之 后，特征对应也就相应地完成了。非基于模型的方法是通过对各帧之间的位罱、 速度、色彩、纹理及经过各种变换后的特征参数预测和估计来建立帧之间的特征 浙 t 大学颇十学位论文 对应关系。基十模型和非基于模型方法的相同点都有特征提取、特征匹配和高层 次处理三个阶段，而不同点是建立在连续帧之间的特征匹酉己处理上。对于基于模 型跟踪，一旦幽像与模型数据之问的匹酉已建立，特征匹配就川以自动获得；m 对 于非荜于模型的跟踪，连续帧之问的特征匹配是在基于位置、速度、形状，纹理 和颜色的特征估计和预测之j _ ：。由于运动人体是一个复杂的非刚体，三维人体运 动极其复杂，一般都有 百个自由度，且各部位之间存在自遮挡( s e l fo c c h ，s i o n ) 现象冈此，舟跟踪过程中一般采用基于模型的方法比较有效。当然，这曲种方 法也可以在不同层次l 结合起来使用，以实现对复杂人体运动的跟踪。 基于模型的跟踪方法按照人体各部位的连接关系来建立人体模型，然后提取 实k i 人体型像的特征通过某种匹配算法，在模犁与实际人体图像之间建立起对 应关系，最终确定人体的结构参数。这种方法又可分为基于一维人体模型的跟踪 方法和基于三维人体模型的跟踪方法“。其中一维人体模型适用丁跟踪人体动作 比较单的场合，由1 其视频数据主要来源于单台摄像机，故算法相对简单：i 维人体模型，则主要用于人体部位的精确定位，其虽刈人体的动作没有限制，但 需用多台摄像机进 j 多视角跟踪，闵而计算最大，实现起来困难。但无论采用何 种模型，建立了人体模型以后，! * 须借助于图像的特征和一定的匹配算法，如采 用人体轮廓特征、区域特征、点特征或综合多种特征来对模型和实际图像进行匹 配，以建屯摸型与实际图像之间的对应关系。 j 得到人体运动的二维序列图像跟踪结果后，这时就需要恢复人体三维结 构，将维运动恢复成实际宅间的三维运动，从而达到精确跟踪人体，继而进行 分析= 三维人体运动的目的。恢复人体三维结构通常要涉及到摄像机标定问题，以 得到拍摄时所用摄像机的参数。根据实际拍摄过程中所用摄像机数目的不同，运 动跟踪i u 分为单摄像机法。”和多摄像机法“”6 1 曲种( 即单目视觉和多目视觉) 。 单摄像机法只用一台摄像机摄像，定标简甲，计算量小，但对人体复杂动作和长 时问的部位重叠小能准确估计；而多摄像机法则存不同的方位放置多台摄像机， “1 物体运动时，如果目标从一个摄像机的视野中消失，它可以被系统中的另一台 摄像机捕捉到。采用多摄像机法的一个难题是不i 司方位摄像机跟踪到的特征图像 之司的匹配_ 分困难。这是囚为这些特征是在不同的坐标系中记录下来的，在拥 互匹配之前，所要跟踪的特征都必须转换为相同的坐标系，这就要涉及到多摄像 浙江大学硕士学位论文 机标定问题。多摄像机法理论上能较好地解决因出现重叠与身体自遮挡时单摄像 机估计不准的问题，但多摄像机的标定复杂，信息冗余，标定误差在定程度上 制约了跟踪目标的精度。 在人体运动的跟踪中常用的数学工具有卡尔曼滤波( k a l m a nf i l t e r in g ) “， c o n d e n s a t i o n 算法“7 1 和m e a n s h i f t 算法等等。其中卡尔曼滤波是基于高斯分布 的状态预测方法，可实时地进行跟踪预测。c o n d e n s a t i o n 算法是以样本抽样为 牲础的条件密度传播方法，与合理的动态模型结合使用，可完成鲁棒的运动跟踪。 m e a n s h i f t 算法是基于样本估训的算法，可以进行实时地跟踪。 ( 3 ) 人体行为的识别和理解 在图像序列中建立了连续帧间的特征对应关系后，下一步就是去理解整个图 像序列中这些特征的含义，从而理解人体的运动和行为。它是对人的运动进行分 析和识别并用自然语言等加以描述。行为理解可以简单地认为是时变数掘的分 类问题，叩将测试序列与预先标定的代表典型行为的参考序列进行匹配。由此可 见，行为理解的关键问题是如何从学习样本中获取参考行为序列。通常进行人体 行为理解时采用的方法有模板匹配法( t e m p l a t em a t c h i n g ) 1 ”和状态空间法 ( s i a t es p a c e ) “。”。两种。 模板匹配法是将图像中获得的静态姿态特征( 如关节点的位置和角度等) 的 变化同预先存放的动作库相比较，找到匹配的动作，完成对图像中人体行为的识 别；状态空间法是将每一个静态的姿态特征作为一个状态，从而一种行为可以由 多个状态问的转移形成的路径来表示，识别过程是计算状态在各条路径上转移的 可能性，取其巾的最大值作为行为判别的依据。 2 2 3 人体运动分析国内外研究现状 由于人体运动分析在高级人机交互、安全监控、视频会议、医疗诊断和基于 内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发 了世界上广大科研工作者及相关商家的浓厚兴趣。 最早进行人体运动分析的工作可追溯到1 9 7 3 年心理学家j o h a n s s o n “对人 类运动感知所做的实验。他在实验中，在人的关节点位置处附着亮点，使人处于 黑暗的环境中，做不同的动作来产生运动。关节点处因附有亮点而可见。实验结 浙江大学硕士学位论文 果表明：对于静态的光点集合，人的视觉感知系统无法得出任何有意义的信息， 但对于运动中产生的光点集合序列，人们不仅可以辨别出运动的形态如走路、跑 步等等，甚至可以判断出运动者的性别。“。 图2 4j o h a n s s o n 实验中获得的人体光点集合序列 在此之后，人体运动分析就吸引了越来越多的研究人员的目光，尤其是在美 幽、英国等发达国家，它们已经开展了大量相关项目的研究。例如，英国的雷r 大学( u n i v e r s i t yo fr e a d i n g ) 已开展了对车辆和行人的跟踪及其交互作用识 别的相关研究”：i b m 与m i c r o s o f t ”1 等公司也l f 逐步将基于视觉的手势识别 接l _ j j 赶用于商业领域。实时视觉监控系统w “1 不仅能够定位人和分割出人的身体 部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等 简单行为。可见，人体运动分析在国外起步很早，而且研究也已经比较深入，其 应用也逐步发展到商业领域。 通常，国外研究人体运动的一般方法是在跟踪的开始确定图像序列中首帧的 人体位置，然后在后续帧中依靠人体运动的连续性原则进行跟踪。首帧人体位嚣 的确定通常有两种方法：种方法是通过手工标注人体上的特征点( 如关节点) ”一；另种方法是去除人体以外的背景后，自动确定身体的各个部位。”1 ，这种 方法可以实现自动化。但对于人体这样具有关节旋转运动的非刚体来说，很难自 动识别出人体的各个部位。 在国内，由于人体运动分析尚属于一个新兴的研究领域，研究的单位还比较 少。目前丌展这方面研究的单位主要有中国科学院计算所、北京航空航天大学和 浙江大学等，其中中国科学院计算所的研究主要用于手语识别。”1 ，它是给被测人 手上带数据手套，是一种基于传感器的方法。北航研究的是航天活动中的人体运 6 浙江大学硕士学位论文 动，它利用了现场录像资料。浙大生物医学工程学院则是主要研究人体的手势及 步态运动分析在临床诊断和物理治疗i - 的应用。 人体运动分析的复杂性和应用的广泛性吸引