（计算机应用技术专业论文）运动重新定向技术研究.pdf

摘要 摘要 近年来，运动捕获技术已经非常好的应用在计算机角色动画中。通过运动 捕获设备，记录下演员的真实运动，然后把该运动数据重新应用到各种虚拟角 色中。但当虚拟角色的大小和比例和表演人不一致时，其动作可能会失去原始 运动的特点，本文提出一种新的运动重定向技术可以用于解决人体上肢运动重 新定向问题。 本文首先介绍了虚拟人建模标准，定义了建立的虚拟人模型，说明了模型 的分层体系结构，其关节的关节分布及其拓扑关系，讲述了运动捕获设备在计 算机动画中的重要作用和现有的各种运动捕获技术，重点介绍了基于数据手套 的手语运动数据的捕获方法。然后本文提出了一种重新定向手语运动数据的方 法。它把通过数据手套设备捕获的手语数据重新定向到具有不同大小和比例的 虚拟人模型上，从而生成与源动作相同且真实自然的动画。具体方法如下：首 先进行手势特征的分析，从而能在重定向后保存原先的手语含义，然后利用一 种新的映射敏感点的方法把源运动中重要的特征映射到目标运动中，最后采用 改进的反向运动学方法实现了手语运动的重定向。本文提出的方法已经成功的 应用在新版中国手语电子辞典中，实验表明，提出的方法使得中国手语合成系 统的可懂度提高3 0 以上。 关键词角色动画运动重定向关键敏感点反向运动学中国手语 a b s t r a c t r e c e n t l y , m o t i o nc a p t u r eh a sb e c o m e o n eo f t h em o s tp r o m i s i n gt e c h n o l o g i e si n c h a r a c t e ra n i m a t i o n r e a l i s t i cm o t i o nd a t ac a nb ec a p t u r e db y r e c o r d i n g t h e m o v e m e n to far e a la c t o rw i 血am o t i o nc a p t u r es y s t e m a n dm o t i o nr e t a r g e t i n gw i l l a d a p tt h e s em o t i o nd a t at on e wc h a r a c t e r w h i l et h et a r g e tc h a r a c t e ri sd i f f e r e n tf r o m t h eo r i g i n a lo n e ，t h et a r g e tc h a r a c t e ri sl i k e l yt ol o s ed e s i r ef e a t u r e so fo r i g i n a l m o t i o n t h ep r o b l e mc a nb es o l v e dt h r o u g hm o t i o nr e t a r g e t i n gt e c h n o l o g y t h i st h e s i si n t r o d u c e st h es t a n d a r do ft h ev i r t u a lh u m a nm o d e l ，a n db u i l d so u r v i r t u a lh u m a nm o d e lf i r s t l y t h e nw es h o wt h eh i e r a r c h i c a ls t r u c t u r eo ft h em o d e l a n dt h ed i s t r i b u t i o no ft h ej o i n t s w ea l s oa n a l y z et h ei m p o r t a n c eo fm o t i o nc a p t u r e d e v i c ea n df o c u so nh o wt oc a p t u r es i g nl a n g u a g ed a t at h r o u g hd a t ag l o v e w i t ht h e a s s i s t a n c eo fd a t ag l o v ew ep r o p o s ean e wm e t h o df o rr e t a r g e t i n gs i g nl a n g u a g ed a t a t od i f f e r e n tv i r t u a lh u m a nm o d e l 、 ，i t l ld i f f e r e n ts i z e sa n dp r o p o r t i o n s r e a l i s t i ca n d n a t u r a la n i m a d 0 1 1 sc a nb ep r o d u c e dt oe x p r e s ss i m i l a rm e a n i n g st ot h eo r i g i n a l t h e p r o p o s e dm e t h o df i r s td e f i n e sm a n ys e n s i t i v ep o i n t so nt h eh u m a nb o d ya n ds e l e c t s t h ek e ys e n s i t i v ep o i n t st h r o u g ha n a l y z i n gt h ei m p o r t a n c eo ft h es e n s i t i v ep o i n t s n e x tan o v e lm a p p i n gm e t h o db a s e do nr e l a t i v ep o s r i o ni sp r e s e n t e dt oa d a p tt h e o r i g i n a ls e n s i t i v ep o i n t st ot h et a r g e ts e n s i t i v ep o i n t s f i n a l l yw eu t i l i z ea ni ks o l v e r t or e a l i z et h er e t a r g e t i n gp r o b l e m o u rm e t h o dh a db e e na p p l i e di nt h en e wv e r s i o n o fc h i n as i g nl a n g u a g ee l e c t r o n i cd i c t i o n a r y e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e p r o p o s e dm e t h o dd r a m a t i c a l l yi m p r o v e st h er e c o g n i t i o nr a t ea b o u t3 0 k e y w o r dc h a r a c t e ra n i m a t i o n ；m o t i o nr e t a r g e t i n g ；k e ys e n s i t i v ep o i n t s ；i k ；c h i n e s e s i g nl a n g u a g e i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名日期：旦 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：茧起新签名： 第1 章绪论 1 1 意义及应用领域 第1 章绪论 在三维计算机动画中，把人体作为其中的角色一直是研究者感兴趣的目标， 因而人体动画越来越成为人们致力解决的研究课题。因为人体运动的复杂性，近 年来，一项新的技术，运动捕获技术已经非常好的应用在计算机角色动画中。通 过运动捕获设备，记录下演员的真实运动，然后把该运动数据重新应用到各种虚 拟角色中。通过这样的方法可以再现真人在现实世界中的真实的运动，从而极大 的提高生产计算机动画的质量和数量。但当虚拟角色的大小和比例和表演人不一 致时，其运动可能会失去原始运动的特点，运动重定向技术可以用于解决此类问 题。 1 1 1 意义 计算机动画在许多领域占据越来越重要的地位，人体和动物动画的许多问题 仍未很好解决。人体具有2 0 0 个以上的自由度和非常复杂的运动，人的形状不规 则，人的肌肉随着人体的运动而变形，人的个性、表情等千变万化。另外，由于 人类对自身的运动非常熟悉，不协调的运动很容易被观察者所察觉。可以说，人 体动画是计算机动画中最富挑战性的课题之一。正是这些困难使我们意识到如果 能重新利用编辑好的动画数据，根据当前的要求调整编辑这些数据使之能适应当 前的环境，将极大地提高动画制作的质量和数量。特别是随着运动捕获技术的发 展，能准确捕获到真人的各种真实的运动，从而建立一个完整的运动数据库。在 此基础上运动重新定向技术可以很好的实现从运动库到不同动画角色的转换，极 大的方便了动画师的需要，在计算机动画领域中具有非常重要的意义。 1 1 2 应用领域 运动重新定向是计算机动画领域的一门新的技术，它的发展也给计算机动画 带来许多新的应用。同时也广泛的应用在许多相关的领域。 游戏娱乐：在各种真实感强的三维游戏场景中加入逼真的虚拟人模型，将使 得整个游戏成为真正的三维游戏同时增加用户的沉浸感。在各种娱乐项目中，通 北京工业大学工学硕士学位论文 过真人的运动数据来驱动虚拟人的运动，用户娱乐的是一个智能虚拟人，将让用 户感到更加真实和亲切。 电影制作：动画电影以其幽默诙谐已经吸引了全世界无数人的喜欢，无论 大人还是小孩，动画片都对其展示了无比的魅力。早期工作从从动画电影 t o n y d ep e l t r i e 和 r e n d e z v o u sam o n t r e a l 可见一斑，而近期在这一方面的工 作更是令人惊叹不已，如电影狮子王、侏罗纪公园。通过对已有的运动 数据的编辑和调整使之适应新的角色可以大大加速动画师的制作过程并减少动 画制作成本。 虚拟主持人：由运动捕获设备捕获真人的运动，实时地转化为虚拟人角色的 运动，从而模仿真人演员的各种动作，具有很高的娱乐性。现在已经有很多的电 视台采用这项技术来实现虚拟主持人主持节目。 机器人技术：利用真人采集的数据去驱动机器人，从而让机器人去完成指定 的任务，比如做一些危险环境下的工作或试验。 1 2 具有关节特点的角色动画技术 计算机动画中三维人物的运动主要是借着该人物各关节旋转角度的变化来 达到动画的效果。在过去每一段逼真的仿真动作只能靠动画师在关键帧上将各关 节的角度设置得合适；但是运动感的逼真性不易掌握，况且人体关节甚多使得这 项工作既困难且耗时。为减轻动画师的负担并提升动画制作的产能，于是如何能 自动产生仿真“人类移动”( h u m a nl o c o m o t i o n ) 的动画技术成为近年来十分重要 的研究课题。这方面相关的算法主要可分为两类：运动学的方法和动力学的方法。 1 2 1 运动学方法 正向或逆向运动学方法是一种设置关节动画的有效方法。通过对关节旋转角 设置关键帧，得到相关联的各个肢体的位置，这种方法一般称为正向运动学方法。 d e n a v i t 年i i h a r t e n b e r g “1 最早提出了一种通过相对坐标系来描述各个关节位置的 矩阵描述方法，并被从事关节动画的研究者所广泛采用。但对于一个缺乏经验的 动画师来说，通过设置各个关节的关键帧来产生逼真的运动是非常困难的。一种 实用的解决方法是通过实时输入设备记录真人各关节的空间运动数据，即运动捕 第1 章绪论 获法。a 1 i a s 公司的产品部经理g a r ym u n d e l l 曾称：“m o t i o nc a p t u r ei st h e f u t u r e ”。逆运动学方法在一定程度上减轻了正运动学方法的繁琐工作，用户通 过指定末端关节的位置，计算机自动计算出各中间关节的位置。逆运动学分析求 解方法虽然能求得所有解，但随着关节复杂度的增加，逆运动学的复杂度急剧增 加，分析求解的代价也越来越大，数值求解成了一种可行的方案。采用运动学求 解的一个优点是可以对关节的某些关键位置设定约束。例如，当一个人弯曲他的 膝盖时，可约束他的脚在地板上，而身体则往下倾。类似，当人行走时，先使身 体绕一只脚旋转，然后绕两只脚旋转，再绕另一只脚旋转。带约束的关节动画常 采用逆运动学求解，这相当于从众多的解中选取一个满足约束的解。 1 2 2 动力学方法 与运动学相比，动力学方法能生成更复杂和逼真的运动，并且需指定的参数 相对较少。但动力学方法的计算量相当大，且很难控制。基于e u l e r 动力学方程， a r m s t r o n g 和g r e e n 。1 提出了一种用于图形仿真的递归方法，避免了矩阵的建立过 程。该递归方法的复杂度与自由度的个数呈线性关系，速度快而且稳定。动力学 方法中另一重要问题是运动的控制，若没有有效的控制手段，用户就必须提供具 体的如力和力矩这样的控制指令，而这几乎是不太可能的。因而，有必要提供高 层的控制和协调手段。能够满足上述要求的一种方法是预处理方法。该方法把所 需的约束和控制转换成适当的力和力矩，然后包括到动力学方程中。另一种方法 将约束以方程的形式给出。如果约束方程的个数与未知数的个数相等，也即系统 是全约束的，则可用一般的稀疏矩阵法快速求解。但如果系统是欠约束的，则情 形就比较复杂，因为有无穷多的解。例如，给定手的到达目标，就有许多关节构 造方法可使手到达所要求位置。w i t k i n 0 1 提出了一种使某种目标函数极小的附加 约束方法，并用共轭梯度法求解。在上述例子中，目标函数可选为运动的总动能。 基于物理仿真的一大优点在于能自动地模拟物体之间的相互作用。这实际上牵涉 到两个问题，即作用在何时发生及相互作用后的响应。b r u d e r l i n 和c a l v e r t ”1 提 出了一个人体走路动画的混合方法，该方法结合了基于目标的和动力学两种运动 控制技术。在他们实现的实验性动画系统k l a w 中，用户指定一些参数如速度、步 长和步频后，几乎可以以实时的速度生成大范围的人体行走方式。在他们后来提 北京工业大学工学硕士学位论文 出的过程控制方法中，用步伐之间的三次和线性插值取代了原来的动力学方法， 而真实性与原来相差无几。因而，动画师几乎可以实时交互控制人体的运动。 指定关节动物的运动，使它能以符合物理规律真实的方式达到给定的目标 ( 如投一个篮球到球框中) 是动画师的目标之一。w i t k i n 。1 等人所提出的时空约 束是生成角色动画的一种新方法。在时空约束方法中，动画师指定角色必须做什 么，例如从这里跳到那里：怎样运动，比如不浪费能量；角色的物理结构，如几 何、质量、连接性质；角色为完成运动可利用的物理资源，如角色的肌肉、可以 产生推力的地板。基于这些描述，加上牛顿定律，构成一个约束的最优化问题。 求解该约束问题得到一个符合物理规律的运动。该方法生成的真实运动与传统动 画的一些原则如压扁和伸展、期望等相符合。时空约束得到的是一个非线性约束 变分问题，通常该问题没有唯一解。一个解决方法是用三次b 样条基函数的线性 组合来减少可能的轨迹数，并用约束优化来求解b 样条的系数。但这类非线性优 化问题的一般解是未知的。为此，c o h e n 提出采用符号和数值混合技术来进行交 互控制。在该系统中，用户能干涉迭代数值优化过程并能指导优化过程使它收敛 到可接受的解。但是随着关节数和任务复杂度的增加，其计算量仍然很大。 1 3 运动重新定向技术 计算机动画领域中一个重要的问题是如何有效的利用已有的运动数据，把 它们正确的运用到各种不同的动画角色中，特别是随着运动捕获技术的近一步发 展，大量真人的运动数据可以很方便被采集下来。如何有效地利用这些数据成为 计算机动画领域一个重要的课题。 目前重新利用运动数据的算法研究可分为下列两方向：( 1 ) 运动数据的混 合( b l e n d i n g ) ；( 2 ) 运动数据的变形( w a r p i n g ) 。关于运动数据混合的研究， u n u m a 等人将运动数据中各个关节角度运动轨迹视为随时间变化的讯号，并将 包含不同情感的运动数据经由傅利叶转换将时域空间转为频域空间后，再由动画 师于频域空间上调整不同讯号之线性插值系数再经线性插值后混合出各种不同 情感的运动资料。此外，g u o 与w i l e y 等人”则是对时域空间上不同运动资料之 参数坐标值进行插值，以获得更多混合的运动数据。至于运动数据变形的研究上， w i t k i n 。1 等人设计一时域空间上关节角度运动轨迹平移与缩放的函数式，可让动 第1 章绪论 画师调整平移与缩放之系数，进而得到一变形后的新运动轨迹。b r u d e r l i n 等人 叫则将时域空间上关节角度运动轨迹以多层次分辨率之方式展现，并可由动画师 对不同层次分辨率之数据设定不同之权重，而得到一变形的新关节角度运动轨 迹。 要充分利用已捕获的运动数据通常会面临下列两项困难“：( 1 ) 高速取样 下所产生的资料量非常庞大，动画师对这些运动数据进行逐帧的编修是非常耗时 费劲的；( 2 ) 运动数据所纪录之各个关节角度运动轨迹是由当时表演者之身材 推算而得，因此运动资料只适合套用到身材比例相似之角色上，若直接套用到身 材比例差异甚大之角色则会产生滑步、脚穿透或悬浮于地面等错误的情形，使得 此方法在应用的一般性上有所缺失。为了弥补第( 2 ) 项之缺点，g l e i c h e r “。最 早提出了一种运动重定目标的概念。该方法能把已有之运动数据通过重定目标算 法赋给另一个具相同关节结构但不同肢干长度的角色而能保持原运动的质量。不 过其算法涉及复杂的优化解算过程无法达到实时作业的要求。 近年来，运动重新定向技术有了很大的发展。自从g l e i c h e r 提出了运动重 定向概念后，许多研究者在计算机动画中充分的利用了该思想在很多方面取得一 些让人注目的成绩。目前的重新定向技术主要用在两个方面：( 1 ) 具有关节特 点的角色动画中。( 2 ) 人脸动画中。 1 3 1 具有关节特点的角色运动重定向 g l e i c h e r 3 最早提出了一种运动重定目标的概念。c h o i 等人“”利用捕获资料 之密集重复性提出一实时运动重定目标算法，其将每一帧中原动者末端效应器之 空间位置设定为标的者末端效应器之强制( h a r d ) 约束，并利用逆向率控制 ( i n v e r s er a t ec o n t r 0 1 ) 之技术，并要求标的帧之间关节角度差异最小。因为运 动捕获资料具有密集重复性而使得标的者关节角度之变化能具有连续性。同时因 其每次仅求单一帧之优化解，所以能达到实时重定目标的计算。m o n z a n i “”等人 针对具有不同关节结构的动画角色提出一种利用中间骨架模型结合反向运动学 的运动重新定向方法，他们的方法可以把运动数据重新定向到具有不同的关节结 构的角色中。s e y o o n “”等人提出了一个新的基于约束的运动数据编辑技术，通 过动画师指定运动学和动力学的约束，该方法可以把运动捕获设备捕获的数据转 北京工业大学工学硕士学位论文 化为不同角色的物理上可以理解的运动，和基于时空约束的优化方法相比，该方 法采用的是在k a l m a n 滤波器基础上，把问题转化为约束的状态转化问题。m i nj e p a r k “5 1 等人提出了基于样本事例的运动克隆技术。通过提供一些样本运动，他们 的方法能自动从中提取出一部分称为关键姿态的有代表性的姿势。然后动画师就 可以建立目标运动相应的关键姿势，并通过进一步的处理而完成重新定向的任 务。 1 3 2 人脸运动重定向 j u n y o n gn o h “”从g l e i c h e r 提出的运动重新定向的概念中得到启发，提出了 一种新的方法可以生成人脸表情动画为不同的人脸模型。传统的人脸动画在不同 的模型上需要从头开始开发，他们的方法可以很方便的实现在不同的模型上表情 运动的重定向。k y u n g g u nn a “7 3 等人也提出了一种表情运动克隆技术，他们使用 种多层次的重新定向方法，可以实现表情细节方面的重定向。p y u nh 矛n s h i ns y “”提出了利用样本学习表情克隆的方法，从样本中学习出人脸表情的各种模 式，然后应用到新的人脸表情动画中，取得较好的效果。 1 。4 本文使用方法 当虚拟角色和表演者具有不同的大小和比例时，在重新定向时不是运动的所 有方面都能被保存下来的，至少不能简单的去复制末端点的位置和关节的角度。 系统必须能去选择运动的哪个方面应该被保存，哪个方面应该被改变。s h i n “” 等提出一个基于重要性的重定向方法，可以实时重定向表演者到虚拟人的运动。 他们通过重要性的分析把尽量多的运动中重要的信息映射到目标角色中。然而他 们的方法仅解决了角色与周围环境交互的重定向问题。事实上，还有大量的运动 发生在角色自己的身体各部位之间的交互，比如语言残疾人使用的手语，它通过 手势来表达人的意图，手势的细微差别可以导致意思的完全不同。目前已有的重 定向算法都没有涉及到如何很精确的表达原动者的手势的含义。 本文提出了一种新的手势运动重定向的技术，它把一个标准虚拟人的手势运 动重定向到其它的大小比例不一样的虚拟角色模型中，从而保持原手势的含义。 该方法已经实现在中国手语合成系统中，实验表明，它使得中国手语合成系统的 可懂度可提高3 0 以上。 第1 章绪论 1 5 论文的组织和安排 第一章是本文的绪论。介绍了计算机关节动画技术的应用和发展，和运动重 新定向技术在计算机动画中的应用和发展。 在第二章中首先介绍了两种虚拟人建模标准，然后定义了我们建立的虚拟人 模型，说明了模型的分层体系结构，其关节的关节分布及其拓扑关系。接下来重 点讲述了运动捕获设备在计算机动画中的重要作用和现有的各种运动捕获技术； 最后介绍了基于数据手套的手语运动数据的捕获方法。 在第三章中先分析一般情况下运动重新定向过程中重要性的概念，然后提出 了一种针对手势运动情况下重要性分析的方法：首先进行手势特征的分析，从而 能在重定向后保存原先的手语含义，然后利用一种新的映射敏感点的方法把源运 动中重要的特征映射到目标运动中。 在第四章中先介绍反向运动学的发展和应用，然后提出一种基于约束函数的 分析的反向运动学算法，并应用到虚拟人手语系统中。 第五章中首先给出本文介绍的方法所得到的试验数据，然后对本文所进行的 研究进行了总结，对研究的方法给出了相应的结论，阐述了这些方法中现存的一 些问题，并指出了今后应努力的方向。 第2 章虚拟人建模和运动数据的获取 第2 章虚拟人建模和运动数据的获取 本章首先介绍了两种虚拟人建模标准，然后定义了我们建立的虚拟人模型， 说明了模型的分层体系结构，其关节的关节分布及其拓扑关系。接下来重点讲 述了运动捕获设备在计算机动画中的重要作用和现有的各种运动捕获技术：最 后介绍了基于数据手套的手语运动数据的捕获方法。 2 1 虚拟人建模 人是个复杂的实体，从宏观上来看人主要由人体骨架和人体肌肉组成，我 们研究虚拟人就必须首先从这两个方面来入手。研究虚拟人合成首先必须先建 好虚拟人模型。而虚拟人模型是由许多的节段( s e g m e n t ) 和连接这些节段的许 多关节点( j o i n t ) 组成的。本节将主要围绕着两个层面的各个要素进行定义。 为了便于不同情况下制作的虚拟人之间实现交互与共享，目前两个重要国际标 准v r m l 和m p e g 4 都开始支持虚拟人表示。 2 1 1 虚拟人建模标准 h a n i t a 标准： 为了支持不同环境创建的虚拟人之间的互操作与共享，v r m l 中有一个专门 的子标准描述虚拟人模型，称为h a n i m ，该标准完全遵循v r m l 的语法。v r m l 是一种虚拟现实建模语言，它主要是用于在i n t e m e t 上表示并传递三维虚拟场景 和虚拟物体。 h a n i m 中使用三类节点表示一个虚拟人体模型；人体重心、人体关节和人 体骨骼段，并把整个人体分成1 个人体重心，7 7 个关节和4 7 个骨骼段。另外， 还使用v r m l 中的几何模型表示方法定义了每个肢体( 即骨骼段) 的几何模型。 每个骨骼段( s e g m e n t ) 的位置都在其所在的关节，而每个几何模型依附于相应 的骨骼段，这些元素组成一个完整的虚拟人模型。 m p e g 标准： 另外，为了便于不同情况下制作的虚拟人之间实现交互与共享，目前国际 北京工业大学工学硕士学位论文 标准m p e g 4 也开始支持虚拟人表示。 在m p e g 4 中开始提供对b o d y o b j e c t 的支持。m p e g b o d y 由一组节点组成， 其顶层节点b o d y n o d e 至少包括两个子节点：人体运动的参数( b o d ya n i m a t i o n p a r a m e c t e r s ，b a p ) 和表示人体模型定义的参数( d e f i n i t i o np a r a m e t e r s ，b d p ) ， 人体运动参数b a p 包含2 9 6 个描述虚拟人骨架拓扑结构的参数，这些参数可以 应用于m p e g 4 兼容的虚拟人体，并生成相同的虚拟人运动。 我们借鉴国际标准v r m l 中关于虚拟人的表示h - a n i m 以及m p e 9 4 中关于 虚拟人建模的标准，在2 1 2 2 1 3 中定义了与这些标准兼容的虚拟人模型、虚拟 人表面模型及虚拟人骨架模型，这些标准是骨架生成的基础。 2 1 2 虚拟人模型的表示 1 标准姿态 本标准所定义的模型是一个标准直立于地面的模型，如图2 2 所示。原点( o ， 0 ，0 ) 定义在地面上的两脚之间，采用标准的世界坐标系建模，即面朝十z 方向， 从脚到头垂直于地面为+ y 方向，人体的右边为+ x 方向( 标准姿态如下图左所 示) ，手掌的初始标准姿态如图2 2 所示。 图2 - 1 标准的虚拟人姿态图2 - 2 标准的手掌姿态 f i g u r e2 - 1s t a n d a r dp o s eo f t h ev i r t u a lh u m a n f i g u r e2 - 2s t a n d a r dp o s eo f t h ep a l m 这时候的所有的变换均为初始状态，即这时候的t r a n s f o r m 的变换参数如下 t r a n s l a t i o n ( o ，0 ，o ) ，r o t a t e ( o ，0 ，0 ，1 ) ，s c a l e ( 1 ，1 ，1 ) 。 2 模型的分层结构 从宏观上看，本标准把虚拟人模型划分成如下几层表示： 三层结构： 第3 章敏感点重要性分析 ( 1 ) 骨架 ( 2 ) 肌肉 ( 3 ) 表皮( 服饰) 在现阶段，本标准所定义的第二和第三层结合成一层，统称为部位层，即肌 肉和服饰结合在一起进行建模( 如图2 3 ) 。 门日日日吼日口 图2 - 3 本标准暂时采用的建模分层模式图2 - 4 部位交叉建模方式 f i g u r e2 - 3o u rh i e r a r c h ym o d e lo f v i r t u a lh u m a n 、f i g u r e2 - 4t h ec r o s sm o d e l i n gm o d e 3 模型的分块结构 图2 - 5 虚拟人部位分块示意图及其序号 f i g u r e2 - 5t h ep a r t sa n do r d e r so f t h ev i r t u a lh u m a nm o d e l 本标准把整个虚拟人模型分成5 3 块部位，在进行虚拟人建模的时候分别对 北京工业大学工学硕士学位论文 这些部位进行建模，然后导出成彼此独立的5 3 个文件。而且每个部位需要交叉 建模，即要有很好的衔接，不能出现有裂缝的情况，所以在建模的时候需要每个 部位出现交叉部分，这样在虚拟人运动的时候才不会出现裂缝的情况，如图2 - 4 所示，左为连接成的整体，中间为其分割模式，右为其交叉建模方式，所有的分 块部位建模均需要如此进行： 整个虚拟人模型的分块模式及其序号位置图2 5 所示： 2 1 3 关节分布及其拓扑关系 虚拟人模型由虚拟人骨架支撑着，骨架连接着全身的所有关节和骨骼段。人 体全身包括7 7 个关节，其中有5 3 个关节在本标准中定义成有用关节，这5 3 个 有用关节连接着虚拟人全身的5 3 块部位体，每个部位体分别绕着各自的基关节 在不同的自由度方向上旋转运动，从而产生了虚拟人的运动，这样的自由度在本 标准中定义成1 0 4 个。 图2 - 6 虚拟人的关节分布图及其约束关系 f i g u r e2 - 6t h ej o i n t sa n dc o n s t r a i n t so f t h ev i a u a lh u m a n 第3 章敏感点重要性分析 而虚拟人运动所体现的关节运动是有先后顺序和其独特的拓扑结构的，比如说手 的运动，首先就是由整个手绕着肩关节运动，然后才是前臂以下的手部分绕着肘 关节运动，然后是腕关节，然后就是各个手指的分别运动。所以就产生了从肩关 节到指关节的拓扑结构。关节的分布图及其约束信息如图2 - 6 所示。 骨骼段与直接依附的关节( 我们称为基关节) 的连接关系如一棵树，以人体 重心为根结点，以关节为节点，以骨骼段为连线，组成了如下图2 7 所示的树状 图。每个基关节有多个自由度，定义了9 6 + 1 8 ( 脚部新添加三个关节9 个自由度) 个自由度 图2 7 关节拓扑结构图 f i g u r e2 - 7t h et o p o l o g ys t r u c t u r eo f t h e j o i n t s 2 2 基于运动捕获的动画 较之传统的动画技术，运动捕获具有较强的实时性，生成的动画质量也较高。 因此运动捕获技术发展很快，并日趋成为一种强有力的动画制作工具。相比较关 节动画，基于运动获取的动画正变得越来越普通，当演员做出特定的动作时，附 在演员身上各关节部位的传感器会将关节位置返回给计算机。将这些数据作用在 一个三维人体模型上就得到了真实的人体运动。虽然这一技术能比关节动画产生 更真实的人体运动，但它的获取运动信息的过程往往耗资巨大，又需要专门的工 作室，或者有电缆线附在人体上，而这又限制了演员的自由运动，造成一定程度 的动作失真。因此有必要运用运动编辑技术对现有的捕捉记录下来的运动进行改 编，生成新的运动，这对于提高运动捕获的利用率来说是很重要的，二者可以说 是相得益彰。 北京工业大学工学硕士学位论文 2 2 1 运动捕获发展史 将人体运动复制下来，用于动画并非是一个全新的想法。拍摄时，为了得到 真实的人体运动，d i s n e y 的摄影师就尝试对人在场景中的运动进行跟踪，然后与 关键帧技术结合产生称为“r o t o s c o p i n g ”，曾经成功的用于动画制作中。在2 0 世 纪通过计算机制作动画日益发展。在纽约工学院计算机图形实验室中，r e b e c c a a l l e n 真实的舞蹈演员的录像带叠加到计算机屏幕上，产生了t w y l at h a r p s 执导 的“t h ec a t h e r i n ew h e e l ”中。原理是各种姿态作为关键帧来产生一段平滑的动 画。就这样，“r o t o s c o p i n g ”成为基于运动获取产生动画的原型或先驱，当然它 并非严格意义获取的运动，只不过是由大量烦琐的手工劳动产生的。在随后运动 捕获系统经过了很多人的努力，慢慢在技术上趋向于成熟，对其历史做一简单的 回顾。 1 9 8 0 1 9 8 3 ：s i m o n f r a s e r u n i v e r s i t y g o n i o m e t e r s ，在2 0 世纪8 0 年代早期，t o m c a l v e r t ，一个s i m o n f r a s e r 大学计算机领域的专家将电压计附在人体上，用它的 输出去驱动动画人物并应用于舞蹈研究和运动障碍方面的临床研究。 1 9 8 2 1 9 8 3 ：m i tg r a p h i c a lm a r i o n e t t e ，随后不久，商业性的光学跟踪系统如 “t h eo p e y ea n ds e l s p o t ”被计算机图形用户使用。在2 0 世纪8 0 年代早期， 对人体的光学跟踪实验同时在m i t 的结构机械组和纽约工学院计算机图形实验 室进行。1 9 8 3 年m r r 的g i n s b c r g 和m a x w e l l 推出了g r a p h i c a lm a r i o n e t t e 系统， 它在人体的各个关节置上l e d ，用上面提到的”t h eo p e y ea n ds e l s p o t ”系统完成 跟踪两个带有图象检测器的相机可以返回每个关节点上l e d 的二维位置口而计 算机可以用立体视觉理论恢复出运动的三维信息。 1 9 8 8 ：d e g r a f f w a h r m a nm i k et h et a l k i n gh e a d ，1 9 8 8 年，d e g r a f w a h r m a n 在 s g i i 作站上开发了“m i k et h et a l k i n gh e a d ”实时系统。m i k e 由一个特殊控制器 驱动，允许使用者控制脸上的许多参数，包括嘴，眼睛，表情，头的位置等等。 1 9 8 8 ：p a c i f i cd a t ai m a g e sw 甜d oc g r a p h i c ，1 9 8 8 年，j i mh e n s o np r o d u c t i o n s 在s g i 工作站上，用p a c i f i cd a t ai m a g e s 的专门技术，在经历了1 9 8 3 年的挫折 后找到了一种可行的解决方法。他们通过输入一些参数，可以实时捕获人体的各 种动作，随后，他们使用电位计来捕获人体运动，在很多项目中他们使用过这套 设备，但它的效果因为噪声的存在并非很好。 第3 章敏感点重要性分析 1 9 8 9 ：k l e i s e r - w a l c z a kd o z o ，1 9 8 9 年，k l e i s e r - w a l c z a k 研制了一个非实时的 动画系统，能将一个在麦克风前边唱边跳舞女人的运动跟踪下来。他们使用的是 基于光学的运动捕获原理，将一些反射物体置于人体表面，然后跟踪下二维坐标 后，通过多个相机同步用立体视觉的原理得到了每个关节点的三维轨迹输出。但 是，因为二维跟踪时自遮挡情况的存在，导致速度和准确性都不好。幸运的是， 一些更新的系统为加速这个处理过程继续被研制。 1 9 9 1 ：v i d e o s y s t e m m a t t h e g h o s t ，w a l d o c g r a p h i c ，一个法国的导演用这个 实时的系统塑造了m a t ( 一个绿色的小精灵) 这个形象，并用于一部播放长达3 年 半的儿童剧“c a n a i l l e p e l u c h e ”中。这个系统可以将一个星期的工作压缩到一天 内完成，但在动画效果上欠缺一些。 1 9 9 2 ：b r a dd e g r a f a l i v e ，b r a dd e g r a f 研制了一个称为“a l i v e ”的实时动画 系统。他发明了一种特殊的带有5 个活塞的手，由操纵木偶人的手指驱动。这个 装置被用来控制计算机角色的脸部表情变化。 1 9 9 3 ：a c c l a i m 在s i g g r a p h 9 3 上a c c l a i m 展示的完全基于运动获取的完美 的两个角色的计算机动画让观众大感迷惑。在前几年a c c l a i m 研制了一个高性能 的光学运动跟踪系统，有点象在g r a p h i c a lm a r i o n e t ea n dd o z o 应用的那些跟踪系 统，但能实时的跟踪1 0 0 个点。这个系统属于私人所有，他们并不想商品化。 在最近的几年，a s c e n s i o n ，p o l h e m u s ，s u p e r f l u o 等已经有了自己商品化的基 于运动获取的计算机动画制作系统此外，动画软件比如s o f t l m a g e 已经有了与 这种系统的相关接口。虽然还有很多问题还需解决，但基于运动的计算机动画系 统已经成为动画师的可行选择之一。当这个技术继续发展下去走向成熟，无疑它 将会是动画师的基本工具之。 2 2 2 运动捕获系统应用 大部分的运动捕获装置在娱乐方面的应用比我们想象的更加广泛，这些装置 在成为3 d 电脑图形制的二个有力工具之前，就已经被应用了很多年。从其中受 益的行业有：医学、运动、娱乐和司法。娱乐业是运动捕获领域里发展最快的一 个部分，尽管现在它还不是最大的市场，但是它己经有一个轮廓了。在不同的娱 乐业的应用中，游戏制业是当前应用最广泛的、最容易接受的和最好理解的。电 视和角色电影还只是一个实验性的应用。 北京工业大学工学硕士学位论文 角色电影：运动捕获在角色动作片中的主要用途是服务于数字临时演员、数 字特技演员和数字群体场景。数字临时演员是充当背景角色，为了某些特定的原 因必须将其数字化。数字化的特技演员是要做一些人不可能做到的动作，或者是 效果在银幕上看起来要比真人做得更好。电影蝙蝠侠和罗宾在天空冲浪的一 场戏中就运用了这种特技，它先用p d i 捕捉到天空冲浪的特技演员的运动数据， 再把它赋给数字模型g e o r g ec l o o n e y 所扮演的蝙蝠侠和数字模型c h r i so d o n n e l l 所扮演的罗宾。运动捕获用在数字化的群体场景中是一个很好的工具，它不会使 那些角色之间出现碰撞或者其他一些相互作用。由t h em o v i n gp i c t u r e 公司制作 的“t h e b r o w w e r s ”中的一些群体场景，使用到多重数字角色和运动捕获技术。 游戏业：运动捕获几乎用在每一个包括有人物运动的游戏里，在娱乐业里游 戏业首先为角色使用运动捕获工具，在运动捕获的硬件和软件还是一个高成本低 质量的时候，就开始这样做了。鬼武者就是一款大量运用了运动捕获的游戏， 它共有6 个演员，每一个演员分配了不同的角色任务。现在游戏的引擎变得越来 越快，运动捕获技术也相对成熟了。 运动分析：运动分析是运动捕获的主要用途，那些3 d 的数据被广泛用于改 善运动员的动作，像高尔夫、网球、体操或游泳，通过研究专业运动员的行为， 解剖和分类出运动的不同成分。b i o v i s i o n 一家专门制三维运动分析的公司，就 曾经帮助专业的高尔夫手j o h nd a l y ，发现在他的挥杆中，他的骨盆和肩膀的相 对运动相差了十分之一秒。 2 3 基于数据手套的手语运动数据捕获 在人体的结构中，以手部的关节结构最为复杂，因而也使人类能做出各种各 样精细的动作，同时能表达出丰富的肢体语言。手部的表现能力因而也象面部表 情或语言一样作为人的一种肢体语言在人类行为中具有重要的意义。为了能更好 的研究人类手部的运动方式，一种新的数据捕获设备：数据手套被研制出来。通 过数据手套可以捕获手部各个关节的运动数据。 针对我们研究的虚拟人手语合成系统，我们采用了基于数据手套的手语数据 的捕获方法。 我们建立的虚拟人模型的每个上肢有1 8 个关节共3 2 个自由度。其中肩关节 第3 章敏感点重要性分析 有3 个自由度，肘关节有2 个自由度，腕关节有2 个自由度，共7 个自由度。为 了表达复杂的手势，每个手指定义了3 个关节，其自由度分别是1 ，1 ，3 ，一共 2 5 个自由度( 见图2 - 8 ) 手语运动库是通过数据手套和位置跟踪设备建立的，数据手套可以捕获手部 的运动信息，位置跟踪器记录了肩，肘，腕的位置信息。捕获的数据有很多的噪 声不能在细节上反映真实的运动，因此我们开发了一个手语运动编辑工具可以手 工调整运动数据。经过编辑后的数据形成源运动库，它的运动反映了表演人的真 实运动。 图2 - 8 虚拟人模型及对应的关节结构和其自由度 f i g u r e2 - 8 t h ej o i n ts l 口u c t u r ea n dd o f o f t h ev i r t u a lh u m a nm o d e l 我们通过手语老师对手语词典中每一个词根采集3 遍数据，一共采集了3 0 0 0 多个手语词根的数据，从而建立了覆盖整个手语词典的手语词汇的三维运动数 据，为进一步的处理作了准备。 2 4 本章小结 本章首先介绍了两种虚拟人建模标准，然后定义了我们建立的虚拟人模型， 说明了模型的分层体系结构，其关节的关节分布及其拓扑关系。接下来重点讲述 了运动捕获设备在计算机动画中的重要作用和现有的各种运动捕获技术；最后介 绍了基于数据手套的手语运动数据的捕获方法。 第3 章敏感点重要性分析 第3 章敏感点重要性分析 前