（计算机应用技术专业论文）基于运动库的三维角色动画生成方法研究与实现.pdf

皋十运功库的二缮角色曲哪生成方往研究0 实现：摘舞 摘要 如何生成逼真的三维角色动画一直是计算机图形学、虚拟现实等领域的研究热点与 难点。运动捕获作为三维角色动画生成的一项主流技术，具有数据逼真度高细节丰富等 特点，目前已成为计算机游戏，电影特效、训练仿真系统，医学辅助分析等诸多领域的 标准方法。然而该方法从原理上是三维运动的简单录制和重放，无法提供对运动数掘更 多的交互控制。这使得该方法的数据可重用性低，难以适应交互性强的应用。 本文针对利用己有的运动捕获数据库可控地生成新运动的问题，b 口基于运动库的运 动生成进行了深入研究。主要成果如下： 第一，提出并实现了基于三维运动库和一阶概率转移模型的运动控制方法 如何描述运动数据内在的时空结构，是基于运动库运动生成方法的关键所在，决定 了运动数据能否简洁有效的根据外界约束生成新运动。 本文提出并实现了基于三维运动库和一阶概率转移模型的运动控制方法。该方法把 运动数据看作一阶马尔可夫过程，即当自运动状态只和前一运动状态有关。在运动库预 处理中，通过度量运动片段白j 的姿态速度相似性，估计运动片段问转移概率，从而建立 了运动库一阶概率转移模型。在检索运动库时，我们选择和自0 一片段转移概率最大的片 段作为当前片段，以此类推，最终得到概率最大的运动序列。我们以广播体操为例，结 合相应的视频为交互界面验证了本文方法的有效性。实验表明，该方法能够有效地反映 运动数据问的时空关系，提高运动库检索的准确性。 第二，研究并实现了基于多尺度框架的运动片段平滑连接算法，保证了运动生成效 果的逼真自然。 从运动库检索出来的运动片段通常并不连续，需要进行片段平滑连接，l 能保证最终 的运动生成效果。数掘连接方法很多，一般的插值方法即可胜任然而，由于运动捕获 数掘不同于基于关键帧或物理仿真方法生成的运动数据，其丰富的运动细节( 即高频分 量) 使得简单的插值方法难以稳定估计运动片段在连接处的速度，最终难以得到平滑连 接的效果。如何既保证片段间的平滑连接又保证原有的运动细节不被破坏是运动捕获 数据连接的难点。 本文采用多尺度运动数据分析方法，首先将运动数据分解成一个低频基运动信号和 不同层次的高频细节分量，然后分别连接基运动信号和各层细节分量，最后将连接后细 节分量迩层添加到新的基信号上，最终恢复得到连接后的运动。大量实验表明，通过对 基信号和逐层细节分量的分别处理，平滑连接结果在连接处达到了c l 连续性并忠实地保 持了原有的运动细节。 毕f 运动库的三维角色动画生成方法研究与实理：摘要 第三，实现了一个具有视频交互界面的基于运动库的运动生成平台 随着运动捕获的广泛应用，高质量的运动数据越来越丰富。如果能够通过利用业已 存在的运动库，根据外界交互，可控地生成新的运动，我们将能够大大降低动画制作成 本，并为交互式祝频游戏的丌发提供新的技术思路。 本文实现了一个具有视频交互界面的基于运动库的运动生成平台该平台首先交互 式重构出视频关键帧的三维人体姿态，并计算出部分关节的角度曲线，接着根据运动库 一阶概率转移模型，从运动库中匹配出符合相应关节曲线的最大一阶转移概率运动序列， 最后通过多尺度片段连接方法加以平滑连接，生成满足关键帧约束的新运动。 我们采用了广播体操运动视频和相应的运动库来验证本文提出的方法。实验的结果 表明，本文方法可以有效地生成逼真的新运动，生成的新运动和视频内容具有视觉逼真 性。 关键字：运动生成。运动捕获，计算机动画，视频界面 是 j 苹于运动库的三维角色动画生成方法研究与实现：a b s t r a c t g e n e r a t i o no f3 dc h a r a c t e ra n i m a t i o nb a s e do nm o t i o nd a t a b a s e a b s t i 曩c t w a n g r o n g r o n g ( c o m p u t e r a p p l i c a t i o nt e c h n o l o g y ) a d 、r i m r ：w a n gz h a o q i ( r e s e a r c hp r o f e s s o r ) t h eg e u e r a t i o no f r e a l i s t i c3 dc h a r a c t e ra n i m a t i o ni sap o p u l a ra n dd i f f i c u l ti s s u ei nt h e a r e a so fc o m p u t e rg r a p h i c sa n dv i r t u a lr e a l i t y m o t i o nc a p t u r e ，a sa l li m p o r t a n tt e c h n o l o g yi n 3 dm o t i o ng e n e r a t i o n , g a l lo b t a i nh i g h l y - f i d e l i t y3 dr e c o r d i n g so ft h em o t i o no fal i v e p e r f o r m e r , a n dt h u sh a sb e c o m et h es t a n d a r dm o t i o ng e n e r a t i o ns o l u t i o ni na p p l i c a t i o n sl i k e c o m p u t e rg a m e , m o v i es p e c i a le f f e c t s ，s p o r t ss i m u l a t i o ns y s t e m s ，a n dv i s u a l i z a t i o na i d sf o r m e d i c a la n a l y s i s h o w e v m o t i o nc a p t u r ed o e sn o to f f e ra na n i m a t o rf r e ei n t e r a c t i v ec o n t r 0 1 b u to n l ya l l o wo n et op l a yb a c kw h a th a sb e e nr e c o r d e d sd r a w b a c km a k e st h ee x i s t i n g m o t i o nd a t ad i f f i c u l tt ob er e u s e d ，e s p e c i a l l yi ni n t e r a c t i v ea p p l i c a t i o n s 1 1 1 i st h e s i sf o c u s e so nt h ep r o b l e mo fh o wt og e n e r a t en e wm o t i o nw i t he x i s t i n gm o t i o n c a p t u r ed a t a b a s eu n d e ru s e r s g u i d a n c e t h ec o n t r i b u t i o n so f t h i st h e s i sa r c 勰f o l l o w s ： 1 am o t i o nc o n t r o lm e t h o db a s e do n3 dm o t i o nd a t a b a s ea n df i r s t - o r d e rp r o b a b i l i t y t r a n s i t i o nm o d e li sp r o p o s e da n di m p l e m e n t e d h o wt od e s c r i b et h es p a t i o t e m p o r a is t r u c t m eu n d e r l y i n gt h em o t i o nd a t a b a s ei sc r u c i a lt o t h ep r o b l e mo f m o t i o ng e n e r a t i o nb a s e do nm o t i o nd a t a b a s e i nt h i st h e s i s w em o d e lm o t i o n 勰 af i r s t - o r d e rm a r k o vp r o c e s s ，t h a ti s , t h ec u r r e n tm o t i o ns t a t u si st o t a l l yd e p e n d a n to nt h e p r e v i o u ss t a t u s i nt h ep r e p r o c e s sp h a s eo fm o t i o nd a t a b a s e ，w ef i r s tm e a s u r et h es i m i l a r i t y b e t w e e nm o t i o nc l i p s ，a c c o r d i n gt ow h i c hw et h e ne s t i m a t et h et r a n s i t i o np r o b a b i l i t i e sb e t w e e n t h e m ，a n df i n a l l yb u i l dt h ef i r s t - o r d e rp r o b a b i l i t yt r a n s i t i o nm o d e lo fm o t i o nd a t a b a s e i nt h e o n - l i n em o t i o nc o n t r o lp h a s e , w es e a r c ht h ep r e p r o c e s s e dm o t i o nd a t a b a s e ，a n dc h o o s et h ec l i p t h a th a st h el a r g e s tt r a n s i t i o np r o b a b i l i t yw i t ht h ep r e v i o u so n et ob et h ec u r r e n tc l i p b y r e p e a t i n gt h es e a r c h - a n d - c h o o s ep r o c e s s ，am o s tp r o b a b l em o t i o ns e q u e n c ei sf o u n do u t w e v e r i f yt h ee f f e c t i v e n e s so fo m m e t h o db ya d o p t i n gs p o r te x e r c i s ev i d e oa n dav i d e oi n t e r f a c e t h er e s u l ts h o w st h a to i wm e t h o dc a nd e s c r i b et h es p a t i n - t e m p o r a ls t r u c t u r eu n d e r l y i n gt h e m o t i o nd a t ae f f e c t i v e l ya n dp r o m o t et h ec a 3 1 t e c t n e s si nm o t i o nd a t a b a s es e a r c h i n g 2 t og u a r a n t e et h er e a l i t yo fg e n e r a t e dm o t i o n am o t i o ns t i t c h i n gm e t h o db a s e do n m u l t i r e s o l u t i o na n a l y s i sf r a m e w o r ki ss t u d i e da n di m p l e m e n t e d g e n e r a l l ys p e a k i n g ，m o t i o nc l i p sr e t r i e v e df r o mm o t i o nd a t a b a s ea r en o tc o n t i n u o u sw i t h e a c ho t h e r , s oam o t i o ns t i t c h i n gm e t h o dn e e d st ob ea d o p t e dt og u a r a n t e et h es m o o t h n e s sa n d r e a l i t yo fg e n e r a t e dm o t i o ns e q u e n c e s t h e r ea l em a n yi n t e r p o l a t i o nm e t h o d sc o u l db eu s e dt o i 譬 苹十运动库的三维角色动网生成方法研究0 实现：a b s t r a c t c o n c a t e n a t em o t i o nc l i p s h o w e v e r , o b t a i n i n gar o b u s te s t i m a t eo fv e l o c i t yf r o mm o t i o n c a p t u r e dd a t ai sd i f f i c u l tb e c a u s et h e s ed a t au s u a l l yo s c i l l a t et oi n c l u d ef i n ed e t a i l st h a tm a y d i s t i n g u i s ht h em o t i o nc a p t u r ed a t af r o mt h o s ed a t ag e n e r a t e db yk e y f r a m i n ga n dp h y s i c s s i m u l a t i o n t h ed i f f i c u l t yo fm o t i o nc a p t u r ed a t ac o n c a t e n a t i o nl i e si nt w oi s s u e s ：h o wt o g u a r a n t e es e a m l e s sc o n c m e n a t i o nb e t w e e nc l i p sa n dh o w t om a i n t a i nt h ef i n ed e t a i l so f o r i g i n a l m o t i o n as e a m l e s sm o t i o ns t i t c hm e t h o db a s e do nm u l t i r e s o l u t i o na n a l y s i sf r a n a e w o r ki s a d o p t e di nt h i st h e s i s w ef i r s td e c o m p o s em o t i o nd a t ai n t oab a s es i g n a la n dl e v e l so fd e t a i l s i g n a l ，t h e ni n t e r p o l a t eb a s es i g n a la n dd e t a i ls i g n a l sr e s p e c t i v e l y , a n df i n a l l yc o m p o s et h e s t i t c h e db a s es i g n a la n dd e t a i ls i g n a l si n t oah i g h l yd e t a i l e dm o t i o ns i g n a l ，t h a ti st h es t i t c h e d m o t i o ns e q u e n c e e x p e r i m e n ts h o w st h a tt h es t i t c h e dm o t i o ns e q u e n c eh a sc 1c o n t i n u o u s n e s s a n dm a i n t a i n st h eo r i g i n a lm o t i o nd e t a i l sf a i t h f u l l y 3 tam o t i o ng e n e r a t i o np l a t f o r mb a s e do nm o t i o nd a t a b a s ew i t hav i d e oi n t e r f a c ei s i m p l e m e n t e d d u et ot h es u c c e s so fm o t i o nc a p t u r em e t h o d ，h i g h l y - f i d e l i t ym o t i o nd a t ah a sr a p i d l y b e c o m ep o p u l a ra n dc o m m e r c i a la v a i l a b l e i f w ec o u l du t i l i z ee x i s t i n gm o t i o nc a p t u r ed a t a b a s e a n dg e n e r a t en e wm o t i o nu n d e rt h eu s e r s g u i d a n c e ，w ew i l lb ea b l et or e d u c et h ec o s to f a n i m a t i o np r o d u c t i o ng r e a t l ya n dp r o v i d eab r a n dn e wt e c h n o l o g ys o l u t i o nf o ri n t e r a c t i v e v i d e og a m e i nt h i st h e s i s ，w ei m p l e m e n tam o t i o ng e n e r a t i o np l a t f o r mb a s e do nm o t i o n d a t a b a s ew i t hav i d e oi n t e r f a c e i nt h ep l a t f o r m ，w ef i r s tr e c o n s t r u c tt h e3 dp o s e sf r o mv i d e o k e yf r a m e su n d e rt h eu s e r sg u i d a n c ea n dc a l c u l a t ej o i n t sa n g l ec l l r v e s , t h e ns e a r c ht h e d a t a b a s et of i n do u tt h em o s tp r o b a b l em o t i o ns e q u e n c et h a tm a t c h e st h er e c o n s t r u c t e d j o i n t s a n g l ec n r v e s a n df i n a l l ys e a m l e s ss t i t c ht h em o t i o nc l i p sv v i t i lm u l t i r e s o l u t i o na n a l y s i sm e t h o d w eu s es p o r te x e r c i s ev i d e oa n dr e l e v a n tm o t i o nd a t a b a s et ot e s tt h ee f f e c t i v e n e s so ft h e p l a t f o r m e x p e r i m e n ts h o w st h a tt h eg e n e r a t e dm o t i o ni sv i s u a l l yc o m p a t i b l ew i t hv i d e o c o n t e n t s k e y w o r d s ：m o t i o ng e n e r a t i o n ，m o t i o nc a p t u r e ，c o m p u t e ra n i m a t i o n , v i s i o ni n t e r f a c e i v ； i i 、 、j 产 ： 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：瘩倦 日期：凇i ，2 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 作者签名：王硌雍导师签名鹕期： p ，l t基f o 矗 +。；， 噜。o ( 。 第一章绪论 第一章绪论 1 1 研究背景 三维角色动画作为多媒体技术的重要组成部分，近年来已经成为计算机图形学、虚 拟现实、智能人机接口等领域的热点研究问题。目自u 它们被广泛应用在计算机游戏、电 影特效、运动员或士兵训练辅助系统，医学辅助分析( 如研究一个患者的步态来判断伤 情是否恢复) 以及器械辅助设计( 如论证设备使用方便性) 等等众多应用中。随着可视 化媒体和人机交互技术突飞猛进的发展，我们相信三维角色动画会具有更加广阔的应用 前景。 尽管有一些三维角色动画带有夸张变形手法，但真实感仍是衡量三维动画质量的重 要尺度：逼真自然的动画效果会使应用更符合人们认知心理，具有更好的沉浸感。而要 做到逼真自然的角色运动效果并非易事。一方面，人体是一个极其复杂的结构，通常表 示人体骨架需要近百个自由度。而人体的运动又涵盖广泛，细微到一个耸肩，剧烈如高 空弹跳。另一方面，人的眼睛每天观察成千上万个人的运动，对人体运动的细节明察秋 毫。人们往往能够根据一个人步态从相距很远处就认出熟悉的人因此人眼对任何运动 异常是非常敏感的，要使生成的运动能够“骗”过人眼，无疑是一个很具挑战性的课题。 生成逼真的角色动画的挑战性不仅仅在于某个单一动作的逼真性，更在于多个动作 的有机结合的逼真性。比如在某个动画电影中，虚拟角色需要按照导演的意图做出不同 的动作；在游戏中，需要根据地形路径等等外界因素采取不同的运动方式；在体育训练 仿真系统中，需要根掘教练的意愿编排新的动作。所有这些应用需要大量运动数据，这 些数据不仅要是逼真的，而且是可控的，即能够根据外界的约束生成出逼真自然的动画。 传统上生成运动的方法是通过逐帧手工指定一个三维姿态的序列完成的，也叫作关 键帧方法( k e y f r a m i n g ) 。这种方法比较耗时耗力，一段数秒的动画往往需要一个熟练 的动画师花费若干天j 能完成，这也限制了该方法的应用。生成运动的另一类方法是物 理仿真，即根掘约束和物理方程计算人体各个关节的运动数据 1 ，2 ，3 ，4 。这种方法可以 保证所生成的运动是物理上可信的。但另一方面，人们真实运动的很多属性，诸如个性 化的细节，很难用一组数理方程来表示，因此物理上真实的运动往往不够自然，较为生 硬。 运动捕获方法目前已经逐渐替代传统的关键帧和物理仿真方法，成为人体运动数据 的主流来源。该方法的实质是记录下真实人体的运动数据并以此驱动虚拟角色，从而实 现逼真自然的动画效果运动捕获设备从原理上分，有机械式，磁传感式以及采用多摄 像头的立体视觉系统；有关运动捕获设备的发展历史可以参见 5 一般而言，只要是人 体的正常活动范围，运动捕获方法都可以采集到高逼真度的运动数据。因此该方法已经 i 中国科学院研究生院硕十学位论文：摹于运动库的三维角色动画生成方法研究与实现 成为动画制作和视频游戏业的标准方法。但是由于运动捕获的本质是重放已记录的运动， 可控性不佳，使得运动捕获方法难以满足交互应用。比如在虚拟环境中，虚拟角色应当 能够根据环境要求和用户指示，按照不同的速度、路线做出行走、跑跳、避障等相应的 动作。人们不可能事先采集好所有情况下的运动数据，指望运动数据库包含所有可能的 走路跑步跳跃数据显然是不切实际的。那么如何让一个有限的运动库可以适应各种情况 呢? 逐帧直接编辑运动数据的想法难以付诸实施，因为几秒钟的动画涉及上千个参数， 参数互相间的耦合又十分复杂，直接编辑它们就好像是对一段视频修改各个象素的颜色 值，工作量大，而且效果差。相反，通过有效地组织运动库，提高运动数据的可重用性， 然后根掘用户需要，自动地生成所需的新运动，这样的技术思路逐渐成为研究者聚焦的 研究热点。 二) i m 确o ni 【d a t ai 、 、 i i - p4 ”v- s y n t h e s i z e dm o t i o n 孽人纛 图卜l 基于运动库的人体运动生成 基于运动库的人体运动生成的目标是让用户只需加以简单的直观控制，就可以利用 已有的运动数据生成新运动，并保证效果的逼真( 图1 - i ) 。所谓直观控制，是指用户只 要指定运动的一些属性，而无需考虑具体的细节。比如说，要生成一段虚拟角色在虚拟 环境中的行走，用户只需指定虚拟角色某些关键帧，而不是整个的运动序列；或者指定 行走路线，而不需要指定每一步的位置；指示虚拟角色够取物品，只要确定目标物位置， 无需指出每一帧手臂的轨迹等等。这种方式可以让用户很容易的控制运动生成而又不必 关心底层运动库的组织。要实现这样的目标，首先需要提供一个友好易用的交互界面使 用户能够简单直观控制运动生成。其次，需要根据运动本身的特点对运动库建模，提高 运动数据的可控性。最后，由于从已有的运动库中提取出的运动数据直接播放时，往往 会出现抖动、尖锐的转折等等不真实的效果，因此我们需要在保证原有运动数据质量的 日u 提下，保证新生成运动的平滑连接 1 2 研究意义 基于运动库的人体运动生成的应用前景和重要的学术价值吸引了来自业界和学术界 的不同研究人员在这个问题上展开深入研究。其中有宾西法尼亚大学( u n i v e r s i t yo f 2 第一章绪论 p e n n s y l v a n i a ) 的人体建模与仿真实验室( h u m a nm o d e l i n ga n ds i m u l a t i o nc e n t e r ) ，卡内 基梅隆大学( c a m e g i em e l l o nu n i v e r s i t y ) 的j e s s i akh o d g i n s 领导的图形实验室，还有 威斯康星大学马德森分校( u n i v e r s i t yo fw i s c o m i n - m a d i s o n ) 的图形实验室和华盛顿大学 ( u n i v e r s i t yo f w a s h i n g t o n ) 的m o c a p 实验室。在业界，主要有微软的r e d m o n d 研究院。 目酌已有的原型系统都是针对较为简单节奏舒缓的人体运动，比如走路、跑步、简单舞 蹈等；而对变化剧烈、时空结构复杂的运动，比如舞蹈、跳水、蹦床等的研究还比较少 见。 除了学术意义，本文的研究成果还可以有以下直接的应用。 ( 1 ) 虚拟角色交互控制 在计算机游戏中，虚拟角色交互控制是极为重要的部分。用户通过指点鼠标、键盘、 游戏手柄，或者在摄像头自u 做出相应动作的方式来控制虚拟角色。这种参加游戏者和虚 拟环境的交互能够极大地激发游戏参与者的兴趣。基于运动库的人体运动生成正是这种 交互能有效实现的关键技术。 ( 2 ) 虚拟人动画 三维动画已经成为一个巨大的娱乐市场，全三维动画片“海底总动员”、“怪物史瑞 克”、“超级特工队”中虚拟角色形象深受人们的喜爱。虚拟角色的运动驱动有很多方法， 关键帧方法，基于规则方法，逆向运动学方法，当然还有得到广泛商业应用的运动捕获 方法 6 。基于运动库的人体生成技术，可以重用已有运动数据，降低三维动画制作成本。 ( 3 ) 体育项目个性化训练系统 一般而占，体育项目的动作具有较强结构性，比如蹦床跳水都有各自固定的标准动 作。通过事先建立组织良好的标准动作库，我们可以实时的根据外界交互( 例如视频) 生成出对应的三维标准运动。运动员通过与标准动作的比对和进一步分析，可以更好地 掌握动作要领，提高成绩。 1 3 论文主要工作及成果 三维角色动画近年来成为计算机图形学、虚拟现实、智能人机接口等领域的热点研 究问题。随着运动捕获方法的广泛使用，基于运动捕获数据库( 简称运动库) 的三维角 色动画的运动生成方法越来越引起人们的研究兴趣。其研究成果可以降低动画制作成本， 并为交互式视频游戏的开发提供新的技术思路。 1 3 1 主要工作 本文的研究目标是通过挖掘运动库内在的时空结构，建立运动库模型，提高运动数 据的可控性，使用户能够通过友好易用的方式交互的控制新运动的生成。为此，本文提 出了一种具有视频交互界面的基于运动库的运动生成的技术框架。用户通过选择和标注 视频中的部分关键帧，并在运动数据库的辅助下，可以生成符合关键帧约束的新运动。 中固年i 学院研究生院硕l 学位论文：苹十运动库的三维角色功卿生成方法研究，实现 本文的主要研究内容包括：基于视频的用户交互界面、基于运动库和一阶概率转移 模型的运动库建模和运动片段的平滑连接等。在此基础上，实现了视频交互界面的基于 运动库的运动生成平台3 d r e c o n 。该平台的总体技术框架如下图1 2 所示： 。 罟a圄 嚣t 菇 b 一。f 1 u k - c b s t c 图l - 2 总体技术框架 从流程上讲，该框架分为三个部分，如图1 - 2a 、b 、c 所示 第一部分( a ) 是视频交互界面。用户将通过选择视频关键帧、标注关节、对重构 出的三维姿态修讵等操作得到对应的三维姿态。进一步的，对感兴趣关节的角度数据进 行三次插值得到关节数掘的曲线。 第二部分( b ) 是运动库建模和检索。运动库的建模工作在预处理中完成。在线工作 时，我们根据重构出的关节角度曲线检索出最匹配的全身运动片段。 第三部分( c ) 是运动片段的平滑连接。从运动库检索出的运动片段之间往往并不连 续，这步骤将保证最后生成的运动片段结果是平滑自然的。 1 3 i 视频交互界面 作为整个技术框架的一部分，这里的视频交互界面类似于一个基于视频的关键帧重 构子系统，它以视频作为输入，以重构的关节角度曲线作为输出，如图l - 2 a 所示。 给定一段用户感兴趣的运动视频，用户首先选取关键帧并标注二维人体关节位置； 4 t 1 0， 靠 第一章绪论 接着通过基于单帧图像重构铰链结构物体姿态方法实现了从二维关节点到三维人体姿态 的重构，这罩的三维人体姿态是用三维关节点的坐标表示的；然后在人体各部位建立局 部坐标系，将关节点三维坐标转换成关节欧拉角信息；最后对关节角度进行三次b 样条 插值，得到根据这段视频重构出的三维人体姿态部分关节角度曲线。系统将依据关节角 度曲线作为匹配量，指导随后的运动库检索。我们将在第三章详细介绍这部分工作 1 3 1 2 运动库建模和检索 如何描述运动数据内在的时空结构，是基于运动库运动生成方法的关键所在，决定 了运动数据能否简洁有效的根据外界约束生成正确的新运动。在流程上，运动库的应用 分为两部分：预处理建模和在线运动控制( 如图i - 2 b ) 运动库的预处理主要按照以下步骤： ( 1 ) 将运动库中的数据分解成多尺度表示并保存原始运动数据的基运动( 即简化运 动细节后的运动数据) ； ( 2 ) 将运动库中基运动信号运动序列切分成定长的运动片段： ( 3 ) 根据定长运动片段问姿态速度差异估计片段间转移概率，从而建立运动库的一 阶概率转移模型。 在线运动控制时，系统将根据运动库的一阶概率转移模型从检索出的运动片段候选 集中选取概率最大的运动片段。 本文将在第四章详细介绍运动库建模和检索的相关工作。 1 3 1 3 运动片段的平滑连接 从图1 2 c 可以看到，运动库检索出来的运动片段之间并不一定连续，因此必须通过 运动编辑方法实现运动的平滑连接。数据连接方法很多，一般的插值方法即可胜任。然 而，出于运动捕获数据不同于基于关键帧或物理仿真方法生成的运动数据，其丰富的运 动细节，即高频分量，使得简单的插值方法难以稳定估计运动片段在连接处的速度，最 终难以得到平滑连接的效果。 为了解决这个问题，本文采用了多尺度运动数据分析方法，其基本的思想是将运动 数据分解成一个低频基运动信号和不同层次的高频细节分量，然后分别连接基运动信号 和各层细节分量，最后将连接后的细节分量逐层添加到新的基信号上，最终恢复得到连 接后的运动。由于基信号比较光滑，对它们的速度估计比较稳定，因此避免出现直接采 用原始运动数据可能出现的问题。另一方面，通过逐层处理和恢复运动信号的细节分量， 该方法可以忠实的保留原有运动数据的细节，从而保证了连接后运动数据逼真性。本文 将在第五章详细介绍这部分工作。 1 3 2 主要成果 本文针对基于外界交互，利用已有的运动捕获数据库可控地生成新运动的问题，即 基于运动库的运动生成进行了深入研究。主要成果如下： 中田科学院埘f 究生院坝 学位论义：皋十运动库的三维角色功面生成方法研究。j 实现 第一，提出并实现了基于三维运动库和一阶概率转移模型的运动控制方法 如何描述运动数据内在的时空结构，是基于运动库运动生成方法的关键所在，决定 了运动数据能否简洁有效的根据外界约束生成新运动。 本文提出并实现了基于三维运动库和一阶概率转移模型的运动控制方法。该方法把 运动数据看作一阶马尔可夫过程，即当前运动状态只和前一运动状态有关。在运动库预 处理中，通过度量运动片段问的姿态速度相似性，估计运动片段i 、甘】转移概率，从而建立 了运动库一阶概率转移模型。在检索运动库时，我们选择和6 厶一片段转移概率最大的片 段作为当前片段，以此类推，最终得到概率最大的运动序列。我们以广播体操为例，结 合相应的视频为交互界面验证了本文方法的有效性。实验表明，该方法能够有效地反映 运动数据问的时空关系，提高运动库检索的准确性。 第二，研究并实现了基于多尺度框架的运动片段平滑连接算法，保证了运动生成效 果的逼真自然x 一 ，一 、一 一 从运动库检索出来的运动片段通常并不连续，需要进行片段平滑连接才能保证最终 的运动生成效果。数据连接方法很多，一般的插值方法即可胜任。然而，由于运动捕获 数据不同于基于关键帧或物理仿真方法生成的运动数据，其丰富的运动细节( 即高频分 量) 使得简单的插值方法难以稳定估计运动片段在连接处的速度，最终难以得到平滑连 接的效果。如何既保证片段b j 的平滑连接又保证原有的运动细节不被破坏，是运动捕获 数据连接的难点。 本文采用多尺度运动数据分析方法，首先将运动数据分解成一个低频基运动信号和 不同层次的高频细节分量，然后分别连接基运动信号和各层细节分量，最后将连接后细 节分量逐层添加到新的基信号上，最终恢复得到连接后的运动。大量实验表明，通过对 基信号和逐层细节分量的分别处理，平滑连接结果在连接处达到了c 连续性并忠实地保 持了原有的运动细节。 第三，实现了一个具有视频交互界面的基于运动库的运动生成平台 随着运动捕获的广泛应用，高质量的运动数掘越来越丰富。如果能够通过利用业已 存在的运动库，根据外界交互，可控地生成新的运动，我们将能够大大降低动画制作成 本，并为交互式视频游戏的开发提供新的技术思路。 本文实现了一个具有视频交互界面的基于运动库的运动生成平台。该平台首先交互 式重构出视频关键帧的三维人体姿态，并计算出部分关节的角度曲线，接着根据运动库 一阶概率转移模型，从运动库中匹配出符合相应关节曲线的最大一阶转移概率运动序列， 最后通过多尺度片段连接方法加以平滑连接，生成满足关键帧约束的新运动。 我们采用了广播体操运动视频和相应的运动库来验证本文提出的方法。实验的结果 表明，本文方法可以有效地生成逼真的新运动，生成的新运动和视频内容具有视觉逼真 性。 6 j 1 0 第一章绪论 1 4 论文的组织 第一章，绪论。介绍论文的研究背景、研究意义、主要工作和成果。 第二章，角色动画运动生成方法综述。全面综述了相关领域的研究现状，包括人体 运动数据的表示、人体运动的生成方法、基于运动库的人体运动生成方法以及界面交互 方式，并分析了各种方法的优缺点。 第三章，介绍了基于视频关键帧重构的用户交互界面。 第四章 第五章 第六章 第七章 介绍了基于三维运动库和一阶概率转移模型的运动控制方法。 介绍了基于多尺度运动数据分析方法的运动片段连接方法。 介绍了基于运动库的运动生成平台及应用。 对本文工作进行了总结，并指出了今后的研究方向。 7 第一章角色动卿运功生成方法综述 第二章角色动画运动生成方法综述 三维角色动画的生成主要是指三维虚拟角色，特别是虚拟人或类人角色的运动生成。 本章将全面回顾计算机动画领域人体运动生成与分析领域的前人工作。为了叙述的方便， 我们首先在第一节介绍了虚拟人建模及运动数据的表示；接着综述了目i j 各种运动生成 方法，重点回顾了基于运动捕获数掘的运动编辑和运动生成方法，并简要分析了三维运 动生成的关键帧交互界面的相关工作，并在此基础上比较了各类已有方法的优缺点。 2 1 虚拟人建模及运动数据表示 2 1 1 虚拟人建模 相信看过超人特工队的观众一定不会对其中栩栩如生的虚拟人陌生。所谓 虚拟人，是指各种由计算机生成的三维的人的形象。虚拟人建模，是指虚拟人在计 算机生成空i 日j 中的几何表示，其目的是在计算机生成空间中创建虚拟人的计算图形 模型，表示虚拟人在虚拟环境中所占据的几何空问，且其几何表示必须满足三维虚 拟人在外观与行为特性等方面的逼真性要求。 为了使虚拟人形象逼真且便于驱动，现在多采用一种分层的方法 7 来表示虚 拟人在这种表示中，一个虚拟人模型由基本骨架( a r t i c u l a t e ds k e l e t o n ) 、肌肉层 ( m u s c l e ) 和皮肽层( g e o n i e t r i cs k i n ) 组成，有时候也加入一层服饰层，表示虚拟人的 头发、衣服等人体装饰物品。其中的基本骨架由关节确定其状态，决定了人体的基本 姿态。肌肉层确定了人体各部位的变形，皮肤变形受肌肉层的影响，最后由皮肽层确定 虚拟人的显示外观。 现在已有两个重要的国际标准v r m l 和m p e g 4 都支持虚拟人的表示： 1 ) v r m l 中的虚拟人表示 v r m l 是一种虚拟现实建模语言( v i r t u a lr e a l i t ym o d e l i n gl a n g u a g e ) ，它主要是用于 在i n t e m e t 上表示并传递三维虚拟场景和虚拟物体。虚拟人是虚拟现实中的主要对象，为 了支持不同环境创建的虚拟人之间的相互操作与共享，v r m l 中有一个专门的子标准描述虚 拟人模型，称为h a n i m ( h t t p ：e c e u w a t e r l o o c a ，也a n i m o ，该标准完全遵循v p d d l 的语法。 h - a n i m 中使用三类节点( n o d e ) 表示一个虚拟人体模型：人体重心( h u m a n o i n ) 、人体 关节( j o i n t ) 和人体骨骼段( s e g m e n t ) ，并把整个人体分成1 个人体重心、7 7 个关节和4 7 个 骨骼段另外，还使用v r m l 中的几何模型表示方法定义了每个肢体( 即骨骼段) 的几何模 型。每个骨骼段( s e g m e n t ) 的位置都在其所在的关节，而每个几何模型依附于相应的骨骼 段，这些元素组成一个完整的虚拟人模型( 在v r m l 中称这些元素为节点n o d e ) 。如下图2 - 1 所示，为v r m l 中的虚拟人表示： 9 中固科学院研究生院硕七学位论文：摹于运动库的三维角色动画生成方法研究0 实现 ，一一 。图2 - 1v r m l 中的虚拟人表示图 。 -t 一一一一 虚拟人的骨骼段之白j 由关节相联，人体重心、每个骨骼段以及关节的运动会影响到与 它相联的其他节点的状态。例如，人体重心的运动影响全身关节的运动，而肩关节的运动 将影响整个手臂关节的运动。事实上，h a n i m 将整个人体各部分之间的关系表示为一棵 树，以人体重心为根结点，以关节为节点，以骨骼段为边。 2 ) m p e g 4 中的虚拟人表示 m p e g 一4v e r s i o n2 中丌始提供对b o d yo b j e c t 的支持。i s o i e cj t ci s c2 9 w gl