（计算机科学与技术专业论文）基于运动捕获数据的若干应用技术研究.pdf

摘要 9 0 年代兴起的运动捕获技术被广泛用于辅助制作动画。但随之而起的问题是 如何方便、高效地利用运动捕获数据进行动画创作。基于运动捕获数据的动画研 究，近年来一直是计算机图形学领域的一大热点。 本文的工作就是探索利用运动捕获数据进行动画创作的新方法，提出了基于 运动图优化的实时路径合成、探索利用捕获动作驱动计算机模拟的木偶动画、基 于运动图优化的实时交互控制和虚拟角色反应动作的实时生成等技术。 我们首先介绍了本文的研究动机、研究现状、本文的工作概述和内容组织； 综述了运动捕获技术和基于运动捕获数据的计算机动画技术的发展情况。 接着，我们提出了一项基于运动图的交互式路径合成技术：首先利用捕获数 据建立运动图，再根据用户指定路线，在用户可接受的时间内，得到沿该路线运 动的动画。对运动图的构造进行了改善，并采用了新的搜索算法，使得一定长度 的路径能被实时地生成，从而用户能方便地交互编辑路径合成动画。 本文建立了一个模拟提线木偶动画特性的计算机环境：我们介绍了提线木偶 的发展状况，分析了提线木偶的力学构造从机器人学和动力学的角度，提线 木偶可以看作是服从物理规律的机械铰链机构，并依此建立了其物理模型以及人 体显示模型，最后探索应用运动捕获数据来丰富提线木偶的动作同时保持木偶动 作的物理特性。 本文建立了可交互的一个拳击运动实验，首先，建立了一个虚拟人的物理模 型。接着，根据拳击运动的特点，探讨了两个方面的问题：( 1 ) 交互控制：实现 了一个基于运动图的交互控制，来保持流畅的交互和和谐的动画；( 2 ) 生成反应 性动作：针对拳击运动中生成实时的平衡保持动作，提出了利用动量变化来搜索 目标帧的思路。 最后，本文对本研究工作进行了总结，并展望了本研究的发展。 关键字：计算机图形学，计算机动画，运动捕获，运动编辑、分析和合成，运动 图，运动检索，木偶动画，反应动作 a b s t r a c t b e c a l i s e0 fl a c ko fe m c i e n tc o m p i l t e r 趾i i n 撕o nt 0 0 1 s ，廿l ep r o d l l c d o no fa 王l i m a t i o n s t i l lr e m a i n s 嬲at i i n e - c o n s 啪i n ga i l de 助n t 描n g j o b t h em o t i o nc a p t i l r es y s t e m s ， w i l i c hb e c 锄ep o p u l 盯s i i l c e19 9 0 s ，h a v eb e e n 谢d e l yu s e di nc o m p u t c ra n i m a t i o na i d p m d u c t i o n p r o b l e m s ，h o w e v e r ， o c c l l rc o n c e r i l i n gh o wt 0p r o d u c e豳a t i o n f i c i e n t l ya i l de 丘b c t i v e l yu s i n gm o t i o nc 印t u r ed 如u n d e rt l l i sb a c k g r o u n d ，m o t i o n c a p 恤r ed a t ab 嬲e da n i m 砒i o nh a sb e e nah o t t o p i ci nc o m p m e r ( 衲p l l i c sr e c e n u y t h ew o r ko ft h i st l l e s i si st 0e x p l o r en e w 印p r o a c h e st om o t i o nc 印t i l r e 出n ab 懿e d a n i l n a t i o n ，a n dp r e s e n t st l l ef o l l o 埘n ga l g 洲t i l l n s ，i n c l u d i n gm o t i o n 鲫hb a s e d o n - l i n ep 弛s y l i l h e s i s ，p h y s i c a n yr e a l i s t i cd a l ad r i v e np 1 】p p e t 妣撕0 n ，m o t i o n 伊a p h b 船ei m e 删i v ec o n 竹o la n dr c s p 咄m o t i o nr e a lt i m es y n m e s i s f i r s t l y ，w ei n 协d d u c em em o t i v 砒i o n ，血e 咄l t eo ft h ea r ta 1 1 dt h eb r i e fd e s c r i p t i o no f l i s w o r k s e c o n d l y w em a k eab r i e fs u r v e yo nm o t i o nc a p 吣r ct e d m 0 1 0 9 记sa n di n o t i o n c a p t u r ed a t ab a s e d 妣撕o n w bs u g g e s ta na p p r o a c ht oo nl i n em o t i o ng r a p hb a s e dp a t hs y m h e s i s f i r s t i y ，w e i n 仃i ) d u c et h ec r e 砒i o no ft 1 1 em o d o n 簪a p ha n dc l u s t e rt h ev e c t o r st oo p t i l n i z et h e m o t i o nf 印h s e c o n d l 弘w ep r o p o s eaf 缸ts e a r c ha l g o r i m mo nn 州o n 鲫h a c c o r d i n gt o l ep a ms y n m e s i sa p p l i c a t i o n w bp r o p o s eap h y s i c a l l y 删i s t i cb a s e dd a t ad r i v e np u p p e ta i l i m a t i o na 1 9 0 d 岫 f i r s t ，w ee x p l o r em ep h y s i c a lm o d e lo ft h er e a lp u p p e t t h 锄，w e 出c to n e 她e t p o s t u r ef b mt l l em o t i o nd a t a b a s e ，锄a l y z em em o m e mb a l a n c e ，a j l dd i i v et t l ep u p p e t t o 伽a tp os l h l r eb yd e f i n e dv e l o c i 何 w bp r e s e n ta 丘锄e w o r kf o rg e n e r a t i n gb o x i n gm o t i o n si i l t e r a c t i v e l yb 嬲i n go n m o t i o nc a p l u r cd a 诅w i t l l i nm i s 矗锄e w o r k ，w ep r o p o s et v 旧p r o m i s i n gt c c h n i q u e s ： v i r t u a lh u m a ni l l t e r a c t i v ec o m m la n dg e n e r a t i o no f r e s p o n s em o t i o n a tl a s t w ec o n c l u i i em e 、v o r ka n dd i s c u s sf i i 眦ew o r k k e y w o r d s ：c o m p u t e rg r a p h i c s ，c o m p u t c ra i l i m a t i o n ，m o t i o nc 印t u r e ，m o t i o n e d i t i n g ，a n a l y s i sa i l ds y n m e s i s ，m o t i o ng r a p h ，m o d o nr c t r i e v a l ，p u p p e ta n i m a t i o n ， r e s p o n s em o t i o n i i i 第一章概述 浙江大学硕士学位论文 第一章概述 本章中，我们将讨论人体动画捕获技术的需求和背景，大致分析目前的研究 现状，并概述本文的工作内容及组织形式。 1 1 研究需求 正如1 9 9 8 年a c ms i g g r a p h 计算机图形杰出奖获得者m i c h lf c o h e n 在 0 5 年s i g g r a p h 论文前言所述，在s i g g r a p h 过去的2 5 年历史里，我们的世 界发生了翻天覆地的变化。在电影屏幕上，当恐龙以不可思议的真实朝我们走来 时，很少人会表示惊讶。对穿梭于电视屏幕上闪闪发光的三维标志人们已经习以 为常。这充分说明，计算机动画已经渗透进人们的生活。 随着生活水平提高，人类生活消费已经从食衣住行等基本物质需求，扩展到 无形服务商品等领域，其中如观看电视节目、观赏电影等娱乐闲活动已经成为现 代人娱乐活动中不可或缺的一部分。近年来，无论是规模宏大的指环王、还 是诙谐搞笑的加菲猫，甚至前几个月刚上映的金刚，这些耳熟能详的影片 中都可以看到海量的计算机动画技术应用。包括动画带动的玩具、唱片、游戏软 件、主题乐园等娱乐产业，动画现在已经发展成为一个具有数百亿美元年产值的 行业：相较于2 0 0 2 年，2 0 0 3 年全球产值成长了1 0 9 ，2 0 0 4 年则成长了1 0 5 达到3 5 0 亿美元，预估至2 0 0 7 年将可望超过4 7 0 亿美元。 同时，不仅电影特技、商业广告、电视片头、动画片、游艺场所，而且计算 机辅助教育、军事、飞行模拟、产品的设计与维护等领域对计算机动画技术也有 着巨大的需求。但是由于缺乏高效的动画制作工具，至今，动画，包括计算机动 画在相当程度上还是一个标准的劳动( 包括体力和智力) 密集型行业。 由于人们对人体运动相对比较敏感，能察觉人体运动的一些细微变化，如相 同动作的不同风格，因此，创建一段符合人体真实感的人体动画往往比较费时费 力。目前，在运动捕获数据之外，主要计算机人体动画技术主要包括 5 7 】：运 动学方法、动力学方法、基于控制器的方法等。但总的来说，这些动画创作方法 仍存在各种各样的缺陷：运动学方法无法表达人体运动的力学约束，需要耗费动 画师大量的时间和精力；动力学方法把虚拟骨架看作是服从物理规律的机械关节 第一章概述 浙江大学硕士学位论文 链，但人体作为一个自激励系统，是依靠自身肌肉拉伸来驱动，而其中力或力矩 是难以预知的，并且人体运动的物理规律本身还并未被人们完全掌握；控制器的 参数设置又是相当繁琐。当然此外还有一些其他的人体动画技术：机器人领域的 运动规划技术和神经生理学控制等等，也都是有特色的方法。 自2 0 世纪7 0 年代末以来，运动捕获技术开始被用于三维计算机动画制作， 目前已成为制作三维计算机动画的主流方法之一，但是该技术存在着以下一些特 性： 一般精确的捕获仪器设备都较昂贵，并且占用大量的空间； 捕获数据工作费时，捕获数据前后分别需要进行运动规划、数据预处理等 运动数据重用性差：尽管运动捕获数据确切地记录了一个动作序列，但是作 为一个表示形象特征的高维信号，很难对其进行编辑； 因此，如何重复利用运动捕获数据就显得非常有意义。本文的工作就是研究 基于运动捕获数据的三维计算机动画技术，为动画创作提供方便、高效的制作工 具。 1 2 研究现状 基于运动捕获的三维计算机动画，是当前计算机动画研究的主流，也是计算 机图形学领域的一大热点。从计算机图形学的顶级会议a c ms i g g r a p h 以及 a c ms i g g r a p hs y i i l p o s i 啪o nc o m p u t e ra j l i m a t i o n 等收录的论文统计( 见表 1 1 ) 可以看出，各地的图形学研究者在这个方向上投入了巨大的热情和精力。 2 0 0 2 年2 0 0 3 年 2 0 0 4 年2 0 0 5 年 a c ms i g g r a p hc o u r s e ：2 s e s s i o n ：2 r e g u l a rr e g i l l a r r e g l l l a rr e g u l a r p 印e r ：8p a p e r ：8 p a p c r ：7p a p e r ：6 a c ms i g g r a p h r e g l l l a r r e g u l a rr e g i l l a rr e g i l l a r s y m p o s i u m o nc o m p t e r p 印e r ：5 a n i m a 6 0 n p a p e r ：9p a p e r ：9p 印e r ：5 表1 1 著名图形学国际会议收录的关于基于运动捕获数据的计算机动画的论文 早期的基于运动捕获的计算机动画研究集中在运动编辑和运动重定向等方 面，前者的目的是研制出一系列的交互式方法以方便动画制作者修改已有的运动 第一章概述 浙江大学硕士学位论文 捕获数据，后者则致力于把已有的运动捕获数据应用到不同的角色上。这些早期 提出的动画技术已经被成功地运用于一些著名的商业软件中，如3 dm a x 、m a y a 和p o s e r 等。但是，利用这些技术，动画制作者还是要耗费巨大的精力去编辑已 有的运动捕获数据，以获得所需的动画。 逐渐地，编辑手段的自动化程度不断地提高，不少工作都集中于利用捕获数 据合成各种新的动作。近两年随着捕获数据应用的不断普及，捕获数据的利用更 加灵活与多样化：不管是三维虚拟人物交互系统中，或者是反应性动作合成，甚 至示意性静态图片制作，都会需要到相应动作数据库的支持。 1 3 本文的工作 本文的目的在于研究若干的基于运动捕获的人体动画编辑技术，并探索这些 技术在各个方面的应用。针对当前的研究现状和应用要求，本文在以下几个方面 开展工作： ( 1 ) 探讨如何将运动捕获数据应用到路径合成等动画生成技术； ( 2 ) 探讨如何对运动捕获数据库进行管理和查询，如何利用已有的运动捕获数 据库进行动画创作； ( 3 ) 探讨如何利用计算机技术对提线木偶动画进行模拟，以及在其中如何应用 运动捕获数据； ( 4 ) 探讨如何利用运动捕获数据驱动一个可交互的虚拟拳击系统。 1 4 本文的组织 本文组织如图1 2 所示。 在第一章中，介绍了本文的研究动机、当前的研究现状、本文的工作概述和 内容组织。 在第二章中，简述了运动捕获技术，综述了基于运动捕获数据的各种动作编 辑方法。 在第三章中，介绍了针对路径合成，改进运动图的构造，提出快速搜索路径 的算法。 在第四章中，提出对提线木偶动画进行计算机模拟：我们介绍了提线木偶的 第一章概述 浙江大学硕士学位论文 发展状况，分析了提线木偶的力学构造，并依此建立了其物理模型以及人体显示 模型，探索如何应用运动捕获数据来丰富提线木偶的动作同时保持木偶动作的物 理特性。 在第五章中，建立了可交互的一个拳击运动实验，首先，根据人体的生物力 学特性，建立了一个虚拟人的物理模型。接着，根据拳击运动的特点，探索了两 个问题：如何交互控制和如何生成反应性动作。 最后一章对本文进行总结，并展望本研究的发展前景。 图1 2 本论文的组织结构 4 第一章概述浙江大学硕士学位论文 第二章基于运动捕获数据的人体动画 运动捕获技术起始于2 0 世纪7 0 年代，兴起于9 0 年代 7 】，极大地方便了计算机 动画创作，尤其是三维动画创作。至今，基于运动捕获数据的计算机动画已经成 为三维动画创作的主流。本章首先对人体骨骼动画的基础人体虚拟骨架进行 介绍，然后筒述运动捕获技术的发展和应用过程，最后综述基于运动捕获数据的 计算机动画技术。 本章中，我们首先对人体骨骼动画的基础人体虚拟骨架进行分析；再了 解当前运动捕获的仪器以及过程；最后，我们将对目前主要的运动数据的编辑 手段进行探讨。 2 1 人体虚拟骨架 捕获数据中，人体的虚拟骨架本质上是记录人体运动数据的载体，可以根据 实现需要从物理刚体、数据结构和数学表示各角度去看待分析。不同的系统，可 能会定义有不同的骨架，当在不同的骨架之间应用运动数据时，就需要做运动的 重定向( m 印p i n g 或者咖e t i n g ) 。 2 1 1 人体骨架的刚体表示 运动捕获中所应用的人体骨架是一个典型的关节链结构：由一系列依次相连 的刚体连接而成的开链，两刚体的连接点称为关节。关节之间的刚体可以抽象为 一条直线。不同与机器人学中各式各样的关节，在人体动画中，一般将关节链结 构限制为旋转关节，即相邻刚体在其连接关节处只能作相对旋转运动。 一条完整的关节链其起始关节称为根结点，末端关节称末端执行器，而关节 的限制则决定了关节的自由度，整条关节链所有形态的向量空间为该关节链的状 态空间。 一个完整的骨架就是由多条关节链连接而成，如下图所示。 第一章概述 浙江大学硕士学位论文 图2 1 人体虚拟骨架：白线表示刚体，红点表示关节 2 1 2 人体骨架的数据结构 一个骨架在数据表示上可以是一个树状结构。从根结点到末段结点，相邻结 点间形成父子关系。 图2 2 实验中使用树状的骨骼结构，灰色的关节相对父关节自由度为o 第一章概述 浙江大学硕士学位论文 在实际应用中，关节的数目随应用而变，少则十几个已可以表示人的大致动 作轮廓，多则上百，以便记录手部等一些细微的动作。 这里，在程序中可以用树的一般表示方法来描述骨架：每一个关节维护两个 指针，分别指向第一个c d 和它的下一个s i b l i n g 。 2 1 3 人体骨架的数学表示 在骨架中，一对父子关节，分别为第k 块与第k + 1 块，我们用矩阵mk 表示第 k 个关节在世界坐标中的空间变换，m r o i a r e m 为骨骼文件中记录的默认姿势下 从第k 块关节与第k + 1 块关节的局部坐标系的旋转变化，rk + 1 为动作文件中记录 的第k + 1 块关节在局部坐标中的旋转，t _ k + l 为第k + 1 块关节的长度。 对于第k + 1 个关节在世界坐标中的空间变换，有一个递推关系： m _ ( + 12m _ 丘+ ( r o u a r e n t c 岍e n t ) 4r - k + 1 + i _ k + 1 ( 2 1 ) 我们可以读取用相邻关节角度表示的动作脚本，根据这个递推关系，可以得 到各个关节的空间坐标，应用于无法直接使用旋转角度计算的方面，如姿势间相 似度计算等。 2 2 运动捕获工作流程 目前，市场上有很多厂商生产运动捕获设备，比较有代表性的有c o nm o t i o n s y s t e m s 1 和m o t i o na i l 由s i ss y s t e m s 2 】等。从技术角度可以把这些设备大致分为 机械式、电磁式和光学式三种。我们所使用的数据主要来源于c m u 网上公开的 动作数据库，他们所使用的是v i c o n 的捕获设备。运动捕获所记录的数据( 电磁 式设备记录的是各个传感器的位置和朝向信息，而光学式记录的是大量的图象) 还需要经过一系列处理才能被应用于计算机动画。 运动捕获大致需要经历如下几个过程： 图2 3 运动捕获工作流程图 动作规划：根据动画角色，确定需要的动作，选择合适的演员，搭建必要的 场景。这里，演员的动作质量对运动捕获数据的质量有着直接的影响。 第一章概述浙江大学硕士学位论文 图2 4c m u 动作捕获实验室中演员穿戴着立体反射标记 追踪：目的是分析原始资料，将原始数据转换为以m a r k e r ( 光学式) 或者s e f l s o r ( 电磁式) 为单位的信息。这步对光学式系统犹为重要，要处理光点存在的移动、 遮挡等，跟踪算法决定了光学系统的稳定性。 辨识：将追踪后分组的信息，依照使用者需求加以编号。当演员剧烈运动时， 身上反光点之间的距离会随着动作的不同而延展或缩短，产生的误判率需要处 理。 从标点到骨架：即从辨识后的标点信息中抽取出虚拟骨架，并将标点信息与 虚拟骨架的关节对应。 映射到动画角色：表演者的身材与动画角色的身材比例并不一定相同，因此 需要调整骨架的比例。一般是通过转换为优化问题来求解 2 4 。 2 3 运动捕获的数据应用手段 早先运动捕获数据的应用主要集中于在现有捕获数据的基础上进行编辑和 变形，如w i t k i n 1 5 】，g l e i c h e r 2 5 】等。逐渐地，编辑手段的自动化程度不断提高， 利用捕获数据合成新的动作，如l i u 【4 0 】合成复杂动作，以及基于m o t i o ng r 印h 的动作编辑 3 1 、3 2 、4 3 等等。 近两年，随着捕获数据应用的不断普及，捕获数据的利用更加灵活与多样化： z o r d a l l 【6 0 】结合捕获数据与控制器生成突然反应性的倒地动作，类似地，a r j k a i l 第一章概述浙江大学硕士学位论文 6 l 】利用捕获数据和关节变换根据击打的冲量生成实时的平衡保持动作，j a s s a 6 2 】利用捕获数据制作预览图片，k y a m a n e 【5 2 】用捕获的运动数据来控制提 线木偶( 机器人) ，在l e e 【4 3 】、c h a i 5 7 】的等交互系统中，根据用户输入的实时 低维信号驱动虚拟人物动画，其背后也都需要有一个组织良好的运动数据库的支 撑。 这一小节里，我们介绍一下目前人体动画研究以及应用中的一些主流手段。 基本的运动编辑手段有正向运动学、逆向运动学、正向动力学、逆向动力学和约 束优化问题，很多问题都可以这几个基本手段。目前，实际的研究中，经常针对 不同的应用和对象，结合使用各种方法。下面，我们的每个小节是根据研究中出 现的编辑手段的主要特点来分类。 2 3 1 基于时空约束的运动编辑 根据用户指定运动路线、约束，对运动曲线进行时域或者频域上的编辑，如 w i t k i n 【1 5 】。用户改变几个关键帧上的人体姿势，然后应用样条曲线拟合人体姿 势的改变量，得到偏移，再将其叠加到原始数据上得到新的动画。当有约束的时 候，常常是转化为求解一个目标函数表征身体最低能耗的优化问题。 2 3 2 基于信号处理的运动编辑 从信号处理的角度来看，运动捕获数据是对身体各个关节运动信号的采样， 可以通过对数据的各个频率进行增强或者削弱，以加大或减少人体关节的运动幅 度。其中关节的朝向可以有四元组和角度两种表示方法，而信号处理一般是在四 元组的基础上进行的，因为角度的描述无法表达朝向之间的相关性。i n l l m a 等将 运动捕获数据变换到频域进行处理，对频率系数进行插值和缩放，生成能表达虚 拟人情感的动画【2 7 。 一般的运动插值可以认为是运动信号叠加的过程。运动混合应用插值技术从 样本人体动画数据集中生成新的人体动画 2 8 】，一般要求进行混合的样本数据是 同性质的，即样本人体动画数据中包含相同类型的动作。决定插值效果的是两个 方面：各样本动画数据所使用的参数和映射到统一时间段。k o v a r 4 8 】等通过分 析相似度矩阵，确定时间序列上的匹配，再根据用户指定确定插值参数，应用运 动混合实现了一可实时击打指定位置的拳击或踢腿动画的生成技术。在我们后面 9 第一章概述浙江大学硕士学位论文 的路径合成应用中，在人体动作之间进行过渡时做光滑，同样可以看成是前后两 个动作做混合。 2 3 3 基于统计学习的运动编辑 b r a n d 2 9 】提出从已有的不同风格的运动中学习运动风格，然后利用“风格 机器”生成带有所需风格的运动。为此，他们在隐马尔科夫链模型( h m m ) 中加 入一个多维的风格变量，形成风格h m m 作为“风格机器”。 m o l i n a - t a l l c o 【3 0 】提出一个运动捕获数据编辑的新思路：从已有的运动数据 库训练一个统计模型，然后通过用户指定新运动的首帧和末帧，由系统自动根据 已得到的统计模型在原始运动中采样，形成新运动。 l i u r 髓 5 4 通过建立统计模型来量化评价人体动作的自然度。通过在一个运 动数据库上进行学习，用一系列测试数据，分析了高斯混合模型( m o g ) 、隐马尔 科夫链和线性动力系统( l d s ) 各自的性能。 p c a ( p r i n c i p a lc o m p o n e ma n a l y s i s ) 做为一种统计学方法也是人体动画中常 用的降维手段。j b a r b i c 【6 4 用p c a 以及p m b a l i l i s t i cp c a 降维后基的差异，来对 运动序列进行分割。a s a f o n o v a 【5 5 】在生成物理真实感的人体动画中，则利用 p c a 作为一种降维手段，为了后续的逆向运动学和动作编辑的优化问题做了简 化。 运动纹理技术也是用统计学习的方法处理运动捕获数据，能够合成与原始捕 获数据有相似统计特征的人体运动【3 4 】。因运动捕获数据与纹理图象都可以被视 为随机过程，有较大的相似性，因此称为运动纹理。隐马尔科夫链、线性动力学 系统 3 4 】均可用于描述运动捕获数据的随机过程。 2 3 4 结合物理真实感的动作编辑 物理真实感是指动作编辑是在人体的物理模型上进行，如，s a f o n o v a 【5 5 】， 在与环境交互的人体末端执行器上逆向运动学的使用。而单纯的i k 只是仅仅把人 体作为一个外力驱动的刚性体，这与人体实际上做为一个自驱动的弹性体有不少 的差距，因此i k 也一般仅用于手脚等肢体的姿势求解。 对人体自驱动结构的模拟主要有两种方式：第一种是转化为非线性优化问题 【2 3 】，还有一种就是为关节设置控制器，h o d g i n s 等利用控制器技术在9 5 、9 6 年对 第一章概述浙江大学硕士学位论文 人的各种体育运动进行了模拟。控制器的控制参数的设计，是一项烦琐的工作， 关节链结构中关节的长度或者质量发生变化时都需要重新设计控制参数。 z o r d a n 【6 0 】中就是将控制器技术与捕获数据结合，生成了实时反应性的倒地 动作。 2 3 5 运动数据的查询 目前，大量的动作编辑算法都是在对现有捕获数据的基础上进行编辑和变 形，或者利用这些数据合成新的动作，而在重用和处理现有的捕获数据之前，我 们先要从动作数据库中获取感兴趣的、合适的动作序列，因此需要解决一个如何 快速有效地向手头的数据库中查询提取合适序列的问题。 一般的查询有两种：基于语义的和基于内容的，前者由用户提供诸如“跑步， 向左拐”的描述，后者里用户提交一个例子序列。 在基于内容的运动数据查询中，根据根据提交的查询内容，可分为序列查询 和单帧查询。一般地可以根据关节运动曲线的匹配来查询，由于每个关节相对独 立，可以只针对肢体的部分进行查询。k d v a r 【4 8 通过计算相似度矩阵，分析矩 阵中存在的”m a t c h 、v e b ”来支持查询，提出了了数学上的相似性与逻辑上相似性 的差异问题，并通过低维处理，以及利用查找结果再查找的方法来消除这种差异。 m m u l l e r 【5 9 】设计一组表征几何信息的布尔值来支持运动数据库中姿势的索引 和查询，再根据这组布尔值自适应地分段，在段的层次上支持序列的查询。 而在一部分编辑算法中，需要到基于姿势( 单帧) 的查询。从算法角度，姿 势查询最直观的是暴力搜索。用得比较多的是k n n 算法 4 0 ，以及a n n 算法，在 对高维数据的搜索中，通过随机搜索策略和宽松精度要求，一般认为m 州算法 比k n n 有更好的时空性能。 2 4 本章小结 本章中，我们简要地介绍了运动数据利用的基础知识和当前主要的一些研究 方法和技术：首先，在运动编辑中，既可以把人体虚拟骨架视为刚体关节链，也 可以把虚拟骨架视为一个树状结构；其次，介绍了运动捕获的整个流程；最后， 我们根据目前基于捕获数据的运动编辑手段的特点，分别介绍了基于时空约束的 运动编辑、基于统计学习的运动编辑、结合物理真实感的动作编辑、运动数据的 第一章概述浙江大学硕士学位论文 查询。 在本文的以下几章的内容中，这些运动编辑手段会不断地得到应用，如：运 动混合、姿势的匹配查找等。 第四章捕获数据在木偶动画中的应用 浙江大学硕士学位论文 第三章交互式路径合成 本章提出了一项基于运动图的交互式路径合成技术：首先利用捕获数据建立 运动图，再根据用户指定路线，在用户可接受的时间内，得到沿该路线运动的动 画。这里，我们对运动图的构造进行了改进，并改进了搜索算法，使得一定长度 的路径能被实时地生成，从而用户能方便地交互编辑路径合成动画。 3 1 运动图介绍 运动图( m o t i o ng r a p h ) 是可以根据用户指定路径和约束，利用捕获数据生 成新运动数据的一种有效方法，其在整个利用运动捕获数据制作动画的流程中的 作用如图3 1 所示。早先关于运动图的工作，是许多商业公司的使用的运动树 ( m o v et r e e ) 4 6 ，它类似于图的结构，但从构造到混合都需要手工去仔细调 整。为了提高编辑的自动化水平，k o v a r 3 2 、a r i k a n 3 1 和l e e 4 3 ，在2 0 0 2 年先后分别提出在他们各自的系统中应用运动图。 图3 1 利用捕获数据产生动画流程中运动图的作用 但三者应用不同，导致构造方法都有各自的差异：k o v a r 等 3 2 提出的运动 i 羽主要用于路径合成，在构造方法上没有进行分层或者聚类，直接靠图本身的结 构和搜索算法来应用；a r i k a n 等 3 1 的运动图根据序列在帧间过渡关系，在序 列间形成一个高层抽象的图结构，以便应用运动图时加快图的搜索速度；l e e 等 4 3 的运动图则主要用于虚拟人控制，明确分为两层，下层把一段序列看成一个 简单的一阶马尔可夫过程，上层通过统计模型分析对帧进行聚类。 在路径合成方面，k o v a r 所实现的运动图，建一个3 0 0 0 帧左右的运动图需要 半个小时，生成一条路径需要一两分钟，在时间上显然不能满足用户交互式编辑 的需求。 第四章捕获数据在木偶动画中的应用 浙江大学硕士学位论文 r e i t s m a 3 9 则提出根据在复杂场景中基于运动图生成的漫游动画，对运动 图的性能进行评价。 3 2 运动图构造 运动图按顶点和边表示的内容不同，大致上可分为两种。因为帧之间的相似 关系直观，一种构造方法就是把帧作为顶点，如a r i k a n 3 1 和l e e 4 3 中，但这 样的话，运动序列的一些局部性不能直接利用，并且，直接在帧数据上构造图的 话，会使图变得庞大，不易搜索，一般还需要对图进行分层或者简化索引。因此， 在我们构造的运动图中，边表示运动序列，顶点表示序列之间存在的跳转。边所 表示的序列，是根据跳转帧来对原始序列分割得到的。 3 2 1 形成跳转点 我们根据相似度来选择候选跳转点，因此需要对原始动作序列每两帧之间做 相似度计算。我们的实验数据中，捕获数据都是以骨骼之间的相对旋转角度来表 示的。但是，直接比较旋转角度存在如下问题： ( 1 ) 父部位的关节的角度对予部位的关节点的角度有着不同程度的视觉影 响。并且大多数情况下，关节点的重要程度都是与具体姿态相关的，不能宜接赋 相对旋转角度以权重。 ( 2 ) 骨骼绕x 轴、y 轴和z 轴的旋转角度之间具有相关性，直接计算会造成数 据的不一致性，从而导致生成的人体运动帧间会有抖动甚至整个人倾斜等异常现 象。因此，在后面的平滑过程中，采用四元组来表示和计算旋转关系。 因此，我们将其变换到欧氏空间坐标位置来计算。第i 个关节点( 骨骼的起始 点) 的空间位置p i ，可以根据第i 一1 个关节点的位置来计算，有递归关系： f 膨： 磊一l r p l + 三f 一1 j l p f _ 西尸f - l ( 3 1 ) 其中，r i 一1 表示第i l 根骨骼在其局部坐标系中的旋转矩阵，可由旋转角度 得到；l i _ 1 是第i 一1 根骨骼末端节点在其父节点局部坐标系中的位置。根节点( i = o ) 表示了人在空间中的位置和朝向。 在计算相似度时，还需要考虑到几个方面； ( 1 ) 我们比较的是姿态上的相似，与当前人体所处的位置以及人体朝向无 第四章捕获数据在木偶动画中的应用浙江大学硕士学位论文 关。因此，需要仔细地调整匹配两帧之间人体的位置和朝向，使得它们之间的差 异最小。因此，计算相似度时，式( 1 ) 中，m 取单位阵i 。 ( 2 ) 每个关节点的重要程度是不一样的。因此，需要对关节点设置权重。 我们根据直觉与经验，在实验中使用的针对路径合成的权重： i 关节大腿小腿脚低背高背胸腔低颈高颈臂肱曲臂 i 权重 o 41 o o 1 0 8o 1 o 10 1 o 8 0 40 2 表3 1 路径合成中，各个关节的权重，未列出关节的权重为o ( 3 ) 因为必须保证关节在速度上的相似性，以及在跳转帧之间做平滑融合 时平滑窗口中的帧不能有太大的差异，因此，对相似度的计算，可以扩大到一个 窗口大小范围内( 我们实验中约1 3 s ) 。 综上，我们采用的计算第m 帧与第n 帧差异的函数5 ( m ，”) 为： e _ ，帕：f 1 宅4 w f ( p ( 埘十，一删，2 ，f ) 一乃，聊，聪) p ( h + ，一删，2 ，啪2 j 2 0i _ o ( 3 2 ) 其中：s w 表示平滑窗口大小；b n 表示关节点的数量；p ( m ，i ) 是指第m 帧 第i 个关节点的位置；n - 一( m ，哪是一个线性转化操作：根据日把某一点绕x 轴，z 轴， y 轴分别旋转氘$ ，角度，再根据向量，把该点进行平移：w i 表示第i 个关节点的 重要程度。 k o v a r 等 3 2 利用求解一个优化问题来求算乃，帕，并给出了一个近似解。在 我们的计算中，考虑到这个计算在构建运动图将被上百万次调用，我们对其进行 了简化，根据两个姿势的朝向直接给出了n ，( m 帕：良，良置为零，印为两姿势在饶 y 轴旋转上的差异，再通过l 位移将两姿势在位置上得到统一。在实验的过程中也 发现，这样设置n - ，伽，呐，在时间效率和视觉效果上是非常好的折衷。 一般地，对于有n 帧的原始序列，计算每两帧之间的相似度，得到的相似度 矩阵，如图3 2 所示。在图中，假如序列中有两段子序列比较相近，那么会在相 似度矩阵中对应形成一个对角线型的黑色条带。 3 2 2 选择跳转点 从相似差异矩阵中，我们利用阈值和局部极小值来选择需要的跳转点，首先 是为了保证跳转时的过渡动画质量，其次是平衡图的复杂度，在保证图的灵活性 第四章捕获数据在木偶动画中的应用浙江大学硕士学位论文 的前提下简化图的结构。阚值是控制跳转质量的关键。阈值越小，跳转选择会更 少，跳转的质量会相对比较高。 在实际应用中，不同的动作类型对阈值有不同的要求。比如：常见的动作一 般阈值要设得相对比较低，以保证过渡工作的真实感，因为人眼对这类动作更为 敏感。 图3 2 两个动作序列之间的相似度矩阵 部分，相似度越高对应点越黑，局部极 信用三角形块表示 3 2 3 跳转点聚类 m 图3 3 跳转点的聚类，同色标志同一个 类 为了提高运动图的质量，我们对这些离散的跳转点进行聚集，用v 表示类， 用t ( m ，n ) 表示第m 帧与第n 帧形成的跳转点。根据跳转点在序列中的意义，规定 聚类的两个充分条件： ( 1 ) 假如t ( m ，n ) 满足跳转点选择条件，t ( n ，1 ) 同样满足跳转点选择条件， 根据我们相似度的计算公式，并且因为一般阈值比较小，可以知道m ，n ，1 三帧 之间是都是相似的，可以聚为一类v m ，n ，1 ) 。如图3 3 所示。 ( 2 ) 同理，对两个满足跳转点选择条件的跳转点t ( m ，n ) 和t ( 1 ，_ 1 ) ，也可 以把m 、n 、l 三个点归为一类，同时用一个t a g 值标志其偏离值，如这里：v m “a g ： o ) ，n ( t a g ：o ) ，l ( t a g ：一1 ) ) 。 根据以上推理规则，对满足跳转点选择条件的跳转点进行聚类，同一个类形 成一个顶点。在我们的实验数据中，通过聚类，大致可以减少原来3 0 的顶点数 目。这是对图结构的合理简化，在图的应用中，能减少图的搜索深度。 在设置t a g 的时候，由于动作速度的不一致性，一个点可能会对应多个不同 的t a g 。如：从t ( m ，n ) 、t ( 1 ，m 1 ) 、t ( 1 ，n 一2 ) 中，1 可以得出两个不同的对应 第四章捕获数据在木偶动画中的应用浙江大学硕士学位论文 t a g 值。然而，此时，m 、n 、l 三帧之间非常相似，在它们之间跳转不会出现明 显的变形。因此，在实现中我们把t a g 值直接取为接近o 的值。 3 2 4 图的裁剪 这时的图结构还不能直接用于遍历。因为，目前还不能保证整体上图的连通 性，图的遍历可能会无法到达图的其它部分，也可能会没有后续顶点而无法继续。 所以，我们要修改图的结构以避免上述情况：需要裁掉死顶点( d e a d ) 和下沉顶 点( s i n k ) ，即求出图的强连通分量( s t r o n gc o n n e c t e dc o m p o n e n t ，s c c ) 。如图 3 4 所示。 当前的图结构中假如有多个连通分量，我们这里采用其中的最大连通分量。 图3 4 运动图裁剪的示意表示：死顶点5 ，以及下沉顶点4 、9 、1 0 将被裁剪掉；剩下图的 最大强连通分量( 1 、2 、3 、6 、7 、8 ) 3 2 5 序列插值 运动数据集对路径合成的效果有很大的影响。如果只有左拐弯的原始序列， 就无法去吻合指定路径上的右拐弯。我们可以通过对左拐的序列数据进行镜面影 射，生成右拐弯的序列，来扩充原始序列。同样地，如果原始序列中只有小角度 拐弯，那么对于一个路径中的急拐弯，要花费大量的小角度拐弯序列去逼近，会 造成路径偏离过大甚至导致应用时的一些场景约束被打破。这里可以利用对已有 运动数据的插值来获取我们想要的动作序列。 为了最大程度地保持真实感，我们对插值的两序列先进行时序上对齐。通过 计算任意两帧间的相似度，我们得到这两个序列的一个相似度矩阵，图3 6 中用 一个灰度图描述了这个相似度矩阵( 部分) 。由于行走是一个节律性运动，因此 可以从图中看到相似度极大值大致分布在一条条与平行对角线的斜线上，图3 6 中用黄线标出。根据需要的插值效果，取其中一条相似极大值线，投影到两个序 第四章捕获数据在术偶动画中的应用 浙江大学硕士学位论文 列方向，提取对应的帧，首先进行位置上插值和姿势插值；然后足迹点保持，移 动位置对齐足迹点：最后，对得到的序列在插值范围内做平滑。图3 5 为两段原 始序列及插值参数为o 3 时的生成序列结果。 图3 5 两段原始序列( 上) 及插值参数口 为0 3 时的生成序列( 下) 3 3 图的应用 图3 6 两个行走序列任意两帧之间的相 似度。( 黑色相似度大，黄色标记可以插 值的序列匹配) 图的应用一般包括两个阶段：对原始序列片段的提取，片段的合成。序列片 段的提取即是一个图的搜索过程，而合成则包括了过渡平滑和约束保持等方面。 3 3 1 图的搜索 无约束的图搜索是一个非常耗时的过程。对于搜索到的一条路径，由序列( e 1 ， e 2 ，e n ) 组成，p i 为路径上从起点到e i 为终结序列的部分，我们定义该条 路径的一般的评价函数为： p ( w ) = ( 肌，。) ( 3 3 ) 其中，【尸f 。1 ，州是由具体应用定义的一个函数。 对于大部分应用，如路径合成，一般在相对短的时间内无法用简单的办法为 一条长路径找到一个全局最优解，图搜索的任务就是在可接受的时间内寻找一条 能满足用户指定条件的路径。 我们为每条边标出该段序列的位移偏移值和在朝向上转过的角度，根据当前 点和用户指定相应点之间的关系，根据标出的位移和角度来计算选择序列，极大 第四章捕获数据在木偶动画中的应用浙江大学硕士学位论文 地减少了原来序列匹配路径时逐帧计算的计算量。 3 3 2 过渡平滑 两段序列a 、b 在t ( m ，n ) 进行跳转时，即使a 的第m 帧与b 的第n 帧之间的差别 很小，往往仍会有轻微抖动的现象。因此，在形成新的动作时需要在各跳转点上 做平滑。平滑除了运动曲线的平滑外 1 5 ，还包括约束保持工作。 对于运动曲线的平滑，首先将需要平滑的帧所对应的窗口大小的m 序列邻域 与n 序列邻域对齐，并将窗口内，n 序列中的姿势进行调整( 做n ，( 一) 转化) 。然 后对根关节点的位置进行线性插值： 尸( 肌，”，f ) = 矾( 卅，f ) + ( 1 一口) n ( n ，f ) ( 3 4 ) 然后进行姿势插值，用四元组表示其它关节点在各自的父关节点坐标中的旋 转角度，进行球型线性插值( s l e r p ) ： r ( 埘，吃f ，) 2 j ，b ，p ( 兄 ( 卅，f ，) ，r 8 ( ，d ，口) ( 3 5 ) 对于平滑因子“( ) ，根据边界条件，。( o ) 2 1 ，“( 1 ) 。o ，口