（计算机应用技术专业论文）基于骨骼蒙皮的虚拟人动画合成研究.pdf

摘要 摘要 手语合成把自然语言文本翻译成聋哑人能够理解的手势语言，并以计算机动 画的形式表现出来，研究的目的是服务聋哑人群。实时三维人体动画是计算机图 形学最活跃的研究方向之一，广泛应用于模拟仿真、影视媒体和数字娱乐等领域。 手语合成中所采用的人体动画技术作为手语信息的媒介直接影响手语的真实感 和可懂度，因此手语合成环境下的人体动画技术的研究具有重要的现实意义。 手语合成环境下的虚拟人动画涉及虚拟人建模、运动控制、动画合成和真实 感绘制，由于手语动作数据的特殊性，还涉及运动混合和运动连接的相关技术， 本文在现有的手语合成系统框架下，采用骨骼蒙皮技术和运动混合技术实现了手 语合成系统中的动画生成模块，实验表明可在一定程度上地改进动画的效果。 具体而言，本文作了以下三方面工作： l 、设计并实现了基于骨骼蒙皮的手语动画合成系统，在一定程度上改进了 动画合成的效果。 2 、提出了一种基于向量修复的骨骼蒙皮改进算法，并采用基于g p u 的实现 提高了算法的速度。 3 、采用关键帧插值、运动混合和运动连接的技术实现了动画合成中的运动 控制。 关键词手语；计算机动画；骨骼动画；蒙皮 a b s t r a c t 曼! 曼! 曼。一 一一i i 一一一一一 i i 一一i ! 曼曼曼 a b s t r a c t s i g nl a n g u a g es y n t h e s i st r a n s l a t e sn a t u r a ll a n g u a g et e x ti n t og e s t u r el a n g u a g e t h a tt h ed e a fc a nu n d e r s t a n d ，d i s p l a y i n ga sc o m p u t e ra n i m a t i o nt os e r v et h ed e a f p o p u l a t i o n r e a l t i m e3 一dh u m a na n i m a t i o ni so n eo ft h em o s ta c t i v er e s e a r c h d i r e c t i o n so fc o m p u t e rg r a p h i c s ，w h i c hi sw i d e l yu s e di nt h ef i e l d so fs i m u l a t i o n ， t e l e v i s i o nm e d i a , a n dd i g i t a le n t e r t a i n m e n t h u m a na n i m a t i o nt e c h n o l o g ya p p l i e di n t h es i g nl a n g u a g es y n t h e s i s ，a st h em e d i u mo fs i g nl a n g u a g ei n f o r m a t i o n ，d i r e c t l y a f f e c t st h er e a l i s ma n di n t e l l i g i b i l i t yo fs i g nl a n g u a g e t h u s ，r e s e a r c ho fh u m a n a n i m m i o nt e c h n o l o g ya p p l i e di ns i g nl a n g u a g es y n t h e s i si si m p o r t a n t v i r t u a lh u m a na n i m a t i o ni n s i g nl a n g u a g es y n t h e s i si n v o l v e sv i r t u a lh u m a n m o d e l i n g ，m o t i o nc o n t r o l ，a n i m a t i o ns y n t h e s i s ，a n dp h o t o r e a l i s t i cr e n d e r i n g ，w h i c h a l s oi n v o l v e sm o t i o nb l e n d i n ga n dm o t i o nt r a n s i t i o nt e c h n o l o g y , d u et os p e c i f i c i t yo f t h es i g nm o t i o nd a t a t h i sa r t i c l e ，i nt h ee x i s t i n gf r a m e w o r ko fs i g nl a n g u a g e s y n t h e s i ss y s t e m ，a d o p t ss k i n n e dm e s ht e c h n o l o g ya n dm o t i o nb l e n dt e c h n o l o g yt o r e a l i z eas i g nl a n g u a g es y n t h e s i ss y s t e m ，w h i c hh a sb e e np r o v e dt ob eu s e f u li n i m p r o v i n gt h ee f f e c to fa n i m a t i o nt h r o u g he x p e r i m e n t a lr e s u l t s i np a r t i c u l a r , t h i sa r t i c l ef i n i s h e df o l l o w i n gw o r k ： f i r s t ，i td e s i g n e da n dr e a l i z e das i g nl a n g u a g es y n t h e s i ss y s t e mb a s e do ns k i n n e d m e s ha n i m a t i o nt e c h n o l o g y , a n di m p r o v e dt h ee f f e c t so fa n i m a t i o n s e c o n d ，i ti n t r o d u c e sv e c t o r - b a s e db o n er e p a i rs k i n n e da l g o r i t h ma sai m p r o v e d a l g o r i t h mo fs k i n n e dm e s h ，a n da d o p t sag p u - b a s e da l g o r i t h mt oa d v a n c eb l e n d i n g s p e e d t h i r d ，i ta d o p t sk e yf r a m ei n t e r p o l a t i o n ，m o t i o nb l e n da n dm o t i o nt r a n s i t i o n t e c h n o l o g yt oc o n t r o lt h es i g nl a n g u a g em o t i o n k e y w o r d ss i g nl a n g u a g e ；c o m p u t e ra n i m a t i o n ；s k e l e t a la n i m a t i o n ；s k i n n i n g i i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：挫啉掣 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：谴导师签名： 擞吼斟丛 第l 章绪 1 1 研究背景与意义 第1 章绪论 人体动画技术是计算机图形学的一个重要分支，人体数学建模、运动建模、 人体动画合成吸引了众多的研究者，相关研究成果中不乏得到了广泛应用的案 例。 人体动面技术在影视、视频游戏、仿真、医学、教育等领域得到了广泛的应 用。图卜i 是著名的三维电影最终幻想l o ，电影中的演员完全由虚拟角色扮演。 影片中大量使用了动作捕捉等人体动画前沿技术；图i - 2 是著名的互动游戏f a r c r y 2 的画面t 游戏使用的引擎c r y e n g i n e 2 大量采用了h d r 和骨骼蒙皮动画技 术游戏带来的体验是无与伦比的：图i - 3 所示为体育赛事开闭幕式团体操的 模拟应用系统，为大型活动的彩排提供了低廉的解决方案。随着计算机图形学的 发展，尤其是人体动画技术的发展可以预见，人体动商技术必将广泛应用于社 会生活的方方面面。发挥更为重要的作用。 图卜i 最终幻想1 0 f i g u r ei - if i n a l f a n t a s y x 北京工业大学工学硕士学位论文 - t 嚣 、，、i 。山 ： 。 j j 。， ： ， 围卜2c r y e n g i n e 2 中的士兵角色 f i g u 忙1 - 2as o b l i c r i n o 谭q g h 2 圈i - 3 北京奥运会开幕式采用的犏捧系统 h g l 肝i - 3 t h e d r 碍s r c h c a r s a l s y s t e m i n b 蚵吨 o l y m p i c0 a t r k 8 0 p e n i n l ( k r m n v 虽然人体动画在工程、虚拟会议、交互、监控、虚拟环境、游戏、训练、教 育、军事训练、产品的设计与维护等领域得到广泛应用，人体动画的许多问题仍 未得到很好的解决。因为人体动画涉及到人体数学建模、运动控制和绘制等方面 这些过程均较为复杂。由于人体的身体结构具有2 0 0 个以上的自由度，其运动的 确定非常复杂：人体运动是自然平衡和环境多重影响的结果。人体与环境的交互 使得人体的运动变得不可预料每个人体角色均有一定的个性，如何抽取描述角色 个性的参数是人体动画的重要问题。此外，人类对自身的运动非常熟悉，不协调 的运动很容易被观察者发现，比如人类可以通过运动的风格判断出运动的主体是 第1 苹绪论 否为自己所熟悉的人。 在中国手语合成系统中，人体动画是表达手语信息的载体，人体动画的表现 能力直接影响聋哑人群接收信息的准确度，因此中国手语合成环境下的人体动画 研究对于手语合成的研究具有重要的应用价值。 本文试图通过对人体动画合成中建模、运动控制和动画合成技术的研究，针 对目前手语合成系统中存在的问题，采用适当的技术来改进中国手语合成系统的 动画合成部分。 1 2 人体动画的相关研究 动画有两个要素：某一时刻的形态和不同时刻形态的变化，人体动画也不例 外。由构成动画的要素出发，人体动画技术包括人体建模、运动控制和动画合成 等方面。 人体动画技术大体上分为三个技术框架：逐顶点关键帧动画、变形动画和骨 骼动画。 人体的数学建模由早期的几何建模发展到从生理学角度对人体的骨骼、肌 肉、皮下脂肪和皮肤的数学抽象，基于这些研究，产生了骨骼皮肤模型、多层次 模型等人体数学建模方法，这些研究都服务于合成更具真实感的虚拟人体动画。 人体运动控制包括运动的表示和运动的获取。运动的表示因运动控制方式的 不同而不同，如早期的关键帧动画中，运动数据是每个顶点的空间坐标，而在骨 骼动画中运动数据是每个关节的变换矩阵。运动获取或运动生成的方法主要有手 工关键帧设定法、运动学方法、动力学方法和运动捕捉技术，后面三者都是在骨 骼动画框架下的技术。 运动捕获技术可以真实记录人体运动中丰富的细节，通过它生成的人体动画 有很强的真实感。近年来，随着运动捕获技术的出现与迅速发展，人体的正常行 走动画已得到较好的解决。但是就其技术本身而言，运动捕获技术是对运动的复 制，它的缺点在于所获取的数据只能在特定的环境下应用，对场景改变或用户交 互的适应能力较弱。如何复用动作捕捉的数据是相关领域的重点。 人体动画的合成的过程是把由运动抽象获得的人体运动数据映射到人体几 何网格的变形上的过程。人体动画的合成可以分为两个方面：运动数据到人体几 何网格顶点变形的映射算法和几何网格的真实感绘制。对人体的绘制的研究集中 在真实感皮肤、服装的绘制，包括皮肤表面散射的研究、皱纹的生成和服装的褶 皱变形等方面。 动画的本质就是使网格变形，s e d e r b e r g 引入了称为自由变形( f r e e f o r m d e f o r m a t i o n ，f f d ) 1 1j 的通用变形技术。f f d 的思想是在网格外封装一个低分辨 北京工业大学工学硕士学位论文 率控制栅格，网格的顶点附着在低分辨率的控制栅格上，变形操作首先映射到控 制栅格的变形，依据公式自动计算附着其上的网格顶点的变形。这种思想对后续 的研究产生了深远的影响。 d e n a v i t 和h a r t e n b e r g 提出了通过相对坐标系来描述各个关节位置的矩阵描 述方法，这种方法称为机器人领域的正向运动学的基础。机器人学尤其是机器手 的研究是骨骼动画的直接理论来源。动画研究者将关节链模型应用到人体动画领 域，从而产生了骨骼动画( s k e l e t a la n i m a t i o n ，国内也称关节动画) 技术。 骨骼的姿态最终要映射到角色模型网格的变形，初期研究者把分块网格分别 附着在对应的骨头上，骨骼的变换刚性影响网格的变换，从而生成整个角色网格 的姿态。 l a n d e r t m 提出了用线性混合多个关节变换的方法，把关节附近的顶点附着在 多块骨头上，不同骨头对顶点的影响具有不同的权值，这就是骨骼蒙皮动画的思 想。 对皮肤变形的研究的目的是更真实的模拟人体皮肤在运动状态下的行为，在 本文第二章将详细的介绍各种皮肤变形技术及其优缺点。 1 3 本文内容和结构 1 3 1 本文的主要内容 本文阐述了虚拟人建模、运动控制的基本方法，分析了骨骼动画框架下骨骼 动画的基本原理、骨骼对表面皮肤变形的影响算法。提出了一种基于向量修复的 骨骼蒙皮改进算法，并采用基于g p u 的实现提高了算法的速度。采用关键帧插 值、运动混合和运动连接的技术实现了动画合成中的运动控制。在此基础上，设 计并实现了基于骨骼蒙皮的手语动画合成系统，在一定程度上改进了动画合成的 效果。 1 3 2 本文的结构 第一章绪论介绍了本文的研究背景和骨骼动画的相关研究。 第二章手语合成中的虚拟人动画技术综述介绍了虚拟人建模、运动控制、骨骼 动画机制和皮肤变形的方法，着重介绍了骨骼子空间法的改进算法( 如交叉截面 法、自由变形法、曲线骨骼法和球面混合蒙皮法等) 。 第三章基于向量修复的线性混合蒙皮法分析了经典的线性混合蒙皮算法的不 足，引入了一种改进方法并给出了线性混合蒙皮基于g p u 的实现。 第l 章绪论 曼皂! ! ! ! ! ! i _ 二i i 二i ! ! 皇! 曼曼 第四章基于骨骼蒙皮的手语动画合成系统介绍了系统的架构和研究中的相关 工作。 第2 章手语合成中的虚拟人动画技术综述 第2 章手语合成中的虚拟人动画技术综述 2 1 人体数学建模技术 人体的数学建模一直都是人体动画的难点，主要原因是：人体生理构造复 杂，人体表层皮肤的变形受骨骼、肌肉和皮下脂肪组织的多重影响，越接近人 体生理结构的建模通常越能获得更真实的动画效果，但时间复杂度往往也越高。 基于这样的现状，不同领域对人体数学建模在精确性和后期动画合成算法效率 上作出了不同的折中。如影视等领域对实时性要求不高，角色往往具有精细的 几何，高质量的纹理，在动画合成过程中可以采用更为复杂的算法，而互动娱 乐、仿真等领域对应用的实时性要求很高，研究集中在满足实时性的前提下提 高动画合成的效果。 1 刚性几何模型： 人体表示为几何分段和关节连接组成的层次网格，几何分段可能是具有复 杂外形的分段或者柱状的分段，甚至是线段，用来表示人体躯干和四肢。这类 模型能够很好地表示人体的姿态，因此常见于运动控制的实验环境中。 2 骨骼表面模型： 人体被抽象为两个层次，表面皮肤和内部骨骼。皮肤是由参数曲面或多边 型面片来表示人体外形的几何，辅以纹理映射来模拟人的外观。在表面皮肤的 内部用层次的关节点及其变换来模拟人体的骨骼姿态，动画合成过程中把运动 数据映射到关节的变换，然后用骨头的变换影响皮肤的变形。这种模型忽略了 肌肉层和皮下脂肪对皮肤变形的影响，不可避免的在获得较高实时性的同时丧 失皮肤变形的真实性。但因其能在保证实时性的前提下获得不错的变形效果， 是目前广泛采用的人体抽象表示方法。 北京工业大学工学硕士学位论文 辫 圈2 l 骨铬表面模型 f i g u r e2 - 1s k e l e t o n - s u r f a c e m o d e l 3 多层次模型 多层次模型是更加接近人体生理结构的抽象，在骨骼、皮肤层的基础上添 加中间层，中间层可能包含肌肉层、脂肪层或用于皮肤变形的纯数学层。动画 合成过程中，骨骼的变换首先影响中间层的改变，中间层的改变再去影响皮肤 网格控制顶点的变换。多层次模型可以用于合成更具真实感的人体动画，但中 间层的设计，变换算法难度很大，变形时的计算量也很大。多层次模型多应用 于医学和仿真领域，要从根本上改变骨骼表面模型的动画效果，多层次模型是 研究的趋势。 悸神 圈2 - 2 多层次模型说明 i 自 f i g u r e 2 - 2 m u k i - l a y e r m o d e l 4 体绘制模型 体绘制技术思想来源于用像素阵列来表示二维数字图像的技术用三维几 # 2 章手语音成中的虚拟人动画技术综述 何图元( 或囤素) 阵列来表示三维实体的技术就是体绘制技术。体绘制技术可 以更好的保持模型的体积信息和内部结构，而不只是一张外表皮。体绘制技术 用于人体建模就是体绘制模型的思想。图2 - 3 是用球图元构造的芭蕾舞演员。 体绘制造型技术计算量大而且过程复杂，体绘制人体动画还处于研究阶段，但 其不失为人体动画技术领域重要的研究方向。 图2 - 3m 4 , 球图元阵列构成的芭蕾舞演员引自“1 f i g u r e2 - 3a b a l l e r i n a c o n s t r u c t e d f r o ms p h e r ep r i m i t i v e s 2 2 人体运动控制 人体的运动控制是动画生成的关键环节之一，运动控制技术包括运动的表 示、运动的获取( 或生成) 和运动的编辑等方面。 2 2 1 运动的获取 h o d g i n s l 5 根据动作的来源将运动控制方法划分为编程模拟、手工指定和设 各捕获3 类。根据动作的产生原理可将创建动作的方法分为运动学方法，动力 学方法和动作捕获方法等。对于一些有定式的运动，如走、跑等，可以通过建 立一套经验公式来描述用参数化的方法进行控制。只要指定一套参数，算法 就可以根据这些公式自动计算出新的动作序列，这种方法叫做过程化方法。 传统动画师使用关键帧技术制作卡通影片，采用计算机制作动画后，中间 帧可以由计算机根据关键帧插值得到，免除了中间帧动画师的繁琐劳动。计算 机动画有时也被称为参数关键帧，以区别于传统动画。 运动学的方法分为正向运动学和逆向运动学。在正向运动学方法旧中子 关节继承父关节的变换，而且需指定关节链中每个关节的局部变换，按从父关 节到子关节的顺序沿关节链景计继承的变换依次计算每个关节的晟终变换。而 “q l 北京工业大学工学硕士学位论文 在逆向运动学方法1 7 j 中，先指定末端关节的位置，解算出各中间关节的位置和 骨骼间的角度。 运动学方法忽略了人物的平衡和受力，生成动作的真实感不强。为解决这 个问题，研究者提出基于动力学的方法。该方法把虚拟骨骼看作服从物理规律 的机械连杆机构，给定关节的力或者力矩，使用动力学方法就可以计算出虚拟 骨骼的运动。然而由于研究者并未完全掌握人体的运动规律，肌肉产生的力也 很难预知，所以产生的动作的真实性也不尽如人意。另外计算的复杂度也比较 高。 动作捕获技术9 】【l o 】利用专门的硬件设备记录真实人体在三维空间中的活 动，然后再用所纪录的数据驱动虚拟人。该技术产生的动作真实感最强，然而 也有其局限性，如被记录的人体与虚拟人的模型可能存在尺寸上的不匹配、真 实人体的动作受传感器的限制、获取的数据只能在特定环境下应用，对场景改 变或者用户需求的改变适应能力比较弱等。为弥补这种缺陷，研究者尝试从普 通视频中提取动作数据，但是受目前计算机视觉技术的发展程度所限，该方法 还不能满足捕获动画的要求。运动捕获系统可以分为光学式、电磁式和机械式 系统三种。 光学系统，这是目前使用较为广泛的一种运动捕获系统，代表性的产品有 美国m o t i o na n a l y s i s 公司的h a w k 、e a g l e t 系统以及英国v i c o n 公司的v i c o n m x 系统。该类系统将m a k e r s 贴在需要记录运动的人体关节处，首先利用特殊的摄 像机拍摄具有高对比度的视频，然后从视频中提取人体运动。一般系统需要4 6 个摄像机。这种技术可提供很高的运动数据采样率，但是捕获3 d 运动数 据需要采用计算机视觉中的特征跟踪和三维重建等技术进行后处理，而且这种 设备非常复杂且价格昂贵。目前国内也出现了价格较为低廉的光学式运动捕获 系统，如北京迪生科技的d m c 系统以及大连东锐的d v m c 系统等。 机电式系统，这类系统的原理是采用电位计附着于人体关节测量其位置和 方向。其优点在于捕获范围不受限制，且捕获过程中不存在自遮挡现象。但缺 点在于演员动作受限且电位计的位置是固定的。目前市场上常见的系统有 a n i m a z o o 公司的g y s p y 5 系统。 电磁系统采用能测量电磁场的传感器来捕获真实物体关节点的位置数据和 角度数据。其缺陷主要包括：( 1 ) 对捕获场景中的金属物非常敏感。( 2 ) 由于电线 等传感器附在演员身上，演员表演复杂的运动比较困难。( 3 ) 运动数据采样率低， 难以满足快速的体育运动分析需求，而且这种设备非常昂贵。 第2 章手语合成中的虚拟人动画技术综述 1 i ； i i 曼曼! ! 曼! 曼! 曼曼! ! ! ! 苎曼曼! 曼! ! ! 曼! 鼍! 皇! 曼! ! 曼! ! ! ! ! ! ! ! ! 曼曼! 曼曼! ! ! 曼! 曼! 曼苎曼! 蔓曼寰! 鼍曼! ! ! 曼曼 2 2 2 运动编辑技术 运动编辑是指修改或组合己有运动、生成更为复杂的虚拟人运动的过程。 其动机包括重新应用到其他角色上、创建生理上不可能的动作、纠正动作中的 错误、改变动作意图和添加附属运动( 如衣服的运动) 等。如何存储和修改这 些运动片断是运动编辑技术的研究重点。 由于动作捕获技术的广泛使用，使得基于运动捕获数据的编辑技术在所有 运动编辑技术中具有重要地位。g l e i c h e r t l 3 1 提出了运动重定向问题，运动重定 向是指把动作捕获技术获得的动作数据应用到另一个动画角色上。g l e i c h e r 利 用时空限制求解器将动作修改问题转化为求解多限制条件下的优化问题。 g l e i c h e r 方法只处理骨骼结构相同的角色，而m o n z a n i 1 4 j 通过引入过渡骨骼将 运动传递到骨骼结构不同的角色上。 k o v a r 、g l e i c h e r l i5 j 用运动图对捕获数据进行组织、搜索和重组，生成新的 动作序列。 2 3 人体骨骼动画合成技术 采用传统的手工关键帧指定的技术中，运动数据是每个顶点在关键帧时刻 的空间坐标，动画的合成的关键是插值算法的优劣，而在骨骼动画框架下的动 画合成相对关键帧技术更为复杂。 本节主要讨论在骨骼动画框架下的人体动画合成，即运动数据映射到皮肤 变形的过程，具体包括两个环节：一、骨骼绑定关键帧( 或插值获得的中间帧) 姿态，二、骨骼姿态影响表面皮肤变形。骨骼的姿势绑定的方法已经比较成熟， 研究的焦点是皮肤变形的方法。 2 3 1 骨骼动画机制 1 骨骼动画角色模型的构成要素： 关节( j o i n t ) ：用变换矩阵表示，通常只包括旋转和平移。 骨头( b o n e ) ：两个关节之间的骨段，骨头通常用根部的关节名称标识。 骨骼( s k e l e t o n ) ：骨骼是以关节为节点的树，树的结构模拟生物体的骨骼 结构，树的根节点作为根关节，通常是臀关节( h i p ) ，根关节的平移决定 了整个骨骼的位移。 皮肤( s k i n ) ：通常为三角形网格，三角形的每个顶点附着到1 块或多块骨 头，附着是指顶点的位置因骨头的变换而变换。 北京工业大学工学硕士学位论文 2 骨骼动画的机制 圈 田2 - 4 骨骼皮肤模型的元素 f i g u r e 2 - 4 t h ee l e m e n t s i ns k e l e t o n m e s h m o d e l r ( 1 ) u ) ) 囝2 - 5 关节链 f i g u r e 2 - 5a j o i n t c h a i n 骨骼和皮肤在设计阶段通常处于某种参考位置( 如t - p o s e ) 骨骼动画的思 想是只需人为的移动骨骼，而皮肤的变形依据骨骼的移动自动计算。 具体来讲，假定关节j 的父关节用p 0 ) 表示，根关节的索引为0 。再假定矩 阵r 0 ) 是从关节p ( j ) 局部坐标系到关节j 的局部坐标系的变换矩阵。这样从世 界坐标系到关节i 的局部坐标系的变换可以用下面的矩阵表示： 一( ) ；置( o ) 一r ( p ( ，) ) 只u )( 2 1 ) 这里r 0 ) 包括从p 0 ) 坐标系到j 坐标系的平移和旋转变换。在运动角色时， t 0 ) 表示关节j 开始的骨头在j 局部坐标系下的旋转。t o ) 不包含平移变换，现 实中生物体的骨骼变形也是不包含局部平移的( 一些研究为了实现某种风格化 的效果引入了局部的平移和缩放) ，但是根关节除外，根关节的平移变换代表了 整个骨骼的平移。t 0 ) 可以是运动数据关键帧中对应关节j 的数据或者来自插值 计算获得的中间帧。定义对关节j 及其所有父关节应用了运动变换的最终变换 为： 第2 章手语音成中的虚拟人动i 技术综述 ：黑2 黧缨? 州 ，t ( o ) 包括根关节的旋转和平移( 2 - 2 ) ，( o ) = r ( 0 ) r ( 0 ) “ 从公式可以看出f 0 ) 的计算可以用树的遍历算法实现。骨骼的树结构便于 实现子关节继承父关节的变换。皮肤顶点v 从参考姿势到运动帧下v 的变换公 式如下，不妨假定v 附着于以关节j 开始的骨头： ，=fu)一(力v(2-3) 一( ，) - 1 可以在模型载入的阶段预先计算好。 2 j 2 皮肤变形的方法： 中科院的李艳、毛天露等1 8 和上海交通大学的吴小f 毛等1 0 对皮肤变形的方 法进行了研究和总结，大体上将皮肤变形方法归类如下： 1 刚性变换法 刚性变换法( r i g ad e f o r m a t i o n ) 是晟早出现的皮肤变形算法，严格讲不 是皮肤变形算法，只能说皮肤变换算法。其基本思想是对应于人体骨骼的人体 分段几何直接应用骨骼的变换，从而产生人体姿态的变化。因其方法的简单性， 常用于运动学研究和演示。刚性变换的缺点是变形时关节连接处的皮肤会产生 断裂和穿透等问题。真实感较差。 霉jg ( a ) 韧始状态 彻弯蕊壹形状骞( c ) 安倒 图2 - 6 皮肤的刚性变形引自“” f i 目u e 2 4 5 t h e n 鲥b i n ds k i nc x a m p l e 2 局部变形算子法 为了解决刚性变形法所造成的各段皮肤不连贯和非柔性变形的缺点， k o m a l s u 、m a g n c n a tt h a l m a n n 等呷k 1 9 l 提出了局部表面算子法( l o c a ls u r f a c e o p e r a t o r s ) 。局部表面算子法的基本思想是使用连续函数来表示人体皮肤( 参数 曲面) ，即整块皮肤由多块局部皮肤构成，每块局部皮肤用个函数定义。变形 过程中，各块局部皮肤之间始终保持连续。 k o m a t s u l l 8 提出一种使用双四次b c z i e r 和g r e g o r y 曲面片来定义皮肤、并 一 基 北京工业大学工学硕士学位论文 实现皮肤变形的方法。 m a g n e n a tt h a l m a n n 等1 1 9 1 引入了依赖于关节的局部变形算子 ( j o i n t d e p e n d e n tl o c a ld e f o r m a t i o n ，j l d ) 的概念。以手部为例，首先将手部的 整块皮肤分为多块局部皮肤，每块局部皮肤与某些特定的关节相关，在局部皮 肤顶点和相关关节的关节角度之间建立函数映射关系，即依赖于关节的局部变 形算子然后，骨骼运动造成关节角度的变化，可根据局部变形算子得到皮肤顶 点的新位置。通过调整局部变形算子中的各个参数，可以模拟手指绕关节旋转 或肌肉鼓起时的皮肤变形。 局部表面算子法的缺点在于：首先，每一种关节有时甚至每一个关节都要 指定特定的变形函数；其次，由于真实人体结构的复杂性和可变性，单纯使用 几个数学函数存在着很大的局限性，比如不适合于模拟肩关节处的复杂变形最 后，既然这种变形技术由确定的函数来决定，模型设计师不容易控制变形。 3 骨骼子空间变形法 骨骼子空间变形法( s k e l e t a ls u b s p a c ed e f o r m a t i o n ，s s d ) 是另一种保持各 块局部皮肤间连续性的皮肤变形算法。这种方法还有一个被工业界广泛使用的 名称，即蒙皮法( s k i n n i n g ) 。在刚性变形法中，皮肤网格顶点的变形只与其所 在骨头的运动有关。然而实际上，关节附近的皮肤变形同时与关节两侧骨头的 运动有关。s s d 法就是为解决此问题而产生的。s s d 法的基本思想是皮肤网格 顶点的变形和一段或多段骨头的运动有关，原始的s s d 首先分别得到皮肤顶点 随各段相关骨头刚性位移后的位置，再将这些位置值进行加权求和，得到皮肤 顶点的新位置。 假定皮肤顶点的变形受关节j l ，j 。影响，经典s s d 的线性混合蒙皮( l i n e r b l e n d i n gs k i n n i n g ，l b s ) 公式如下： l 1 ，= w ( f ) f ( 一) 彳( z ) _ v( 2 - 4 ) i = 1 关节j l ：j 。对应的影响权重为w ( 1 ) ，w ( n ) ，w ( i ) 的和为l 。而f ( 工) 爿( 工) 。v 是v 在关节j i 单独影响下的位置v i ，可见经典s s d 采用的是对顶点位置的线性 混合。 ： 经典s d d 方法存在一定的局限性。首先，各控制点的权值设置繁琐，要得 到满意的变形效果需要大量手工工作，这点在当前的建模工具中得到了很大 的改进；其次，对于一些相当灵活的身体区域，例如肩膀，某些骨骼姿态下的 变形严重失真。产生问题的原因是某些期望的变形结果并不一定存在于骨骼局 部坐标系所定义的子空间中，所以无论怎么改变蒙皮的权值参数，也无法得到 满意的结果。但由于该方法简单有效，得到了广泛的应用。许多研究集中到试 图提高建模速度和克服失真问题上来。 第2 | 手语日中的& 拟 i 技水练连 图2 7 左是小臂在弯曲时肘关节处出现的塌缩效应，右图是小臂在扭曲时 肘关节出现的类似于糖纸两端的裹糖纸效应。 圜27 线性混合蒙皮的塌缩放应和囊糖纸效应1 f i g u r e2 - 7 t h ec o l l a p s i n ga n dc a n d y - w r a l ，p e re f f e c t s i nl b s s u n 等人”“利用法向体( n o r m a lv o l u m e ) 技术，将高分辨率表面网格映射 到低分辨率的控制网格中。变形时，利用s s d 法得到骨骼驱动下的低分辨率控 制网格的形状，表面皮肤依控制网格的变形自动变形。s i n 曲等口”利用面向曲 面的自由变形技术( s u r f a c e - o r i e n t e df r e e f o r md e f o r m a t i o n s ，s o f f d ) ，思想也 是通过增加低分辨率网格再映射到高分辨率网格来改善皮肤的变形，只是控制 网格采用f f d 中的技术。这两种方法由于只在低分辨率控制网格的变换过程需 要计算骨头的混合，高分辨率网格的变换在对应的单一控制蚓倍中进行，一定 程度上简化了混合的运算量，并更好的保存了皮肤的体积信息。 一迥t 一纛一一j 司耗簪 黔 国2 - 8f f d 控制网格体引自 f i g u r e 2 - 8c o n t r o l i z l l i c e i nf f d 只内瓦大学m i r a l a b 实验室的s h e n 和k a l r a 等人口2 ) 存s d d 算法的基础 上提出了“交叉截面变形”的概念，显著提高了变形速度和变形逼真性。蛀近 北京工业大学工学硕士学位论文 m o h r 等人蛤出了一个扩展s d d 的皮肤变形方法。通过在标准骨骼层次结构 的已有关节之间加入虚关节并尽量减少相邻关节之间的不一致性，可以克服 s d d 的典型失真问题，并仿真一些非线性的身体变形如肌肉膨胀等。 w e b e r l ”惶出了增加骨骼分段来提高顶点位置混合动画效果的真实感，其 算法基础在于发现皮肤变形失真的直接原因在于关节运动角度过大( 超过6 0 度) 。为了减小关节旋转角度可以增加一段骨头，新增关节和原来关节平均变化 的角度：如果添加一条骨骼链由几段骨头组成，则可以更好的平滑角度。所以 在超过安全角度( 即点绑定不易失真的角度) 的关节处增加骨骼链可以将所 有关节角度控制在安全范围内，在运动幅度大的关节处将获得比点绑定更好的 效果图。 添加骨骼分段算法的缺点主要有：一，添加骨骼段的过程会破坏原始骨骼 的拓扑结构，骨髂链添加完成后需要重新绑定皮肤；二，骨骼添加的数量和位 置均由操作者人为指定，绑定过程复杂化，操作难度增大。 x i a o s o n g y a n g 等h 。瞧出了曲线骨骼蒙皮( c u m s k e l e t o n s k i n n i n g ) 的方法， s v e n 和j u 一2 6 i 2 7 1 提出样条对齐变形( s p l i n ea l i g n e dd e f o r m a t i o n ) 的方法，其思 想都是用参数曲线来代替线段骨头的连接，皮肤顶点变换到曲线的空间。首先， 骨骼的变换映射到曲线骨骼的变形( 控制点的变换) ，曲线的变形再映射到皮肤 顶点的变形。这种方法比线段骨骼粒的方法更为精确的保存了皮肤的体积信息， 视觉效果更好。 鬓矗鬈 b 哇哇 u m f f om x 铷n n i 叼s m o a m m 图2 - 9f f d ，顶点混台和样条变形的对比 i 自鲫 f u m 2 - 9 c o m p a r l s o n o f f f d ，m a t r i x s k i l m i n g a n d s p l i n e d e f o r m 球面混合蒙皮法，图2 一1 0 说明了经典s s d 算法在进行线形混台蒙皮时塌 缩效应的产生原因。 第2 章手语合成中的虚拟人动画技术综述 曼曼曼曼! 曼曼曼曼曼! 皇! 曼! 鼍曼曼曼! 曼曼皇曼皇曼曼曼! 曼璺鼍曼曼曼曼曼! 曼曼i i i 一_ i 皇曼曼! 曼曼曼曼寰曼皇! 曼曼曼曼曼曼曼曼曼曼! 鼍曼曼曼鼍 盯qr 图2 - 1 0 线性混合蒙皮 f i g u r e2 1 0l i n e rb l e n d i n gs k i n n i n g p 点变换后的坐标是p 和p ”的线性加权平均，p 和p ”是p 点分别受两端骨 头单一影响变换的位置，q 同理。直观地，因为p 和p ”都是在世界变换下得到 的顶点坐标，直接的线性混合使混合后的顶点损失了p 在关节局部坐标下的向 量长度信息。裹糖纸效应也是同样的道理，比较极端地旋转1 8 0 度时混合后的 顶点完全失去了向量长度。而合理的混合应该保证混合后的p 在距离关节等距 离的球面上滑动，基于这样的考虑，k a v a n 和z a r a 【2 8 】例把混合计算前移到项点 变换的环节，引入了四元数插值的方法对顶点变换进行球面混合，得出了球面 混合蒙皮的方法。 球面混合蒙皮的算法改进示意如图2 - 1 1 示： 图2 - 11 球面混合蒙皮的算法改进示意图引自 f i g u r e2 - i1t h ei m p r o v e m e n to fs p h e r i c a lb l e n ds k i n n i n g 球面混合蒙皮算法是对项点的旋转进行加权平均，( 其思路类似于光照模型 中多边形内部点着色是依顶点颜色插值还是依顶点法线进行法线插值，进而计 算光照) 。其过程是：计算顶点在每个关联骨头空间的旋转变换，对这些变换依 关联权重进行混合得出顶点最终旋转所得的变换。不同于顶点位置的混合，球 面混合蒙皮更好的保存了皮肤的体积信息，克服了顶点位置混合中皮肤塌陷和 打结的缺点。变换的混合通常以四元数的形式进行，旋转的插值在骨骼的变换 北京工业大学工学颈士学位论文 插值中十分常见。 r = m r 日与v ( 2 - 5 ) 其中r 表示皮肤顶点的世界坐标，e 1 表示在骨头j 局部坐标系下的旋转矩 阵，e 挪是对骨头旋转变换进行插值之后得到的结果变换，m ，为骨头】的运 动变换矩阵。 u 心 圈2 一1 2 线性混台蕈皮( 左) 与球面混台羹皮( 右) 的对比引自删 f i g u m2 - 1 2c o m d 蜘o f d e f o r m a t i o n s b yl b s ( 1 e f 0a n ds b s ( r i g h 0 球面混台蒙皮的优缺点：球面混合蒙皮的优点是有效的克服了经典s s d 算 法的塌缩和囊糖纸效应，而且不影响骨骼的拓扑；缺点是四元数混台的算法复 杂性高，在进行蒙皮之前要计算旋转的中心。 4 姿势空间变形法 姿势空间变形法本身建立在纯表面模型的框架下，不需要骨骼信息但基 于其在变形技术中的重要性和与$ s d 结合的潜力在此处加以介绍。 l e w i s 等p 提出了一种基于实倒的人体皮肤变形法，即姿势空间变形法 ( p o s es p a c ed e f o r m a t i o n , p s d ) 。p s d 韵基本思想是；首先预定义人体在若干 姿势下的皮肤形态，不同姿势的皮肤顶点之间保持一种对应关系，这些姿势构 成了姿势空间在动画台成的过程中，选取其中的某一姿势作为关键姿势，中 间姿势依据项点的对应关系对关键姿势进行时间插值。 姿态插值可以表达为散乱数据插值问题。l e - , w i $ 等人h ”使用高斯径向基函 数；s l o a n 等人旧使用了3 次b 样条基函数；a l l e n 等人【”1 使用k - 领域插值算 法进行关键姿态插值；a n g u e l o v 等人0 4 蟪出了s c a p e 方法，能够生成逼真的 皮肤变形效果。 第2 章手语合成中的虚拟人动面技术综进 图2 一1 3 姿势空间中的两个实倒引自“” f b u 2 - 1 3 t w o m s i n p s d 基于姿势空间的变形方法建模过程简单有效、逼真性较高，设计者可任意 增加关键形状的个数以实现对变形过程的精确控制。但这也是其缺点所在：关 键形状所需的个数随着参数个数( 如骨骼结构中自由度的个数) 的增加而指教 增加；另一个缺点是插值函数对变形的影响并不明确。 2 4 本章小结 本章介绍了手语合成中虚拟人建模、运动控制、骨骼动画合成等关键技术， 着重介绍了骨骼动画中皮肤网格的变形算法。其中虚拟人建模、运动控制、骨 骼动画是构成手语合成系统的技术基础皮肤网格的变形算法是实现较高真实 度手语动画的关键，后续章节将基于本章介绍的相关技术得以展开和具体实现。 第3 章基于向量修复的线性混合蒙皮法 苎! ! 鼍曼! 曼曼_ 一 。m m ；in 曼! ! 曼! ! ! 曼曼 第3 章基于向量修复的线性混合蒙皮法 3 1 基于向量修复的线性混合蒙皮法 3 1 1 算法介绍 k a v a n 和z a r a 2 8 1 分析了线性混合蒙皮塌缩效应的产生原因，并由此引出了 球面混合蒙皮的算法研究。线性混合蒙皮的塌缩效应表现为皮肤顶点在混合后 损失了体积信息( 相对于关节的距离信息) ，四元数球面混合防止了这种损失； 而换个角度，把混合后的顶点相对于关节的距离信息在执行线性混合后再补偿 回来，也应该可以避免塌缩。基于这样的思路，本文引入了基于向量修复的骨 骼蒙皮法。算法如下： 将顶点位置混合的皮肤顶点在与关节点连线方向上作向量长度修复，假设 v 为皮肤混合前的顶点坐标，v j 为混合前两段骨骼间的关节坐标，v 为线性混 合后的顶点坐标，v j 为新姿式下的关节坐标，修复公式： 一y ，l l 2 _ 4 一_ o 筒 p 。) q f i x e d 图3 1 基于向量修正的线性混合蒙皮算法 f i