（计算机软件与理论专业论文）真实感三维人脸表情动画的设计与实现.pdf

摘要 摘要 计算机人脸动画是虚拟现实领域的新兴课题，其主要研究内容包括展现真实 感人脸表情和数据驱动模型实时产生动画两个方面，它的最终目标是生成逼真的 动画效果。本文着力于模拟真实的人脸的结构和展现各种常见的人脸表情。本文 的主要工作是提出了一种新的基于m p e g - 4 标准的人脸表情动画实现方法，该方法 不但能够产生各种富有真实感的人脸表情动画帧，而且能兼容文本等的情境驱动 信息，实时生成表情动画序列。 本文针对人脸各部分具有不同运动方式这一特点，结合多种技术来实现人脸 表情：对于眼皮、额头、脸颊等区域的皮肤运动，本文采用分段线性函数模拟其 弧线运动，采用测地线距离计算运动系数，采用径向基函数对运动区域进行平滑 处理；采用刚性运动模拟眼球和头部的的旋转，并参考生理学相关研究结果，采 用近似方式模拟注视目标时头部和眼球的协调运动；针对嘴部肌肉复杂运动多样 的特点，在一般网格变形的基础上，引入肌肉向量模型，利用嘴部括约肌和线性 肌来约束特征点的运动，使在模拟嘴部的复杂运动时有生理学上的依据。 针对数据驱动模型实时生成动画序列问题，本文利用第三方文本语音转换系 统( t t s ) 实现文本到语音的转化，在转化时提取时间信息和可视化发音口型信息， 结合可视化发音口型库实时生成可视化语音动画。结合协同发音模型，保证了各 动画帧之间过渡的自然性和口型间过渡的真实性。 最后本文开发了一个基于m p e g - 4 标准的人脸表情动画系统，该系统实现了本 文提出的方法，并能够接受驱动信息，实时地生成有真实感的人脸表情动画。 关键词：m p e g - 4 ，人脸表情动画，文本驱动，肌肉向量模型，可视化语音 a b s t r a c t c o m p u t e rf a c i a la n i m a t i o ni sar 蟛wt o p i ci nv i r t u a lr e a i l t yf i e l d ，t h em a i nr e s e a r c h c o n t e n t si n c l u d i n gd i s p l a y i n gt h er e a l i t yf a c i a le x p r e s s i o na n dg e n e r a t i n ga n i m a t i o n s e q u e n c ei nr e a lt i m e b a s e do nt h es t a n d a r do ff a c i a la n i m a t i o ni nm p e g - 4 ，an e w m e t h o do fr e a l i z i n g3 df a c i a la n i m a t i o ni sp r o p o s e di nt h i st h e s i s t h i sm e t h o di sn o t o n l yc a p a b l eo fd i s p l a y i n gv a r i o u sr e a l i t yf a c i a le x p r e s s i o n sb u ta l s oc a p a b l eo fb e i n g d r i v e nb y p l a i nt e x tt og e n e r a t i n ga n i m a t i o ns e q u e n c ei nr e a lt i m e c o n s i d e r i n gd i f f e r e n tr e g i o n so ff a c eh a v ed i f f e r e n tm o d e so fm o t i o n ，m a n y t e c h n o l o g i e sa r ea d o p t e di nt h i st h e s i s u s ep i e c e w i s el i n e a rf u n c t i o nt os i m u l a t et h e c u r v i l i n e a rm o t i o no ft h es k i n c a l c u l a t et h ed i s t a n c eb e t w e e nv e r t i c e sw i t hg e o d e s i c a n ds m o o t ht h es u r f a c e s 州t hr a d i a lb a s i sf u n c t i o n r i g i d l ym o v et h em e s h e so fe y e s ， f o rt h o s em e s h e sr o t a t eo n l y a n dw i mt h er e s u l tf r o mp h y s i o t o g y , s i m u l a t et h em o t i o n o fg a z i n g a d dt h em u s c l ev e c t o rt ot h em e s ht oc o n s t r a i nt h ef e a t u r ep o i n t s m o v e m e n t w i t ht h em o d e lo fl i n e a rm u s c l ea n ds p h i n c t e r t h i st h e s i su s e st h et h i r dp a r tt e x tt os p e e c hs y s t e mt oc o n v e r tt e x tt os p e e c h ，a n d a c q u i r et h ed a t aa b o u tt i m ea n dv i s e r n ed u r i n gt h ep r o c e d u r e t h e ng e n e r a t ev i s u a l s p e e c ha n i m a t i o ni nr e a lt i m ew i t ht h el i b r a r yo fv i s e m e i no r d e rt oi m p r o v et h es m o o t h a n dr e a l i t yo ft r a n s m i t i o n , t h ec o a r t i c u a l t i o ni sd i s c u s s e d f i n a l l y , af a c i a la n i m a t i o ns y s t e mi sd e v e l o p e dt oc h e c kt h em e t h o dp r o p o s e d b e 佑r e k e y w o r d ：m p e g 一4 ，f a c i a la n i m a t i o n ，t e x td r i v e n ，m u s c l ev e c t o r , v i s u a ls p e e c h u 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 虢一吼1 年删。日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 、 日期f 钳刖d 日 第章绪论 第一章绪论 随着计算机软硬件设备和计算机图形学的持续不断的快速发展，新的技术不 断出现，它们被广泛地应用到了社会生产的各个方面，并走进了我们寻常人的日 常生活中。而人作为现实社会的主体也进入了虚拟的空间，在虚拟空间中扮演同 益重要的角色，虚拟空间中的虚拟角色和真人之间的交互也越来越多。影视作品， 多媒体娱乐中广泛采用的虚拟三维场景和虚拟三维人物已经让人沉浸其中，分不 清虚拟与现实的差别。另外，利用虚拟现实技术还能依靠证据重建犯罪现场，模 拟犯罪分子的作案过程，成为法庭e 强有力的证据，有效地打击违法犯罪行为。 总之，虚拟现实技术在人类近乎无限的想象力的指引下，同益走向繁荣。 本章介绍真实感= 维人脸表情动画研究的背景、厅法以及意义，并简要地阐 述本文即将讨埝人脸动【m l 技术，最后概述奉文的内容安排。 11 三维人脸表情动画概述 在计算机动唧研究中三维人脸表情动| 丑| 是个重要的方向，它主要研究如何 真实地模仿人脸运动和产生相应的表情动作。人的面部特征明显且差异敦导，他 也是我们鉴别个人身份的重要手段。人的面部表情与姿态是人与人之问信息交流 的蕾要渠道，我们可以通过观察判断出他人喜怒哀乐的情绪、推断他人的个性、 甚至领悟到他的情感状杏等。 人脸造型和表情晶显著的应用是电影、游戏制作锋娱乐方l i 。功夫熊猫中 的胖嘟嘟的熊猫阿乍、d f f 物史莱克中真诚好心的止莱克、星球大战中的尤 达人师等，无不体现丁人腧造型和表情动面技术的魅儿。 电子科技大学硕士学位论文 此外，计算机模拟真实感的人脸表情动画还被应用于诸如视频会议、人机接 口、面部外科手术、计算机辅助手语教学以及心理学、认知科学等许多领域。人 脸动画系统能够丰富人机接口，增强系统非口语语言通信及表情信号的能力，使 人机接口更令使用者感兴趣，且更易于使用。 此外，人脸造型和表情动画在刑事鉴定、远程会议、电视电话等特殊场合的 应用也日趋增多。 1 2 国内外研究现状 由于人脸肌肉组织多样且生理结构复杂，而人脸所能呈现的表情也多得难以 列举，因此使得人脸造型和人脸表情动画一直是计算机图形学领域的最具挑战性 的课题之一。 人们在日常生活中每天都会见到无数不同的人脸，因此人们对人脸非常的熟 悉，能快速且精准地区分人脸外观各种不同的差别和脸部的各种微妙表情，这也 加大了人脸造型和实现表情动画的难度。因此只有结合多种学科的研究成果，才 能获得理想的试验结果，它们包括心理学，解剖学、人计算机视觉以及图形可视 化等方面的知识。而如何将现有的多种研究成果很好的融合，方便快捷地给出三 维人脸模型并产生自然逼真的表情，是当前的热点研究内容。 随着p a r k e 在2 0 世纪7 0 年代在三维人脸建模及其表情动画技术领域的开创 性工作，世界上越来越多的研究人员发现真实感人脸建模及其动画技术具有很强 的应用和研究价值。之后的3 0 多年，全世界优秀的研究人员不断加入到这一研究 领域。使三维人脸建模和动画技术得到迅猛的发展。w a t e r s 等人提出了广泛应用 的肌肉向量模型。c o h e n 和m a s s a r o 以及其他很多研究者对可视化语音合成进行了 初步的尝试。l e e 等人用三维扫描仪来创建人脸模型，并提出了一种处理和改进扫 描结果的方法。t a k i m o t o 用两张正交的人脸照片来建立人脸模型。这种方法的优 点是简单易行，但是模型误差偏大。p i g h i n 等人开发了一套系统，通过多幅照片 来进行人脸三维重构，最后可以生成具有相当真实感的三维人脸模型和人脸表情， 但是需要大量的手工工作。z h e n g y o uz h a n g 等人用人脸视频作为输入，用户只要 在其中两帧中各标出5 个特征点，就可以自动生成三维人脸模型，同时生成人脸 动画。r m k o c h 等人在w a t e r s 肌肉模型的基础上，采用了有限元的方法来产生人 脸表情。他们的这种方法相对于质点肌肉模型更加精确，但是计算量大，实时性 差，目自仃已经应用于医学研究。m p e g 一4 标准中也专门制定了人脸模型参数规范”1 。 第一章绪论 1 3 本文主要工作和内容安排 本文重点讨论了基于m p e ( ；- 4 标准的真实感三维人脸表情动画的实现方法以及 一种基于文本的动画驱动方法。 真实感是三维人脸表情动画及三维人脸建模的基本要求，在基于多边形网格 的人脸模型上实现动画时，模型的逼真性和动画效果的真实感之间存在着一对矛 盾：网格顶点越密集，模型的真实性越强；但在实现动画的过程中，密集的模型 网格会需要大量的计算和较长的渲染时间，这将降低动画的刷新率，影响动画的 逼真性，这就是动画与建模之间的矛盾。本文提出的一种新的基于m p e g - 4 的三维 人脸动画方法能够很好缓解这种矛盾，该方法能够在f a p 帧的驱动下，对具有3 71 6 个网格顶点，7 7 1 6 个面片的三维人脸模型，生成具有滴定真实感的三维人脸表情 动画，动画刷新速度可达到6 2 帧秒， 另外，为了给上述动画方法提供数据驱动人脸模型，本文提出了一种驱动人 脸模型产生表情动画的思想及其实现方法基于文本的动画驱动方式。该方法 可以依靠用户输入的纯文本信息，动态地合成语音，并产生f a p 帧，依靠事先建 立的发音口型库实时驱动三维人脸模型，产生具有真实感的人脸表情动画序列。 本文的结构安排如下： 第一章：绪论。主要介绍了三维人脸动画技术以及三维人脸建模的研究背景 以及研究的意义。在此基础上，给出了本论文的研究内容和结构安排。 第二章：人脸表情动画技术。综述现有的人脸表情动画技术，分别对它们的 优点、缺点及性能给进行了详细的讨论。 第三章：m p e g 一4 人脸动画标准，讨论标准的框架结构，标准中对人脸动画 定义的几个重要参数，以及基于此标准实现人脸表情动画的一般方法。 第四章：三维人脸表情动画实现方法。此章是本文的重点，将讨论结合多种 现有技术，对人脸进行分区域实现表情动画。 第五章：文本驱动的人脸表情动画。本章将采用第三方文本语音转换系统， 实现从文本到语音的人工合成，结合事先制作的发音口型库，生成可视化语音动 画，考虑到上下文关系，引入协同发音模型，使得结果更加自然与平滑。 第六章：人脸表情动画系统。根据前文讨论的方法，本章实现了一个人脸表 情动画系统v r f a c e ，讨论了系统中交互式选点功能、关键帧编辑功能以及可视语 音动画和合成语音的同步问题，并给出了前几章中没有出现的实验结果。 最后是本文的总结和对下阶段工作的展望。 电子科技大学硕士学位论文 第二章人脸表情动画技术 面部是人体最具特点和最具有表现力的部分，人脸的面部特征是区别个人身 份的重要标志，人们通过不同的脸部表情表达不同的情绪，还能通过唇型的变化 作为辅助需要来传递说话的内容。为了生成能够适应各种不同结构的人脸模型， 且实时具有真实感的动画，各个领域的研究人员进行了大量的研究和开发工作， 在这个领域中已经有许多成功的方法和一些新颖的原型系统来生成人脸表情动 画，但是人脸表情动画的研究仍在继续展开和深入。 图2 - 1 是对常见人脸建模和人脸动画方法的分类。 图2 - 1 人脸表情动回技术 上图中所列出的各种不同方法之间并没有严格的界限，相反，在现实的应用 过程中，人们往往通过融合多种方法，以求产生更好的试验结果。 因为篇幅的限制，不能将所有的人脸表情动画方法和技术在本章中一一介绍， 在随后的小节将简要讨论几种方法，对于本文用到的m p e g 4 人脸动画标准将在 下一章中进行着重阐述。 4 第一章人脸表情动回技术 2 1 关键帧插值方法 关键帧插值技术是种产生人脸表情动画的直观方法。这种方法在单位时问 区间k 定义一个插值函数，通过指定位于两端的两幅关键帧来产生光滑运动。经 过插值方法得到的模型可咀看作是几个摹本模型的加权和。 _ = ( 2 一i ) 在上面的式子巾，v ，是结果模型中第j 个顶点，是权值，衄，是第k 个基本 模型中的第j 个顶点。屯既u ，以看作是多边形模型中的顶点，可以看作是样条模 型中的控制店；权值可以由动画制作人员为基本模型逐个指定，也可以通过一 定的算法自动确定”1 。 不同的插值函数可以产生不同的效果。其中广泛使用的是简单的线性插值函 数5 1 ，而w a t e r s 等人在b e c f a c e 项目中使用c o s i n e 甬数使动丽在开始和结尾处产 生了加速和减速的效果1 。当画面有四帧时，二次函数插值能比普通的线性插值提 供更加细腻的表情变化。h r a o ”。将双线姓插值与图像的渐变( m o r p h i n g ) 结合起米， 得到许多真实感脸音l ：表情。插值方法小光在精灵鼠小弟、型球人战和指环下等影 视$ 4 作中得到广泛采用，在m a y a 、3 1 ) s t u d i o 舭等诸多衙l k 化软什中也被广泛 采用。 悟管管 酗22 戈键帧插值示意图 图2 2 展现，关键帧之间的插值过程其中左边的模型表示中性表情，右边 的模型表示张嘴，中阐的模型就是经过插值以后，得到的表示略略张嘴的表情效 粜。 插值方法又分模型插值1 i 参数插值，模型捅值是直接更新人脸模型的顶点， 而参数插值则足通过甬数川接移动网格顶点。s er a “将线f f 插值应朋到硅r 弹簧横 “的模拟物理肌肉方沤r ，通过修肌眯的弹件系数，+ 炙脱了l 喘挪动i _ 化。 近年术，l 。e w ls 等人4 的姿态r 州变形方沾，捉r个坫朴木幞7 理形状扪 电子科技大学硕士学位论文 值的人脸动画框架。他们把人脸表面网格的变形看作是一些例如微笑、闭眼等高 级表情参数集合的函数，在采集了大量不同表情和不同姿态的人脸模型数据以后， 新的人脸模型就可以通过这些离散样本的插值得到。 关键帧插值这一方法，能够快速且方便的产生一些基本的人脸动画，但是它 大量依赖于样本、真实性不高和产生的动画种类有限等缺点也是十分的明显。而 且一些对于样本模型的正交性有一定的要求，这样也对样本的采集提出了更高的 要求；动画制作者为了得到更好的效果，也需要对各个基本模型的权重进行反复 的修改，这将是一项十分枯燥且繁重的工作。针对这些问题，l e w i s 等人提出了一 种具有用户界面的方法呻，能够自动剔除插值混合过程中遇到的非正交的基本模 型。d e n g 等人也提出了一种基于径向基函数回归学习的方法n 们，来将捕获的人脸 姿态数据映射到三维人脸模型。 2 2 参数化方法 参数化方法能克服简单插值方法的一些限制乜1 。从理论上来说，应该存在一种 理想的参数化方法能够依靠调节各个设置好的参数的值来得到任何人的任何表 情。参数化人脸模型的建立是因为人脸本身的相似性，基本相同的面部结构( 如 眼睛、鼻子、嘴巴等) 和相似的面部动作( 如眼睛的开闭、嘴巴的开合等) 。这些 参数可以看做是人脸模型和人脸表情空间中的基本元素，通过将各个参数进行有 效的组合，能够相对高效地产生大量不同人脸的不同表情。另外，参数化方法比 插值方法能更直观的控制人脸外形，而且通过组合参数得到人脸表情的计算量要 少得多。 当然，参数化也并不是像理论上说的那样完美，他也有很多固有的缺陷。一 般来说，每一个参数都有其一定的影响区域，当影响区域重叠时，多个参数影响 同一个网格顶点的时候，结果常常会产生顶点运动的不光滑过度致使产生不自然 的表情，对于这个问题现在还没有一个系统而普适的方法去解决冲突，一般来说， 都是在应用中都是针对自身需求的特点来制定合理的冲突解决方法。另外，提出 一种完全通用而且适合各种拓扑结构模型的参数化方案是不可能的。这样一套既 定的模型参数很难在其他模型之间通用，使得参数化方法的通用性受到影响，而 且手工设置各个参数的值，对动画制作人员来 兑，不光是一项繁重的工作，也是 对他们经验和技巧的考验。 6 第一章人脸表情动面技术 2 3 二维图像与三维图形的渐变方法 渐变( m o r p h i n g ) 是指二维图像或三维模型之 日j 的连续变化过程。这种形变 需要手工选择图像像素或者网格顶点之间的对应关系，还要为每个对应关系设置 合适的渐变过程函数。图23 展示了模型见渐变的效果。从图中我们可以看到， 两个截然不同的三维模型能够很平滑和流畅地实现过度，这是一般插值方法所难 以实现的。有研究人员”曾在两幅图像上用手工标定对应特征线段的方法来实现 二维渐变。该方法最大的优点在于其具有很强的表现力。但是要获得令人满意的 结果还是需动画制作人员与三维场景大量的交互操作，这也很大程度上比较以来 动画制作人员自身的技巧和经验。 幽2 - 3 三维渐变效果示意图 又有研究人员川又将二维纹理图像的渐变与三维几何模型的渐变相结台，通 过三维儿何插值实现关键脸部删格的变化，同时二维图像渐变应用到纹理映射r f 】， 从而产生表情动画。当然，这一方法仅仅产生了有真实感的关键帧，为了产生效 果更加真实的人脸表情动画序列，还需要采用一定的插值方法束为那熙预先定义 好的关键帧进行帧与帧之间的平滑过度。 丑然依靠一维纹理图像的渐变和三维几何模型的渐变能产牛具有 定真实感 的脸部表情但它们有和插值方法一样明显的缺憾：在源图像和h 标图像之问通 过动作制作人员手工柬选扦对应点足很繁琐f l 勺，而且这报大程度。还依赖于动凹 制作人员的经验，1 二h 在小同的人脸之川小能通川。 电子科技大学硕士学位论文 2 4 人脸动作编码系统 人脸动作编码系统( f a c s ) 是通过分析人脸生理结构n 羽而获得的对面部肌肉、 皮肤运动的描述，这是第一次相关研究人员结合心理学和生理学对人脸各种表情 的组成进行研究的成果。f a c s 定义了4 4 个基本动作单元( a u s ) ，不同单元的组 合产生不同的脸部表情。例如：一个难过的表情，由单元a u l ( 内侧眉毛向上抬 升) ，a u l 5 ( 嘴角向下弯曲) ，a u 4 ( 眉毛向上抬升) ，a u 2 3 ( 抬下巴) 组合而成。 表2 1 和表2 2 列举了一些a u 单元及其对应的面部运动和用这些基本的a u 来表 示常见表情的方法。 表2 - 1a l l 单元表 a u 编号f a c s 名称a u 编号f a c s 名称 1 内侧眉毛抬升 1 2嘴角拉伸 2 外侧眉毛抬升 1 4 酒窝 4 眉毛提升 1 5 嘴角下拉 5 上嘴唇抬升 1 6 下嘴唇收缩 6脸颊抬升1 7 下巴抬升 7 嘴唇紧闭 2 0 嘴唇舒张 9 皱鼻子 2 3 下巴抬起 表2 2 基本表情与a u 的对应关系 基本表情涉及的a u 单元 惊讶a u l ，2 ，5 ，1 5 ，1 6 ，2 0 ，2 6 恐惧 a u l ，2 ，4 ，5 ，1 5 ，2 0 ，2 6 愤怒 a u 2 ，4 ，7 ，9 ，1 0 ，2 0 ，2 6 高兴a u l ，6 ，1 2 ，1 4 伤心 a u l ，4 ，1 5 ，2 3 2 5 基于物理特性的模型 弹性网格肌肉模型，向量表示模型和多层弹性网格模型通常都被统称为基于 第二章人脸表情动画技术 物理的肌肉模型。因为这些模型都致力于模拟脸部肌肉和组织的物理特性，为组 织和肌肉建市物理模型，从而模拟组织和肌肉在运动时的动力学特性。这些模型 冈为其考虑了较多人脸组织的生理学特性，冈此比单纯的控制网格顶点的形变有 更好的表现力和较好的真实感。但是相对的，复杂的模型也导致了计算复杂度的 提升。 2 51 弹性网格肌肉模型 人脸上复杂多样的肌肉在 l a tl 。1 的人脸肌肉模型中被表小成定义在各个人 脸区域上的各功能块的集台，也就是说一个功能块就是一块脸部肌肉，一共有3 8 个局部肌肉块。通过弹性网格将这些肌肉相互连接，通过网格间弹力的作用，协 调人腧模型各个医域的形变，创建各种动作单元。 252 肌肉向量模型 向量 剀24w a t e r s 肌肉向量模型示意幽 w a t e r s 在1 9 8 7 年提出了肌肉向量模窄”1 。在他的模型中，肌肉被定义成向量 的形式，试图通过肌肉向量和其附属的多个参数束控制人脸模型上网格顶点的运 动，形成人脸表情。模型中将嘴部的括约肌简化为椭圆，括约肌 i i 绕着椭圆的中 心进行收缩和扩张。图24 显示了一个嵌入了肌肉的人脸刚格。谈模型的特点是： ( 1 ) 可用一定数量的参数对模型的特征肌肉进行控制。 ( 2 ) 不针对特定的脸部拓扑结构。 然而午令_ | = 1 关研究人员坯没自拽到好的，法能够j 哿1 i r 【肉m 骨一动安放剑般 旦虻特定的人腧m 格r 1 - 上。粘个过程将依赖础】向r b l 人蚰的纤蛉希h 巧，n 不能 株证结粜是最优的，吲为计判f f j 标准足动制作人帖的h 小削断。止然住胃、l 电子科技大学硕士学位论文 确的肌肉向量，会极大影响表情动画的质量，甚至产生完全失真的表情。尽管有 如此多的不足之处，该模型仍因其简洁表达和独立于网格结构的优点，得到广泛 应用。 2 5 3 多层弹性网格肌肉模型 人脸的组织，肌肉和骨骼是分层的，相应的就长生了多层弹性网格肌肉模型。 在多层弹性网格肌肉模型中，可变形的网格n 神也分为相应的三层包括：皮肤、脂 肪组织和肌肉层。每一层的网格节点由具有弹性的弹簧元素连接。肌肉拉力通过 网格传播产生脸部表情。虽然这个模型具有很强的真实感，但计算量大，因为不 光需要计算同一层网格顶点之间的弹力作用，还需要考虑不同层网格之间力的作 用和对相邻层网格的影响。 l e e 等人n 6 3 在前人的基础上提出了一个基于物理的合成皮肤和多层肌肉的综 合模型。人脸模型由三部分组成：生物组织层，肌肉层节点和头盖骨结构。这个 综合体用三棱柱体元素来表示，如图2 - 5 所示，分成表皮、筋膜和颅骨曲面。连 接表皮和筋膜的弹簧元素模拟皮肤的弹性。影响肌肉拉力的弹簧元素分别连接筋 膜和头盖骨层。模型非常逼真和精确，但需大量的计算和大量的调节才能造出一 张特定的人脸或角色。这一个方法之道在近期都还有进展n 7 | 。 图2 - 5 文献”州中的多层弹性网格肌肉示意图 i o 第二章人脸表情动画技术 2 6 自由变形方法 自由变形( f f d ) 方法的基本思想就是将一个目标对象放到放到三维网格中。 然后通过对外部三维网格的拉伸、弯曲使删格中的对象产生间接变形”1 ，如图 2 - 6 所示。自由变形方法可以对多种曲面体模型，包括多边形网格、曲面网格和实 体模型进行变形。c o q u i 儿a r t 提出的扩展的自由变形方法( e f f d ) ”消除了非平 行六面体的限制。各种基于自由变形思想的方法，将埘目标对象的直接操作转化 为间接操作，这样做使得对目标网格的操作不再依赖于目标对象的网格类型。 厕凰 削26n t h 变形示意h 自由变形方法的荩本思想被广泛借桀，众多的研究人员在此摹础上进行了自 腥，发展m 许多其他的方法。 2 7 小结 奉章我们回顾了与人脸动画紧密相关的基础技术方法。对牡常用方法的原 理和应用情况进行了详细地介绍，分析了各种方法的优点与缺点。表2 - 3 是对前 立所属各种方法的总结。 电子科技大学硕士学位论文 表2 3 常见人脸表情动画技术比较 类型优点缺点 受限于预定义的关键帧， 插值法简单，直观，速度快不易创建大范围内的各种 真实感人脸表情 参数化方法能对特殊的人脸形状给没有一套完全理想的参数 予精确的控制，经过少量的计算和参化方案，当参数产生冲突 参数化方法 数组合就能提供较大乏味的脸部表时，很难有一个系统的方 情法去裁决 源图像和目标图像之间通 过手工来选择对应点很繁 渐变方法可以产生非常真实的脸部动画 琐；依赖于视角；在不同 模型间不能够通用。 可以模拟肌肉产生较为真实感的变必须调整每个顶点，调教 弹性网格 形 比较困难 按生理学原理正确放置肌 用线性肌和括约肌精确地模拟了人肉向量位置是一项艰巨的 肌肉向量 脸表面的运动，效果真实工作，在不同模型间不能 够通用 效果最好的一种模型，唯一能够对皱计算量大，调节困难，实 多层弹性网格 纹进行造型的模型时性差 不涉及复杂的生理结构，而以类似于并不提供肌肉的精确模拟 肌肉的方式对人脸网格实施变形，操和皮肤行为，从而不能够 自由变形 作控制点的位置和权重比操作一定对皱纹、皮肤中的褶皱和 影响区域内的肌肉向量要简单。隆起造型。 第三章m p e g - 4 人脸动画标准 第三章m p e g - 4 人脸动画标准 鉴于在多媒体应用中人所占有的重要地位，所以国际标准化组织在制定 m p e g 一4 多媒体标准时，特地将三维人脸动画引入标准1 。m p e g 一4 中定义了人脸动 画参数( f a c i a la n i m a t i o np a r a m e t e r ，f a p ) 和人脸定义参数( f a c i a ld e f i n i t i o n p a r a m e t e r ，f d p ) 等参数，其中f d p 定义人脸形状、纹理等几何位置特征，而f a p 描述人脸的各种基本的运动。另外m p e g - 4 只提供一套基于以上参数实现人脸表情 动画的方法框架，值得一提的事这个框架结构并没有定义实现细节，留给开发人 员广阔的扩展空间，这样各种技术手段都可以统一到该框架中去。 在本章随后的篇幅中将主要讨论m p e g - 4 人脸动画标准的相关内容。 3 1m p e g 一4 简介 由于人自身在多媒体中占据着十分重要的位置，而人脸又是人体最具代表性 和最能够表达情感的部位，国际标准化组织( i n t e r n a t i o n a ls t a n d a r d s o r g a n i z a t i o n ，i s o ) 预见到三维人脸动画的巨大潜力，在制定m p e g - 4 多媒体标 准时，引入了三维人脸表情动画。图3 - 1 表示了标准中作为基准的中性人脸。 z 图3 - 1 中性人脸利f a p u 示意图” m p e g 一4 标准用6 8 个人脸动画参数刻l 哂了复杂的人脸区域运动，用人脸定义参 电子科技大学硕士学位论文 数来描述人脸模型和人脸纹理。虽然m p e g 一4 仅制定了方法框架，并没有提出如何 利参数来产生人脸表情的具体算法，这使得开发人员有充分的空间把各种人脸动 画技术融合到m p e g - 4 中。这样值得基于m p e g - 4 的实现具有极好的兼容性和扩展 性。 3 2m p e g 4 定义的各种参数 3 2 1 人脸定义参数 在m p e g - 4 标准中定义了8 4 个人脸定义参数( f a c i a ld e f i n i t i o n p a r a m e t e r ，f d p ) ，如图3 - 2 所示。特征点被分为1 0 组，包括嘴唇、下巴、眼睛等。 f d p 为选择人脸运动特征点提供了很好的参考标准，经过大量的实验分析，这些特 征点可以真实地反应人脸表情的运动特性。 1 4 第三章l v i p e g - 4 人脸动画标准 霭拉 3 i l o 嘲舅 啊_ 陌n 椭瑚嘲一- r 确 i i x 1 - r 扫- 岫p 舳 图3 - 2m p e g - 4 标准中的人脸动画定义参数1 图3 2 中所有的特征点之间还存在一定的约束关系。在表3 - 1 中列举了这些 约束关系，这些特征点间的约束关系能为模型特定化和面部模型变形提供约束， 提供为各个特征点提供位置参考，简化计算过程。 细 岫 电子科技大学硕士学位论文 表3 - 1 特征点的位置约束关系 特征点位置约束关系 标号位置描述x 坐标 2 1下巴底端点1 x 2 2上嘴唇内侧中点7 1 x 2 3 下嘴唇内侧中点 7 1 x 2 6上嘴唇内侧2 2 与2 4 的中点2 2 x + 2 2 4 2 2 7上嘴唇内侧2 2 与2 5 的中点2 2 x + 2 2 4 2 2 8下嘴唇内侧2 3 与2 4 的中点2 2 x + 2 2 4 2 2 9 下嘴唇内侧2 3 与2 5 的中点 2 2 x + 2 2 4 2 2 1 0 下巴突出点 7 1 x 2 1 1下巴左角点 8 7 x 且 8 4 x 且 8 8 x 3 2 2 人脸动画参数单元 为了使f a p 独立于模型，具有通用性，m p e g - 4 定义了人脸动画参数单元( f a c i a l a n i m a t i o np a r a m e t e ru n i t ，f a p u ) 。f a p u 将f a p 的运动幅度归一化到人脸上某段 特征长度上，这样f a p 的值就与人脸模型的拓扑结构无关了，这样一组经过精心 设计的f a p 值就能够再次应用到不同拓扑结构的人脸模型上，这样之前设置f a p 值的工作就不会白费，就能大大提高动画制作的效率，降低动画制作人员的工作 负荷。m p e g - 4 中定义了6 个f a p u ，分别是i r i s d ，e s ，e n s 、m n s 、姗和a u s 。相 关定义和物理意义参见表3 2 和图3 一l 。 表3 - 2 人脸动画参数单位( f a p u ) 定义 名称定义单位 i r i s d o虹膜的直径( 上下眼皮之间的距离)i r i s d = i r i s d o 1 0 2 4 e s 0瞳距( 两眼瞳孔之间的距离)e s 0 = e s 1 0 2 4 e n s o眼睛与鼻子之间的距离e n s 0 = e n s 1 0 2 4 【n s o鼻子与嘴巴之间的距离m n s o = m n s 1 0 2 4 m w 0嘴巴的宽度m w 0 = m w 1 0 2 4 a u角度单位 1 0 5r a d ( 弧度) 1 6 第三章御e ( “人脸动画标准 3 2 3 人脸的动画参数 m p e g - 4 标准中定义了6 8 个人脸动画参数( f a c i a la n i m a t i o np a r a m e t e r ，f a p ) 。 人脸动画参数定义了一个完整的人脸面部区域运动的集合。我们认为人脸的任何 运动和表情都是由一些基本的区域运动叠加得到的，因此，通过这些参数就可以 来描述每一种表情。理论上说，每一种表情都可以由这些人脸动画参数来描述。 表3 - 3m e l t ；- 4 中f a p 的分组情况 f a p 分组个数 高级f a p ( v i s e m e 和e x p r e s s i o n s ) 2 嘴唇和下巴 2 6 眼睛，包括瞳孔和眼皮 1 2 睫毛 8 脸颊 4 舌头 5 头部运动 3 鼻子 4 耳朵 4 值得一提的是，在6 8 个人脸动画参数中，有两个“高层”参数，分别是v i s e m e 和e x p r e s s i o n 。v i s e m e 表示是每个音素对应的基本可视化口型，一共有1 4 个， 它又被称作“视位 或和“唇型 。对于唇型f a p 来说，在动画原型系统中，可以 预先定义好一些基本的，不同的唇型，其他的唇型可以由这些基本的唇型组合叠 加得到。e x p r e s s i o n 定义了愤怒、高兴、厌恶、恐惧、惊讶和悲伤六种基本人脸 表情，类似于唇形f a p ，表情f a p 也能通过叠加各种基本的表情来得到各种丰富的 表情。另外的6 6 个人脸动画参数属于“低层 参数。它们分别定义了人脸小区域 的运动和头部的转动，这些运动描述了人脸表情很细致的变化，譬如眉毛的上翘 和嘴角的撅起。 表3 - 4 中将六种常见面部表情分解为面部局部区域的运动。这些运动还可以 进一步分解成具体的人脸动动画参数集合来表示。 1 7 电子科技大学硕士学位论文 表3 4 基本表情的描述 表情名称具体描述 喜悦眉毛放松，嘴巴张开，嘴巴向耳朵方向拉。 悲伤眉毛内侧向上，弯眼睛，微闭嘴巴，放松。 愤怒眉毛内侧向下拉，并向内靠拢眼睛，打开嘴巴，紧闭 或微微张开露出牙齿。 恐惧眉毛抬高，并向内靠拢，眉毛内侧向上，弯眼睛，紧 张并警觉。 厌恶眉毛和眼睑放松，上嘴唇通常不对称地抬高并卷曲 惊讶眉毛抬高，上眼睑打开，下眼睑放松张开下颚。 m p e g 一4 中对个人脸动画参数有详细的定义，包括编号、名称、描述、对应的 f a p u 、运动正方向、f d p 的组编号与组内编号等。下图为m p e g - 4 中定义的部分f a p 。 每个f a p 描述了一个细致的人脸面部的局部运动情况。这点与人脸动作编码系统 中的运动单元是相似的。 t a b l e2 7f a p d e f i n i t i o n s g r o u pa s s i g n m e n t s a n ds t e ps i 峨f a pt n a l n e $ m a yc o n t a i nl e t t e r sw i t ht h ef o l l o w i n gm e a n i n g ：i = l e f lf = 氓l = b 佛 b = b o t t o t r ki = i n n e r ，o = o u t e r m = m i d d l e t h eq u a n t i z e ra e ps i z ei sas c a l i n gf a c t o rf o rc o d i n ga sd e s c r i b e di ns e c t i o n2 3 3o p t _ j a w 5r a i z b _ m i a i p v e r t i c a lj a *m l q $ u d i s p l a c e n m n t ( d o e s n o ta f f e c tl n o l f l t h o p e a i u 窟) v o r t i c a lt o pm i d d l e i n n e r - l i p d i s p l a c e m e n t v e a i c a lb o l t o m m i d d l ei n n e r - l i p d i s p l a c e m e n t h o r i z o n t a l d i s p l a c e m e n to f k f ti n m 1 i p c o i t i e i 7 $ 1 n e a ：h r - e t c a e d i p h o r i z o n t a l d i s o l a c e m e n to f r i s h ti n i i e f t i p 1 0r a i s e _ b 1 i p i m v e a i c a ld t s p h e e m e a t o fm i d p o i n t b e t w e e nl e f t c o r n e fa n dm i d d l e o f t 。l p i n f 世r l 砸 v e r t i c a ld i s p l a c e m e n t o fm i d p o i n t b e t w e e nr i g h t o t l c r l e l - a n dm i d d i e o ft o pi n i ，e fi i p v e r t i c a ld i s p l a c e m e n t o fm i d p o i n t b e t w e e nl e f t c o l e f l e fa n dm i d , h e o fb o t t o mi l l n e l i i p 2i4 + 1 0 8 0 + 3 6 0 m n $ bd o w n222士6 士1 8 0 m n sb u p 2324 1 1 1 6 0 m wb l d i242：1 ：6 0 0士1 8 0 m wb r i 班 2 52 ：- 6 0 04 - 1 8 0 m n $ bd o w n262：- 6 0 0士l m 聃sbd o w n272：- 6 0 0士1 8 0 m n $ b u p 2324 - 1 8 6 0 幽3 - 3m p e g - 4 标准中若干个f a p 的定义 1 8 第三章m p e g - 4 人脸动画标准 3 3m p e g _ 4 人脸动画的一般原理 在前面的几小节中，介绍了m p e g - 4 中定义的各个实现人脸表情动画的有用参 数，包括人脸定义参数( f d p ) 、人脸动画参数( f a p ) 和人脸动画参数单元( f a p u ) ， 本节中将介绍利用这些参数生成有真实感人脸表情动画的一般原理。 根据运动方式的不同，m p e g - 4 定义中的6 6 个底层f a p 可分为两大类： 一、控制人脸某些特定网格的旋转、平移和缩放等刚性变换，该类运动具有 简单的统一规则，比如转头、转动眼珠等； 二、控制人脸皮肤的拉伸收缩型的运动，该类运动没有统一的规则，比如皱 眉毛和眨眼睛等。对于这类运动，在动画实现过程中将通过f a p 的值，结合f d p 域中的预先定义好的人脸动画定义表( f a c ea n i m a t i o nd e f i n i t i o nt a b l e ，f d t ) 来计算每个相关网格顶点的位移，在每个顶点都运动到合适的位置后，自然也就 形成了一个新的人脸表情。 第一类f a p 中，运动类型包括旋转、缩放和平移三种。如果运动类型是旋转 的话，需要定义旋转轴和旋转因子，如果运动类型是缩放和平移的话，需定义三 维比例因子。 针对第二类f a p ，人脸动画定义表中需要定义3 部分内容： 1 f a p 单元的影响区域； 2 f a p 单元的值域分段； 3 f a p 单元影响区域中各个网格顶点的运动系数。 对于任意一个f a p ，需要在人脸动画定义表中查找出这三部分内容，然后计算 出该f a p 影响的所有网格点的位移。对于一组f a p ，每个f a p 都计算位移，然后将 这些位移叠加起来就可以得到一个生动的人脸表情。在第四章中，我们将详细讨 论如何定义以上三部分内容。 3 4 讨论与分析 m p e g - 4 中定义的人脸表情动画方法框架是目前应用比较广泛而且相对比较