（计算机软件与理论专业论文）基于混合模型的人脸表情模拟研究.pdf

摘要 人脸表情在人们的交流中起着非常重要的作用，是人们进行非语言交流的一 种重要方式。随着信息技术的高速发展和人类对计算机依赖性的不断增强，作为 增进人类之间交流能力的人脸表情模拟越来越受到研究者们的重视。自p a r k e 在 1 9 7 2 年创建的第一个三维人脸表情动画开始，三十年来人脸建模和表情模拟技 术已经突飞猛进，取得了大量丰硕的研究成果，并在娱乐、通讯、医学、教育等 不同领域有着广泛的应用。本论文在前人研究工作的基础上，通过建立特定人脸 模型，结合人体解剖学和生物力学的相关知识，提出基于混合模型的人脸网格形 变模型，实现人脸表情的真实感模拟。 在比较三维人脸模型的表示和构建方法的基础上，根据实时人脸表情模拟对 三维人脸模型的要求，采取从p o s e r 7 0 中导出人脸模型，并经优化后作为一般人 脸模型，对给定的人脸正侧面照片采取径向基函数插值的方法进行特定人脸适 配；对人脸纹理合成中的拼接加权因子进行改进，并将其与基于g a u s s l a p l a c e 金字塔的图像拼接融合方法相结合，得到无缝多分辨率的全景人脸纹理图；采用 基于逐点插入法的d e l a u n a y 三角剖分算法建立人脸网格和纹理图像间的映射关 系，实现人脸模型的纹理映射。 在综合分析和比较前人的研究成果的基础上，结合人体解剖学和生物力学的 相关知识，提出了用于人脸表情模拟的混合模型。该模型主要包括三个子模型： 弹性皮肤模型，肌肉模型和骨骼模型。在弹性皮肤子模型中，本文采用非线性的 质点弹簧模型来模拟人脸皮肤的粘弹性行为，并加入了边界约束很好地避免了人 脸模型崩溃现象的发生；肌肉作为产生人脸表情的最主要的因素之一，本文对人 脸网格顶点在不同类型肌肉下的受力情况进行分析并给出受力公式；为了模拟下 巴的运动，本文加入了人头骨骼模型，这样不仅可以通过简单的计算来模拟下巴 的运动，还能够对人脸皮肤的变形起到约束的作用，产生更加真实的人脸表情。 最后，给出基于混合模型的人脸网格形变方程，并实现了一个扩展性很强的 人脸表情模拟系统。通过实验表明，该系统不仅能够实现不同人脸表情的真实感 模拟，而且能够达到5 0 帧秒以上的速度，远远超过实时动画的要求。 关键词：表情模拟；纹理融合；混合模型 a b s t r a c t f a c i a le x p r e s s i o np l a y sav i t a lr o l ei np e o p l e si n t e r c o m m u n i o n ，a n ds e r v e sa sa n i m p o r t a n tw a yf o rp e o p l e sn o n v e r b a li n t e r c o m m u n i o n w i t ht h er a p i dd e v e l o p m e n t o fi n f o r m a t i o nt e c h n o l o g ya n dt h eu n c e a s i n ge n h a n c e m e n to fh u m a nd e p e n d e n c eo n c o m p u t e r , f a c i a le x p r e s s i o ns i m u l a t i o n ，a saw a yt op r o m o t et h ee x c h a n g ea b i l i t y b e t w e e np e o p l e ，o b t a i n sm o r ea n d m o r ea t t e n t i o n sf r o mr e s e a r c h e r s s i n c et h ef i r s t3 d f a c i a le x p r e s s i o na n i m a t i o ne s t a b l i s h e sb yp a r k ei n19 7 2 ，t h ef a c em o d e l i n ga n df a c i a l e x p r e s s i o ns i m u l a t i o nt e c h n o l o g yh a sp r o g r e s s e db yl e a p sa n db o u n d si nt h ep a s t3 0 y e a r s ，a n dh a sm a d eag r e a td e a lo fr e s e a r c hr e s u l t s i tw i d e l ya p p l i e sa td i f f e r e n t f i e l d s ，i n c l u d i n gt h ee n t e r t a i n m e n t ，t h ec o m m u n i c a t i o n ，t h em e d i c i n e ，t h ee d u c a t i o n a n ds oo n t h i sp a p e r , o nt h eb a s i so fp r e v i o u sr e s e a r c h ，t h r o u g he s t a b l i s h i n gs p e c i f i c f a c em o d e l ，u s i n gr e l a t e dk n o w l e d g eo nh u m a na n a t o m ya n db i o m e c h a n i c s ，p r o p o s e d ah y b r i dm o d e lu s e df o rf a c el a t t i c ed e f o r m a t i o n ，a n di m p l e m e n t e dt h er e a l i s t i c s i m u l a t i o no ff a c i a le x p r e s s i o n b a s e do nc o m p a r i n gt h em e t h o d so fr e p r e s e n t a t i o na n dc o n s t r u c t i o no f3 df a c e m o d e l ，a c c o r d i n gt ot h er e q u i r e m e n t so f3 df a c em o d e li nr e a l t i m ef a c i a le x p r e s s i o n s i m u l a t i o n ，f a c em o d e le x p o r t e df r o mp o s e r7 0w e r ea d o p t e da n do p t i m i z e dt os e r v e a st h eg e n e r a lf a c em o d e l t h e nf o rt h eg i v e nf r o n ta n dl a t e r a lp h o t o so ff a c e s ，r a d i c a l b a s i sf u n c t i o nw a su s e dt oc a r r yo nf a c i a la d a p t a t i o n t h em o s a i cw e i g h t e df a c t o ri n f a c i a lt e x t u r es y n t h e s i z i n gw a si m p r o v e d ，a n dw a sc o m b i n e dw i t hi m a g em o s a i c m e t h o db a s e do ng a u s s l a p l a c ep y r a m i d ，t h e nt h es e a m l e s sm u l t i - r e s o l u t i o n p a n o r a m i cf a c i a lt e x t u r ew a sa c h i e v e d i no r d e rt oi m p l e m e n tt h et e x t u r em a p p i n g o f f a c e m o d e l ，d e l a u n a yt r i a n g u l a t i o na l g o r i t h m b a s e do ni n c r e m e n t a li n s e r t i o n a l g o r i t h mw a su s e d t oe s t a b l i s ht h em a p p i n gr e l a t i o n sb e t w e e nf a c em o d e la n d t e x t u r e o nc o m p r e h e n s i v ea n a l y s i sa n dc o m p a r i s o no ft h ep r e v i o u sr e s e a r c hr e s u l t s ，a h y b r i dm o d e lf o rf a c i a le x p r e s s i o ns i m u l a t i o nw a sp r o p o s e du s i n gr e l a t e dk n o w l e d g e o nh u m a na n a t o m ya n db i o m e c h a n i c s t h i sm o d e lm a i n l yi n c l u d e st h r e es u b m o d e l s ： e l a s t i cs k i nm o d e l ，m u s c l em o d e la n ds k e l e t o nm o d e l i nt h ee l a s t i cs k i nm o d e l ，t h e n o n l i n e a rm a s s s p r i n gm o d e lw a su s e dt os i m u l a t i o nt h ef a c i a le l a s t i c i t yb e h a v i o r , a n d e d g er e p u l s i o ns p r i n gw a sj o i n e dt oa v o i dt h eu n r e a l i s t i cp h e n o m e n o no ff a c em o d e l m u s c l es e lv e sa so n eo ft h em o s ti m p o r t a n tf a c t o r sf o rg e n e r a t i n gf a c i a le x p r e s s i o n ， t h ef o r c ec o n d i t i o n so ff a c el a t t i c ev e r t i c e sa r ed i f f e r e n ta c c o r d i n gt ot h et y p eo ft h e m u s c l e ，s ot h ef o r c ec o n d i t i o n sw e r ea n a l y z e da n df o r c ef o r m u l a sw e r eg i v e n i no r d e r t os i m u l a t ej a w sm o v e m e n t ，h e a ds k e l e t o nm o d e lw a sj o i n e dt o i tc a nn o to n l y s i m u l a t ej a w sm o v e m e n tb ys i m p l ec a l c u l a t i o n ，b u ta l s op l a yac o n s t r a i n tr o l ed u r i n g t h ef a c i a ld e f o r m a t i o n s o ，i tc a l lg e n e r a t em o r er e a l i s t i cf a c i a le x p r e s s i o n sb yu s i n g t h eh y b r i dm o d e l f i n a l l y , t h ef a c el a t t i c ed e f o r m a t i o ne q u a t i o nb a s e do nh y b r i dm o d e lw a sg i v e n ， a n daf a c i a le x p r e s s i o ns i m u l a t i o ns y s t e mw a sd e s i g n e da n di m p l e m e n t e d t h es y s t e m h o l d sg r e a te x p a n s i b i l i t y e x p e r i m e n t si n d i c a t et h a ti tc a nn o to n l yi m p l e m e n tt h e r e a l i s t i cs i m u l a t i o no fd i f f e r e n tf a c i a le x p r e s s i o n s ，b u ta l s or e a c has p e e do fm o r et h a n 5 0f r a m e sp e rs e c o n dw h i c hg o e sf a rb e y o n dt h er e q u e s t so fr e a l t i m ea n i m a t i o n k e yw o r d s ：e x p r e s s i o ns i m u l a t i o n ；t e x t u r em o s a i c s ；h y b r i dm o d e l 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成 果。本人在论文写作中参考的其他个人或集体的研究成果，均在 文中以明确方式标明。本人依法享有和承担由此论文产生的权利 和责任。 声明人( 签名) ：两、谩 吻。睥6 月佣 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大 学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电 子版，有权将学位论文用于非赢利目的的少量复制并允许论文进入学 校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检索， 有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适 用本规定。 本学位论文属于 1 保密( ) ，在年解密后适用本授权书。 2 不保密( ) ( 请在以匕相应括号内打“”) 作者签名：博谚、 日期：伽髫年( 月v 日 聊鹳彬p 一6 肿日 第一章绪论 第一章绪论 随着计算机图形学的不断发展，三维技术也得到了飞速的发展，并且被广泛 的应用到了社会生产的各个领域。而人作为社会的主体也进入了这个虚拟的三维 空间，电影里铺天盖地的三维动画已经让人分不清虚拟与现实的界限，网络游戏 中的各种虚拟角色也正吸引着无数的游戏爱好者。利用虚拟现实技术还可以重现 犯罪现场，成为法庭上最强有力的证据，让犯罪分子难逃法网；虚拟技术的应用 又为聋哑人提供了沟通的桥梁。可以说，三维技术把人类的想象力发挥到了极限， 正所谓“只有想不到，没有做不到。 1 1 选题背景 人脸作为个体的门户，是人体上最具表达力的一部分，在人类的交流中占据 着举足轻重的地位。通过人脸，我们可以鉴别出个人的身份，观察出其喜怒哀乐 的情绪，甚至推断出其情感状态等。 心理学家认为，情感表达= 7 语言+ 3 8 声音+ 5 5 7 6 面部表情。可见人脸表情与 情感表达的关系十分密切。 人脸具有广泛性和多样性特点。人脸表面具有高度复杂的几何形状和十分丰 富的颜色纹理信息，目前用计算机图形学的方法建立起逼真的三维人脸仍然是一 项具有很大挑战性的工作。早期人们复制人脸的方法包括粘土雕塑、手工绘画等， 后来又出现了照片和电影，但是其复制机制只限于二维。人脸的二维图像仅表达 了人脸表面的一个角度方向的信息，随着科技的发展，在诸多方面，人们已经不 能满足于仅获取单角度方向的人脸信息，人们希望可以更方便的从不同角度观察 人脸，可以更简单的操作人脸。 二十世纪中期开始，计算机技术迅猛发展，人们利用计算机技术模拟人脸的 研究越来越多，并取得了丰厚的成果。现在，三维人脸建模与表情动画技术已经 成为研究热点而广受关注，其应用领域也日益广泛，在影视制作、可视电话、视 频会议、游戏娱乐、辅助教学、医学研究以及虚拟演播等很多方面都有所应用。 尽管目前已经取得了一些技术上的突破，但还是不尽人意，例如需要专门的设备、 基于混合模型的人脸表情模拟研究 数据量大、不便于存储以及在网络上传输等。如何在不辅之于昂贵的设备，尽可 能减少交互的条件下，创建具有真实感的人脸模型和表情动画，是研究者们关注 的焦点。 1 2 脸部表情动画的研究内容 人脸面部表情动画应该说是所有动画中最复杂的一种。由于人脸面部表情十 分丰富，喜、怒、哀、乐的程度与深浅又不一样，即使最粗的估计也有上千种表 情，每一种表情使得人脸模型的各个部位有不同程度的变化，因此，这方面所要 研究的内容有： ( 1 ) 人脸面部表情分析与形式化表达方法。尽管人脸面部表情十分丰富， 但有必要对人脸各种表情的特征规律进行分析，从而找到各种表情与脸部五官之 间的变化规律，并给出一般的形式化描述方法。 ( 2 ) 建立脸部表情动画的形变模型。当人脸产生表情时，脸部表面各点将 发生变化，即产生位移，因此需要设计一种模型，用来计算面部各点的位移量， 而且这种模型应该能准确地模拟人脸的面部表情。 ( 3 ) 在确定了形变模型后，为使计算简单，还需要研究或选用一种好的计 算方法，以提高系统效率。 1 3 研究人脸表情模拟与动画的意义 早在1 8 7 2 年，c a r i e sd a r w i n 就出版了“t h ee x p r e s s i o no ft h ee m o t i o n si nm a n a n da n i m a l s 一书，开始了对人脸表情的研究。现在，人脸表情模拟与动画在计 算机图形学、计算机视觉中越来越受到人们的重视，其有着广泛的应用领域，主 要表现在如下几个方面： ( 1 ) 娱乐业 计算机生成的三维虚拟人物在影视、广告中的应用越来越普遍。人物面部动 画是动画影视处理中最繁琐的操作，其真实感绘制效果也是影响制作的一个瓶 颈，许多情况下，只能获得近似的模拟。即便如此，佳作仍不断涌现t 从玩具 总动员、真实的谎言、夺面双雄到流行一时的魔戒系列，其制作过程 都体现了面部虚拟处理技术的魅力。 2 第一章绪论 ( 2 ) 通讯 通讯技术的发展，使传媒由传统的音频信号扩展至多媒体。视频信息对人类 的信息交流尤为重要，视频传输正成为新的热点。为了充分利用有限的网络带宽， 就必须对视频信息进行压缩，尽管图像压缩作为计算机科学中的一个传统学科已 经进行了多年的研究，但至今仍无法满足低带宽下网络传输的要求。为此，人们 提出了人脸表情参数化的面部信息压缩思想：力图在发送端从实际视频中实时提 取面部形状、表情参数，在接收端实时恢复相应的参数，得到面部表情。这一设 想有望获得高度的压缩比，但仍有许多技术问题有待解决，它也是计算机科学中 的一个极具挑战性的课题。诺基亚、摩托罗拉、m m 、i n t e l 、d e c 、s o n y 等大型 无线通信、计算机公司都有专门的课题组致力于该研究。 ( 3 ) 医学 在医学领域中，人脸建模与动画技术主要应用于面部整形手术和心理学研 究。在进行面部整形手术之前，可以模拟手术的过程和展示手术后的治疗效果， 从而做出准确详细的手术方案，减少手术的风险。不断发展的人脸建模与动画系 统也为心理学家进行人脸运动和表情的研究提供了帮助，心理学家可以用人脸运 动的计算机模型来进行心理学与表情变化间相互关系的辅助研究，这比使用照片 或刺激真人的肌肉的研究更加方便。 ( 4 ) 教育 在远程教育方面，只要在客户端的计算机上生成当前教师或对方的特定人脸 模型即可模拟教学的过程，而不必像目前这样实时传送视频图像数据：在聋哑人 的辅助教学当中，由于聋哑人听不到声音，只能通过人脸表情与发音时的口型来 领会其意思，所以用计算机生成人脸模型并产生表情动画，将对聋哑人的教学带 来一次深刻的革命。 ( 5 ) 虚拟主持人 随着i n t e r n e t 的迅速发展，虚拟主持人成为计算机视觉与图形学中的热门研 究课题之一，三维人脸动画能够自动生成逼真的主持人，还可模拟人的表情，满 足虚拟主持人视频交互的需要。 3 基于混合模型的人脸表情模拟研究 1 4 本论文的工作和章节安排 本文研究和探讨了虚拟现实和计算机图形学中的研究热点之一人脸表 情模拟。在人脸建模过程中，对人脸纹理的拼接加权因子进行改进，并与基于 g a u s s l a p l a c e 金字塔的图像拼接融合方法相结合，合成无缝全景人脸纹理图。 在前人研究成果的基础上，结合人体解剖学和生物力学等相关知识，提出了用于 人脸表情模拟的混合模型，该模型主要包括三个子模型：弹性皮肤模型，肌肉模 型和骨骼模型：在弹性皮肤子模型中，本文采用非线性的质点弹簧模型来模拟人 脸皮肤的粘弹性行为，并加入了边界约束很好地避免了人脸模型崩溃现象的发 生：肌肉作为产生人脸表情的最主要的因素之一，本文对人脸网格顶点在不同类 型肌肉下的受力情况进行分析并给出受力公式；为了模拟下巴的运动，本文加入 了人头骨骼模型，这样不仅可以通过简单的计算来模拟下巴的运动，还能够对人 脸皮肤的变形起到约束的作用，产生更加真实的人脸表情；最后给出混合模型下 人脸网格的形变方程及实验结果。本论文的章节安排如下： 第一章，绪论。简要阐述了本论文所做工作的研究背景和意义，本论文的主 要工作和论文结构安排。 第二章，人脸表情动画技术回顾。对人脸表情动画技术的研究现状做了简要 的概括和总结，指出了它们的优缺点以及在应用上的限制。 第三章，人脸的解剖学基础。对人脸的解剖学知识进行简要的介绍，主要包 括以下几个方面：人体头部骨骼结构，人头的比例关系及其主要形体组织，人脸 面部的肌肉组织。 第四章，三维人脸模型的建立。对一般人脸模型的获取和特定人脸模型的生 成进行介绍。 第五章，人脸纹理图的合成与模型的纹理映射。提出人脸纹理合成的改进策 略，并对模型进行纹理映射。 第六章，基于混合模型的人脸网格变形研究。在前人研究成果的基础上，结 合人体解剖学和生物力学等相关知识，提出用于人脸表情模拟的混合模型，并对 该模型进行详细阐述和分析，最后给出实验结果。 第七章，人脸表情模拟系统的功能设计与实现。实现了一个扩展性很强的人 脸表情模拟系统，介绍了系统的功能及其实现。通过实验表明，该系统不仅能够 4 第一章绪论 实现不同人脸表情的真实感模拟，而且能够达到5 0 帧秒以上的速度，远远超过 实时动画的要求。 第八章，总结与展望。对本论文所做的工作进行总结，并对下一步的工作进 行展望。 5 基于混合模型的人脸表情模拟研究 第二章人脸表情动画技术回顾 人脸表情在人们的交流中起着非常重要的作用，是人们进行非语言交流的一 种重要方式。表情含有丰富的人体行为信息，是情感最主要的载体，对它的研究 可以进一步了解人类对应的情绪和心理状态。为了最终生成能够广泛适应各种人 脸，并且尽可能自动实时和逼真的动画，国内外学者从事了大量的研究工作。从 p a r k e 【l 】在1 9 7 2 年所作的开创性工作开始，在这个领域中已经形成了一些基本的 方法，并构建了若干系统来生成人脸表情动画。但是由于人脸本身结构的不规则 性，人与人之间的差异性，再加上肌肉、骨骼、组织、以及人脸运动的复杂性等 因素的影响，使得对人脸表情动画的研究仍在继续和深入。 n o h ，j y 和n e u m a n n ，u 【2 l 总结了研究人脸建模与动画的最终目标是：建立 具有高度真实感的动画，能够实时运行，尽可能自动化以及自适应的人脸建模与 动画系统。 在已有的研究中，计算机人脸表情动画方法可以分成两类：基于几何学的方 法和基于图像的方法2 , 3 1 。基于几何学的方法是指由顶点组成多边形并展示人脸 表面的三维模型的处理，包括关键帧插值法，参数化方法，基于伪肌肉变形的方 法以及基于肌肉的方法；基于图像的方法是指从一张二维图像或照片变换到另一 张二维图像或照片进而得到想要的动画效果，包括m o r p h i n g 方法，表演驱动的 方法和表情编码系统。如图2 1 所示。 人脸表情动i 龋 弹it - ) t , 何学的方法i i 基于豳像的方法 关键帧搔值法lii 参数化办法ilm r v h i r j g ：b 法ili 表情编码系统 攀丁肌肉的方法il 举于为肌肉变形的方法袭演瓤动的方法 图2 1 人脸表情动画方法分类 6 第= 章 脸表情动画技术回顾 2 1 基于几何学的方法 2 1 1 关键帧插位法 关键帧插值法是最简单也是最常用的方法。它指的是在三维空间中获取空间 顶点并将它从一个位置移动到另一个特定的位置，计算机计算这两点之间的所有 点，然后将该点沿计算得到的点的轨迹运动，如果该顶点是多边形的一部分，观 察者将产生表面变形的幻觉。 人脸表情动画可以采用对关键帧的多种插值方式。一个新的人脸表情不但可 以通过插值两个关键位置生成，而且可以对四个关键位置插值生成( 双线性插 值) ，插值八个关键帧( 三线性插值) 来生成。插值算法可以是线性的、非线性的 或混合的。在插值时，虚拟人脸模型可以是具有固定的拓扑结构，也可以具有变 化的拓扑结构：当拓扑结构相同时，可以直接对曲面顶点或控制点进行插值；当 拓扑结构不同时，可以先将各关键帧中的人脸模型转换为拓扑结构相同的模型， 再进行插值。图2 2 为对人脸表情进行线性插值的结果，插值公式为； p i n t e r p o l a t e d ( t ) = ( 1 一t ) + p n e u t r a l + f + p h a p p y ，0 f 1 ( 2 - 1 ) ( a ) 中性表情( b ) 插值表情( c ) 高并表情 圈2 2 对人脸表情进行线性插值的结果 p a r k e ”】最早在计算机人脸动画领域使用此方法，他定义了大约4 0 0 个顶点 基于混合模型的人脸表情模拟研究 由这些顶点构成2 5 0 个多边形，由这些多边形组成多边形表面，通过利用余弦插 值方法来产生不同表情的中间帧，进而产生动画序列来模拟人脸表情变化，这些 初始的表情帧是通过多对照片得到的。该方法通过较少的多边形描述人脸表面， 以使得边和点与动画需求相一致。在当时可以容易地获得每一关键帧的数据，而 随着真实感要求的提高，顶点数量以数量级增长，模型复杂度增大，获得每一关 键帧数据将是行不通的。 插值方法的优点：迅速，操作直观，只需定义少数关键帧，即可产生一段基 本脸部动画。缺点：它不能在大范围内创建各种真实感的人脸形状：不适宜不同 人脸的组合；不是基于解剖学原理的。 2 1 2 参数化方法 p a r k e 【4 】提出一个称为直接参数化的方法。该方法仍然用多边形描述人脸表 面，但用更少的参数来描述运动变化。用户可以通过改变这些参数的值直接、方 便地创建各种人脸的形状和表情。这些参数包括两类：形状参数，用于控制个性 人脸的形状，包括人脸的大小、形状、人脸各个特征的相对位置以及控制人脸全 局特征的参数，如高度、宽度比等；表情参数，用来控制表情，如：眼睛区域的 表情参数包括：眼帘睁开、瞳孔的大小、眉毛的形状和位置等。该方法是基于经 验描述虚拟的人脸特征，不考虑各个区域之间的低层次的连接关系，不但可生成 一个特定脸的表情，而且支持多个人脸之间的转变。 d i p o l a 扩展了p a r k e 的模型，使得人脸满足非对称性和较大范围的脸的类型， 该模型具有全局的、局部的压扁、拉伸和更多的表情参数。c o h e n 等【5 】增加了唇 和舌头的参数、图像纹理映射参数、肤色变换参数等。p e a r a n c e 等【6 】将语音的音 素也作为参数映射到原始参数模型上，它是最小的语言理解和处理的原型。 参数化方法有如下优点：克服了简单插值法的一些限制，它通过选取一组独 立的参数值来定义人脸的表情；有别于插值技术，参数化方法能对特殊的人脸形 状进行精确的控制；通过参数的组合，只需少量的计算就能提供较大范围的脸部 表情。同时它也具有如下缺点：无法对受压力下的人脸皮肤进行变形；当两个参 数施加于同一顶点时，将产生参数冲突，而使产生的人脸表情失去真实感，对此， 人们曾试图加以改进，如只在脸部特定区域使用参数化方法，但这样又会在脸部 8 第二章人脸表情动画技术回顾 画面形成运动边界：对基于人脸网格的拓扑选择参数集进行完全参数化是不可能 的，而且，由于设置参数值时涉及大量的手工调节，可能导致不真实的运动和形 变。 2 1 , 3 基于伪肌肉变形的方法 基于伪肌肉变形的方法比以上两种方法计算更加精确。它利用基于几何学的 变形方法模拟肌肉的运动，如自由变形( f r e e f o r m d e f o r m a t i o n ，f f d ) 【7 j 和有理 自由变形9 1 等。 f f d 最早由s e d c r b e v g 等【71 在1 9 8 6 年提出，它通过控制点的操作对具有一 定体积的物体进行变形。该方法由以下四个步骤组成：首先，构造卟足够大的 三参数的自由体( 如：张量积n j r b s 体) ；第二，将欲变形的物体“嵌入”到自 由体中，变形物上各点都可以对自由体进行反求参数；第三，改变自由体控制顶 点；晟后，对变形物上各点，由参数按得到的新控制顶点计算该点变形后的新位 置，得到新的变形体。图2 ，3 显示了f f d 方法对物体变形前后的情况。 ( a ) 变形前 ( b ) 变形后 图2 3f f d 方法对物体进行变形 s c d e r b e r g 等 1 最初引入的是基于三变量b 样条的变形工具l a t t i c e ，其形状 为平行六面体，这在一定程度上限制了它的运用。c o q u i l l a r t t ”j 消除了非平行六 面体l a t t i c e 的限制，提出拓广的自由变形( 册) ，初始的l a t t i c e 只允许棱柱 和圆柱这些形状，因而增加了f f d 的适用范围。 f f d 方法具有如下优点：将变形控制的形式从对实际的曲面的描述转移到不 再依赖于曲面本身的形式，既能用于任何形式的曲面( 如：平面、二次曲面、参 基于混合模型的人脸表情模拟研究 数曲面等) ，又能用于实体造型，而且不受表示模式的制约；它既能对原始曲面 进行局部变形，又能进行全局变形，而且参数曲面经变形以后仍然是参数曲面。 然而，它在应用上也存在一些限制：计算量大，当被变形曲面的控制顶点多时， 速度慢的缺陷；只能在对变形后的物体的尺寸没有严格要求的情况下使用。 有理自由变形( r f f d ) 则对每一个控制点增加了一个权重因子，从而在变 形时，新增了一个自由度，即可以通过改变权重因子而不是改变控制点的位置进 行变形。当所有的权重因子都为1 时，r f f d 就变成了f f d 。 有理自由变形相对关键帧插值法和直接参数化方法来说会得到更好的效果， 但是它忽视了皮肤表面的细节变化，如皱眉等；该方法只能对人脸皮肤表面的肌 肉的运动效果进行模拟，无法模拟真实的肌肉，因此，无法保证皮肤的变形与它 们的运动相一致。 2 1 4 基于肌肉的方法 p l a t t 等【1 1 1 最早研究基于肌肉的模型。在他们的系统中，构造了一个质点弹 簧模型，将肌肉作为抽象层。该方法用来模拟人体真实的肌肉与肌肉运动。这类 方法的具有里程碑意义的是w a t e r s 1 2 】提出的模型，该模型是第一个单纯的基于 肌肉的人脸模型，他根据肌肉的运动特性定义了三种不同类型的肌肉：线性肌， 块状肌和括约肌。这些肌肉不依赖于骨骼结构，因此，可以适应不同的面部拓扑 结构( 如图2 4 所示) 。w a t e r s 的肌肉模型的基本原理也是目前大多数基于物理 的模型多采用的基本原理。但是，它把皮肤描绘成没有基本结构的几何表面，通 过对表面进行简单的几何变形来实现模型的变形，而无法实现细微的组织变形。 1 0 第二章 脸表情动i 技术回顾 图2 4w a t e r s 的肌肉模型 t e r z o p o u l o s 等【1 3 嗵过对肌肉模型引入解剖学原理得到更加真实的人脸变 形。他们将肌肉嵌入到基于解剖学的人脸皮肤模型上，该人脸皮肤模型由三层组 成，这些层构成质点弹簧模型。通过对肌肉施加压力来变形该模型，从而产生人 脸表情。 动a n z 等【“悯非线性的质点弹簧模型对皮肤进行建模，可以模拟动态的真 实皮肤，该模型不再被看作是连续的表面，因为每个质点和每个弹簧可以被单独 地控制。 p a s q u a r i e l l o 等5 】和b u i t ”1 通过将他们的模型分割成多个区域可以达到对肌 肉运动更好地控制。p a s q u a r i e l l o 等通过计算顶点的物理位移来模拟皱纹可以 模拟真实的皮肤，但是他们不能对肌肉和皮肤的弹性行为进行物理的模拟。b u i 通过将法线方向上受影响的点转移到肌肉运动方向上来模拟皱纹。 t a n g 等7 1 介绍了一个基于肌肉的非均匀有理b 样条系统，该系统首先定义 了多个控制点，然后通过改变这些控制点的权重来达到肌肉变形。 s i f a k i s 等8 1 使用t e r a n 等9 1 的更加一般的肌肉构造原理构造了一个在解剖 学上非常精确的人脸肌肉模型该模型是基于有限元算法该模型的肌肉行为能 与环境交互，也就是说，肌肉的运动能够受碰撞等外界产生的力的影响。 简言之，基于肌肉的方法所采用的模型一般由多层组成，层间由弹性单元连 基于混合模型的人脸表情模拟研究 接，弹性单元可以模拟节点的相互作用，达到真实地模拟人脸及其表情变化的效 果。但该方法需要大量的计算，不同的模型在考虑的深度和复杂性上差别很大： 简化的模型很难达到理想的视觉效果；复杂的模型则计算量大，即使一般复杂度 的模型也难以达到实时。 2 2 基于图像的方法 2 2 1m o r p h i n g 方法 由于电影等娱乐行业对真实感的强烈要求，基于图像的技术仍然是常用的方 法。其中比较常用的是m o r p h i n g 方法。该方法实现两个指定图像和模型之间的 变形转换。首先，在两个图像或模型上确定一套特征点集，用映射函数确定两个 目标对象之间特征点集中特征点的对应关系，然后用相关函数确定中间图像的特 征点的位置或纹理空间的坐标值，最后用插值函数计算非特征点的位置或纹理空 间的坐标值。m o r p h i n g 方法包括：2 dm o r p h i n g 和v i e wm o r p h i n g 。2 dm o r p h i n g 能够产生真实的脸部表情图像，但是该方法要求确定特征点之间的对应关系以及 没有考虑对视点和对象的姿势的变化的处理，使得真实的头部运动无法实现。 v i e wm o r p h i n g 克服了上述缺点，它利用传统的仿射几何学的理论，与2 d m o r p h i n g 相结合能够准确实现3 d 对象之间的变形，但是变形结果会受到图像中 目标对象的可视度变化的影响。 b e i e r 等【2 0 】最早提出了两个图像之间的m o r p h i n g 方法。 p i g h i n 等【2 l 】将2 dm o r p h i n g 技术与几何模型的3 d 变形相结合来自动产生具 有较高真实感的3 d 人脸表情。该方法利用人脸照片产生真实感的三维人脸模型， 然后通过不同人脸模型之间的变形实现不同人脸表情之间的平滑过渡。首先从多 张未经校准的人脸照片出发，利用手工操作进行相机定标，然后利用散乱数据插 值的方法对通用人脸网格模型进行变形，使其适配到特定人脸，最后为模型选取 一张或多张纹理照片进行纹理映射。这个过程要在特定人脸的不同表情中重复执 行。为了实现这些表情间的平滑过渡，他们在相应人脸模型间进行3 d 形状变形， 在这个过程中同时也实现了相应的纹理间的融合。 o k a 等2 21 实现了一个从人脸照片到网格模型的实时纹理映射系统。b r e g l e r 1 2 第二章人脸表情动画技术回顾 等2 31 提出了一个视频重写( v i d e o r e w r i t i n g ) 技术，该技术首先在训练胶片中跟 踪说话人嘴巴上的特征点，然后利用变形方法将这些嘴巴动作结合到最终的视频 序列中，从而达到根据语音合成嘴巴的运动变化，产生人物说话的效果。e z z a t 等2 41 对该方法进行了一些改进，并且减少了表情库的大小。c o s a t t o 等”1 获得 了较好的真实感效果，并且实时地合成动画。 2 2 2 表演驱动的方法 该方法通过捕捉在各种面部表情下真实人脸部的特征来驱动脸部模型产生 真实的脸部表情。主要做法是在一个表演者的脸上设置许多特征点，在表演者表 演各种面部表情时，捕捉这些特征点的运动向量，然后使用这些运动向量来驱动 脸部模型的相应特征点产生脸部表情。它提供了一种直观和有效的方式直接控制 脸部表情的产生。而且，它们不依赖于实现，也就是说，既可以用基于图像的方 法实现，也可以用基于几何学的方法实现。 w i l l i a m s t 2 6 1 最早使用一个人的静态脸部纹理图像捕捉2 d 特征点的运动产生 脸部表情动画。g u e n t e r 等2 7 1 做了进一步的研究，他们建立了一个系统，该系统 从视频流中获得几何、颜色、纹理等人脸表情数据，然后利用高质量的可变形的 由动态纹理映射的多边形网格模型真实地再现人脸表情。该系统通过3 d 扫描仪 获得表演者人脸的几何数据，接着在人脸上定义了1 8 2 个特征点，为了得到人脸 的表演数据，利用多个不同分辨率的摄像机同时从不同的角度记录脸部的运动， 然后利用由摄像机得到的特征点的数据对网格模型进行变形得到人脸表情，最 后，利用在摄像机跟踪特征点的表演数据的过程中得到的不同分辨率的视频图 象，根据它们在不同位置的不同权重生成人脸纹理，进行纹理映射。 b l a n z 等【2 8l 将基于图像的技术与基于几何学的技术相结合来模拟表演者没 有表演出来的动作以增强真实感。z h a n g 等【2 9 】也将基于图像的技术和基于几何 学的技术相结合，利用多张不同的人脸表情图像中的皱纹等细节信息产生更具真 实感的人脸表情，人脸特征点在这些表情图像中的几何位置必须被事先标定。他 们还利用了一种能够预测在跟踪人脸过程中可能丢失特征点的技术来自动地从 这些图像中恢复特征点数据，这就降低了对特征点跟踪和恢复技术的要求。 在g u t i e r r e z 等【驯的系统中，用含有满足m p e g - 4 规范的面部特征点的多边 基于混合模型的人脸表情模拟研究 形模型，通过肌肉运动可以得到人脸表情，这些肌肉运动与m p e g 一4 规范相一致。 2 2 3 表情编码系统 表情编码系统可以被认为是表情映射方法的替代技术。它提供了一个用于产 生所有可能的面部表情的肌肉运动的数据库。可以通过简单的编写想要的表情而 让计算机去模拟。最常用的表情编码系统是脸部运动编码系统( f a c i a la c t i o n c o d i n gs y s t e m ，f a c s ) 3 11 和m p e g 4 模型3 2 3 3 1 。 f a c s 是一个被广泛应用的脸部表情编码系统，它最早是被作为心理学的工 具由e k m a n 等【3 l 】提出。f a c s 以自上而下的方式将脸部分割成一系列运动单元 ( a u ) ，这些单元是最基本的单位，不能分为更小的动作单元。f a c s 采用了4 4 个能够独立运动的表情运动单元( 例如，上嘴唇翘起( a u l 0 ) 、眼睑闭合( a u l 7 ) 等) ，这些单元用来描述面部动作，并与使面部表情改变的肌肉结构紧密相连， 一个a u 可以由多个肌肉运动引起，而一个肌肉运动也可以影响多个a u ，因此， a u 和肌肉运动之间是复杂的多对多的关系。在这个系统中，还定义了六种最基 本的表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤以及其他3 3 种不同的面部表 情倾向，通过改变这些运动单元的相关属性，就可以产生不同的人脸表情。后来， 一些学者在该系统的基础上进行了一些改进，其中，国内的研究中提出了 f a c s ( 转换f a c s ) 的表情编码，在f a c s 的规则的基础上，把运动单元的运动 转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和嘴部分别进行表 情编码，使得产生的人脸表情更加逼真。 f a c s 考虑了脸部的解剖学原理，反映了所有基本的肌肉运动，而且每个肌 肉运动都可以独立控制，进而产生大范围的人脸表情，但是它还远远没有包括所 有脸部的底层运动，例如，由嘴唇、下颌运动带来的复杂的肌肉运动是很难用 f a c s 来描述的。 m p e g - 4 第一次对支持三维人脸动画的工具进行标准化，为了获得真实感的 人脸建模与动画，定义了三种不同类型的人脸数据：人脸动画参数( f a p s ) ：用 来产生三维人脸动画，包括重构人脸运动、表情、情感、说话等，该组参数包含 6 8 个参数，其中6 6 个用来描述嘴唇、嘴巴、下巴、眼睛、面颊、鼻子等的运动； 面部定义参数( f d p s ) ：它用来定义人脸模型，既可以配合已有的