（计算机应用技术专业论文）三维人脸动画表情细节研究.pdf

摘要 摘要 计算机三维人脸动画是一种重要的人体行为交互方法。其成果可以广泛地应 用于虚拟现实、辅助教学、医疗研究、电影制作、游戏娱乐等很多领域。而人脸 上的表情模拟以及表情细节的模拟，一直以来都是计算机三维人脸动画中重要的 组成部分，并对最终的模拟效果产生巨大的影响。如何让一个虚拟人物的脸部表 情和真实的人类具有最大的相似性，一直都是计算机三维人脸动画研究的重点。 本文结合国内外关于计算机三维人脸动画的研究现状，主要研究三维人脸动 画的表情细节以及结合国际标准m p e g - 4 中的三维人脸动画驱动方式研究三维人 脸动画的驱动。 关于三维人脸动画的表情细节，本文提出了一种计算复杂度较小的基于三维 网格的人脸表情褶皱的驱动算法，通过在已有的三维人脸网格进行分区，并标定 产生褶皱的区域，在产生褶皱的区域中标定一定数量的褶皱线，由三维人脸网格 上的特征点来驱动褶皱线，进而带动底层的三维网格形成面部褶皱。通过应用本 算法，在普通的p c 机上就可以模拟很真实的人脸褶皱，同时可以获得很好的实时 性。通过应用本文所提出的面部表情褶皱的模拟算法，可以在获得较好的模拟效 果的同时，降低计算复杂度，在普通的pc 机上就可以实现本文提出的算法，虽 然较基于图像的方法相比，结果仍需进一步提高，但是相比于肌肉模型的模拟效 果，还是比较理想的模拟效果，同时又具有比肌肉模型低很多的计算复杂度，并 且在初始网格建模方面也具有很好的通用性。 关于m p e g 一4 的人脸动画，本文主要研究了驱动参数f a p ( f a c i a la n i m a t i o n p a r a m e t e r s ) 的提取，以及由f a p 驱动的人脸动画的驱动方式，同时还关注f d t ( f a c e d e f t a b l e s ) 表的设定以及由f a p 驱动的三维人脸动画的表现形式，并结合 普适计算项目，应用到手语表达的三维虚拟人的手语播报中。 关键词人脸动画；面部褶皱；褶皱线；m p e g 一4 ；f a p a b s t r a c t a b s t r a c t c o m p u t e r3 df a c i a la n i m a t i o ni sa ni m p o r t a n tm e t h o df o ri n t e r a c t i o o f h u m a nb e h a v i o r r e l a t e dr e s u l t sc a nb ew i d e l ya p p l i e dt ov i r t u a lr e a l i t y , a i d e d t e a c h i n g ，m e d i c a lr e s e a r c h ，f i l mp r o d u c t i o n ，g a m ee n t e r t a i n m e n t ，a n dm a n y o t h e ra s p e c t s a n dt h e e x p r e s s i o n sa n de x p r e s s i o n s d e t a i l so ft h ea n a l o g s i m u l a t i o n ，h a sl o n gb e e ni m p o r t a n tc o m p o n e n to fc o m p u t e r3 df a c i a l a n i m a t i o na n d u l t i m a t e l yh a v eat r e m e n d o u si m p a c to nt h es i m u l a t i o nr e s u l t s h o wt om a k ef a c i a le x p r e s s i o n sa n dle a lh u m a nb e i n g sh a v et h eg r e a t e s t s i m i l a r i t y , i sf o c u so ft h ec o m p u t e r3 df a c i a la n i m a t i o ns t u d y b a s e do ht h er e s e a r c ho f3 df a c i a la n i m a t i o n w ec o n c e r nm a i n l yo n3 d f a c i a la n i m a t i o ha n df a c i a le x p r e s s i o n ，a sw e l la sd e t a i l so ft h ei n t e r n a t i o n a l s t a n d a r dm p e g - 43 df a c i a la n i m a t i o n d r i v e na p p r o a c hf o r3 df a c i a la n i m a t i o n t h i s p a p e rs t u d i e se x p r e s s i o n d e t a i l so f3 df a c i a l a n i m a t i o n p r e s e n t sa e x p r e s s i o n sw r i n k l e sd r i v e na l g o r i t h mb a s e do n3 dm e s h ，w h i c hh a ss m a l l e r c a l c u l a t i o nc o m p l e x i t y m a k i n gp a r t i t i o no ht h e3 dg r i d ，m a r k i n gt h er e g i o n i n c l u d i n g f o l dl i n e ，m a r k i n gac e r t a i nn u m b e ro ff o l dl i n e si nt h em a r k e dr e g i o n ， f e a t u r ep o i n t so nt h et h r e e - d i m e n s i o n a lg r i dw i l ld r i v et h ef o l dl i n e s a n dd r i v e t h eb o t t o mt h r e e d i m e n s i o n a lt os h o ww r i n i d e s u s i n gt h i sa l g o r i t h m ，w r i n i d e s o nar e a lh u m a nf a c ec a nb es i m u l a t e do na no r d i n a r yp c ，a n dg e tav e r yg o o d r e a l - t i m ep e r f o r m a n c e t h r o u g ht h ea p p l i c a t i o no ft h i s p a p e rb yt h ef a c i a l e x p r e s s i o no ft h ef o l ds i m u l a t i o ha l g o r i t h m ，c a nb e t t e rs i m u l a t et h ee f f e c ta tt h e s a m et i m e ，r e d u c et h ec o m p l e x i t yo ft h eo r d m a r yo nap cc a nb ea c h i e v e db yt h i s m e t h o d ，a l t h o u g hm o r et h a ni m a g e b a s e dm e t h o d st h er e s u l t ss h o u l db ef u r t h e r i m p r o v e d ，c o m p a r e dt ot h em u s c l e so ft h es i m u l a t i o nm o d e l ，o rm o r ei d e a l s i m u l a t i o n r e s u l t s ，b u t a l s oam o d e lo fm u s c l ei sm u c hl o w e rt h a nt h e c o m p u t a t i o n a lc o m p l e x i t ya n dm o d e l i n gi nt h ei n i t i a lg r i da l s oh a sag o o d u u i v e r s a l a st om p e g - 4f a c i a la n i m a t i o n ，t h i sp a p e rm a i n l yr e s e a r c he x t r a c t i o no f d r i v i n gp a r a m e t e r sf a p ( f a c i a la n i m a t i o np a r a m e t e r s ) a sw e l la sf a p d r i v e n m e t h o df o rf a c i a la n i m a t i o n a tt h es a m et i m e ，t h i sp a p e ra l s oc o n c e r n sa b o u t f d t ( f a c e d e f l a b l e s ) t a b l es e t t i n g sa n df a pd r i v e n3 df a c i a la n i m a t i o na n d t w o d i m e n s i o n a lf a c i a la n i m a t i o n c o m b i n i n gw i t hp e r v a s i v ec o m p u t i n g p r o j e c t , r e s u l to ft h i sp a p e ri sa p p l i e dt o3 dv i r t u a ls i g nb r o a d c a s t k e y w o r d s - f a c i a la n i m a t i o n ；e x p r e s s i v ew r i n k l e s ；w r i n k l el i n e s ；m p e g 4 ： 娶战 1 1 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：捆眺趟厶刁 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：驰陵一同期：剐卑 第1 章绪论 第1 章绪论 1 1 论文的研究背景 1 1 1 三维人脸动画概述 计算机三维人脸动而是一种重要的人体行为交互方法。其成果可以广泛地应 用于虚拟现实、虚拟主持人、虚拟会议、辅助教学、医疗研究、电影制作、游戏 娱乐等很多领域。而且，计算机人脸动画一直以来都是虚拟现实中重要的组成部 分，如何让一个虚拟人物的脸部表情和真实的人类具有最大的相似性，一直都是 计算机三维人脸动画研究的重点。特别是近些年来这项技术在电影中的应用，使 得电影制作者可以获得原本不可能得到的想象中的人物。 在现实的世界中，人的面部会有各种各样的表情，像喜、怒、哀、乐等等， 人脸面部表情的复杂性，决定了在计算机三维模拟的困难性。而一个三维人脸动 画的真实程度或者说模拟效果的好坏往往很大程度上取决于这些面部表情特征 模拟的程度。如何有效的提高三维人脸特征模拟的真实度，已经成为国内外同行 们共同关注的焦点。 在真实的人的面部特征中，包括而部褶皱( 皱纹) 、毛孔、斑点等多种面部 特征比引，有效的正确的模拟这些面部特征，会对三维人脸的真实程度有很大的帮 助，而对于人脸的这些显著的特征，产生的原凶大体可以分为两类，一类是由于 年龄或是偶然事件的原因所形成的，如人脸的眼角出现的年龄皱纹、面部的伤疤 等等，这类面部特征的特点是一旦出现，就会长久存在面部皮肤上，不会凶为人 脸面部的表情变化而变化。另一类是人脸在表现表情的时候产生的面部特征，如 人在说话的时候，会在面颊形成褶皱，这类特征的特点是l | i 时的，它们会随着人 脸的面部表情的变化而变化，而当人脸没有面部表情时，它们就会消失。 随着近些年虚拟三维人物在电影和游戏中的应用，以及电影产业和游戏产业 的不断壮大，对虚拟三维人物的需求和应用的领域越来越多，同时要求也越来越 高，获得一个有效的，具有很好的实时性的，并且真实程度高的三维人脸动画是 一件具有极大挑战性，同时也具有极大的吸引力和重要意义的一件事。 1 1 2 三维人脸动画技术的现状 在经历了三十几年的发展之后，三维人脸动画技术在理论上和实践上都取得 了众多成果。具有逼真的人脸动画的系统在运行速度、准确性等方而已经初步具 有了实用价值，被应用到多种环境中。而与之一脉相承的中国的三维人脸动丽技 术，也已经取得了一定的发展。大量的人脸动画研究成果被广泛应用在虚拟现实、 北京工业大学丁学硕十学位论文 电影和游戏中。 1 1 2 1 国外人脸动画技术 从p a r k ef i1 9 7 4 年发表他的博士论文开始至今，三十多年已经过去了，关 于人脸动画的研究不断的得到科学工作者的重视。这期间不断的涌现研究人脸动 画的优秀学者，像w a t e r sk ，t e r z o p o u l o sd 等等，其技术路线也大体经历了 一个从参数模型到肌肉模型，再到纹理映射模型的转变。p a r k ef i 在1 9 7 4 年和 1 9 8 2 年连续发表了两篇关于参数模型的论文叫，对人脸动画的研究作了先驱性 的工作。w a t e r sk 在1 9 8 7 年发表关于肌肉模型的第一篇论文口3 ，之后关于在 w a t e r s 肌肉模型的基础上，许多优秀的研究成果大量涌现，如r o l fm k o c h 等人 在w a t e r s 肌肉模型的基础上，采用了有限元的方法n 3 儿h 1 来产生人脸表情n5 1 ，主要 应用于医学整容手术；w u 等人也是在肌肉模型的基础上，提出了b i o m e c h a n i c a l 模型n 妇n 制、由p a u le k m a n 和w a l l i c ef r i e s d e n 开发完成了一个采集肌肉运动 参数的软件f a c s ( f a c i a la c t i o nc o d i n gs y s t e m ) ；t e r z o p o u l o sd 完善了w a t e r s k 的工作，提出了著名的三层肌肉模型口儿钔n 们，使肌肉模型的研究达到了一个新 的高度，这期间还有很多的关于肌肉模型的研究论文发表，如p l a t ts 和b a d l e r n 懒网格魁，同时也有一些其它的方法涌现心7 儿蚓，光照模型嘞1 ，包括后来渐 渐兴起的纹理映射技术。大约在9 0 年代末，纹理映射技术开始成为研究的主流， 不断地有优秀的论文在国际会议和期刊上发表，近些年来，研究最多的也是纹理 映射技术，这方面的比较优秀的方法n 6 2 乜钔堙副口1 1 较多，其它的还包括特征追踪模 型心2 2 引，虽然他们采取的方式方法会有些差异，但是都是通过纹理图片来实现对 人脸动画细节的实现。 而且，在国际标准m p e g - 4 中对三维人脸动画格式定义了一个国际标准， m p e g 一4 提供了一套以f d p ( f a c i a ld e f i n i t i o np a r a m e t e r ) 和f a p ( f a c i a l a n i m a t i o np a r a m e t e r ) 为参数的人脸动画驱动方法。 1 1 2 2 国内人脸动画技术 国内关于人脸动画的研究起步较晚，但是也取得了一定的成果。哈尔滨工业 大学的晏洁在人脸建模、人脸表情、唇动、纹理映射等方面做出了一些成绩博。， 提出了一种人脸模型个性化的方法和多方向纹理映射的算法。北京工业大学的尹 宝才教授等人研究人脸建模和人脸纹理映射的方法u2 。微软研究院的z h e n g y o u z h a n g 等人用人脸视频作为输入，用户只要在其中两帧中各标出5 个特征点，就可 以自动生成三维人脸模型，同时生成人脸动画崎1 。 近几年，中科院的姜大龙等人在m p e g - 4 的基础上，对其做了一些改进，也 第1 罩绪论 取得了一定的成果口引，微软亚洲研究院的o i n g s h a nz h a n g 等人扫描三维人脸数 据，通过扫描出来的一系列图片最终合成人脸动画，取得了不错的效果口引。 1 1 3 三维人脸动画技术存在的问题 影响三维人脸动画技术发展的主要问题是算法的计算复杂度和最终的模拟 效果，目前国内外的三维人脸动画技术，在算法计算复杂度和人脸细节表现上面 都或多或少的存在一些不理想的地方，如模拟人脸的表情细节、褶皱、毛孔等。 目前比较成熟的三维人脸动画技术，有的计算复杂度比较高，但是具有很好的通 用性和普适性，但是人脸细节的模拟效果不是很理想；而其他的模拟技术有人脸 细节模拟效果比较好的，但是对象比较特定，没有很好的普适性。 1 2 论文的研究意义 本文的研究得到国家自然科学基金重点项目“普适计算研究一手语无障碍 信息服务的普适计算”的资助。手语无障碍信息交互系统是该项目研究的一部 分，该系统可提供一个虚拟的三维人与聋哑人进行交互，交互过程中虚拟三维人 物的面部表情会对聋哑人理解虚拟三维人的表达有很大的影响，根据对现实世界 中聋哑人交流的调查分析可得面部表情对于聋哑人对语义的理解有非常正而的 作用，有时有可能是决定性的作用。一个具有良好的面部表情的手语无障碍信息 交互系统是非常必要的。 目前，面部表情的丰富程度还主要集中在面部的一些特征的细节表达上面， 而这些同时是虚拟三维人物真实感的主要影响凶素。 1 3 论文的研究内容和研究目标 1 3 1 本文的研究内容 ( 1 ) 研究三维人脸动i 再j 中的表情绌节，主要是面部的褶皱，包括静态和动 态的而部褶皱，其次还包括面部的一些其他的细节如毛孔等。参照这些面部细节 特征的真实表现形式，设计这些表情细节的驱动方法，以及表现方法，从而达到 实时性的要求，同时还考虑降低计算复杂度。本文所提出的这种模拟而部表情细 节的算法可以在获得较好的最终效果的前提下，具有较低的计算复杂度，并具有 实时性和一定的通用性。 ( 2 ) 研究基于m p e g 4 标准人脸动画方法，f a p ( f a c i a la n i m a t i o n p a r a m e t e r s ) 的提取方法，f d t 表的标定，以及在普适计算项目中的应用，本文 结合手工标定和自动化生成工具x f a c e e d 来标定三维人脸的f d t 表，并设计了 北京工、i p 火学工学硕十学位论文 从前端f a p 提取到后端应用的流程。 1 3 2 本文的研究目标 三维人脸动画表情细节的研究有重要的理论意义和实际应用价值。客观地 说，目前中国三维人脸动画表情细节的研究尚处于初步研究阶段，理论基础还不 够坚实，实际应用也不成熟，还有很多实践问题急需解决。但是随着电影产业和 游戏产业的不断壮大，对虚拟三维人物的需求和应用的领域越来越多，同时要求 也越来越高，获得一个效果良好的，具有很好的实用性的三维人脸动画是一件极 具挑战性，同时也具有极大的吸引力和重要意义的一件事。因此，本文将在已有 相关研究的基础上，结合普适计算手语项目，重点研究三维人脸动画的人脸的面 部表情的合成技术，以及整个人脸动画的驱动方法，尤其是m p e g 4 国际标准中 的人脸动丽实现技术，力争在人脸动画的表情细节方面和人脸动画的合成系统方 面取得一定的突破。 1 4 本文的内容安排与组织结构 本文将按照以下结构组织全文内容： 第一章绪论：首先介绍本文的研究背景，主要阐述了三维人脸动画合成技术的 研究背景和意义，并概要介绍了国内外相关研究的进展与现状，同时列出了本文 的研究内容和研究目标。 第二章三维人脸动画表情细节合成技术：针对三维人脸动画合成技术进行阐述， 首先介绍三维人脸动画技术的发展路线，并重点介绍了各种主流的三维人脸动画 合成技术，同时指出了各种主流的三维人脸动画合成技术目前存在的不足。 第三章三维人脸表情细节研究：主要介绍了本文关于三维人脸动面表情细节的 研究成果，主要是关于人脸的表情褶皱的合成算法以及相关的实验数据和结果。 最后对本文关于表情褶皱的合成算法与其他的主流的合成算法进行比较。 第四章m p e g 一4 人脸动画合成技术：介绍了国际标准m p e g 一4 中关于人脸动画的合 成技术，以及目前的发展现状。 第五章m p e g 一4 人脸动画研究与应用：主要介绍了本文关于m p e g 一4 中人脸动画合 成的参数的提取与驱动方式的研究以及在普适计算项目中的应用情况。 最后在结论与展望部分，对本文的研究内容进行了总结，并给出了相应的结论， 同时指出了今后应努力的方向。 第2 章三维人脸动而表情细节合成技术 第2 章三维人脸动画表情细节合成技术 2 1 引言 具有真实感的三维人脸动画是计算机图形学研究的一个重要分支，有着广泛 的应用领域。真实感的人脸就是指计算机合成的具有特定人的喜、怒、哀、乐等 表情以及脸部各种特征的人脸。从人的视觉要求出发，总是希望合成的人脸能够 尽可能地达到逼真，但是由于受模型和计算机能力的限制，如何在三维人脸模型 上实时地模拟人脸的运动，产生具有真实感的人脸表情和动作，一直以来都是一 个难点。自从1 9 7 4 年p a r k ef i 教授在他的博士论文【lj 中提出人脸动画合成技术开 始，距今3 0 多年的发展过程中，计算机三维人脸动画合成技术不断的发展，其间 涌现了许多经典的算法，但是如何有效地模拟三维人脸，特别是人脸的细节一直 都是三维人脸动画中的一个难点，如何更真实的模拟现实世界中的人脸的行为， 也一直是计算机图形学研究的热点。 2 2 面部结构与人脸建模 一般来说，建立一个人脸动画系统都会经历两个步骤：人脸建模和人脸动画。 人脸建模就是把真实人脸的框架标准化，然后用网格表示出来，作为将来生成真 实感人脸和面部动画的基础。人脸动画就是以人脸模型的几何结构为基础，采用 动厕技术使得人脸模型产生整体的或局部的形变，达到模拟人脸运动的目的。 虽然人脸是日常生活中人们最为熟知的对象之一，但相对于一般绘制对 象，人脸具有几个重要特。t t ：生理结构复杂，形态内容丰富，个性冈素繁多以及 易受环境影响，这就决定了人脸外观的复杂性。因此在进行人脸表情动画的介绍 之前，有必要先从解剖学的角度对人头部的组织结构有一个系统的了解。 2 2 1 面部的基本生理结构 人脸而部的生理结构十分复杂，包括表皮、肌肉、骨骼三层，基本形状由最 内层的骨骼决定，肌肉属于生理结构中的皮下组织，其末端附着于骨骼上，其表 层与表皮紧密相连，面部的表情变化由肌肉层决定和驱动，肌肉和表皮由韧带相 连【4 6 47 。面部肌肉主要分为四大组：口部周围肌肉组织、眼部周围肌肉组织、颊 部肌肉组织、颅顶浅层肌肉组织。比较重要的是那些表面面积较大，视觉效果突 出的肌肉组织，即口部周围和颌部肌肉组织，其次是眼部周围肌肉组织。其余的 较为次要，因为它们对外形的影响较小。口部肌肉组织主要有颞肌和咬肌，颞肌 始于全颞面，止于下领部的喙突部，协助咬肌上提下颌，咬合牙齿。眼部周围肌 肉主要有皱眉肌，眼轮匝肌和降眉肌。皱眉肌协助眼轮匝肌收缩眉毛之问的皮肤， 北京工业大学t 学硕士学位论文 即皱眉：眼轮匝肌促使眼睛的开启或闭合：降眉肌通过皱隆鼻梁根部的皮肤，协助 皱眉肌开、闭眼睛。 2 2 2 人脸几何建模 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定人 脸建模三部分组成。三维数据的获取属于计算机视觉领域，近年来随着计算机视 觉技术的发展，研究者们发展了一些适用于三维建模的数据获取方法【4 9 】。对于 3 d 人脸几何建模，通常情况下为了把脸表达得更加详细、生动，总是希望网格数 越多越好，但是考虑到计算代价，又不可能把网格数无限制地增加。3 d 人脸几何 建模的最基本要求是：能够表达清楚脸部的明显特征，同时希望网格数尽可能的 少，文献【5 0 , 5 1 】给出了几种不同的网格生成方法。 脸部模型的生成方法大致可以分为3 种：多边形建模技术【5 2 】、曲面建模技术【5 3 j 和体网格建模技术【5 1 1 。这3 种方法在生成脸部模型上各有优缺点，但控制表面形 状的日标却是一致的。早期用于人脸几何建模的技术大多为多边形建模技术，包 括矩形网格和三角形嘲格，后来发展出了自适应网格【5 0 】。文献 5 0 用自适应网 格方法建立非均匀脸部网格( 数据来自扫描图像) ，建立真实感的脸和头( 采用 h i e r a r c h i c a lm e t h o d ) ，输入动态控制参数产生动画。这种动态控制参数方法与 图像分析方法相结合，为合成高度真实感的人脸提供了一种可能，运用这种方法 还可以获得精细的脸部几何结构和纹理，合成各种脸部变形，实现自然的、完全 自控的脸部动画。曲面建模技术主要包括样条模型【5 3 1 和有限元模型【5 4 1 。有限元 方法用于更精确的皮肤形变计算，如整形外科手术等【5 4 1 。文献 5 3 采用4 层n u r b s 脸模型实现了文本驱动的唇动发声系统，采用n u r b s 是因为n u r b s 可以增加脸部光 滑程度且变形容易，由于b 样条控制的精确性，实现的脸模型以任意精度忠实于 原始人脸。但是由于b 样条的控制不是直接基于脸部特征，而是基于其形状，尤 其是在曲率变化比较大的地方，这对于其理解和实现非常不方便。另外，b 样条 无法实现孔、洞等形状，导致该模型被人为地分成了3 个表面：眼睛中线以上的表 面、眼睛中线到嘴中线的表而和嘴中线以下的表面。这种实现方式使得人们无法 通过控制顶点运动来实现睁眼、闭嘴等运动。 目前一些实用的商业建模软件f l h 3 d m a x 、m a y a 、p o s e r 等都可以输出许多常用 格式的三维人脸网格，并且具有很好的实用性，因此也成为了应用比较广泛的建 模方式，在一些计算机动画以及三维动画电影、三维动画游戏中，都是应用这些 商业软件来进行人体以及人脸的建模。 2 3 三维人脸动画表情细节的模拟方法 三维人脸动画的表情细节合成技术的发展过程就是三维人脸动画自身的发 第2 章三维人脸动而表情细节合成技术 展过程，三维人脸动画的真实感越高，其人脸的细节模拟必然对应的越好，真实 感人脸就是指计算机合成的具有特定人的喜、怒、哀、乐等表情以及脸部各种特 征的人脸模型从人的视觉要求出发，总是希望合成的人脸能够尽可能地达到逼 真，但是由于受到模型和计算机能力的限制，最终的合成效果总是与人们的期望 有一定的差距 真实感人脸的合成过程是由几何模型代表的一般人脸到特定人脸的变换过 程或者也可以说是映射过程，从2 0 世纪7 0 年代以来，真实感人脸的合成己经取 得了长足发展，其发展轨迹大体上可以被分为3 个阶段：7 0 年代以来的参数模型、 8 0 年代以来的肌肉模型和近年来基于图像的建模与绘制技术。 2 3 1 参数模型 该模型以p a r k 为代表【l 引，在人脸动画的参数模型中，应该考虑两种参数：特 定人标识参数和人脸表情控制参数。这些人脸模型由于只把人脸描述为一种几何 内线框结构，仅将面部行为用简单的表面几何形状来模拟，而没有从生理的角度 对人脸而部的行为驱动机制进行考虑，这样就降低了合成真实感人脸的能力。 这种方法典型的实现方式就是设定网格的顶点之间具有弹性力的作用，此弹 性力一般被设定为符合胡克定律的弹性作用力，或者是其他类似的约束形式，这 样当我们已知某些而部网格点的运动信息以后，通过网格顶点之问的作用力，就 可以获得整个网格顶点的运动信息，从而获得人脸三维网格的运动，实现人脸动 画。这方面研究论文也较多女n p a r k ef i t l l ，m a u de ta 1 3 0 】，l a r b o u l e t t ee ta 1 2 9 】 等都对这方而的研究做出了贡献，图2 1 表示了三维网格的弹力结构，图2 2 展示应用此类方法在人脸额头的模拟结果。 图2 - 1 网格弹力结构 f i g u r e2 1t h ee d g er e p u l s i o ns p r i n g s 图2 - 2 额头的模拟结果 f i g i f e2 - 2r e s u l to fa n i m a t i o no nf o r e h e a d 这种方法 i j 于其自身的昧吲，吲有的存在定的优点和不足之处： ( 1 ) 优点：建模简单；同肌肉模型相比计算复杂艘较低；对于任意的个 人的= 维人脸模型，参数化后都可以心用此算法来实现人腧动画：模拟结粜较肌 肉模型好，但是不如纹理! l | 占图的效果好。 ( 2 ) 不足：在模拟人脸的褶皱的大小和位簧力而效果不是很理想；弹性力 的约束方式没有足够的琊论支撑。 2 32 肌肉模型 这种方法通过对人脸的生理解剖学的分析，利川多层三维刚格模拟真实人脸 的骨骼、肌肉、表皮等结构，典型的方法就是肌肉模型，图2 3 是真实的人脸的 面部肌肉组织结构图。w a t e r sk 在1 9 r 7 年发表了关于肌肉模型的第一篇论文”j ， 为肌肉模型的发展奠定了基础，之后在w a t e r s 方法的基础上，许多新的方法被 提出来，如w l l 等人在肌肉模型晌基础上，提出了b i o m e c h a n i c a i 模型、巾 p a u le k m a n 和w a l l i c ef r i e s d e n 开发完成了个采集肌肉运动参数的软什 f a c s ( f a c i a la c t i o nc o d i n gs y s t e m ) ，t e r z o p o u l o sd 是w a t e r s 内学生，他继 承和完善了w a t e r sk 的工作，提出了著名的三层肌肉模，妒1 1 9 i i ”l ，肌肉模型的 研究达到了一个高峰。 t e r z o p o u l o sd 的三层肌肉模型通过在人脸的初始三维建模过程中，构造了 三层网格，来分别模拟真实人脸的骨骼、而部肌肉以及人脸的表皮纽织，如图 24 ( a ) 所示。通过设置每层的类似真实物理结构的属性，进而通过中问层虚 拟肌肉的运动。带动表层虚拟人脸表皮嘲格的运动，进而形成人脸动画效果，通 过参照真实的肌肉运动规律，用底层的虚拟骨骼来约束虚拟肌肉的运动振幅，图 2 - 5 展示了肌肉模型模拟的人脸表情实验结果。 ! ：耋三丝垒些竺星耋窒型! ：尘垩堡查 f “n 1 n k ，d m h 图2 - 3 人的而脸部肌肉 f i g u r e2 3t h em a j o ri f l u s c l c so f t h ef a c e 图2 - 4 ( a ) 虚拟的人脸组彭l 结构( b ) 嵌入虚拟肌肉的人脸皮肤( c ) 三维人脸模型 f i g u r e24 ( a ) hs i n g l ef a c i a lt i s s u ee l e m e n t ( b ) e l e m e n t sa s s e m b l e da sas k i np a t c h w i t he m b c d d c dm u s c l e sc o n t a c t e d ( c ) c l o s e rl o o ka th a l fo fa na d a p t e df a c em e s h w l t hu n d e r ly i n gs y n t h e t i ct i s s u e 图2 - 5 实验结果 f i g u r e2 - 5r e s u l to fa n i m a t i o n 北京工业大学t 学硕十学位论文 肌肉模型相对于其他的模拟模型，也具有其自身的优点和不足： ( 1 ) 优点：近似的模拟了真实的皮肤生理结构，具有很好的理论基础；可 以动态的模拟人脸运动中的各种面部表情运动；对于任意一个人脸，只要是建立 了三层的模型，就可以应用此算法。 ( 2 ) 不足：初始的建模较复杂，必须是手工建模；算法的计算复杂度高， 只适用于图形工作站；面部表情细节如褶皱的模拟效果不是很真实。 2 3 3 基于图像的绘制技术 这种技术利用凸凹贴图或者是颜色纹理贴图来实现三维的人脸动画和人脸 的表情细节 2 4 , 2 5 , 2 6 , 2 7 , 2 8 】，凸凹贴图通过三维网格表面的法向量扰动，从而产生 动画效果，而纹理贴图通过在三维网格上贴不同的纹理图来实现人脸动画。对真 实感人脸的生成是通过选取人脸的不同方位进行拍照，并在至少两张人脸图像的 特定位置添加标记，然后数字化【3 l j 从照片提取真实的脸部特征。合成真实表情 的步骤大致如下：首先，在给定表情下，用相机随机地、多方向地拍照，然后在 所有的相片上标注特征点，如眼角、嘴角以及鼻子顶部等；然后，这些特征点被 用于变形普通三维人脸网格，以适应特定人脸要求；最后，用相片作为纹理来映 射至变形脸部，以生成所需要的真实感人脸，文献 3 1 1 与前人的研究有所不同的 是它对相机的位置没有要求，不一定要求所处理的照片之间完全统一，照片在灰 度和颜色之间可以任意变化，文献 5 5 对照片纹理图的处理方法进行了详细的介 绍。 随着计算机视觉在人脸分析上的逐渐应用，最近又出现了些新的方法， n ，1 t a k i m o t o 用两张人脸照片来建立人脸模型，但两张照片必须保证是从正、侧 两个互相垂直的方向拍摄，这种方法的优点是简单易行；l i u 等人b 7 1 在传统表 情映射的基础上提出了表情比例图像( e r i ) 方法：给定某人的巾性脸和表情脸 图像，计算两幅图像各对应像素光亮度之比，然后将这组比例作用到另一个人的 中性脸图像上，从而获得另一个人的表情图像。e r i 方法解决了传统表情映射无 法合成表情细节的问题，但是它也带来了新的问题：要获得某个人某种特定表情 脸，必须有一幅已知的表情脸图像( 即一个样本) 与之对应。但在行为驱动动画 中，人脸表情的变化是极其丰富的，冈此需要有极大量的样本来供选择，这显然 是非常闲难的：a l e k s e yg o l o v i n s k i y 等人【3 3 】利用统计学模型通过图片来模拟出 人脸的细节特征，获得了很好的效果。图2 6 所示的是纹理贴图的合成过程， 图2 7 是a l e k s e yg o l o v i n s k i y 等人的实验结果展示。 銎：茎三堡垒墼塑墼茎薹型茎耋璧堡奎 厂产2 l _ h 目k 妇日hd d l m q e灿目i d a ：x z ： 一5 m 、惫委 飞；薹篓i 图2 - 6 纹理贴图合成 f i g u r e2 6s y s t e mo v e r v i e wf a c e sa r es e p a r a t e di n t os m o o t hb a s e m e s h e sa n dd e t a i l e dd i s p l a c e m e n ti m a g e s 图2 7 模 f l 结果 f i g u r e2 - 7r e s u l to fa n i m a t i o n 对于大多数此类方法或是此类方法的衍生方法，由于其基本实现算法和纹理 图片的些固有的性质，此类方法在获得一定的效果的州时也存在着定的不 足之处： ( 1 ) 优点：模拟的三维人脸动画特别是人脸f l 匀一些细节效果较好，h 模拟 的方法较简单。 ( 2 ) 不足：不能很好的模拟人脸运动过程中的人脸表情细节；由于此方法 底层的三维网格没有形变，所以人脸表情中显而易见的几何结构不能模拟；由于 一个模型每次只能使用种纹理贴图，所以只能模拟特定人的人脸动画不具有 北京工业大学t 学硕士学位论文 普适性。 2 4 本章小结 本章首先简要介绍了人脸的面部生理结构，之后论述了在三维人脸动画中模 拟人脸细节的几类主要模拟方法，分析了每一类模拟方法所采用的技术、算法以 及每类某一具有代表性的方法的实验模拟结果，最后指出每一类模拟方法自身的 优势以及存在的不足。综观以上的参数模型、肌肉模型以及基于图像的模型等 真实感人脸生成方法可以发现，真实感人脸合成技术己经达到了很高的水平，但 是，现有的方法要么过于复杂、实现闲难、缺乏实时性；要么生成的人脸过于简 单、不逼真，还没有一个可以完全满足人类需求的真实感人脸建模的算法，本文 的研究内容就是基于以上几类方法在模拟人脸细节方面的经验，通过对以往方法 的借鉴，从而提出了本文关于模拟人脸表情细节的模拟算法。 第3 章m p e g 4 人脸动而合成技术 3 1 引言 第3 章m p e g - 4 人脸动画合成技术 m p e g 一4 是由m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 组织发布的一套i s o i e c 多媒体压缩标准，它包含数字电视、交互式图形应用和交互式多媒体三部分。由 于人类自身在多媒体中占据着十分重要的位置，所以m p e g 一4 对三维人脸动而格式 r 正n 正1 1 定义了一个国际标准”1 。这套标准被称为人脸和人体动画标准( f a c ea n d b o d y a n i m a t i o n ) f b a ，该标准以统一格式定义了人脸动画和人体动画的描述方法。 其中，人脸动画标准通过面部定义参数( f d p s ，f a c i a ld e f i n i t i o np a r a m e t e r s ) 和面部动画参数( f a p s ，f a c i a la n i m a t i o np a r a m e t e r s ) 来定义人脸几何及纹理 信息并驱动面部表情动画。创建好的人脸模型被称为面部动画对象( f a c i a l a n i m a t i o no b j e c t ) 。其中f d p 定义人脸的形状、纹理等特征，而f a p 贝u 描述人 脸的运动。m p e g 一4 提供了一套以f d p 和f a p 为参数的人脸动画方法。这种人脸动而 实现方法通用性强，数据量小，运算复杂度低，特别适合用于通过网络播放的实 时人脸动画。但是该方法只有一个框架结构，对于很多实现细节，m p e g 一4 并没有 定义，用户可以灵活地运用各种技术手段来实现。 3 2m p e g - 4 中人脸动画原理 3 2 1f d p 、f a p 与f a p u 的定义 f d p ( f a c i a ld e f i n i t i o np a r a m e t e r ，人脸定义参数) 提供人脸特征点、网 格、纹理、人脸动画定义表等数据，有了这些数据就可以把一般人脸转化为特定 人脸。f d p 在m p e g 一4 的一段动而中通常只需要传送一次，而紧接着f d p 之后传送的 就是经过压缩的f a p 。 在一个f d p 域中包含以下5 个内容： 1 、f e a t u r e p o i n t s c o o r d 。指定网格中所有特征点的坐标。 2 、t e x t u r e c o o r d s 。指定所有特征点在纹理上的坐标。 3 、u s e o r t h o t e x t u r e 。指定纹理的类型。如果u s e o r t h o t e x t u r e 值为f a l s e ， 则纹理采用圆柱投影，如果u s e o r t h o t e x t u r e 值为t r u e ，则纹理采用正投影。知 北京工、j p 大学工学硕十学位论文 道纹理类型，才可以正确地计算出非特征点在纹理上的坐标。 4 、f a c e d e f t a b l e s 。即人脸动而定义表，描述f a p 对人脸网格变形的控制方 式和参数。 5 、f a c e s c e n e g r a p h 。包含一张纹理图像或者一个上色的人脸模型。 在m p e g 一4 标准中定义了f d p 的8 4 个人脸的特征点，如图3 1 所示，对于其他网 格、纹理、人脸动画定义表等内容没有具体的限定。f a p ( f a c i a la n i m a t i o n p a r a m e t e r ) 是m p e g - 4 标准中定义的一组人脸动画参数。f a p 建立在人脸微小动作 的基础上，并且非常接近于脸部肌肉的运动。f a p 定义了一整套基本的人脸动作， 可以再现绝大多数自然的人脸表情和唇动。 第3 章k p e g 一4 人腧动画合成技术 1 1 5 3 1 2 3 1 4 3 1 0 r i g h te y e 9 ，8 1 5 3 ， 3 3 9 l e f te y e ， 9 9 t e e t h 。f e a t u r ep o i n t sa f f e c t e