（计算机软件与理论专业论文）基于mpeg4的真实感三维人脸动画实现方法.pdf

摘要 中文摘要 具有真实感的三维人脸动画是计算机图形学研究的一个重要分支i 近 3 0 年来一直是研究的热点。真实感三维人脸合成技术的应用范围非常广 泛，其成果可以应用于虚拟主持人、虚拟会议、辅助教学、医疗研究、电 影制作、游戏娱乐等等，具有重大的理论意义和应用价值。 实现真实感人脸动画的难点主要有两个：构建一个好的人脸模型和产 生具有真实感的人表情。 产生具有真实感的人脸表情和动作，关键在于如何在三维人脸模型上 实时地模拟人脸的运动。本文在m p e g 一4 的三维人脸动画原理的基础上提 出一一种新的基于m p e g 、4 的、适宜于任意拓扑结构模型的三维人脸动画实 现方法。这种方法能够在连续f a p 帧的驱动下实现真实感较强的三维人 脸动画，该方法数据量小，适合于网络传输，而且具有数据通用性强，计 算复杂度低，实时性强，操作简单等诸多优点。 构建好的人脸模型是实现人脸动画的另一个难点。本文提出了一种新 的建模思想：随机生成大量不同的，区别明显的三维人脸模型，用户可以 保存自己喜欢的模型，并允许对其进行少量的细微调整，从而大量减轻用 户建模的难度及工作量。基于d f f d 变形算法，本文实现了这一建模思想。 文中对用于变形的通用人脸模型及用于变形的控制点进行了合理的设计， 使用该方法能够随机生成真实感较强的，相互区别较明显的人脸模型。 关键词：三维人脸动画，三维人脸建模，m p e g _ 4 ，f ：f 姐帧，d f f d a b s t r a c t a b s t r a c t a n i i n a t i o no fr e a l i s t i ch 毗n a nf a c i a lm o d e ll sa nl m p o n a l l tr e s e a r c hn e l d1 n c o m p m e r 謦a p h i c si nr e c e n t3 0y e a r s t h ea p p l i c a t i o nf i e l d si n c l u d ev i 咖a lp r e s e n t e r ， v i r t u a l m e e t i n g ，c o m p u t e r a s s i s t e d t e a c l l i n g ，m e d i c a l r e s e a r c h ，矗1 mm a 虹n g ，a n d c o m p u t e rg 锄e e t c t h er e s e a r c ho nt h i sf i e l dh a s 乒e a tt h e o r ya n da p p l i c a t i o nv a l u e t h e r ea r ct w oc h a l l c i l g e sf o rm ea n j m a t i o no f r e a l i s t i ch u m a i lf 酗a lm o d e l s o n ei s t oc o n s t m c ta p e r f e c tf a c em o d e l ；廿1 e o t l l e ri st og e l l e r a t er e a l i s t i cf a c ee x p r e s s i o n s h o wt os i m u l a t et 1 1 em o t i o n so fh u m a i lf h c e so n3 df a c i a lm o d e l si nr e a l 一t i m et o g e n e r a t er e a l i s t i cf a c i a le x p r c s s i o n si sac h a l l c n 舀r 玛p m b l 锄b a s c do nt h em c o r yo f f a c i a lm i m a t i o ni 1 1 m p e g 一4 ，an e wm e m o do fr c a l i z i l l g 3 一df 犯i a la i l i m a d o ni s p r o p o s e di nm i st h e s i s t h i sm e t h o di sa p p l i c a b l ef b ra l lt o p o l o 百c a lf a c em o d e l s w i t l l t h ed r i v eo ff a p 舶m e s ，t h ep m p o s e dm e t h o dc a l lr e a l i z er e a l i s t i cf a d a la n i m a t i o n t h e g e n e r a t e dd a t ai s o fs m a l ls i z e ，c o m p a t i b l ew i t ha 1 1m p e g 一4s y s t e m ，a l s os 试t a b l ef o r n c t w o r kt r a n s p o r t a t i o n t h es y s t e mr e a l i z e dw i t ht 1 1 i sm e 1 0 dh a sg r c a ta d v a l l t a g ef o r u s e r so p e m t i o n c o n 蛐c t i n g ar e a l i s t i cf a c em o d e l i sa n o t l l e rc h a l l e i l g ef o r r c a l i s t i cf a c ea n i m a t i o n i nt l l i st h e s i s ，an e wm e t h o do fc o n s t n 】c t i n g3 一df a c em o d di sp r 叩o s e d ，恤c hc o u l d m n d o m l yg e l l 盯a t el o t so f d i 丘b r e n t3 一df a c em o d e l s w i t hm i sm e m o d ，u s e rc a n s a v el l i s f a v o r i t ef a c em o d e lw i t l l o u tm u c hn l a n u a lw o r k u s e r sa r ea l s oa l l o w e dt od os o m e s m a l lc h a n g et 0m em o d e a p p l y i l l gt h ed e f o m l a t i o na l g o r i t h l n ，t h i sm e m o dc a i lr e l i e v e u s e r 丘o mb o r i n gm a j l u a lw o r k a st h ef b u n d a t i o no f d e f 0 加1 a n o nm e n l o d ，p r o p e rd e s i 盟 o f g e n e r a lm o d d a 1 1 dc o n 仃o lp o i i l t s ，a r ep r e s e m e di i lt h i st l l e s i s k e y w o r d s ：3 一df a c ea 1 1 i m a t i o n ，3 一df a c em o d e l i n g ，m p e g 一4 ，f a p 行锄e ，d f f d 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的磷究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方羚，论文中不雹含其健入已经发表或攒写过薛研究藏集，龟不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一嚣工箨鹩瓣志对本骚究所徽豹任嚣贡裁均恐在论文中 乍了暖 确的说明并表示谢意。 签名：盗盍! 坠日期：御6 年s 月，。曰 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保辫、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被粪阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进霉亍检索，可殴采角影露、缩印或 扫描等复制手段保存、汇编学位论文。 ( 傈密鲶学位论文在勰密后应遵守此蔑定) ”1 签名：彗童螫 导 季签名：蛭i 叁 。r 日期：伽多年r 月7 日 第一章绪论 1 1 计算机动画简介 第一章绪论 计算机动画是借助计算机生成一系列可供动态实时演播的连续图像的技术。 计算机动画可以按不同的方式分类。从动画制作的原理上，通常分为两类：计算 机辅助动画和基于造型的动画。前者通常属于二维动画，主要用计算机辅助传统 的卡通片制作，后者属于三维动画，他首先建立三维空间中几何形体的造型，然 后使之产生各种运动。 按照动画的纪录方式计算机动画又可区分为逐帧方式和实时方式动画。逐帧 方式是指由计算机生成动画中的每帧画面，并纪录下来，然后，可以按2 4 帧秒( 电 影) 或2 5 帧每秒( 电视p a l 制式) 或3 0 帧秒( 电视n s t c 制式) 的速度播映。目前 的动画制作系统大多属于此类。实时方式是指可直接在终端上实时显示动画图像。 按照动画的显示方式分类，计算机动画可分为二维计算机动画和三维计算机 动画。二维计算机动画一般是指计算机辅助动画，也称关键帧动画，它主要用于 计算机辅助传统的动画制作。动画师们可以利用计算机模拟传统动画，制作系列 动画片。与传统的手工动画相比，二维计算机动画在质量、效率、成本、管理等 方面具有突出的优点。三维计算机动画是采用计算机模拟真实的三维空间，在计 算机中构成三维的几何造型，并赋给它表面颜色、纹理、然后设计造型的运动、 变形，设计灯光的强度、位置及运动，设计虚拟摄影机的拍摄景别，最终生成一 系列可供动态实时演播的连续图像的技术。此外，三维计算机动画还可以生成真 实世界不存在的特殊效果。 目前国外已经研究开发出很多三维计算机动画系统，他们各有所长，但基本 功能大致相同，一般包括以下几个部分： 几何造型造型是三维计算机动画的基础。一个三维计算机动画系统必须提 供对象的造型工具。一般地，它包括造型编辑器、造型变换工具、信息查询工具、 数据文件管理、可视化界面环境。 表面材料编辑三维动画常常需要生成一些视觉效果逼真的图像，因此三维 动画软件一般都包括表面材料编辑系统。这个系统用于交互地建立和修改物体的 表面特性，包括颜色、纹理、光照等特性参数。 动画设计动画设计部分包括动画场景的布局，物体的物理属性( 物体的位 电子科技大学硕士学位论文 置、大小、颜色、形状簿) 随时间而变化的范围的描述，灯光( 包括类戮、强度、 位鼹) 随时间变化的描述，摄像机( 包括视点、视线、视角) 的运动的描述。 渲染浚染功戆是三维交蘸敬律必备瓣关罐功熊。渲染帮蹩采爱慕耱巍罴模 型对设计好的幼画计算出一系列真实感图像的技术。 图像编辑在三维幼茴制作过程中，常需要使用一些图像编辑和处理功能， 产生新的盈像，提高鹜像的生藏效率稆质羹。一个好豹三维动域软件应掇供丰富 的、方便易用的图像编辑、处理工具。 鬻豫浚爨逶豢瓷珙三秽銎豫辕窭功熬，鎏缀懿诗雾惑嚣幕显示、豳稼载获 片输出、视频输出，也就是将计鞯机生成的图像转换成视频信号录制在录像设备 l 1 1 1 计算机动画研究的内容和分类 诗算辊动滋技寒怒诗算秘蚕影学研究懿重要分支，是传统静态图形技术囊实 时图形技术过渡的桥梁，其研究内容涉及捌计算机图形学的各个领域。一般来说， 一个完整的计算机动蹴鬃统应包含以下五个模块： ( 1 ) 文 牛及系统管瀵模块 ( 2 ) 造型模块 f 3 1 动强模块 ( 4 ) 绘制模块 ( 5 ) 后期合成模块 觚技术上来说，磊器令模块懿内容裁楚诗算瓠动萄懿主要磷究内容。遥鳘技 术在c a d 和c a g d 中得到了广泛研究。尽管面向产品设计加工的造型技术日臻 成熟，塑诗算机动画技术对传统的实髂、抽疆造型技术提出了新的要求。一方面， 动颟技术对造型的精度要求降低；另一方磷，它又对造型工矮的灵活性和运动可 控性提出了更高的要求。这就导敬了许多针对动画应用而设计的造型技术的出现 帮一些传统按零鏊逶步完善。魏壅技术鸯憋函数魏甏遥型技零程c a 溉毽l l c l a 纛 离散曲面造烈技术。除此之外，由于其简雄性和兼容性，多边彤网格模挺在计算 机动域系统中得到了广泛的重视。类似于造型技术，绘制技术本身就是真实感图 形学的主要研究内容。值随着动蕊技术的笈展，传统的真实感图形绘铡技术必须 予以修正，以便满足逡动模拟的需要。特别是在各种真实感效果的动态模拟中， 爨联了诲多行之有效熬算法，热过程纹理澎画技术馨。诗算税镄画豹分类方法缓 2 第一章绪论 多，大致可分为以下几种【1 】： ( 1 ) 参数关键帧( p a r a m e t r i ck | e yf r a m e ) 技术。 ( 2 ) 变形动画( m o r p h i i l g ) 技术。 ( 3 ) 过程动画( p m c e d u m l ) 技术。 ( 4 ) 关节动画( a r t i c u l a t e d 磁n e m a t i c s ) 技术。 ( 5 ) 基于物理的动画( p h y s i c a l l y - b a s e dm o d e l i n g ) 技术。 ( 6 ) 行为动画( b e h a v i o r a l ) 技术。 1 2 三维人脸动画简介 三维人脸动画是计算机动画研究的一个重要内容，主要研究如何真实地模仿 人脸表情及动作。面部是非常重要而又复杂的交流通道，通过人脸我们可以鉴别 出个人的身份、观察出他人喜怒哀乐的情绪、推断他人的个性、甚至领悟到他的 情感状态等。逼真的面部合成长期以来一直是计算机图形学以及人机交互中非常 活跃的研究领域。人们对人脸及其表情的复制和再现一直抱有浓厚的兴趣。早期 常采用的方法包括手工绘画、泥塑、雕刻等，随着科学技术的发展，出现了照片 和电影，但其只限于反映人脸在某个角度的二维信息，无法看到具有真实感的三 维人脸。近年来，随着多媒体表现、可视化、虚拟现实等研究的兴起，以及附加 了真实生命应用要求的计算、图形和网络技术的迅速发展，促进了人们通过计算 机在人脸造型和表情方面的技术的成熟。现在不论是二维还是三维人脸，都能更 加精确和富有创造性地在计算机上进行复制和再现。计算机生成的三维人脸造型 和表情动画技术在电影制作、游戏娱乐、计算机动画、医疗诊断、人机界面、辅 助教学、以及虚拟演播等领域中得到了广泛应用，尽管这些技术目前已经取得了 一些突破，但还是不尽人意，例如需要专门的设备、数据量大、不便于存储、以 及在网络上传输等。 1 2 1 三维人脸动画的发展 具有真实感的三维人脸模型的构造和动画是计算机图形学领域中一个重要的 研究课题。如何在三维人脸模型上实时地模拟人脸的运动，产生具有真实感的人 脸表情和动作，是其中的一个难点。 三维人脸动画是计算机动画研究的一个重要分支，它有着十分广泛的应用前 景，可以用于犯罪学、信息帮助、虚拟环境、通信技术、辅助教学、医疗研究、 电子料技大学硕士学位论文 医学生理研究、电影制作、游戏娱乐、动谰制作、人像综合、美容等诸多方面。 在计算机人体动画中，逼真的人股动画是目前计算机图形学研究的一个熏凄分支。 这怒嚣为虽然人验共有类鬣豹缀穗，甚至麓矮毒裰露瓣特征纂，如一个雾子露一 个嘴巴，两个对称的眼睛等，但从一张脸到另一张脸却又拥有许多变化，特别是 情绻秘说话的表现方式各不超嗣，丽且正怒这些微妙釉细小的麓剐使我们对不同 的人加以识别。用计算机来模拟瓣部表情及动作是一个非常复祭的问题，它关键 在于建立一个人类的情绪模型并把它们同人脸面部特征及表情的变化联系起来。 菹入脸是令黎链藩，不楚剐蒋，缀难焉簇黧来精确攒绘。瑟虽，瑟部运动熬摸援 还依赖于其它方面的因索，面部逡动的描述又是极其复杂的，它涉及对袭情的理 解，表情的分类和差异，以及表情的生理特征等许多内容，这使得逼真的三维人 验动画的实现一壹是一个具有魏战经静研究谋蘧。 计算机动画是由传统的卡通动画发展起来的。在传统卡通动画的制作过程中， 导演营先要褥剩本分成一个个分镜头，然螽出裹级动疆瘀确定各分镜头躲是色造 型，并绘制出一些关键时刻各角色的造型。最后，由助理动耐师根据这魑关键形 状绘制出从一个关键形状到下一个关键形状的自然过渡，并完成填色及合成工作。 ，最爱，依次撩羧这一季囊犊连续蚕鬣，就褥嗣了一菠动溺冀段。 1 9 6 4 年，贝尔实验室首次尝试采用计算机技术来解决上述问题，从而宣告了 计繁孛几藕助动遵制作时代的开始。早期的动蘑割传系统主要以二维卡遥溯画设计 为主，其出发点是利用形状插值和区域自动填色来究成全部戢部分助理动画师的 工作，从而提高卡通动厕制作的效率。 毽纪7 0 年代爱麓，夔羞诗箨撬霜形学帮硬捧鼓零兹发震，诗葵瓤造墼鼓零 和赢实感图形绘制技术得到了长足的进步，出现了与卡通动画有质的区别的三维 计算机动画。自8 0 年代初开始，市场上先后推出了多个三维动蕊软件，这些计算 机韵画系统黻友好酶界面提供给瘸户一系翻生成各萃申动西帮视觉效巢静手段与工 具，用户可组合使用这魑工具来生成所需的各种运动和效果。9 0 年代的幼画系统 己能翻馋密诲多良缓琵粪麴影穰特技，蘧众已难以嚣分翳些是诗箕毒趸动疆生藏的 画麟，哪些怒模型制作的结果。 模拟真实人脸运动的方法很多，有插饿的方法队参数化的方法【6 1 、自由变形 静方涟【朝、勰离模型斡方法弼、撵毽霞椿静方法【镶、鸯蔽元静方法1 1 。l 等。及1 9 7 4 年p a r k e 首先用计算机生成人脸图像以来【6 。，2 0 多年间计算机图形工作者对这领域 靛萋羹究取褥了诲多重要瓣簪 究成浆。1 9 9 5 年，k e 等人提出基子人验勰裁学的多 层人脸物理模型f 。该模型将人脸模型分为皮肤层( 镪括表皮、真皮、皮下组织和 4 第一章绪论 筋膜) 、肌肉层和骨骼层，计算影响人脸运动中的多种力，然后计算人脸模型在力 作用下的运动。该模型的运动真实感较好，但计算量较大，难以满足人脸动画实 时性的要求。另外，该多层结构模型的构造也较为困难，除了皮肤层可以由仪器 扫描得到之外，其余各层的建立以及物理参数的设定都需要较多的工作。文献i l l j 中提出的方法是实时跟踪真实人脸上预先设定好的采样点的运动，然后对整个人 脸模型进行线性插值模拟人脸的运动。文献【1 2 】提出的方法是从照片上提取人脸上 若干的特征点，然后根据特征点的对应关系在人脸各种表情之间对整个人脸模型 做三维变形( 3 dm o r p h i l l g ) 。上述两种方法都需要设置大量的特征点，并跟踪特征 点的运动，所以在模拟人脸运动时需要大量的计算或手工工作。 国内近几年在人脸动画方面也有很大的发展。哈尔滨工业大学的晏洁在人脸 建模、人脸表情、唇动、纹理映射等方面做出了一些成绩【”，提出了一种人脸模型 个性化的方法和多方向纹理映射的算法。北京工业大学的尹宝才等人【2 3 j 研究人脸 建模和人脸纹理映射的方法。 1 2 2 三维人脸动画的应用 与传统卡通动画相比，计算机三维人脸动画是一门相当年轻的新兴技术，目 前在很多应用领域得到了广泛的应用。三维人脸动画得到广泛应用的原因之一是 来自不同应用领域的广泛的应用需求。 具有真实感的三维人脸动画是自然人机交互中的关键技术，而后者是计算机 系统的基本功能，它将使计算机获得更有效的应用。当前普遍采用的人机交互方 式仍主要依赖于键盘和鼠标，其特点是让人来适应计算机，效率较低。而以人类 习惯的、比较自然的方式与计算机进行交流，使计算机能够主动地适应人的要求， 正是人机交互研究所要达成的长远目标。为实现该目标，我们不仅需要有硬件技 术方面的发展( 主要是计算能力、显示技术和各种智能接口设备) ，而且需要语音 分析与合成、人脸识别和验证、表情和行为分析、人脸和人体建模与动画等算法 方面的进步。相对于上述提及的其它方面，人脸建模与动画是人机交互系统中直 接与用户沟通的视觉窗口，其重要性不言而喻。如果计算机不仅使用文本和声音， 还能通过表情对人的行为做出反馈，这无疑会使人机间的交流更为自然而生动。 人脸建模及动画最显著的应用是电影、游戏制作等娱乐方面。电影指环王、 怪物史莱克、最终幻想等电影中的虚拟形象无不体现了人脸造型和动画技 术的魅力。 5 电子科技大学硕士学像论文 在医疗诊断领域，脸部建模和渤画主要用来模拟和预演脸部整形手术及诊治 豹过程，在透行手术之藏藏可大体知道手术结果，大大提裹了手术成功搴，同时 缓解了瘸人静矛盾心瑾。现在，它述为心理学家逑行人脸运动和表情匏研究提供 了依据，这比传统的通过使用照片戡刺人体激肌肉来做研究方便了许多。 将三维人脸动画殿用到网络教育软件中，作为一种辅助激学的工具，采用计 算辊纛黎的教，蕈逶嚣教学，在蕹送谤潆音菝蕊溺瓣嚣| 鬟动垂入验，篾麓餐去教 摹 的重复性的劳动，又能提高学生上课的主动性和积极性，增强学习的效果。 继焚国、英国、日本相继推出虚拟主持人、虚拟偶像之后，我国电视界也兴 起了寝羧主持久约热濒，中央电裰窘鹣“伊婊j l ”、天津电襁台戆“言东方”、 江苏静“q q 小盔”以及c c t v 6 毫裰台酶“小龙”等接踵丽至，令蕊众眼花缭乱。 推出虚拟主持人，是新闻界顺应科技的发展、社会的需求，争占新的传播空间。 在网络游戏中，为每一个游戏瓿家分配一个三维人脸头像，在游戏中邋过不 嗣懿头像区分不司熬蕊家，三维入黢葫画髓蕊冬游戏嚣家之溺遗过表壤及谬害交 流，使网络游戏更加邋真生动，更媳有吸引力。 此外，人脸建模及动画在刑事撩别、远程会议、电视电话等特殊场台的应用 选曩趋增多。 1 3 三维人脸建模简介 囊实感三维大黢建模是实理三缝人验葫禹豹鏊 | | ，在诗舅橇动覆，人疑交互， 数据压缩以及计算机辅助手术等领域内都有广泛应用。般来说，真实感三维人 脸建模包括两个同等滋要的方面：其一是几何形状的恢复，其二是表面纹理的获 取。囊予入脸形捩熬复杂性秘多撵瞧，逶过手王方法建立摸溅霞要具备擐应豹生 理学和图形学知识，并且需要较多的时间和精力，所以，方馁茯捷的建横方法是 当前研究的热点；使用专用的设备或通过计算机视觉的方法自动获得人脸的三维 模型以及表面的颜色信息也是一种行之有效的方法。 1 3 1 墨维人脸建模的发屣 由于人脸是一个不规则的表露，非剐性的变形，在不同姿态和光照下炎化复 杂，敬及入验戆多撵缓帮差舅强，襞褥久验建攘薹羹表示一妻楚诗箕辍霾澎学耪诗 算机视觉领域极具挑战性的问题。由于人脸建模和人脸动画在影视娱乐、公安安 全、身份验证、虚拟现实、视频分析与编码传输等方面广闹的应用前景，国内外 5 第一章绪论 研究者在这方面做了大量的研究工作，近1 0 年来，真实感人脸建模迅速成为计算 机图形学、计算机视觉、模式识别等领域的研究热点。 目前已有各种各样的建模方法，从整体上可以分成两大类：第一类是单纯的 人脸建模( 包括为做表情的人脸建模) ，这种方法所建立的人脸模型的拓扑结构是根 据不同的人而不同的，所建模型上的顶点不能和人脸的特定区域联系起来，也就 是说，这些顶点是没有“语义位置”的。这种方法所建立的模型一般不能直接用 于动画。第二类方法是“用于动画”的人脸建模，这种方法所建立的人脸模型有 着固定的拓扑结构，特定人的人脸模型一般是由一个通用的模型变形而来。这种 模型可以随即用于人脸的动画和分析。 文献【1 3 】中提出的人脸建模方法以c v b e 州a r e 扫描仪的纹理和深度图作为输 入。通过结合手工交互和对深度图的处理，来得到人脸上特征点( 如鼻尖等1 的位置 和特征轮廓( 嘴，眼精，鼻子等) 的形状，从而根据深度图中的三维信息将一个通用 的三维模型变形为个性化的三维模型。这种建模方法对随后的人脸建模产生很大 的影响。不过它的不足之处在于过度依赖深度图的信息以及需要较多的人机交互 来实现从三维通用模型到个性化模型的配准。 文献【2 j 中提出的建模方法可以对带表情的人脸进行精确建模( 包括人脸的影 调、皱纹等) 。它通过在人脸上贴上密集的标签，来跟踪表情人脸的变形，同时也 通过对c y b e n a r e 扫描仪扫得的数据做三角化来得到人脸的网格模型，这个网格可 以根据跟踪到的特征点而移动。但是这种方法所建立的模型是不能根据动画参数 来直接进行动画的。 文献1 1o j 中所提的建模方法是以人的正面和侧面照片作为建模输入，结合交互 的方法和特征提取、轮廓提取的方法来获得修改通用模型所需要的标定信息，接 着使用d 砰d 来将通用模型对准到特定模型上。 文献【”j 中提到了一种从视频中提取人脸模型的方法，这种方法将纹理的获取 ( 通过视频中特征点定位、对准而得到) 和人脸几何模型信息的获取( 事先确定好) 分 开来，降低了问题的复杂度。 虽然面部特征的个体差异是客观存在的，但是，不同的人脸之间存在着共同 的特点，从固定拓扑的一般人脸模型变形，得到特定的人脸模型，这是现在大多 数人脸建模和动画研究者采取的建模方式。其思想是根据人类面部特征的位置、 分布基本上是一样的，因而特定人脸的模型可以通过对一个原始模型中的特征和 其它一些网格点的位置进行自动或交互式的调整( 保持拓扑不变) 而得到。 7 电予秘技大学颈士攀位论文 1 3 2 三维人脸建模的应用 人脸作为个体的门户，是人体上最具表达力的一部分，在人类的交流中占据 着举是轻重的恐谴。从入脸土，我们不但可疆识嗣蹬入的身份，还可以蕊察滋德 的喜怒哀乐，推断出他的个性。人们对人脸的复制直具有浓厚的兴趣，自从第 一台计算机诞生以浓，计算机技术得到迅猛发展，基于计算机的人脸建模技术也 目趋成熬。毽蔻，三维人验建援技术泌经广泛应用子各季孛领域，包括体阕娱乐、 通讯、医疗、教育等领域。 三维入脍建模在娱乐方瑟最显著静应霜楚菝广泛遗瘸子电影、毫褫中褒羧演 员与虚拟主持人的制作。从美国颇受观众喜爱的影片花术兰、真实的谎言、 冰河世纪、夺面双雄到我国动磷片的宝蓬灯等电影的制作中都无不体 现了人黢造摧积动懑技术的魅力。 将三维人脸建模用于人机界面方耐，能有效地增强软件系统的可用性。从计 算橇建户豹隽度来讲，磊蘩疆鼹技到一令完美兹人凝秀嚣设诗，现有黟天甄努嚣 存在的一个酱遍的问题怒专业性太强，用户往往要花一定的时间和精力才能学会 使焉个软件系统。翔粟能给_ 鬻户提谈熟悉静久税辩面，院如戬久脸耱形式崮虢， 丽不仅仅是单调的键盘鼠标操佟，那么将大大提高软件的可用性。 在面部整形手术及曛学研究领域，三维人脸建模也用广泛的应用。在进行面 部整形手术之蠢蕈，可以模拟手术熬过糕和展示手术治疗嚣的治疗效果。不断发展 的人脸造型与动画系统也为心理学家进行人涟运动和表情的研究提供了依据。心 理学窳可敬耀入羧运动的诗篓莘梵模型来实褒稳辩豹磷究。这毙传统蕊饺蠲照片或 人为地刺激肌肉进行研究更方便有效。 三维入脸建禳技术在游戏娱乐方磷也体现了重簧的价值。计算辊游戏是当前 秫闲娱乐的主要方式之一，游戏软件业已成为计算枧的支牲产业之一。现在瓣游 戏的不足之处之一在于，一般只能是玩家操纵游戏中的虚拟角色从事某种探险或 战役等矮凌，缺乏参与感。熟袋能爨三维建模集成到游戏中，谴覆户戆够曩鑫己 建立的虚拟形象在游戏中驰骋，将大大提高游戏的可玩性和玩家的兴趣。 三维入验建模瓣另一个重要的应瘸领域逶计算税辅致教学。诖虚叛教耨代替 人工劳动不仅可以减少教师的工作，还可以大大提离学生的兴趣，提高教学效果。 在当今信息时代，电话是人们日常生活和工作中不可缺少的通讯工具。憾目 兹，普通懿逛话只能是“只闻其声，不见其人”，隧羞科技豹发矮，“霹视电话” 的研究已提上日程，三绒人脸建模技术将在可视电话技术的研究中体现其重袋价 第一章绪论 值。 1 4 本文的工作及章节安排 基于作者两年以来所做的工作，本文重点探讨基于m p e g 一4 的三维人脸动画 实现方法以及一种基于变形算法的三维人脸建模方法。 人脸是一个复杂的生理结构体，人脸表情变化多端，这使得三维人脸动画及 建模一直是计算机图形学领域中极具挑战性的研究课题之一。 “逼真”是真实感三维人脸动画及建模的基本要求之一，但是，当在以多边 形网格表示的人脸模型上实现动画时，模型的逼真性和动画效果的逼真性之间存 在一定的矛盾：模型的逼真性需要密集的网格定点支持，网格顶点越密集，模型 的逼真性越强；动画的逼真性需要动画的连续性保证，即不低于2 5 帧秒的动画速 率，在实现动画的过程中，密集的模型网格顶点需要大量的计算，这将降低动画 的速率，影响动画的逼真性，这就形成了动画与建模之间的矛盾。本文提出的一 种新的基于m p e g 4 的三维人脸动画方法能够解决这种矛盾，该方法能够在f a p 帧的驱动下，对具有1 1 2 8 0 个网格顶点的、逼真的三维人脸模型，实现真实感较 强的三维人脸动画，动画播放的平均速率可达到3 8 帧秒，这种方法数据量小，适 合于网络传输；数据通用性强，计算量小；实时性强，操作简单；实用于不同拓 扑结构的人脸模型。 另外，为了给上述动画方法提供人脸模型，我们提出了一种新的建模思想及 其实现方法一随机生成三维人脸模型，该方法能随机地生成大量不同的人脸模 型，用户可以保存自己喜欢的模型并对模型进行少量的细微调整，这是一种基于 变形算法的建模方法，它能大量减少用户建立三维人脸模型的工作量。 本文结构安排如下： 第一章，绪论。主要介绍了三维人脸动画技术以及三维人脸建模的研究背景 以及研究的意义。在此基础上，给出了本论文的研究内容和目标。 第二章，一种新的基于m p e g - 4 的三维人脸动画实现方法。介绍基于m p e g 4 的三维人脸动画原理，并在此基础上提出一种新的三维人脸动画方法，列出了该 动画方法的试验结果。 第三章，用于动画的三维人脸建模。本章介绍了d f f d 变形算法以及基于该 变形算法的人脸建模方法。通过对通用人脸模型的面部区域进行逻辑划分，在各 逻辑区域合理地设计控制点，运用变形算法，合理地控制变形，达到随机生成人 9 电予科技大学硕士学德论文 羧摸型静毽照；懑过馊邋用人验模型多样纯的方法，使隧枫生戏的人黢模型可嚣 分性更强。 第霆拳，缝论。本警奔缓了熬予本文提出瓣淤蘑方法秘建摸方法实玟瞧动嚣 系统，以及今后需要继续完善的工作和三维人脸渤画今质发展的展望。 1 0 第二章一种新的基于m p e g - 4 的三维人脸动画实现方法 第二章一种新的基于m p e g 一4 的三维人脸动画实现方法 近年来，三维人脸动画技术在数字娱乐，虚拟现实，人机交互以及通信等领 域得到了广泛的应用，但是目前用计算机生成高真实感的人脸动画还存在很多困 难。实现人脸动画的难点主要有两个：构建一个好的人脸模型和产生具有真实感 的人脸表情。 人脸对象是m p e g 一4 中一个非常重要的对象，m p e g 一4 用f d p ，f a p ，f a p u 来描述它的几何外形、纹理以及表情，这些参数对人脸的表示和动画做出详细的 定义。 本章主要研究基于m p e g 一4 的人脸动画，在m p e g _ 4 动画的基础上，提出一 种新的三维人脸动画实现方法，该方法数据量小，适合于网络传输；数据通用性 强，计算量小；实时性强，操作简单；实用于不同拓扑结构的人脸模型，能够在 f a p 帧的驱动下，实现真实感较强的三维人脸动画。 2 1m p e g 一4 简介 m p e g 一4 是m p e g 组织( m o v i n gp i c t u r ee x p e r t sg r o u p ) 在成功的制定了 m p e g 1 和m p e g 一2 标准之后，所提出的新一代多媒体数据压缩标准。它主要致 力于为广泛的多媒体应用提供一个通用的平台。标准的制定工作开始于1 9 9 3 年， 并在1 9 9 8 年产生了第一版的国际标准。m p e g 一4 中一个重要的概念就是对象。一 个m p e g 一4 场景包含一系列的视频和声音对象，他们通过场景描述文件组织起来。 以视频对象为例，它就包含了时空域上的形状、运动和纹理信息。这种基于对象 的编解码方法非常适合交互式的多媒体应用环境。m p e g 4 的另一个特点是他同 时支持对自然的和合成的视觉、声音对象的编码，并可以将两者结合到同一个场 景中去。m p e g 一4 有着广泛的应用前景，例如，数字电视、低比特率下的移动多 媒体通信、视频电话、电视电影制作、h l t e m e t i n t m e t 上的视频流传输与可视游 戏、基于面部表情模拟的虚拟会议室、交互式多媒体应用等等。 m p e g _ 4 预见3 d 人脸动画在以后将起到的重要作用，故在m p e g 一4 中定义 了中性状态的人脸模型，中性人脸上作为参考点的许多人脸定义特征点以及一个 人脸动画参数集合。 1 1 电子秘技大学硕士学徒论文 在m p e g 4 中，人脸对象是用兰维网格棋激来表示的。它通过一系列的参数 寒刻夏一个人验。这缝参数有：入黢定义参数f d p ( f a e i a ld e 巍n i 两np a f 撼e 瞬) ， 它包含了入脸盼特征点、纹理帮人滁动画蕊羽鼬誓( f a c e a n i m a 娃o nt a b l 。) ；入脸动 画参数心f f a c i a la n i m a t i o np a r a m e t e r ) 描述了三维人脸模型的动态变化，人脸动 画参数和动画规则一起，决定了三维人脸模型在动画时，模裂顶点的运动掇。 醚p 嚣g 一4 共定义了6 8 令大簸韵蘑参鼗。其中有嚣令是“籀詹”酸p 参数， 分别是v i s e m e 和融n r e s s i o n 。v i s 啪e 就是对成人发音时嘴部变形的动厕参数， e x p r e s s i o n 是对应于人脸做不同表情时面部变形的动画参数，目前共定义了6 种 最普遍数裘 专，分别楚塞兴，愤怒，恐惧，厌恶，悲褒和豫讶。另舄6 6 个秘藿参 数都属于“低层”动躐参数。它们一般都是和入脸的某一个赫部区域的运动有关。 例如f a p 3 5 ，就是控制左边外眼眉的运动的。 在m p e g t 4 中，人簸的动画规则是用线性分段函数的形式装示的( 对低鼷f a p ) 。 一条动薅耱嗣是铮对一个王c a p 翁，它表示了人验模鍪上兹特镁点在菜个默爹数僮 的作用下，相对于中性位置的位移赞。 m p 聪g 4 所定义的人脸是一个合成的视觉对象，通过人脸幼画参数来掇制人脸 霹象懿交影，霹臣在投低熬数据率下获褥理想豹入验动画效襞。在m p e g 4 中，人 脸对象怒用三维网格模型来表示的，它通过系列的参数来刻画一个入脸。在 m p e 0 4 标准中，定义了8 4 个人腌特征点f d p 和6 8 个人腧动画参数f a p 。f d p 用于定义人脸的特征，淞p 定义了一整套人脸的基本动作，可以再现绝大多数的 灭验衰l 蠢帮屠动。 2 1 1m p e g 一4 定义的人脸参数 鞭p 嚣g 。4 为久簸龚孽表示及人黢动西戆实瑷定义了久黢定义参鼗f 转p f f a e e d e f i n i t i o np 甜a m e t e r ) ，人脸动画参数e a p ( f a c ea n i m a t i o np a r a m e t e 订及人脸动画参 数单元f a p u ( f a c j a la n i m a t i o np a r a m e t e ru i l i 幻。 人脍定义参数f 转p 提雾冬入验特征点、障洛、绞理、人黢麓懑定义表等数握， 有了这数数据就可以搬一般人脸转化为特定人靛。f i ) p 在m p e g 4 斡一段动画中 通常只需要传送一次，而紧接着f d p 之后传送的就是经过压缩的f a p 。 在一个f d p 域中包含以下5 个内容： f 1 ) a 姐e p o i 鞋t s 渤o f 莲。指定瓣疆中绣寿特强点静垒蠢。 ( 2 ) t e x t u r e c o o r d s 。指定所有特征点在纹理上的坐标。 第二章种新的基于m p e g 一4 的三维人脸动画实现方法 0 1 u s e o n h o t e x t u r e 。指定纹理的类型。如果u s e o n h o t e x t u r e 值为f a l s e ， 则纹理采用圆柱投影，如果u s e o r t l l o t c x t u r e 值为t r u e ，则纹理采用正投影。知 道纹理类型，才可以正确地计算非特征点在纹理上的坐标。 ( 4 ) f a c e d e f r a b l e s 。即人脸动画定义表，描述f a p 对人脸网格变形的控制方式 和参数。 ( 5 ) f a c e s c e n e g r a p h 。包含一张纹理图像或者一个上色的人脸模型。 在m p e g _ 4 标准中定义了h ) p 的8 4 个人脸特征点，如图2 1 所示，对于 其它网格、纹理、人脸动画定义表等内容没有具体的限定。 人脸的动画参数f a p 是m p e g 一4 标准中定义的一组人脸动画参数。f a p 建立 在人脸微小动作的基础上，并且非常接近于脸部肌肉的运动。f a p 定义了一整套 基本的人脸动作，可以再现绝大多数自然的人脸表情和唇动。 m p e g 一4 共有6 8 个f a p 。其中前面两个被称作高级e a p ，分别是唇形 ( v i s e m e ) r 廿和表情( e 【p r e s s i o n ) f a p 。对于唇形f a p 来说，可以预先定义好一些 基本的、不同的唇形，其他的唇形可以由这些基本的唇形线性组合而成；表情f a p 也是一样的原理，可以用几种基本的表情线性组合出各种丰富的表情。除高级f a p 外其他的普通r 廿分别定义了人脸某一小区域的运动。两个高级f a p 的作用是更 准确、方便地表现一般的唇动和表情，这些唇动和表情用普通f 廿也可以实现。 但是对于复杂、不规则的唇动和表情，则只能用普通的f a p 来实现。普通的f a p 般都是和人脸的某一个局部区域的运动有关。例如f a p 3 5 ，就是控制左边外眼 眉的运动的。 f a p 的值是以人脸动画参数单元f a p u 为单位的。以f a p u 为单位的目的是 使同样的f a p 参数应用到不同的模型上，产生的是同样的唇动和表情，而不会因 为模型的不同而使唇动和表情走样。这样就使f a p 具有了通用性。 m p e g 4 定义的f a p 列表包括f a p 编号、f a p 名称、f a p 的简单描述、r 拉 对应的r 廿u 、r 谨的方向属性( 单向或双向) 、f a p 的正方向、f a p 的组编号、 r 廿的组内编号、f a p 的默认移动步长。表2 1 为部分m p e g _ 4 中定义的f a p 列 表。 f a p 与模型无关，而f a p u 则是与模型相关的。e a p u 是人脸上某段特征长度 在1 0 2 4 尺度上的量化值。具体来说m p e g 一4 标准中定义了6 个f a p u ，分别是 i r i s d 、e s 、e n s 、m n s 、m w 和a u 。它们的值定义为：瓜1 s d = 1 r i s d o 1 0 2 4 ， e s = e s o 1 0 2 4 ，e n s = e n s o 1 0 2 4 ，m n s = m n s 0 1 0 2 4 ，m w = m w o 1 0 2 4 ，a u = 1 0 - 5 。 它们的物理意义如图2 2 所示。a u 是旋转角度单元，单位是弧度。 e 1 15 0f 2 3 建 国 、一 3 0 r i g n le y e 3 撼 匿盈墨殍 9 1 0 9 压亟丕婴 9 t e e l h 3 + 馥 l e 代e y e 8 k 0 s e 2 0 7 窖、年 9 博9 5 9 f 。f e 鑫l h 潞参。酗毽鑫嚣垂e 瑾姆f 盎p s 尊0 h e f 纛a u r 0p o i n 担 图2 - lm p e g - 4 的人脸定义参数p ) 1 4 7 0 、 op惠 幢。 警 兰v7 严影 第二章一耱新懿基予猢瞪g 一4 静三壤入脸动蘧实现方法 表2 1m p e g 。4 的人脸动画参数表 聋f a ph a m e f a pd e s c r l o t j o nu n n su n i p 0 8 gf d p0 u am n ，翻a x 彻 n ，m a x o f 8 |r # b 窖 n tl ，f 糟m ep * f 惴m e d 打 m o l l ps t e pl 疆n t z e “# ” i z $ d v a l u e se d v a i “e s 18 e t o f v a i u e si1v s e m eb d 鼬e r m i n m 口i h oi e n d 6 3b i 籼d ：+ m l x t u r eo f t w o6 3 v l s 0 m o s f o f 班l s n 奄m e 皂墨# 姗：辩， l h l 2a e o f v 蹦u b s d 0 栅肌l n l n g 铂e n n 1 8 n s n0 n n i e n i i x l u 阳o fm o y 1 s 脚1 赫c l d le x 0 悖s s i o n e 口r e s s i oe k d r e s l nm l e n s i to n t e n ￥2 + 6 3s 螽v 2 。+ 。 8 3 3o # $ n j g wv 8 哺c 0 1 0 雠黼n sud w n24+ 0 8 0+ 3 8 0 d 搏d l 目c e m e 1 tf b o e s n o l 拼协c ln l o u l h o p o n h l g ) 4 l o w e l m l d