（教育技术学专业论文）基于opengl的人脸表情曲面建模技术研究与实现.pdf

天津师范大学硕士学位论文 摘要 人脸建模与动画是计算机图形学领域研究的热点和难点，随着计算机动画技术、 影视技术、电子游戏、虚拟现实等应用的发展，这一研究领域越来越受到人们的重视。 本文对国内外现有人脸建模与动画技术进行了总结，在比较现有人脸建模与动画技术 采用的方法基础之上，针对人脸建模、动画驱动的关键技术进行了深入地研究，提出 了基于o p e n g l 的曲面建模方法，并设计实现了人脸建模与表情呈现的实验系统。 人脸建模与动画技术的研究始于上个世纪7 0 年代初，目前正日益成为计算机领域 研究的热点。这主要是由于众多领域的需求推动和计算机处理能力与数据采集设备的 不断进步。许多著名的研究单位都设立了专门的人脸三维建模研究小组。国内这方面 的研究起步较晚，虽然实际应用方面仍然很少但理论研究发展迅速。 人脸建模和动画研究的关键在于如何使用简单的方法和设备，虚拟出真实的人脸 表情。本文是在天津市重点科技攻关项目( 0 4 3 1 0 7 3 1 r ) “和谐人机交互系统中情 感计算的理论与技术”的研究背景下，探索性地提出基于o p e n g l 的曲面人脸建模模型， 并在此模型的基础上设计并实现了三维人脸表情的呈现。 本文作者在比较了多种人脸建模方法后，决定运用n u r b s 曲面对人脸进行建模， 并运用微软的o p e n g l 函数库对人脸模型进行呈现和纹理映射。n u r b s 曲面建模是近年 来人脸建模的热点，它具有建模快速、运行代价低、模型平滑程度高和交互式控制等 优点。o p e n g l 具有渲染速度快、独立于操作系统又独立于硬件的优点。综合这些特点， 作者选用此两种技术的结合来实现三维人脸建模和表情呈现。 本文作者设计的基于o p e n g l 的人脸表情曲面建模呈现实验系统主要做了以下工 作：( 1 ) 在确定曲面建模后直接使用n u r b s 曲面在3 d sm a x 环境中建立模型：( 2 ) 在 v c + + 6 0 环境下将模型文件呈现出来，并使用0 p e n g l 函数库对其实施纹理贴图：( 3 ) 最后通过直接调整曲面控制点方法呈现人脸表情。 经过实验，作者提出的建模和动画实现方法取得了良好的效果，为曲面直接建模 和控制动画的方法做出了卓有成效的实践。 关键词：曲面建模；n u r b s ；纹理映射；表情；虚拟人脸； 天津师范大学硕士学位论文 a b s t r a c t f a c i a lm o d e li n ga n da n i m a t i o ni so n eo ft h ed i f f i c u l tr e s e a r c ht o p i c si n t h ef i e l do fc o m p u t e rg r a p h i c s w i t ht h ed e v e l o p m e n ti nt h ea p p l i c a t i o no f c o 叩u t e ra n i m a t i o nt e c h n o l o g y ，m o v i et e c h n i q u e s ，e l e c t r o n i cg a m e sa n dv i r t u a l r e a li t y ，t h er e s e a r c hi nt h i sf i e l dh a sd r a w nm o r ea n dm o r ea t t e n t i o n t h ep a p e r g i v e sac o m p r e h e n s i v es u r v e ya n da n a l y s i so ft h ee x i s t i n gf a c i a lm o d e l i n ga n d a n i m a t i o n b ys y s t e m a t i c a l l ya n a l y z i n gr e l e v a n ta l g o r i t h m s ， ip r e s e n tn o v e l a l g o r i t h m sf o rf a c i a lm o d e l i n g ：b a n d e d s u r f a c ef a c i a lm o d e l i n gb a s e do no p e n g l d e s i g n e d a n da c t u a l i z e df a c i a lm o d e l i n ga n df a c i a l e x p r e s s i o np r e s e n t i n g e x p e r i m e n t s y s t e m t h er e s e a r c ho ff a c i a lm o d e l i n ga n da n i m a t i o ns t a r t e df r o m1 9 7 0 s ，w h i c h i sb e i n gah o tp o i n ti nc o m p u t e rr e s e a r c ha r e a t h er e a s o ni st h a tt h ed e m a n d i nm a n ya r e a si m p u l s i o na n dt h ei m p r o v i n go fc a p a c i t yo fc o m p u t e r m a n yf a m o u s r e s e a r c hu n i t sh a dc r e a t e d3 df a c i a lm o d e l i n gr e s e a r c hg r o u p i nc h i n a ，t h e s t a r ti sl a t e r t h o u g ht h ed e v e l o p i n go ft h et h e o r ys oq u i c k l y ，t h ea p p li c a t i o n s t i l lf e w t h ep o i n to ff a c i a lm o d e l i n ga n da n i m a t i o ni sh o wt ou s es i 叩1 em e t h o da n d e q u i p m e n tt ob u il dah u m a nf a c ea n di t se x p r e s s i o n s u n d e rt h er e s e a r c h b a c k g r o u n do fa f f e c t i v ec o m p u t i n gt h e o r ya n dt e c h n o l o g yi nh a r m o n i o u sh c lw h i c h i ss u p p o r t e db yt i a n j i ns c i e n c ea n dt e c h n 0 1 0 9 yt a c k l ek e yi t e m ( 0 4 3 1 0 7 3 1 r ) ， t h i sp a p e re x p l o r e st or i s eu pt h em e t h o do ff a c i a lm o d e l i n gb a s e do n0 p e n g l a n db a n d e d s u r f a c e t h ea u t h o rd e c i d e dt ou s en u r b ss u r f a c ef o rm o d e li n g ，a f t e rc o m p a r e dm a n y m o d e l i n gm e t h o d s ，u s i n go p e n g lf u n c t i o n st or e a l i z et h em o d e la n dt e x t u r e m a p p i n g n u r b ss u r f a c ei sb e c o m i n gah o tp o i n to ff a c i a l ，f o rl o wr u n n i n gc o s t ， q u i c k l ym o d e l i n g ， s m o o t hs u r f a c e ，a n dc o n v e n i e n tc o n t r o l l i n g w i t ht h o s e m e r i t s ， t h ea u t h o rc h o o s e si t t h ea u t h o r sw o r k si nt h i sp a p e ra r ea sf o l l o w s 1 1 天津师范大学硕士学位论文 ( 1 ) c r e a t e dt h em o d e li n3 d sm a xu s i n gn u r b ss u r f a c e ( 2 ) r e a l i z e dt h em o d e li nv c + + 6 0m a p p i n gb yo p e n g lf u n c t i o n s ( 3 ) r e a l i z e dt h eh u m a ne x p r e s s i o n sb ya d j u s t i n gt h ec o n t r o l l i n gp o i n to f t h em o d e l t h ee x p e r i m e n tt e s t i f i e dt h a tt h em e t h o df o rc r e a t i n gm o d e l ，m a p p i n g ， a n d c o n t r 0 1li n gt h ee x p r e s s i o n sm a k eag o o dw i n n i n g k e yw o r d ： b a n d e d s u r f a c em o d e l i n g ：n u r b s ： t e x t u r em a p p i n g ： e x p r e s s i o n s ： v i r t u a lf a c i a l ： l i i 天津师范大学硕士学位论文 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知， 除了文中特别加以标注和致谢的地方外，论文中不包含其他入已经发表或撰写过的研究成果，也不 包含为获得墨鲞! 至基盘堂或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 学位论文版权使用授权书 本人完全了解天津师范大学有关保留、使用学位论文的规定，即：学校有权将学位论文的全部 或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和 借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名： 天津师范大学硕士学位论文 1 1 课题的背景 第一章绪论 目前，在人与计算机的交互过程中，以文字表达的信息占压倒性的地位，但正如 人与人交流的过程一样，肢体语言在交流过程中同样重要。随着计算机的应用和普及 人类越来越多的需要与计算机交互更加大量的信息。计算机硬件的发展和网络的普及， 使得人与计算机通过文字、语音、图像等手段进行交互成为可能。正如肢体语言是人 类交流中必不可少的补充一样，在人与计算机的交流中，各种非文字交互方式正成为 人机交互越来越需要的手段。在人类的肢体语言中，表情是最为重要的组成部分，不 仅因为人类之间的交互几乎都是脸对脸的交流，还因为人类表情具有快速、复杂和容 易被观察的特点。因此，虚拟人脸或者说虚拟表情已经成为现代人机交互的热点。要 创造一个和谐的人机交互环境，虚拟人脸合成及其相关技术、人脸建模与动画是和谐 人机交互课题中非常重要的环节。 当今，逼真的三维人脸、灵活多变的表情动画已经成为当前多媒体技术领域的重 要研究课题。该技术可以广泛应用于影视特效、p c 游戏、网络视频通信、远程会议等 众多方面。目前，计算机人脸表情动画已经在以上的诸多领域中有了广泛的应用，但 这项技术仍存在一些不足和难题：第一，对计算机硬件要求较高，这主要是由于人脸 表情的呈现对计算机来说仍是一个较大的工程，而要产生连续的、逼真度较高的动画 效果需要计算机的运算速度、网络的传输速度较高。第二，人脸结构复杂、表情丰富， 要想建立逼真的人脸模型涉及到生物学、力学、解剖学等多方面的知识领域，这为人 脸表情的建模带来了不小的困难；第三，即便有了较成熟的人脸建模方法，仍然需要 具有较高的计算机使用水平的专业人员来进行操作，这对人脸表情建模的推广是一个 直接的阻碍。因此，如何设计一个直观、快速、逼真的人脸表情建模方法并简单的控 制一个虚拟人脸来呈现出不同的真实的表情是人脸表情合成动画研究的焦点。 1 2 人脸建模的概述、研究领域及其应用 1 2 1 人脸建模概述 面部是非常重要而又复杂的交流通道，逼真的面部合成是计算机图形学中最根本 天津师范大学硕士学位论文 的问题之一，同时也是最困难的问题之一。人脸的计算机建模一直是计算机图形学及 人机交互领域非常热门的研究课题。 人脸建模的研究开始于上个世纪7 0 年代，其中计算机动画对于人脸计算机建模的 推动作用是不可忽视的。如p a c i f i cd a t ai l a g e sp i x a r 公司制作的动画片“t i nt o y 。 随着计算机硬件技术的提高，图像的采集和处理、在个人电脑上运行动画都成为了可 能。此后，随着激光扫描仪、数码照片的出现使得计算机人脸建模的数据来源取得了 突破性进展，从此计算机人脸动画的研究成果突飞猛进。 1 2 2 人脸建模的研究领域 要想建立一个快速、逼真且操纵简便的人脸模型需要很多方面的研究工作。这其 中包括： ( 1 ) 数据采集技术 数据采集技术是关于如何将照片、视频、激光扫描仪数据等等数据与所建立的人 脸三维模型进行整合，将他们准确的定位于3d 人脸模型之上。它可以算是人脸建模 的核心技术之一。 ( 2 ) 物理学和生物学技术 人脸是一个非常复杂且不规律的多面体，表情十分复杂。要想呈现一个准确表达 某一表情的人脸，需要一定的力学和生物学的知识作为辅助。因为人脸是一个层次化 的结构，它由骨头、肌肉、皮肤所组成。人脸的表情的产生是由于附着在骨头上的肌 肉的收缩与伸展引起皮肤的形变而形成的，并且与肌肉结点的距离也影响着形变的大 小。正因为这样曾经风靡一时的肌肉模型才会如此的受到青睐。在肌肉模型中，将影 响人脸表情的肌肉划分为线性肌和括约肌，如口括约肌、眼括约肌、颧肌、皱眉肌等 等。 ( 3 ) 三维表示技术7 比较传统的人脸都是通过多边形面片来近似的表示人脸，而近年来则更加流行 n u r b s ( 非均匀有理b 样条) 曲面表示，同时也有两者兼有的实验结果。这两种技术相 比较而言，前者更加直观、简单、渲染时问较短，但其缺点是曲面的光滑程度不如后 者。而后者的特点是用多边形控制点来控制区面，能够得到更加平滑的曲面，但是很 难确定控制点的合理、有规律的分布。 ( 4 ) 人脸模型调整技术 人脸模型调整是表情动画产生和脸部动作产生的必要过程。常用的脸部调整方法 2 天津师范大学硕士学位论文 可以分为三大类。首先是插值法，其中又分为参数插值和直接插值，其原理都是改变 人脸模型上某一关键点的位置；其次是参数化方法，即经过对样本的学习，得到一些 特定表情的参数，以实现表情的控制；最后是人脸生物模型方法，即根据皮肤、骨骼、 肌肉等模型使人脸产生形变得到变化后的模型。 ( 5 ) 纹理映射技术 一个经过前面各个步骤建立好的人脸模型仍与真实人脸有很大差距，原因是缺少 真实人脸的纹理。纹理映射是增加人脸真实感的必要步骤。按照采用的数据不同纹理 映射可以分为单图像纹理映射、多图像纹理映射或3 d 激光扫描仪数据纹理映射等；根 据采用的技术又可以分为m p e g 4 、o p e n g l 等方法。 1 2 3 人脸建模的应用范围 计算机模拟人脸发展最大的动力来自于计算机动画和电影特效行业，这也是我们 最常接触到的应用。另外视频会议也是虚拟人脸的一种重要应用，虽然图像压缩技术 在不断的进步，网络带宽在不断的增加，但使用虚拟人脸来实现远程会议仍有很大的 发展空间。将初始化的参数和最初的人脸图像捕捉并传输，在接收端用计算机模拟出 说话人的脸，再通过传输的人脸参数变化模拟出说话人的表情，这一视频传输方法仍 然比图像的传输数据量要小得多。特别是在某些特定的小带宽传输条件下，如：在飞 船上的宇航员与地球的可视电话或通过卫星传输的可视电话等。 此外，虚拟人脸动画还有着很多其他的应用领域如：人机接口、电视虚拟播音员、 广告设计、面部外科手术、计算机辅助手语教学及心理学、认知科学等许多领域。 1 3 本文的研究平台、背景及意义 本文是在天津市重点科技攻关项目( 项目编号0 4 3 1 0 7 3 1 r ) “和谐人机交互 系统中情感计算的理论与技术刀的背景下以w i n d o w s 为平台、0 p e n g l 、v c + + 为工具、 n u r b s 曲面为理论依据在个人计算机上模拟出3 d 人脸表情的。 本文的研究意义在于比较了现有各种人脸表情建模的方法，提出了对其中关键技 术的改进，并在个人p c 上实现，有利于人脸表情建模与实现的大面积推广与普毽。本 设计实现了和谐人机交互课题中的一部分，人脸表情动画呈现。 天津师范大学硕士学位论文 1 4 本文的研究内容及主要工作 本文在广泛阅读国内外关于人脸建模与表情动画技术的文献后，对各种方法进行 了比较，并确定本设计的建模方法。在实现过程中还提出了自己的方法对人脸建模、 纹理映射和表情控制等关键技术加以改进和完善，开发出了相应的虚拟人脸表情。 当今，计算机虚拟人脸的建模和渲染方法多种多样，但至今为止人们仍未找到一 种公认的效果最好且代价最小的虚拟方法。本文对已有的各种建模方法如：体网格建 模、曲面建模、多边形建模等；各种表情控制方法如：肌肉模型、伪肌肉模型、人脸 表情编码系统等；各种纹理渲染方法如：基于图像的、基于m p e g 4 的、基于o p e n g l 的 和基于3 d 数据的；进行了详细的研究和比较，并最终实现了基于o p e n g l 的曲面建模 方法。 1 5 本文的内容结构 本文共分为六个部分： 第一章绪论，介绍了人脸建模技术的概况，同时介绍了本文的研究背景及意义和 人脸表情动画的研究领域及应用范围，最后指出了本文的结构内容和本文的研究内容 及主要工作。 第二章人脸建模技术的发展与比较，分别从人脸建模技术的原理和人脸建模技术 的发展两个方面来介绍了本课题的研究领域及主要技术方法。 第三章人脸表情动画的原理与实现方法，较为系统地介绍了人脸动画生成的整个 过程和主要方法。重点介绍了插值动画、肌肉模型等流行的动画技术并加以比较，讨 论了它们各自的优缺点。 第四章n u r b s 曲面建模原理，系统地介绍了n u r b s 曲面建模的理论依据及由此所 获得的建模优势。提出了使用n u r b s 曲面建模的方法。 第五章基于o p e n g l 技术的人脸表情的实现，介绍了o p e n g l 工作原理及其优势， 同时介绍了基于n u r b s 曲面模型的建立和读取过程。详细介绍了实验中模型功能的实 现，最终给出实验结果。 第六章总结，总结所做的工作、实验的收获及对今后工作的展望。 4 天津师范大学硕士学位论文 第二章人脸建模原理与技术发展现状 计算机人脸建模工作开始于上世纪7 0 年代，其中的代表人物是p a r k e ；兴盛于8 0 年代中期，其中最著名的就是w a t e r s 等人提出的肌肉模型建模方法，其理论得到了广 泛的应用，其深远的影响直到现在还普遍存在。近些年基于图像的纹理映射、基于曲 面的建模技术正逐渐成为主流，甚至在m p e g 4 标准中也专门制定了人脸建模的参数范 围。 人脸建模和实现真实感人脸表情是非常困难的，因为人脸不但形状各异、结构和 运动机理也非常复杂，需要很多相关学科如数学、物理、生物力学和解剖学的知识综 合应用才能取得不错的效果。 本章以下内容分别介绍了人脸建模的基本原理与方法，详细介绍了人脸建模的过 程和人脸建模技术发展的历史，最后对目前几种人脸建模技术优缺点给予了比较。 2 1 人脸建模原理 2 1 1 人脸的生理结构 人脸是由头骨、肌肉、结缔组织、皮肤和毛发组成。人脸之所以能够产生表情是 由于脸部肌肉产生形变同时影响面部皮肤和毛发的缘故。人类面部肌肉大约有2 0 0 多 条，为了方便建模我们一般将其简化为不超过十几条。人类面部肌肉最主要的有口括 约肌、鼻肌、颧肌、下颚肌、皱眉肌等等1 。这些肌肉的状态决定了人脸表情的变化。 在计算机建模当中我们将人脸的肌肉归结为线性肌肉和括约肌。最后，人脸的表面皮 肤仍是十分复杂的器官，人脸的皮肤不仅有颜色和质地的差别，还有很多凹凸不平的 细节，用计算机是很难模拟出这种质感的，并且每个人的皮肤因人而异。因此我们需 要贴图和3 d 渲染技术来完成一个有真实感的人脸模型。 2 1 2 虚拟人脸合成 通常情况下，虚拟人脸的呈现一般包括三个过程：数据获取、模型建立、脸部表 情呈现。这其中数据获取可以通过测量人体面部的三维数据，对其结果进行统计来生 成人脸的统计学数据库。但将通用人脸模型转变为特定人脸时仍然需要用户输入大量 天津师范大学硕士学位论文 的数据。当然现在的手段已经可以实现激光扫描仪直接获取三维数据。模型的建立主 要是指人脸的几何模型，就是指将人脸用网格表示出来作为此后呈现的基础构型。几 何模型的建立十分困难，这是因为人脸的形状复杂且正常人对其都十分熟悉，略有不 足就会被注意到。几何模型的建立一般采用网格法，通常情况下我们认为网格数越多， 就能把对象的形状表达得更加详细，但是计算代价也会随之增加。脸部表情地呈现主 要涉及皮肤纹理的渲染和面部动画的控制，这其中纹理渲染的速度和动画控制的灵活 性和可操作性又是最关键的。 虚拟人脸就是指用计算机合成高兴、悲伤、兴奋、生气、愤怒等脸部各种特征状 态的人脸模型。虚拟人脸的建立过程就是一个从几何模型经过渲染和变换得到特定人 脸的变换过程。但是到目前为止，计算机的能力之内合成的图像还远远不能满足人们 的要求。 2 1 3 人脸几何建模 脸部几何模型生成方法大致可以分为3 种：多边形建模技术、曲面建模技术和体 网格建模技术。这三种方法各有不同。 图2 1 一般人脸模型示意图 最初的几何建模技术大多是多边形建模技术，包括矩形网格和三角形网格，后来 出现了自适应网格。 曲面建模技术主要包括样条模型和有限元模型。有限元方法用于更精确的皮肤形 变计算，如整形外科手术等。样条模型当中最热门的是n u r b s 曲面建模，其优势在于 可以以平滑的曲面模拟人脸，但是由于样条模型对形状的控制是由控制点操纵的，而 不是曲面的表面，这使得其理解和实现非常不方便。 6 天津师范大学硕士学位论文 2 2 人脸建模过程 目前世界上许多著名的大学或研究院都设有专门进行人脸三维建模研究的项目。 国内在这方面的研究起步较晚，但是发展也很迅速。如中国科技大学所作的基于图像 的合成三维人脸建模一“；中国科学院自动化研究所研制的基于激光扫描的三维数据 获取方法p ，都是比较先进的实践成果。除此之外，浙江大学、清华大学也在虚拟人 脸表情的研究方面取得了不错的进展。但目前国内对于此项技术的实际应用还很少。 三维人脸动建模的过程主要分为3 个步骤：( 1 ) 数据获取、( 2 ) 几何模型建立、 ( 3 ) 特定人脸模型建立。 2 ，2 。1 数据获取 其实，三维人脸数据的获取主要用途在于形成特定人脸模型阶段，而通用人脸模 型的基础数据的准确性对人脸模型的建立影响并不大，并且以前的学者已经通过各种 各样的手段获取了足够多的通用人脸模型数据。通用人脸模型的样本库主要是为了确 定通用人脸模型的参数范围，而特殊人脸是各异的，所以也就不能用这一样本库所确 定的参数来强行制约特殊人脸的参数。 虚拟人脸发展的这些年来，获取数据的方法基本可以总结为两种：一是采用先进 的设备直接对人脸进行扫描( 如3 d 激光扫描仪，可以直接对人脸上1 0 万个点进行扫 描) ；二是采用普通图像，用较复杂的方法来获取图像中人脸的数据来调整通用人脸模 型。 1 、采用先进设备获取数据 三维激光扫描是获取数据的一个最准确的方法，可以很快获得大量的三维数据。 其原理是：它由一个激光源和一个摄像机构成，激光源发出的光束经过一个旋转的平 面发射后照到物体上，物体上形成一个亮条，从而摄像机采集的图像上有一对应亮条， 这样可以有效的解决双目视觉中对应点的匹配问题。 2 0 世纪8 0 年代，p o s d a m e r 等人和b o y e ：等人提出这种方案p ，取得了较好的结 果。b e u m i e r 等人进一步发展了这种思想，建立一个基于结构光的快速获取系统p “， 并利用此系统采集了一个包含1 2 0 人的三维人脸数据库，此数据库考虑了被测对象的 姿势( 左右转动和上下转动) 、轻微面部表情( 如微笑) 及附属品( 如眼镜) 等的影响，是 目前公布的最大容量的三维人脸数据库。本文中提到的l e e 等人所做的伪肌肉模型也 是基于此三维人脸数据库的。其缺点是体积庞大，获取数据的精度和范围都有限。 7 天津师范大学硕士学位论文 2 、采用图像获取数据 除了依靠精确先进的硬件设备获取图像数据外，科学家们还在研究如何利用普通 相机或摄像机获取的图像来取得三维数据。这种方法需要的设备比较普通，但是要求 计算机的数据获取算法有足够的鲁棒性和实用性。但现阶段这方面的技术还不成熟， 没有达到实际应用的水平，但一旦此技术成熟后会对虚拟人脸的广泛应用具有划时代 的意义。因此这是现阶段学者们研究的热点问题。 采用此技术一般是使用摄像机或照相机对同一物体进行不同角度的拍摄，取得多 幅图像，再将图像上的关键点与通用模型上的关键点进行匹配。自动匹配算法是这项 技术的关键，目前成熟的算法仍然是一项空白。现在流行的方法是手动确定匹配关键 点，图2 2 就是一个匹配关键点的示意图。 2 2 2 通用人脸模型建立 图2 2 匹配关键点示意图 人脸由骨骼、五官、皮肤、毛发和面部动作所组成。而组成人脸的这些器官或动 作对于绝大多数人来说都是通用的，基于这个特点我们可以在制作个性化人脸前先制 作通用人脸模型，这就大大减少了开发人脸模型的工作冗余。制作个性化人脸是指在 通用人脸模型上略做改动即可。要设计一个优秀的通用人脸模型要具备以下几个特点： 首先，它要能够准确地描述出人脸的基本形状，并可以实现较为通用的人脸表情( 如 愤怒、高兴、痛苦、惊讶等) ；其次，要描述精确但又要操作简洁，不能一味追求高精 天津师范大学硕士学位论文 度而给以后的人脸个性化带来麻烦；最后还要有合理且容易实现的个性化方法，方便 以后的修正。 到目前为止，研究者们已经提出了很多人脸模型，但总结起来主要应用的是两种 模型：网格模型和统计模型。 1 网格模型 网格模型是应用的最广也最早的三维人脸模型。它的数学描述是： m= y m ，尸m ，c 肘)2 1 其中，表示网格结点集合，表示组成面片的结点编号集合，表示结点 或面片的属性。根据面片的形状，可以分为三角形面片模型和四边形面片两种，也有 两种兼而有之的模型( 如前面提到的自适应网格) 。 网格结点一般被称为控制点，在凹凸变化较大的区域和动作较多的区域控制点分 布密集，为的是更精确的描述人脸形状和控制动画( 如眼睛、嘴巴、鼻子等处) 。在较 为平坦的区域控制点则较为稀少，可以节省运算时间。总之，结点越多、面片越多， 模型呈现的轮廓就越接近真实的人脸，但这样给后续的拟合、渲染都带来了不便。 后来，又出现了以曲面( 主要是b 样条曲面) 来建模的方法，这种方法的好处在 于建模速度更快，可以更加接近人脸真实的平滑程度。但是他也有缺点：曲面建模中 控制点的选区和操纵比较困难，因为曲面的控制点并不是处于曲面之上而是空间中的 点，这使得模型的个性化和动画控制有所不便。而且，曲面建模仍然要将人脸划分为 几个部分，因为曲面建模无法产生孔洞，对眼睛、鼻孔和嘴只能是分开处理。 于是，又产生了曲面建模结合面片建模的模型。这种方法是将人脸较为平滑大面 积的区域用曲面建模而对于动作较多结构较复杂的区域( 眼睛、嘴) 使用三角形面片 建模。从总体上看，这一方法发挥了两种建模方法各自的优点，暂时是较为合理的一 种建模方法。 宾夕法尼亚大学的d e c a r l o 等人利用人体测量学得到的数据结合变分技术 ( v a r i a t i o nt e c h n i q u e s ) 建立了网格模型p 。他们的做法是根据人体测量学知识，在 人的头部规定一些能表征特征的特征点，然后利用人脸测量方法测量这些特征点和它 们之间的关系。这些测量值包括两点之间的最短距离、切线距离、两点连线与坐标轴 的倾角等1 3 2 个值。对这些测量数据利用变分技术进行处理，然后用b 样条曲面将三 维模型表示出来。这种方法能比较逼真地描述个性特征，但是需要复杂的测量工作和 被测对象良好的配合。 瑞典l i n k o p i n g 大学的i m a g ec o d i n gg r o u p 多年来一直从事三维建模工作。从 9 天津师范大学硕士学位论文 r y d f a l k1 9 8 7 年公布最初的人脸模型以来，他们的模型版本己经改经了多次。2 0 0 1 年， a h l b e r g 发布了最新的版本c a n d i d e 一3 4 引。这个版本为了达到与m p e g 一4 标准的统一， 对原有的模型做了改动。此模型包括1 1 3 个关键点和1 6 8 个三角面片，控制参数由静 态参数( f a c i a ld e f i n i t i o np a r 锄e t e r s ，f d p ) 和动态参数( f a c i a la n i m a t i o n p a r 锄e t e r s ，f a p ) 组成。静态参数用来描述不同人脸之间的差异，动态参数用来控制 脸部的动作，并且根据动态参数可以进行动作编码，在视频传输方面应用较广。 总之，网格模型的建立比较简单，用很多专业的三维造型软件都可以实现，如m a y a 、 3 d sm a x 等。网格模型仍然是现在应用最广泛的模型，它是肌肉模型和插值技术实现 动画效果的基础。 2 统计模型 统计模型是指利用大量三维人脸扫描信息的先验知识，以据统计学原理建立标准 人脸模型，比较著名的有形态模型4 9 1 和三维特征脸5 0 1 。统计模型的研究基础是大量 的用三维扫描仪来获取的人脸面部信息库，然后用机器学习的方法获得人脸模型，所 以对于缺少专业设备的普通研究者是不便研究的，在这里，只简单介绍一下统计模型 的基本原理：在统计模型当中，将人脸表示为形状向量f 和纹理向量t ： ，= ( x l ，k ，z l ，厶x t ，匕，z t ) 。 2 2 丁= ( r 。，g l ，蜀，三，r ，g 七，反) 1 2 3 设有k 个样本，则对于每一个新的样本，可以描述为： 七 = 口，e 2 4 i = l 七 瓦。d = 岛z 2 5 f = l 量上 r 口，= 6 ，= 1 2 6 i - lf - 1 虽然统计模型需要硬件水平较高、建立模型也很复杂，并且需要大量的学习数据， 但它所处理出的虚拟人脸也是最接近真实的。所以专业的研究者或需要高质量动画效 果的项目仍然选择采用这种建模方式。 l o 天津师范大学硕士学位论文 2 2 3 特定人脸建模 特定人脸建模已经广泛应用于动画制作、犯罪侦破、人脸识别、安全保卫等众多 领域。特定人脸建模是指在通用人脸模型的基础上通过调整模型参数达到表示个性化 人脸的效果，当然也可以使用特定人脸数据用通用人脸建模方法直接对特定人脸建模， 所以特定人脸建模的方法与通用人脸建模类似。前者是将通用人脸模型作为基础，利 用刚体变换、形变等手段将特定人脸数据与通用人脸模型进行拟合，再利用新的纹理 特征对模型进行渲染来产生特定人脸。而后者是按照建模方法直接建立特定人脸模型， 由于数据较少所带来的缺点是所需的数据精确度较高。当然，按照数据获取方法来分， 以上两种特定人脸建模方法可以分为基于三维数据的和基于图像的。 1 基于三维数据的特定人脸建模 随着计算机硬件的迅猛发展，三维数据的获取变得越来越容易，花费的代价也大 大降低，于是在电脑游戏制作、科幻电影拍摄等活动中越来越多的运用三维数据建立 人脸模型。利用三维数据构建的三维模型通常具有较高精度和逼真度，能清晰地描述 个性特征，但是要求较高精度的三维数据，目前仍不易获取。这种方法不涉及到基于 图像的三维数据重建工作，但是它缺少结构化数据，因此用它建立的模型的可重用性 较低。 基于数据的特定人脸建模已经有很多成功的应用实例：如多伦多大学的l e e p u 等 人利用激光扫描仪获得的三维集合数据和纹理信息，调整己知的标准网格头部模型， 构建特定人脸模型。他们的做法中涉及了拉普拉斯变换p “、插值方法取得了较好的效 果；j e o n g 等人利用三维数据的轮廓信息进行模型的初始化，然后利用曲面子分割策 略和多精度拟合方法进行模型的构建p “；此外x u 等人进一步针对非均匀的三维数 据，发展了自适应多精度拟合方法p “，能有效克服数据中存在的孔洞及数据严重不均 等问题。 2 基于图像的特定人脸建模 虽然基于三维数据的方法取得了很快的发展和大量的应用，但激光扫描获取三维 数据仍然成本偏高，因此许多学者始终不遗余力地想要完善基于图像的三维特定人脸 建模方法，即由单幅或多幅图像进行三维数据还原。 由于此方法比较复杂，现有的处理方法仍不能满足广泛应用，而且还需要有相当 技术基础的研究人员才能够操作。已有方法中比较有代表性的是数据插值方法、 m b a ( m o d e l b a s e db u n d l e a d ju s t m e n t ) 方法和 d f f d( d i r i c h l e tf r e ef o r m 天津师范大学硕士学位论文 d e f o r m a t i o n ) 方法。 华盛顿大学的p i g h i n 等人利用多幅图像调整标准模型p “，他们采用的标准头部 模型是t o r o n t o 大学的线框模型1 。其做法是：在多幅图像上人工标定多个特征点， 然后对标准模型进行变形。整个变形的过程包括3 个步骤：首先，姿势估计，利用计 算机视觉技术确定各个图像的变换参数、相机的定标参数( 包括位置、方向、焦距等) 同时重构出标定点的三维空间位置；然后，利用分散点数据插值技术，通过已有的特 征点位置构建其他顶点的位置；最后，模型细微调整，在模型顶点之间和图像的对应 点之间插入附加点使模型平滑逼真。该方法能够非常逼真地描述人脸并可以比较迅速 地进行表情合成，缺点是每幅图像上需要人工标记多个点，增大了人工处理量。 l i u 等人采用类似的方法，被测人在摄像机前面转动，利用单个普通摄像机获取 两个角度的脸部正面图像和两个子序列图像，这两个正面图像被称为基图像 ( b a s e i i i l a g e s ) 。首先在基图像上人工标定5 个点：两个内眼角、鼻尖和两个嘴角；然后，依 次进行头像分割、边角检测、边角匹配、错误匹配消除、头部姿势定位、获取三维脸 部几何数据；几何数据获取后，利用线性的方法，调整标准人脸模型，并且进行细化 调整，形成特定人脸几何模型；最后，在序列图像中提取几何纹理信息，映射在几何 模型上，形成一个逼真的人脸个性模型。他们利用简单的工具和较少的人工介入实现 了个性模型的建立，但是在皮肤比较光滑的区域，边角检测很难成功地实现，这种方 法会因此而失败。 瑞士联邦技术研究所( e p f l ) 的f u a 等人采用从粗到细逐步逼近的策略形成个性模 型。他们采用的标准模型是u n i v e r s i t yo fg e r n v a h ee p f l 的动画模型。该模型能够 做丰富的语言和表情动作，但是标准模型进行拟合很难达到收敛。于是先采用稀疏模 型进行拟合，然后用密集模型进行拟合。对于头发区域和耳朵区域的拟合过程采用类 似的方法，通过控制模型变形原始模型，实现标准模型到三维数据的拟合，取得了较 好的效果。但是此方法需要复杂的初始化，并且计算时间比较长。 从正面和侧面图像提取信息进行标准模型的修正，是得到特定人脸的另一种方法。 a k i m o t o 等人利用此方法得到了特定人脸模型，他们的基本做法是，从正面图像中获 取x ，y 的坐标，从侧面图像中获取y ，z 的坐标，然后进行组合得到三维坐标，对标 准模型进行调整。 基于图像序列的三维建模是近年来出现的一个研究热点。n e u m a n n 等人利用多角 度图像序列获取的轮廓信息，进而得到物体的空间数据，然后利用从粗到细的多精度 拟合方式建立几何模型。c h o w d h u r y 等人从单序列图像序列出发，采用s f m ( s t r u c t u r e 1 2 天津师范大学硕士学位论文 f r o mm o t i o n ) 方法获取三维信息，利用优化策略变形标准模型形形成个性模型。基于 序列图像的建模方法获取的三维模型通常具有较低的精度。 总之，从图像或图像序列中获取的三维信息，通常含有较大的噪声，利用标准模 型作为模型的先验知识能有效的克服三维数据的不足。 2 3 小结 本章概括性的介绍了人脸建模的基本原理、人脸建模技术的历史和当今的发展方 向。使我们对人脸建模技术的研究背景、主要手段和研究意义有了大致上的了解。 人脸建模技术最主要可分为基于图像和基于三维数据模型，由于普通研究者无法 取得先进的测量仪器，因此基于图像的模型建立是研究的热点。基于图像的特定人脸 模型其基础都一定是多边形网格模型或曲面模型所建立的通用人脸模型，本文的实验 就是采用曲面模型建立通用人脸模型。下一章我们将重点讲述人脸动画合成技术的方 法。 天津师范大学硕士学位论文 第三章人脸动画构建原理与实现方法探讨 3 1 人脸动画技术的发展 虚拟人脸的合成技术在几十年内也经历了几代关键技术的变迁，可以说已经取得 了长足的发展。按照时间顺序大致可以分为3 个阶段：7 0 年代以来的参数模型、8 0 年 代以来的肌肉模型和近年来基于图像的建模与绘制技术。 3 1 1 参数模型 参数模型的代表人物是p a r k e 弘一? ，参数模型中包括两种参数：特定人脸标识 参数和人脸表情控制参数。它将人脸简单的表示为几何形状，而没有结合生物的角度 将人脸的运动考虑进去，因而降低了合成真是人脸的能力。 1 9 7 2 年，p a r k e 建立了关键表情插值的网格模型m 。，但关键表情的插值可能有 很多，因此这种方法没有获得很大的成功。1 9 7 4 年，p a r k e 完成了第一个参数化的人 脸模型弘“。参数化模型的基本思想是通过少量控制参数来生成各种不同的人脸和表 情，这样就可以方便地建立人脸模型、产生人脸动画。理想的参数模型可以生成任何 可能的人脸和人脸表情，但实际的参数化模型根本达不到这一目标。其中，参数化模 型可以分为两类参数，即构造参数与表情参数。构造参数用于控制人脸形状与尺寸， 如鼻子长度与前额宽度等。表情参数用于控制表情动画，如下巴旋转或眼睛转动等。 3 1 2 肌肉模型 人脸是由头骨、肌肉、血管、脂肪、皮肤、头发等复杂结构的集合。虽然到目前 为止都仍然没有完全包括所有这些组织的人脸模型，但是在上世纪8 0 年代就已经有人 开发出了基于面部肌肉来控制表情的人脸模型。1 9 8 0 年，p 1 a t t 提出了第一个肌肉控 制人脸模型”。此后，w a t e r “，m a g n e n a n tt h a l m a n n 等人对其进行了发展和改进。 在p l a t t 的模型当中人脸上的模拟皮肤通过类似弹簧的肌肉与底层的模拟骨骼相 连接，通过肌肉的弹性收缩来产生各种表情。而肌肉动作是根据e k m a n 和f r i e s e n 提 出的脸部动作编码系统( f a c s ) 中的动作单元( a u ) 来设计的。 提到人脸表情建模就不能不说人脸动作编码系统( f a c s ) “6 。，它由e k m a n 等人提 1 4 天津师范人学硕： = 学位论文 出，描述了4 4 个能够独立运动的面部动作单元，这些单元与而部肌肉结构相关。e k m a n 等人开发这一系统是为了对面部表情进行编码，它包括了所有可以独立控制的肌肉运 动。这一系统被认为是虚拟人脸表情控制的基础。 1 简单肌肉模型 1 9 8 7 年，w a t e r s 卜刈等人对p l a t t 的模型进行了发展和改进，开发了一个新的脸 部模型，这一模型不但考虑了肌肉的活动还考虑了结缔组织、脂肪组织和皮肤组织受 到的肌肉运动的影响。在w a t e r s 的模型当中，将肌肉归结为线性肌和括约肌，更重要 的是他为每一块肌肉设定了一个影响区域，使得肌肉收缩对表面皮肤的影响随距离和 方向的改变而改变，从而使肌肉运动更接近真实人脸。 图3 1 线性肌示意图 誓： j7 “ “ 謦簪 臆曩_ 孥 ev 簟鹅跨th l * # t “j 新“r 筵 睡m 曩弘一t j e 。 j ，正，。黛 叠；。 园 ；一| 曩；薯 一 p 图3 2 括约肌示意图 2 抽象肌肉模型 m a g n e n a n t t h a l m a n n 等人在1 9 8 8 年开发了抽象肌肉模型，它是一种伪肌肉模 型。抽象肌肉动作与脸部动作编码系统的动作单元类似。这一模型的独创性在于它不 仅可以控制底层抽象肌肉的动作，也可以在高级表情级设置参数产生脸部动作。 3 其他肌肉模型 自| 二 形变方法也是种伪肌肉模型。它的原理是在肌肉影响区域内定义一个k