（计算机应用技术专业论文）基于照片的三维人脸建模.pdf

基于照片的三维人脸建模 摘要 创建逼真的三维人脸模型一直以来都是计算机图形学领域一个 极富有挑战性的课题。人脸的造型和表情动画被广泛应用于虚拟现 实、影视制作、游戏娱乐、可视电话等领域。 本文在分析三维人脸模型的应用前景及国内外的研究现状的基 础上，对现有的三维人脸造型技术进行了分析比较，以输入的人脸 正侧面照片为基础，提出了一种通过两幅正交人脸照片合成三维人 脸模型的方法，对三维人脸关键区域进行分割，然后使用面向表面的 自由曲线变形( s o f f d ) 方法生成人脸模型，使用了基表情的比例合成 方法合成特定人脸表情。 本文的主要工作内容包括： 1 ) 建立原始的三维人脸模型。以照片尺寸为依据，使用了3 d m a x 中的几何变形方法和m a x s c r i p t 语言编程方法，合成了中性人脸的三 维模型，同时与商用软件f a c e g e n m o d e l l e r 生成三维人脸做了比较。 2 ) 合成了特定人脸的三维模型生成。输入人脸正侧面照片，依 据m p e g 4 标准，标记了特定人脸照片的特征点和三维中性人脸模 型的特征点，使用绞线变形方法修改中性人脸模型，提出“平面曲 面化方法”生成了带纹理的三维人脸，使用带纹理的三维人脸匹配 到中性模型，生成特定的人脸模型。 3 ) 特定人脸表情合成。通过m p e g 4 标准中的f a p 和f a t 定 义了表情参数，把人脸化为眉毛轮廓、眼睛轮廓、鼻子、嘴巴、脸 颊等。分析和比较多种f f d 变形算法，使用s o f f d 变形算法调节三 维人脸的特征区域变化，同时生成最基本六种人脸表情：生气、厌 恶、恐惧、高兴、悲伤、惊讶，最后用基表情的比例合成方法表达 特定的表情。 4 ) 本文采用m p e g 4 人脸动画基本思想，结合v i s u a ls t u d i o 2 0 0 5 和o p e n g l 技术，给出了一个人脸动画实现的系统，实验验证了 相关算法的可行性，实现三维人脸表情的调节与变化。 关键词：人脸建模，铰线，比例合成，s o f f d 。 b a s e do np h o t o g r a p h so f t h r e e d i m e n s i o n a lf a c em o d e l i n g a b s t r a c t t h e r ed i m e n s i o n a lg e n e r a t i o ni sac h a l l e n g e rp r o b l e mi nc o m p u t e r g r a p h i c s ，w h i c hi sw i d el yu s e di nm a n yd o m a i n s ，s u c ha sv i r t u a lr e a li t y , f i l ma n dt e l e v i s i o nm a n u f a c t u r i n g ，c o m p u t e rg a m e s ，v i d e o p h o n ea n ds o o n o nt h eb a s i so fa n a l y z i n gt h ep o t e n t i a la p p l i c a t i o n so f3 df a c e m o d e l sa n dr e s e a r c hs t a t u so fh o m ea n da b r o a d ，c u r r e n tm o d e l i n g t e c h n o l o g i e sa r ec o m p a r e d w i t ht h i sm e t h o d ，af a c em o d e l i n gm e t h o d i sp r o p o s e dw h i c hi sb a s e do nt h ef r o n ta n ds i d ep h o t o so fas p e c i f i c p e r s o n f i r s t l y ，t h ec r i t i a c lz o n eo ff a c ei ss e g m e n t e d ，t h e ni ta l s oc o u l d s y n t h e s i z e f a c i a l e x p r e s s i o n s o nt h em e t h o do fs u r f a c eo r i e n t e d f r e e f o r md e f o r m a t i o n ( s o f f d ) f i n a l l y , as p e c i f i cf a c i a le x p r e s s i o n i s p r o d u c e db yu s i n gt h e b a s i ce x p r e s s i o n sp r o p o r t i o na n df a c e e x p r e s s i o ni sg e n e r a t e d t h em a i nr e s e a r c ht o p i c sa r ea sf o l l o w s ： 1 ) m o d e l i n go ft h ep r i m i t i v et h r e e d i m e n s i o n a lm o d e l t a k i n gt h e p i c t u r e s i z ea st h eb a s i sa n du s i n gt h e3d m a xg e o m e t r yd i s t o r t i o n m e t h o da n dt h e m a x s c r i p tl a n g u a g e ，i ts y n t h e s i z e s t h en e u t r a l t h r e e d i m e n s i o n a lf a c em o d e l ，t h e n i t c o m p a r e s t ot h e t h r e e d i m e n s i o n a lf a c e s p r o d u c e d i nc o m m e r c i a ls o f t w a r en a m e d f a c e g e n m o d e l l e r 2 ) g e n e r a t i o no f t h es p e c i f i ct h r e e - d i m e n s i o n a lf a c e m o d e l s f i r s t ，i n p u tt h et w op i c t u r e so fas p e c i f i cp e r s o na n dm a r kt h ef a c e c h a r a c t e r i s t i cp o i n t sb a s e do nt h em p e g - 4s t a n d a r dt os y n t h e s i z et h e m o d e l a f t e rt h en e u t r a lm o d e li s p r o d u c e d ，m o d i f yi tb yu s i n gt h e s p e c i a l b e z i e rc u r v ed i s t o r t i o nm e t h o d l a t e r ，u s et h ep l a n es u r f a c e m e t h o dt op r o d u c et h et h r e e d i m e n s i o n a lf a c em o d e lw i t hat e x t u r e a t l a s t ，t h es p e c i f i cf a c em o d e li sp r o d u c e da f t e rm a t c h i n gt h eo r d i n a r y f a c em o d e lw i t hy o u rm o d e l i i i 3 ) s y n t h e s i so fs p e c i f i cf a c i a le x p r e s s i o n s d e f i n et h ee x p r e s s i o n p a r a m e t e r st h r o u g hf a pa n df a ti nm p e g 4s t a n d a r d a n dd i v i d et h e f a c ei n t od i f f e r e n ta r e a ss u c ha st h ee y e b r o wo u t l i n e ，t h e e y eo u t l i n e 。 t h en o s e ，t h em o u t h ，t h ec h e e k sa n ds oo n b a s e do n a n a l y s i n ga n d c o m p a r i n gs e v e r a lf f da l g o r i t h m s ，t h i sp a p e ru s es o f f da l g o r i t h mt o a d j u s tt h r e ed i m e n s i o n a l f a c er e g i o na n d p r o d u c e s i xd i f f e r e n t e x p r e s s i o n s ，i n c l u d i n ga n g e r ，d i s g u s t ，f e a r ，h a p p i n e s s ，s a d n e s sa n d s u r p r i s e f i n a l l y ，t h es p e c i f i cf a c i a le x p r e s s i o n sc o u l db eg e n e r a t e d t h r o u g ht h em e t h o do ft h eb a s i ce x p r e s s i o np r o p o r t i o ns y n t h e s i s 4 ) o nt h e b a s i so fm p e g 4f a c i a l a n i m a t i o nt h e o r y a n d c o m b i n i n gw i t hv i s u a ls t u d i o2 0 0 5a n do p e n g lt e c h n o l o g y , t h i sp a p e r g a v e a s y s t e m a b o u tt h er e a l i z a t i o no f f a c i a la n i m a t i o n t h e e x p e r i m e n t ss h o w e dt h a tt h er e l e v a n ta l g o r i t h mi sf e a s i b l ea n dt h e t h r e ed i m e n s i o n a lf a c i a le x p r e s s i o n sc o u l db ea d j u s t e d k e yw o r d s ：f a c em o d e l i n g ，s p e c i a l m e t h o d ，s o f f d i v b e z i e rc u r v e ，p r o p o r t i o ns y n t h e t i c 基于照片的二维人脸建模 原创性声明及关于学位论文使用授权的声明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本人完全意识到本声明的法律责任由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人完全了解陕西科技大学有关保留、使用学位论文的规定， 同意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权陕西科技大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务 ( 保密论文在解密后应遵守此规定) 做作者弛：荆糊戳 基于照片的三维人脸建模 1 绪论 1 1 研究的背景和意义 人脸是人类相互交流的渠道，在虚拟的计算机世界中，虚拟的人脸就是人 脸表情和语言的载体。近几年来，人脸建模技术作为计算机图形学的一个分支 越来越受到人们的重视，人脸建模技术的研究成为近年来的一个新热点。 人脸建模具有广泛的应用，真实感人脸建模在电影、广告、人物动画、计 算机游戏、视频会议、可视电话、入机交互、医学、信息安全等许多领域都具 有广阔的应用前景【2 3 1 。 人的面部能够传递很广泛的信息，比如情感、精神状态等，虽然每个人的 面部特征很相似，但却有着不同的表情特征，这使得其成为计算机视觉与计算 机图形学中重要的研究领域，相关的研究领域包括人脸建模、人脸跟踪、人脸 识别、人脸动画、虚拟人、数字人等等【，s 】。 随着计算机技术的迅速发展，使人们对于复杂的人脸对象表示有了新途 径，人们试图通过各种不同方法在计算机上实现人脸模型、人脸表情、动作等 动态信息的描述和表示方法，最终建造真实感的虚拟人脸【6 1 ，然而真实感人脸建 模却是一个极具挑战性的课题。 首先，人脸具有非常复杂的生理结构。人脸是一个复杂的层次结构，有骨 骼层、肌肉层、结缔组织层和外部皮肤层构成。人脸表情的产生是由脸部多个 肌肉群的协作变形引起的，产生人脸表情或动作涉及到的主要肌肉有口轮匝 肌、鼻肌、颧肌、眼轮匝肌、皱眉肌等。皱鼻子动作主要是由鼻肌的收缩产生， 颧肌的收缩会造成颧骨处脸颊的提高，眼睛及眼部周围的变化主要是由眼轮匝 肌收缩导致的。 其次，人脸的几何结构很复杂，而且每个人脸的几何结构均不相同。特别 是头发、嘴巴、耳朵、眼睛的几何很难用一个恰当的模型来表示，它们的几何 数据也很难获得。人脸运动时的几何变化则更难以模拟。人脸的运动包括刚性 的人脸姿态变化和非刚性的人脸器官和肌肉运动，这些由人脸的皮下肌肉和人 脸皮肤的动力学特性决定的运动很难用模型来表示。 最后，人脸的光照特性也很复杂。人脸的皮肤存在着散射和折射，眼睛的 光照特性很难获得，人脸的皱纹、胡子、眉毛和脸部细毛使人脸的光照特性非 常复杂。目前还没有比较好的方法来直接测量人脸的光照特性，现有的人脸模 型和系统一般都不能很好地处理人脸的真实光照问题。 陕两科技大学硕士学位论文 因此，真实感人脸建模和人脸动画是目前计算机图形学、计算机视觉领域 最根本、最困难的问题之一，同时该问题也是包括生理学、心理学、物理学等 多个领域的跨学科问题。该问题的研究和解决可以为复杂对象的建模提供借 鉴，对于类似的科学问题具有重要的促进意义。实际上，自从p a r k e 在2 0 世 纪7 0 年代在计算机上建立了第一个人脸模型起【，1 ，人脸的建模和动画就一直是 计算机图形学、计算机视觉、模式识别等领域最为活跃的研究热点。 1 2 国内外研究现状 1 2 1 国内人脸建模与动画研究现状 哈尔滨工业大学的晏洁阳一1 等人在人脸建模、人脸表情、唇动、纹理映射 等方面做出了一些成绩。他们研究了人在发音时的唇动模型以及韵母口型库的 生成技术，使每一个汉字的发音都对应着相应的口型。在人脸模型的特定化方 面，提出交互式编辑算法，通过模拟人脸皮肤的粘弹特性，允许模拟者在交互 方式下将一般人脸几何模型和预先提供的特定人脸多方向图象之间进行特征 校准，进而得到精确反映特定人脸正侧面几何特征的特定人脸三维模型。还提 出了曲面磨光以及多方向纹理映射算法，从多个方向的特定人脸图象上选择纹 理信息映射到三维模型上以减少纹理的扭曲变形，从而使合成的结果更加真实 和自然。 浙江大学的梅丽n 钆1 等人用半自动方法来达到特征匹配目的，用手工编辑 建立的三维对应网格，得到初始人脸外形；采用鲁棒的最大似然立体匹配算法 自动匹配出稠密的对应点，重建出表示人脸的散乱三维数据点团：最后利用这 些稠密的三维数据点去迭代矫正和自适应细分手工编辑的三维初始人脸网格 得到结果模型。该算法无需昂贵的设备，又有较强的真实感效果。在人脸动画 方面他们用多分辨率样条技术产生无缝的人脸纹理镶嵌图，纹理映射后生成高 度真实感的能以任意视线方向观察的特定人脸；进而通过组合特定人脸的肌肉 向量的运动，变形模型，组合出特定人脸的各种表情，该方法能在廉价的p c 平台上实现，快速、简单，而具有一定真实感。 北京工业大学尹宝才 t 2 ，1 3 1 等人采用自动调整与人机交互相结合的方法实现 特定人脸模型匹配。在调整完模型形状之后，应用3 个方向的面部图象进行纹 理映射生成不同视点方向的面部图象。应用合成面部图象与输入面部图象最佳 匹配的方法进行输入面部图象的头部转动方向估计。通过对面部曲面结构和面 2 基于照片的三维人脸建模 部各器官分布结构的分析，建立了面部曲面的几何模型和模拟人脸面部曲面的 分片三次直积形b e z i e r 参数曲面计算格式。 1 2 2 国外人脸建模与动画研究现状 人脸的研究主要包括三个方面研究，人脸建模、纹理合成、动画控制。国 内外有很多学者在此三个方面做了许多研究，取得的一定的成果。 1 ) 三维人脸建模研究现状 人脸建模是一个从无到有的过程，根据实现原理不同，目前已有的三维人 脸建模方法可以分为4 大类：手工建模、特征建模、扫描建模、统计建模。 a ) 手工建模 制作者借助维制作软件，比如3 d m a x ，m a y a 等，在计算机中绘制出三维人 脸模型。这种方法的优点是易于实现，不受环境影响。缺点是制作费时费力， 模型效果好坏基本取决于制作者的绘制水平，因此对制作者有很高的要求，一 般需要经过专业的训练才可以。 b ) 特征建模 这种方法一般是从照片或视频中提取人脸特征点，将不同角度提取的相同 特征点进行对应计算出特征点的空间坐标，然后用这些特征点坐标插值变形一 张中性人脸网格，重构出三维人脸模型。t a k i m o t o 等人用两张人脸照片来建 立人脸模型【】，首先从正、侧两个互相垂直的方向拍摄两张人脸照片，两张人 脸照片上分别用矩形标出眼睛、鼻子、嘴等关键特征所在区域，在每个区域中 搜索图像边界从而确定具体特征点的位置，然后根据正侧面相同特征点的对应 关系确定特征点的三维坐标，再用特征点的坐标来插值变形一个中性人脸网 格，从而构造出特定人的三维人脸几何模型。把正侧面人脸照片投影到环绕人 脸模型的圆柱面上，重叠的部分进行融合实现平滑过渡，这样就生成了模型的 纹理。这种方法的优点是简单易行，在后来的人脸合成研究中被大量使用。但 是实际操作中这种方法很容易产生较大的误差，模型效果欠佳。 p i g h i n 等人d 4 1 开发了一套系统，他们从5 个角度拍摄人脸照片，在每张照 片上手工标出l3 个特征点的位置以及一些特征曲线，通过这些特征的对应对 中性人脸网格进行变形从而得到特定人的三维人脸几何模型。在提取纹理上， 他们提出两种方案，第一种是视角无关纹理，即用5 张照片组合成一张固定纹 理：第二种是视角相关纹理，即根据视角变化，5 张照片用变化的加权系数来合 成纹理。视角相关纹理的效果要比视角无关纹理稍好，但是需要实时处理。 p i g h i n 的方法可以生成具有相当真实感的三维人脸模型，但是需要大量的手工 陕西科技大学硕士学位论文 工作，难以推广。 c ) 扫描建模 l e e 等人 15 】用三维扫描仪来创建人脸模型。这种方法得到的模型非常精 细，准确度也高。但是设备本身造价昂贵，模特必须在场，扫描后的模型还需 要经过软件处理，排除扫描中的一些错误结果。这种方法只能适合一些对模型 逼真度要求很高的应用，但由于操作条件苛刻，无法推广。 d ) 统计建模 v o l k e rb l a n z 等人【1 7 ，】提出了一种基于统计的人脸建模方法。他们用三维扫 描仪建立一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合 的正面投影去逼近这张照片。最后把组合的人脸模型认为是照片中人脸的模 型。这种建模方法的优点是输入简单，只需要一张正面照片，而且合成的人脸 模型不会有奇异的失真，缺点是准备工作多，建人脸库比较麻烦。 2 ) 纹理生成方法 网格只能表现人脸的几何形状特征，人脸表面的颜色特征，比如肤色、黑 痣等，则要通过纹理来表现，所以纹理在人脸动画中起着非常重要的作用，对 人脸动画的逼真程度和生动性有决定性的影响。当前的纹理生成方法有三大 类： a ) 无纹理 这种方法没有纹理，一般是通过光照给模型外表涂上颜色，优点是简单快 速，缺点是人物缺乏真实感。由于没有纹理的视觉干扰，通常在准确表现模型 三维几何形状的时候会采用这种方法。 b ) 单张纹理 在人脸动画中只使用一张中性表情的纹理，在动画显示过程中，纹理随着 网格的变形而做相应地拉伸。单张纹理的优点是纹理控制简单，只需要把纹理 映射到网格上，在动画中随着网格的变形而拉伸。缺点是不能表现纹理的细微 变化，人脸面部的纹理随着表情的改变会产生细微的变化，比如皮肤褶皱等， 只用一张纹理无法表现这些细微的变化，在真实度上会有所欠缺。根据纹理的 获取途径不同，单张纹理方法又可以分为以下三类： 照片图像拼接 1 9 1 。最常见的方法是用一张正面的照片和一张侧面的照片来 拼接组成一张纹理，也有用多张不同角度照片拼接的纹理。这种方法的关键是 要做到不同照片上同一特征点的标定要准确。照片拼接的方法简单易行，生成 的纹理在正面通常都会有很好的效果，主要缺点是不同照片上的相同特征点很 难准确对应，生成的纹理在偏离正面角度较大的情况下效果很不理想。 4 基于照片的三维人脸建模 视频图像拼接【：o 】。通过跟踪视频中人脸的特征位置和姿态来获取不同角度 的人脸纹理，然后把各种角度的纹理融合起来合成一张完整的纹理。该方法主 要适用于只有视频的条件下生成纹理的情况，产生效果与照片图像拼接类似。 三维扫描设备【2 l l 。用三维扫描仪自动扫描拼接生成纹理，纹理结果准确， 但是常会有一些空白区域，需要用插值算法进行修补。三维扫描的方法需要模 特的配合，难以推广。 c ) 变化纹理 为了表现人脸面部细微特征的变化，变化纹理的方法在动画过程中并不局 限于一张固定的纹理，而是随着表情的变化对纹理进行相应的修改。变化纹理 的方法真实感强，但是相对于单张纹理方法，实现起来比较复杂。目前已有的 变化纹理方法有动态重构和纹理拼接两种方法。 g u e n t e r 等人 2 2 1 在模特脸上标了6 种不同颜色共1 2 8 个点，用6 架照相机 同时采集人脸表情。然后用一个颜色分类器来识别不同颜色并获得它们的位 置，利用这些点在不同视角的坐标可以重构三维人脸网格。为了获取纹理，他 们首先根据颜色分类器的信息把照片上的彩色点去掉，并用正确的颜色来填 充，然后拼接融合6 张照片生成不含标定点的纹理。由于纹理总是用真实的表 情照片生成，而不是靠拉伸得到，因此可获得生动的动画效果，但是他们的动 画只适应于特定人模型，制作过程复杂，无法实时产生动画。 p i g h i n 等人【：o 】采用5 架相机采集模特的各种基本表情，他们把人脸分成很 多区域，然后用各个区域的纹理进行拼接从而产生该模特更多丰富的表情。由 于建立了真实的表情纹理库，所以生成的纹理效果很逼真，具备各种细微特征。 但是他们的工作只适应于特定人的人脸模型，而且制作过程复杂，通用性不强。 3 ) 三维人脸动画研究现状 由于在人的各种行为模式中，人脸表情是最复杂的非刚体运动，因此人脸 动画研究也是虚拟人合成中最具有挑战性的和非常困难的任务。人脸合成系统 都必须模拟人脸表情中很多细节和复杂运动。对每一个运动，虽然可以进行手 工标注，但是一般需要很长的时间，而只有熟练的动画师才能很好地完成该项 工作。为了解决这个问题，人们研究了一些可以自动生成人脸动画的方法，主 要有： a ) 视频驱动 基于视频的方法跟踪人脸的运动【l l 瑚l ，并将人脸的运动信息转化为人脸模 型的运动参数。这种方法目前的难点在于提取并跟踪人脸特征点的运动，为此， 5 陕西科技大学硕七学位论文 常在被跟踪人脸上加入特征标注点( 如反光点) 。如果每时每刻所有人脸特征或 反光点都可以被检测出来，那么提取出来的数据可直接与人脸模型参数建立一 种映射，此时，这种方法可以得到很好的结果。基于视频驱动的合成适合重现 个人化的表情，当需要精确的唇动控制时，这项技术很难自适应完成和语音同 步的唇形计算。 b ) 语音驱动 目前的语音驱动研究可分为两类：通过语音识别和不通过语音识别。第一 种方法是通过将语音分割成语言单元，如音素( p h o n e m e ) 唇形( v i s e m e ) 以及更 进一步音节( s y l l a b l e ) ，随后将这些语言单元直接映射到嘴唇姿势后用拼接法 合成。这种方法非常直接易于实现，但缺点是忽视了动态因素和同步问题，潜 在的语音段落与肌肉模型运动的相互作用及影响很难处理。到现在为止，几乎 所有在同步问题上的努力集中在启发式规则以及平滑方法上1 2 4 搿】。当用离散的 语音基元或图象基元表示音视频的基本单元时，将会丢失很多重要的信息。事 实上，语音基元的设计仅满足区别发音高低以及可以传递语言内容的需要。语 音基元表示对于识别语言非常有效但对于合成来说却不是最好的，这主要由于 他们很难预测声音韵律和人脸表情之间，声音能量与姿势放大之间，以及声音 段落与唇动同步之间的关系。第二种方法是绕过语音基元这种形式，找到语音 信号与控制参数之间的映射关系，然后直接驱动嘴唇运动。神经网络1 2 s 1 相关控 制【2 6 】，以及线性预测函数【z ，】被广泛用于生成唇形和人脸表情中。 c ) 跟踪设备驱动 运动跟踪设备通常需要模特穿上特制的衣帽，上面有一些标记，或者直接 在人体表面贴上特制的标记( 通常呈小球状) 。仪器的多个摄像机能够自动跟踪 这些标记，并自动计算出标记的运动轨迹。目前的运动跟踪设备很多，如 v i e o n ，m o t i o n a n a l y s i s ，q u a l i s y s ，v z 3 0 0 0 等，它们都可以实现通过在脸上粘贴标 记点实现获取三维人脸运动数据的工作。 d ) 文本驱动 文本驱动有两种方式【2 e 瑚1 ：第一种输入文本首先被分析转为音素表示。音素 的一些信息以及他们的时长可以从文本中自动生成出来。对共振峰以及其他一 些语音参数( 频率、基音、基音范围等等) 也可以计算。文本驱动人脸语音合成 适合参数化的人脸模型。定义人脸模型的参数也可以被加入到用于语音合成的 参数中。如：嘴唇形状、人脸表情、下额旋转等等。作为一种新的方法，语音 合成系统可以扩展到将人脸参数包含在语音输出参数中。第二种是直接在文本 与动画参数之间建立映射关系。文本驱动人脸语音系统可以通过对文本插入一 6 基于照片的三维人脸建模 些标记如语音韵律，语气，重音优化输出结果。这样合成语音会更自然同时这 些参数可以用于复杂的人脸动画。例如，重音可以与眉毛上挑以及点头等动作 同步合成。对应于不同类型语音的人脸模型可以被开发。 1 3 三维人脸建模与动画研究存在的问题 在真实感三维人脸建模与动画研究中主要存在以下问题： 1 ) 建模输入限制与真实感的矛盾 三维人脸建模所期望的效果是模型与实体尽可能的相像。在现有的建模方 法中，基本上效果越好则对输入的要求越高。最准确的方法是用3 d 扫描仪， 但是该方法要求本人必须在场。通过视频和照片建模是相对容易实现的方法， 但是对输入图片的要求不同效果也有很大差别。如果对照片有严格要求，比如 是正面、侧面或确定角度的人脸照片，则只需要几张甚至两张照片就可以做出 效果比较好的模型；如果人脸角度缺乏严格的限定，比如视频，就需要有较多 帧来确定模型的形状现实生活中要提供一个人的正面照片是比较容易的，而 确定角度的其他照片则比较缺乏。如果能只用一张正面照片来建模则具有巨大 的实用价值，但是纵深( z 坐标) 信息的缺乏是这类方法遇到的最大困难。 2 ) 动画真实感与自动化的矛盾 传统的人脸动画用手工制作，优秀的动画师可以制作出具有高真实感的人 脸动画，但是工作量巨大，费时费力，应用价值不高；相反的，一些简单粗糙 的人脸动画可以实现很高程度的自动化生成，但是真实感却无法令人满意。三 维人脸动画研究的一个关键问题就在于如何既能保证人脸动画的真实感，又能 提高动画制作的自动化程度。在有限的硬件以及技术条件下，只能在这两个方 面之间找一个平衡点。三维人脸动画的真实感和自动化的水平虽然互相制约， 但随着计算机硬件和动画研究技术的不断发展，仍然可以同步提高，这就需要 动画研究工作者不断去研究新的三维人脸动画技术。 3 ) 动画重定位 在传统的人脸动画方法中，动画数据是与模型紧密结合的，一个模型的动 画数据只能应用在这个模型上，其它模型由于结构形状的变化，要产生同样的 动画就必须重新制作动画数据。为了提高动画制作效率，如何把动画数据应用 到各种不同的模型上，是一个尚未很好解决的问题。 1 4 本文研究的内容 1 ) 建模方法 7 陕西科技大学硕士学位论文 根据两幅正交照片，合成了三维人脸模型，并且提出“平面曲面化方法 生成三维人脸模型，解决了手动绘制过程的彩色纹理丢失问题。而且使用人脸 区域分割方法，利用m a x s c r i p t 语言实现了三维特定人脸模型的生成，解决非 专业人士对基本模型的制作问题。 2 ) 表情控制方法 本文提出一种基于m p e g - 4 标准的三维人脸表情方法。使用关键点来建立 和调节模型，在调节时采用面向表面的自由形状变形法s o f f d ( s u r f a c e o r i e n t e df r e e f o r md e f o r m a t i o n s ) 和区域分割方法，实现模型的平滑变化和三 维人脸表情的变化，合成方法特定表情采用基表情比例合成方法。 3 ) 模型的应用 本文合成特定人脸模型和人脸表情，可以在网络移动传输、无线虚拟会议、 虚拟试衣系统中应用。 4 ) 本文组织结构 第一章，绪论。本章首先分析了人脸建模的背景和意义，接着介绍了国内 外在该领域的研究现状；接下来给本文研究的主要内容及系统的总体框架；最 后概括地介绍了整篇论文各章节的主要内容。 第二章，三维人脸建模的方法。在本章给出三种人脸建模方法，详细介绍 了我们整个建模过程，比较了各个方法的优缺点。 第三章，特定人脸的调节方法。首先介绍了两种常见的方法，然后在此基 础上介绍了本文实现基于形变的模型和参数化模型的调节方法。 第四章，人脸表情的动画实现。介绍和分析了各种动画方法，提出了本文 基于m p e g - 4 的人脸参数动画，介绍和比较了几种变形算法，提出了基表情按 比例合成的动画方法，在试验中验证了方法的有效性。 第五章，三维人脸建模与动画原型系统的实现与应用。结合v is u a ls t u d i o 2 0 0 5 和o p e n g l 技术，设计了一个人脸动画实现原型系统，实验验证了相关算 法的可行性。 第六章，总结与展望，总结全文的主要内容以及我们所做出的工作，讨论 了一些可能的后续工作与应用。 5 ) 本文的创新点 提出一种“平面曲面化方法 建模方法d 6 1 ，解决了彩色纹理匹配问题。 8 基于照片的三维人脸建模 2 创建三维人脸模型的方法 传统的人脸建模方法分为两种，一种是利用3 d 软件手动制作，比如3 0 m a x ， m a y a 等，一种是使用三维扫描仪器生成原始模型，前者操作复杂，制作时间周 期长，后者则是代价昂贵，不适合普通用户的推广，本文首先介绍了 f a c e g e n m o d e l l e r 专业人脸软件生成三维人脸的建模方法，其次介绍手工制作的 方法借助三维制作软件，在计算机中绘制出三维人脸模型。这种方法的优点是 易于实现，不受环境影响。缺点是制作费时费力，模型效果好坏基本取决于制 作者的绘制水平，因此对制作者有很高的要求，一般需要经过专业的训练才可 以，最后介绍了m a x s e r i p t 中生成人脸模型的方法。 2 1f a c e g e n m o d e i i e r 专业人脸软件生成三维人脸模型 f a c e g e n m o d e l l e r 是一款专业的商用人脸头像生成器，这是一个制作参数化 人头的工具，由s i n g u l a ri n v e r s i 公司开发0 0 1 ，h e a dd e s i g n e r c 3 ij 与 f a c e g e n m o d e l l e r 人头生成器是同一用途的工具，但如果相比起来根本不是同一 数量级的工具。f a c e g e n m o d e l l e r 的功能强大的让人窒息，它是一个独立运行的 软件操作简单，全部实时交互调节，可调参数上百个，可对头部6 0 多个区域 进行调节，调节的内容包括人种、性别、年龄、善恶等，还可以调节几十种表 情和口型，直接输出标准的多边形模型格式，带有贴图坐标和贴图材质，能够 被大多数三维软件直接使用，包括3 d sm a x 、m a y a 、s o f t i m a g e 、x s i 等。 f a c e g e n m o d e l l e r 带来了角色建模的全新概念，可能会打击很多致力于角色建模 的人，娴熟的软件使用技术f a c e g e n m o d e l l e r 被屏蔽掉了，在优秀的c + + 程序 员之后，直接就是艺术家和设计师，根本不用学习太多软件制作技术。从 f a c e g e n m o d e l l e r 的出现可以展望c g 技术发展的未来，数字人物、动物、植物 都可以用参数化来制作：有了即将出现的d a w i n 插件；可以随机生成不同特征 的头像。有l3 0 种可调类型。照片级的表面贴图足以产生仿真的人像效果。指 定给任何模型拓扑和u v 贴图。所见即所得的立体人像调节，无需渲染。支持 常用模型格式的输出，带有材质贴图和贴图坐标。输出的模型保持相同的拓扑 和网格架构，全部可以用于表情变形动画的制作。 用f a c e g e n m o d e l l e r 制作好的模型可以直接配合三维软件的表情变形功能 使用，实现表情动画和口型动画制作，如果配备口型制作插件，例如3 d sm a x 的v e n t r i l o q u i s t ( 口技表演者) 可以直接用语音自动产生口型的动画，唯一可 惜的是不支持中文发音。f a c e g e n m o d e l l e r 工作原理如图2 1 所示，需要的平面 9 陕西科拄大学硕士学位论文 照片如图2 2 所示，所生成的三维人脸模型如图2 - 3 所示。 国2 - 1f a c e g e n m o d e l l e r 工作原理田 f i g2 - 1t h ep r i n c i p l eo f f a c e g e n m o d e l l e r sw o r k 圉2 - 3f a c e g e n m o d e | l e r 生成的三堆人脸模型 f i g2 - 3f a c e g e n m o d e l l e rg e n e r a t e3 df a c i a lm o d e l f a c e g e n m o d e l i e r 还可以用于制作其它特殊的面部动画，例如由年轻变老、 由男变女、由一个人像变成另一个人像、由一个人种变成另一个人种等。效 强、q，=一 霹攀凰一口 啦 f 基于j i c c 片的三维人脸建模 果如下图2 4 与图2 - 5 所示 篇囝霹 j 。曩简嘲髑鳓4 0 姆姆姆潆v 黔 图2 - 4f a e e g e n m o d e l l e r 生成的三维人脸年龄变化和性别变化l f i g2 - 4f a c e g e n m o d e l l e rg e n e r a l e3 dm o d e lo f a g em o r p h i n ga n dg e n d e rm or p h i n g i ”】 图2 - 5f a e e g e n m o d e l l e r 软件生成的三雏人脸种族变化i f i g2 - 5f a e e g e n m o d e l l e rg e n e r a t e3 df a c i a lm o d e lo f r a c em o r p h i n g i l ” 2 2 在3 d m a x 9 0 中创建三维人脸模型 3 d m a x 是世界上应用最广泛的三维建模、动画、渲染软件，广泛应用于 游戏开发、角色动画、电影电视视觉效果和设计行业等领域。在人脸建模在人 物角色建模中，更是独具特色在游戏，影视，虚拟人中被广泛应用，下面介 绍一下在m a x 生成人脸的过程，依据b o x 拉形方法。 1 ) 设置场景 不管您是对外星人进行建模、还是对卡通或逼真的头部进行建模，都必须 注意参考材质的比例以及高亮显示角色面部中关键特性的任何细节。对于本文 使用两个参考圈像，在对整个头部进行建模时，尺寸比例在建模过程中的关键 作用。 2 ) 创建侧参考平面 创建前视图平面和左视图平面，前视图平面和左视图平面是三维模型的参 考尺寸，在透视图中设置两个参考平面成9 0 。角，如图2 7 所示。 陕西科技人学硕士学位论文 曩既 憾 黼影 图2 - 83 d m a x 中人脸的b o x 模型 f i g2 - 8t h eb o xm o d e li n3 d m a x 基于照片的三维人脸建模 以上建模过程相当复杂，花费时间相当长，而且模型是不能通用，尺寸 和品质也是特定人脸的模型特征，对于两次开发没有任何益处，对于一些对 品质要求不高的行业，这个模型付出的时问和经济的代价是相当大。如果精 细模型要求更长的时间完成，不便于普及。该方法主要应用在游戏中的角色 人物建模中，对模型的精确性和逼真性要求非常高。 田2 - 93 d m a x 中特定人脸的正侧面三堆模型 f i 9 2 9t h ef r o n t a la n dl a t e r a lm o d e l si n3 d m a x 2 3 用m a x s c r i p t 语言创建三维人脸模型 为了解决3 d 制作软件中对专业技术的要求，3 d m a x90 中提供了一种更为 灵活的建模方法，那就是使用m a x s e r l p t 脚本语言建模。我们知道，使用3 d m a x 9 0 系统可以帮你轻而易举地创建复杂的场景，并让任何对象生成动画，是影 视和广告设计中强大有力的工具。而3 ds t u d i om a x9 0 还具有友善的开发环 境，借助其简单的脚本语言，即可自行扩展功能：如果你是编程高手，更可以 用v i s u a lc + + 开发新的个人插入组件；普通用户也可以方便地使用3 d m a x 的 配套插件。这些外部功能为用户提供了更广阔的创作天地。 m a x s c r i p t 是3 d m a x90 中的插入脚本语言。它为用户提供了以下功能： 1 描述3 d m a x 的全部用途，如造型、动画、材质、渲染等； 2 将脚本集成在用户应用面板卷展栏工作界面上，给脚本一个标准的m a x 陕西科技大学硕士学位论文 用户接口； 3 使用插入的文件的i o ，建立用户输入输出工具； 4 写入可以访问全部场景状态的过程控制器； 5 建立批处理工具例如批处理渲染脚本； 6 通过o l e a u t o m a t i o n ，与外部系统建立活动接口。 m a x 脚本语言是为完成3 d m a x 功能专门设计的。它是像3 d m a x 一样面向 对象的，有许多对于m a x 用户界面中特征和结构，带动画关键帧的动画模式， 并通过层次改变场景对象对应于m a x 的对象层次。下面使用脚本语言创建几 何体 单击菜单m a xs c r i p t m a xs c r i p tl i s t e n e r ；m a xs c r i p tl i s t e n e r 对话框 出现。在对话框中键入以下程序段： 1 t h es p h e r e = s p h e r e ( + ，) 2 t h cc o n c = c o n er a d i u sl ：0r a d i u s2 ：2 0 3 t h eh e l i x h e l i xh e i g h t ：1 0 0p o s ： 1 0 0 ，1 0 0 ，0 】 以上三段语言分别建立了球体、锥体与螺旋线。 执行第一行建立一个球体，球体的参数为变量。 执行第二行建立了一个半径1 为0 ；半径2 为2 0 的锥体。 执行第三行建立了一个高为1 0 0 ；坐标位置为 1 0 0 ，1 0 0 ，0 的螺旋线。效 果如图2 1 0 所示。 麓 目2 - 1 0m a xs c r i p t 生成的简单几何模型 f i g2 - 1 0m a xs c r i p tg e n e r i cs i m p l eg e o m e t r i cm o d e l 在人脸模型中我们参考了i 中的建模方法，同时参考了1 9 1 中的人脸分割方 法，对人脸进行特征区域的划分，每个区域有我们可以调节的