（计算机应用技术专业论文）基于径向基函数的三维特定人脸重构的研究.pdf

江苏大学硕士研究生毕业论文 摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富挑战性的课题。随着 虚拟现实、影视制作、游戏娱乐等应用的发展，这一研究课题越来越受到人们的 关注。三维特定人脸模型重构技术对于快速构建逼真的特定人物模型，进而实现 逼真的人物动画具有重要的理论意义和实用价值。 本文首先介绍了三维人脸模型的应用前景及国内外的研究现状，并分析和总 结了现有的三维人脸建模技术，在此基础上，提出了基于分层设计的规则网格的 一般人脸模型构建方法，基于特征点模板的人脸特征提取方法，基于径向基函数 的分层分部位三维特定人脸重构方法和基于正侧面人脸照片的近似全视角人脸 纹理合成与映射方法，具体内容如下： ( 1 ) 基于分层设计的规则逻辑网格的一般人脸模型构建方法，该方法根据人 脸的生理结构，从p o s e r 中获取原始人脸模型数据，筛选后取部分数据，通过分 层设计的规则逻辑网格方法构造出一般人脸模型。该模型结构简单，构建操作可 参考性好，为特定人脸模型重构奠定了良好的基础。 ( 2 ) 基于特征点模板的人脸特征提取方法，由于正侧面人脸照片中人脸特征 不是一一对应的关系，无法直接从人脸照片中获取特定人脸的全部三维特征点， 因此本文提出了采用正侧面人脸特征点模板分别提取正侧面人脸照片中人脸特 征信息的方法。该方法可方便有效地从图像中获取特定人脸的三维特征点。 ( 3 ) 基于径向基函数的分层分部位三维特定人脸重构方法，由于人脸结构复 杂，采用单个约束方程构造人脸的方法未能精确地刻划细致的人脸部位，且计算 量大，因此提出了一种基于径向基函数的分层分部位三维特定人脸重构方法，实 验结果表明，该方法不仅使重构后的人脸部位更符合自身特征，而且明显降低了 计算量。 ( 4 ) 基于正侧面人脸照片的近似全视角人脸纹理合成及纹理映射方法，分析 了传统的基于正侧面人脸照片构建全视角纹理的不足之处，提出了一种近似的全 视角人脸纹理合成及纹理映射方法。实验结果表明，该方法纹理合成简单有效， 纹理映射效果较逼真。 ( 5 ) 采用面向对象的设计方法，设计实现了一个基于正侧面人脸照片的三维 人脸重构原型系统。通过原型系统的实际运行测试，表明上述方法正确有效，重 构得到的三维特定人脸模型效果逼真。 关键词：三维人脸建模，特征提取，径向基函数，分部位，三维重构，纹理映射 江苏大学硕士研究生毕业论文 a b s t r a c t r e a l i s t i cf a c em o d e l i n gi so n eo ft h em o s td i f f i c u l tp r o b l e m si nc o m p u t e rg r a p h i c s w i t i lt h ed e v e l o p m e n to f v i r t u a lr e a l i t y , c h a r a c t e ra n i m a t i o nf o rf i l m sa n da d v e r t i s i n g c o m p u t e rg a m e s r e a l i s t i cf a c em o d e l i n ga t t r a c t sm a n yr e s e a r c h e r s a t t e n t i o n 3 d p e r s o n a l i z e df a c i a lr e c o n s t r u c t i o nh a sv e r yi m p o r t a n tt h e o r e t i c a la n dp r a c t i c a lv a l u e f o rf a s tc r e a t i o no fp e r s o n a l i z e df a c em o d e lw h i c hi st h eb a s i so fr e a l i z a t i o no f r e a l i s t i ch u a m a na n i m a t i o n i nt h i st h e s i s w ef i r s t l yi n t r o d u e et h ea p p l i c a t i o n $ a n dp r e s e n ts i t u a t i o no f3 df a c e m o c l c l i n gr e s e a r c ha th o m ea n da b r o a d t h e na n a l y z ea n ds u m m a r i z et h em a i ne x i s t i n g f a c em o d e l i n gm e t h o d s o nt h eb a s i so fa b o v e w ep r e s e n tt h em e t h o do fc r e a t i o no f g e n e r i cf a c i a lm o d e lw i t hr e g u l a rm e s hb yh i e r a r c h i c a ld e s i g n , t h em e t h o do ff a c i a l f e a t u r ee x t r a c t i o nw i t hf a c i a lf e a t u r et e m p l a t e s ，t h em e t h o do f3 dp e r s o n a l i z e df a c e r e c o n s t r u c t i o nb a s e do nm u l t i r e g i o nw i t hr b f s , t h em e t h o do fa p p r o x i m a t e v i e w - i n d e p e n d e n tf a c i a l t e x t u r eg e n e r a t i o na n dm a p p h l g , w h i c ha r ed e s c r i b e da s b e l l o w ( 1 ) 1 1 1 em e t h o do fc r e a t i o no fg e n e r i cf a c i a lm o d e lw i t hr e g u l a rm e s hb y h i e l a r c h i c a ld e s i g ni sp r e s e n t e d a c c o r d i n gt ot h es t r h e t u 佗o f h u m a nf a c e ，w ec r e a t ea g e n e n i cf a c i a lm o d e lw i t hr e g u l a rm e s hb yh i e r a r c h i c a ld e s i g nf r o mal a wf a c i a l m o d e lw h i c hi se x p o r t e df r o mp o s e r t h i sg e n e r i cf a c i a lm o d e lh a ss i m p l es t r u c t u r e a n dg o o dr e f e r e n c ef o rc o n s t n g - t i o n , w h i c hl a i e sg o o df o u n d a t i o no fp e r s o n a l i z e d f a c i a lr e c o n s t r u c t i o n ( 2 1t h em e t h o do ff a c i a lf e a t u r ee x t r a c t i o nw i t hf a c i a lf e a t u r et e m p l a t e si s p r e s e n t e d d u et ot h ef e a t u r ei nf r o n ta n dp r o f i l ef a c i a li m a g e si s n tb i j e e t i o n , 3 d f e a t u r ec o o r d i n a t e sc a r l tb eg e n e r a t e df r o mf a c i a li m a g e s w eu s ef e a t u r et e m p l a t e st o e x t - r a e tf a c i a lf e a t u r ef r o mi m a g e s 。w h i c hi sc o n v e n i e n tt oc a l c u l a t e3 df a c i a lf e a t u r e c o o r d i n a t e sf r o mf a c i a li m a g e s ( 3 ) 1 1 l em e t h o do f3 dp e r s o n a l i z e df a c er e c o n s t r u c t i o nb a s e do nm u l t i r e g i o n 、) l ，i t l l r b f si sp r e s e n t e d d u et ot h ec o m p l e xs t r u c t u r eo fh u m a nf a c e t h em e t h o d sw h i c h u 8 eac o n s t r a i n e de q u a t i o nt oc o n s t r u c t3 dp e r s o n a l i z e df a c ec a n td e l i c a t e l yr e p r e s e n t f a c i a lo r g a ns u r f a c e s a n dt h ec o m p u t a t i o nc o s to ft h e s em e t h o d si sg r e a t e r w e p r e s e n tam e t h o df o rr e c o n s t r u c t i n g3 dp e r s o n a l i z e df a c eb a s e do nm u l t i 1 a y e ra n d m u l t i r e g i o nw i t hr b f s e x p e r i m e n t ss h o wt h a tt h i sm e t h o di ss i m p l ea n de 伍c l e n t ( 4 ) n l em e t h o do fa p p r o x i m a t ev i e w - i n d e p e n d e n tf a c i a lt e x r t r eg e n e r a t i o na n d m a p p i n gi sp r e s e n t e d w ea n a l y z et h ed i s a d v a n t a g eo ft r a d i t i o n a lv i e w i n d e p e n d e n t f a c i a lt e x t u r eg e n e r a t i o nm e t h o d ，a n dp r e s e n ta na p p r o x i m a t ev i e w - i u d e p e n d e n tf a c i a l t e x t u r eg e n e r a t i o na n dm a p p i n gm e t h o d e x p e r i m e n t ss h o wt h a tt h i sm e t h o di ss i m p l e a n dt h ep e r s o n a l i z e df a c i a tm o d e lt e x t u r e di sr e a l i s t i c ( 5 ) ap r o t o t y p es y s t e mo f3 dp e r s o n a l i z e df a c er e c o n s t r u c t i o nb a s e do nf r o n ta n d p r o f i l ef a c i a li m a g e si sd e s i g n e da n di m p l e m e n t e db yu s i n gt h eo b j e c t - o r i e n t e d m e t h o d s b yr u n n i n gt e s to ft h i ss y s t e m ，w ec a nc o n c l u d et h a tt h ea b o v em e t h o d sa r e e f f e c t i v ea n dt h er e c o n s t r u c t e dp e r s o n a l i z e df a c ei sr e a l i s t i c k e yw o r d s ：3 df a c em o d e l i n g ，f a c i a lf e a t u r ee x t r a c t i o n , r a d i a lb a s i sf u n c f t o n s ， m u f t i - r e g i o n , 3 dr e c o n s t n k t i o n , t e x t u r em a p i n g i i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密必。 学位论文作者魏沈寐泵导师签彩缸易 签字日期：叩年硼刁日i 签字日期矽年硼彰日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期：朋年巧月 | 1 日 纠， 江苏大学硕士研究生毕业论文 第一章绪论 1 1 课题研究背景与意义 人脸是人表达情感和表现个体特性的重要部分，它具有个性化和多样化的特 点。世界上没有完全相同的两张人脸，因而可以通过人脸鉴别出每个人的身份特 征。同时，人脸也是人类情感表达的重要窗口，人们能够根据一个人的脸部表情 推断出他的气质、情绪等情感状态。 复制逼真的人脸，是人们长期以来的追求。早期常采用的方法包括手工绘画、 泥塑、雕刻等。随着科技的发展，出现了摄影的方法来再现真实人脸，但其仅限 于反映人脸在某个角度的二维信息。二十世纪中期开始，计算机技术得到了迅猛 发展，人们使用计算机在人脸复制方面的研究也越来越多，并取得了丰厚的成果。 现今，人脸建模与动画已经成为计算机图形学领域的一个研究热点并受到普遍关 注。市场需求是人脸建模与动画研究不断发展的源动力。人脸建模与表情动画技 术已经广泛地应用于影视制作、游戏娱乐、医学辅助诊断治疗和新型人机交互技 术等诸多领域。 尽管目前人们在人脸建模与动画方面取得了一些技术上的突破，但还远远不 能满足各种实际需求。已有的方法往往需要昂贵的设备作辅助，或者需要复杂、 专业的操作才能完成人脸模型的构造。本文的研究着眼于在日常环境中，根据普 通摄像设备拍摄的人脸照片，来创建具有真实感的三维人脸模型。 1 2 三维人脸建模应用领域 人脸建模与动画技术具有广泛的应用前景。如：影视广告、游戏娱乐、辅助 教学、虚拟教学、可视电话等。下面介绍几种典型的应用； 1 2 1 影视广告 正如公众媒体所报道的，人脸建模和动画最显著的应用是电影和电视剧的制 作，人脸建模和动画被广泛地用于影视特殊效果的制作，例如：表现一些实际不 可能发生的情况。典型的有如玩具总动员、真实的谎言、夺面双雄、黑 与白等，这些影视作品充分展现了入脸建模和动画技术的魅力。动画师总在不 断寻求更具发展潜力的动画系统，并希望利用最新的学术研究成果来修改和扩展 他们当前的系统。 江苏大学硕士研究生毕业论文 图1 1 玩具总动员2 中逼真的表情 1 2 2 游戏娱乐 目前，全球电脑游戏行业已成为与电影、电视剧、音乐等并驾齐驱的最为重 要的娱乐产业之一，其年销售额已超过好莱坞的全年收入。网络游戏已经展现出 成为一个巨大的新兴产业的潜力。据国外相关统计，仅仅2 0 0 2 年，世界网络游 戏的产值就已突破6 0 亿美元，近几年更是飞速增长。随着微型计算机处理器性 能的不断提高，包含真实感人脸动画的游戏越来越多地在普通微机上出现。在网 络游戏的关键技术中，游戏引擎、人工智能和脚本占据着重要位置。而如果能把 游戏玩家的形象做到游戏中去，使游戏玩家成为游戏中的一个角色，则更能增加 玩家的兴趣，更具沉浸感，这就涉及到快速个性化的人脸建模。 1 2 3 医疗行业 计算机图形学在医学中有广泛的应用，人脸建模和动画技术可以进行头颅手 术和人脸组织外科手术的模拟。通过对手术进行仿真，然后做出详细准确的手术 方案，可以提高手术的准确性，减少手术的风险。另外，如果使用真实感人脸建 模方法对当前比较流行的面部整形和美容过程进行模拟和仿真，一定会起到事半 功倍的效果。 1 2 4 远程视频通信 能够高效地传送和接收人脸图像是实现远程会议( t e l e e o n f e r e n c i n g ) 的关键 技术。尽管网络带宽在不断增加，但实现远程会议仍然需要高效的人脸图像压缩 算法。基于模型的编码技术( m o d e l b a s e dc o d i n gt e e h n i q u e s ) ) 及其在人脸图像压缩 中的应用是当前非常活跃的研究领域之一。这种只传输人脸参数的方法与传统的 压缩视频图像的方法相比，传输的数据量要小得多，对实现远程视频会议有重要 的理论和现实意义。 1 2 5 代理和化身 继图形用户界面( g r a p h i c a lu s e ri n t e r f a c e ) 和多媒体用户界面( m u l t i - m e d i a 2 江苏大擘硕士研究生毕业论文 u s e ri n t e r f a c e ) 之后，人们正在研究使用代理( a g e n t ) 的新型人性化用户界面。人 性化用户界面要求计算机能够与用户交谈并且作出各种反应，使得用户感觉是在 与活生生的人而不是冷冰冰的计算机进行交流，这就需要具有真实感的人脸作为 计算机的代理。 人们在网络虚拟社区、三维语音动画聊天室等虚拟世界进行交流时，由于设 备条件的限制和心理作用，往往不会直接使用自己的真实图像，而是使用虚拟人 脸作为自己在虚拟世界的化身( a v a t a r ) 。 1 2 6 安全认证 由于人脸识别技术自身的优点，例如隐蔽性、非接触方式等特点，使人脸识 别成为近年来生物特征识别领域的研究热点。传统的人脸识别方法是针对二维人 脸图像或视频，使用图像处理方法来获取识别特征并进行人脸识别。但这种基于 二维图像分析的方法很难处理人脸识别中的姿态、光照、表情等问题。基于三维 人脸建模技术的人脸识别方法为解决这些难点问题提供了技术上的保证。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，真实感人脸建 模研究，不但具有理论研究意义，同时也具有极大的实际应用价值。 1 3 人脸建模的难点 然而，即使是在计算机技术飞速发展的今天，要想用计算机便捷、逼真地模 拟人脸的造型及其运动仍然不是一件容易的事情。主要有以下几方面的原因： ( 1 ) 人脸生理结构复杂。人脸面部由表皮、肌肉和骨骼三层结构构成，其基 本形状由内层的骨骼决定，肌肉末端附着于骨骼，而表皮又与肌肉紧密相连。面 部的长相由骨骼和肌肉共同决定，面部的表情由肌肉驱动。另外表皮的颜色和纹 理也会影响人脸的视觉效果。人脸复杂的生理结构使目前仍没有一种数学模型可 以直接来表示人脸，研究者在这方面仍在作不断的努力。 ( 2 ) 人脸表情丰富。人们通常把人脸面部表情分为六类：高兴、生气、害怕、 惊奇、悲伤和厌恶。而且人的心境往往同时包含多种情绪，因此实际的表情就更 加复杂。 ( 3 ) 个性因素。人脸在具有相同的拓扑关系的同时，具有非常明显的个性因 素。如：种族、形状、颜色以及纹理的不同。除了外观差异外，表情动作的细节 也是千差万别。 ( 4 ) 拍摄环境的影响。图像在不同的拍摄环境下亮度差别很大，有时还要考 虑人脸自身以及和外部的遮挡关系。 3 江苏大学硕士研究生毕业论文 1 4 本文的研究内容和主要工作 本文在广泛阅读国内外现有的关于三维特定人脸建模技术的文献后，比较和 借鉴现有的能较好的根据人脸照片重构三维特定人脸模型方法，对相应的从人脸 照片中获取特定人脸特征点并重构出三维特定人脸模型技术进行改进和完善，同 时提出自己的算法，并开发相应的特定人脸模型重构原型系统。论文的主要研究 内容和工作包括以下几方面： ( 1 ) 研究一般人脸模型构建方法 构建一个一般人脸模型用于三维特定人脸模型重构。根据人脸的生理结构和 标准面部比例关系，从p o s e r 中获取原始人脸模型，对此模型进行数据筛选，利 用部分数据，通过分层设计的规则逻辑网格方法构造出一般人脸模型。该模型结 构简单，构建操作可参考性好，为特定人脸模型重构奠定了良好的基础。 ( 2 ) 研究基于特征点模板的人脸特征提取方法 由于正侧面人脸照片中人脸特征的关系不是一一对应的，无法直接从人脸照 片中获取特定人脸的全部三维特征点，因此提出采用正侧面人脸特征点模板分别 提取正侧面人脸照片中人脸特征信息。该方法首先对照片中的人脸进行预处理， 规一化照片中的人脸，然后分别单独设计正面和侧面人脸特征点模板，采用正侧 面特征点模板分别与正侧面人脸照片交互，修改特征点模板从而获取照片中的人 脸信息，最后采用径向基函数重新计算出整个特定人脸的全部三维特征点坐标。 该方法可方便有效地实现从图像中获取三维特定人脸的特征点。 ( 3 ) 研究基于径向基函数的分层分部位三维特定人脸重构方法 由于人脸结构复杂，通过单个约束方程构造人脸的方法未能精确地刻划细致 的人脸部位，且计算量大。因此提出一种基于径向基函数的分层分部位三维特定 人脸重构方法，该方法使用不同的径向基函数对人脸进行分层分部位重构，然后 采用影响因子来融合层与层之间的交界处，从而重构一个完整的特定人脸模型。 实验结果表明该方法不仅使重构后的人脸部位更符合自身特征，而且计算量上明 显下降了。 ( 4 ) 研究基于正侧面人脸照片的近似全视角人脸纹理合成及纹理映射方法 在分析传统的基于正侧面人脸照片构建全视角纹理的不足之处，提出了一种 近似的全视角人脸纹理合成及纹理映射方法。该方法以正面人脸轮廓图像为中 心，辅以侧面人脸图像信息，再采用多分辨率图像融合技术融合拼接接缝。根据 近似全视角纹理的特点，以人脸轮廓线为界，分别计算出人脸模型的左侧面、正 面和右侧面的纹理坐标。实验结果表明，该方法纹理合成简单有效，纹理映射效 果较逼真。 4 江苏大擘硕士研究生毕业论文 ( 5 ) 研究开发基于正侧面人脸照片的三维特定人脸重构原型系统 结合三维特定人脸重构实际需求，采用面向对象的设计方法，设计实现一个 基于正侧面人脸照片的三维人脸重构原型系统。通过原型系统的实际运行测试， 表明上述方法正确有效，重构得到的三维特定人脸模型效果逼真。 本文的研究内容属于国家自然科学基金( 6 0 2 7 3 0 4 0 ) 和江苏省“青蓝工程”基 金项目n 1 9 1 1 7 0 0 0 4 ) 中研究内容的一部分。 作者在读硕士期间在国内核心学术刊物发表学术论文如下： 1 ) y o n g z h a oz h a n , r o n g r o n gs h e n ，j i a n m i n gz h a n g ，3 - 1 ) p e r s o n a l i z e df a c e r e c o n s t r u c t i o nb a s e do nm u l t i l a y e ra n dm u l t i - r e g i o nw i t hr b f s ，l e c t u r en o t e si n c o m p u t e rs c i e n c e ，4 2 8 2 ：7 7 5 - 7 8 4 2 ) 高益茂，詹永照，沈荣荣，脸动画中逼真纹理映射的方法，长春理工大学 学报，2 0 0 5 ，2 8 ( 3 ) ：8 5 8 8 1 5 论文结构概要 本论文共分七章，主要内容概括如下： 第一章介绍课题的研究背景和意义及其应用领域，分析了人脸建模与动画的 难点，同时提出论文研究的主要内容。 第二章介绍了三维人脸建模的主要过程。综述了人脸建模的研究现状，重点 介绍了基于人脸图像或视频的三维人脸建模技术，并对各种人脸建模方法进行了 分析比较。 第三章详细阐述了一般人脸模型构造和从正侧面照片中获取人脸特征信息 的方法，主要包括一般人脸构造方法、人脸照片预处理、正侧面人脸特征点模板 设计和人脸照片中人脸的特征信息提取方法，最后阐述了根据照片中的人脸特征 信息计算整个三维人脸模型的特征点的方法，。 第四章详细阐述了基于径向基函数的分层分部位三维特定人脸重构方法，介 绍径向基函数以及径向基函数在三维人脸重构中的应用方法，详细阐述了基于径 向基函数的分层分部位三维特定人脸重构方法，并对实验结果作了比较分析。 第五章详细阐述了基于正侧面人脸照片的近似全视角人脸纹理合成及纹理 映射方法，主要介绍了采用图像金字塔技术融合正侧面人脸照片合成近似全视角 人脸纹理图的方法以及计算对应纹理坐标的方法，并演示了三维特定人脸模型纹 理映射后的真实感效果。 第六章介绍了采用面向对象思想设计并开发了基于正侧面人脸照片的三维 特定人脸模型重构原型系统的方法和过程。 第七章对全文进行总结，并对未来的研究方向进行了一些展望。 江苏大学硕士研究生毕业论文 2 1 概述 第二章人脸建模技术研究与进展 三维真实感人脸建模是一个极具挑战性的难题。从几何角度来看，人脸具有 极度复杂的几何形状和表面材质，必须通过足够的技术手段来描述这些特征。头 发的模拟、表情动作的仿真、逼真纹理信息的添加、光照的处理等都是极具挑战 性的问题，多年来一直困扰着图形学专家。 1 9 7 2 年，p a r k e l l 即】首次开展了人脸建模与动画的研究，自此以后，很多学 者在这个领域做了大量的研究工作。但是，直到现在，用计算机实现具有真实感 的人脸建模还是一个难题。真实感的人脸模型就是指计算机合成的具有特定人的 喜、怒、哀、乐等表情以及脸部各种特征的人脸模型。从人的视觉要求出发，总 是希望合成的人脸能够尽可能地达到逼真，但是由于受模型和计算机能力的限 制，合成的图像总是与人们的要求有一定的差距。 实现具有真实感的人脸建模与动画之所以如此困难，主要有以下原因： 首先，人脸的几何形状非常复杂，其表面不但具有无数细小的皱纹，而且呈 现颜色和纹理的微妙变化，因此建立精确的人脸模型、生成真实感人脸非常困难。 其次，脸部运动是骨骼、肌肉、皮下组织和皮肤共同作用的结果。其运动机 理非常复杂，因此生成真实感人脸模型与动画非常困难。 另外，我们人类生来就具有识别和理解脸部表情的神奇本领，任何微妙的表 情变化都能够被立即觉察出来，这就使得人脸建模与动画变得更加困难。 本章以下内容按照人脸建模若干阶段的先后顺序，分别介绍了人脸建模所涉 及的相关技术，然后详细介绍目前典型的几种人脸建模方法，最后对这些典型方 法进行比较，总结了各种方法的优缺点。 2 2 三维人脸建模过程 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定人 脸建模三部分组成。三维数据的获取属于计算机视觉领域，近年来随着计算机视 觉技术的发展，研究者们提出了一些适用于三维建模的数据获取方法。标准人脸 模型的建立是图形学、人体测量学和统计学等相结合的产物，可以摇述人脸共有 的结构特征和行为特征。特定人脸建模可以根据三维数据直接建立可视化模型， 也可以通过对标准模型的形变进行建模，后者是研究的主流。从标准模型到个性 模型的建模方法按照数据的来源主要分为两类：基于三维散乱点数据的建模方法 7 江苏大学硕士研究生毕业论文 和基于图像( 单幅、多幅、序列) 的建模方法。在建模过程中，研究者们尽量使处 理过程自动化，但至今完全自动化的建模方法还少有报道。图2 1 显示了三维建 模的总体框架。 图2 1 三维人脸建模 目前国际上许多著名的研究单位( 如微软研究院、华盛顿大学、瑞士联邦技 术研究院、多伦多大学、i b m 研究院等) 都设立有专门进行人脸三维建模研究的 课题组。国内在这方面的研究起步较晚，但是发展较为迅速。浙江大学、清华大 学、中国科学技术大学、中国科学院计算技术研究所和中国科学院自动化研究所 等在三维人脸的数据获取和建模方面取得了一些进展；中国科技大学从正面和侧 面两幅图像出发合成三维人脸模型并制作了简单的面部表情动画【4 5 , 6 1 ；中国科学 院自动化研究所研究出了基于激光扫描的三维数据获取方法 l s , g j 。但是目前国内 还只限于理论方面的研究，实际应用还很少涉及。 2 2 1 三维数据的获取 三维人脸造型一直是国内外学者的研究热点，到目前为止已有多种不同的建 模方法，根据初始输入方式的不同可分为两大类： 第一类方法是直接采集真实人脸的数据进行三维重构。该方法着眼于恢复出 准确的人脸形状，生成的模型精确度高、逼真，能满足某些场合的特殊需要：但 它们最大的缺点是需要专门的三维扫描设备，如c r l l 0 1 、核磁共振仪f i l 】、三维激 光扫描仪 1 2 1 等，来直接获取人脸的几何数据进行建模，成本昂贵；而且重构模 型相当耗时，因而应用范围受到一定的限制，不利于推广。 第二类方法所建立的人脸模型有固定的拓扑结构，特定人脸的三维模型可由 毫 江苏大学硕士研究生毕业论文 一个一般模型变形得到。一般以几幅特定人脸的二维图像( 照片和视频录像等) 作为输入，并结合人脸的几何特征、人类学、计算机视觉等知识完成。此方法不 需要特殊的设备，成本低廉，应用面广，尤其适合对人脸模型精度要求不是特别 高的情况。 2 2 2 标准模型 人脸有基本相同的面部结构( 如眼睛、鼻子、嘴巴等) 和相似的面部动作( 如 眼睛的睁闭，嘴巴的开合等) ，这些特征为建立标准人脸模型( g e n e r i cf a c em o d e l ) 奠定了生理基础。但是脸部除了公共特征外，还有个性特征，正因为有了这些个 性特征，才能正确地区分不同个体的人脸。标准人脸模型有丰富的先验知识( 如 结构信息、肌肉模型等) ，可以描绘人脸公有特征。根据前人已有的研究，一个 优秀的标准模型应该具备以下几个特点： ( 1 ) 参数化：利用具体人脸的信息，调节参数能够描述出个性特征，从而形 成个性化人脸模型； ( 2 ) 形象化：能准确地描述人脸的基本形状，并能做一些人脸的基本表情动 作； ( 3 ) 简单化：模型顶点越多描述人脸的精度就越高，但是给模型的拟合和后 期处理增加了困难。而顶点太少又不能精确地描述人脸的细节，因此，需要在模 型的复杂性和精度之间作一个折中。 2 0 世纪9 0 年代，各研究组纷纷提出了自己的人脸模型，其中普遍应用的是 网格模型和统计模型。 2 22 1 网格模型 网格模型( m e s hm o d e l ) 是应用比较广泛的三维人脸模型。网格模型的一般 数学描述是， m = 以，巴，q ) ， ( 2 - 1 ) 其中，表示网格节点集合，巴表示组成面片的节点编号集合，c 朋表示节点或 面片的属性。根据面片的形状，可以把模型分为三角面片模型和四边形面片模型 两种。比较流行的是基于三角面片的网格模型。 网格节点在一些文献中被称为控制点( c o n t r o lv e r t e x ) 、特征点( f e a t u r e v e r t e x ) 等。它们的分布往往是不均匀的，关键部位如眼睛、嘴巴、嘴角等处节 点密集一些，平滑部位如额头、脸颊等处节点稀疏一些。节点越多，三角形平面 越多，表达的头部模型越逼真，但同时也增加了模型的复杂度，给后期处理添加 了困难。研究者在这个方面努力的方向是利用最少的节点和三角面片来建立逼真 9 江苏大学硕士研究生毕业论文 的头部模型。代表性的模型有d e c a r l o 等人的b 样条模型”】、l i u 等人的中性人 脸模型( n e u t r a lf a c em o d e l ) 1 1 4 】和a h l b e r g 的c a n d i d e 3 【1 5 1 。 宾夕法尼亚大学的d e c a r l o 等人利用人体测量学得到的数据结合变分技术 ( v a r i a t i o nt e c h n i q u e s ) 建立了网格模型【l 引。他们的做法是根据人体测量学知识 1 1 6 , 1 7 1 ，在人的头部规定一些能表征人脸特征的特征点，然后利用入脸测量方法测 量这些特征点和它们之间的关系。这些测量值包括两点之间的最短距离、切线距 离、两点连线与坐标轴的倾角等1 3 2 个值。对这些测量数据利用变分技术进行处 理，然后用b 样条曲面将三维模型表示出来。这种方法能比较逼真地描述个性特 征，但是需要复杂的测量工作和被测对象良好的配合。 图2 2 中性人脸模型 微软研究院l i u 和z h a n g 等人在艺术家的帮助下，建立了一种中性脸的网格 模型【1 4 1 ，如图2 2 所示。这种模型由1 9 4 个关键点和3 6 0 个三角平面组成，并 且构建了6 5 个可调向量用于模型的变形。中性脸用向量品表示为： = ( 吨，吨) 7 ， ( 2 2 ) 调节向量用m 来表示， 屿= ( 醒l ，- ，) ， ( 2 3 ) 那么，新脸就可以用s 来表示， s = s o + 巳鸣 ( 2 4 ) j = l 通过改变系数c ，可以描述不同的脸型。利用这种模型，根据两幅图像和两 个图像序列，来模拟特定人脸，取得了较好的效果。此种模型的可调参数较少， 可以比较方便地进行模型的变形。 1 0 江苏大擘硕士研究生毕业论文 图2 3c a n d i d e 人脸模型 瑞典l i n k o p i n g 大学的i m a g ec o d i n gg r o u p 多年来一直从事三维人脸建模工 作。从r y d f a l k l 9 8 7 年公布最初的人脸模型以来，他们的模型版本已经改进了多 次。2 0 0 1 年，a h l b e r g 发布了最新的版本c a n d i d e - 3 ”】，如图2 3 所示。这个 版本人脸模型达到了与m p e g - 4 标准【1 8 】的统一。此模型包括1 1 3 个关键点和1 6 8 个三角面片，控制参数由静态参数( f a c i a ld e f i n i t i o np a r a m e t e r s f d p ) 和动态参数 ( f a c i a la n i m a t i o np a r a m e t e r s , f a p ) 组成。静态参数用来描述不同人脸之间的差 异，动态参数用来控制脸部的动作，并且根据动态参数可以进行动作编码，在视 频传输方面应用较广。 总之，网格模型的建立比较简单，而且有许多专业的三维造型软件可以辅助 实现，如m a y a 、3 d s m a x 、l i g h t w a v e 、p o s e r 等。因此，这种模型为新的算法 提供了一种方便的试验平台，而且可以结合插值技术或肌肉模型形成动画。目前 许多科研单位都在应用这种模型。 2 2 2 2 统计模型 统计模型是指利用统计方法从大量采样样本中学习出入脸共性，建立统计意 义上的标准人脸模型，比较著名的有形变模型( m o r p h a b l e3 df a c em o d e l ) 1 9 1 和三 维特征脸( 3 de i g e n f a e e s ) 2 0 1 。 德国学者b l a n z 和v e t t e r 等人【1 9 1 于1 9 9 9 年研究出了形变模型。模型的基础 是一个含有2 0 0 个青年面部数据信息的三维人脸数据库，三维信息由激光扫描仪 获得，包括距离信息和颜色信息。每个头部数据称为一个样本脸( e x e m p l a rf a c e ) ， 每个样本脸包括大约7 万个点，然后利用复杂的光流算法建立不同人脸三维点的 关系。假设一个人脸的形状可以用向量f 来表示： f = ( 五，r l ，z i ，乃，艺，乙) 1 ， ( 2 5 ) ( 置，影，互) 分别表示三维点的坐标。对应点的纹理信息可以用向量丁来表示为： 江苏大学硕士研究生毕业论文 t = ( 且，g l ，置，焉，q ，e ) 1 ， ( 2 6 ) ( 置，q ，旦) 代表点颜色分量。设有m 个样本脸，每个样本脸有一个形状向量和一 个纹理向量组成，则形态模型可以由这样的肌个样本脸构成。对于一个新的个体， 它的形状向量和颜色向量可以分别描述为： = 啦e ， ( 2 7 ) l = l = 螭， ( 2 8 ) l # i 啦= 岛= 1 。 ( 2 9 ) j = lf d 通过对系数q 和6 l 的调节可以描述不同人脸的三维形状特征和纹理特征。 三维特征脸1 2 0 l 类似于特征脸，对预先构建的三维模型用主元分析方法降维， 获得表征脸部形状的主要分量，利用它们的线性组合表达个性化的人脸模型。建 立统计模型通常比较麻烦，需要大量的学习数据，而且三维数据的预处理工程非 常复杂，建成后的模型具有统计意义上合理的调节参数，使脸部表情达到合理化。 2 2 3 三维特定人脸建模 恃定人脸建模是指利用具体人脸信息建立个性化的人脸模型，用以描述不同 人的具体特征。可以根据已知具体人脸的三维信息直接建模，也可以通过变形标 准人脸模型形成特定人脸模型。前者往往根据具体数据采用插值、曲面优化等技 术达到建模目的，通常对数据的要求比较苛刻，如数据点云分布均匀且噪声较小， 建成后的模型缺乏结构信息。后者将标准人脸模型作为先验知识，通过刚体变换、 形变等手段与具体的人脸数据拟合达到形状匹配，并且利用图像合成面部纹理信 息从而建立逼真的三维个性人脸模型。建成后的人脸模型可以应用到动画制作、 生物特征识别、运动跟踪等许多方面。根据三维数据的来源不同，这些方法可以 分成两类：一类是从三维数字化仪得到三维数据出发进行人脸模型的拟合【2 1 ，2 2 1 ； 另一类方法则从一个图像或多幅人脸图像中提取信息修正标准人脸模型进行个 性化人脸建模【2 3 以2 5 矧。 近年来三维数字化扫描仪发展迅速，三维数据获取的性价比逐渐提高，避开 基于图像的三维重构难题，直接利用数据进行建模的科研活动日趋增多。其一般 做法是先进行数据的预处理( 如除噪、补洞等) ，然后利用图形学方法进行点云 三角化，最后通过网格优化策略得到适当精度的模型。此方法对不要求结构信息 江苏大学硕士研究生毕业论文 的建模比较有效，而不适合于要求有严格结构信息的建模工作。 多伦多大学的l e e 等人 2 1 , 2 2 利用激光扫描仪获得的三维数据集合和纹理信 息，调整已知的标准人脸网格模型，构建特定人脸模型。他们的做法是在三维点 云中检测一些有意义的特征点，利用插值方法变形特征点周围的非特征点。为了 能够准确地检测特征点，预先对获得的三维数据进行拉普拉斯变换【2 1 1 ，然后在 拉氏空间中检测特征点，得到了较好的效果，最后根据三维特定人脸模型合成人 脸纹理信息。j e o n g 等人利用三维数据的轮廓信息进行模型的初始化，然后利用 曲面子分割策略和多精度拟合方法进行模型的构建叨。x u 等人进一步针对非均 匀的三维数据，发展了自适应多精度拟合方法 2 8 1 ，能有效克服数据中存在的孔 洞及数据严重不均等问题。利用三维数据构建的三维模型通常具有较高精度和逼 真度，能清晰地描述个性特征，但是要求较高精度的三维数据，目前仍不易获取。 基于图像的视觉建模是9 0 年代以后出现的最具代表性的人脸建模方法。该方 法基于多视点人脸图像或人脸视频图像序列，通过视觉方法来计算和恢复人脸特 征点的三维信息，并修改一般三维人脸模型来建立特定三维人脸。与参数模型和 肌肉模型建模相比，该人脸模型建模过程相对简单。真实感效果较好。 通过视觉方法建立三维人脸模型的一般过程如下：首先通过摄像设备获取不 同视点的特定人脸图像，并建立一个一般三维人脸网格模型；然后从不同视点的 人脸图像提取人脸的特征信息，即在不同人脸图像上标注对应的人脸特征点，如 眼角、嘴角以及鼻尖等部位；接下来使用视觉方法计算人脸特征点的三维空间点 位置，并用于变形一般三维人脸网格模型，从而建立特定人脸的几何模型；最后， 使用多视点人脸图像合成特定人脸的纹理图像并进行纹理映射，从而建立真实感 三维特定人脸模型。 2 3 现有典型的建模方法 f l p a r k e 于1 9 7 2 年首次提出计算机生成人脸及其动画【l ，2 ，3 】以来，研究者们在 这一领域取得了许多重要的研究成果。 t e r z o p o u l o s 和w a t e r s 等人四j 用3 d 扫描仪创建人脸模型，并提出了一种处理和 改进扫描结果的方法：以c y b e r w a r e 扫描仪的纹理和深度图作为输入，通过结合 手工交互和对深度图的处理，来得到人脸上特征点( 如鼻尖等) 的位置和特征轮廓