（计算机应用技术专业论文）真实感三维人脸建模及应用研究.pdf

摘罂 摘要 真实感三维人脸建模和人脸动画是计算机图形学、计算机视觉领域最根本、 最困难的问题之一，也是近年来国际上最活跃的研究热点。真实感人脸建模的研 究在电影、广告、人物动画、计算机游戏、视频会议、人机交互、医学、公安安 全等许多领域有广阔的应用前景。 形变模型( m o r p h a b l em o d e l ) 是近几年出现的三维人脸建模新方法。虽然 该模型同以往的参数模型、肌肉模型以及视觉模型相比，具有真实感好、自动化 等特点，但目前该模型在模型建立、优化以及光照等方面还存在诸多问题，在模 型应用方面也缺乏探索。针对上述问题，本文在基于形变模型的人脸建模方法及 应用方面展开了研究，主要的研究内容包括： ( 1 ) 面向中国人特征的大规模三维人脸数据库的建立。三维人脸数据库是建立 形变模型的基础。数据库的建立包括数据获取、数据预处理、数据规格化 以及数据库结构设计等研究内容。关键是要解决高维三维人脸数据基于特 征的像素级稠密对应问题。 ( 2 ) 基于形变模型的人脸建模方法及改进。首先，基于三维人脸数据库，研究 三维人脸形变模型的建立方法，主要包括参数模型的建立和针对输入人脸 图像的模型匹配。模型建立涉及模型基础数据的量化处理和人脸参数表示 模型的建立，模型匹配涉及光照模型、摄像机标定以及大规模优化问题。 其次，对现有的形变模型进行了改进，主要针对非理想光照环境下的模型 匹配问题和匹配优化加速问题展开研究。 ( 3 ) 形变模型的应用研究。主要研究模型在人脸动画、人脸识别和人脸特征提 取方面的应用。在人脸动画方面，研究人脸动画的参数表示模型和人脸动 画的驱动方法。在人脸识别方面，针对人脸识别中的光照和姿态问题，研 究基于三维人脸模型的人脸识别方法。在人脸特征提取方面，研究形变模 型在二维人脸图像特征表示方面的应用。 北京工业大学工学博士学位论文 通过对以上几个方面的深入研究，本文首先建立了面向中国人特征的大规 模三维入脸数据库，在该数据库的基础上建立了三维入脸形变模型，实现了基 于图像的三维人脸自动重建方法，解决了真实感人脸建模及应用中的一些关键 问题，获得了定研究成果。下面是本文的主要贡献和创新点： ( 1 ) 提出了基于网格重采样的三维入脸对应方法。首先，两格重采样方法很 好地解决了三维人脸数据规格化中的难点和关键问题高维三维人 脸数据的像素级稠密对应问题，从而为建立形变模型提供了基础数据： 其次，由粗到细的重采样策略为建立多分辨率的三维入脸形变模型提供 了自然的途径；另外，重采样方法可以建立表情或动作人脸与中性人脸 间的对应，从而实现人脸动画数据的量化。 ( 2 ) 提出了多光照多分辨率的形变模型改进方法。针对现有形变模型匹配速 度慢以及模型不适合非理想光照条件的缺点，提出了两方面的改进：基 于重采样的结果建立了多分辨率形变模型，以加速模型的匹配速度；提 出了多光源的光照模型，使形变模型适用于非理想光照条件下的人脸重 建问题。 ( 3 ) 提出了基于形变模型的面向非特定人的人脸动画方法。研究高维稠密网 格的三维人脸动画是一个新课题，如何获取人脸的动画数据、如何驱动 稠密网格以及如何实现非特定人的人脸动画都是需要解决的难点问题。 通过网格重采样方法，对样本三维人脸的表情或动作数据进行分析、量 化，提出了包括全局参数和局部参数的入脸动画参数控制方法，并应用 于三维形变模型建立的非特定三维人脸，实现了人脸动画。 ( 4 ) 实现了基于三维形变模型的人脸识别方法。传统基于二维图像或视频的 人脸识别方法面临的最困难的问题是人脸的姿态、光照和表情问题。由 于形变模型可以有效估计待匹配人脸的姿态和光照，本文将三维人脸形 变模型用于人脸识别，对待识别人脸使用形变模型进行匹配，并使用模 型匹配参数表示人脸的识别特征，从而解决了人脸识别中的光照和姿态 问题。为了得到比较好的识别效果，本文分析了形变模型匹配效果对识 别结果的影响，并使用f i s h e r 线性判别方法进行最终的特征分类。 ( 5 ) 提出了基于组合模型的人脸图像特征检测方法。人脸特征检测是人脸检 摘要 测、人脸跟踪、人脸识别等研究领域的关键问题。基于形变模型的线性 组合思想，提出了基于原型人脸线性组合模型的入脸特征检测新方法。 该方法将形变模型的全局匹配与局部特征学习结合起来，通过人脸图像 组合模型对给定入脸图像进行匹配，实现了人脸特征的自动检测。 基于形变模型的三维人脸建模是一种新的人脸建模方法，具有重要的研究 价值和巨大的应用潜力，进一步的研究需要在提高模型匹配优化效率，建立完 整的头部模型以及提高模型的真实感等方面做出努力，使形变模型不断完善， 并应用于更广泛的领域。 关键词人脸建模；形变模型；人脸动画；人脸识别；人脸特征提取 i i i a b s t r a c t r e a l i s t i c3 df a c em o d e l i n ga n da n i m a t i o ni st h er e s e a r c hf o c u si nc o m p u t e r g r a p h i c sa n dc o m p u t e rv i s i o n ，a n dh a sm a n yc h a l l e n g i n go p e np r o b l e m s i tc a nb e w i d e l yu s e di nm a n ya r e a s ，s u c ha sf i l m ，a d v e r t i s e m e n t ，c h a r a c t e ra n i m a t i o n ， c o m p u t e rg a m e ，t e l e c o n f e r e n c e ，h u m a nc o m p u t e ri n t e r f a c e ，m e d i c i n e ，a n ds a f e g u a r d e t c r e c e n t l y ，an e wf a c em o d e l i n gm e t h o d ，t h em o r p h a b l em o d e li sp r o p o s e d c o m p a r i n gw i t ht h ec l a s s i cf a c em o d e l i n gm e t h o d s ，s u c ha st h ep a r a m e t r i cm o d e l ， t h ep h y s i c a lm o d e la n dt h ed e f o r m a b l em o d e l ，t h em o r p h a b l em o d e lh a sa d v a n t a g e s i nr e a l i s ma n da u t o m a t i o n ，w h i l et h e r ea r em a n ya s p e c t so f t h em o d e lt ob ei m p r o v e d a n de x p l o r e d ，f o re x a m p l e s ，t h em o d e lc o n s t r u c t i o n ，t h em o d e lm a t c h i n g ，t h el i g h t i n g m o d e la n di t sa p p l i c a t i o n o u rw o r kc o n c e n t r a t e so nt h ec o n s t r u c t i o na n da p p l i c a t i o n o f t h em o r p h a b l em o d e l t h em a i ns t u d yi n c l u d e st h ef o l l o w i n gc o n t e n t s ： ( 1 ) t h ec o n s t r u c t i o no ft h ec h i n e s e3 df a c ed a t a b a s ew i t hl a r g eq u a n t i t y t h e 3 df a c ed a t a b a s ei st h ek e ys t e pt ot h em o r p h a b l em o d e lt h a td e m a n d sm a n y p r o t o t y p i c3 df a c e sa st h e b a s eo ft h ef a c es p a c e t h ec o n s t r u c t i o no ft h e3 d f a c ed a t a b a s ei n c l u d e sp r o t o t y p e s a c q u i r i n g ，f a c ed a t ap r e p r o c e s s i n ga n d s t a n d a r d i z i n g ，a n ds t r u c t u r ed e s i g n i n go f t h ed a t a b a s e n l ed i f f i c u l tp r o b l e m ， t h ep i x e l - t o p i x e la l i g n m e n t sa m o n gt h ed e n s ef a c i a lm e s ho ft h ep r o t o t y p e s m u s tb ea n a l y z e da n dr e s o l v e d ( 2 ) t h er e s e a r c ho nt h em o r p h a b l em o d e la n di t si m p r o v e m e n t t h em o r p h a b l e m o d e li si m p l e m e n t e df i r s t l y t h ei m p l e m e n t a t i o nc o n s i s t so ft h em o d e l c o n s t r u c t i o na n dt h em o d e lm a t c h i n gt ot h eg i v e nf a c i a li m a g e t h em o d e l c o n s t r u c t i o ni n c l u d e st h ev e c t o r i z a t i o no f t h ep r o t o t y p e sa n dt h ec o n s t r u c t i o n o ft h ep a r a m e t r i cf a c i a lm o d e l s 1 1 1 ei l l u m i n a t i o n c a m e r ac a l i b r a t i o na n d o p t i m i z a t i o nw i t hm a s s i v ed a t aa r ei n v e s t i g a t e di nt h em o d e lm a t c h i n g o n t h eo t h e rh a n d ，t h em o r p h a b l em o d e li sc o n s i d e r e dt ob ei m p r o v e di nt h e v m a t c h i n gw i t ha b n o r m a li l l u m i n a t i o na n df i n d i n gt h ef a s t e r m a t c h i n g a l g o r i t h m ( 3 ) t h er e s e a r c h0 1 1t h ea p p l i c a t i o no ft h em o r p h a b l em o d e l w ec o n s i d e rt h r e e a p p l i c a t i o n so ft h em o r p h a b l em o d e l ：f a c ea n i m a t i o n ，f a c er e c o g n i t i o na n d f a c i a lf e a t u r ee x t r a c t i o n i nf a c ea n i m a t i o n ，w ew a n tt of i n ds i m p l em e t h o d t op r o d u c er e a l i s t i cf a c i a la n i m a t i o nw i t ht h em o r p h a b l em o d e l i ti sag o o d i d e au s i n gt h e3 df a c em o d e l i n gm e t h o dt os o l v et h ep o s ea n d l i g h t p r o b l e m si nf a c er e c o g n i t i o n a p p l y i n gt h em o r p h a b l em o d e lt of a c i a l f e a t u r ee x t r a c t i o ni si n s p i r e db yi t sb a s i cc o n c e p t i o n ，t h el i n e a rc o m b i n a t i o n a sr e s u l to ft h er e s e a r c ho nt h ea b o v ea r e a s ，w eh a v ec o n s t r u c t e da l a r g es c a l e 3 df a c ed a t a b a s ea n dt h em o r p h a b l em o d e li sc o n s t r u c t e df r o mt h ep r o t o t y p i cf a c e s b yt h em o r p h a b l em o d e lw ec a l lr e c o n s t r u c tt h e3 df a c ef r o mt h eg i v e n2 df a c i a l i m a g e s o m ed i f f i c u l tp r o b l e m sa b o u tt h ef a c em o d e l i n gm e t h o da r ea l s or e s o l v e d t h em a i nc o n t r i b u t i o n sa n di n n o v a t i o n so f o u rr e s e a r c ha r el i s t e db e l o w ： ( 1 ) p r o p o s i n ga3 df a c ea l i g n m e n tm e t h o db a s eo nm e s hr e s a m p l i n g f i r s t l y ，t h e p r o p o s e dm e s h i n gr e s a m p l i n gm e t h o dg i v e sar e s o l u t i o nt ot h ed i f f i c u l t p r o b l e mo ft h ep i x e l t o p i x e la l i g n m e n t sa m o n gt h ep r o t o t y p i cf a c e s i ti s i m p o r t a n tt ot h ec o n s t r u c t i o no ft h em o r p h a b l em o d e l s e c o n d l y ，f r o mt h e c o a r s et of i n er e s a m p l i n gs t r a t e g y , am u l t i - r e s o l u t i o nm o r p h a b l em o d e li s c o n s t r u c t e da n di su s e di na c c e l e r a t i n gt h em o d e lm a t c h i n g l a s t l y ，t h em e s h r e s a m p l i n gm e t h o dc a nb eu s e di ne x t r a c t i n gt h ea n i m a t i o nv e c t o r sb e t w e e n n e u t r a la n de x p r e s s i v ef a c e s ( 2 ) i m p r o v i n gt h eo r i g i n a lm o r p h a b l em o d e lb yt h ep r o p o s e dm u l t i r e s o l u t i o n a n dm u l t i l i g h tm o d e l c o n s i d e r i n gt h et i m e c o n s u m i n gm o d e l m a t c h i n ga n d t h e d i s a d v a n t a g e i n m a t c h i n gc a s ew i t ha b n o r m a li l l u m i n a t i o n , t h e m o r p h a b l em o d e li si m p r o v e di nt w oa s p e c t s t h em u l t i r e s o l u t i o nf a c e m o d e li sp r o p o s e dt oa c c e l e r a t et h em o d e lm a t c h i n gw i t hm o r es t a b i l i t y a n d t h em o r p h a b l em o d e li sd r i v e nt of i tt h em a t c h i n gp r o b l e mw i t ha b n o r m a l i l l u m i n a t i o nb yt h ed e s i g n e dm u l t i - l i g h tm o d e l s ( 3 ) p r o p o s i n gag e n e r nf a c ea n i m a t i o nm e t h o db a s e do nt h em o r p h a b l em o d e l v t a b s t r a c t t h ef a c ea n i m a t i o nw i t hh i g hd i m e n s i o nm e s hi san o v e lp r o b l e m h o wt o a c q u i r et h ea n i m a t i o nd a t a ，h o wt oa n i m a t et h eh i g hd i m e n s i o nm e s ha n d h o wt oo b t a i ni n d i v i d u a la n i m a t i o na r ea l ld i f f i c u l tt oo v e r c o m e b yt h e o a n a l y s i so fp r o t o t y p i ca n i m a t i o n3 df a c e s w eu s et h em e s hr e s a m p l i n g m e t h o dt ov e c t o r i z et h ea n i m a t i o nf a c e s f r o mt h ea n i m a t i o nv e c t o r sa p a r a m e t r i ca n i m a t i o nm o d e l sw i t hg l o b a la n dl o c a lc o n t r o l l i n gp a r a m e t e r si s p r e s e n t e d i fa p p l y i n gt h ep a r a m e t r i cm o d e l st ot h e3 df a c ec o n s t r u c t e db y t h em o r p h a b l em o d e l ，t h ef a c ea n i m a t i o ni sp r o d u c e d ( 4 ) i m p l e m e n t i n gaf a c er e c o g n i t i o nm e t h o db a s e dt h em o r p h a b l em o d e l i ti s d i f f i c u l tt oo v e r c o m et h ep o s ea n di l l u m i n a t i o np r o b l e m si nf a c er e c o g n i t i o n b yt h et r a d i t i o n a l2 di m a g ea n a l y s i sm e t h o d a st h em o r p h a b l em o d e lh a s t h ep o t e n t i a lt oe s t i m a t et h ef a c ep o s e sa n di l l u m i n a t i o n si nt h em a t c h i n g p r o c e d u r e ，i ti sc o n s i d e r e da p p l y i n gi nf a c er e c o g n i t i o n t h em o r p h a b l e m o d e li sm a t c h e dt ot h eg i v e nf a c ei m a g e ，a n dt h ec o m b i n a t i o nc o e f f i c i e n t s w i t h o u tt h ed i s t u r b a n c eo ft h ep o s ea n di l l u m i n a t i o na r eu s e da st h e i d e n t i f i c a t i o nf e a t u r e t og e tg o o dr e c o g n i t i o nr e s u l t s ，af a c er e c o n s t r u c t i o n e v a l u a t i o nm e t h o da n dt h ef i s h e rl i n e a rd i s c r i m i n a n c em e t h o da r ea d o p t e d ( 5 ) p r o p o s i n gaf a c i a lf e a t u r em e t h o db a s e do i lt h ec o m b i n a t i o nm o d e l s f a c i a l f e a t u r ee x t r a c t i o ni st h ef u n d a m e n t a lp r o b l e mi nf a c ed e t e c t i o n ，f a c et r a c k i n g a n df a c er e c o g n i t i o n i n s p i r e db yt h eb a s i cc o n c e p t i o no ft h em o r p h a b l e m o d e l ，t h el i n e a rc o m b i n a t i o n ，w ep r o p o s e dan e wf a c i a lf e a t u r ee x t r a c t i o n m e t h o d ag l o b a lf a c ei m a g ec o m b i n a t i o nm o d e l si sc o n s t r u c t e df r o mas e t o ff a c i a li m a g e sw i t hl o c a ll a b e l e dp o i n t s t h ef e a t u r eo ft h eg i v e nf a c i a l i m a g e sc a nb ea u t o m a t i c a l l ye x t r a c t e db yt h em o d e lm a t c h i n g t h em o r p h a b l em o d e li san o v e lf a c em o d e l i n gm e t h o d i ti sw o r t hr e s e a r c h i n g a n dh a sw i d ea p p l i c a t i o n s t h ef u t u r ew o r ki sf o c u s e do nt h ef u r t h e ri m p r o v e m e n to f t h em o r p h a b l em o d e l ，t h e a c c e l e r a t i n go ft h em a t c h i n g ，a d d i n gh a i r t ot h e m o r p h a b l em o d e lt og e tw h o l eh e a da n do b t a i n i n gb e r e rr e a l i s t i cm o d e l i n gr e s u l t s t h e s ei m p r o v e m e n t sw i l lp r o m o t en e wa p p l i c a t i o n so f t h em o r p h a b l em o d e l v i i j j 奎三! 二些查主王芝壁主主生笙兰 k e y w o r d s ：f a c em o d e l i n g ，m o r p h a b l em o d e l ，f a c ea n i m a t i o n ，f a c er e c o g n a i t i o n ， f a c i a lf e a t u r ee x t r a c t i o n r e i i i 插图 插图 玩具总动员中的动画角色 最终幻想中的人物形象 p a r k e 的人脸模型 w a t e r s 的人脸模型 自由变形模型 w o n s o o kl e e 的人脸模型。 形变模型用于图像分析和合成 人脸重建 圜2 - 1c y b e r w a r e 扫描仪与原始三维人脸数据 圈2 - 2 分离后的三维人脸 图2 - 3 人脸柱面矫正 图2 4 柱面展开后的纹理和形状图像。 图2 5 光流计算 图2 - 6 人脸重采样 图2 7 重采样和光流平均脸比较 图2 - 8 三维入脸数据库中的人脸 图3 1 图3 2 图3 3 图3 4 图3 - 5 图3 - 6 图3 7 2 1 2 3 2 4 2 5 2 6 一2 8 2 9 。3 1 三维人脸形变模型3 4 多分辨率人脸模型。3 9 d e b e v e e 的光照系统4 2 多光源光照模型4 3 多光源变化时得到的模型人脸图像。4 3 人脸三维重建结果4 4 在非理想光照条件下的重建结果4 5 o o 一 h o 五 o 4 石 0 罐 图圈图图图图图图 北京工业人学工学博士学位论文 圈4 - 1人脸模型全局插值示例4 8 圉4 2 肌肉作用范霭示意圆4 9 图4 3 基于形变模型的三维人脸动画过程5 0 图4 - 4 获取的三维人脸动作运动和表情数据5 2 强4 - 5 参数模型产生韵三维入脸动画关键帧5 6 图4 6 三维人脸动画序列5 6 图5 - 】基于形变模型的人脸识别系统6 2 图5 - 2p c a 和f i s h e r 线性判别的比较6 5 图5 - 3 不同光照不同姿态的人脸图像6 8 匿5 - 4 同一张入脸不同外部条件下所得模型组合参数6 9 图5 - 5同一张人脸不同外部条件下的模型组合参数经过f i s h e r 线性分析后的结果7 0 圈6 1 入脸图像标定， 图6 3 特征位置修正 图6 - 4m p l 人脸特征检测部分结果， 圈6 - 5 在o r l 库上建立模型和特征检测过程 图6 - 6o r l 人脸特征检测部分结果 圈6 7a a m 在m p i 库上特征检测的部分结果 圈6 - 8a a m 在o r l 库上特征检测的部分结果 x i v ，。7 6 ，8 4 8 5 8 6 8 7 8 8 8 9 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名日期：移 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 魏兰坠兰导师签名 e l 蓐i , - 0 ij 0 第l 章绪论 第l 章绪论 自从7 0 年代以来，人脸建模和动画研究得到了广泛关注，许多研究者先后提 出了不同的人脸建模和动画方法，大量的创造性工作促使该领域研究的不断深 入。由于科学上的挑战性和巨大的应用前景，真实感人脸建模和动画一直是近一 二十年来计算机图形学、计算机视觉、人工智能、生理心理学等领域的研究热点。 形变模型( m o r p h a b l em o d e l ) 是近几年出现的三维人脸建模新方法，该方法具 有自动化和真实感好等特点，是目前最具潜力的人脸建模方法之一。建立和完善 形变模型并研究和探索模型的应用是本文的主要研究内容。 1 1 研究的背景和意义 人脸是人类情感表达和交流的最重要、最直接的载体。通过人脸可以推断 一个人的种族、地域，甚至身份、地位等信息。另外，通过人脸丰富而复杂的 变化，可以得到这个人的个性和情绪状态等信息，例如害怕、生气、快乐、惊 奇、难过、厌恶、沮丧等基本情绪，以及兴高采烈、烦躁不安、急躁易怒、困 惑混乱、聚精会神等动态情感状态。人脸在人与人的交流中不但能表达友好、 敌对、赞成、反对等语气上的信息，甚至可以对话语、语言等语义上的信息进 行说明和补充。 正因为人脸在人的情感表达中扮演着重要的角色，从古至今，对于人脸的 描述和刻画一直得到人们的广泛关注。在早期的绘画、雕塑、表演等艺术领域 人脸是最常出现的对象，这些艺术中的人脸在真实感、情感表达等方面都达到 很高的层次。照相、摄影和电影电视等技术的出现，使得人们对人脸对象可以 进行特殊的处理，获得真实感更好的人脸及动画。随着计算机技术的迅速发展， 使人们对于复杂的人脸对象表示有了新途径，人们试图通过各种不同方法在计 算机上实现人脸模型，并寻找人脸表情、动作等动态信息的描述和表示方法， 最终建造真实感的虚拟人脸。 然而真实感人脸建模却是一个极具挑战性的课题。 北京e 业大学： 学博士学位论文 首先，人脸具有非常复杂的生理结构。人脸是一个复杂的层次结构，一般 可分为头骨、肌肉层、结缔组织层和外部皮肤层。人脸表情的产生是由脸部多 个肌肉群的协作变形引起的。产生人脸表情或动作涉及到的主要肌肉有口轮匝 肌、鼻肌、颧肌、眼轮匝肌、皱眉肌等。例如唇部动作主要由口轮匝肌来完成， 皱鼻子等动作主要是由鼻肌的收缩产生，颧肌的收缩会造成颧骨处脸颊的提高， 眼睛及眼部周围的变化主要是由眼轮匝肌收缩导致的。 其次，人脸的几何很复杂，而且每个人的几何均不相同。特别是头发、嘴 巴、耳朵、眼睛的几何很难用一个恰当的模型来表示，它们的几何数据也很难 获得。人脸运动时的几何变化则更难以模拟。人脸的运动包括刚性的人脸姿态 变化和非刚性的人脸器官和肌肉运动，这些由人脸的皮下肌肉和人脸皮肤的动 力学特性决定的运动很难用模型来表示。 最后，人脸的光照特性也很复杂。人脸的皮肤存在着皮下散射和折射，眼 睛的光照特性很难获得，人脸的复杂几何以及皱纹、胡子、眉毛和脸部细毛使 人脸的光照特性非常复杂。目前还没有比较好的方法来直接测量入脸的光照特 性，现有的人脸模型和系统一般都不能很好地处理人脸的真实光照问题。 因此，真实感人脸建模和人脸动画是目前计算机图形学、计算机视觉领域 最根本、最困难的问题之一，同时该问题也是包括生理学、心理学、物理学等 多个领域的跨学科问题。该问题的研究和解决可以为复杂对象的建模提供借鉴， 对于类似的科学问题具有重要的促进意义。实际上，自从p a r k e 在2 0 世纪7 0 年代在计算机上建立了第一个人脸模型起n 一3 ，入脸的建模和动画就一直是计 算机图形学、计算机视觉、模式识别等领域最为活跃的研究热点。 除了具有重要的科学研究意义，真实感人脸建模还具有广阔的实际应用。 真实感人脸建模在电影、广告、人物动画、计算机游戏、视频会议、可视电话、 人机交互、医学、公安安全等许多领域都具有广阔的应用前景。下面是人脸建 模的一些典型应用。 影视广告 计算机生成的三维虚拟人物在影视、广告中的应用越来越普遍。人物面部 动画是影视处理中最繁琐的工作，能否得到真实感的绘制效果是影响影视制作 的一个关键因素，但一般情况下只能获得近似的模拟。即使如此，佳作仍不断 第1 章绪论 涌现，从玩具总动员、真实的谎言、夺面双雄、黑与白到m a g i c ， 以及现在流行的魔戒系列，其制作过程都体现了面部虚拟处理技术的魅力。 如图1 1 所示是玩具总动员中的动画角色。 图1 - 1 玩具总动员中的动画角色 f i g u r e1 - 1a n i m a t i o nc h a r a c t e ri n t o ys t o r y 游戏领域 传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其境的感觉。随 着图形硬件设备的快速发展，在游戏中使用三维场景和虚拟人物已成为一个趋 势。最典型的例子是视频游戏最终幻想，在该游戏中游戏人物的外形和运动 都显得非常逼真，如图1 2 所示。 图1 - 2 最终幻想中的人物形象 f i g u r e1 - 2c h a r a c t e ri n f i n a lf a n t a s y 视频会议和可视电话 随着网络带宽的提高和网络技术的发展，人们希望通过网络进行可视化的 远程交流，视频会议和可视电话等应用越来越受到欢迎。如何传输人脸图像和 接收人脸图像是这些应用中的核一t l , 问题。一般视频会议或可视电话系统包括编 码端和解码端。编码端的主要功能是分析视频中人脸的外观信息和面部运动信 北京工业大学工学博士学位论文 息，并将这些信息进行编码，通过信道传送到解码端。解码端根据编码端传送 来的人脸外观和运动信息合成和恢复人脸视频图像。基于模型的人脸编码系统 的是实现实时、低比特率可视应用的可行方案。 医学 计算机图形学在医学中有广泛的应用，人脸建模和动画技术可以进行头颅 手术和人脸组织外科手术的模拟。通过对手术进行仿真，然后做出详细准确的 手术方案，可以提高手术的准确性，减少手术的风险。另外，如果使用真实感 人脸建模方法对当前比较流行的面部整形和美容过程进行模拟和仿真，一定会 收到事半功倍的效果。 新一代的人机交互 新一代的人机交互应该是类似自然人的交互方式，即通过语音、表情、手 势、姿势等多个模式、多个通道进行自然的交互。与传统的鼠标、键盘和图形 接口相比，这种自然交互方式具有很大的优势，而人脸作为信息和情感表达的 最重要的载体，是这种智能交互方式的重要组成部分。人脸建模研究为这种交 互的情感分析和表达提供了可行性。实际上近年来的研究工作已经在这方面取 得了一定进展，例如t a l k i n gh e a d 3 ”、多模态的信息处理f 5 - 7 以及情感感知和情 感计算方面【8 的研究。虽然这种新一代的交互方式目前还存在许多需要解决的 问题，但从长远看这种交互方式是一种必然的趋势。 安全认证 由于人脸识别技术自身的优点，例如隐蔽性、非接触方式等特点，使人脸 识别成为近年来生物特征识别领域的研究热点。传统的人脸识别方法是针对二 维人脸图像或视频，使用图像处理方法来获取识别特征进行人脸识别。但这种 基于二维图像分析的方法很难处理人脸识别中的姿态、光照、表情等问题。基 于三维人脸模型和的人脸识别方法为解决这些难点问题提供了可行性。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，真实感人脸 建模研究，不但具有理论研究意义，同时也具有极大的实际应用价值。 1 2 研究现状分析 自从p a r k e1 9 7 2 年首次使用计算机方法表示人膨”，人脸建模和动画得到 第l 章绪论 了广泛关注。经过3 0 多年的发展，许多研究者先后在人脸建模和动画方面进行 了创造性工作，提出了不同的人脸建模方法，同时入脸建模豹研究重点也由最 初研究如何使用计算机表示人脸的外观，转移和集中到人脸生理规律的计算机 模拟和真实感人脸建模和动画上。真实感人脸建模和动画包括：真实感人脸建 模、真实感人脸绘制和真实感人脸动画。按照入脸建模采用的方法不同人脸建 模可以大体分为四类：参数模型、生理肌肉模型、基于图像的视觉模型以及基 于人脸库的组合模型。下面以人脸建模的发展过程和人脸建模采用的方法为线 索，对现有的人脸建模方法进行综述，对典型的人脸建模方法进行分析和评述。 1 2 1 人脸参数模型 参数模型是最早出现的计算机表示的人脸模型。p a r k e 最初使用一种非常初 级的多边形来表示人的头部结构，并实现了第一个参数化的人脸模型【2 1 ，如图 1 3 所示。人脸参数模型的基本思想是通过参数来描述不同的人脸特征和人脸表 情变化，因此人脸参数模型一般包括两类参数，人脸构造参数和人脸动画参数。 人脸构造参数用来描述特定人脸的几何特征，包括脸型的整体大小以及五官的 具体大小和形状，用于产生各种各样的个性化人脸形状。人脸动画参数描述面 部器官的运动情况，譬如，眨眼，眉毛的抬起，下巴的拱起等动作，用于产生 人脸的各种表情动画。 图l 一3p a r k e 的人脸模型 f i g u r e1 - 3p a r k e r sf a c em o d e l 参数模型的提出为使用计算机技术表示、控制和描述复杂的人脸对象提供 了一种可行的途径，因此自p a r k e 以后出现了不同的人脸参数模型，对原有的 人脸参数模型进行了诸多改进，并应用于许多不同的人脸动画系统中【2 】。理 想的参数模型可以方便地建立人脸模型，对人脸模型进行面部表情参数化，并 北京工业大学工学博士学位论文 通过参数控制可以生成人脸动画。 虽然参数模型通过选择适当的参数可以使入脸模型变形产生许多面部表 情，但面部表情的变化通常需要很多的参数来控制，直接控制大量的参数给生 成面部动画带来不便。另外，使用简单的表面几何形状来模拟面部表情，而