（计算机应用技术专业论文）基于形变模型的三维人脸模型重建研究.pdf

摘要 摘要 三维人脸模型的重建是目前三维人脸识别、三维人脸动画等领域的核心研 究内容之一。近几年来，众多研究者提出了许多不同的方法用于三维人脸模型 的建立，得到了一些研究成果，并应用到各种不同的领域，如电影、动画、医 疗、刑侦等领域。随着其应用范围的不断扩大，人们对于三维人脸重建的质量、 效率等都提出了越来越高的要求。 形变模型是一种三维人脸重建的方法，该模型同以往的参数模型、肌肉模 型以及视觉模型相比，具有真实感好、自动化等特点，但是其主要缺点便是过 于耗时，重建时间较长。针对于这个问题，本文在基于形变模型的人脸重建方 法及应用方面展开了研究，具体的研究内容大体可分为如下几个方面： ( 1 ) 三维形变模型中的人脸模型的网格简化。首先，在大规模三维人脸数据库 的基础上，讨论建立三维人脸形变模型的方法，主要包括参数模型建立和 针对输入人脸图像的模型匹配。参数模型的建立涉及模型基础数据的获取 和量化，模型匹配涉及到光照模型、摄象机标定以及大数据量的优化问题。 其次，对现有的形变模型网格进行了简化，主要对现有形变模型的基础之 上进行了降维，从而可以减少后期形变模型的计算量。 ( 2 ) 形变模型基的多尺度表达。主要在形变模型基的各个尺度之间关系、如何 在各个尺度之间进行互相转换方面进行了研究。基于形变模型进行的三维 人脸重建，需要通过三维人脸数据库生成一组人脸合成的基向量。而在多 尺度情况下，如何建立多尺度基向量及三维人脸之间的关系，则成为本文 研究的内容之一。 ( 3 ) 高尺度三维人脸的快速重建。主要包括在建立了多尺度形变模型基之后， 如何通过使用低尺度下的基向量重建出的三维人脸模型，快速重建出高尺 度下】的三维人脸模型。其中主要通过基于h a a r 小波变换的反变换的方法。 来实现高尺度三维人脸模型的快速重建。 北京工业大学工学硕十学位论文 对于上面的几个方面的深入研究，本文首先对形变模型的基结构进行了简 化；然后建立了多尺度的形变模型基，使得在重建时可以更为快速；最后提出 了高尺度三维人脸模型的快速重建方法。下面是本文的主要贡献和创新点： ( 1 ) 提出了形变模型中的人脸模型的网格简化方法和构造多尺度形变模型的 方法。基于h a m - 小波变换的方法可以对现有高尺度下的形变模型的基向 量进行简化，并生成多个尺度下的基向量，同时保留了各个尺度与原始向 量之间的关联关系，从而为后续高尺度下三维人脸的快速重建奠定了基 础。 ( 2 ) 提出了高尺度三维人脸的快速重建方法。通过h a a r 小波变换的反变换， 可以将在低尺度形变模型下重建出来的三维人脸，快速变换到高尺度下。 在变换过程中，充分利用了h a a r 小波变换的反变换的过程，使得在高尺 度三维人脸重建过程中，提高了重建速度，并保证了重建的质量。 关键词三维人脸重建：形变模型；h a a r 小波变换；多尺度表达 n a b s t r a c t a b s tr a c t r e c e n t l y , 3 df a c em o d e lr e c o n s t r u c t i o nh a sw i d e l yi n v e s t i g a t e di nt h ef i e l do f3 d f a c er e c o g n i t i o na n d3df a c ea n i m a t i o n i nr e c e n ty e a r s ，al o to fr e s e a r c h e rp u t f o r w a r dm a n yd i f f e r e n tm e t h o d st or e c o n s t r u c tt h e3 df a c em o d e l n o w , w eh a v e s o m er e s e a r c hp r o d u c t i o n st oa p p l yt ot h ef i e l do fm o v i e ，a n i m a t i o n ，m e d i c a l t r e a t m e n ta n ds oo n a sm o r ea n dm o r ea p p l i c a t i o no f3 df a c em o d e lr e c o n s t r u c t i o n i no u rl i f e ，t h eq u a l i t ya n de f f i c i e n c yo ft h er e c o n s t r u c t i o np r o c e s sb e c o m em o r ea n d m o r ei m p o r t a n t m o r p h a b l em o d e lb a s e d3 df a c er e c o n s t r u c t i o ni sa l la p p r o a c ht or e c o n s t r u c t3 d f a c em o d e l a sc o m p a r eo ff o r m e ra p p r o a c h e s ，l i k ep a r a m e t e rm o d e l ，m u s c l em o d e l a n dv i s i o nm o d e l ，m o r p h a b l em o d e lh a ss o m ea d v a n t a g e sa tt h eq u a l i t ya n d a u t o m a t i o ni nr e c o n s t r u c t i o np r o c e s s b u t ，i t sp r o c e s st i m ei st o ol o n g i no r d e rt o s o l v et h ep r o b l e ma b o u tt h el o ws p e e do f3 df a c er e c o n s t r u c t i o n ，t h i sp a p e rd o e s s o m er e s e a r c hi nt h ea p p r o a c ho f3 df a c er e c o n s t r u c t i o n a n dt h ec o n t e n t so f r e s e a r c ha r ea sf o l l o w s ： ( 1 ) 3 da c t i v em o r p h a b l em o d e la n di t ss i m p l i f i c a t i o n f i r s t l y , o nb a s i so f l a r g e - s c a l e3 df a c ed a t a b a s e ，w ed i s c u s st h em e t h o d so f3 df a c em o r p h a b l e m o d e l ，i n c l u d i n gb u i l d i n gt h em o d e lc o n s t r u c t i o na n dt h em o d e lm a t c h i n gt o t h eg i v e nf a c i a li m a g e t h em o d e lc o n s t r u c t i o ni n c l u d e st h ev e c t o r i z a t i o no f t h ep r o t o t y p e sa n dt h ec o n s t r u c t i o no ft h ep a r a m e t r i cf a c i a lm o d e l s t h e i l l u m i n a t i o n , c a l t l e r ac a l i b r a t i o na n do p t i m i z a t i o nw i t hm a s s i v ed a t aa r e i n v e s t i g a t e di nt h em o d e lm a t c h i n g a n dt h e n ，w es i m p l i f i e dt h ec u r r e n t m o r p h a b l em o d e l w er e d u c e dt h es c a l eo ft h em o d e l ，t or e d u c et h e c o m p u t a t i o n ( 2 ) m u l t i s c a l er e p r e s e n t a t i o no fm o r p h a b l em o d e l ，t h i sp a p e ri n v e s t i g a t e st h e r e l a t i o n s h i po fd i f f e r e n ts c a l eo fm o r p h a b l em o d e la n dt h em e t h o do f c o n v e r s i o nf r o mo n es c a l et oa n o t h e rs c a l e m o r p h a b l em o d e lb a s e d3 df a c e i i i 北京工业大学工学硕十学位论文 r e c o n s t r u c t i o nn e e daf a c em o d e ld a t a b a s et or e c o n s t r u c tt h eb a s ev e c t o r s i n m u l t i s c a l em o d e l ，h o wt ob u i l dt h er e l a t i o n s h i po fb a s ev e c t o r so fd i f f e r e n t s c a l ei sa ni n v e s t i g a t i o np o i n to ft h i sp a p e r ( 3 ) r a p i dr e c o n s t r u c t i o no fh i 曲- s c a l e 3df a c em o d e l a f t e rb u i l d i n gt h e m u l t i s c a l em o r p h a b l em o d e ，w eu s et h e3 df a c em o d e lt h a tr e c o n s t r u c t e d f r o ml o w - s c a l em o r p h a b l em o d e l ，t or a p i d l yr e t r i e v et h eh i 曲一s c a l e3 df a c e m o d e l w eu s et h eh a a rw a v e l e ti n v e r s et r a n s f o r mt or a p i d l yr e c o n s t r u c tt h e h i g h - s c a l e3 df a c em o d e l i ni n v e s t i g a t i o na n dr e s e a r c ho ft h o s ep r o b l e m s ，t h i sp a p e rs i m p l i f i e dt h e m o r p h a b l em o d e lf i r s t l y s e c o n d l y , w eb u i l dt h em u l t i s c a l em o r p h a b l em o d e l a t l a s t ，w ep u tf o r w a r da l la p p r o a c ht or a p i d l yr e c o n s t r u c tt h e3 df a c em o d e t h em a i n c o n t r i b u t i o n sa n di n n o v a t i o n so f0 1 1 1 r e s e a r c ha r el i s t e db e l o w ： ( 1 ) p r o p o s i n gam e t h o dt os i m p l i f y t h em o r p h a b l em o d e la n db u i l dt h e m u l t i s c a l em o r p h a b l em o d e l w eu s eh a a rw a v e l e tt r a n s f o r mt os i m p l i f yt h e c u r r e n tm o r p h a b l em o d e l ，t ob u i l dt h em u l t i s c a l em o d e l m e a n w h i l e ，w e p r e s e r v et h er e l a t i o n s h i po fd i f f e r e n ts c a l e ( 2 ) p r o p o s i n ga na p p r o a c ht or a p i d l yr e c o n s t r u c th i i 曲一s c a l e3 df a c e b yu s i n g h a a rw a v e l e ti n v e r s et r a n s f o r m ，w ec a l lc o n v e r tt h e3 df a c em o d e l r e c o n s t r u c t e df r o ml o w s c a l em o r p h a b l em o d e l ，t oh i 曲一s c a l e3 df a c em o d e l s ot h a t ，w ec a l lh e a v i l yi m p r o v et h es p e e do fr e c o n s t r u c t i o n k e yw o r d s ：3 df a c er e c o n s t r u c t i o n ，3 da c t i v em o r p h a b l em o d e l ，h a a rw a v e l e t t r a n s f o r m a t i o n ，m u l t i s c a l er e p r e s e n t a t i o n i v 插图 插图 图1 1指环王中的角色咕噜3 图1 2蜜蜂总动员中的人物形象4 图t - 3仙剑奇侠传中的人物形象4 图1 - 4p a r k e 的三维人脸模型一6 图1 5p a r k e 的三维人脸模型建立7 图1 - 6 t i nt o y ) ) 中小孩的角色8 图2 1 三维人脸形变模型。一1 7 图2 2 网格简化前的模型2 3 图2 3网格简化后的模型2 3 图2 - 4 三角网格的简化处理。2 3 图2 5网格简化中的相邻点问题2 4 图2 - 6 原有形变模型平均脸2 5 图2 7 经过网格简化后的平均脸2 5 图2 8 经过带阈值网格简化后的平均脸2 6 图2 - 9 重建后的三维人脸模型比较2 6 图3 1多分辨率人脸模型一3 1 图3 2 不同尺度下的平均脸3 4 图3 - 3 不同尺度下重建出的三维人脸3 5 图4 1高尺度三维人脸快速重建3 8 图4 2 高尺度下重建出的三维人脸4 0 图4 3 不同方法重建结果对比4 l v n 北京 _ 业大学j 丁学硕士学位论文 - - _ _ i _ l i - - l _ i _ ii i_ i _ i i _ p 卜ig ur e f i g u r e1 一la n i m a t i o nc h a r a c t e ri n l o r do f t h er i n g ”一g u r u ，3 f i g u r e1 - 2a n i m a t i o n c h a r a c t e ri n “b e em o v i e ”4 f i g u r e1 - 3c h a r a c t e ri n “c h i n e s ep a l a d i n ”4 f i g u r el - 4p a r k e r s3 df a c em o d e l 一6 f i g u r e1 5p a r k e r s3 df a c em o d e lc o n s t r u c t i o n 7 f i g u r e1 - 6c h a r a c t e ri n “t i nt o y ”8 f i g u r e2 一i3 df a c em o r p a b l em o d e l 27 f i g u r e2 - 2m o d e lb e f o r es i m p l i f i e d 2 3 f i g u r e2 - 3m o d e ia f t e rs i m p l i f i e d 2 3 f i g u r e2 - 4s i m p l yt h et r i a n g l e 2 3 f i g u r e2 - 5p o i n td i s t a n c ep r o b l e mi nm o d e ls i m p l i f i n g 2 4 f i g u r e2 - 6e v e r a g ef a c ei no r i g i n a lm o r p h a b l em o d e l 2 5 f i g u r e2 - 7e v e r a g ef a c ea f t e rg r i ds i m p l i e d ： 5 7 f i g u r e2 - 8e v e r a g ef a c ea f t e rg r i ds i m p l i e dw i t ht h r e s h o l d 2 6 f i g u r e2 - 9c o m p a r er e c o n s t r u c t u r e d3 df a c em o d e l 2 6 f i g u r e3 一lm u l t i - r e s o l u s i o nf a c em o d e l 3l f i g u r e3 - 2e v e r a g ef a c e si nd i f f e r e n ts c a l e 3 4 f i g u r e3 - 3r e c o n s t r u c t u r e df a c e si nd i f f e r e n ts c a l e s 3 5 f i g u r e4 - 1h i g h - s c a l e d3 d f a c er a p i dr e c o r t s t r u c t u r e 3 8 f i g u r e4 - 2h i g h s c a l e dr e c o n s t r u c t u r e d3 df a c e 4 0 f i g u r e4 - 3r e c o n s t r u c t u r e dc o m p a r eb yu s i n gd i f f e r e n tm e t h o d s 41 v i i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 孽脚习剑 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：盈垒多一导师签名：? 也互霪皇l 日期：2 啦 第1 章绪论 第1 章绪论 近年来，由于三维人脸模型在各种不同领域的广泛应用，三维人脸重建逐渐 得到了广泛的关注，许多研究者先后提出了不同的人脸重建方法，大量的创造性 工作也促使了该领域研究的不断深入发展。正是由于它在科学研究上的重要意 义，以及在社会实践中的巨大应用前景，真实感三维人脸重建一直是近年来计算 机图形学、计算机视觉和人工智能等领域的研究热点。基于形变模型( m o r p h a b l e m o d e l ) 的三维人脸重建是近几年出现的三维人脸重建方法，该方法具有自动化 和真实感好等特点，是目前最具潜力的人脸重建方法之一，本文将主要研究和探 索如何完善和改进基于形变模型的三维人脸重建方法。在本章中，我们将首先了 解该领域进年来所取得的研究成果和发展趋势。 1 1 研究背景和意义 在人类社会中，人脸在人与人的交流过程中起到了非常重要的作用。在现代 社会中，人与人之间在许多情况下都是面对面的交流，人脸不仅可以辅助语言来 传递各种信息，表达各种语义，它还可以用来表达人类特有的喜怒哀乐等各种情 绪与情感。因此，人脸是表达人类情感的最直接的手段和方式。曾有研究表明， 在人类的交流过程当中，通过人脸表情和体态传递的信息要占到总信息量的一半 以上i l 】。可见，人脸的信息传递作用在人的交流当中是至关重要的。 由于人脸的这种重要作用，所以人们直在努力使用不同的手段对人脸进 行着描述和刻画。我们可以举一个刑侦学方面的例子。早期，对于罪犯的通缉 我们只能通过绘画的方式来描述罪犯的容貌和体态，再通过一些文字的说明来 补充说明罪犯的身高体重等特征；而随着照相机、摄像机和闭路电视等技术和 设备的出现，在刑侦领域可以通过这些设备和手段来记录罪犯的相貌体态特征， 并可以通过电视、网络媒体等手段进行通缉，但是如果没有通过上述设备记录 下罪犯的犯罪过程，那么就没有办法进行这种媒体广播：而随着计算机技术的 发展与成熟，刑侦专家可以通过计算机来模拟罪犯的犯罪过程，甚至通过一张 北京工业大学工学硕十学位论文 简单的相片来生成罪犯的三维体貌。可以看到，人脸重建的作用是至关重要的， 但是，要准确真实的建造真实感的人脸模型，确实是一个极具挑战性的课题。 首先，人脸的生理结构非常复杂。人脸的生理结构一般可以划分为多个层 次，如头骨、肌肉层、结缔组织层和外部皮肤层。人脸表情的产生是由脸部多 个肌肉群的协作变形引起的。产生人脸表情或动作涉及到的主要肌肉有口轮匝 肌、鼻肌、颧肌、眼轮匝肌、皱眉肌等。例如唇部动作主要由口轮匝肌来完成， 皱鼻子等动作主要是由鼻肌的收缩产生，颧肌的收缩会造成颧骨处脸颊的提高， 眼睛及眼部周围的变化主要是由眼轮匝肌收缩导致的。 其次，人脸的几何结构也非常复杂。人脸的几何结构非常复杂，而且每个 人的几何结构均不相同。特别是像头发、嘴巴、耳朵、眼睛的几何很难用一个 统一的模型来进行表示，这些特征的几何数据也很难得到。人脸的运动时的几 何变化更加难以模拟。人脸的运动包括刚性的人脸姿态变化和非刚性的人脸器 官和肌肉运动，这些由人脸的皮下肌肉和人脸皮肤的动力学特性决定的运动很 难用模型来表示。 另外，人脸的光照特性也很复杂。人脸的皮肤存在着皮下散射和折射，不 同位置的人脸皮肤的反射率和折射率都大不相同，而眼睛部位的光照特性更是 难以获得，人脸的复杂几何以及皱纹、胡子、眉毛和脸部细毛使人脸的光照特 性更加复杂。因此，目前还没有比较好的方法来直接测量人脸的光照特性，现 有的人脸模型和系统一般都不能非常好地处理人脸的真实光照问题。 因此，三维人脸重建是是目前计算机图形学、计算机视觉领域内，最为困 难，而同时也是最关键的问题之一，同时该问题也涉及到了包括生理学、心理 学、物理学等多个领域的跨学科问题。三维人脸重建的研究和解决，可以为其 它复杂三维物体的重建提供借鉴，对于类似的科学问题有重要的促进意义。实 际上，自从p a r k e 在2 0 世纪7 0 年代在计算机上建立了第一个人脸模型起【2 1 ，人 脸的重建和动画就直是计算机图形学、计算机视觉、模式识别等领域最为活 跃的研究热点之一。 除了具有重要的科学研究意义，真实感人脸重建还具有广阔的实际应用价 值。真实感人脸重建在电影、广告人物动画、计算机游戏、视频会议、可视电 话、人机交互、医学、公安安全等许多领域都具有广阔的应用前景。下面是人 一2 一 脸重建的一些典型应用。 电影特技 现在的_ 髟视创作中，越来越多的在使用计算机作为其辅助的技术从而可 以为我们带来越来越多精彩的影视作品。当然，这其中以欧美发达国家的影片 居多，如上世纪9 0 年代的全面回忆、终结者、侏罗纪公园、超人， 到本世纪的骇客帝国、哈里波特、蜘蛛侠等系列电脑，无一不是通过 电脑特技辅助创作的。当然，这其中壤具影响力，也是让人印象塌深的就是指 环王当中的虚拟人物咕噜。如图1 - 1 所示是指环王中的角色“咕嗜”。 图1 - 1指环王中的角色- 咕噜 f i g u r e l - i a n i m a t i o nc h a r a c t e r i n “l o r do f t h e r i n g ”一g u r u 三维动画 计算机辅助技术生成的三维虚拟人物在动画作品中也是屡见不鲜。在动画 作品中，描绘动物、环境等形象往往要比描绘人物形象更加复杂，人物面部动 画也是动画处理中最繁琐的工作，能否得到真实感的绘制效果是影响影视制作 的一个关键因素。目前，根据当代现有的技术条件动画当中只能近似模拟人 物的面部特征，还无法做到十分逼真即便如此，佳作仍不断涌现。美国的迪 士尼公司也从2 0 0 5 年开始正式告别手绘的2 d 动画时代，全部采用电脑3 d 技 术进行动画的创作，其热型的代表作有超人特攻队、玩具总动员、蜜蜂 总动员，以及近年的赛车总动员、闪电狗等作品。这些作用都体现了面 北京工业大学工学硕士学位论文 部虚拟处理技术的魅力，同时也推动了3 d 重建等技术的不断向前发展。如图 1 - 2 所示是玩具总动员中的动画角色。 图1 2 蜜蜂总动员中的人物形霉 f i g u r e1 - 2 a n i m a t i o n c h a r a c t e r i n b e e m o v i e 3 d 游戏 传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其境的感觉。随 着图形硬件设备的快速发展，在游戏中使用三维场景和虚拟人物已成为一个趋 势。在这方面，国内外有很多游戏产品，其中国内最广为人知的例子便是3 d 游戏仙剑奇侠传，在该游戏后期的版本中，大量采用了3 d 技术来呈现游戏 的场景与其中的人物形象，使得游戏中人物的外形和运动都显得更为逼真，如 图l - 3 所示。 幽j 3仙剑奇侠传中的人物彤象 f i g u r e l 3 c h a r a c t e r i n “c h i n e s ep a l a d i n ” 第1 章绪论 医疗 三维人脸的重建在医疗领域中有着非常广泛的应用，人脸重建和动画技术 可以进行头颅手术和人脸组织外科手术的模拟。通过对手术进行仿真模拟，可 以预测和估计出详细准确的手术实施方案，从而提高手术的准确性，降低手术 的风险。另外，如果使用真实感人脸重建方法对当前比较流行的面部整形和美 容过程进行模拟和仿真，一定会收到事半功倍的效果。 新一代人机交互 在众多研究者的研究中，新一代人机交互应该是以类似于自然人的方式进 行交互，它可以通过语音、表情、手势、姿势等多种方式、多个通道进行自然 的交互。与传统的鼠标、键盘和显示器相比，这种自然交互方式具有很大的优 势，而人脸作为信息和情感表达的最重要的载体，是这种智能交互方式的重要 组成部分。人脸重建研究为这种交互的情感分析和表达提供了可行性。实际上 近年来的研究工作已经在这方面取得了一定进展，例如t a l k i n gh e a d 【1 一、多模 态的信，g 处理t s , 6 7 】以及情感感知和情感计算方面【8 1 的研究。虽然这种新一代的交 互方式目前还存在许多需要解决的问题，但从长远看这种交互方式是一种必然 的趋势。 安全认证 由于人脸识别技术自身的优点，例如隐蔽性、非接触方式等特点，使人脸 识别成为近年来生物特征识别领域的研究热点。传统的人脸识别方法是针对二 维人脸图像或视频，使用图像处理方法来获取识别特征进行人脸识别。但这种 基于二维图像分析的方法很难处理人脸识别中的姿态、光照、表情等问题。基 于三维人脸模型和的人脸识别方法为解决这些难点问题提供了可行性。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，三维人脸的 重建，不但具有理论研究意义，同时也具有极大的实际应用价值。 1 2 研究现状 1 9 7 2 年，p a r k e 首次使用计算机表示出了人脸【2 3 1 。之后，三维人脸重建得 到了广泛关注，许多研究人员在人脸重建方面进行了创造性的研究，提供了各 种不同的人脸重建方法。三维人脸重建按照其不同的重建方法，可以分为下面 北京工业人学工学硕士学位论文 四种类型： ( 1 ) 参数模型 ( 2 ) 生理肌肉模型 ( 3 ) 基于图像的视觉模型 ( 4 ) 基于人脸库的组合模型 下面，我们将按照不同的三维人脸重建方法，以方法提出的时间为顺序 介绍不同方法的特点，并对典型的三维人脸重建方法进行分析和评述。 1 21 人脸参数模型 1 9 7 2 年，p a r k e 最早使用计算机来表示人脸。晟初，p a r k e 提出的模型是一 种最简单的参数模型，其基本思想就是用一些多边形来表示人的面部特征。通 过这种方法，p a r k e 成功实现了第一个参数化的人脸模型p 】，此时他可以通过 不同的参数来控制人脸的面部运动，如图1 - 4 所示。实际上，在这些控制人脸 运动的参数中，可以分为两种不同类型的参数，一种足构造人脸的参数，另外 一种是人脸表示变化运动的参数。人脸的构造参数可以用来描述特定人脸的几 何特征，包括人脸的大小、轮廓、特征器官的位置、太小、形状等信息，从而 可以产生各种不同类型的人脸模型。而面向人脸表情运动的参数，则用米描述 五官的运动情况，例如眼睛的开闭说话时嘴的开关位置运动等，它可以用来 让这个模型产生更为丰富而复杂的表情。 蠹 崩l - 4p a r k e 的三维人舱模型 f i g u r ei 4p a r k e r s3 df a c em o d e l 这个模型非常成功的使用了简单的方法来表示复杂的三维结构人脸。因 此，当有新的人脸进行模型建立时可以通过一些参数来表示其结构如幽l 一5 所示。因此，参数模型的提出，为使用计算机进行复杂人脸的表示、控制和描 述提供了一种可行的方法，因此，自p a r k c 后出现了许多不同的人脸参数模型， 意在对原有的三维参数模型进行改进和丰富，并随之诞生了许多不同的人脸动 画系统p 。”。理想情况下，这种参数模型可以通过参数的运算来生成人脸模型， 对人脸模型进行面部表情参数化，并通过参数的控制来生成人脸动画。 图1 5p a r k e 的三维人脸模型建立 h g u ”1 - 5 p a r k e r s 3 d n c e m o d e lc 0 地仇l n l o n 通过这种参数模型来建立三维人脸，虽然可以通过使用选择适当的参数， 来建立三维人脸模型，并可以产生许多面部表情。但是，其人脸结构和面部表 情的变化通常需要很多的参数来控制，直接控制大量的参数给生成面部动画带 来了诸多不便。 另外，它使用简单的表面几何形状( 多边形) 来模拟面部表情，而并没有 从生理角度对人脸面部表情的机制进行考虑。这种做法，必然降低了人脸模型 和动画的真实感。 因此，人脸参数模型还需要进一步的探讨和研究。在这里，可以寻找更为 有效，更加高效的参数表示和参数控制方法。比如，在进行参数表示时，尽量 使用少量的参数来表示一个三维人脸。 北京 ，业大学工学硕士学位论文 12 2 生理肌肉模型 根据人脸的生理特点和规律，人脸的表情和动作是由面部和头部的骨骼、肌 肉、神经、血管、结缔组织、皮肤和头发等部件共同表达的结果。因此，要建立 理想的人脸模型，可以从研究人脸的生理结构入手，进行研究。虽然，目前还没 有用于计算机人脸动画的完整的详细的生理模型，但是已经开发了一些人脸表情 和动画的描述方案和一些简化的生理模拟模型。最为常见的是用于描述人脸表情 的人脸动作编码系统( f a c s ) 和模拟人脸生理运动的各种肌肉模型。 经过许多研究人员的研究现在在生理肌肉模型方面已经出现了许多研究成 果，如肌肉模型、伪肌肉模型、样条肌肉模型等。这些人脸肌肉模型通过研究人 脸生理运动变化规律，使用不同的可计算模型将人脸行为的内在变形机制引入人 脸的动画和模拟中由肌肉变形可产生非常丰富的人脸表情和动作。 自8 0 年代初开始肌肉模型得到了广泛的研究，并成功应用于实际的人脸动画 系统中。例如p i x a r 的b i l l y 的模型，即“t i nt o y ”动画中的小孩角色就足采用肌 肉模型生成的动画形象口”，如下图所示。 图i - 6 ( t i n 脚中小孩的角色 f i g u r e i 石c h a r a c t e r i n “t i n t o y 但肌肉模型的缺点是实现起来相对比较复杂，需要大量计算，模型的特定化 也需要大量的交互工作。另外，早期的肌肉模型的缺乏真实感尤其模型人脸的 k 第1 章绪论 纹理不理想，即使后来使用了图像合成的方法进行了改进，但效果并不是很好。 1 2 3 基于图像的视觉模型 参数模型和肌肉模型都可以表示三维人脸，但是其重建过程比较复杂，而且 缺乏真实感。因此，自上世纪9 0 年代开始，建立真实感人脸模型成为了三维人脸 重建方面的主要研究目标。基于图像的视觉重建是在此期间出现的最有代表性的 人脸重建方法之。 基于图像的视觉模型，基于多视点人脸图像或视频序列，通过视觉方法来计 算和恢复人脸特征点的三维信息，并修改般三维人脸模型来建立特定三维人 脸。与参数模型和肌肉模型重建相比，该人脸模型重建过程相对简单，真实感效 果好。 通过基于图像的视觉模型，重建三维人脸模型的一般过程如下 ( 1 ) 通过摄像设备获取不同视点的特定人脸图像，并建立一个一般三维人脸 网格模型； ( 2 ) 从不同视点的人脸图像提取脸部特征，即在不同人脸图像上标注对应的 人脸特征点，如眼角、嘴角以及鼻尖等部位； ( 3 ) 使用视觉方法来计算人脸特征点的三维空间点位置，并用于变形一般三 维人脸网格模型，从而建立特定人脸的几何模型； ( 4 ) 使用多视点人脸图像合成特定人脸的纹理图像并进行纹理映射，从而建 立特定人的真实感三维人脸模型。 由于基于视觉的人脸重建方法，其重建过程相对简单，人脸数据容易获得， 真实感好，因此该方法是目前研究最多，应用也最为广泛的人脸重建方法。下面 是该方法的一些典型研究工作。 1 9 9 7 年，f p i g h i n 在 1 3 1 5 中提出用5 幅不同方向的人脸图像重建人脸的三 维模型。该方法首先在人脸图像上标定人脸的主要器官，眼睛、鼻子、嘴巴和耳 朵的特征点，基于这些特征点的二维数据，采用一种改进的摄像机标定方法 迭代最小平方法，自动恢复出摄像机的参数以及特征点的三维坐标。然后通过交 互方式获取人脸的细节特征点，再用恢复得到的摄像机参数计算细节特征点的三 北京工业大学丁学硕士学能论文 维坐标。最后采用径向基插值的方法变形一般人脸模型，生成特定人的三维人脸 模型。 此后，b r i a ng u e b t e r 又在此基础上对其进行扩展【1 6 1 ，他预先用激光扫描仪获 取特定人的三维网格模型，然后在模特的人脸上贴上1 8 2 个六种不同颜色的荧光 点，从这1 8 2 个荧光点上获取不同表情时人脸的特征点位置，进而修改人脸模型 获得各种表情下精确的人脸网格模型数据。从相应表情的纹理数据中除去荧光点 得到纹理图像，并进行纹理映射，最终得到不同表情下的真实感三维人脸。这种 方法的缺点是需要激光扫描仪和多个摄像机，但是其优点是能够获得非常逼真的 效果。 随后，w o n s o o kl e e 等人f 1 7 1 明提出了一种由正面和侧面人脸图像重构三维 人脸的方法。该方法通过构造正面和侧面特征曲线的结构化s n a k e 模型来定位人 脸的特征点，并实现了人脸的快速重建技术。 z c l i u 和z y z h a n g1 2 0 1 提出一种从视频图像进行快速三维人脸重建和动 画的方法。该方法在三维人脸重建时手工标定了5 个显著特征点( 两个眼角点、 一个鼻尖点和两个嘴角点) ，这五个显著特征点并不用于特征点的定位，而是用 于确定人脸区域以获取人脸区域的颜色模型。特定人的人脸特征是通过检测预先 定义的人脸面部角点来进行对应计算的。 h o r a s eh 。s 。i p 等人【2 i j 提出了一种通过正面和侧面人脸图像自动生成特定人 三维人脸模型的方法。该方法在提取人脸的外轮廓特征点时，采用了一种局部最 大曲率跟踪算法，能自动提取到正面人脸和侧面人脸图像的外轮廓以及关键特征 点信息( 如：眼睛、嘴巴和耳朵) 。这种方法可以实现三维虚拟人脸合成的自动 化，但它的自动只能对某一类人脸图像比较适合，而且由于特征点选取过于有规 则，当特定的人脸与一般人脸网格模型差别很大时，很难将一般人脸网格模型进 行变形。t a k a a k ia k i m o t o 等人【2 2 1 也提出过类似的方法，通过正面和侧面人脸图 像自动生成特定人三维虚拟人脸，不过t a k a a k ia k i m o t o 是通过构造人脸外轮廓动 态模板进行匹配得到人脸外轮廓形状。 虽然这种基于视觉的人脸重建方法有很多优点，但是其主要的问题是人脸的 特征检测问题，即如何从人脸图像或视频序列中准确获取用于模型变形的人脸特 征点位置，该问题也是计算机视觉中的难点问题。目前只能通过交互方式来手动 第1 章绪论 获取，要获取理想的重建效果，这里要在人脸图像上标定相当数量的特征点，因 此需要大量的手工交互工作，这也是该模型的最大缺点。 1 2 4 基于人脸库的形变模型 最早的基于形变模型的人脸建模方法是v e t t e r 等人提出的眩钔，这种方法首 次实现了人脸模型的自动化建立，并可以通过二维的人脸图像进行三维人脸的 模型的重建。这种形变模型的方法需要一个三维原型人脸库的支持，并在模型 中可以在一定程度上避免了姿态、光照等其它因素的影响，从而建立人脸的三 维模型。 u l l m a l l 2 1 和s h a s h u a 2 2 1 在他们的研究中指出，在一个三维物体正投影的情 况下，如果不考虑物体的自遮挡，则可以利用物体三个不同角度的图像的线性 组合，重建任意角度的图像，这是线性组合在图像方面的最初尝试。 建立这种模型时，首先需要使用三维的激光扫描仪获得三维人脸的原型， 然后使用这些原型人脸建立的人脸类计算出所需的特征脸，从而计算出人脸的 组合模型，再将模型匹配到二维的人脸图像，得到重建出的三维人脸。通过这 种三维人脸形变模型的方法，可以应对复杂的三维人脸对象，并且将人脸的大 范围姿态、表情以及外界光照等因素的影响降至最低，进而证明了三维模型对 人脸图像的表示具有更加出色的效果。 线性组合思想在图像分析和合成方面的研究和应用，导致了形变模型的出 现。虽然后来对形变模型进行了不断的改进，但其基本思想没有