（计算数学专业论文）基于正侧面照片的三维人脸造型.pdf

大连理工大学硕士学位论文 摘要 创建逼真的三维人脸模型一直以来都是计算机图形学领域一个极富有挑战性的课 题。人脸的造型和表情动画作为虚拟现实技术和计算机图形学中的一个分支已有了3 0 年历史了。随着虚拟现实、影视制作、游戏娱乐、可视电话等应用的发展，这一领域越 来越受到人们的关注。本人主要从事此方面的研究。 本文介绍了三维人脸模型的应用前景及国内外的研究现状，并对现有的三维人脸造 型技术进行了分析比较，以输入的人脸正侧面照片为基础，提出了一种线性弹性模型与 自由曲面变形方法相结合的三维人脸造型方法；该方法在研究了人脸生理结构特征的基 础上定义了人脸的特征点；并且在重建几何结构方面提出了一种新的合成方法。最后， 对变形后的三维人脸局部进行网格细分，并对特定人脸变形细分后的网格进行消隐处 理，得到具有真实感的消隐图。本文的主要研究内容包括： 1 ) 人脸特征点定义。主要研究内容是确定真实人脸的特征点选取。这些特征点要 求既能反映人脸的整体几何结构，又能表示五官的局部特征和在人脸上位置分 布。 2 ) 重建几何结构。把自由曲面变形方法和线性弹性模型相结合来修改中性人头模 型，使用两种不同的方法来处理特征点稀疏或密集区域非特征点的移动，使一 般的人脸模型适配到特定的人脸模型。 3 ) 局部区域细分。通过不断对人脸模型密集区域进行细分，可以更好的保持人脸 的精细细节特征。 本文提出了一套可行性的人脸造型方法。具有一定的实际意义。 关键词：造型；s b s o n 坐标；自由曲面变形；线性弹性模型；细分 大连理工大学硕士学位论文 f r o n t a la n dl a t e r a lp i c t u r e sb a s e dt h r e e d i m e n s i o n a lf - a c i a l m o d e k n g a b s t r a c t g e t i n gr e a l i s t i c3 dh u m a nf h em o d e l sh a sa l w a y sb e e nap e r s i s t e mc h a l l e n g e r p m b l e mi nc o m p u t e rg r 印1 1 i c s 。t h em o d e l i n ga i l da n i m a t i o no fr e a l i s t i ch l m l a nf 如eh 嬲 a h n o s t3 0y e 缸sa sa i li d e n t i f i a b l e 黜a 。w i 也m cd c v e l o p m e mo fv 咖e 涮毋，m o v i e m a h n g ，v i s u a it e l 印h o n e ， e t c 。t h i sr e s e a r c ha r e ai sn o w r e c e i v i n gm o r ea t t e n t i o nt h a i le v e r b e f o r e 。1 1 1 i st h e s i sm a k e sad e e p l yr e s e a r c ho nm ea r e a 。 t h i st h e s i sg i v e st h ef u t u r e 印p l i c a t i o no f3 df a c em o d c l sa i l dt h ep r e s e mr e s e a r c h ，c 明了 t h i d u 曲t l l ec o m p a r ea 1 1 da n a l y s i s 晰mt 1 1 e3 df a c i a lm o d e lt e c h n o l o g yi ne x i s t e n c e ，b a s eo n 也e 矗伽t a la n dl a t e r a lh u m a nf a c ep i c t i 胎st h a ti n p u ta u t o m a t i c a l l y ，p u t sf 0 附a r das y n t h e t i c a l l i n e a rs 廊gm o d e la n dd f f db 船e df a c i a lm o d e i i n gm e m o d ；n l i sm 甜l o dd e f i n e st 1 1 e 缸i a l f e a t i l r ep o i n t so nm er e s e a f c ho fh l l m a nf 如i a lc h a r a c t c r ；b r i n 铲f o r w 缸dan e wi m e 黜d m e m o di ng c o m 咖c a ls 由j c 饥r ef e c o n s 协l c t i o n 。a “a s t ，u s i n gm e s hs u b d i v i s i o nw i t ht h el o c a l h 岫a n 凸i c e ，r e n d 甜n ge l i m i i l a n tw i n l 也es p e c i a lh u m a nf h c em e s ht h a th a sb e e nc h a n g e da i l d s u b d m d e d ，姐dg e 砸n gt 1 1 er e a l i s t i ce l i r n i n a t ei m g eo f s p e c i a lh u m a nf a c e 。n l em a i nr e s e a r c h t o p i c si n c l u d e ： 1 ) d e n n i n gf k i a lf b a t u r ep o i m s 。t h et o p i ci st 0d e f i n ct 1 1 ef 色a t u r ep o i n t so f a r e a lf k e 。t h e s e f h i a lf ca _ t i l r ep o i n t sm u s ts h o wn o to n l yt h ew h o l eo u t l i i l eo faf 配e ，b u ta l s ot h e1 0 c a l c k 哦惦t e ro fn l ef 如ec o m p o n e m s 。 2 1g e o m e 试c a ls t m c t u r er e c o n s t m c t i o n 。t l l i sm e t l l o di sac o m b i n a t i o no fd f f da n dl i n e a r 印r i l l gm o d e lm e t l l o d ，u s i n gt h et w od i f i e r e n tm e t l l o d st 0t a c k l en o n c t l a r a c 把rp o i l l _ t s m o v e m e n t si i lt t l er e g i o no fs p a r s e n e s s0 rd e l l s e n e s s 谢mt h ec h a r a c t e rp o i n t s ，m a t c l l i n g m en o r m a lf a c em o d e l 、v i mt l l eg i v e nf 她em o d e l 。 3 ) l o c a la r e as b d i v i s i o n 。t l l r o u g h 馈l e 轧l b d i v i s i o no f 血ef h c i a ld e n s e n e s sa r c ac o n s t a 】：l u y ， w ec a i lk e e p 血ef - m ed e t a i lc h a r a 曲e ro f h u m a nf h e 。 1 h i sp 8 p e rp r e s e n t e daf b 嬲i b l ee i l g i n e e r i n gf h c i a lm o d e l i n gm e m o d 。a n dt i l i sm e t l l o d k 塔s o m ep r a c t i c a ls i g i l i f i c a n c e s 。 基于正侧面照片的三维人脸造型 k e yw o r d s ：f a c i a im o d e l m g ； s b s o nc o o r d i n 8 t e ；l i n e a rm e s h m o d e l ；f r e ef 0 珊 d e f b m a t i o n ；s u b d i v i s i o n i v 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：日期：星翌! ：! ：望 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者张蛰望 导师签名：至! ! 盔 盟年上月日 一6 0 大连理工大学硕士学位论文 1 绪论 1 1 选题背景 人脸作为个体的门户，是人体上最具表达力的一部分，在人类的交流中占据着举足 轻重的作用。从人脸上我们不但可以识别出人的身份，还可以观察出他的喜怒哀乐，推 断出他的个性等。 自古以来，人们对人脸的复制一直抱有浓厚的兴趣。早期常采用的方法包括手工绘 画、泥塑、雕刻等，随着科学技术的发展，出现了照片和电影，但其只限于反映人脸在 某个角度的二维信息，无法看到具有真实感的三维人脸。自从二十世纪中期第一台电子 计算机诞生以来，计算机技术得到迅猛的发展，人们使用计算机在人脸复制方面的技术 也日趋成熟，现在无论是二维还是三维人脸，都能更加精确和富有创造性地在计算机上 进行复制和合成。 计算机重构的三维人脸造型已经广泛的应用于电影制作、游戏娱乐、医学辅助诊断 治疗、教学科研等领域，我们在电影和游戏中也常常可以看到虚拟角色的精彩表演，如 著名的3 d 探险游戏古墓丽影( t o m br 8 i d e r ) 中的主人公“劳拉”就是一个用计算 机合成的，她的逼真的形态、细腻的表情、优美的动作深受人们的欢迎。 1 2 研究意义 1 9 6 3 年伊凡苏依兰( i v a l ls u t h e r l a n d ) 在麻省理工学院发表了名为画板的博 士论文，标志着计算机图形学的( c o m p u t c rg r a p h i c s ) 正式诞生以来，至今已有近四十 年的历史。在过去的四十年里，计算机图形学在计算机辅助设计与制造、科学计算可视 化，图形实时绘制与自然景物仿真、计算机动画、用户接口，计算机艺术等领域的研究 工作取得了许多令人瞩目的成绩。 计算机在处理图形图像方面的优异性能表现，得到了一些富有想象力和创造力的 人们的注视，他们尝试着用计算机来复制和合成三维人脸造型著获得了巨大的成功。在 日常生活中我们都可以领略到三维人脸造型所展现的撼人魅力，如电视节目中的虚拟主 持人，电影中的虚拟演员等。 三维人脸造型具有广泛的应用前景，覆盖范围包括休闲娱乐、通讯、医疗、教育等 领域，具体应用包括： 电影、电视制作： 三维人脸造型在娱乐方面最显著的应用是被广泛地用于电影、电视中虚拟演员与虚 拟主持人的制作。从美国颇受观众喜爱的影片花木兰、埃及王子、真实的谎 基于正侧面照片的三维人脸造型 言、夺丽双雄、黑与自、 m a g i c 到我国动画片的宝莲灯等电影的制 作中都无不体现了人脸造型和动画技术的魅力。 人机界面： 很多具有人性化的人机界面充分利用了人脸造型的魅力。我们很难找到一个计算机 用户对他所使用的人机界面是打满分的。现有的人机界面存在的一个普遍问题是专业性 太强，往往要花费很长的时间才能学会使用一个新系统。若能给用户提供熟悉的接口， 比如人脸的形式出现，而不是面对单调的键盘，那将创造出多么令人舒畅的氛围。 面部整形手术及医学研究： 医疗中脸部造型的主要应用是脸部整形手术和心理研究等领域。在进行面部的整形 手术之前，可以模拟手术的过程和展示手术后的治疗效果。不断发展的人脸造型与动画 系统也为心理学家进行人脸运动和表情的研究提供了依据。心理学家可以用人脸运动的 计算机模型来实现他们的研究。这比以前他们必须使用照片或随意地叫人刺激肌肉来做 研究更方便。 游戏娱乐： 计算机除了用于工作学习之外，另一个重要的用途就是用于休闲娱乐，游戏 当然就是首当其冲了。游戏软件业已成为计算机软件的支柱产业之一。现在的游戏不足 之处在于，一般只能是玩家操纵游戏中的虚拟角色从事某种探险或战役等活动，缺乏参 与感。如果我们能将游戏中的虚拟角色换成玩家自己的造型，能看着自己本人在游戏中 “纵横驰骋”，那对广大玩家来说恐怕不只是爱不释手了吧。 辅助教学： 使用人脸模型的个应用是作为辅助教学的工具。教人学习发音是一项艰辛而又单 调的工作，而当学生在说话和听力方面有障碍时，更是如此。相反，学生跟着计算机虚 拟的语言老师学习，想怎么学就怎么学。一方面不必老师反复地教学，极大的减少了工 作量，令一方面可以激发学生的学习兴趣，增强学习的效果。 通讯： 电话作为人们日常生活、工作中不可或缺的通讯工具，以其方便、快捷等特点被广 泛应用，但普通电话机只能是“只闻其声。不见其人”。随着生活水平的提高，希望在 通话的同时能看到对方的音容笑貌成了人们梦寐以求的愿望。 虽然目前可视电话技术已经成熟，在市场上已经可以看到成型的产品出售，但其对 通讯线路的带宽要求比较高，只适用于带宽较高的专线用户，难以满足广大用户的需要。 如果能实现“低带宽远程会议只需在发送端从实况录象实时提取人脸控制参数，在 大连理工大学硕士学位论文 接受端，恢复出人脸运动。”，那么就可以在目前的普通通讯线路上实现面对面的交 流”，必将使得可视电话得到广泛普及。 1 3 研究难点 人脸的生理结构非常复杂从而导致了人的表情的多样性，因此给计算机模拟带来了 极大的挑战。 首先，脸的造型要求高度逼真，哪怕是一点点不同都会使人觉得造型不真实。 其次，在表达情绪时不同的脸部特征有不同的优先顺序，眼睛、嘴巴、眉毛、眼睑 具有高优先级，而下巴、鼻子、舌头、耳朵、头发的优先级较低，另外，头部的运动也 是生动的脸部表情的一个重要特征。 再次，人们能精细地识别和区分各种人脸和人脸各种不同的微妙表情，这就加深了 人脸造型和综合的难度。 因此必须将多学科的知识结合起来才能够重建出成功的模型，这包括人脸表情心理 学方面的特殊知识、人脸肌肉结构的解剖学知识、人脸组织结构学、物理的知识、形状 几何学、计算机视觉的知识和图形可视化的真实感方面的知识。 1 4 国内外研究现状 国外在三维人脸建模方面的研究工作开展的比较早。从1 9 7 4 年p a r k e 首先用计算机 生成人脸图像以来，2 0 多年间计算机图形工作者在这方面的研究取得了许多重要的研究 成果。近几年里，l e e 等人用3 d 扫描仪来创建人脸模型，并提出了一种处理和改进扫 描结果的方法。t a k i m o t o 用两张人脸正、侧面照片来建立人脸模型。p i 曲i n 等人开发 了一套系统，通过多幅照片来进行人脸三维重构，最后可以生成具有相当真实感的三维 人脸模型。微软研究院的z h e n g y o uz h a n g 等人用人脸视频作为输入，用户只要在其中 两帧中各标出5 个特征点，就可以自动生成三维人脸模型。r m k o c h 等人使用有限元的 方法，开发了一个可以进行面颅部外科手术计划及手术后面部效果预测的原型系统。 v d l k e rb l a n z 等人提出了一种新的基于统计的人脸建模方式。他们建立了一个三维人脸 库，对于一张正面人脸照片，用库中人脸模型线性组合的正面投影去逼近这张照片。 国内近几年在人脸造型方面也有很大的发展。哈尔滨工业大学的晏洁在人脸建模、 纹理映射等方面做出了一些成绩，提出了一种人脸模型个性化的方法和多方向纹理映射 的算法。北京工业大学的尹宝才等人研究人脸建模和人脸纹理映射的方法。西安电子科 技大学的郑飞和陈梅提出了使用人面照片合成全景图像的方法进行三维重建。大连理工 大学的粱荻提出了基于照片的三维人脸重建技术，在给出变形之后模型的基础上实现了 多方向纹理映射技术。 基于正侧面照片的三维人脸造型 1 5 本文的研究路线及内容 国内外在三维人脸造型的研究上，到目前为止已有多种不同的建模方法，其研究路 线基本上可以分为两类： 第一类是直接采集真实人脸的数据进行三维重构。该方法需要使用专用的三维扫描 设备( 如螺旋c t 机、三维数字化仪、立体摄像机等) 来直接获取人脸几何的数据来进 行三维建模，建模准确，生成的模型逼真，能满足某些场合的特殊需要，但其需要价格 昂贵的专用设备，而且需要合成多个形态各异的人脸时必须扫描多个人脸，效率低下， 因而应用范围受到了一定的限制。 第二类是以特定个体人脸的二维图像( 包括人面照片和视频录像等) 为输入生成三 维人脸造型。该方法需要结合人脸的几何特征、人体测量学及计算机视觉等方面的知识 来合成人脸的三维模型。采用此方法不需要特殊的设备，整个人脸三维建模过程可通过 软件完成，也可以达到较为理想的效果。由于其成本低廉，适应面广，尤其在对人脸模 型精度要求不是特别高的情况下，应用前景十分广泛。此类方法目前还处于研究状态， 还没有一个成型的产品出现。 本文的研究路线： 在不使用昂贵的专用设备的前提下，找到出一些通用而且高效的方法来重建特定个 体的具有真实感三维人脸造型。第一类研究路线需要昂贵的专用设备，显然不能满足需 要。由于拍摄人脸的二维图象只需要普通照相机即可，成本低廉，适用面广，因此走第 二条研究路线是我们的最佳选择。 本文的主要研究内容： 人脸特征点定义： 主要研究内容是确定真实人脸的特征点选取。这些特征点要求既能反映人脸的 整体几何结构，又能表示五官的局部特征和在人脸上位置分布。 重建几何结构： 把自由曲面变形算法和线性弹性模型相结合来修改中性人头模型，使用两种不 同的方法来处理特征点稀疏或者密集区域非特征点的移动，使一般的人脸模型适配 到特定的人脸模型。 局部区域细分： 通过不断对人脸模型密集区域进行细分，可以更好保持人脸的精细细节特征。 1 。6 本文的章节安排 第一章，绪论。介绍了三维人脸模型的应用前景及国内外的研究现状，并对现 大连理工大学硕士学位论文 有的三维人脸建模技术进行了分析比较。在此基础上，给出了本文的研究路线、 研究目标及主要研究内容。 第二章，人脸造型和表情动画技术回顾。将已有的技术进行了系统的归纳和总 结，分别对它们的强项、弱项、及性能给出描述，并按相似性对它们分类。 第三章，基于正侧面照片的入脸造型。定义了本文所使用的特征点，并且对它 们进行了细致的分类。回顾了一些已有的网格变形算法和细分算法，在此基本 上提出了本文所使用变形与细分算法。 第四章，实验流程及工作总结。细述实验的具体流程及对全文进行总结，指出 模型的不足，在此基础上给出未来研究工作的展望。 大连理工大学硕士学位论文 2 人脸造型和表情动画技术回顾 2 1 人脸造型方法 我们知道，人脸是人体上最富有个性化的部分，它在人际交流中扮演着极其重要的 角色。人们通过观察人脸可以了解该人的情绪，甚至可以观唇辨意。但要模拟这些细节 特别困难。人脸结构极不规则，人与人之间的差异也很大。在加上肌肉、骨头、组织、 还有复杂的交互中人脸的运动和不同脸部特征的变形等各因素的影响，使人脸造型和动 画成为计算机图形学中最富有挑战性的课题。 人脸建模是模拟人脸并使之动画最重要的一步，模型的形状近似于人脸是实现真实 感的动画和纹理的基础，现有的方法也大都把主要的精力放在模型的生成上面。 2 1 1 人脸模型的几何表示 根据不同的用途有各种各样的人脸模型，既有简单的几何模型又有基于解剖结构的 复杂模型。当决定了构造一个模型的时候，重要的因素是几何数据的获取、动画数据的 获取、动画方法的构造、渲染方法的构造和渲染质量等。在同一个模型上面可以应用不 同的几何表示方法，而且一般来说舌头、眼睛、嘴唇与脸的表示方法是不同的。下面讨 论一些常用的人脸模型的几何表示方法： 多边形模型 和其它的计算机图形表示方法一样，在人脸建模中，多边形模型是表示几何模 型最常用的方法。因为多边形模型非常容易创建、使用、变形和渲染。通常得到物 体的几何结构采用对物体的表面进行均匀网格取样的方法，这种均匀网格就是用多 边形来表示的。物体的表面还可以被随机的取样，虽然用这种方法得到物体的网格 有一定的难度但是现已经有了一些健壮的算法来实现它。但是用网格模型来表示物 体在视觉效果上有一定的缺陷，尤其是在物体的轮廓部分。 样条模型 样条表示方法可以创建视觉效果非常好的表面。他们经常用在面部建模和动画 上面，例如，占样条曲面，三角占样条曲面，占犯耙r 曲面，c d d 凇曲面，和日一日样 条等。样条有局部支集性质可以用控制点在局部控制曲面的变形。然而要把曲面的 局部变形成特定的形状将会是一个非常复杂的过程。样条模型的其它缺点是它非常 难于建立、编辑和插入一些节点。样条很好的保持了光滑性，因此对于眼睛、嘴、 鼻孔和耳朵这些孔洞的表示比较困难。样条的另一个缺点就是如果增加局部的细节 将增加整体的复杂性，这个问题可以用日一b 样条来解决。 基于正侧面照片的三维人脸造型 细分模型 细分曲面是一种光滑曲面，它的一点好处就是增加局部的复杂性不会影响全局 的复杂性，这样就可以很容易的通过局部修改来塑造一个新模型。然而细分模型比 较难于插入特定的数据。 隐式模型 曲面还可以被定义为隐式的形式，例如，与一个点的距离为c 的点集合组成了 一个球面。多个隐式形式的曲面可以组合在一起表示一个复杂的模型，由隐式曲面 组成的模型非常容易作碰撞检测。但是这种曲面表示方法的缺点是渲染起来比较慢， 而且表示具有尖锐边缘的物体、表现曲面细节或者对曲面进行变形时都非常困难， 因此在人脸建模中这种方法用的比较少。然而对于那些对真实感的要求不太高的应 用还是可以采用隐式方法的，比如，卡通或者是比较夸张的表现手法，而且隐式方 法还可以用在复杂物体的碰撞检测上面。 参数化方法 参数化的基本思想是用七个参数定义一个相对较小的i 维的空间。举例来说， 一个多边形的人脸模型有一个r 3 空间中的顶点组成，如果我们想确定一个特定的人 脸模型就必须确定3 个自由度，这在实际应用中是不现实的。如果对模型进行参数 化用1 个参数来确定模型的形状( 比n 小得多) 这样在实际应用中就可行的多了。 一个模型甚至可以同时拥两套参数，一套用来定义形状的参数和另一套用来定义模 型运动的参数。参数化模型在人头建模中是非常常用的手段，一般的参数化是和模 型的某一种几何表示结合起来的。事实上参数化是建立起了参数空间和模型空间的 一种映射。用参数化的方法有许多的好处，其中包括：可以对数据进行压缩、可以 采用比较直观的方法定义模型、可以在模型之间进行变换、可以在模型上进行微小 的改动、可以用计算机自动生成大量的模型等等。参数化模型的最大的缺点是定义 的模型形状非常有限。 点云系统 在基于物理的系统中模型被看作是一个点云组成的系统并且运动由物理公式计 算出来。这种系统通常把皮肤看作是由一些点组成的表面，并且认为这些点是由弹 性介质连接起来的。或者也可以将面部看作是由表皮、皮下的组织和肌肉包起来的 一个结构，通过肌肉的收缩产生的力学效应来控制表皮的运动，在这里肌肉被看作 是连接在固定点上的弹簧，其得到的结果方程可以用一些数值方法如r “，难y 一胁妇 方法来解。 有限元模型 查坚三查堂堡主兰垡笙茎 有限元模型可以用来精确的模拟力通过一个物体的传播，然而这种方法非常的 复杂并且计算量也非常的巨大。在模拟人脸的时候一点微小的变形都会有很大的计 算量，这弗不是一种非常常用的人脸建模方法，但是对于精度要求比较高的应用这 种方法是非常合适的，比如，模拟手术、模拟舌头的运动、模拟皮肤的愈合等。 2 1 2 人脸模型几何结构的获取 无论用何种方式表示人脸模型的几何结构，用何种方式进行人脸模型实例的定义， 人脸模型几何结构的获取都是一个不可回避的问题。几何结构是表面的定义问题，它必 须随着时间变形从而实现动画，而且它必须被变形以使得模型看起来像特定的人，还需 要把控制信息加入其中，最后还要进行渲染工作，所以说最初的几何模型对于其后的工 作来说是一个非常的重要的因素，对模型其它方面的要求也决定了必须采取某些特殊的 手段来得到模型的几何结构。下面介绍一些常用的获取模型几何结构的方法： 激光扫描仪 要得到模型的几何结构比较流行的方法式是用激光扫描特定的人或者雕像，从 而得到数字化的人体几何结构的数据。这种方法可以快速的创建几何结构，但是这 种方法得到的只是几何结构，模型的其它部分，比如，变形控制信息必须被另外加 进去。激光扫描仪利用激光来记录下模型表面的距离并创建出准确的模型以备以后 的人脸动画，它的另一个优点是可以得到比较准确的颜色信息。但是激光扫描仪的 缺点是非常的庞大、昂贵，对被扫描的物体也有尺寸的要求。 修改已经存在的模型 相对来说修改已存在的模型是一个比较廉价的建模方法，用这种方法所得到的 模型非常依赖于所用的修改方法。修改模型的方法可以是基于物理的、参数化的、 有限元的或者是其它的方法，全自动的方法非常难于创建，通常这种方法是手动或 者半自动的系统。当需要多个模型的时候，这将是一项令人望而生畏的工作，因此 许多人采用一个一般的人头模板来寻求方法上的简化。 手工建模 这种方法通常是在对模型的准确性要求不高的系统中采用的，比如，非特定的 人、模拟非人类的人物、夸张的动画等，手工建模一般由艺术家来完成。虽然创建 这种模型要求并不是很多，但是仍需要有非常专业的技能才可以完成，这种技能在 娱乐产业有很好的应用前景，比如电影、动画片等。 从图像上获取 基于正侧面照片的三维 、脸造型 这种方法是从几张照片或者是一系列动态的图像上面来抽取三维的信息最终 创建三维的模型。通常这种方法是采用计算机视觉的手段，在各图像里找出对应的 点，之后利用某些算法来推出该点在三维空间中的位置。这种方法的特点是得到的 照片或者图像序列越多，重建的模型就越准确，但是至少需要两张照片有一定视差 的照片。 自动生成 有一些应用需要自动的生成大量的人脸模型，通常采用的方法是把统计模型和 人体测量学原理结合在一起，在人脸模型表面加入一些限制条件，调整限制条件不 同的限制条件就生成了不同的人脸模型。 体元素数据 还有一些方法可以利用c t 扫描、超声波扫描等得到的切片数据重建人脸人体 等结构。这种切片扫描既可以得到物体内部结构的数据也可以得到物体表面的数 据，可应用在医学领域。 2 2 人脸造型与动画方法回顾 2 2 1 人脸造型和动画方法分类 人脸造型与动画技术与其他的造型与动画技术非常相似。但是人脸的造型和动画有 其特殊性，首先人脸是高度可变形的，最微小的变形都有可能传递信息，其次人脸的结 构极不规则，人与人之间的差异很大，再次人脸还有皮肤、组织、肌肉和颅骨、还有交 互中人脸的运动和不同脸部特征的变形等各因素。对人脸的描述必须从几何、纹理和运 动三方面来描述，生成模型的方法也是多角度的。 尽管自然和真实感的脸部动画非常困难，但在这个领域已有许多成功的方法和应 用。通过研究我们知道通过基于几何的操作和基于图像的操作都能获得真实感人脸造型 和动画，其中几何变形对应于表情变化时脸部的形变，而图像操作能获得皮肤的反射属 性、头发等这些只通过几何操作很难获得的属性和细节。而且现有的方法主要集中在人 脸的建模和渲染两个方面，人脸的动画生成大部分都与建模的联系非常紧密，即用建模 的方法或类似的方法驱动人脸模型进行动画，所以我们把人脸造型方法具体分为以下两 类： 基于几何的方法，如图2 1 大连理工大学硕士学位论文 图2 1 基于几何的方法 f i 9 2 1g e o m e 廿yb 船e dm e l o d s 基于图像的方法，如图2 2 图2 2 基于图像的方法 f i 9 2 2l m a g eb 8 s e dm e t l l o d s 我们知道每个具体的方法都是针对某些实际的工程问题而提出来的，是综合了各种 方法的产物，因此所述的脸部建模和动画的各种不同方法间并没有严格的界限，我们只 是为了说明问题方便才予以人为地分类。 基于正侧面照片的三维人脸造型 2 2 2 基于几何的人脸造型与动画方法 ( 1 ) 最早的人脸模型：双线性插值方法 用计算机模拟人脸可追溯到1 9 7 4 年，由f r e d e r i cp a r k e 采用了手工测量假人模型的方 法l l 】，第一次在计算机中生成了3 d 的人脸。他的方法主要流程是对一个假人的面部进行 划线分割，之后采集分割之后的多边形顶点的数据，由采集到的数据得到了头部的分片 模型。并且p a r k e 使用了双线性插值来创建不同的人脸形状，他假定人脸之间的差异可 以从单一拓扑上变形而来，他通过改变一般人脸的构造参数创建了1 0 个不同的人脸。 p a r k e 的参数化模型受限于所给定的构造参数的范围，而且在一张特定人脸上调节参数 是很困难的。在这个开创性的工作之后p a “e 在此基础上又提出了一些实现动画的方法。 ( 2 ) 参数化人脸模型 参数化技术【2 l 克服了简单插值的一些限制，它通过选取一组独立的参数值来构造人 脸和表情，参数化方法能对特殊的人脸形状精确的控制。而且只须经少量的计算，参数 的组合就能提供较大范围的脸部表情。但当用两个对相同顶点起作用的有冲突的参数去 调和表情时，很难有一个系统的方法去裁决。因此当参数间的冲突发生时，参数化方法 经常会产生不自然的表情。对此，人们试图加以改进，即只在特定的脸部区域使用参数 化方法，但这样做又会在脸部画面形成运动边界。同时参数化方法的另一个限制是：只 能基于人脸网格的拓扑去选择参数集，因此完全参数化是不可能的，并且需大量的手工 调节去设置参数值，同时可能导致不真实的运动或形状。 ( 3 ) 弹性网格方法 质点弹簧方法是模拟在一个弹性网格中传播肌肉拉力，从而导致肌肉的变形。p l a t t 和b a d l e r 【3 l 对人脸结构和肌肉造型进行分析，并认为可以模拟肌肉传递力的作用从而产 生脸部表情。在p 1 a t t 后期的工作中，他将人脸模型表示成定义在特定入脸区域上的各 功能块的集合，由3 8 个局部肌肉组成，并由弹性网络相互连接，通过施加肌肉力对弹性 网络进行变形从而创建各种动作单元。 ( 4 ) 向量肌肉方法 向量肌肉方法是在影响区域内，用模拟肌肉运动场对面部影响的形式来对脸部网格 变形。最初由w a t e r s 提出了一个极其成功的肌肉模型【4 】，该模型采用的是多边形的几何 表示方法，方法的主要原理是对网格组成的人脸模型，通过对不同部分的面部网格点加 入不同类型的称之为肌肉的力学约束来模拟肌肉的收缩或放松，从而带动模型变形以实 现人脸的动画，而且每一条肌肉都有一定的影响范围控制人脸不同的部分，他定义了两 种肌肉一种是线性肌肉另一种是括约肌。该模型的特点是： 1 肌肉控制就相当于将模型进行参数化，不过这些参数仅是一种抽象，并不用来 大连理f 大学硕士学位论文 模拟生理学或心理学的机制。 2 而且该参数化模型可应用于任何人脸模型。不同人脸的网格顶点或控制顶点由 附在这些点上的肌肉模型所控制，脸部的拓扑结构在运动中保持不变。 3 肌肉的运动仅限于变形区域，肌肉被定义成向量的形式，包含原点和插入点。 由c o s i n c 函数和衰减因子定义了影响域的范围。当被可视化为个高度场时， c o s i n e 函数和衰减因子产生一个圆锥的形状。w a t e r s 将嘴巴的括约肌造型为 个简化的参数化椭球。括约肌围绕椭球的中心收缩。用模拟线性肌和轮匝肌的 向量来产生生气、害怕、惊奇、高兴等情绪动画，如图2 3 显示了一个嵌于人脸 网格的肌肉模型的实例。 变形前的模型 o r i g i n a lm o d e l 定义在网格上的肌肉向量 图2 3 线性肌肉模型 m u s c l ev e c t o r so f f a c e f i 舀3l i n e a rm u s c l em o d e l 变形后的模犁 d e f o m l e dm o d e l 然而按生理学原理正确放置肌肉向量位置却足一项令人生畏的工作，至今还没有一 个自动的方法将肌肉向量放置到一般或特定的人脸网格中去，而且不正确的肌肉向量定 位，会出现不自然的表情动画，甚至出现不可能发生的表情动画。但该模型具有紧凑的 表示形式并且独立于人脸的网格结构，所以得到了广泛地应用。 ( 5 ) 多层弹性网格方法 一个多层弹性网格则是将一个质点弹簧结构扩展为三个相连的网格层，从而更可信 地模拟人脸的物理行为。t e r z o p o u l o s 和w a t e r s 给出了能反映人脸细微的生理结构的 动态人脸模型，该模型由可变形的网格构成，共包含三层：皮肤、脂肪组织和附于骨头 的肌肉层。具有弹性的弹簧元素连接每个网格节点和每一层。肌肉拉力通过网格系统的 基丁正侧面照片的三维人脸造型 传播产生脸部表情。虽然这个模型具有真实感，但用三维网格来模拟体的变形需大量的 计算。w u 提出了一个简化的网格系统【5 l 能减少计算时间，但仍能保持视觉的真实性。 l e e 等人【6 j 基于t e r z o 口o u l o s 和w a t e r s 的早期工作给出了一个基于物理的皮肤和肌肉 层的综合模型。人脸模型出三个分量组成：具有非线性变形属性的生物组织层，皮肤f 、j 的肌肉层和一个在肌肉层下面的不可穿透的头盖骨结构。这个综合体用三棱柱体元素束 造型。它分成表皮、筋膜和颅骨曲面，如图2 4 所示。连接表皮和筋膜的弹簧元素模拟 皮肤的弹性，影向肌肉拉力的弹簧元素连接筋膜和头盖骨层。该模型非常逼真，但需大 量的计算和大量的调节才能造出一张特定的人脸或角色。 ( a 1 图2 4 皮肤组织模型 f i9 2 4s k i n 锄dt i s s u em 0 d e l ( b ) 前面介绍的有限元方法虽然有一定的缺陷，但是由于其能够精准的描述力的传递在 医学模拟上仍然有很多应用，1 9 9 6 年r d l 拜口k o c h 等人在w a t e r s 肌肉模型的基础上采用多 层的弹性网格方法和有限元方法来产生人脸【7 l ，他们开发的系统可以进行医学手术模拟， 虽然该系统计算速度比较慢、对硬件的要求比较高，但是这种方法还是相当成功的。 ( 6 ) 样条伪肌肉 虽然阿尔伯特( a l b e i t ) 多边形人脸模型被广泛地使用，但它不能充分刻画人脸的 光滑性和柔韧性，具有固定拓扑结构的人脸多边形模型难以在任意区域内光滑地变形。 大连理工大学硕士学位论文 平坦区域的顶点如果不细分就不能扭曲成曲面，为了保证光滑性和灵活的变形，一个理 想的人脸模型应该用曲面来表示。样条肌肉模型提供了这样一种可供选择的方法。样条 通常具有c 2 连续性，因此曲面片是光滑的，可以在曲面上作局部变形，而且小组控制点 就能完成仿射变形，因此减少了计算的复杂性。 p i x a r 使用了双三次c a 缸n u l l i 沁m 样条面片构造了b i l l y 的模型【引，即“t i nt o y ” 动画中的小孩角色，最近，他们又使用了c a t n l m l c l a r k 的一个变种，细分曲面造型出 g e r i ，即短篇电影“g e r i 的游戏”中的一个人物角色。该技术适合构造曲面上很深的褶 皱和表现曲面之间的不连续。8 i s e r t 和g i r o d 使用三角化的b 一样条克服了传统b 一样条的 缺点，传统b 一样条由于定义在一个矩形拓扑上，当变形比面片分辨率还要小时，曲面的 一整行或一整列都要细分，因而增添了许多不必要的细节和控制点。层次样条表示为b 样条曲面的局部细化提供了便利。新的面片只需在特定的区域上加入，如图2 5 层次b 样 条能以经济而紧凑的方式来表示一张样条曲面而且能获得更快的绘制速度。与层次样条 曲面相结合的肌肉模型能创建凸起的皮肤曲面和许多脸部表情。 ( a )f b ) 图2 5 样条伪肌肉 f i 9 2 5s p l i n ep s e u d om u s h c l e 。 。 控制点 。 。 新创建的控制点 r _ 细化面片 o j 图 ( 7 ) 自由变形方法 自由变形( f f d l 通过控制点的操作对具有定体积的物体1 9 】进行变形。概括地说，就 是将一个可变形物体嵌于一个假想的由控制点组成的三维网格的弹性控制盒中。当挤 压，弯曲和扭曲控制盒时内嵌的物体也相应地被变形，如图2 6 。f f d 能变形多种曲面 体素，包括多边形、二次曲面、参数化模型、隐式曲面、和实体模型。s e d e 慨唱等引 入的基于三变量b 样条的变形工具i 毗i c e ，其形状为平行六面体，这在一定程度上限制了 基于正侧面照片的三维人脸造型 它的运用。c o q u i l l a n 提出的拓广的自由变形方法e f f d ，该方法消除了非平行六面体 l a 仕i c e 的限制，初始的l a c c i c e 允许棱柱和圆柱这些形状，因而增加了f f d 的适用范围。有 理自由变形方法r f f d 则对每一个控制点增加了一个权重因子。从而在变形时，增加了 另一个自由度，可以通过改变权震因子而不是改变控制点的位置而执行变形。当所有的 权重因子都为1 时，r j 7 f d 就变成了f f d 。使用f f d ( e f f d ，融下d ) 的一个主要优点是将变 形控制的形式从对实际的曲面的描述转移到不再依赖于曲面本身特定的形式。 物体嵌入控制盒 嵌入控制盒的物体随控制盒变形。 图2 6f f d 变形方法 o b j e c ti s 啪b e d d e di i lc 叫删b o x o b j e c tbd e f o m e db yc o n 订o lb 0 x f i 9 2 6f f d m e l l l o d k a l m 等人【1 0 l 将有理自由变形和交互模拟肌肉的方法结合起来用来模拟肌肉变形 的视觉效果。为了模拟脸部皮肤的肌肉运动，他们按生理学的描述在人脸表面上定义了 肌肉运动的局部区域。并在区域上定义了一个平行六面体作为控制体，通过交互地放置 控制点和改变每个控制点的权重来模拟皮肤的变形，并用线性插值来决定位于相邻区域 边界点的变形。由于整体变形的计算缓慢，一般定义较大的区域，并在每个控制点上设 置一个弹性系数来控制变形。与w a t e r s 的基于物理的模型相比，操作控制点的位置和权 重比操作一定影响区域内的肌肉向量要简单。但r f f d ( f f d ，e f f d ) 并不提供肌肉的精确 模拟和皮肤的行为，从而不能对皱纹、皮肤中的皱褶和隆起造型。而且r f f d ( f f d ，e f f d ) 是基于曲面变形的，所以不能保证是保体积的。 m a g n e n 8 tt h a l m a n n 等人【l l 】还引入了抽象的肌肉运动( a 姒) 驱动生成脸部动画， 这些a 姒过程类似于f a c s 的运动单元和特定人脸区域上的操作。每个 m a 过程表示单个或 一组相关肌肉的行为，脸部表情由一组a 姒过程形成，由于a 姒过程之间的相关性，因此 在形成脸部表情的过程中，运动单元应用的先后次序很重要。 人连理j 一人学硕士学何论文 w o n s o o kl e e 等人提出了一种称之为d f f d 的自由曲面变形方法【1 2 1 ，该方法也是用 预先定义的特征来改变一般人脸模型，但是该方法的特征对模型变形的控制除了具有局 部性之外还突破了传统的自由变形方法对控制点的位置要求，即控制点可以位于空间中 的任何位置只要满足被控制点在控制点的凸包之内即可，该方法也是基于图像的建模方 法，利用两张互相垂直的照片生成了有真实感的人脸。 m i n g s l l i n gs u 等人提出了一种直观的人脸建模方法【1 3 】，他们利用h e n t l i t e 插值构造 了一个控制变形的假脸，得到“假脸”之后他们把人头部的网格连接到“假脸”之上， 通过控制假脸的变形实现了人脸模型的变形并和w a t e r s 的模型作了效果比较，浚方法相 当于从直观上定义了变形方法对控制变形来说就相当的方便了。 ( 8 ) 三维扫描数据适配方法 虽然用深度扫描仪、数字化探针、或立体视差能测量得到模型采样点的三维坐标， 但这样获得的模型因为没有人脸结构的信息通常f i 适合于脸部动画，而且数据带有噪 声、顶点分布不太好不能产生完整的模型。 l e e 等人提出了可以利用3 d 扫描仪来得到人脸的几何数据、颜色和纹理等信息，之 后利用得到的数据创建人脸的几何结构和纹理信息，并提出了处理和改进扫描结果的方 法，如图2 7 。对最终得到的几何模型他们加入了w a t e r s 的基于物理的肌肉，用肌肉来 控制人脸几何结构的运动生成动画。这种方法得到的结果非常不错，得到准确几何结构 的同时还能得到颜色和纹理信息，但是扫描仪价格昂贵而且对被扫描的物体的大小也有 耍求。 基于止侧面照片的三维人脸造型 图2 7 扫描结果适配方法 f i 醇7m e 1 0 do f m a t c h 伽gs c a 册e dr e s u h ( 9 ) 人类学方法 在塑造个性化的人头模型时，由于激光扫描和立体图像能获得几何细节