（计算机应用技术专业论文）真实感三维人脸合成技术研究.pdf

摘要 人脸是我们最熟悉的器官，但真实感人脸合成却是计算机图形学领域中最困 难的问题之一。自从上世纪7 0 年代p a r k e 建立了世界上第一个人脸合成系统以 来，具有真实感的人脸合成就一直是一个富有挑战性并且值得深入研究的课题之 一。人脸合成和表情动画技术可被广泛应用于各个领域，比如电影制作、游戏娱 乐、可视电话以及人机接口等领域。 本文在分析和总结了前人工作的基础上，对真实感人脸合成方法进行了深入 的研究。主要的研究内容包括以下几个方面： ( 1 ) 在分析人脸固有生理结构特征的基础上，参照m p e g - - 4 标准中人脸 定义参数的特征点区域分布，结合本文需求，定义了本文的人脸特征点分布。 ( 2 ) 研究了利用立体视觉原理恢复出特定人脸的特征点信息，并用这些特 征点信息对一般人脸模型进行变形修改，最终得到一个包含特定人脸特征的特定 人脸模型。模型变换主要分两步完成，整体变换和局部变换。 ( 3 ) 研究了图像金字塔法处理拼接裂缝，光滑边界的方法。首先从原图像 迭代构造出高斯金字塔和拉普拉斯金字塔，构造金字塔是一个图像分辨率降低分 解过程；再从金字塔顶层开始迭代重构原图象，通过低通滤波和带通滤波两个过 程很好的光滑边界，从而消除接缝，形成无缝的纹理拼接图。 ( 4 ) 采用柱面纹理映射技术实现特定人脸模型的纹理贴图，并对人脸模型 进行光照处理，再现具有一定真实感的三维人脸。 ( 5 ) 理论研究的同时，我们采用v i s u a l n e t 和o p e n g l 图形库设计实现了 一个真实感人脸合成系统平台。系统应用本论文中提到的算法进行真实感人脸合 成，实验结果验证了算法的可行性。 关键词：真实感人脸合成模型变换图像金字塔纹理映射 a b s t r a ct t h eh u m a nf a c ei st h em o s tf a m i l i a ro r g a nt ou s ，b u ti ti sad i f f i c u l tp r o b l e mi n t h ea r e ao fc o m p u t e rg r a p h i c st os y n t h e s i z er e a l i s t i ch u m a nf a c e s i n c et h ep i o n e e r i n g w o r ko fp a r k ef i i n19 7 2 ，t h er e a l i s t i cf a c i a ls y n t h e s i si ss t i l las u b j e c tw i t hg r e a t c h a l l e n g ea n dw o r t hd e e p l yr e s e a r c h i n gt or e s e a r c h e r si nt h ec o m p u t e rg r a p h i c sf i e l d t h eh u n r n a nf a c em o d e l i n ga n di t se x p r e s s i o na n i m a t i o nc a nb ew i d e l yu s e di nm o v i e ， c o m p u t e rg a m e ，v i s u a lt e l e p h o n ea n dh u m a n c o m p u t e ri n t e r f a c e t h i sp a p e rf o c u s e so nt h ef i e l do ff a c i a ls y n t h e s i s t h er e s e a r c hw o r km a i n l y i n c l u d e st h ef o l l o w i n ga s p e c t s ： ( 1 ) a c c o r d i n gt ot h ef a pi nt h es t a n d a r do fm p e g 一4 ，w ed e f i n es o m ef e a t u r e p o i n t si nt h eh u m a nf a c eb a s e do nt h ec h a r a c t e r i s t i c so f h u m a nf a c e ( 2 ) t h ep a p e rs t u d i e st h em e t h o do fd e r i v i n gt h e3 dc o o r d i n a t eo ft h ef e a t u r e p o i n tf r o mt h e2 di m a g e s w i t ht h i sf e a t u r ep o i n t s ，w eg e tag i v e nf a c em o d e lb y m o d i f y i n gt h eg e n e r i cf a c em o d e l t h em o d i f i c a t i o no fg e n e r i cf a c em o d e li n c l u d e s t w os t e p s ，o n ei sw h o l em o d i f i c a t i o n ，a n dt h eo t h e ri sp a r tm o d i f i c a t i o n ( 3 ) w eu s ei m a g ep y r a m i dm e t h o dt om e r g et h eb o u n d a r yo ft h eo r i g i n a lt e x t u r e i m a g e i tm u s tb u i l dag a u s s i a np y r a m i da n dal a p l a c i a np y r a m i d t h ep r o c e s so f b u i l d i n gap y r a m i di st op r o d u c ei m a g es e q u e n c ew i t hd i f f e r e n ts c a l e s ( 4 ) f i n a l l y ，w er i s et h et e c h n i q u eo fc y l i n d e rt e x t u r em a p p i n gt og e n e r a t ea r e a l i s t i c3 df a c e ( 5 ) b e s i d e st h e o r yr e s e a r c h ，w ea l s ob u i l ta3 df a c es y n t h e s i ss y s t e m ，u s i n g v i s u a l n e ta n do p e n g lo nt h ep cp l a t f o r m s y s t e mu s et h em e t h o dm e n t i o n e di n p a p e r ，t h er e s u l to ft h et e s th a sv e r i f i e di t sf e a s i b i l i t y k e yw o r d s ：r e a l i s t i c ，f a c es y n t h e s i s ，m o d e lm o d i f i c a t i o n ，i m a g ep y r a m i d t e x t u r e m a p p i n g i i 西j 匕天学学位论文翔谈产权声醍书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻 读学位期间论文工作豹知i 袋产权单位属予躐裁大学。学校宥毅保留并 向重家有关部门或机构送交论文的复印件秘毫子舨。本人允许论文被 查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学 位论文。间时，本人象话，毕韭后结合学位论文骚究课题蒜撰写鳇文 章一律注明作者单位为两北大学。 保密论文待解密后适用本声明。 学位论文作者签名：_ 叠塑塑指导教师签名：! 煎螋呈 细9 年胃2 f 基函年z 月够强 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，本论文不包含其他入已经发表或撰写过麴研究成果，也不包含 为获得蘸北大学或萁它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 学位论文作者签名：簿襄移 如。绰6 月2 f 研 1 。1 研究背景 第一章绪论 近年来，随着计算机图形学技术的发展，真实感三维人脸合成和表情动画技 术成为了计算机图形学领域的一个研究热点，受到了研究人员越来越多的关注。 人脸建模和人脸表情动画的应用领域很广，其中一个最显著的应用就是影视制 作。近些年上演的影视大片如g 指环王、终结者】1 、玩具总动员、黑 客帝国等电影中，都无不体现了人脸建模和表情动画技术的魅力。人脸建模就 是通过采集一定的人脸信息来建立人脸的三维模型。由于人脸形状的复杂性和多 样性，用普通的三维建模工具来建立人脸三维模型常常是昂贵的和耗时的，而且 还需要具备相应的生理学和图形学知识。所以，目前一般是使用专用的设备或者 通过计算机视觉的方法来获得人脸的三维模型及脸部肤色信息。 人脸是人们日常生活中最常见的事物，可以说人脸是我们人类最熟悉的事 物。虽说人人都有一张脸，都有口、眼、耳、鼻等，但每个人的人脸都不同于他 人，即使是非常相近的双胞胎，也有他们之间的差异之处。这是因为人脸具有个 性化和多样化的特点。世界上没有完全相同的两张人脸，如今开展的如火如荼的 人脸识别方向的研究就是基于人脸的这一特点而展开的，通过识别人脸可以鉴别 出每个人的身份，身份鉴别在国防、公安、银行、海关等重要部门都有重要应用 需求。 同时，人脸也是人类情感表达的窗口，传递着最广泛最丰富的信息，是每个 人内在信息的外在表现，如可以表达人们的情感、精神状态等。眼睛是心灵的窗 口，在表达人类内心世界方面起着无可替代的作用，人脸是人与人之间相互交流 的重要渠道，是人类喜、怒、哀、乐等复杂表情和语言的载体。自古以来，人们 对人脸的复制和再现就一直存有浓厚的兴趣。传统上采用的方法一般有绘画、泥 握、雕刻等，随着科学技术的发展，复制和再现人脸的方法也出现了新的方式。 1 8 3 9 年，世界上诞生了第一台可携式木箱照相机，于是出现了使用照片来复制 和刻画人们某个瞬间的人脸表情。到了1 9 世纪末，又出现了用电影的方式再现 人脸，这些新科技的应用都使人脸的真实感刻画方面达到了前所未有的地步，但 都只限于反映人脸在某个角度的二维信息，无法看到具有真实感的三维人脸。二 十世纪中期，世界上诞生了第一台电子计算机，人们又开始使用计算机来再现人 脸，随着计算机技术及图形可视化技术的迅猛发展，人们使用计算机在人脸复制 方面的技术也日趋成熟，现在使用计算机来再现三维人脸已经成为可能。 尽管目前人们在人脸建模与表情动画方面取得了一些技术上的突破，但还有 很多缺点，如若要获取非常精确的三维模型，通常需要昂贵的专用的三维数据采 集设备，且数据量非常巨大等，远远不能满足各种实际的需求。本文着眼于在不 需要昂贵设备、尽可能地减少交互的情况下，建立具有真实感的三维人脸模型。 1 2 国内外研究现状 由于人脸形状复杂，面部能够自由形变且有无数细微的皱纹，因此建立精确 的人脸模型和真实感人脸非常困难。目前，用计算机合成真实感人脸已经取得了 一些成就。 1 9 7 2 年p a r k e 1 1 首次利用计算机生成人脸图像和人脸动画，利用将近4 0 0 个 顶点组成的2 5 0 个多边形定义人脸表面皮肤，利用余弦插值法计算连续表情的中 间图像，从而实现人脸动画。自此以后，很多学者在这个领域做出很多的研究工 作。l e e 和w a t e r s 等人【2 】用3 d 扫描仪来创建人脸模型，并提出了种处理和改 进扫描结果的方法。以c y b e l w a r e 扫描仪的纹理和深度图作为输入。通过结合手 工交互和对深度图的处理，得到人脸上特征点( 如鼻尖等) 的位置和特征轮廓( 嘴， 眼睛，鼻子等) 的形状，从而根据深度图中的三维信息将一个通用的三维模型变 形为个性化的三维模型。这种建模方法对随后的人脸建模产生很大的影响。 t a k i m o t o 3 j 用两张正交的人脸照片来获得人脸的特征信息，并采用模板匹配技 术提取外围轮廓特征，划分多个矩形区域来检测眼、鼻、口等特征信息，利用这 些信息分别从正侧面调整一般人脸模型以建立人脸的三维模型。p l a t t f 4 】和w a t e r 5 j 等人提出使用肌肉模型来建立虚拟人脸。p i g h i n 6 等人开发了一套系统，通过多 幅照片来进行人脸三维重构，最后可以生成具有相当真实感的三维人脸模型。微 软亚洲研究院的l i u 7 1 等人用人脸视频序列图像作为输入，用户只要在其中两帧 中各标出5 个特征点，就可以自动生成三维人脸模型。r m k o c h e 8 j 等人使用有 限元的方法，开发了一个可以进行面部外科手术计划及手术后面部效果预测的原 型系统。v o l k e rb i a n z 9 1 等人提出了一种新的基于统计归纳的人脸建模方式，他 们建立一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合的正 面投影去逼近这张照片，当线性组合达到最优时，就得到一个新的人脸模型。 国内近几年在人脸合成方面也有很大的进展。哈尔滨工业大学的晏洁【lo 】在 已知的参考人脸中性模型与参考人脸基本表情模型的基础上，根据特定人脸的不 同特征，经过模型变换，完成从参考人脸中性模型到特定人脸中性模型的修改。 邹北骥【1 1 1 等人使用分块造型方法建立了一个人脸弹性体物理模型，并实现了一 个交互表情编辑系统h u f a c e 。北京工业大学的尹宝才等人1 1 2 1 研究人脸建模和 人脸纹理映射的方法。西安电子科技大学的郑飞与陈梅3 】提出了使用人面照片 合成全景图像的方法进行三维重建。 1 3 研究意义及应用领域 随着计算机技术和网络技术的不断发展，社会信息化正逐步成为现实，计算 机在社会日常生活中发挥着越来越大的作用，人们对计算机的依赖程度也越来越 高。同时，随着智能环境( i n t e l l i g e n te n v i r o n m e n t ) 、无所不在的计算( u b i q u i t o u s c o m p u t i n g ) 、智能屋( s m a r tr o o m ) 等新兴技术的兴起，需要计算机系统能够感知 环境中人的存在，智能地理解人的行为动作，适应人的习惯，并且做出相应的响 应，实现更加自然、随意、和谐的人机交互。这些都说明人们在使用计算机的同 时，对计算机的要求越来越高，希望计算机是人性化的，希望计算机能与人进行 有情感的交流。虚拟现实与人机交互是信息学科的两大主题，而人脸表情充当着 人性化的计算机最有特色的方面，越来越受到人们的重视，个性化的虚拟用户化 身与场景的表情交互是其中最具基本性的研究工作，而人脸的三维重建是生成人 脸表情的基础。 人脸建模与表情动画作为计算机图形学研究领域的一个独特分支，得到了研 究人员的广泛关注。人脸建模与表情动画技术具有广泛的潜在应用前景。具体而 言主要应用于如下几个领域： 1 ) 影视制作 人脸建模与表情动画技术在目前我们接触到，且经常感受到的应用就是影视 制作。电影制作者运用人脸建模与表情动画技术制作电影中特殊场景的演员表情 与动作( 即电影效果特技) ，不仅达到以假乱真，而且给观众带来了极大的视觉 冲击。如指环王、终结者i i 、玩具总动员、黑客帝国等无不体 现了人脸建模与动画技术的魅力。 2 ) 游戏娱乐 计算机发展到今天，它的应用不再局限于早期的科学计算，其中的一个重要 应用就是休闲娱乐，网络游戏的蓬勃发展使得游戏产业已成为软件产业的重要组 成部分。人脸建模与表情动画技术就一直应用于游戏制作当中。现如今最火爆的 网络游戏魔兽世界中游戏人物的外形和运动都显得很逼真，让广大玩家叹为 观止。如果在不久的将来，玩家能够把游戏中的虚拟角色换成自己的造型，看到 自己在虚拟世界中“纵横驰骋”，这将又会是一种什么样的感觉，相信众多游戏 玩家都在等待这一天。 3 ) 网络通讯 随着网络带宽的提高和网络技术的发展，信息高速公路的逐步完善，人们希 望能通过网络进行可视化的面对面的交流，可视电话和视频会议越来越受到欢 迎，如何实时的传输人脸图像和接收人脸图像是可视电话和视频会议中一个核心 的问题。 要实时和有效的传输人脸图像，必须要选择合适的视频压缩算法，目前一般 采用低比特率的视频压缩算法。在低比特率视频压缩中，基于模型的图像编码是 一种最有效的技术。应用这种方法，用户的脸首先是一个三维模型。三维模型在 通信会话的开始就传送给接收者。在通信过程中，仅仅只是传递用户的动作，比 如，旋转和变换人头，眼球的运动，嘴的张合等。用户的图像在接收方通过三维 模型重建。该方法的优点是通信过程中只传送一些特定的人脸参数，占用的网络 带宽较小，可以达到可视电话和视频会议的实时要求，提高此类通信系统的可靠 性和健壮性。 4 ) 人机接口 计算机技术的迅猛发展，虽然在速度、容量等性能方面的迅速发展满足了不 断增长的功能需求，但目前主流的g u i f w l m p 界面正遭受业界和用户的不断批 评。人们不再只关注计算机的速度和资源的利用率，人们越来越关心计算机的易 用性，如何使计算机更人性化、智能化成为计算机工作者追求的目标。“简单、 自然、友好、一致”原则的人机界面已经成为人们的迫切需求。人脸建模与表情 动画技术是人机交互领域一个重要的研究方向，它将使得人性化的交互得以实 现。 5 ) 医学领域 在医学领域中，人脸建模与表情动画技术的主要应用是虚拟手术( 即对真实 手术的预先模拟) 。虚拟手术的主要作用是在进行正式手术之前，对手术进行模 拟仿真，模拟手术的过程和展示手术后的治疗效果，然后做出详细准确的手术方 案，从而提高手术的准确性，减少手术的风险。远程医疗也可以运用人脸建模和 表情动画技术降低数据传输量，是医学应用和网络通讯的结合。 6 ) 聋哑人辅助教学 由于聋哑人昕不到声音，只能通过人脸表情与发音时的1 3 型来领会其意思， 所以用计算机生成人脸模型并产生表情动画，对聋哑人进行辅助教学一方面可以 极大的减少老师的工作量，另一方面可以激发学生的学习兴趣，增强学习的效果。 晏洁的聋哑人辅助教学系统是这方面应用的一个例子。 7 ) 虚拟主持人 随着互联网的迅速发展，虚拟主持人和虚拟播音员成为计算机视觉与图形学 热门研究课题之一，通过人脸建模和表情动画技术能够自动生成逼真的主持人和 播音员，还可模拟人的表情，满足虚拟主持人和播音员视频交互的需要。 8 ) 人脸识别 随着真实感人脸建模研究的进展，高精度的三维人脸模型也被用于人脸识 别。高精度的三维人脸模型是三维人脸识别的基础，为识别输入图像中的特定人 脸，借助已有的三维人脸模型库，通过一定的优化算法恢复出特定人脸图像所对 应的三维模型，将此三维模型作为识别模型应用各种三维人脸识别方法进行识 别，从而达到人脸识别的目的。 1 4 研究内容 一般来说，关于三维人脸建模的研究工作，依据输入数据的不同大致可以 分为基于几何和基于图像这两类建模方法。基于几何的建模方法是直接采集真实 人脸的三维数据进行三维重构；需要使用专门的三维扫描设备( 如螺旋c t 机、 三维数字化扫描仪、立体摄像机等) 来直接获取人脸几何的数据来进行三维建模， 能生成逼真的人脸模型，从而满足某些场合的特殊需要，但因其需要价格昂贵的 专用设备，而且需要合成多个形态各异的人脸时必须扫描多个人脸，效率低下， 因而应用范围受到了一定的限制。因此为获取高分辨率、精确的三维人脸模型， 研究者大多采用基于几何的建模方法。基于图像的建模方法是以人脸图像或者视 频序列作为输入数据，提取特定个体人脸的特征数据为输入利用合成算法生成虚 拟三维人脸。一般需要结合人脸的几何特征、人类测量学及计算机视觉等方面的 知识来合成虚拟人脸的三维模型。采用此方法不需要特殊的设备，整个人脸三维 生成过程可通过软件实现，也可以达到较为理想的效果。 基于图像的人脸建模方法由于其成本低廉，适应面广，尤其在对人脸模型精 度要求不是特别高的情况下，应用前景十分广泛。基于几何的建模方法虽然可以 得到精确的三维人脸模型，但由于其需要昂贵的数据采集设备。本文的研究目标 是不使用昂贵的数据采集设备来建立三维人脸模型，故采取基于图像的人脸建模 方法。本文的研究内容主要有： ( 1 ) 人脸特征信息的提取。主要研究从人脸照片中提取出特定人脸的特征 点数据。首先在分析人脸固有生理结构特征的基础上，参照m p e g - - 4 中人脸定 义参数的特征点区域分布，结合人脸合成需求，定义人脸特征点分布。然后根据 定义的特征点，采用特征点模板变形与手工标定结合的方法，从实拍人脸照片中 提取出特定人脸特征点数据信息。 ( 2 ) 特定人三维人脸重建。主要研究根据特征点数据重建出特定人脸的三 维模型。我们先利用第三方软件得到一个通用的三维人脸模型，然后以此为基础， 利用提取的特定人脸的特征点数据，结合真实人脸的表面的几何结构特点，对该 模型进行一系列修改，使其向特定人脸逼近，对于某些局部进行曲面光滑，使之 更精细，最终生成特定人脸的三维模型。 ( 3 ) 三维人脸的真实感处理。没有进行真实感处理的人脸模型缺乏真实感， 影响我们的视觉感观认同。为了逼真地显示三维特定人脸，我们需要从人脸照片 中提取纹理信息，采用图像金字塔法生成纹理拼接图，采用柱面纹理映射技术来 实现二维纹理图像到三维人脸模型的映射，最终生成具有真实感的三维虚拟人 脸。 ( 4 ) 在上述问题理论研究的基础上，使用v i s u a l n e t 和o p e n g l 图形开发 库实现一个真实感三维人脸合成系统。 1 5 本文章节安排 第一章，绪论。分析了真实感人脸合成技术与表情动画技术的研究背景、意 义及其应用领域，总结了该领域的国内外研究现状。最后，明确了本文要研究的 具体内容。 第二章，人脸生理结构。介绍了人脸的生理结构特征。从生理上说，人脸由 三部分组成，分为颅骨、肌肉组织和皮肤( 包括皮下组织和表面毛发) 。因颅骨 和肌肉组织的形态基本上决定了人脸的造型特征，分析人脸生理结构特征为后续 人脸特征点定义和人脸合成打下基础。 第三章，基础数据的获取。说明了本文要使用的基础数据人脸模型和人 脸图像的获取过程。 第四章，特定人脸模型的建立。在分析人脸生理结构特征和器官分布规律的 基础上，并参照m p e g - - 4 标准中人脸定义参数的特征点区域分布，定义了本文 的人脸特征点。论述了应用立体视觉原理提取出特定人脸的特征点信息，对通用 人脸模型进行变形修改，最终得到特定人脸的三维人脸模型的过程。 第五章，真实感处理。详细论述了人脸模型真实感处理中的光照处理和纹理 贴图。采用图像金字塔法处理纹理拼接图的拼接裂缝，本文对此做了详细的讨论。 利用柱面纹理映射技术实现对特定人脸模型的纹理贴图，取得了具有一定真实感 的特定三维人脸。 第六章，系统设计与实现。介绍了我们开发的真实感人脸合成系统实验平台 的功能设计目标及系统的功能结构，给出了整个系统的运行流程，所有功能都建 立在前面几章的研究基础之上，最后展示了系统运行过程中的效果图。 第七章，结论与展望。对本文工作做一总结，并给出了本研究领域未来的一 些研究方向。 一1 一 第二章人脸生理结构 人脸是由颅骨、肌肉和皮肤( 包括皮下组织和表面毛发) 组成的【”j 。颅骨 决定人脸的整体外观轮廓，如我国传统人相“八格”的区分就是完全由颅骨来确 定的i 惰 ；肌肉依附在颅骨上，其各种变动产生人脸的相应表情和动作：皮肤富 有弹性，它表征人脸外在的细微特征。颅骨和肌肉组织的形态基本上决定了人脸 的造型特征。人脸特征点的定义，必须建立在头部的颅骨与肌肉组织结构特点之 上。 2 1 头部的颅骨结构 头部由2 3 块骨骼组成，其中头盖骨8 块，面部1 5 块，除下颌骨能活动外， 其他的骨架是固定的，形成一个坚固的颅腔。眼眶以上为额骨，额骨以上为头盖 骨，两侧向后与颞骨相连。颧骨上连额骨，下接颌骨，横接耳孔。上颌形成牙床， 鼻骨形成鼻梁，眼眶围于颧骨、鼻骨于额骨之中。下颌骨像个马蹄形，上端与颞 骨部分连接，通过咬肌的作用，可以上下活动，头颅骨本身是不能活动的。头骨 的起伏，形成形体上的变化，是表现造型特征的主要部位，尤其是隆起的骨点， 更是造型的重要标志。 头部的基本骨骼分为脑颅和面颅两部分。脑颅位于颅的后上部，呈卵圆形并 围成颅腔，容纳并保护脑。面颅为颅的前下部，形成面部的基本轮廓，是眼眶、 鼻腔、口腔的骨性支架。颅骨的具体结构见图2 1 。 图2 1 颅骨结构 2 1 1 脑颅 脑颅由8 块颅骨构成，其中单块的从前向后有额骨、筛骨、蝶骨和枕骨，位 于颅的中间部，双块的位于两侧，有颞骨和顶骨。 额骨：l 块，位于颅的前上部，由水平部和竖立部构成。水平部两侧为三角 形骨板，作为颅前窝的底和眼眶的上壁，称为眶部，两眶部之间为鼻部，下方和 筛骨结合。竖立部分为贝壳状的骨板，称为额鳞，额鳞与眶部上缘之间的弓形隆 起称为眉弓，两侧眉弓之间的稍突出部分为眉间。 筛骨：l 块，位于颅前窝的中央部，左右眼眶之间，由筛板、垂直板及两侧 的筛骨迷路组成。筛板分隔颅腔与鼻腔；垂直板分隔鼻腔称为左右两个部分，构 成鼻中隔的一部分；筛骨迷路的外侧壁为一菲薄的骨板，称为眶板，参与构成眼 眶的内侧壁，迷路的外侧壁组成鼻腔的外侧壁。 蝶骨：1 块，蝶骨形如展翅的蝴蝶，位于颅底的中央部，前接额骨与筛骨， 后接枕骨，两侧与颞骨相接。 枕骨：l 块，枕骨位于脑颅后下方，轮廓近似四边形，内面凹，外面凸。中 央有一大孔，称为枕骨大孔。 颞骨：成对，位于脑颅的侧部，介于蝶骨和枕骨之间，其形状不规则，以外 耳门为中心可分为鳞部、鼓部、乳突部、岩部四部分。 顶骨：成对，位于颅盖部中线的两侧，介于额骨和枕骨之间，为成对的四方 形骨板。顶骨外侧面最凸的一点，称为顶结节。 2 1 2 面颅 面颅共由1 5 块颅骨构成。在鼻腔两侧，口腔上方，左右各有一块上颌骨， 上颌骨上部的内侧，有一对长方形的鼻骨，鼻骨的后方，有一对小的呈方形的泪 骨。两上颌骨外上方各有块突起呈菱形的颧骨。上颌骨的后方接腭骨。上颌骨 的内侧面有一对薄而卷曲的下鼻甲。在鼻腔的正中有一块斜方形的犁骨，它构成 鼻中隔的下部。舌骨一块，位于喉的上方，借韧带与颅底连接。下颌骨一块，位 于面颅的前下方。上颌骨和下颌骨是面颅的主要部分，其它都较小。除舌骨游离 外，其余均与上颌骨相邻接。 上颌骨：上颌骨左右成对，是构成脸面的主要基础，可分为一个体和四个突 起。上颌体为上颌骨的主要部分，有四个面，其中一个面为眶面，作为眼眶的下 壁；额突为上颌体的上内侧突起，其上端与额骨相接：颧突为上颌体的上5 t - n 突 起，与颧骨相接；牙槽突为上颌体向下的弧形突起，下缘有牙槽；腭突为上颌体 向内发出的水平骨板，与对侧的腭突结合，构成硬腭的前大部。 鼻骨：成对，构成外鼻的骨性基础。 颧骨：成对，位于上颁骨的外上方。 泪骨：成对，位于眶内侧壁的前部，为一小而薄的骨片。 下鼻甲：为一卷曲的薄骨片，呈水平位附于鼻腔的外侧壁。 腭骨：成对，位于上颌骨的后方。 犁骨：l 块，为垂直位的薄骨板，构成骨性鼻中隔的后下部。 下颌骨：l 块，居上颌骨的下方。下颌骨为呈蹄铁形的单一整体，分为一体 两支。下颌体居中央，呈马蹄形，其上缘有容纳下颌牙根的牙槽，称为牙槽缘。 下缘厚而钝，为下颌底。下颌体外面正中向前隆起，称为颏部。两侧各有一颏孔。 下颌支为由下颌体后端向上伸出的长方形骨板，其上缘有两个突起，前突称为冠 突，后突的上端称为下颌头。下颌支内面中央有一孔，称下颌孔，由此孔通入下 颌管，此管贯穿骨质。开口于颏孔，管内有分布于下颌牙的神经和血管通过。下 颌体和下颌支会合处形成下颌角，角的外面为粗糙面有咬肌附着。 2 1 3 颅的整体观 除了颌骨和舌骨外，颅骨借膜和软骨牢固结合成一体，没有活动。 1 ) 颅顶面观 呈卵圆形，前窄后宽，光滑隆凸。顶骨中央最隆凸处，称顶结节。额骨与两 侧项骨连接构成冠状缝。两侧项骨连接为矢状缝，两侧顶骨与枕骨连接成人字缝。 矢状缝后份两侧常有- d , 孑l ，称顶孔。 2 ) 颅后面观 可见人字缝和枕鳞。枕鳞中央最突出部是枕外隆凸。隆凸向两侧的弓形骨嵴 称上项城其下方有与上项线平行的下项线。 3 ) 颅内面观 颅盖内面凹陷，有许多与脑沟回对应的压迹与骨嵴。两侧有树技状动脉沟， 是脑膜中动脉及其分支的压迹。正中线上有一条浅沟为上矢状寞沟，沟两侧有许 多颗粒小凹。 4 ) 颅底 颅底可分为颅底内面和颅底外面。颅底内面从前向后形成了颅前窝、颅中窝 和颅后窝。颅前窝可见筛板、筛孔和鸡冠。颅中窝中央部上面的浅窝称为垂体窝。 颅后窝中部有枕骨大孔。颅底外面观：颅底外面中央部有一枕骨大孔，孔的前外 侧有一对隆起，称为枕骨髁。枕骨髁前外侧有一细长突起，称为茎突。枕骨外面 中央有一隆起，称为枕外隆突，其两侧有弧形的骨脊称为上项线。 5 ) 颅侧面观 由额骨、蝶骨、顶骨、颞骨及枕骨构成，还可见到面颅的颧骨和上、下颌骨。 侧面中部有外耳门，门后方为乳突，前方是颧弓，二者在体表可摸到。颧弓将颅 侧面分为上方的颞窝和下方的颞下窝。颞窝的上界为颞线，起自额骨与颧骨相接 处，弯向上后，经额骨、项骨、再转向下前达乳突根部。颞窝前下部较薄，在额、 顶，颞，蝶骨会合处最为薄弱，此处常构成h 形的缝，称翼点。颞下窝是上颌骨体和 颧骨后方的不规则间隙。容纳有咀嚼肌和血管神经等，向上与颞窝通连。 6 ) 颅前面观 分为额区、眶、骨性鼻腔和骨性口腔。 额区：为眶以上的部分，由额鳞组成。两侧可见隆起的额结节，结节下方有 与眶上缘平行的弓形隆起，称眉弓。左右眉弓间的平坦部，称眉间。眉弓与眉间 都是重要的体表标志。 眶：为一对四面锥体形深腔，底朝前外，尖向后内，容纳眼球及附属结构， 可分上、下、内侧、外侧四壁。 骨性鼻腔：位于面颅中央，介于两眶和上颌骨之间，由犁骨和筛骨垂直板构 成的骨性鼻中隔，将其分为左右两半。骨性鼻腔位于面部中央，上至颅底，下达 硬腭，由鼻中隔分为左右鼻腔，前有梨状孔，后有鼻后孔。侧壁有三片卷曲的薄 骨片，分别称为上鼻甲、中鼻甲和下鼻甲。在上颌骨、额骨、筛骨和蝶骨内的含 气腔隙称为上颌窦、额窦、筛窦和蝶窦。 骨性口腔：骨性口腔由上颌骨、腭骨及下颁骨围成。顶即骨腭，前壁及外侧 壁由上、下颌骨牙槽部及牙围成，向后通咽，底缺空，由软组织封闭。 2 2 人脸面部的肌肉组织 2 2 1 肌肉组织的基础知识 肌组织是由有收缩能力的肌细胞组成。肌细胞的收缩活动构成了人体各种形 式的运动。例如四肢运动、胃肠蠕动、心脏搏动等。肌细胞细长呈纤维状，所以 又称肌纤维。肌纤维的细胞膜称肌膜，细胞质称肌浆。在肌纤维间有神经、血管 和少量结缔组织分布。根据肌细胞的结构和功能特点，可将肌组织分为骨骼肌、 心肌和平滑肌三种。 骨骼肌一般通过腱附于骨骼上，但也有例外，如食管上部的肌层及面部表情 肌并不附于骨骼上。心肌分布于心脏，构成心房、心室壁上的心肌层，也见于靠 近心脏的大血管壁上。平滑肌分布于内脏和血管壁。骨骼肌与心肌的肌纤维均有 横纹，又称横纹肌。平滑肌纤维无横纹。 肌肉按形态可分为长肌、短肌、阔肌和轮匝肌四类。每块肌肉按组织结构可 分为肌质和肌腱两部分。肌质位于肌肉的中央，由肌细胞构成，有收缩功能；肌 腱位于两端，是附着部分，由致密结缔组织构成。每块肌肉通常都跨越关节附着 在骨面上，或一端附着在骨面上，另一端附着在皮肤。一般将肌肉较固定的一端 称为起点，较活动的一端称为止点。 肌肉的辅助结构主要有筋膜、滑液囊和腱鞘，是肌肉周围的结缔组织所形成 的结构，有保护肌肉和辅助肌肉运动的作用。 2 2 2 面部肌肉组织 人脸面部的肌肉组织为骨骼肌，依附在颅骨和人脸皮肤上，面部肌肉按功能 可分为咀嚼肌和面肌( 表情肌) 两大类，咀嚼肌包括咬肌、颞肌、翼外肌和翼内 肌等：表情肌主理而部的表情，如额肌、皱眉肌、眼轮匝肌、上唇方肌、口轮匝 肌、下唇方肌等。人脸面部肌肉组织分布如图2 2 ( a ) ( b ) 所示。 1 ) 面肌 面肌为扁薄的皮肌，位置浅表，大多起自颅骨的不同部位，止于面部皮肤， 2 - - 主要分布于面部孔裂周围，如眼裂、 种，有闭合或开大上述孔裂的作用， 种表情。人类面肌较其他动物发达， 活动有关，人耳周围肌已明显退化。 a 颅项肌 口裂和鼻孔周围，可分为环形肌和辐射肌两 同时牵动面部皮肤显示喜、怒、哀、乐等各 这与人类大脑皮质的高度发展，思维和语言 颅项肌( e p i c r a n i u s ) 阔而薄，左右各有一块枕额肌，它由两个肌腹和中间 的帽状腱膜构成。前方的肌腹位于额部皮下称额腹，后方的肌腹位于枕部皮下称 枕腹。帽状腱膜很坚韧，连于两肌腹，并与头皮紧密结合，而与深部的骨膜则隔 以疏松的结缔组织。枕腹起自枕骨，额腹止于眉部皮肤。作用：枕腹可向后牵拉 帽状腱膜，额腹收缩时可提眉并使额部皮肤出现皱纹。 b 眼轮匝肌 眼轮匝肌( o r b i c u l a r i so c u l i ) 位于眼裂周围，呈扁椭圆形。作用：使眼裂闭 合。由于少量肌束附着于泪囊后面，故当肌收缩闭眼时，可同时扩张泪囊，促使 泪液经鼻泪管流向鼻腔。 射啦 鬣海晕诗 k 一嘞i f 1 茚驵 图2 2 ( a ) 面部肌肉组织正面 c 口周围肌 口周围围肌位于口裂周围，包括辐射状肌和环形肌。辐射状肌分别位于口唇 的上、下方，能上提上唇，降下唇或拉口角向上、向下或向外。在面颅深部有一 对颊肌( b u c c i n a t o r ) ，此肌紧贴口腔侧壁，可使唇、颈紧贴牙齿，帮助咀嚼和 吸吮，还可以外拉口角。环绕口裂的环形肌称口轮匝肌( o r b i c u l a r i s o n s ) ，收缩 时关闭口裂( 闭嘴) 。 d 鼻肌 鼻肌不发达，为几块扁薄小肌，分布在鼻孔周围，有开大或缩小鼻孔的作用。 图2 2 ( b 1 面部肌肉组织侧面 2 ) 咀嚼肌 咀嚼肌主要有咬肌、颞肌、翼外肌和翼内肌，如图2 3 所示。它们均分布于 下颌关节周围，参加咀嚼运动。咬肌和颞肌的作用主要是上提下颌骨，使上、下 颌牙咬合。 a 咬肌：咬肌( m a s s e t e r ) 起自颧弓的下缘和内面，向后下止于下颌支和下 颌角的外面。 b 颞肌：颞肌( t e m p o r a l i s ) 起自颞窝，肌束如扇形向下会聚，通过颧弓的 深方，止于下颌骨的冠突。 c 翼内肌：翼内肌( m e d i a lp t e r y g o i d ) 起自翼窝，向下外方止于下颌角的 内面。 d 翼外肌：翼外肌( 1 a t e r a lp t e r y g o i d ) 在颢下窝内，起自蝶骨大翼的下面和 翼突的外侧，向外方止于下颌颈。 图2 3 咀嚼肌的组成 2 3 脸部主要器官的外形结构 人脸面部的主要特征器官有眼睛、眉、鼻子、嘴巴、耳朵。 眼睛的外形是不匀称的杏仁形状，由眶部、眼球、眼睑三个部分组织构成。 人的眼球近似球形，位于眼眶内，由软组织衬垫，其中一部分眼球暴露于眼眶之 外。眼眶凸挺的边缘，是保护眼睛的骨结构。眼睛可以看成身体的一个半暴露的 内部器官，暴露的那部分眼球由上眼睑和下眼睑覆盖。上眼睑比下眼睑灵活，而 且面积也更大，线条更弯曲。上眼腧的弧度大，以眼球的水平平分线的两端为起 止点作一较大弧线，下眼睑沿眼球的底部作一较小弧线。下限睑后缩，上限睑前 伸。上眼喻圆弧上的最高点接近眼睛的内角，大致在眼宽的三分之一处。下眼睑 的最低点靠近外眼角，与外眼角的距离约为三分之一眼宽。 眉的结构比较简单，外形一般呈圆弧形。由于种族和个体的不同，在外形上 有一定的区别。眉的主要外形类别有剑眉、柳叶眉、八字眉、蛾眉。 鼻子居于面颅中央，其上方为颅前窝和颅中窝，两侧为眼眶，下方是口腔和 鼻咽，被上述结构所环绕，相互间仅以薄骨板相隔。鼻分为三部分，即外鼻、鼻 腔、鼻窦。鼻子的外形似一基底向下的三棱锥体，上端位于两眶之间，连于额部， 称鼻根；下端向前突起称鼻尖；鼻尖与鼻根之间为鼻梁；鼻梁两侧为鼻背：鼻尖 两侧的半圆形膨隆部分为鼻翼；锥体的底部称鼻底；鼻底上有两个前鼻孔；鼻孔 问的软组织分隔是鼻小柱，亦称为鼻中隔。 嘴的底层结构由两排宽阔的齿槽弓所构成，称为上颌弓和下颌弓。当两排齿 槽弓闭合时，便形成了微凸的口部。覆盖上颌弓与下颌弓的是具有环行方向的口 轮匝肌，其外形是饱和的凸突的口唇。上唇的外形类似于一个扁平的，拉长了的 字母m 。下唇轮廓像一个拉长了的字母w ，椭圆形的两小瓣从下唇中部向外膨 胀，形成字母w 的左右外臂。 耳朵的结构分为三部分：外耳、中耳、内耳。耳朵的基本外形类似一个壳状 物，其轮廓像一个字母c 。整个耳部位于两条线之间，即由眉上部和鼻底部引出 的两条水平线之间。耳宽为耳长的二分之一。耳宽为耳的最大宽度，即耳轮的最 大间距。 2 4 本章小结 本章主要介绍了人脸的生理结构特征。从生理上说，人脸由三部分组成，分 为颅骨、肌肉组织和皮肤( 包括皮下组织和表面毛发) 。因颅骨和肌肉组织的形 态基本上决定了人脸的造型特征，所以，本章首先对人脸的整体生理结构特征做 一个介绍和分析，为后续章节的特征点定义打下基础。 第三章基础数据的获取 本文研究的是通过二维人脸照片，采用通用人脸模型适配变换的方法合成特 定人脸的三维模型。因此，必须首先获取一个通用的中性人脸模型。在一般通用 人脸模型的获取方法上，可以使用专门的三维扫描设备( 如螺旋c t 机、三维数 字化扫描仪、立体摄像机等) 来直接获取人脸几何的数据来建立一个中性三维模 型，也可以利用第三方建模软件提供的头部模型数据获取一个通用人脸模型。第 一种方法虽然获得的模型数据精度高，但需要昂贵的专用设备。本文使用第三方 建模软件来获取一个通用人脸模型。 3 1 人脸模型分类 当前存在许多种人脸模型，其中具有典型意义的有：基于参数的模型、肌肉 模型、简单弹性网格模型、物理学模型。 1 ) 基于参数的模型 p a r k e 1 4 1 于8 0 年代初提出了一种参数化模型，他的目标是基于少量的控制参 数，通过变形来生成各种不同的人脸的面部表情，也就是说对人脸模型进行面部 表情参数化。从理论上来说，通过选择适当的参数值，模型可以变形产生许多面 部表情。人脸的参数化模型一般会有两类参数：构造参数和表情参数。构造参数， 包括脸型的整体大小，以及五官的具体大小和形状，它是用于产生各种各样的人 脸形状。表情参数是描述面部器官的运动情况，譬如眨眼、眉毛的抬起、下巴的 拱起等动作，用于产生人脸的各种表情。但是，当前大部分基于该类模型的研究 所提取的参数都比较粗糙，因而产生的效果也就低于期望值。参数化人脸模型如 图3 1 所示。 图3 1p a r k e 的参数化人脸模型 一l 7 一 2 ) 肌肉模型 为了提高逼真度，w a t e r s l 5 1 提出了一种基于肌肉物理特性的模型。该模型可 以根据脸部肌肉的动作来合成许多脸部组织的细微变形，模型采用弹簧模型来模 拟皮肤和肌肉的运动。这种模型要求掌握脸部肌肉的解剖结构、组织学、动力学 等方面的知识。该模型可以实现逼真的脸部变形，在实现人脸动画时用得较多。 肌肉模型如图3 2 所示。 图3 2w a t e r s 的肌肉人脸模型 3 ) 简单弹性网格模型 简单9 单性网格是一种拓扑不变的网格模型，它通过解一组局部平衡方程来模 拟脸部皮肤的粘弹特性，缺点是方程的计算量比较大。该种人脸模型在变形时要 求存移动某一个或某组特征网格点的同时，相关的非特征点要做相应地移动， 而且要符合弹性特征，即当特征点恢复到原来位置时，非特征点也要能恢复到原 来的位置。 4 ) 物理学模型 t e r z o p o u l o s 和w a t e r s 在文献 1 5 中提出一种新的人脸模型一基于物理的 人脸模型。物理学模型是近年来发展最快的一种人脸模型，能达到相当逼真的面 鄱变形效果。它主要使用多层的弹性网格和有限元网格表示皮肤的物理特性，还 采用了一种保持体积恒定的变形规则。变形都是由外部力量( 诸如肌肉收缩) 引起 的，通过解大规模的动力方程组来模拟面部变形。这种模型甚至还可以模拟出逼 真的头发运动和眼泪的流动，当然，它的计算量是惊人的。t e r z o p o u l o s 和w a t e r s 的人脸模型变形前后如图3 3 所示。 ( a ) ( b ) ( a ) 未变形的人脸模型( b ) 变形后的人脸模型 图3 3 人脸模型的变形 3 2 通用人脸模型的获取 人脸模型的获取渠道多种多样。使用专1 7 的三维扫描设备( 如螺旋c t 机、 三维数字化扫描仪、立体摄像机等) 是获取人脸模型的最直接的方法，由此得到 的人脸模型也比较精确，但因专门的三维扫描设备价格昂贵，获取途径并不方便。 几何建模器( g e o m e t r i cm o d e l e r s ) 是最传统的面部造型工具。通过标准的计算机 图形技术可以进行人脸面部大多数器官的几何建模，并且可以设计任意的面部模 型。但由于面部结构的复杂性，该设计过程需要较多的时间和设计技巧。 另一个简便方法是通过第三方三维建模软件( 如3 dm a x ，m a y a ，p o s e r ， f a c e g e n 等) 来获取一个通用的三维人脸模型。本文使用的通用人脸模型是通过 第三方三维建模软件p o s e r5 0 导出的一个人脸模型。p o s e r5 0 是由c u r i o u s l a b s 公司开发的人体三维动画制作软件。它提供了丰富多彩的人体三维模型， 使用这些模型可轻松快捷地设计人体造型和动作，免去了人体建模的繁琐工作。 本文使用的通用