（计算机软件与理论专业论文）三维人脸建模技术研究.pdf

! 翌竖婴主兰生堡苎二= 三壁矍塞堡堑查翌壅 三维人脸建模技术研究 舒新峰 西北大学计算机系可视化研究所2 0 0 2 5 摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富有挑战性的课题。随 着虚拟现实、影视制作、游戏娱乐、可视电话等应用的发展，这一研究领域越来 越受到人们的关注。本文主要从事此方面的研究。 本文介绍了三维人脸模型的应用前景及国内外的研究现状，并对现有的三维 人脸建模技术进行了分析比较：在研究了人脸生理结构特点的基础上定义了人脸 的特征点；进行了从人面照片中提取特定人脸的特征点数据的研究，并给出了具 体实现思路和算法；使用特征点数据进行三维人脸重建研究。本文的主要研究内 容包括： 1 ) 人脸特征点定义。主要研究内容是确定真实人脸的特征点选取。这些特 征点要求既能反映人脸的整体几何结构，又能表示五官的局部特征和在 人脸上位置分布。在研究了人脸的颅骨、肌肉组织特点的基础上，给出 了人脸特征点的定义及选取规则。 2 ) 基于照片的人脸特征点提取。主要研究从人面照片中提取出特定人脸的 特征点数据。本文利用立体视觉的原理，采用特征点模板变形的方法， 给出从实拍人面照片中提取出特定人脸特征点数据的思路及具体的实现 算法。 3 ) 三维人脸重建。主要研究从特征点数据重建出特定人脸的三维模型。我 们采用模型变形的方法，使用特定人脸的特征点数据，结合真实人脸的 表面的几何结构特点，对般人脸进行修改变形，使其向特定人脸逼近， 从而完成三维重建。 作为三维人脸建模技术的研究及应用，我们使用v i s u a lc + + 6 0 设计实现三 维人脸分析及建模系统f a c e 3 d r e c o n 。该系统具有人脸特征分析、基于人面正侧 面照片的特征点提取、三维人脸重建功能。实验结果表明，对于给定的人面正、 侧面照片进行三维建模，具有较好的真实感效果。、f 型 关键词：三维人脸建模：三维人脸模型；人脸特征；特征提取：三维曲面造 旦苎查兰堕主兰垒堡兰= 二三丝叁堕垄塑茎查堕窒 3 df a c e m o d e l i n g s h u x i n f e n g v i s u a l i z a t i o nt e c h n o l o g y i n s t i t u t e ，d e p a r t m e n to f c o m p u t e rs c i e n c e ，n w u2 0 0 2 5 a b s t r a c t g e n e r a t i n gr e a l i s t i c3 dh u m a nf a c em o d e l sh a sb e e nap e r s i s t e n tc h a l l e n g e ri n c o m p u t e rg r a p h i c s w i t ht h ed e v e l o p m e n to fv i r t u a lr e a l i t y , m o v i em a k i n g ，v i s u a l t e l e p h o n e ，e t c ，t h i sr e s e a r c ha r e ai sn o wr e c e i v i n gm o r ea t t e n t i o nt h a ne v e rb e f o r e t l i st h e s i sm a k e sa d e e p l y r e s e a r c ho nt h ea r e a t h i st h e s i s g i v e s t h ef u t u r e a p p l i c a t i o no f3 df a c em o d e l sa n dt h e p r e s e n t r e s e a r c h ；d e f i n e st h ef a c i a lf e a t u r ep o i n t so nt h er e s e a r c ho fh u m a nf a c e sc h a r a c t e r ； r e s e a r c h e so n e x t r a c t i n gf a c i a lf e a t u r ep o i n t sf r o mh u m a n f a c e si m a g e s ，a n d g i v e st h e d e t a i la l g o r i t h m ；f i n i s h e sg e n e r a t i n g3 df a c em o d e lu s i n gt h ed e f i n e df a c i a lf e a t u r e p o i n t s t 1 1 em a i n r e s e a r c ht o p i c si n c l u d e ： 1 ) d e f i n i n g f a c i a lf e a t u r ep o i n t s t h et o p i ci st od e f i n et h ef e a t u r ep o i n t so f ar e a l f a c et h e s ef a c i a lf e a t u r ep o i n t sm u s ts h o wn o to n l yt h ew h o l e o u t l i n eo faf a c e b u ta l s ot h el o c a lc h a r a c t e ro ft h ef a c ec o m p o n e n t s o nt h er e s e a r c ho fh u m a n c r a n i u ma n dh e a dm u s c l e ，t h ed e f i n i t i o no ft h ef a c i a lf e a t u r e p o i n t si sg i v e n 2 )i m a g eb a s e df a c i a l f e a t u r ep o i n t se x t r a c t i o n t h e t o p i c i st oe x t r a c tf a c i a l f e a t u r ep o i n t sf r o mf a c ei m a g e sg i v e n w eu s et h et h e o r y o fc o m p u t e rs t e r e o v i s i o na n dt h em e t h o do fd i s t o r t i o n0 nt e m p l a t eo ff a c i a l f e a t u r ep o i n t st o e x t r a c td a t af r o mf a c ei m a g e s 3 13 df a c em o d e l i n g t h ec o n t e n to ft h er e s e a r c hi st og e n e r a t es p e c i f i c3 df a c e m o d e l u s i n gt h ef a c i a lf e a t u r ep o i n t s w ef i n i s h e ds y n t h e s i z i n g3 df a c em o d e l o f t h e s p e c i f i cp e r s o nb ym o d i f 弭n g t h ec o m m o nf a c em o d e l u s i n g t h ep e r s o n s f a c i a lf e a t u r e p o i n t s a st h er e s e a r c ha n d a p p l i c a t i o no f 3 df a c em o d e l i n g ，f a c e 3 d r e c o ni sd e v e l o p e d u s i n gv i s u a lc + + 6 0 t h es y s t e mc a l lb eu s e dt oa n a l y z et h ef e a t u r eo ff a c e e x t r a c t f a c ef e a t u r ep o i n t sf r o mf r o n ta n ds i d ef a c ei m a g e s ，g e n e r a t e3 df a c em o d e lf r o mf a c e f e a t u r ep o i n t s f o rg e n e r a t i n g3 df a c em o d e l sf r o mf r o n ta n ds i d ei m a g e s ，t h er e s u l t l o o k sr e a l i s t i c k e y w o r d s ：3 df a c em o d e l i n g ；3 df a c em o d e l s ；f a c i a lf e a t u r e ；f e a t u r ee x t r a c t i o n ；3 d 独创性声明 y 五2 9 7 5 s 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得酉j e 盍堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献已在 论文中作了明确的说明并表示致谢。 学位论文答辩人签名：奄寻新峰 签名日期：王叻1 年4 月，。日 塑! ! 茎兰堕主兰堡丝苎 1 1 选题背景 第一章绪论 人脸作为个体的门户，是人体上最具表达力的一部分，在人类的交流中占 据着举足轻重的地位。从人脸上我们不但可以识别出人的身份还可以观察出 他的喜怒哀乐，推断出他的个性等。 自古咀来，人们对人脸的复制一直抱有着浓厚的兴趣。早期常采用的方法 包括手工绘画、泥塑、雕刻等，随着科学技术的发展，出现了照片和电影，但 其只限于反映人脸在某个角度的二维信息，无法看到具有真实感的三维人脸。 自从二十世纪中期第一台电子计算机诞生以来，计算机技术得到迅猛发展，人 们使用计算机在人脸复制方面的技术也日趋成熟，现在无论是二维还是三维人 脸，都能更加精确和富有创造性地在计算机上进行复制和合成。 计算机重构的三维人脸造型已经广泛的应用于电影制作、游戏娱乐、医学 辅助诊断治疗、教学科研等领域，我们在电影和游戏中也常常可以看到虚拟角 色的精彩表演，如著名的3 d 探险游戏古墓丽影( t o m b r a i d e r ) 中的主人公“劳 拉”就是一个用计算机合成的，她的逼真的形态、细腻的表情、优美的动作深 受人们的欢迎。 尽管目前在三维人脸的重构和复制上已经取得了一些技术上的突破，但还 是不尽人意，如需要专用的设备，且数据量大，不便于存储及网络上传输等。 如何在不需要昂贵设备，尽可能地减少交互的条件下，能创建具有真实感的人 脸造型，这是本文的研究重点，旨在找到一些简捷而高效的方法来解决这些问 题。 1 2 研究意义 1 9 6 3 年伊凡苏依兰( i v a ns u t h e r l a n d ) 在麻省理工学院发表了名为画板 的博士论文，标志着计算机图形学( c o m p u t e rg r a p h i c s ) 正式诞生以来至今 西北大学硕士学位论文 已有近四十年的历史。在过去的四十年里。计算机图形学在计算机辅助设计与 制造、科学计算可视化、图形实时绘制与自然景物仿真、计算机动画、用户接 口、计算机艺术等领域的研究工作取褥了许多令人瞩目的成就。 计算机在处理图形图像方面的优异性能表现，得到了一些富有想象力和创 造力的人们的重视，他们尝试着用计算机来复制和合成三维人脸造型并获得了 巨大的成功。在日常生活中我们都可以领略到三维人脸造型所展现的撼人魅力， 如电视节目中的虚拟主持人、电影中的虚拟演员等。 三维人脸造型具有广泛的应用前景，覆盖范围包括体闲娱乐、通讯、医疗、 教育等领域，具体应用包括： 电影、电视制作 三维人脸造型在娱乐方面最显著的应用是被广泛地用于电影、电视中虚拟 演员与虚拟主持人的制作。从美国颇受观众喜爱的影片花木兰、埃及王子、 真实的谎言、夺面双雄、黑与白、m a g i c 到我国动画片的宝莲灯 等电影的制作中都无不体现了人脸造型和动画技术的魅力。 人机界面 很多具有人性化的人机界面充分利用了人脸造型的魅力。我们很难找到一 个计算机用户对他所使用的人机界面是打满分的。现有的人机界面存在的一个 普遍问题是专业性太强，往往要花费很长的时间才能学会使用一个新系统。若 能给用户提供熟悉的接口，比如人脸的形式出现，而不是面对单调的键盘，那 将创造出多么令人舒畅的氛围! 面部整形手术及医学研究 医疗中脸部造型的主要应用是脸部整形手术和心理研究等领域。在进行面 部的整形手术之前，可以模拟手术的过程和展示手术后的治疗效果。不断发展 的人脸造型与动画系统也为心理学家进行人脸运动和表情的研究提供了依据。 心理学家可以用人脸运动的计算机模型来实现他们的研究。这比以前他们必须 使用照片或随意地叫人刺激肌肉来做研究更方便。 游戏娱乐 计算机除了用于工作学习之外另一个重要的用途就是用于休闲娱乐，游 戏当然就是首当其冲了。游戏软件业已成为计算机软件的支柱产业之一a 现在 一亘些查兰堡主兰堡堡塞 的游戏不足之处在于，般只能是玩家操纵游戏中的虚拟角色从事某种探险或 战役等活动，缺乏参与感。如果我们能将游戏中的虚拟角色换成玩家自己的造 型，能看着自己本人在游戏中“纵横驰骋”，那对广大玩家来说恐怕不只是爱不 释手了吧。 辅助教学 使用人脸造型的一个应用是作为辅助教学的工具。教人学习发音是一项艰 辛而又单调的工作，而当学生在说话和听力方面有障碍时，更是如此。相反， 学生跟着计算机虚拟的语言老师学习，想怎么学就怎么学。一方面不必老师反 复地教学，极大的减少了工作量，令一方面可以激发学生的学习兴趣，增强学 习的效果。 通讯 电话作为人们日常生活、工作中不可或缺的通讯工具，以其方便、快捷等 特点被广泛应用，但普通电话机只能是“只闻其声，不见其人”。随着生活水平 的提高，希望在通话的同时能看到对方的音容笑貌成了人们梦寐以求的愿望。 虽然目前可视电话技术已经成熟，在市场上已经可以看到成型的产品出售， 但其对通讯线路的带宽要求比较高，只适用用于带宽较高的专线用户，难以满 足广大用户的需要。如果能实现“低带宽远程会议只需在发送端从实况录像 实时提取人脸控制参数，在接受端，恢复出人脸运动。”，那么在就可以在目前 的普通通讯线路上实现“面对面的交流”，必将使得可视电话得到广泛普及。 1 3 国内外研究现状 国外在三维人脸建模方面的研究工作开展的比较早。从1 9 7 4 年p a r k e 1 首 先用计算机生成人脸图像以来，2 0 多年间计算机图形工作者在这方面的研究取 得了许多重要的研究成果。近几年里，l e e 等人【2 用3 d 扫描仪来创建人脸模 型，并提出了一种处理和改进扫描结果的方法。t a l k d r a o t o 3 用两张人脸正、侧 面照片来建立人脸模型。p i g h i n 等人【4 】开发了一套系统，通过多幅照片来进行 人脸三维重构，最后可以生成具有相当真实感的三维人脸模型。微软研究院的 z h e n g y o uz h a n g 5 等人用人脸视频作为输入，用户只要在其中两帧中各标出5 个特征点就可以自动生成三维人脸模型。r m k o c h 6 等人使用有限元的方 西北大学硕士学位论文 法，开发了一个可以进行面颅部外科手术计划及手术后面部效果预测的原型系 统。v o l k e rb l a n z 等人 7 提出了一种新的基于统计的人脸建模方式。他们建立 一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合的正面投 影去逼近这张照片。 国内近几年在人脸造型方面也有很大的发展。哈尔滨工业大学的晏洁在人 脸建模、纹理映像等方面做出了一些成绩 8 ，提出了一种人脸模型个性化的方 法和多方向纹理映像的算法。北京工业大学的尹宝才等人【9 研究人脸建模和人 脸纹理映像的方法。西安电子科技大学的郑飞与陈梅【1 0 提出了使用人面照片 合成全景图像的方法进行三维重建。 1 4 本文的研究内容及路线 国内外在三维人脸造型的研究上，到目前为止已有多种不同的建模方法 其研究路线基本上可以分为两类： 第一类是直接采集真实人脸的数据进行三维重构。该方法需要使用专 用的三维扫描设备( 如螺旋c t 机、三维数字化仪、立体摄像机等) 来直接 获取人脸几何的数据来进行三维建模，建模精确，生成的模型逼真，能满 足某些场合的特殊需要，但其需要价格昂贵的专用设备，而且需要合成多 个形态各异的人脸时必须扫描多个人脸，效率低下，因而应用范围受到了 一定的限制。 第二类是以特定个体人脸的二维图像( 包括人面照片和视频录像等) 为输入生成三维人脸造型。该方法需要结合人脸的几何特征、人类测量学 及计算机视觉等方面的知识来合成人脸的三维模型。采用此方法不需要特 殊的设备，整个人脸三维建模过程可通过软件完成，也可以达到较为理想 的效果。由于其成本低廉，适应面广，尤其在对人脸模型精度要求不是特 别高的隋况下，应用前景十分广泛。此类方法目前还处于研究阶段，还没 有一个成型的产品出现。 本文的研究路线： 在不使用昂贵的专用设备的前提下，找到出一些通用而且高效的方法来重 皇! ! 查兰堡主兰堡堡苎 建特定个体的具有真实感三维人脸造型。第一类研究路线需要昂贵的专用设备， 显然不能满足需要。由于拍摄人脸的二维图像只需要普通摄像机即可，成本低 廉，适用面广，因此走第二条研究路线是我们的最佳选择。 本文的主要研究内容： 一般人脸的特征点定义： 主要研究内容是确定真实人脸的特征点选取。这些特征点要求既能 反映人脸的整体几何结构，又能表示五官的局部特征和在人脸上位置分 布。在研究了人脸的颅骨、肌肉组织特点的基础上，给出了人脸特征点 的定义及选取规则。 基于人面照片的特征点提取： 主要研究从人面照片中提取出特定人脸的特征点数据。本文利用立 体视觉的原理，采用特征点模板变形的方法，给出从实拍人面照片中提 取出特定人脸特征点数据的思路及具体的实现算法。 三维人脸重建研究： 主要研究从特征点数据重建出特定人脸的三维模型。我们采用模型 变形的方法，使用特定人脸的特征点数据，结合真实人脸的表面的几何 结构特点，对一般人脸进行修改变形，使其向特定人脸逼近，从而完成 三维重建。 1 5 本文的章节安排 第一章，绪论。介绍了三维人脸模型的应用前景及国内外的研究现状，并 对现有的三维人脸建模技术进行了分析比较。在此基础上，给出了本文的研究 路线、研究目标及主要研究内容。 第二章，人脸特征点定义。人脸特征点是本文三维人脸建模的基础，我们 对人脸的颅骨与肌肉组织的生理结构特点进行了分析研究，并在此基础上给出 了人脸特征点的选取原则及具体定义。 第三章，基于照片的人脸特征提取。本文利用立体视觉的原理，推导出了 从人面照片中提取出特定人脸特征点数据的一般算法并给出从实拍的人脸正、 曼些查堂型堡堕壅 侧面人面照片中提取出特定人脸特征点数据的思路及具体的实现算法。 第四章，三维人脸重建。我们采用模型变形的方法，使用特定人脸的特征 点数据，结合真实人脸的表面的几何结构特点，对一般人脸进行修改变形，使 其向特定人脸逼近，从而完成三维重建。 第五章，总结本文的工作，并给出未来研究的方向。 呈堕! 三兰! 堡主兰垡堡苎 第二章人脸特征点定义 人的头部结构组织十分复杂，从外到内依次为皮肤组织、皮下组织、肌肉 组织、颅骨、脑组织及丰富的血管、神经等，其中颅骨和肌肉组织的形态基本 上决定了人脸的面貌。在定义人脸特征点时，必须建立在人头部的颅骨与肌肉 组织结构特点之上。 2 1 颅骨结构 颅( c r a n i u m )2 3 块颅骨和3 对听小骨构成( 如图2 1 所示) ，对头部器官 起着保护和支持作用。除下颌骨及舌骨外，其余部分借缝或软骨相连。下颌骨 与颞骨之间构成颞下颌关节，使下颌骨得以进行多方面的运动。 颅分为脑颅和面颅两部分。脑颅位于颅的后上部，呈卵圆形并围成颅腔， 容纳并保护脑。面颅为颅的前下部，形成面部的基本轮廓，是眼眶、鼻腔、口 腔的骨性支架。 2 1 1 脑颅 脑颅由8 块颅骨构成，其中单块的从前向后有额骨、筛骨、蝶骨和枕骨， 位于颅的中间部，双块的位于两侧，有颞骨和顶骨。 额骨：额骨位于额部，由水平部和竖立部构成。水平部两侧为三角形骨板， 作为颅前窝的底和眼眶的上壁，称为眶部，两眶部之间为鼻部，下方和筛骨结 合。竖立部分为贝壳状的骨板，称为额鳞，额鳞与眶部上缘之间的弓形隆起称 为眉弓，两侧眉弓之间的稍突出部分为眉间。 筛骨：筛骨位于颅前窝的中央部，左右跟眶之间，由筛板、垂直板及两侧 的筛骨迷路组成。筛板分隔颅腔与鼻腔；垂直扳分隔鼻腔称为左右两个部分， 构成鼻中隔的一部分；筛骨迷路的外侧壁为一菲薄的骨板，称为眶板，参与构 成眼眶的内侧壁，迷路的外侧壁组成鼻腔的外侧壁。 西北大学硕士学位论文 图2 i ( b ) 颅骨侧面 8 - 一型生竺! ：! 壁兰垡堡塞 蝶骨：蝶骨形如展翅的蝴蝶，位于颅底的中央部前接额骨与筛骨，后接 枕骨，两侧与颞骨相接。 枕骨：枕骨位于脑颅后下方，轮廓近似四边形，内面凹，外面凸。中央有 一大孔，称为枕骨大孔。 颞骨：颞骨为一对，位于脑颅的侧部，介于蝶骨和枕骨之间，其形状不规 则，以外耳门为中心，可分为鳞部、鼓部、乳突部、岩部四部分。 顶骨：顶骨位于颅顶，为成对的四方形骨板。项骨外侧面最凸的一点，称 为顶结节。 2 1 2 面颅 面颅共由1 5 块颅骨构成。在鼻腔两侧，e l 腔上方，左右各有一块上颌骨， 上颌骨上部的内侧，有一对长方形的鼻骨，鼻骨的后方，有一对小的呈方形的 泪骨。两上颌骨外上方各有一块高起呈菱形的颧骨。上颌骨的后方接腭骨。上 颁骨的内侧面有一对薄而卷曲的下鼻甲。 在鼻腔的正中有一块斜方形的犁骨，它构成鼻中隔的下部。舌骨一块，位 于喉的上方，借韧带与颅底连接。下颌骨一块，位于面颅的前下方。 主要面颅骨的结构如下： 上颌骨：上颌骨左右成对，是构成颜面的主要基础，可分为一个体和四个 突起。上颌体为上颌骨的主要部分，有四个面，其中个面为眶面，作为眼眶 的下壁；额突为上颌体的上内侧突起，其上端与额骨相接；颧突为上颌体的上 外侧突起，与颧骨相接；牙槽突为上颌体向下的弧形突起，下缘有牙槽；腭突 为上颌体向内发出的水平骨板，与对侧的腭突结合，构成硬腭的前大部。 下颌骨：下颌骨为呈蹄铁形的单一整体，分为一体两支。两侧后方向上的 部分为下颌支，其余部分为下颌体。下颌体弓突向前，上缘有牙槽，称为牙槽 缘。下缘厚而钝，为下颌底。下颌体外面正中向前隆起，称为颏部。两侧各有 一颏孔。下颌支为自体后方向上后方突出的方形骨板。其后缘与下颌体相交处 为下颌孔。每一下颌支都有两个向上的突起，前为冠突，后为髁突。后者上有 关节面与颞骨的下领窝相关节。 西北太学硕士学位论文 2 1 3 颅的整体观 颅顶：颅顶的额骨与顶骨之间有近于横位的冠状缝。左右两顶骨之间有矢 状缝。枕骨与左右顶骨的后缘，连接成人字缝。 侧面观：颅的侧面可见颗骨乳突，乳突的前方有外耳门 夕 耳门前方，有一弓 状的骨梁，称为颧弓。颧弓上方的凹陷称为颞窝。在颞窝内侧壁，冠状缝与蝶骨 大翼上缘的交点，称为翼点。 前面观：颅的前面上部为颅骨的鳞部。在眶上缘内侧段的上方，有弓形的 隆起，称为眉弓。中部是一对上颌骨，上颌骨与两侧的颧骨及其上方的脑颅骨 构成眶。两侧上颁骨之间是骨性鼻腔。在下部，上颌骨与下领骨构成骨性口腔。 眶的上缘和下缘分别称为眶上缘和眶下缘。 骨性鼻腔位于面部中央，上至颅底，下达硬腭，由鼻中隔分为左右鼻腔， 前有梨状孔，后有鼻后孔。侧壁有三片卷曲的薄骨片，分别称为上鼻甲、中鼻 甲和下鼻甲。在上颌骨、额骨、筛骨和蝶骨内的含气腔隙称为上颌窦、额窦、 筛窦和蝶窦。 颅底：颅底可分为颅底内面和颅底外面。颅底内面从前向后形成了颅前窝、 颅中窝和颅后窝。颅前窝可见筛板、筛孔和鸡冠。颅中窝中央部上面的浅窝称 为垂体窝。颅后窝中部有枕骨大孔；颅底外面观：颅底外面中央部有一枕骨大 孔，孔的前外侧有一对隆起，称为枕骨髁。枕骨髁前外侧有一细长突起，称为 茎突。枕骨外面中央有一隆起，称为枕外隆突，其两侧有弧形的骨脊称为上项 线。 2 2 人脸面部肌肉组织 2 2 1 肌肉组织的基础知识 人体的肌肉根据其结构、位置和功能的不同，可分为平滑肌、心肌和横纹 肌。平滑肌分布在内脏和血管壁上；心肌为心脏所特有：横纹肌主要分布于体 壁和四肢，绝大部分附着于骨，亦称为骨骼肌。 骨骼肌在人体分布极为广泛，约占人体体重的4 0 ，每一块肌肉不论大小， 都有一定的形状、构造、位置和功能，并通过神经系统的调节而进行收缩或舒 西北大学硕士学位论文 张，产生一定的运动。 肌肉按形态可分为长肌、短肌、阔肌和轮匝肌四类。每块肌肉按组织结构 可分为肌质和肌腱两部分。肌质位于肌肉的中央，由肌细胞构成，有收缩功能； 肌腱位于两端，是附着部分，由致密结缔组织构成。每块肌肉通常都跨越关节 附着在骨面上，或一端附着在骨面上，另一端附着在皮肤。一般将肌肉较固定 的一端称为起点，较活动的一端称为止点。 肌肉的辅助结构主要有筋膜、滑液囊和腱鞘，是肌肉周围的结缔组织所形 成的结构，有保护肌肉和辅助肌肉运动的作用。 人脸面部的肌肉组织为骨骼肌，依附在颅骨和人脸皮肤上，按功能可分为 表情肌与咀嚼肌两部分。 2 2 2 表情肌 表情肌位于面部皮下，多起于颅骨表面和筋膜止于面部皮肤。表情肌均 较薄弱短小，围绕眼、耳、鼻和口周围呈环状或放射状，收缩时可牵引皮肤， 可开闭眼睛、嘴巴，也可以产生喜、怒、哀、乐等表情。人类由于语言的发展， 使得口周围的肌肉高度发达。而耳朵周围的肌肉侧显着退化，如图2 2 所示， ， 各个表情肌的具体功能如下： 颅顶肌：颅顶肌阔而薄，左右各有一块枕额肌，它由两个肌腹和中间的帽 状腱膜构成。前方的肌腹位于额部皮下，称额腹；后方的肌腹位于枕部皮下， 称枕腹。帽状腱膜很坚韧，连于两肌腹，并于头皮紧密结合，而与深部的骨膜 则隔以疏松的结缔组织。枕腹起自枕骨，额腹止于眉部皮肤。枕腹可向后牵拉 帽状腱膜，额腹收缩时可提眉并使额部皮肤出现皱纹。 眼轮匝肌：呈环形，位于眼眶周围，呈扁圆形，作用为开闭眼睛。 口周围肌：口周围肌位于口裂周围，包括辐射状肌和环形肌。辐射状肌分 别位于口唇的上、下方，能上提上唇，降下唇或拉口角向上、向下或向外。在 面颊深部有一对颊肌，此肌紧贴口腔侧壁，可使唇、颊紧贴牙齿，帮助咀嚼和 吸吮；还可以外拉口角。环绕口裂的环形肌称口轮匝肌，收缩时关闭口裂。 鼻肌；鼻肌不发达，为几块扁薄小肌，分布在鼻孔周围，有开大或缩小鼻 孔的作用。 西北大学硕士学位论文 吃茸氍 瓣酸 诺髂辞蕾 t 撵： ：龟轧 ；0 i 矗刮l 图2 2 ( a ) 头面肌正面 图2 2 ( b ) 头面肌侧面 j 2 堕! 竖婴主兰垡堡塞 2 1 - 3 咀嚼肌 图2 2 ( c ) 头面肌的翼内肌和翼外肌 咀嚼肌包括咬肌、颞肌、翼内肌和翼外肌四对，如图2 2 所示，各个肌肉 的具体功能如下： 咬肌：起自颧弓下缘和内面，止于下颌支和下颌角外面的咬肌粗隆。 颞肌：起始于颞窝，肌肉束呈扇形向下汇聚，经颧骨弓部，截至于下颌骨 的肌突。 翼内肌：起始于翼突后方，向下外截至于下颌角的内面。 翼外肌：起始于翼突外侧面，向后外截至于下颌颈。 上述的四种肌肉中，咬肌、颢肌和翼内肌可以上提下颌骨产生闭口运动； 两侧翼外肌收缩，使得下颌前伸；颞肌后部纤维可拉动下颌骨向后运动：一侧 的翼外肌收缩，可使得下颌骨向该很i l 方向运动。 旦韭茎兰型篁堡壅 2 3 特征点定义 人的头面部结构比较复杂，要想重建出具有真实感的人脸造型，则选取的 特征点必须具有代表性，能代表一个人的面部特征，唯一标识该个体，且能满 足重建三维人脸造型的需要a 三维人脸造型是人脸表情动画的基础，在定义特 征点时必须能反映人脸肌肉组织结构特点，为进一步实现人脸动画做准备。 图2 4 人脸特征点分布图 耍苎查堂堡主兰篁堡苎 根据人头面部的生理结构特点，尽管每个人的面貌各不同，但都有其一般 规律。每个人的头面部都是由肌肤、毛发等软组织包裹着的颅骨组成的。颅骨 是面貌的内核和构架，五官和面部肌肉等软组织附着在颅骨的相应部位，形态 受颅骨各部位形态和结构关系的制约。额骨、颧骨和上颌骨及下颌骨等颅面骨 的形态基本上决定了每个人的面部轮廓，其中颧骨及下颌骨占主要决定因素。 当然面部肌肉等软组织也会影响脸型，但是相对于骨架来说，是次要的。 根据人脸的骨骼及肌肉组织( 如图2 1 、图2 2 所示) 的特点，我们将人脸 分为眼睛、鼻子、嘴巴、下巴、脸颊、额头与人头后部七个区域，七个区域的 分布如图2 , 3 所示，针对这七个区域的特点分别定义特征点。每个区域的特征 点分为内点与边界点两类，具体的特征点的分布如图2 4 所示，其中边界点由 红色点标出，内部点由绿色点标出。由于人脸两侧基本上是对称的，故在定义 特征点的时只考虑一侧的特征点即可。 眼睛区域：眼睛区域对应于人的视觉器 官一眼睛，位置上对应颅骨上眼眶区域，由 瞳i l 、角膜等组成的球形嵌在眼睛窝里，眼 球外覆盖着上、下眼睑。眼裂的形状近似于 两条抛物线，故我们用4 个内部点即可近似 的标记出。而对于上下眼睑来说，其紧紧覆 盖于球状的眼球表面，无论是眼睛处于何种 状态( 睁眼、闭眼或半开半闭等) ，其表面始 终可以近似的看作球面。对于典型的蒙古人 种，眼眶基本上呈园钝形，故我们也可以4 个外部点近似的标记出眼眶的区域。眼睛区 域的特征点定义如图2 5 所示，其中黑色的 圆形点为边界点，黑色的菱形点为内部点 以下同。 鼻子区域：鼻子区域对应于人的嗅觉器 官一鼻子。鼻子隆起于面部中央，呈三角状， 由鼻根、鼻背、鼻尖和鼻翼等组成。鼻子表 图2 6 鼻子区域的特征点定义 0 西北大学硕士学位论文 面近似的关于鼻梁左右对称，对于一侧的表面来说，整体较为平滑，只不过在 鼻子下部的两侧鼻翼处由于鼻孔的原因而出现了局部隆起。鼻子区域的特征点 定义如图2 6 所示，由于鼻子的两侧边缘较为平直，我们用两个边界点即可表 示，其中点n o - 1 与眼睛分区的边界点e o _ o 相同，点n o _ 2 为鼻翼的最远点， 另外点n o0 为鼻根点，点n o 一3 为鼻子分区与嘴巴分区交界处的鼻下点。我 们内部点n 10 为鼻尖点。鼻子关于人脸中央左右对称，故略去另外一侧的点 两个点，以下做类似的简化处理。 嘴巴区域：嘴巴区域也就是人的 嘴巴所在的区域。嘴巴主要由内部的 牙齿、舌头和外部表面的上、下嘴唇 构成。嘴唇由口轮匝肌组成，覆盖于 颌骨和牙齿之上，其形态取决由颌骨 和牙齿形成的弧度。上、下唇由于人 类语言的高度发达而变得活动十分 m o 一3 m o 一4 n o _ 5 图2 7 嘴巴区域的特征点定义 灵活。图2 7 给出了嘴巴区域的特征点定义，我们用了6 个边界点定义了嘴巴 的区域范围，其中点m o - _ l 、m o _ 2 、m o 一3 表示鼻唇沟( 嘴唇皮肤与脸颊皮肤 交界处的浅沟) 曲线，点m o _ 5 为下嘴唇的与下巴交界处的凹下点，点m o 一0 、 m o1 与鼻子分区的边界点n o 一3 、n o 一2 相同。我们用3 个内部点( m l o 至 m i1 ) 定义口裂的大小及形状。 脸颊区域：脸颊占据了人脸的大部分区域，是人脸特征的重要组成部分， 该部分的曲面构造比较复杂，而且人与人之间的差别较大，即使同一个人在胖、 瘦之间变化时脸形变化也比较大。用1 0 个边界点描述脸颊的轮廓曲线，用1 个内部点定义脸颊上颧骨点的位置，特征点的分布如图2 4 所示。 下巴区域：下巴位置对应于下颌骨的牙齿以下的边缘区域，从照片上看处 于下嘴唇之下的部分。用6 个边界点来定义下巴区域，特征点的分布如图2 4 所示。 额头区域：额头部分位于人面的最上部，形状较为简单。用7 个边界点来 定义额头的边界区域，用1 个内部点来定义眉心点的位置，特征点的分布如图 2 4 所示。 西北大学硕士学位论文 人头后部：人头后部虽然占据了三维人脸造型表面的大部分区域，其几何 形状每个人的情况有可能不同，有些人的头的后部可能是光滑，有些人则可能 不够圆顺、光滑，但是在头发的遮盖下，一般很难看得出其具体的形状，而且 在一般情况下进行人的识别的时候，没有人会关心头是圆的还是扁的。因此我 们可咀对人头后部做简化处理，以一个一般人头的后部作为标准进行变形替换 特定人脸的后部，不会对模型的逼真度有任何影响。我的研究重点放在人脸的 其它区域的三维造型上，此部分暂不考虑。 2 4 本章小结 本章在分析了人面部解剖组织结构后，根据人脸面部的骨骼和肌肉组织生 理结构的特点，并考虑了三维重建以及进一步人脸表情动画模拟的需要，将人 脸分为7 个区域，并针对这7 个区域的特征，分别定义了特征点的数量及位置， 如下表所示。 分区名称边界点数内部点数说明 眼睛 44 由于人脸基本上左右对称，故 只取一侧的特征点。 鼻子 41 对于相邻的分区，在分界线上 嘴巴 63 的特征点会重复。 下巴6 o 脸颊 1 01 额头 71 人头后部形状简单，暂不考虑 西北大学硕士学位论文 第三章基于照片的人脸特征点提取 人脸照片是用摄像机采集的人脸在某个角度的投影成像，其只能反映人脸 各个器官的在该投影面上二维位置分布信息，而我们要进行人脸三维建模则需 要得到人脸的三维几何信息。如何从人面的照片中获取人脸的三维几何信息则 是本章的主要研究内容。 3 1 特征点提取原理 3 , 1 1 立体视觉 立体视觉是由计算机视觉中用两幅或多幅二维图像获取物体三维几何信息 的方法。如图2 1 所示，对于空间物体表面的任意一点p ，如果用c t 摄像机观 察，看到它在c t 上的图像点位于p - 但我们无法从p - 知道p 的三维位置，只知 道p 点位于0 l p l 连线上的某一位置。但是如果我们用c l 和c 2 两个摄像机同时观 察p 点，并且能够分别确定p 在c 与c z 图像上的成像点p 与p z ，就可以唯一 确定p 点的三维空间位置，其必然位于直线0 1 p 1 与0 2 p 2 的交点上。 x r ，、 。l 厶w ， 。 7 、0 w 7 7 x wj 图2 1 用双摄像机观测空间点 y w 西北大学硕士学位论文 3 1 2 空间点重建 假定我们在拍摄照片时，使得摄像机c 的光轴与物体坐标系的x 。轴重台 ( 如图2 1 所示) ，且摄像机c l 的坐标系中的z 1 轴与物体坐标系的z 0 轴平行。 摄像机c ：为摄像机c 在物体坐标系下绕z 0 轴旋转角0 后得到。设点p 在物体 坐标系下的坐标为( x ，y ，z ) ，摄像机c l 的光心0 1 与仉与距离为d ，摄像机c ， 与c 2 的各项参数均相同且焦距为l ，像点pz 与p 2 在各自摄像机图像平面上的 坐标分别为( u ，v ，) 和( u 2 ，v ：) ，根据线性摄像机模型( 即针孔模型) 我们可以得到 “，= = 二y 。d x v = _ 二二_ 一z 1 d x “：= j 二1 j i ：i ( y c 。s 臼一片s i n 臼) 3 1 1 。：j 二一z。d 一( z c o s 0 + y s i n 0 ) 当摄像机的拍摄距离d 、摄像机的焦距l 和旋转角度0 已知时，解式3 1 1 中的方程组就可以得到空间点p 的三维坐标。这三个参数可以通过立体视觉摄 像机定标得到，此处不再熬述。 特殊的，当旋转角0 = 9 0 度时，摄像机的成像平面成为两个正交的投影面， 则上式简化为 “：l y 1 d 一爿 v = 上z 1 d _ x ( 3 1 2 )t、， “，：一三一工 b y v ：l z 只需要知道拍摄距离d 及摄像机的焦距l ，我们就可以通过空间点在二维 图像的成像对空间点进行准确定位。不过使用正交投影面进行物体三维重建时 需要注意的是，选择正交的投影面时应以能反映最多的物体几何信息为原则。 西北大学硕士学位论文 3 1 3 正、侧面照片中特征点的重建 对于一般的使用者来说，摄像机定标是一个比较繁琐的事情。相对而言直 接拍摄人面的正、侧面照片更容易一些。因此我们必须考虑从给定的正、侧面 照片中提取出人脸的特征点数据。 实际上在使用人面照片进行三维重建时，我们更关心的是重建的结果是否 相像，而重建后的人脸尺寸与真人是否完全相同则显得并不重要。根据针孔模 型的拍摄原理，物体在摄像机里的成像，是对物体在拍摄方向上的投影按比例 缩放后所得到的图像( 使用广角镜头拍摄除外，其在远离图像中心处会有较大 的畸变) 。故我们可以做以下简化处理： 1 ) 用仿射变换代替射影变换。在根据照片中的成像点计算其对应的三维 空间点时，用仿射变换代替射影变换，则空间点的相对坐标变为 x ：七旦“ v r = 砌l( 3 1 4 ) z = 胁 其中k 为归一化系数。我们对物体上所有的空间点均经过归一化 处理，仍保持物体的形状不变。 2 ) 在建模时，我们可以根据需要对得到的物体尺寸进行按比例缩放，对 造型的逼真度不会有影响。 从给定的正、侧面照片中自动提取出入脸的特征点数据是一个难度较高的 课题，也一直是模式识别领域中的一个难题，迄今为止还没有一个有效的通用 算法，因此在考虑到自动提取十分困难的情况下，我们采取人机交互的方式进 行。 由于定义的特征点数据比较多，如果逐个的从照片中提取，效率十分低下， 而且可操作性很差。为此，我们使用了基于特征点模板修改的方法。采集一个 真实人脸的特征点数据作为模板，绘制出空间网格并投影到照片平面上，手动 调整网格即可获取照片中特定人脸的数据。 型竖型堂墼 3 2 特征点模板 特征点模板是一般人脸特征点的三维数据场，其根据定义的人脸特征点规 则，从一般人脸的三维真实模型上采集特征点数据，然后再经过归一化处理。 其关键是需要获取一般人脸的真实模型，该模型可以使用专用设备采集重建获 得。 3 2 1 样本数据采集 本文使用螺旋c t 进行样本数据采集。选取了一个典型的、不具备任何明 显特征的人脸作为样本，对其的头部每隔4 m m 做一个c t 切片，共采集了8 0 个切片。对得到的所有切片照片经过边缘检测、边界跟踪、数据简化等处理后， 提取出皮肤轮廓数据，数据流程如图3 1 所示。 图3 1 样本数据采集流程 其中包含的两种文件格式分别为： i m a 数据：是由螺旋c t 机直接采集到的一组人头部横截面的造影照片，如图 3 2 ( a ) 所示，主要由图像的灰度信息值组成。根据其灰度信息可以提取皮肤的轮 亘韭! ! ：鎏主兰些堡塞 图3 2 人脸表面的等值线数据提取过程 廓等值线，图3 2 h ) 给出了经过s o b e l 算子进行边缘检测处理后得到的图像， 图3 2 ( c ) 为经过边界跟踪后得到的等值线图像。 t d f 文件：是经过i m a 图像数据经过边缘检测、边界跟踪与数据简化等处理后得 到的数据文件，其格式为自定义，存储的数据是由三维点组成的等值线数据。 t d f ( t h r e ed i m e n s i o nf a c e ) 文件由两部分组成：文件信息头和数据区，具体说 明如下： 写 第一部分：文件头 s t r u c t t a g t d f f i l e h e a d e r ( c h a r c f i l e m a r k 1 2 ：文件标志，必须是4 3 d f a c e i o d e i ”，不区分大小 2 2 塑! ! 查兰堡圭堂垡堡茎 u i m l u i n t u i n t u i n t u i n t d o u b l e d a u b 】e d o u b l e a v e r st o n i 5 n l a y e r n u m ： n p o i n t n u m ： n f i1 e s i z a ： n d a t a h e i g h t n d a t a w i d t h ： d f a o t o r x ： d f a c t o r y ： d f a c t o r z ： 以下为保留字 i n tn r e v e r s e d l i n tn r e v e r s e d 2 d o u b l ed r e v e r s e d l d o u b e d r e v e r s e d 2 文件版本号 数据的层数 每层的点的个数 文件的大小 图像的数据高度 图像的数据宽度 数据在x 方向上的比例因子 数据在y 方向上的比例因子 数据在z 方向上的比例因子 第二部分：等值线数据点阵信息( 假设有m 层，每层r 1 个点) p o i n t l ( x y z ) 、p o i n t 2 ( x ，y ，z ) ，p o i n t n ( x ，y 。z ) ) 第1 层 p o i