（计算机软件与理论专业论文）颅骨面貌真实感处理关键技术研究.pdf

摘要 面貌真实感三维人脸处理己成为计算机图形学领域研究的一个热点。本文将面貌真 实感三维人脸处理技术引入基于颅骨的面貌复原过程，研究表现三维真实感人脸的年 龄、肤色等个性化信息，简单、快捷的绘制合成等关键技术，实现基于颅面形态的三维 人脸复原模型的真实感处理，具有重要的理论意义和实际应用价值。研究的主要进展有： ( 1 ) 总结分析了面貌真实感处理的研究内容与国内外研究现状进展，归纳提出了 面貌真实感处理需要解决的五大关键问题。 ( 2 ) 实现了基于微分坐标的三维真实感人脸年龄特点表现技术，从而增加了颅面 复原模型的年龄细节信息，有效的提高了三维人脸的真实感效果。 ( 3 ) 提出了一种基于颜色传递以及纹理贴图技术的人脸皮肤的快速变化方法，实 现了真实感人脸肤色的快速绘制，同时也为颜色传递技术提供了种新的应用方式。 ( 4 ) 提出了一种新的所见即所得的交互式三维人脸绘制方式。与现有的绘制技术 不同，用户可以通过人机交互的方式进行人脸绘制过程。实验表明，该交互式绘制方法 简单易用，开拓了三维人脸绘制的新思路。 ( 5 ) 结合面貌真实感处理的实际需要，以v i s u a lc + + 6 0 和基于o p e n g l 的三维图 形库v t k 为工具，设计完成了计算机辅助面貌真实感处理系统，实现了本文所涉及的 相关真实感处理技术。 本研究得到国家自然科学基金重点项目“颅面形态学和颅面重构的研究” ( 6 0 7 3 6 0 0 8 ) 的支持。 关键字：人脸建模，真实感，网格变形，网格着色 r e a f i s t i cs k u l ll o o kd e a lw i t ht h er e s e a r c ho f k e yt e c h n o l o g i e s a b s t r a c t d e a l i n gw i t h3 dr e a l i s t i cf a c eh a sb e c o m eah o tq u e s t i o no fc o m p u t e rg r a p h i c sr e s e a r c h a r e a s t h i sa r t i c l ei n t r o d u c e sr e a l i s t i cf a c ep r o c e s s i n gt e c h n o l o g yi n t of a c i a lr e c o v e r yp r o c e s s b a s e do ns k u l l ，a n ds t u d i e so n3 df a c ew i n lm o r er e a l i s t i c t h ep a p e rs t u d i e st h ep e r f o r m a n c e o ft h ea g e ，c o l o ra n do t h e rp e r s o n a l i z e di n f o r m a t i o no fr e a l i s t i c3 df a c ea n ds i m p l e ，f a s t r e n d e r i n gs y n t h e t i ca n ds oo nk e yt e c h n o l o g i e s w h a t sm o r e ，t h ea r t i c l ea l s oi m p l e m e n t s r e a l i s t i cd e a l i n gw i t h3 df a c er e h a b i l i t a t i o nm o d e lb a s e do nc r a n i o f a c i a lm o r p h o l o g y t h e r e s e a r c hw o r kh a sa l li m p o r t a n tt h e o r e t i c a la n dp r a c t i c a lv a l u e t h em a i np r o g r e s s ： ( 1 ) s u m m a r i z ea n da n a l y z ek e yt e c h n o l o g i e so fr e a l i s t i ct r e a t m e n to ft h er e s e a r c hs t u d y a th o m ea n da b r o a d i n d u c ea n d p u tf o r w a r dar e a l i s t i cl o o kd e a lw i t hf i v ek e yi s s u e s t h a tn e e dt ob er e s o l v e d ( 2 ) i m p l e m e n t a t i o nr e a l i s t i cp e r f o r m a n c ec h a r a c t e r i s t i c so fp e o p l e sa g eo fr e a l i s t i cf a c e t e c h n o l o g yb a s e do nt h ei m p l e m e n t a t i o no ft h et h r e e - d i m e n s i o n a lc o o r d i n a t e s t h u s i n c r e a s et h ed e t a i l so fa g eo fc r a n i o f a c i a lr e c o v e r ym o d e l ，a n de f f e c t i v e l yi m p r o v e t h er e a l i s t i c3 df a c ee f f e c t ( 3 ) p r o p o s eam e t h o do ft h er a p i d l yc h a n g i n gf a c eo fs k i nb a s e do nc o l o rt r a n s f e ra n d t e x t u r em a p p i n gt e c h n o l o g y , a n dr e a l i z ear e a l i s t i cf a c eo ft h er a p i dc o l o rr e n d e r i n g ， a sw e l l 嬲p r o v i d ean e w a p p l i c a t i o no fc o l o rt r a n s f e r ( 4 ) p r o p o s ean e wt h r e e - d i m e n s i o n a li n t e r a c t i v ew a yd r a w i n go fp e o p l e sf a c ew h i c hi s d i f f e r e n tf r o mt h ee x i s t i n gm a p p i n gt e c h n o l o g i e s u s e r sc a nd r a wp e o p l e sf a c e t h r o u g hh u m a n c o m p u t e ri n t e r a c t i o na p p r o a c h t h ee x p e r i m e n t ss h o wt h a tt h e i n t e r a c t i v er e n d e r i n gm e t h o d sa r ee a s yt ou s e ，a n do p e n u pat h r e e - d i m e n s i o n a lf a c e o fn e wi d e a sf o rd r a w i n g ( 5 ) c o m b i n i n gw i t ht h ep r a c t i c a ln e e d so fr e a l i s t i cf a c er e a l i t y , w ed e v e l o pt h er e a l i s t i c l o o ko fc o m p u t e r - a i d e dt r e a t m e n ts y s t e mb yv i s u a lc + + 6 0a n dv t ko p e ns o u r c e 3 dg r a p h i c sl i b r a r yf o rt h ev i r t u a lo p e r a t i o n i ti m p l e m e n t sr e l e v a n tt e c h n o l o g i e so f r e a l i s t i cl o o kt r e a t m e n ti nt h ep a p e r t h i sr e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ( 6 0 7 3 6 0 0 8 ) k e y w o r d s ：f a c i a lm o d e l i n g ，r e a l i s t i c ，m e s hd e f o r m a t i o n ，m e s hc o l o r 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：刍瞪指导教师签名： l 翌i 掣 2 夕莎 年石月- f 日 g 月“日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，本论文不包含其他人已经发表或撰写过的研究成果，也不包含 为获得西北大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 学位论文作者签名：鹰晰 砂。c 年舀月f e l 第一章绪论 第一章绪论 随着现代科技发展及学科间的交叉渗透，特别是c t 、核磁共振扫描应用于临床医 学，计算机三维可视化技术迅速发展，这就为信息技术应用于颅骨面貌形态学研究提供 了新的技术和方法。进入2 1 世纪以来，计算机辅助面貌真实感处理的研究，已引起国 际信息学、人类学、法医学等相关领域的高度重视，成为国际上研究的热点。研究该项 技术既有深远的意义，也将面临着巨大的挑战。本章首先介绍课题背景与研究意义，然 后分析了国内外研究现状，接着给出了特征点标定的方法，最后给出了本文的组织结构。 1 1 课题背景与研究意义 1 1 1 研究内容及意义 面貌真实感处理关键技术结合了认知科学、神经心理学、图象处理、计算机图形学、 机器视觉和模式识别等多个研究领域。随着计算机图形学技术的发展，真实感三维人脸 合成和表情动画技术成为了计算机图形学领域的一个研究热点，受到了研究人员越来越 多的关注。利用交互编辑、纹理映射等真实感处理手段经常被用于人脸造型或合成【l 】。 颅面重构是根据人类颅骨与面貌的形态规律对给定颅骨的未知面貌进行科学预测 绘制的技术，主要解决已故重要人物的复原、刑事侦查尸骨的身份确定等。由于1 8 9 5 年，德国人对大音乐家巴赫遗骨的复原认证，得到世人的承认，开辟和形成了颅骨面貌 复原这一应用领域。但颅面复原模型得到的只是三维人脸的几何信息，缺少皮肤、眼睛、 头发等其它人类学信息，严重影响了复原后的面貌真实感效果，比如非洲人的肤色是黑 色的，亚洲人的肤色是黄色的，男性的皮肤比女性的皮肤粗糙，有人是柳叶眉，有人是 弯刀眉，有人唇色较浅，有人红唇亮彩，这些信息在目前的颅面复原模型中没有得到很 好的体现，因此生成更加真实个性化的颅面信息以及逼真的面貌显示结果，研究面貌真 实感处理关键技术非常必要。 另外，随着生活质量的提高，因交通事故、外伤、肿瘤及要求美容等原因，越来越 多的人选择使用外科整形手术的方法来修正面貌，利用计算机辅助整形外科手术计划和 结果预测已成为了整形外科的发展方向【2 】。现有的计算机辅助整形外科手术主要以c t 数据简单三维重建作为基础，进行手术计划与预测。但这种方法缺乏对患者体表纹理数 据的采集、交互方法单一、手术结果预测缺乏真实感，人体软组织器官的物理计算建 模是实现虚拟手术仿真的关键，因此面貌真实感处理关键技术的研究具有很强的先进性 2 西北大学硕士学位论文 和挑战性，已成为计算机辅助整形外科手术研究的首要任务，它对整形外科临床、教学 和科研三方面都起到有力的推动作用。 本研究利用颅面形态理论与颅面重构的关键技术建立颅面模型，并在此基础上研究 如何体现基于微分坐标的年龄信息、如何体现基于纹理绘制的年龄信息以及如何实现一 种交互式三维人脸绘制，从而实现面貌真实感处理。 1 1 2 本研究应用领域 在当前的社会发展和信息技术深入应用的背景下，面貌真实感处理关键技术研究科 学意义深远，社会需求广泛，其直接需求有：著名历史人物的面貌复原；刑侦中对面貌 不确定的尸源鉴定；灾难现场的身份认证；颅骨和照片重合的法医鉴定等。应用前景也 非常广泛，进一步应用有：人类学对人种的分类和溯源研究；三维人脸识别认证；医学 手术计划和结果预测；电脑动画和人脸表情模拟和生成，计算机辅助医学颚面整形等。 在影视制作方面，电影制作者运用人脸建模与表情动画技术制作电影中特殊场景的 演员表情与动作( 即电影效果特技) ，不仅达到以假乱真，而且给观众带来了极大的视 觉冲击；在游戏娱乐方面，人脸建模与表情动画技术就一直应用于游戏制作当中，现如 今最火爆的网络游戏魔兽世界中游戏人物的外形和运动都显得很逼真，让广大玩家 叹为观止；在聋哑人辅助教学方面，利用计算机生成人脸模型并产生表情动画，对聋哑 人进行辅助教学不仅可以极大的减少老师的工作量，而且可以激发学生的学习兴趣，增 强学习的效果；在虚拟主持人方面，通过人脸建模和表情动画技术能够自动生成逼真的 主持人和播音员，还可模拟人的表情，满足虚拟主持人和播音员视频交互的需要；在新 一代的人机交互方面，人脸建模研究为类似自然人的交互的情感分析和表达提供了可行 性。 另外，在人脸建模与真实感处理动画方面，国内外学者进行了大量的研究工作，并 且已经开发出了相应的实用系统： 1 晏洁的聋哑人辅助教学系统【3 】 如图1 1 所示，该教学系统能够在文本驱动下实时合成一个具有一定表情、口型、 手势动作的虚拟人。当用户输入一段文字后，系统首先将文字分成词，然后根据预先建 立的表情库依次驱动虚拟人按该词所蕴涵的信息做出相应的表情，而同时也呈现一定的 口型，并打出相应的手势。 3 第一章绪论 园园园 园国园 囵目目囵 0 ) 表情动画 圈1 1 墨浩的聋哑人辅助麓譬蔫统 2 梅丽的人脸建模与动画系统【4 1 星量盛姓 & 卫 ( a 港型修改曲) 表情动面 圈1 0 棒膏的人脸建模与动西系统 如图i 2 所示，该动画系统首先从两张正交的人脸图像中根据人脸的特征轮廓线对 一般人脸模型进行修改，从而得到个性化的三维人脸模型。再利用纹理贴图的方法增强 模型的真实感效果。人脸的姿态和表情则根据视频信息自动合成即表演驱动。脸部模 型由1 8 块肌肉来控制，对于每一帧的视频表情，通过优化变形使得标准的脸部模型与 之相吻合。 口北 学* 女 3f a c e s t a t i o n 人脸表情动画系统【5 图13f a c e s t a i o n 人脸表情动画系统 f a c e s t a t i o n 是套集成的应用软件，可为面部动画提供整套解决方案。 f a c e s t a t i o n 运行于标准的w i n d o w sp c s 平台，i n l e lp e n t i u m 和a m da t h l o n 处理器， 支持大多数的6 0 h z 摄像机、麦克风、便携式摄像机，此外仅需要一台桌灯和其他任何 可让计算机视觉软件“找到”你的面部特征的光源即可。 f a c e s t a f i o n 由于突破另一主要的行业领域而获得动回杂志昂高荣誉，并被授予 “s e a lo f e x c e l l e n c e ”大奖。其成功之处在于容易实现的表演艇动的人脸动岫方法。该系 统不需耍在人脸上做任何标记，而是自动定位人脸上的特征点，分析出 脸的表情和姿 态，进而实现人脸动画。 面貌真实感处理关键技术的研究既是一个国际问题，也是特定的人种和民族问题。 国际可关于不同人种的颅面形态研究，在发达国家和发展中国家之间存在严重的。技术 鸿沟”，该项研究工作的开展和主要成果集中在美国、l i 苏联、德匡、日本。据实际从 事该项工作专家介绍，我国目前使用的重构数据还是苏联人格拉西莫夫5 0 年代对中国 人的测试数据。虽然国内已开展不同背景的颅面研究工作，但从该领域的系统研究方面， 我们和国际先进国家从投入到研究，都存在较大差距。作为有5 6 个民族的中国，急需 对黄种人颅面形态展开系统研究，发展颅面形态信息学新技术进行面貌真实感处理， 从而形成我豳面貌形态学的科学体系，积累发展具有我国自主知识产权的颅骨面貌形态 学科技成果，成为我们义_ 、容辞的责任，其研究意义重大，应用前景广泛。 12 国内外研究现状 近年来，随着虚拟现实、三维动画、人脸识别和视频电话等技术的发展，三维人脸 第一章绪论 模型重建越来越受到计算机视觉和计算机图形学等领域研究人员的重视，同时研究人员 也提出了各种不同的三维人脸建模的方法。 自从1 9 7 2 年p a r k e l 6 1 首次利用计算机生成人脸图像和人脸动画后，这项技术得到 了突飞猛进的发展。计算机辅助颅骨重构与面貌复原技术已成为国内外研究的热点。国 际上有美国，英国，法国，意大利，日本等国家参与，早稻田大学，华盛顿大学，格拉 斯哥大学，波尔多大学，萨勒诺大学等研究机构开展了这方面的研究。国内有北京大学、 吉林大学、沈阳航空工业学院以及公安部物证鉴定中心等单位的法医人类学家和计算机 专家从不同的角度开展了计算机颅骨重构的探索和尝试，并且已经取得了可喜的进展。 另外，以周明全教授为带头人的研究团队，从1 9 9 6 年开始，在国家“九五”科技攻关项 目、国家“十五”8 6 3 项目、国家自然科学基金项目的支持下，与公安部物证鉴定中心 合作，在北京师范大学、西北大学组织开展了计算机辅助颅骨面貌复原技术研究，并取 得了一系列研究成果。下面从几个方面分别对国内外相关研究现状加以评述。 1 2 1 真实感三维人脸建模 人脸是人类相互交流的重要渠道，人脸是人类的喜、怒、哀、乐等复杂情感表达的 主要窗口。真实感三维人脸建模是研究如何生成特定人脸模型，并在此基础上进行真实 感处理的过程。真实感人脸建模有着重要的学术意义，是计算机图形学、计算机视觉领 域中一个研究热点，同时也是包括生理学、心理学、物理学等多个领域的跨学科问题。 当前真实感人脸建模方法可以分成以下几种： 1 2 1 1 基于c t 图像的真实感三维人脸建模 1 8 9 5 年德国物理学家威廉康拉德伦琴发现了x 射线，从此开拓了人类诊断与 治疗疾病的新途径，开创了医疗影像技术的先河。利用电子计算机x 射线断层成像 ( c t ) ，可以更好的分辨人体内部结构图像，大幅提高疾病诊断的准确性，这己成为2 0 世纪医学诊断领域所取得的最重大的突破之。三维可视化是将c t 、m r 、p e t 等医学 成像设备产生的人体部位二维断层图像重新组成三维立体图像，从而大大提高了诊断及 教学中的直观性与交互性，是科学可视化研究的一个重要分支。其方法有表面重建 ( s u r f a c er e c o n s t r u c t i o n ) 和体绘佑1 ( v o l u m e r e n d e r i n g ) ，算法有m c ( m a r c h i n gc u b e s ) 算法 和光线投影算法等。为了预测整复外科手术后的效果，陈军等 7 1 提出了一种利用由c t 图像重建得到的3 d 人脸模型和3 张彩色数码照片合成高清晰度真实感人脸的方法。此 方法效果虽然好，但是采取手工取点，操作繁琐，对取点准确性要求比较高，易出现重 6 西北大学硕士学位论文 影。另外由于缺乏头发信息，这样就使得纹理映射后的头发紧贴在头皮上，使人脸显得 偏胖，影响真实感。a o k i 等提供了一种基于解剖学的数据及知识，皮肤与颅骨由三维 扫描的c t 数据获得，并且在其中间添加肌肉型就构成了人脸模型【8 】。 何志英等1 9 】采用表面绘制方法重建头部模型，先将每层c t 切片图像的轮廓提取出 来，以轮廓线点作为面片的顶点将每层的轮廓线连接起来，拼接出头部三维模型，并对 生成模型进行整形外科手术效果的模拟。 1 2 1 2 基于3 d 扫描仪的真实感三维人脸建模 三维扫描仪是一种科学仪器，用来侦测并分析现实世界中物体的形状( 几何构造) 与外观( 如颜色、表面反照率) ，它通过三角测距原理获得物体表面顶点的三维坐标， 从而在虚拟世界中建立实际物体的数字模型，是获取三维人脸数据最为快速准确的途 径。 l e e 和w a t e r s 等人【1 0 1 用3 d 扫描仪来创建人脸模型，并通过结合手工交互和对深度 图的处理，得到人脸上特征点( 如鼻尖等) 的位置和特征轮廓( 嘴，眼睛，鼻子等) 的 形状，从而根据深度图中的三维信息将一个通用的三维模型变形为个性化的三维模型。 这种建模方法对随后的人脸建模产生很大的影响。 b l a n z 等通过激光扫描仪建立了一个包括几何模型和纹理模型的三维人脸数据库， 并利用形变模型进行三维人脸建模【1 1 1 。y u 等利用激光扫描仪扫描人脸，并用人机交互 的方法对通用人脸模型进行变形从而生成特定人脸模型【1 2 】。胡永利等利用c y b e r w a r e 人脸专用扫描仪进行创建中国人三维人脸库的工作1 1 3 】。 沈晔湖等【】4 】利用立体图对并运用基于种子像素扩张的图像匹配算法获得深度图，然 后利用深度图和摄像机内外参数重建三维人脸模型。童晶等【1 5 1 针对影视动画领域，利用 l s5 0 0 0 型三维激光扫描仪，提出了一套真实感三维人脸快速建模算法。只需输入真实 演员人脸的三维扫描点云和未定标的照片，以及极少的人工交互，即可生成虚拟演员真 实感的三维人脸模型。 y o n g s u k 16 j 提出了一种基于三维密度形变形状模型的三维人脸建模方法。利用三维 扫描仪获得面部数据，通过拟合三维顶点坐标构建形变模型，并且利用纹理贴图的方式 进行渲染使模型具有真实感。 1 2 1 3 基于照片( 序列) 的真实感三维人脸建模 p i g h i n 17 】等人开发了一套系统，通过多幅照片来进行人脸三维重构，最后可以生成 具有相当真实感的三维人脸模型。微软亚洲研究院的l i u 1 8 】等人用人脸视频序列图像作 7 第一章绪论 为输入，用户只要在其中两帧中各标出5 个特征点，就可以自动生成三维人脸模型。 h u a n g 等【1 9 】通过人脸正面及两个侧面的图像合成并进行渲染从而生成三维人脸模型。 a n s a r i 等【2 0 】利用两张人脸的正面与侧面正交照片自动提取人脸特征的方法进行三维人 脸建模，但并未进行真实感处理。 阳荫等f 2 l 】利用正交图像中人脸特征点的位置信息得到特定人脸模型，并且通过多角 度纹理映射进行真实感处理。张辨等由正、侧面照片，利用多分辨率技术构造纹理无缝 拼接技术并进行纹理映射生成真实感的特定人脸三维模型 2 2 1 。 彭翔等【捌使用2 张正交照片和细分曲面进行真实感三维人脸建模。程日彬掣2 4 】给 出了一种利用二维照片来合成三维人脸的方法。首先在给定的正侧面照片上提取特定人 脸的特征点信息，然后根据此信息修改一般人脸模型，得到特定人脸三维模型，最后使 用纹理映射技术合成真实感的虚拟三维人脸。王建文等提出了一种基于两张照片进行人 脸三维重建的方法。将采集图像的两个照相机固定，根据一定的图像配准算法进行图像 匹配，得到三维空间的坐标数据，利用图像的拟合技术进行三维重建【2 5 1 。段鸿等利用人 的正面及侧面人脸两张照片，通过选择关键特征点，在基本人脸模型基础上，经过变形， 得到特定人脸三维网格模型，再经纹理匹配，获得特定人脸模型【2 6 】。 詹永照等采用基于人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人 脸模型，得到部位轮廓特征明显的三维特定人脸模型，并提出了基于拉普拉斯金字塔分 解的拼接图像交接处色彩融合算法，对人脸正侧面照片进行拼接融合，得到近似的人脸 全视角纹理图。然后将近似人脸全视角纹理图映射到三维特定人脸模型，从而得到三维 特定真实感人脸模型f 7 1 。 1 2 1 4 基于3 d 建模软件的真实感三维人脸建模 3 d sm a x ，m a y a ，p o s e r 等三维建模、动画、渲染软件，广泛应用于游戏开发、角 色动画、7 电影电视视觉效果和设计行业等领域。用这些软件构建的人脸轮廓与肤色接近 真人，头发造型也非常逼真。但是对一个从未受过正规美术教育及严格素描训练的人来 说，要将自己的想象用纸、笔描绘出来可以说比登天还难，更何况还要熟练掌握建模软 件的使用方法。 1 2 1 5 基于参数化模型的真实感三维人脸建模 沈晔湖等利用能量函数最小的约束关系实现深度图的初步融合，然后运用改进i c p 算法获得隐式的三维人脸模型【2 8 1 。胡峰松等针对不同的姿态对人脸识别的影响，提出了 一个基于c a n d i d e 3 参数模型的特定人脸三维重建方法【2 9 】。 8 西北大学硕士学位论文 甘俊英等通过人脸正侧面照片特征点的分层、分部位的径向基函数重构一般人脸模 型，得到部位轮廓特征明显的三维特定人脸模型，利用b 样条曲线进行三维人脸曲面 重构；然后运用拉普拉斯金字塔法得到近似的人脸全视角纹理图；再将近似人脸全视角 纹理图映射到三维特定人脸模型，从而得到三维特定真实感的人脸模型【3 0 】。 采用参数化人脸最主要的优点在于形成人脸模型后，能够很容易的通过改变部分控 制点位置的方法来生成该人脸的不同表情的模型。但是复原结果过于依赖标准人脸的参 数化模型，对表现不同人脸的特殊性方面表现较差，重建的模型卡通感较强。 1 2 2 面貌个性化处理技术 交互编辑、纹理映射等真实感处理手段经常被用于动画的人脸造型或合成【3 1 】。在颅 面重构后，为生成更加真实个性化的面貌信息以及逼真的面貌显示结果，对面貌进行真 实感处理是必要的。由于人脸形状复杂，面部能够自由形变且有无数细微的皱纹，因此 建立精确的人脸模型和真实感人脸非常困难。目前，面貌个性化处理已经取得了一些成 就。 ( 1 ) 皱纹的生成 皱纹是人脸最重要的宏观结构之一，通常有两种类型的皱纹存在，一种是表情皱纹， 另一种是年龄皱纹。表情皱纹出现在所有人的脸上，并且随着时间的推移变得永久可见， 它是理解面部表情的一个非常重要的因素。年龄皱纹是由于年龄变化而引起的，随着时 间的推移人脸上将会产生越来越多的年龄皱纹，面部皮肤的整个外观和纹理变得明显 且粗糙。 w u 等 3 2 】从人的生理解剖结构出发，建立了3 层结构的人脸物理模型，包括肌肉层、 脂肪层和表皮层。他们采用线性弹性模型、b 样条等技术来模拟这些生理结构的运作机 制，通过一系列参数的调整实现人脸皱纹的生成以及衰老的效果。l e e 等【3 3 】通过将属于 同一家族的年轻人的三维人脸模型与老年人的三维人脸模型进行混合的方法模拟年轻 人脸模型的衰老化效果，并实现了基于物理的脸部皱纹模拟生成。 王进【3 4 】提出了一种纹理细节迁移算法，该算法在保留源人脸图像固有特征( 如：雀 斑、痣等) 的基础上，将另一幅人脸图像的纹理细节( 如：皱纹等) 在保持当前表情一致的 前提下与源图像进行合成得到新的表情图像，但该方法关注的是不同人脸之间的表情纹 理迁移，并未考虑年龄因素的影响。l i u 等【35 】提出了一种基于图像的表面细节移植技术 ( i b s d t ) ，利用这种技术可以将老年人脸图像的纹理细节特征( 如皱纹、斑点等) 移植到 9 第一章绪论 青年入脸图像上，从而合成青年入脸图像的老化效果。郑南宁等刚提出了一种基于衰老 纹理映射和差异性理论的人像衰老化变换算法，利用衰老纹理比例图投影技术以及形状 和纹理的差异性渐变技术完成人脸的衰老变化。 ( 2 ) 头发建模 在人脸图像中，头发起着重要的作用。最开始的三维头发只不过是相当程式化的简 单创建一些几何形状的头发。直到1 9 8 9 年，出现了一种剪裁影射技术，头发的建模才 有所创新。卷发是最早头发建模的一种技术，它是利用多边形或n u r b s 曲面创建的具 有简单几何形状的头发。基于剪裁图的头发建模，是通过将在头发网格上的白色的区域 剪裁掉，从而可以创建真实感头发模型。具有几何形状的头发建模是利用m a y a 和三维 工作室最大的软体动力学系统对头发对象的动画进行控制。基于周围环境的头发建模， 是指在3 d m a x 中，根据周围环境确定头发的密度、颜色、厚度、方向、以及弯曲程度。 一些纹理贴图也可以使用这种方式进行头发建模。此方法建模效果好，但是缺点是没有 “ 计算链背面的对象，因此，当进行反转时，原来前面的链就会消失。基于粒子模型的头 发建模是最常用的头发建模方式。它利用碰撞检测和物理系统的控制头发自然移动和反 应的特点，许多电影动画都使用了这种方法进行头发建模。 头发建模有三大任务：头发形状建模，头发动画以及头发渲染。头发形状建模处理 头发的几何形状，密度，分布和取向。头发动画决定头发的运动方向特别是长发。渲染 过程中头发涉及处理阴影，深度，镜面突出以及透明度。 头发的合成方法可以分成两类：显式模型( e x p l i c i tm o d e l ) 3 7 和体积密度模嚣8 ( v o l u m e d e n s i t y ) t 3 羽。显式模型非常直观，头发的建模和绘制的直接目标是每一缕头发，是一种 微观处理头发的方式，头发合成的粒子模型( p a r t c l em o d e l ) 也可以归入这一类。与之相 对应，体积密度模型定义了一个头发的三维空间分布密皮函数，然后应用光线跟踪技术 ( r a y - t r a c i n gt e c h n i q u e ) 去计算头发表面轮廓的颜色和光照，这是一种宏观处理的方法。 体积密度模型更抽象一些。 c h e r t 3 9 提出了一个基于三棱体束模型合成3 d 头发图像的显式方法，该方法还可 以处理头发的一些宏观性质，并且还建立了3 d 头发编辑工具，用以支持3 d 头发的创 建。m a t h i e u l 4 0 讨论了如何利用显性和隐性的头发形状特征和不同的跟踪检查方法进行 头发建模。 西北大学硕士学位论文 1 3 特征点标定 人脸具有复杂的三维表面结构，不同的人脸之间存在着很大的差别，因此在面貌真 实感处理关键技术中具有十分重要的作用，人脸关键特征点的精确定位，将为人脸变形， 纹理映射等等相关处理打下良好的基础。另外，由于受人脸表情因素的影响，如何准确 的对人脸进行特征点标定一直是计算机图形学中多年来研究的课题。早在上世纪六十年 代末，就有人提出了基于灰度变化的信息方法来定位面部特征。k a s s 等人提出了称为 s n a k e 的主动轮廓线模型【4 1 1 。t f c o o t e s 等人提出主动形状模型是一种基于统计模型的 方法，对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规律的形 状统计模型和反映灰度分布规律的局部灰度模型，并根据模型对输入的图像进行搜索， 从而对人脸特征点进行定位【4 2 】。 人脸模型虽然复杂，但是各自的基本形状具有一定的规律性，这种规律可以作为进 行器官标定的先验知识，使标定更加准确。在目标搜索过程中首先利用先验知识对模型 进行初始定位，然后利用局部纹理模型进行特征点搜索，并利用形状模型对形状进行合 理近似的调整。这种方法特别适合在人脸上进行特征点的定位。 1 3 1 人脸特征点的定义 图1 4 人脸定义参数f d p 定义的特征点 m p e g 4 专家组中的人脸和身体动画专业小组( t h ef a c ea n db o d ya n i m a t i o na dh o c g r o u p ，f b a ) 定义了一套非常完备的参数来描述人脸和身体的特征以及动画，包括人 脸的形状、尺寸和材质等内容【4 l 】。在这些定义中，人脸动画参数( f a c ea n i m a t i o n 第一章绪诧 p a r a m e t e r s ，f a p ) 和人脸定义参数( f a c ed e f i n i t i o np a r a m e t e r s ，f d p ) 是针对人脸的专 门描述，它们以人脸形态学为基础，以一套特征点定义为工具分别描述了人脸的定义描 述和动画描述如图1 4 所示：图中空心圆点代表的特征点是基本特征点，和影响到人 脸动画参数的设置；黑色圆点代表的特征点进一步对人脸的特征细节进行描述，与人脸 动画参数无关。在f d p 中定义了8 4 个几何特征点，覆盖了人头颅部分的全部面积，面 部五官部分进行了更加详细的设置。 从m p e g 4 的f d p 中对人脸特征的描述可以看出来，我们可以将人脸的特征点定义 分为两类：轮廓特征点和器官特征点。其中，轮廓特征点主要将整个人脸区域按照物理 特征进行划分，确定每个主要器官和人脸的特征范围：器官特征点主要是对已经完成分 区的各个人脸器官内部的特征点进行描述。 132 人脸特征点的标定 根据人脸的骨骼及肌肉组织的特点，参照m p e g - 4 中人脸定义参数的特征点区域分 布可以将人脸分为眼睛、鼻子、嘴巴、下巴、脸颊、额头与头后部七个区域 4 3 1 ，七个区 域的分布如图l5 所示： ( 曲正面( b ) 侧面 圈15 三维人脸区域分布 一个典型的三维人脸往往包含十几万个顶点，这样所需处理的数据量就很大。为了 简化问题，可以提取出一些有代表性的点( 称之为特征点) ，并建立一个视觉模型来描 述及表征三维人脸的形状1 。每个区域的特征点分为轮廓特征点与器官特征点两类，具 体的特征点的分布如图1 6 所示：人脸定义了3 9 个特征点其中绿色点为轮廓特征点， 菇3 1 个，红色点为器官特征点，共8 个。由于人脸两侧基本上是对称的，故在定义特 西北大学硕学位论文 征点的时候只需考虑一侧的特征点即可 曲正面特征点标定0 ) 侧面特征点标定 图16 人脸特征点分布 14 面貌真实感处理关键技术比较 对比国内外研究现状，目前面貌真实感处理可以分为五大关键技术，如图17 所示 图17 面貌真宴感处理关键技术 面貌真实感处理不同的技术可以采用多种方法，其优酸点对比如表11 所示 第一章绪论 表1 1 面貌真实感处理关键技术中使用方法的优缺点比较 关键技术方法优点缺点 可以更好分辨人体内部结构图建模过程复杂，难以控制，模型 c t 重建 像，大幅提高疾病诊断的准确性真实感差 3 d 扫描获取三维人脸数据快速、准确建模过程复杂 标定图像( 序列) 可将高分辨率的人脸照片变形 需要人工交互标示特征点，得到 特征点重构 拼接生成对应的三维人脸，能较 的几何数据精度不高，噪声较大 人脸三维几 好的恢复人脸的纹理信息 何信息获取 建模软件 构建的人脸轮廓与肤色接近真对未经过美术训练的人来说，使 人，头发造型也非常逼真用这种软件进行描绘特别困难 易通过改变部分控制点位置的过于依赖标准人脸的参数化模 调节参数模型 方法来生成该人脸的不同模型型，难表现不同人脸个性 准确、逼真、快速的对颅骨进行 颅面复原颅骨结构复杂，复原过程困难 三维复原 侧面图像，由于其不对称性、特 手工征点少等原因，暂时采用手动标标定速度慢 人脸特征点定特征点的方法 标定 主要提取正面人脸特征信息，对 自动 快速、准确 于侧面人脸标定困难 模型表面的不连续性或者洞比 f f d 对复杂物体进行变形效果好 较难控制 d f f d 实现标准模型到三维数据拟合复杂的初始化，计算时间比较长 不需要与目标网格相同的定点 交形有可能在区域边界产生不 人脸几何个径向基函数数，其余定点可通过插值函数计 连续性 性信息生成 算得到 在曲面变形过程中能够很好的 微分 编辑中有可能产生失真 保持曲面几何细节 变形的结果常常会出现拉伸或 骨架变形实时生成真实感的变形结果 收缩等不自然现象 人脸细节信照片，视频不同照片上的相同特征点很难 息获取合成 简单易行，有很好的效果 准确对应 皮 肤 二维图像 软件编辑 方便、简单 图片的选择具有一定的主观性 算法绘制绘制效果很逼真难以实现 皱 纹理法 生成的纹理效果很逼真，具备各只适应于特定人脸模型，制作过 纹种细纹特征程复杂，通用性不强 n1 - - - - l r n 自m * m “k i 、- 日船i _ l 一_ nb “h i i “ 女l 1 4 西北大学硕士学位论文 真实感 失真 变形都是由外部力量引起的，计变形都是由外部力量引起的，计 物理法 算量惊人算量惊人 创建的具有简单几何形状的头 卷发 难以形成动画 发，方法简单 基于剪裁 图的头发可以创建真实感头发模型 创建的头发没有任何深度，同样 很难使头发具有动画。 建模 头 几何形状 发 创建的头发具有动画效果 渲染所需的时间长 头发建模 周围环境 建模效果好 没有计算链背面的对象，当进行 头发建模反转时，原来前面的链就会消失 基于粒子 最常用的头发建模方式实现过程存在一定困难 头发建模 表情编码 是人脸上所有导致脸部运动的运动单元是纯粹的局部化的空 运动单元的枚举间模板，无时间描述信息 人脸表情动 画生成简单肌肉模型可以产生真实感人脸表情动画需要大量细致的手工调节工作 伪肌肉模型不涉及人脸内部复杂生理结构变形只发生在局部网格上 面貌真实感处理技术涉及多个研究领域，有着广泛的应用前景。随着社会的发展以 及信息技术的深入应用，面貌真实感处理技术得到了长足的发展。但是，面貌真实感处 理技术仍然存在以下难点： ( 1 ) 人脸年龄特点表现 颅骨经过重构后可以得到颅面，如何体现面貌的个性化特点，是面貌真实感处理研 究的一个难点。 ( 2 ) 人脸皮肤特点表现 通过对一般人脸模型的修改可以获得特定的人脸模型，这些人脸模型是由许多三角 面片组成的网格体，如何体现人脸的真实感是面貌真实感处理研究的又一个难点。 ( 3 ) 人脸细节特点表现 颅面复原生成的人脸模型缺少头发、眉毛、眼睛、嘴唇等细节信息，如何体现这些 细节问题是面貌真实感处理研究极为挑战的课题。 因此，如何表现人脸年龄特点，如何表现人脸皮肤特点，如何表现人脸的细节特点， 就成了一个亟待解决的课题。本文总结国内外面貌真实感处理的研究成果，以及在新的 应用环境下所面临的挑战，提出一套解决方案，旨在充分发掘该项技术的潜力，克服局 1 5 第一章绪论 限性，拓展应用范围。研究内容主要围绕着入脸年龄特点表现、人脸皮肤特点表现、力 图解决用人机交互的方式进行三维人脸绘制等问题展开系统、详细的研究。 1 5 论文的组织结构 全文共六章。 第一章是绪论部分。主要介绍了课题背景与意义、国内外研究现状以及组织结构。 第二章是基于微分坐标的三维真实感人脸年龄特点表现技术部分。主要介绍了利用 网格变形拉伸的方法进行真实感处理，从而表现真实感人脸年龄特点。 第三章是基于纹理绘制的三维真实感人脸皮肤特点表现技术部分。主要介绍了利用 人脸纹理贴图以及颜色传递的方法实现肤色的快速变化。 第四章一种所见即所得的交互式三维人脸绘制技术部分。主要介绍了利用交互式绘 制技术实现更细致的面貌真实感处理。 第五章系统设计与实现部分。详细介绍了真实感面貌处理系统的系统结构以及各个 部分的实现细节。 第六章是总结与展望部分。对全文进行总结，并介绍了未来的工作。 1 6 本章小结 本章阐述了的研究背景与意义，分析了国内外研究现状，确定了本文的研究内容， 说明了本论文的组织结构。 1 6 西北大学碗学位论女 第二章基于微分坐标的三维真实感人脸年龄特点表现技术 由颅骨通过重构的方式形成的颅面，缺乏个性信息，另外，同一个颅骨有可能产生 胖人与瘦人两种面貌。为了体现面貌的个性特点，本章研究了基于微分坐标的三维真实 感人脸年龄特点表现方法。 21 人脸髓年龄变化特点 人脸由眼、耳、鼻、口、眉毛、额头、脸颊、下颚等器官构成。每个器官都具有不 问的形状特征，它们之间既有联系又相互独立，共同构成了真实的人脸。人的年龄是 个随时间变化的长期的过程，在人的外部表现比较明显。随着年龄的增长，人脸外貌会 产生很大变化。人脸轮廓的变化、骨骼的尺寸、皮肤纹理的改变、皱纹的出现和肌肉的 改变都会随着年龄的增加而发生着极大的改变。 人们对于年龄的感知其实是一个心理的过程。0 t o o l c 等人深入研究了差异性 ( d i s t i n c t i v e n e s s ) ，即刻画特定人脸与“平均”人脸的特征差异程度的指标。他们利用人 脆图像的漫画生成技术，证实了人脸的差异性的增加会使人产生衰老的感觉。 人脸表情丰富，人脸随年龄增长而变化，最明显表现在人脸形状和人脸纹理如皱纹 和斑点等这两个方面。另外，人脸所成的罔像受光照、成像角度及成像距离等影响。荣 建群从人脸画像的角度总结，不同年龄人脸的图像规律。如躅2l 所示，少年时期， 人脸的脸型特征表现为小脸、短圆、小下巴、皮肤光滑且有弹性；青年时期，人脸的脸 型特征表现为竖向拉长、下巴稍尖，柔和感消失，边沿变硬，皮肤较光滑；中年时期， 人脸的脸型特征表现