（计算机应用技术专业论文）基于照片的游戏中个性化三维人脸造型的研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富有挑战性的课题。 随着虚拟现实、影视制作、游戏娱乐互动的发展，这一研究领域也越来越受 到人们的关注。本文从事网络游戏中个性化三维人脸建模的研究。 本文的研究工作包括了以下几个方面： ( 1 )人脸模型的应用前景及国内外的研究现状，对现在已有的三维人 脸建模技术进行了分析比较；参考目前网络游戏及娱乐中并没有使用自定义 图片进行人个性化人脸三维角色建模现状，结合网络游戏的主流三维建模方 法，提出使用一张正面人脸照片在网络游戏中进行人脸建模的基本方案； ( 2 )在研究了人脸生理结构特点的基础上定义了人脸的特征点；并从 人脸图片中提取特定人脸的特征点数据，用于3 d m a x 图形软件进行初始人 脸模型的建立和修改； ( 3 ) 选取匹配的三维模型，利用o p e n g l 这个开放性图形库，进行人 脸模型的绘制，重建出三维人脸模型；再利用人脸正面照片的纹理映射建立 出了真实感较强的人脸模型。 本文设计实现网络游戏人脸造型的基本方法和思路，可以通过选取照片 和模型，在屏幕上绘制出符合网络游戏制作的人脸模型。实验结果表明该方 法对于给定的单张正面人脸照片进行网络游戏中个性化三维人脸建模有一定 的参考作用，并取得了较好的显示效果。 关键词人脸模型、特征提取、三维建模、纹理映射 西南交通大学硕士研究生学位论文第1 l 页 a b s tr a c t i ti sa ne x t r e m e l yc h a l l e n g i n gs u b j e c ti nt h ef i e l do fc o m p u t e rg r a p h i c st o r e b u i l dt h et h r e e d i m e n s i o n a lf a c em o d e l so fp e o p l e w i t ht h ed e v e l o p m e n to f v i r t u a lr e a l i t y ，f i l m sa n dt v s ，g a m e sa n da m u s e m e n t ，t h i sr e s e a r c hf i e l di sp a i d c l o s ea t t e n t i o nt om o r ea n dm o r eb y p e o p l e t h i sp a p e ri sm a i n l ye n g a g e di nt h e r e s e a r c ho ft h r e e d i m e n s i o n a lf a c i a lm o d e l i n go fi n d i v i d u a l i z e di nm u l t i p l a y e r o n l i n eg a m e t h er e s e a r c hi n c l u d e st h ef o l l o w i n gs e v e r a lr e s p e c t s ： ( 1 ) t h e p r o s p e c to fp e o p l ef a c em o d e l i n ga p p l i c a t i o n ，t h ec u r r e n ts i t u a t i o no f d o m e s t i ca n di n t e r n a t i o n a lr e s e a r c h t h i sp a p e rh a sa n a l y z e da n dc o m p a r e ds o m e m o d e r nt h r e e d i m e n s i o n a lp e o p l ef a c em o d e l i n gt e c h n o l o g i e s ；i tp u tf o r w a r da m e t h o dt h a to n l yu s eas i n g l ep i c t u r eo fap e r s o n sf r o n tf a c et ob u i l dt h e t h r e e - - d i m e n s i o n a lf a c em o d e li nm u l t i p l a y e ro n - l i n eg a m e ； ( 2 ) t h i s p a p e rd e f i n et h ec h a r a c t e r i s t i cp o i n t so ft h ef a c e so fp e o p l eo nt h e b a s i so fs t u d y i n gt h es t r u c t u r a lc h a r a c t e r i s t i co fp e o p l e sf a c ep h y s i o l o g y ；a n d e x t r a c ts o m ep a r t i c u l a rd a t ao fc h a r a c t e r i s t i cp o i n t sf r o mp i c t u r e so ff a c e ，f i n a l l y , u t i l i z i n g3 d m a xt os e t t i n g u pa n dm o d i f yt h ei n i t i a lf a c em o d e l s ； ( 3 ) t h r o u g hm a t c h i n g t h et h r e e - d i m e n s i o n a lf a c e m o d e l i n g ，u t i l i z i n g o p e n g lt o r e b u i l dt h r e e - d i m e n s i o n a lf a c e m o d e l i n g f i n a l l y , w ep r o c e s s e d t h r e e d i m e n s i o n a lf a c em o d e lw i t ht e x t u r em a p p i n g ，t h i sm e t h o dc a nb u i l da l i v e l yf a c em o d e l t h i s p a p e rp r o v i d e dar e a s o n a b l em e t h o dt o r e a l i z ef a c em o d e l i n gi n m u l t i p l a y e ro n l i n eg a m e s ；i t c a l ld r a wat h r e e d i m e n s i o n a lf a c em o d e li n c o m p u t e rs c r e e nb yc h o o s i n gap h o t oa n dam o d e l ，t h ee x p e r i m e n ts h o wt h a ti ti s ag o o dm e a s u r et om o d e li nm u l t i p l a y e ro n l i n eg a m e s ，a n dg e tab e t t e rd i s p l a y r e s u l t k e yw o rdsf a c em o d e l s ，c h a r a c t e r i s t i cd r a w n ，t h r e e d i m e n s i o n a lm o d e l i n g ， t e x t u r em a p p i n g 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位 论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密囱，使用本授权书。 ( 请在以上方框内打“ ) 学位论文作者签名：荡呐 日期：加b 、b i - 7 指导老师签名：椭 日期： 卫明6 i 了 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 本文提出一个可以利用一张正面照片对网络游戏三维个性化人脸进行建 模的方法和思路，及具体实现办法 西南交通大学硕士研究生学位论文第1 页 研究背景 第1 章绪论 人脸是人体上最具表达力的一部分，具有广泛性和多样性特点。人脸表 面具有高度复杂的几何形状和十分丰富的颜色纹理信息，因此目前用计算机 图形学的方法建立起逼真的三维人脸仍然是一项具有很大挑战性的工作。 早期人们复制人脸的方法包括手工绘画、照片和电影。但这些复制人脸 仅限于二维图像，人脸的二维图像仅表达了人脸表面的一个角度方向的信息， 但是随着科技的发展，在诸多方面人们已经不满足于仅获取单一角度方向的 人脸信息，人们希望可以更方便的从各个角度观察人脸，并可以更简单的操 作人脸，最早的三维人脸的复制方法是粘土雕塑，来产生一个立体的三维人 脸。而从二十世纪中期开始，随着计算机技术迅猛发展，人们利用计算机技 术复制三维人脸的研究工作越来越多，并取得了丰厚的成果。【l j 现在，随着立体三维技术的不断发展，包括三维地图，三维游戏，和建 筑行业的三维模型等等，三维人脸建模技术也已经作为一个研究热点而广受 关注，人脸建模技术的应用领域也日益广泛，在虚拟现实、影视制作、人机 交互界面、可视电话、视频会议、辅助教学、医学研究、游戏娱乐等很多方 面都有所应用，真实质感的三维人脸建模能让三维人脸这个特有的个性化产 物出现在某些地方来表达人物的个性化特征。除此之外，目前现有的一些问 题仅用二维人脸信息还不能够得到很好的解决，把思路转化到三维空间，充 分利用人脸信息，是一个非常可取的研究方向。 随着中国数字娱乐产业的发展，作为网络游戏技术核心的游戏引擎，尤 其是3 d 游戏引擎的研究就显得非常有价值。目前在三维游戏和三维娱乐产 业的发展和研究上进步很快，游戏娱乐也已成为计算机产业的支柱产业，三 维单机游戏，三维网络游戏的三维人物造型也丰富多彩，特别是随着计算机 网络的发展，三维网络游戏也成为现在游戏公司的主流开发产品，人脸作为 人最重要的外部特征，在人与人的通信交流过程中起着非常重要的作用。它 能够传递许多非语言的信息来加强理解或表达情感，因此成为游戏中人物造 西南交通大学硕士研究生学位论文第2 页 型技术的关键。目前来看，基本上所有的网络游戏在进入游戏前都会有个角 色创建的过程，但是目前网络游戏中并没有出现玩家或者用户利用个性化照 片进行游戏中人性化人物的建立，只能利用游戏中现有的人物造型进行游戏 娱乐，本文从三维网络游戏个性化角色建立进行研究，特别是通过单张正面 照片进行三维网络游戏个性化角色建模，这也是一个非常新颖、实用性和娱 乐性都很强的一个研究方向。 1 2 研究意义 1 9 6 3 年伊凡苏依兰f - ( i v a ns u t h e r l a n d ) 在麻省理工学院发表了名为画 板的博士论文，标志着计算机图形学( c o m p u t e rg r a p h i c s ) 【2 】正式诞生以 来，至今已有近四十年的历史 3 】。在过去的四十多年里，计算机图形学在计 算机辅助设计与制造、科学计算可视化、图形实时绘制与自然景物仿真、计 算机动画、用户接口、计算机艺术等领域取得了许多令人瞩目的成就。计算 机在处理图形图像方面的优异性能表现，得到了一些富有想象力和创造力的 人们的重视，他们尝试着用计算机来复制和合成三维入脸造型并获得了巨大 的成功。 在日常生活中我们都可以领略到三维人脸造型所展现的撼人魅力，如电 视节目中的虚拟主持入、电影中的虚拟演员、广告中的虚拟明星。在一些新 型的网络游戏中也出现在了3 d 的明星脸。还有在即时聊天工具所用到的3 d 秀等一些很吸引人的应用。 目前计算机模拟领域中的人脸合成技术由于其广泛的应用前景得到了越 来越多的重视，它可以用于人体语言感知模型研究、虚拟环境、通信技术、 辅助教学、医疗研究、电影制作、游戏娱乐等诸多方面。 三维人脸造型具有广泛的应用前景，覆盖范围包括休闲娱乐、通讯、医 疗、教育等各个领域，具体应用包括： 1 ) 电影电视制作 三维人脸造型在娱乐方面最显著的应用是被广泛地用于电影、电视、广 告中虚拟演员与明星的制作。从美国颇受观众喜爱的早期影片怪物史莱克、 超人特攻队日本的最终幻想和2 0 0 7 年底华纳兄弟影片公司的3 d 动 西南交通大学硕士研究生学位论文第3 页 画大片贝奥武夫再到我国动画片的宝莲灯等电影的制作中都无不体 现了人脸造型和动画技术的魅力。 2 ) 游戏娱乐 这是本文研究的最大目的。计算机除了用于工作学习之外，另一个重要 的用途就是用于休闲娱乐，游戏当然就是首当其冲了。游戏软件业已成为计 算机软件的支柱产业之一。目前各种各样的体育类游戏如e a 的n b a 和 f i f a 系列，k o n a m i 实况足球系列等都出现了运动员的真实3 d 脸 型，而2 0 0 7 年底上市的实况足球2 0 0 8 ) ) 中更是能通过录入玩家照片或视 频模拟出近于真实的玩家脸型，让玩家有置身真实比赛现场的感觉。同样我 国根据电视连续剧武林外传改编的同名网络游戏武林外传中家喻户 晓角色也出现在在同福客栈这一个游戏场景中。但现在的大多数游戏不足之 处在于，还只能是玩家操纵游戏中的虚拟角色从事某种探险或战役等活动， 缺乏参与感。如果我们能将游戏中的虚拟角色换成玩家自己的造型，能看着 自己本人在游戏中“纵横驰骋 ，那对广大玩家来说恐怕不只是爱不释手了吧。 本文研究的重点以如何在三维网络游戏中实现可以利用一张人脸正面照 片，进行个性化的人脸角色建模为研究方向，现有的游戏角色中存在各式各 样的类型，卡通类、怪侠类和仿真人类等，本文只对仿真人类的角色造型进 行研究，游戏中人物造型还有个性化发型，饰物等进行搭配，对脸部边缘会 起到一定的遮挡作用，所以本文主要是针对人脸部主要部分进行研究。对于 本文中三维人脸建模的要求只要抓住人物的特点，达到游戏中人物特征不失 真，在深度上并没有太多的要求，因为对于其它类型如人物卡通类脸型，还 可以对特定部位进行拉伸，保留人物特征方面，这些方面的研究工作，可以 在未来的研究工作中来继续开展。 3 1 面部整形手术及医学研究 医疗中脸部造型的主要应用是脸部整形手术和心理研究等领域。在进行 面部的整形手术之前，可以模拟手术的过程和展示手术后的治疗效果。不断 发展的人脸造型与动画系统也为心理学家进行人脸运动和表情的研究提供了 依据。心理学家可以用人脸运动的计算机模型来实现他们的研究。这比以前 他们必须使用照片或随意地叫人刺激肌肉来做研究更方便。 4 ) 辅助教学 西南交通大学硕士研究生学位论文第4 页 使用人脸造型的一个应用是作为辅助教学的工具。教人学习发音是一项 艰辛而又单调的工作，而当学生在说话和听力方面有障碍时，更是如此。相 反，学生跟着计算机虚拟的语言老师学习，想怎么学就怎么学。一方面不必 老师反复地教学，极大的减少了工作量，另一方面可以激发学生的学习兴趣， 增强学习的效果。还有很多其它的方面的应用，在这里就不一一列举了。 特别要提到的是网络三维游戏引擎是用户用来开发游戏的软件工具和数 据文件的集合，是一个处理游戏底层技术的平台。三维游戏引擎技术把游戏 程序中可以重复利用的部分，用模组化技术进行规格化与最佳化以利于重用， 开发者可以直接使用引擎提供的a p i 来进行游戏开发，从而大大缩短游戏开 发时间。现在，三维游戏引擎已经发展为一套由多个子系统共同构成的复杂 系统，从建模、动画到光影、粒子特效，从物理系统、碰撞检测到文件管理、 网络特性，还有专业的编辑工具和插件，几乎涵盖了开发过程中的所有重要 环节。发展三维游戏引擎的目的是要简化游戏制作的复杂度，缩短开发时间， 降低制作成本【4 】。随着计算机三维游戏的迅速发展，在计算机游戏领域，游 戏玩家对游戏的用户界面和交互方式提出了更高的要求，人们对游戏中的个 性化人物造型要求也越来越高。如果能把游戏用户本身的形象合成到游戏场 景中去，使其成为游戏中的一个角色，则更能增加游戏用户的兴趣，更有沉 浸感。因此越来越多的游戏公司也开始重视人脸的个性化设计，个性化人脸 在游戏人物造型技术中的地位变得越来越重要。 1 3 国内外研究现状 对于人脸建模及重建问题的研究工作开展的较早，目前已经相对成熟。 相关的方法在计算机动画的虚拟现实中也得到使用和验证。 近年来，国外已有了较多基于图像恢复人脸几何的有效方法。其中有些 方法要求输入的图像是正交视图，用由图像提取的轮廓去修改一般人脸模型， 有的方法精确重建出少数三维人脸特征点，然后用变分技术去修改一般人脸 模型。而在f u a p t 5 】的工作中，他利用了三个互补的信息源：立体数据、轮廓 边和二维特征点来重建人头。使用纤维束调整技术恢复摄像机参数，并使用 了最小二乘法的优化技术和控制三角形的逐步细化技术。但其算法计算量较 西南交通大学硕士研究生学位论文第5 页 大。r e i n 1 i e n h s u 【6 j 等用于人脸三维重建的方法比较有代表性。他以三角网孔 模型为通用人脸模型，将人脸特征从彩色图像中提取出来，并事先已经给定 了范围。人脸的特征量度包括形状信息和纹理信息【7 】。使用从全局到局部的 方法【8 】，将人脸模型和脸部特征量度数据对准。首先对齐整个通用模型，之 后精确对齐局部特征。整体对齐是指头部的位置和尺寸的定位，局部对齐包 括眼、鼻、嘴、面颊等特征点的变换和缩放。用位移传播的方法( 移动网孔 的顶点来平滑特征平面) 和活动轮廓线的方法，提炼局部特征。最后，用纹理 映射使得重建的人脸看起来更像真实人脸。 国内近些年在人脸造型方面也有很大的发展。哈尔滨工业大学的晏洁 【9 儿1 0 】在人脸建模、纹理映身等方面做出了一些成绩，提出了一种人脸模型个性 化的方法和多方向纹理映像的算法。北京工业大学的尹宝才】等人研究人脸 建模和人脸纹理映像的方法。西安电子科技大学的郑飞与陈梅【1 2 】提出了使用 人面照片合成全景图像的方法进行三维重建。浙江大学的梅丽【1 3 】等人给出了 基于实拍人脸图像的三维逼真人脸模型的重建算法。该算法无需昂贵的设备， 既省力，又有很强的真实感效果。它首先在两幅人脸图像上交互标识特征点 对和输入摄像机的广角参数来实现摄像机定标，进而匹配出两幅人脸图像上 的其它对应点，实现模型的三维重建。 对于目前国内国外最流行网络游戏中的人物，像魔兽世界、天龙八部， 武林外传等一些游戏中，虽然角色造型丰富多彩，但并没有使用人脸建模技 术来进行个性化角色建模，而对于单张照片进行建模的使用，上一段所提到 的所有的这些研究工作对本文进行网络游戏的个性化人脸的建立都有着很好 的参考价值。本文就是参考目前国内外的一些研究工作，结合网络游戏中的 3 d 建模技术，找到一个比较合适的方法和思路来实现。 1 4 本文的研究工作 目前的人脸建模研究方法，根据初始输入数据的不同，主要有三类：一 类是利用专门的三维数据采集设备，如三维激光扫描仪【1 5 】，直接获取人脸表 面数据进行建模，这种方法建模精度高，建模后模型逼真，但数据采集设备 昂贵，不利于推广。另一类是利用计算机视觉的方法，从多幅人脸照片中恢 西南交通大学硕士研究生学位论文第6 页 复人脸形状。最后的一类即从人脸照片和一般三维人脸网格模型出发建立特 定人脸模型【l6 | ，这种方法成本低，不需要专门的设备，应用更加广泛，对一 些建模精度要求不是特别高的场合，也能完全满足要求。当然还有其它一些 研究方法，如基于三维人脸模型库的统计【l7 】的方法，基于视频序列的方法等。 本文在选取研究方法的时候，考虑到张正面照片能非常容易的获取和 易传输的特性，且对于游戏玩家的照片选择和操作也相对简单，一些网络游 戏或者网络三维人物造型上也没有出现采用一张照片建立个性化人脸模型的 方法，本文在建模方法采用上面提到的最后一种建模思路，首先通过照相机 或人脸库中获取特定的一张人脸正面照片，采取手动的方式提取人脸特征点 和特征区域，根据照片的信息数据，恢复特征点三维空间投影坐标。 由于本文只使用了一张正面的照片，不同于其它方法中采用两张，正侧 面照片【1 7 】【18 1 ，或者三张，正侧面及4 5 度角照片19 1 。这样只能得到一个二维 的人脸数据坐标，在建立三维模型时必须借助一般人脸模型，考虑到正确的 三维坐标信息，才能建立起较合适的三维人脸模型，而在目前许多大型的网 络游戏中，都是借助三维建模软件如m a y a ，3 d m a x ，p o s e r 等来进行人物， 场景，初始模型的建立，再利用o p e n g l 实现游戏中三维图形屏幕绘制，使 用o p e n g l 及其应用软件来建立游戏中的三维图形世界。本文考虑到网络游 戏制作的主流方法，研究思路上也是借助3 dm a x 软件建立不同类型的人 脸三维模型文件，参考照片中的特征点对模型进行修改，通过对初始模型数 据的处理，转化成适合于本实验研究的数据格式；通过照片的特征点和建立 好的人脸模型进行匹配，找到适合此张照片的人脸模型文件，接下来，在前 两步准备的基础上，从这张选出的正面位图照片中读取出纹理信息，对特定 化人脸网格模型进行了纹理映射，给予了模型“皮肤”，最后采用一些光照效 果，获得了具有更高逼真程度的三维人脸。这种方法和三维网络游戏制作过 程和方法基本保持一致，这样可以在保证人脸视觉不失真的前提下，尽可能 地提高个性化人脸的绘制速度，从而能使用户在相对较低配置的计算机上运 行游戏，并达到理想效果。并能很好的与网络游戏人物制作结合起来。 个性化人脸引擎是游戏引擎中图形引擎中的一个子部分，它的控制结构 参考游戏引擎的设计思路【2 9 1 ，引擎主要包含两部分，一是人脸模型的个性化 处理，二是个性化的人脸绘制。如图1 1 所示： 西南交通大学硕士研究生学位论文第7 页 图形引擎逻辑引擎 山 1r 个性化= 维人脸引擎 = | =1 l 【日 立人脸绘制人脸模型个性化处理 日 引 土上上1 li 擎 模纹 特特 非 型理 征征 特 绘映 占 占 征 提映 调 制射整 取射 整 r 游戏引擎内核 操作系统 图1 1 游戏引擎中个性化人脸引擎结构图 本文设计个性化网络游戏三维人脸引擎的部分功能，在游戏过程中调用 人脸绘制部分，动态地对模型进行简化和纹理映射，绘制到游戏场景中。实 现一个可以通过选取人脸正面照与模型，建立起真实感较好，并运用到网络 游戏个性化人脸建模中的方法。 1 5 本文的章节安排 本文的章节组织如下： 第1 章，绪论。介绍了三维人脸建模技术的研究背景以及研究意义，分 析了近年来国内外研究情况。在此基础上，给出了本文的研究思路、研究目 西南交通大学硕士研究生学位论文第8 页 标以及主要研究内容。 第2 章，人脸特征点定义与一般人脸模型获取。根据人脸特征分布特点， 在一般人脸网格模型上定义人脸特征点，保存初始特征点数据：接着与一般 人脸网格模型上的特征点相对应，进行了人脸特征点的手动提取。再通过 3 d m a x 对模型的各种操作和修改，最后处理完毕的个性化三维人脸实体模型。 第3 章，游戏三维人脸绘制。介绍本文中标准模型的建立方法，及3 d s 文件的解析和3 d s 文件信息的读取，再用o p e n g l 通过已经由3 d m a x 建立 好的三维人脸模型中读取出来的信息重新绘制出三维人脸模型面。 第4 章，纹理映射。通过对人脸正面图像的处理，获得纹理贴图，再由 模型展开获得模型纹理坐标，进行模型渲染的流程，根据o p e n g l 有关纹理 映射的知识，通过光照效果的设定，给出了最终的具有较高逼真程度的3 d 人脸。 总结与展望。通过结论对方法及策略、过程和试验结果进行归纳和总结， 对所提出的问题、任务的解决程度及取得的进展进行了表述，指出研究中获 得的几个新观点、新思路和新方法，指出了进一步研究的设想和建议。 西南交通大学硕士研究生学位论文第9 页 第2 章人脸特征点定义与人脸模型获取 2 1 人脸特征点的定义 人脸特征点是人脸上能够表达人脸个性化特征的点，世界上没有完全相 同的两张人脸，就算是双胞胎也不完全一样【2 4 1 。例如，人脸特征点包括两个 外眼角点和两个内眼角点、鼻尖点、左右嘴角点，以及表示人脸轮廓特征的 轮廓特征点。建立一个特定人的3 d 网格模型，提取的特征点数目越多，表 达的人脸几何特征越精确，建立起来的3 d 网格模型一般也会更加逼真。但 选取过多的特征点势必增加手动提取的难度和时间，应该选择合适数目的特 征点。在获取一般人脸模型时，就是根据选取不同特点的人脸照片，通过它 们各自特征点来建立不同特点的人脸模型。 2 1 1 人脸特征点的基本定义 人的面部结构比较复杂，要想重建出具有真实感的人脸造型，则选取的 特征点必须有一定的代表性，能表示出一个人的面部特征，且能满足三维人 脸造型和匹配三给人脸模型的需要。 根据人脸的生理结构特点为，尽管每个人面貌不同，便都有一般规律。 在本文中，将本文的人脸模型分为五个组成部分，分别为左眼o b j e c t l ，右眼 o b j e c t 2 ，鼻子o b j e c t 3 ，嘴巴o b j e c t 4 以及人脸脸型o b j e c t 5 。所以人脸特征 点也按照这个划分方法，以便人脸照片与三维模型能更好的匹配，针对这五 个区域分别定义特征点，每个区域的特征点划分为内点和与边界点两类，人 脸有一定的对称性，眼睛的特征点只考虑一侧的特征点，另一侧可以由对称 性来得出。 眼睛区域：左眼区域o b j e c t l 及右眼区域o b j e c t 2 ： 眼睛区域对应人的视觉器官眼睛，位置上对就颅骨上眼眶区域，由 瞳孔，角膜等组成的球形嵌在眼睛窝里，眼球外覆盖着上、下眼睑。 眼裂的形状近似于两条抛物线，帮我们用4 个内部点即可近似的标记 西南交通大学硕士研究生学位论文第10 页 出。而对于上下眼睑来说，其紧紧覆盖于球状的眼球表面，无论眼睛 处于何种状态( 睁眼、闭眼或半开半闭等) ，其表面始终可以近似的看 作球面。帮我们可以用4 个外部点近似的标记出眼眶的区域。眼睛区 域的特征点定义如图2 1 所示，其中黑色的圆形点为边界点，黑色的 菱形点为内部点，以下同。 ：e o 一3 图2 1 左眼区域o b j e c t l 的特征点定义 鼻子区域o b j e c t 3 ： 鼻子区域对应于人的嗅觉器官一鼻子。鼻子隆起于面部中央，呈三角 状，由鼻根、鼻背、鼻尖和鼻翼等组成。鼻子表面近似的关于鼻梁左 右对称，对于一侧的表面来说，整体较为平滑，只不过在鼻子下部的 两侧鼻翼处由于鼻孔的原因而出现了局部隆起。鼻子区域的特征点定 义如图2 2 所示，由于鼻子的两侧边缘较为平直，我们用两个边界点 即可表示，其中点n o1 与眼睛分区的边界点n o0 相同，点n o2 为鼻翼的最远点，另外点n o0 为鼻根点，点n o3 为鼻子分区与嘴 巴分区交界处的鼻下点。我们内部点n 10 为鼻尖点。鼻子关于人脸 中央左右对称，故略去另外一侧的点两个点，以下做类似的简化处理。 西南交通大学硕士研究生学位论文第11 页 图2 2 鼻子区域o b j e c t 3 的特征点定义 嘴巴区域o b j e c t 4 ： 嘴巴主要由内部的牙齿、舌头和外部表面的上、下嘴唇构成。嘴唇由 口轮匝肌组成，覆盖于颌骨和牙齿之上，其形态取决于颌骨和牙齿形 成的弧度。上、下唇由于人类语言的高度发达而变得活动十分灵活。 图2 3 给出了嘴巴区域的特征点定义，我们用了6 个边界点定义了嘴 巴的区域范围，其中点m ol ，m o2 、m o3 表示鼻唇沟( 嘴唇皮肤 与脸颊皮肤交界处的浅沟) 曲线，点m o5 为下嘴唇的与下巴交界处 的凹下点，点m o0 ，m 0l 与鼻子分区的边界点n o3 、n o2 相同。 我们用3 个内部点( m 10 至m i1 ) 定义口裂的大小及形状。 m o3 m 吖 m o5 图2 3 嘴巴区域o b j e c t 4 的特征点定义 人脸脸型区域o b j e c t 5 ： 脸颊区域：脸颊占据了人脸的大部分区域，是人脸特征的重要组成部 分，该部分的曲面构造比较复杂，而且人与人之间的差别较大，即 使同一个人在胖和瘦之间的变化时脸形变化也比较大。用4 个边界 点描述脸颊的轮廓曲线。如图2 4 所示。 西南交通大学硕士研究生学位论文第12 页 x 一卜 图2 4 人脸脸型区域o b j e c t 5 特征点定义 本文中人脸五个部分特征点数量和位置如表2 1 所示 表2 1 人脸五个部分特征点数量和位置 内部点 分区名称边界点数说明 数 眼睛区域( 左由于人脸形状基本上左 4 4 右眼)右对称，故只取一侧的特征 鼻子区域 41点。 嘴巴区域 53对于相邻的分区，在分 脸型区域 4o界线上的特征点会重复 西南交通大学硕士研究生学位论文第13 页 2 1 2 人脸正面照片的预处理 对于给定的和采用的人脸库中的特定人脸的照片，往往很难保证拍摄距 离保持一致，和正面拍摄角度的偏差，从而造成人脸器官尺寸的大小、方位 角度的不一致，需要在提取特征点之前对其进行归一化处理【19 1 ，以保证坐标 与三维模型中坐标的基本统一。 y ji 。厂 、 i x l ，、，弋| ， l r | f | h f l | 、 i f 图2 5 正面照片归一化处理图 在人面照片的拍摄过程中，当正面照片中的人脸的大小、方位角度发生 变化时，照片中人脸上各个器官会随着人脸大小变化近似按比例缩放和旋转。 为了减少拍摄时人脸水平旋转带来的误差，我们在选取人脸正面照片时尽量 选取拍摄角度较正的照片，如果选取的照片不能较好的符合要求，只能利用 工具对它进行一定的修改，让其x 、y 轴与我们所选定的方向一致，要不然 所建立起来的人脸模型也会全偏位，再后面进行的纹理映射后，脸部皮肤就 会出现偏位或者不丰满的效果。符合要求的照片只用考虑到大小和垂直旋转 的因素。因此我们可以在正侧面照片中选择同基准，通过其的变化对正侧 面照片进行按比例的缩放，实现归一化。如图2 5 所示，由于眼睛与嘴巴的 西南交通大学硕士研究生学位论文第14 页 中心线在正面照片中很容易准确定位，而且不受头发发型等因素的影响，故 我们选择它们之间的距离作为基准，对人面的正面照片进行归一化处理。 设在正面照片上，眼睛与嘴巴的中心线距离为h f 。考虑到要在3 d m a x 中建立起的三维人脸模型中的h 的距离，照片中原始坐标为( x ，y ) 的像素点， 归一化后的坐标如式( 2 1 ) ： x=h(xhd(2-iyh ( y h f ) ) 【= 7 其中：h 为我们利用软件建模中一般人脸模型中嘴巴与眼睛的中心线距离， 因为h 的距离我们可以根据所建立模型的大小而变，在这里并没有给出固定 值，而是根据所需要建立的模型大小来定；h f 为选取的人脸照片中眼睛与嘴 巴的中心线距离：x 、y 为正面照片中特征点的坐标；x 、y 为归一化后的坐 标。 2 1 3 从一般人脸正面照片恢复特征点的坐标值 从二维图像到三维空间重构，也称为立体视觉。这主要是对二维图像中 像素点的三维信息的恢复，尤其是深度信息。一般生物都有两只眼睛，用两 只眼睛同时观察物体时能产生深度感觉。三维重构也就是对生物的这种过程 模仿。一般采用两个摄像机对同一物体或同一场景进行图像采集。理想的方 法是对图像中每个像素点的深度进行恢复。目前研究的进展与之还相差较远。 大多数研究人员为了能够表达三维空间信息，目前较多地采用三维矢量图形 来替代三维位图【z 。 本文中对于这三维空间重构的问题上，借助3 d m a x 模型，对于模型的深 度信息，只能是采用软件中模型的默认比例，为了便于计算照片的特征点， 首先定义二维坐标系。在照片( 视图) 中，规定两眼之间的中点( 鼻梁处) 为原点， x 轴穿过两眼的中心，y 轴竖直向上。为了计算方便，本文将3 d m a x 通用三 维模型的原点也定义为两眼之间的中点( 鼻梁处) ，与二维人脸图像定义的坐 标系相同，z 轴穿过头部中心向外。同时，为了使面部器官的大小一致，需 要对各照片的人脸图像进行归一化处理。如上一小节所示。 本文对选取照片特征点的人机交互式标定，根据m p e g 4 标准，在正面 西南交通大学硕士研究生学位论文 第15 页 和侧面图像中共定义了4 4 个特征点，其中正面图像中定义了3 2 个特征点， 侧面图像中定义了1 2 个特征点，但考虑到我们所采用照片只是一张正面照片， 所以在选取特征点的标准上采用本文自己选取的方法，此方法能从一张人脸 照片上通过特定数目的特征点找出人脸特征信息。根据上文特征点的定义， 在人脸单张正面照片上人工选取面部的4 4 个特征点。考虑到对称性，本文只 取左半边和中轴上共2 6 个特征点来获取坐标值，图2 - 6 所示就本文脸部照片 中的特征点和正面坐标的定义。 图2 6 照片中特征点和正面坐标 相对于两眼之间的中点( 鼻梁处) 为原点进行坐标转换：因为y 轴与原图 片中y 轴方向相反，坐标转换时考虑y 轴的转向。 =x一=x一-xo(2-3)y y ( - y o ) 【= 一一 其中x ，y 为以两眼之间的中点的各特征点的坐标值，x o ，y o 为两眼之 间的中点o 坐标值。 表2 2 为图片中所获的特征点坐标值： 西南交通大学硕士研究生学位论文第16 页 表2 2 原始人脸照片特征点坐标值 左眼鼻子嘴脸部 o b j e c t lo b j e c t 3o b j e c t 4o b j e c t 5 x y x y x y x y e oo 1 7 01 5 0 n oo 2 0 21 4 0 m 0o 2 0 22 6 8 f 0o 1 91 6 3 e 01 l l 01 2 2 n o1 l8 31 4 0 m 01 1 3 92 4 5 f 01 3 62 7 7 - e 02 5 21 5 0 n o2 l5 72 3 0 m 02 1 1 3 3 0 0 f 02 1 4 6 3 8 7 e o3 1 1 l1 7 8 n 03 2 0 22 5 2 m 03 1 173 4 8 f 03 2 0 2 3 9 4 e 10 1 4 6l5 0 n io 2 0 22 3l m 04 1 3 63 4 8 e i1 1 0 9 1 3 4 m 05 2 0 2 3 4 8 e i2 7 9 1 5 0 m 10 2 0 22 9 2 e i3 l0 91 6 2 m i1 1 3 63 0 0 m i2 2 0 23 3 3 注：此坐标系原点( 0 ，0 ) 为照片的左上角，x 轴指向右，y 轴指向下，两眼之 问的中点( 鼻梁处) 0 坐标值为( 2 0 2 ，1 5 0 ) 进行坐标转换后以两眼之间的中点o 为原点的特征点坐标值如表2 3 ： 而利用软件建立起来的三维模型上的投影面坐标和照片上特征点的差值， 和如何对三维模型特征点进行调整，本文会在后面一节中讲到。 西南交通大学硕士研究生学位论文第17 页 表2 3 进行坐标转换后人脸照片特征点坐标值 左眼鼻子 嘴脸部 o b j e c t l o b j e c t 3 o b j e c t 4 o b j e c t 5 xyxyxyxy e oo 3 2o n 0o 0l o m 0 0 02 6 8 f o0 18 313 _ e o1 9 22 8 n o1 1 91 0 m o1 6 32 4 5 f o1 16 61 2 7_ e o2 1 5 0 o n o2 4 58 0 m 02 8 9 3 0 0 f 02 5 62 3 7 e 03 9 1 2 8 n o3 o1 0 2 m 03 8 53 4 8 f o3 02 4 4 - e io 5 6 0 n io o 8 l m 04 6 63 4 8 e i1 9 31 6 m 05 o一3 4 8 e i2 1 2 3o m 10 02 9 2 e i3 9 31 2 m i1 6 63 0 0 m i2 03 3 3 注：此坐标系原点0 ( 0 ，0 ) 为两眼之间的中点，x 轴指向右，y 轴指向上 2 2 一般人脸模型 本节进行了基于照片变形一般人脸模型得到个性化人脸模型的研究过程， 首先需要通过对人脸照片特征点的提取，获得一般人脸模型作为展开研究的 数据基础。本节主要讲述一般人脸模型的特点和一般人脸模型的获取。 人脸在组织结构上的特征决定了其所特有的规律，下面介绍一下人脸的 “三庭五眼”规律。在人脸正面像上，人脸轮廓呈近似椭圆，双眼在椭圆水 平轴上；眉心、鼻尖和下巴尖在竖直轴上。在竖直方向上，发际到眉弓、眉 弓到鼻尖、鼻尖到下巴尖点的距离都相等，称作“三庭；在水平方向上，两 眼之间、两眼外角分别到双耳的距离都相等，均为一眼宽，这样，加上两个 眼睛自身的宽度，称为“五眼 。人脸的“三庭五眼 规律参见图2 7 图： 西南交通大学硕士研究生学位论文第18 页 了、 ； o 一扛键 j ? 一i ：缳兰 一，。， 厂 l 呛? 霞；r l 庭 f； 。：、一2 0 掌7 “车瞧 。，l 一一j 兰缎 f i 瞰 图2 7 人脸的三庭五眼规律 我们在利用软件进行人脸建模就服从这个规律，这样所能建立的人脸也 比较有代表性，有利于我们对模型的使用和修改。 2 2 1 一般人脸模型的特点及表示方法 不同的人脸之间尽管存在着很多的差异，但仍然有着共同的特点。本文 中把人的脸部轮廓可以近似地看作椭圆【2 ，人脸的各个器官眉毛、眼睛、鼻 子、嘴巴等的相对位置是稳定的，各个器官的形状也存在着共性。对于一个 特定人而言，用眼睛的大小，鼻子的高低，嘴唇的形状等来刻画这个人的面 部特征。一般人脸可以看作是一张典型的、不具备任何明显特征的中性的人 脸。 一般人脸模型表示方法有多种。计算机图形学领域中，3 d 模型的表示方 法主要有两种：基于体( v o l u m e ) 表示和基于面( s 讧r f a c e ) 表示【2 2 】。基于体表示 方法描述了物体的表面特征和内部特征，其中内部特征描述了模型的有关物 理属性。但是这种表示方法占用空间大，不利于计算机表示和处理，而且体 表示的某些技术还不成熟，体描述数据可以通过c t 、m r i 【2 3 j 等设备生成。 面描述数据可以通过3 d 扫描仪等3 d 数字化设备生成【2 4 1 。这种方法本身 比较昂贵，与网络游戏中的3 d 模型表示方法差别较大，而且对于目前网络 游戏的投入和开发周期及运营模式来看，基本上不适用，所以我们考虑第二 种基于面描述方法，它的优点是它可以很容易地获得计算机图形学中进行着 西南交通大学硕士研究生学位论文第19 页 色所需要的面。在基于面描述的人脸模型表示中，非参数的网格使用得最为 广泛。在这种表示中，物体表面用平面多边形块来逼近，多边形通常采用三 角形，因为计算机图形学中的许多技术都可以产生物体的三角网格【2 0 j 表示。 在三角形网格模型中，物体通常由定义三角形网格的顶点来表示。由于块大 小可以根据物体表面的复杂性来调整，所以网格表达具有灵活性和通用性。 这里本文采用三角网格模型表达一般人脸，主要的模型元素包括顶点坐标以 及由顶点组成的三角形片集合。 网格模型的疏密程度决定了能够表现的脸部细节，三角网格模型表示又 分为均匀网格表示和非均匀网格表示。不均匀的网格分布既能充分表现特征， 又能够减少计算量。在人脸曲率变化较大的地方，点的分布应该更加密集， 例如嘴巴、眼睛等处；在人脸曲率变化较小的地方，点的分布可以稀疏，例 如脸颊等处。所以，通过模型的建立也能用三角网格表示来充分的表达一般 人脸网格模型。 另外，很多软件都支持以三角网格表示的数据。例如m a y a 、p o s e r 及 3 d m a x 。本文利用3 d m a x 建立人脸三维模型，3 d m a x 建立种类模型已经是 一个很纯熟的技术了，在大型网络游戏中进行三维建模【2 5 】【2 9 】起到了很重要的 作用，而且可以根据一些人脸建模的插件更容易的来建立三维人脸模型。用 于后面的o p e n g l 三维人脸重建。所以我们的人脸模型采用3 d m a x 来进行 人脸模型的生成。 本文中利用最简单普遍的方式从一些现成的建模软件中直接导出3 d 格 式的人头模型文件，本文所采用3 d m a x 三维人体建模软件【2 5 】【2 6 】【2 7 1 ，也胄日匕v 1 t k e l 简便的导出的人脸模型文件，格式导出选择为3 d s 文件。因为目前当然还有 很多其它的文件类型，只不过文件内部存储格式不同，描述内容都是同一个 对象。而且对于3 d s 文件解析和读取，国内外利用各种程序语言都有了很细 致的研究，能很容易的通过对文件格式进行分析和读取。 2 2 2 利用3 d m a x 创建人脸模型及模型的个性化处理 本文在利用3 d m a x 软件建立一般人脸模型利用一个人脸建模插件