（电路与系统专业论文）基于照片的三维人脸建模技术研究[电路与系统专业优秀论文].pdf

摘要 摘要 自从p a r k e 在1 9 7 2 年率先使用入脸参数模型生成入脸图像以来，三维 人脸建模发展到现在，已经成为计算机图形学领域的一个重要分支。在虚 拟现实、影视制作、人机交互界面、可视电话、视频会议、辅助教学、医 学研究、游戏娱乐等诸多方面，都具有很强的应用价值。虽然该领域已经 有了显著的进展，由于人脸表面的复杂性，建立逼真的三维人脸仍然是一 项艰难的工作。 本文进行了基于照片的三维人脸建模技术研究。首先从人体建模软件 p o s e r6 0 中导出一般人脸三维网格模型，将初始数据格式转化成适合人脸 建模研究的数据格式；然后在人脸照片库中选定建模对象的照片，交互式 提取脸部特征信息并保存，这两步为后续的研究提供了数据准备。在接下 来的特定化一般人脸三维网格模型阶段，采用径向基函数和克里金两种空 间插值技术变形一般人脸模型，并对克里金插值后的模型进行了基于局部 区域的二次插值磨光处理，模型的几何结构更加自然；为了获取人脸纹理 信息，尝试利用金字塔方法和小波方法拼接人脸图像，并进一步改进了算 法，用三张照片合成人脸纹理，避免了仅用正侧面两张获得纹理全景图时 会产生较大纹理扭曲的缺陷，得到了更加逼真完美的入脸全景纹理图；最 后对插值获得的个性人脸网格模型进行了纹理映射，给予了模型“皮肤”， 得到具有更高逼真程度的个性三维人脸。 本文在m a t l a b6 5 仿真环境中实现了基于照片的三维人脸建模系统，利 用其数据导出功能，导出模型数据和纹理数据，将得到的特定人脸在v i s u a l c + + 6 0 环境中利用o p e n g l 图形库进行了带纹理的3 d 模型渲染。实验结 合了m a t l a b6 5 和v i s u a lc + + 6 0 在人脸建模过程中各自的优势，为课题提 供了一个更加有利的研究方向。 关键词三维人脸建模；一般人脸模型：空间插值；纹理映射；o p e n g l 燕山大学工学硕士学位论文 a b s t r a c t s i n c ep a r k eg e n e r a t e df a c ei m a g ew i t ht h ef a c ep a r a m e t e rm o d e li n1 9 7 2 ， 3 df a c em o d e l i n gh a sb e e na l li m p o r t a n to f f s e to fc o m p u t e rg r a p h i c s i tc a l lb e u s e di nm o r ea n dm o r l ：f i e l d s ：v i r t u a lr e a l i t y , f i l mp r o d u c t i o n , m a l l m a e h i r l e i n t e r a c t i o ni n t e r f a c e ，v i d e ot e l e p h o n e ，v i d e oc o n f e r e n c e ，c o m p u t e ra i d e de d u - c a t i o n , m e d i c i n er e s e a r c ha n dc o m p u t e rg a m e s ，e ta 1 a l t h o u 曲r e s e a r c h e r sh a v e a c h i e v e dm a n yp r o d u c t i o n s ，m o d e l i n gr e a l i t yf a c eo fag i v e np e r s o ni sa l lt h e s a m ead i f f i c u l tt a s kb e c a u s eo f t h ec o m p l e x i t yo f f a c es u r f a c e 1 1 l i sp a p e rf o c u s e so nt h et e c h n o l o g yo f3 df a c em o d e l i n gb a s e do n p e r s o n sp h o t o s f i r s t g e tt h e3 df i l e o fag e n e r a lf a c ef r o mt h em o d e l i n g s o f t w a r ep o s e r6 0 ，a n dt r a n s f o r mt h ed a t at ot h ef o r m a ta d a p t e dt ot h el a t e r s t u d y t h e np h o t o so ft h em o d e l i n go b j e c t 撇s e l e c t e df r o mt h ef a c ep h o t o l i b r a r y , e x t r a c tt h ef a c ef e a t u r ep o i n t sf r o mt h e s ep h o t o sa n ds a v et h e m t l l i s p r e p a r e sf o rt h en e x ts t e p s f o l l o w i n g ，t h eg e n e r a lf a c em o d e li sp e r s o n a l i z e d u s i n gt h es p a c ei n t e r p o l a t i o nt e c h n o l o g yo fr b fa n dk r i g i n g t oi m p r o v et h e r e s u l to fk r i g i n g ，t h e3 dm o d e li ss m o o t h e db yi n t e r p o l a t i n go i i c i ：a g a i ni na l o c a la l * e an e a re v e r yf e a t u r ep o i n t ，ab e t t e rn a t u r a lr e s u l ti sa c h i e v e d n e x t ，f o r g e t t i n gt h ef a c et e x t u r ei n f o r m a t i o n , t h i sp a p e rt r i e st o 愀t h ei m a g ep y r a m i d a n dw a v e l e tt os t i t c ht h ep e l s o n sp h o t o s d u r i n gs t i t c h i n g ak i n do f b e t t e r m e n t i sp r e s e n t e d ，w h i c hs t i t c h e st h r e ep h o t o so ft h es a m ep e r s o ni n s t e a do ft w o p h o t o s i ta v o i d sb i g g e rd i s t o r t i o no ft e x t u r eg o tb yt w op h o t o s a3 6 0 。f a c e t e x t u r em a pi n d e p e n d e n to fv i e wi s1 t l a d eu s i n gt h ei m p r o v e dm e t h o d f i n a l l y , m a pt h et e x t u r et ot h eg r i d d i n gm o d e l ，a l li d e a l3 df a c em o d e lc h a r a c t e r i z e di s d i s p l a y e d t h i sp a p e ru s e sm a t l a b6 5t oi m p l e m e n taf a c em o d e l i n gs y s t e m u s i n gi t s f u n c t i o no fd a t ae x p o r t a t i o n , t h ef m a l3 df a c e 、析t i lt e x t u r ei sp a i n t e di nv i s u a l i i a b s t r a c t o fd a t ae x p o r t a t i o n , t h ef i n a l3 df a c ev n t ht e x t u r ei sp a i n t e di nv i s u a lc + + 6 0 u s i n go p e n g l t a k i n ga d v a n t a g eo fm a t l a b6 5a n dv i s u a lc + + 6 0 af a v o r a b l e s t u d yd i r e c t i o na n dv a l u a b l ee x p e r i e n c ef o rf a c em o d e l i n gi sp r o p o s e d k e y w o r d s3 df a c em o d e l i n g ；g e n e r a lf a c em o d e l ；s p a c ei n t e r p o l a t i o n ；t e x t u r e m a p p i n g ；o p e n g l i i i 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于照片的三维人脸建 模技术研究，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进 行研究工作所取得的成果。据本人所知，论文中除己注明部分外不包含他 人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和 集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签字串日期：1 呻年年月2 2 日 l 燕山大学硕士学位论文使用授权书 基于照片的三维人脸建模技术研究系本人在燕山大学攻读硕士学 位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学 所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完 全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关 部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕 山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的 全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密瓯 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 日期：2 叼年争, 9 2 2 b 日期：z 叫年争月z 1 日 p 彳 鼻如r 赵殳 第1 章绪论 1 1 研究背景 第1 章绪论 人脸是人体上最具表达力的一部分，具有广泛性和多样性特点。人脸 表面具有高度复杂的几何形状和十分丰富的颜色纹理信息，目前用计算机 图形学的方法建立起逼真的三维人脸仍然是一项具有很大挑战性的工作。 早期人们复制人脸的方法包括粘土雕塑、手工绘画等，后来又出现了 照片和电影，但是其复制机制只限于二维。人脸的二维图像仅表达了人脸 表面的一个角度方向的信息，但是随着科技的发展，在诸多方面人们已经 不满足于仅获取单角度方向的人脸信息，人们希望可以更方便的从各个角 度观察人脸，可以更简单的操作人脸。二十世纪中期开始，计算机技术迅 猛发展，人们利用计算机技术复制人脸的研究越来越多，并取得了丰厚的 成果。现在，三维人脸建模技术已经作为一个研究热点而广受关注，人脸 建模技术的应用领域也日益广泛，在虚拟现实、影视制作、人机交互界面、 可视电话、视频会议、辅助教学、医学研究、游戏娱乐等很多方面都有所 应用。除此之外，目前现有的一些问题仅用二维人脸信息还不能够得到很 好的解决，把思路转化到三维空间，充分利用人脸信息，是一个非常可取 的研究方向。 1 2 研究意义 从1 9 7 2 年p a r k e ! l j 首先使用人脸参数模型生成人脸图像以来，三维人脸 建模作为计算机图形学技术的一个独特分支越来越受到人们的重视，随着 三维人脸建模技术的发展，三维人脸建模技术的应用也日益广泛，在众多 的科技领域中人们都可以发现三维人脸建模技术的身影，主要表现在以下 几个方面。 燕山大学工学硕士学位论文 ( 1 ) 影视制作当我们欣赏着电影节目中某个角色的精彩绝伦表演时， 我们是否想到这可能是由计算机合成出来的一个虚拟人物? 电影制作者们 赋予角色人性的外观和极其逼真的表情，使得我们不得不发出惊叹。从玩 具总动员、夺面双雄到终结者系列、骇客帝国等的制作中无不 体现了人脸造型和动画技术的魅力。动画师们也总是在不断寻求更具发展 潜力的人脸建模与人脸动画系统，并希望利用最新的学术研究成果对已有 的系统进行修改和完善，以便给观众带来更精彩的视觉享受。 ( 2 ) 可视电话与可视会议虽然目前可视技术已经成熟，但是其巨大的 多媒体信息占据着宝贵的频带资源，要求通信线路具有很大的带宽。人脸 建模与人脸动画技术只需要一次性的从发送端发送人脸定义特征参数，接 收端根据收到的参数利用人脸建模技术恢复人脸，以后的传送过程仅仅是 传送预先定义的人脸表情参数信息，这样必然降低了传送信息的冗余程度， 大大减少了一定时间内的数据流量，在普通的通信线路上就可以实现实时 的“面对面的交流”，可视技术也必将得到更加广泛的普及。 ( 3 ) 医学领域在医学领域，人脸建模与动画技术的主要应用是面部整 形手术和心理研究等。在进行面部整形手术之前，可以基于人脸建模技术 模拟手术过程并展示手术后的结果，从而做出更加详细的手术方案，减少 手术风险。心理学家可以用人脸运动的计算机模型来实现他们的研究，这 比以前他们必须使用照片或者刺激人脸肌肉进行研究更加的方便。 ( 4 ) 计算机辅助教学人脸建模以及在此技术上的人脸动画技术可以运 用到有生有色的计算机辅助教学过程。尤其是当学生听力方面有缺陷时， 学生可以在人脸动画技术的支持下，一遍遍的跟这位虚拟老师学习，只要 预先设定程序，这位老师永远都会“不厌其烦”。学生可以随时随地与这位 类似真人的虚拟老师学习，增加了学习氛围，调动了学生的积极性。 ( 5 ) 游戏娱乐计算机除了用于工作和学习，另一个重要的用途就是休 闲和娱乐，游戏软件业已经成为计算机软件的支柱产业之一。现在游戏的 一个不足之处在于，一般只能是玩家操纵游戏中的虚拟角色，缺乏自身参 与感。如果把游戏角色换成玩家自己，那种身临其境的感觉肯定会更让玩 家对这个游戏爱不释手了。 第1 章绪论 ( 6 ) 人脸识别人脸识别是生物特征鉴别技术的一个主要研究方向，经 过诸多学者的悉心研究，有不少成功的识别方法已经形成，但是这些方法 主要集中在二维方面，由于受到光照、姿势和表情等因素的影响，识别准 确度受到限制。一个较好的解决办法是利用三维模型进行人脸的识别，因 为利用三维人脸模型可以消除或减弱光照、姿势和表情等因素的影响。近 年来，基于三维模型的人脸识别方法已经取得了很大进展，在提高识别的 鲁棒性和精度方面也显示出了巨大潜力，必将成为人脸识别的热点。 1 3 国内外研究现状 三维人脸建模过程一般经过人脸特征信息提取、个性化人脸模型建立 和纹理合成与纹理映射三个步骤。三维数据的获取属于计算机视觉领域， 近年来随着计算机视觉技术的发展，研究者们找到了一些适用于三维建模 的数据获取方法。个性化人脸模型建立可以根据三维数据直接建立可视化 模型，也可以通过对标准模型的形变进行建模，后者是研究的主流。从标 准模型到个性模型的建模方法按照数据的来源主要分为两类：基于三维散 乱点数据的建模方法和基于图像( 单幅、多幅、序列) 的建模方法。在建模过 程中，研究者们尽量使处理过程自动化，但至今完全自动化的建模方法还 少有报道。目前该领域中的研究热点主要集中在以下几个方面。 ( 1 ) - - 维面部数据的获取数据是分析问题的基础，但是到目前为止， 实用、便捷、高精度的三维数据获取装置还未见报道，这方面依然是国内 外学者研究的热点。 ( 2 ) 结构信息的恢复获取的三维点数据，只是分散的点，没有结构信 息，为了使三维模型具有生机，必须恢复其结构信息。一般做法是通过变 形已有的标准模型，以形成具体模型。因此，如何调整标准模型到个性模 型也是一个令人关注的课题。 ( 3 ) 表情合成模拟人脸逼真的表情是三维人脸建模的一个主要目的。 通过建立肌肉模型、协调各部分的运动，达到逼真动画效果，是许多研究 者追求的目标。 燕山大学工学硕士学位论文 ( 4 ) 纹理合成从多幅图像出发，合成逼真的面部纹理，给人更好的视 觉体验，这是三维建模必须面对的问题。 目前国际上许多著名的研究单位( 如微软研究院、华盛顿大学、瑞士联 邦技术研究院、多伦多大学、m m 研究院等) 都设立有专门进行人脸三维建 模研究的课题组。在此领域著名国际会议有a c ms i g g r a p h ，i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 等，著名国际期刊有p a m i ( i e e e t r a n s a c t i o n so i lp a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e m a t i o n a l j o u m a lo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r - s t a n d i n g ) 、i e e et r a n s a c t i o n so nv i s u a l i z a t i o na n dc o m p u t e rg r a p h i c s 等，每 年都有相当数量的关于三维人脸建模及其应用的论文出现。 国内在这方面的研究起步较晚，但是发展较为迅速。浙江大学、清华 大学、中国科学技术大学，中国科学院计算技术研究所和中国科学院自动 化研究所等在三维人脸的数据获取和建模方面取得了一些成果。浙大 c a d & c g 国家重点实验室在曲线曲面建模p 3 、真实感图形绘制、计算机 动画【5 】等方面取得了较大进展；清华大学利用三角样条曲面进行了面部建模 和动画研究【6 】；中国科学院计算技术研究所进行的表情分析与识别研究取得 了一些进展 7 , 8 1 ；中国科技大学从正面和侧面两幅图像出发合成了三维人脸 模型并制作了简单的面部表情动画0 j ；中国科学院自动化研究所研制出了 基于激光扫描的三维数据获取方法【1 1 1 。但是目前国内还只限于理论方面的 研究，实际应用很少涉及。近年来已有相关组织如计算机学会、中国图象 图形学学会等专门负责包括此领域在内的相关学科的学术活动。在此领域， 国内相关的刊物和学术会议有计算机学报、计算机辅助设计与图形学学报、 中国图象图形学报和c h i n a g r a p h 等。 1 4 本文的研究内容 目前的研究方法，根据初始输入数据的不同，主要有三类：一个是利 用专门的三维数据采集设备，如三维激光扫描仪 1 2 , 1 3 1 ，直接获取人脸表面 数据进行建模，这种方法建模精度高，建模后模型逼真，但数据采集设备 4 第1 章绪论 昂贵，不利于推广。另一类是利用计算机视觉的方法，从多幅人脸照片中 恢复人脸形状【1 4 】。最后介绍的一类即从人脸照片和一般三维人脸网格模型 出发建立特定人脸模型 1 5 1 ，这种方法成本低，不需要专门的设备，应用更 加广泛，对一些建模精度要求不是特别高的场合，也能完全满足要求。当 然还有其它一些研究方法，如基于三维人脸模型库的统计的方法【1 6 】，基于 视频序列的方法【1 刀等。 本文采用了最后一种思路，首先从p o s e r6 0 人体建模软件中输出了一 个一般人脸三维模型文件，通过对初始模型数据的处理，转化成适合于本 实验研究的数据格式，为继续的工作做好数据准备；然后通过照相机获取 特定人的人脸正侧面照片，采取人机交互的方式，提取人脸特征点，根据 照片的正交性，恢复特征点三维空间坐标；接下来，在前两步准备的基础 上，利用特征点的信息，通过空间数据插值的方法特定化一般人脸网格模 型，尝试采用了径向基函数r b f 和克里金k d g i n g 两种空间插植策略，并 对克里金方法提出了进一步的改进措施。为了获取人脸纹理信息，在研究 图像金字塔方法和小波方法的基础上，尝试了采用基于三张照片进行人脸 图像拼接的策略，避免了仅用正侧面两张获得纹理全景图时会产生较大纹 理扭曲的缺陷，并改进了加权因子，得到了完美的3 6 0 0 人脸纹理全景图； 最后对特定化人脸网格模型进行了纹理映射，给予了模型“皮肤”，获得了 具有更高逼真程度的三维人脸。 在初始数据获取和特定化网格模型阶段，采用m a t l a b6 5 进行了算法测 试；在最后的纹理映射阶段，利用v i s u a l c + + 6 0 编译环境，结合目前广泛 流行的开放图形库o p e n g l ，对模型进行了渲染。 1 5 本文的章节安排 第1 章，绪论。介绍了三维人脸建模技术的研究背景以及研究意义， 分析了近年来国内外研究情况。在此基础上，给出了本文的研究思路、研 究目标以及主要研究内容。 第2 章，一般人脸模型获取与人脸特征点定义。首先说明了一般人脸 5 燕山大学工学硕士学位论文 网格模型从p o s e r6 0 中的导出过程，从分析原始3 d 文件格式出发，最终 将模型的初始数据格式转化成适合于后续实验研究的数据格式。然后，根 据人脸特征分布特点，在一般人脸网格模型上定义人脸特征点，保存初始 特征点数据；接着与一般人脸网格模型上的特征点相对应，进行了人脸特 征点的交互式提取。 第3 章，个性化三维人脸重建。使用径向基函数r b f 和克里金两种空 间插植策略对一般人脸网格模型进行特定化。在k r i g i n g 方法中，针对单纯 使用该算法带来的模型变形缺陷，提出了基于空间局部区域进行二次插值 的改进策略，在保持局部细节的基础上，获得了更加光滑效果，最终获得 了与选定照片相对应的个性化三维人脸网格模型。 第4 章，人脸纹理图合成。首先概述了常用人脸图像拼接算法，采用 图像金字塔方法、小波的方法和改进加权因子方法拼接人脸多角度照片。 比较了采用正侧面两张照片与采用正面、4 5 。和侧面3 张照片得到的纹理图 的拼接效果，改进了传统的仅拼接两张照片的做法，最终得到了完美的3 6 0 0 人脸全景纹理，为纹理映射过程做好数据准备。 第5 章，纹理映射。介绍了模型展开获得模型纹理坐标，进行模型渲 染的流程，根据o p e n g l 有关纹理映射知识，基于v i s u a lc + + 6 0 开发环境， 给出了最终的具有较高逼真程度的3 d 人脸。 6 第2 章一般人脸模型与人脸特征点定义 第2 章一般人脸模型与人脸特征点定义 2 1 一般人脸模型 本文进行了基于照片变形一般人脸模型得到个性化人脸模型的研究过 程，首先需要获得一般人脸模型作为展开研究的数据基础。本节主要讲述 一般人脸模型的特点和一般人脸模型的获取。 2 1 1 一般人脸模型的特点及表示方法 不同的人脸之间尽管存在着很多的差异，但仍然有着共同的特点。例 如：人的脸部轮廓可以近似地看作椭圆，人脸的各个器官眉毛、眼睛、鼻 子、嘴巴等的相对位置是稳定的，各个器官的形状也存在着共性。对于一 个特定人而言，用眼睛的大小，鼻子的高低，嘴唇的形状等来刻画这个入 的面部特征。一般人脸可以看作是一张典型的、不具备任何明显特征的中 性的人脸。 一般人脸模型表示方法有多种。计算机图形学领域中，3 d 模型的表示 方法主要有两种：基于体( v o l u m e ) 表示和基于面( s u r f a c e ) 表示。体表示方法 描述了物体的表面特征和内部特征，其中内部特征描述了模型的有关物理 属性。但是这种表示方法占用空间大，不利于计算机表示和处理，而且体 表示的某些技术还不成熟，体描述数据可以通过c t 、m r i 等设备生成。面 描述数据可以通过3 d 扫描仪等3 d 数字化设备生成。基于面描述方法的优 点是它可以很容易地获得计算机图形学中进行着色所需要的面。在基于面 描述的人脸模型表示中，非参数的网格使用得最为广泛。在这种表示中， 物体表面用平面多边形块来逼近，多边形通常采用三角形，因为计算机图 形学中的许多技术都可以产生物体的三角网格表示。另外，很多软件都支 持以三角网格表示的数据。在三角形网格模型中，物体通常由定义三角形 网格的顶点来表示。由于块大小可以根据物体表面的复杂性来调整，所以 7 燕山大学工学硕士学位论文 网格表达具有灵活性和通用性。这里本文采用三角网格模型表达一般人脸， 主要的模型元素包括顶点坐标以及由顶点组成的三角形片集合。 网格模型的疏密程度决定了能够表现的脸部细节，三角网格模型表示 又分为均匀网格表示和非均匀网格表示。不均匀网格分布既能充分表现特 征，又能够减少计算量。在人脸曲率变化较大的地方，点的分布应该更加 密集，例如嘴巴、眼睛等处；在人脸曲率变化较小的地方，点的分布可以 稀疏，例如脸颊等处。所以，本文选择了采用不均匀三角网格表示来充分 的表达一般人脸网格模型。 2 1 t 2 一般人脸模型的获取 一般人脸模型获取的途径有多种，例如用3 d 扫描设备获取；但是最简 单普遍的方式就是从一些现成的建模软件中直接导出3 d 格式的人头模型 文件，经过一系列的处理，获得适合实验的数据结构。在许多的3 d 建模软 件中都已经存在人体三维模型库，例如3 d m a x s 、m a y a 、p o s e r 等，利用软 件中的数据导出功能，可以导出你所需要的模型对象的3 d 格式文件。本文 采用p o s e r6 0 【1s 】三维人体建模软件，导出的人头模型文件格式选择为v t x ， 命名为h e a d v t x 。当然还有很多其它的文件类型，只不过文件内部存储格 式不同，描述内容都是同一个对象。通过对文件格式进行分析，h e a d v t x 中人头模型包括三个组成部分，分别为左眼球o b j e c t l ，右眼球o b j e c t 2 以及 人头模型o b j e c t 3 ，分别进行每一部分的提取并记录，每一部分又包含各自 对应的四个数据段。 ( 1 ) 三角片元数据段网格模型由三角片组成，每一个三角片元对应三 个顶点，三角片元数据记录了所有三角片元各自对应的顶点的下标。初识 模型数据中三角片总数为81 2 0 。 ( 2 ) 模型顶点坐标数据段记录模型上每一个顶点的三维空间坐标位 置。顶点总数目为4 0 9 8 。 ( 3 ) 顶点法向量数据段记录模型顶点的法向量。 ( 4 ) 顶点纹理坐标数据段记录模型上每一个顶点在二维纹理空间所对 应的纹理坐标。 8 第2 章一般人脸模型与人脸特征点定义 根据上面提取的初始数据情况，考虑到本课题针对人脸表面的建模， 对模型数据进行了进一步的处理，去掉了与人脸表面一些无关的数据，包 括左右眼球，牙齿和舌头以及耳朵。在人脸建模初始阶段进行这样的提纯， 可以减少计算量，而且可以针对这些不同部位的特点对各个部位分别建模， 使各个部位都能取得最好的效果，从而更加精确的建模。最后处理完的入 脸模型包含32 4 3 个三角片元，16 9 3 个顶点。最初网格模型和处理完毕的 网格模型如图2 1 和图2 - 2 所示。 图2 - 1 处理前的一般网格模型 f i g 2 - 1g e n e r a lm o d e l b e f o r ep r o c e s s e d 2 2 人脸特征点定义 国2 - 2 处理后的一般网格模型 f i g 2 - 2g e n e r a lm o d e la f t e rp r o c e s s e d 人脸特征点是人脸上能够表达入脸个性化特征的点，世界上没有完全 相同的两张人脸，就算是双胞胎也不完全一样。例如，人脸特征点包括两 个外眼角点和两个内眼角点、鼻尖点、左右嘴角点，以及表示人脸轮廓特 征的轮廓特征点。建立一个特定人的3 d 网格模型，提取的特征点数目越多， 表达的人脸几何特征越精确，建立起来的3 d 网格模型一般也会更加逼真。 但选取过多的特征点势必增加建模时间，应该选择合适数目的特征点。目 前，很多人脸建模工作的特征点的选择都基于m p e g - 4 中人脸定义标准， 以便使得建模方法与m p e g - 4 系统兼容。这里，也考虑了这样的问题，本 文人脸特征点定义也是基于m p e g - 4 标准。关于m p e g 4 的更多的内容在 此不做过多的介绍。 9 燕山大学工学硕士学位论文 2 2 1m p e g 一4 标准下的f d p 参数 m p e g - 4 作为新一代动态图像压缩标准，提出基于对象的编码格式，将 人脸作为一个特殊的对象，并为人脸的动画制定了一系列标准，为人脸的 建模和动画研究奠定了基础。然而，由于m p e g - 4 定义的只是一种格式和框 架，而并未给出具体的实现算法，这就给研究人员提供了广阔的平台。 m p e g - 4 使用两个参数集合对中性人脸模型进行了定义：人脸定义参数( f a c e d e f i n i t i o np a r a m e t e r ，f d p ) 和人脸动画参数( f a c ea n i m a t i o np a r a m e t e r ，p a p ) 。 m p e g 4 中人脸特征点表示如图2 3 所示。 ，一i ：一、 ，一一 ：。t t ， 辩”裂， 图2 - 3m p e g - 4 中定义的f d p 特征点位置 f i g 2 - 3p o s i t i o no f f d p s o nt h ef a c ed e f i n e di nm p e g - 4 m p e g - 4 定义了具有如下性质的中性人脸模型：目光注视着z 轴；所有 脸部肌肉处于放松状态；眼睑与虹膜相切；瞳孔直径为虹膜直径的1 3 ；上 1 0 第2 章一般人脸模型与人脸特征点定义 下嘴唇接触，唇线水平，并与嘴角处于同一高度；嘴闭合，上下齿扣合； 舌头水平平直，且舌尖与上下齿缘接触。 m p e g - 4 人脸定义参数用来定义人脸的几何信息。在f d p 中，m p e g - 4 利用中性人脸模型定义了8 4 个特征州1 9 1 。这些特征点的主要作用是为定义 人脸动画参数提供空间参考，也定义了脸部几何模型，f d p 参数表示为人头 上的一些特征点的三维坐标。例如下巴的底端、上嘴唇内侧的中点、下嘴 唇内侧的中点、左右外眼角点和左右内眼角点等。 2 2 2 本文选定的人脸特征点 由于m p e g - 4 中定义的人脸特征点主要为定义人脸动画参数提供空间 参考，有的点作为人脸建模特征点并不必要，而且受个性化建模过程采用 的变形策略影响，当采用全部特征点时，点的分布不均，使得最终的建模 效果反而不理想。为了避免这种情况，同时又做到尽量与m p e g - 4 中f d p 选择标准兼容，本文选择的人脸特征点如图2 - 4 所示。同时，在一般人脸网 格模型上对应选点，将特征点位置保存，以后做任何对象的三维个性化人 脸的时候，都可以用这个一般模型及其特征点作为参考标准。所以，这样 的选择是一次性的。 图2 4 人脸正侧面照片中的特征点 f i g 2 - 4f e a t u r ep o i n t si nf r o n ta n dp r o f i l e 2 2 3 从正侧面人脸照片恢复特征点空间坐标 根据投影原理，如果已知一个空间点在两个正交面上的投影，则很容 易确定该点的空间位置，因此基于人脸正侧面照片可以提取出人脸特征点 燕山大学工学硕士学位论文 的三维坐标。照片拍摄过程应该保证人头端正，从正面和侧面两个正交方 向分别进行拍摄。 首先，规范化两幅图像的几何尺寸，使得两幅图像中的人头等高；在 两幅图像中取鼻尖点为基准点，正面照片中可以获得人脸特征点的x , y 两个 方向的宽度与高度的信息，侧面照片中可以获得人脸特征点的z ，y 两个方向 深度与高度的信息。目前存在很多人脸特征点自动检测算法，但是没有一 个算法能够完全准确地检测出人脸建模所需要的所有特征点，本文采用交 互的半自动手工标记方式，从人脸照片中提取的特征点如图2 5 所示。 图2 - 5 特征点空间坐标 f i g 2 - 5f e a t u r ep o i n t si ns p a c e 2 3 人脸特征点自动提取 虽然人类可以从一幅人脸图像中很轻松的分辨出面部特征点的准确位 置，但是对于计算机来讲并不是一件容易的事情。人脸具有复杂的三维表 面结构，因此，在不同的姿态、表情和光照条件下拍摄人脸，得到的二维 图像的差别会非常明显。准确的面部特征定位是一个极具挑战性的课题。 2 3 1 面部特征提取方法概述 按照面部特征提取的方法机理不同，主要分为五大类：第一类是基于 几何特征的面部特征提取方法，早期大多从侧面人脸图像中提取特征，现 在基本上是用正面人脸的信息；第二类是基于相关匹配的方法，包括模板 第2 章一般人脸模型与人脸特征点定义 匹配法和等灰度线方法，主要是利用计算模板和图像灰度的自相关性来实 现识别功能；第三类为基于统计的面部特征提取方法，包括特征脸方法和 隐马尔可夫方法；第四类为基于连接机制的面部特征提取方法，包括神经 网络方法和弹性图匹配方法；第五类为其他一些综合方法或处理非二维灰 度图像的方法。 基于几何特征的面部提取方法是最早用于人脸识别的方法。早在上世 纪六十年代末，k a n a d a 2 0 就提出了基于几何特征的人脸识别，采用的就是 基于灰度变化信息来定位面部特征点的方法。该方法主要利用人脸不同区 域灰度分布的不同特性来定位特征点的位置，由于直接根据图像灰度的变 化进行分析，因而其鲁棒性受到一定的限制。k a s s 2 1 】等人在1 9 8 7 年率先提 出了一种称为“s n a k e ”的主动轮廓线模型( a c t i v ec o n t o u rm o d e l ) ，s n a k e 是能量极小化的一种模型，内力约束它的形状，外力引导它的行为，图像 力将其拖向显著的图像特征。s n a k e 模型的引人之处在于它对范围广泛的一 系列视觉问题给出了统一的解决方法。近年来，它已经被越来越多的研究 者成功地应用于计算机视觉的诸多领域。 总之，基于灰度信息来定位面部特征点存在以下问题：从图像中抽取 稳定的特征比较困难，特别是当人戴眼镜、有胡须等情况下：对强烈的表 情变化或姿态变化的鲁棒性较差；特征点只能从灰度变化剧烈的地方抽取， 因此不易考虑人脸的三维结构；一般几何特征只描述了部件的基本形状与 结构关系，忽略了局部细微特征，造成部分信息的丢失，只适合于粗分类。 模板匹配法是一种经典的模式识别方法，这种方法大多是用归一化互 相关，直接计算两幅图像之间的匹配程度。由于这种方法要求两幅图像上 的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一和灰 度归一的工作。将面部用一组独立的小模扳表示，如眼睛模板、嘴巴模扳、 鼻子模板以及眉毛、下巴模板等。这些模板的获得必须利用各个特征的轮 廓。传统的边缘描述子往往很难获得可靠度较高的连续边缘，尤其是眼睛 和嘴巴与周围皮肤的对比度低，有些地方甚至这边缘都检测不到。即使获 得了可靠度高的边缘，也很难从中自动提出所需的特征量。为此，用弹性 模板方法提取特征显示出其独到的优越性。弹性模板由一组根据特征形状 燕山大学工学硕士学位论文 的先验知识设计的可调参数所定义。为了求出这组参数，需要利用图像的 边缘、峰值、谷值和强度信息及特征形状的先验知识设计合适的能量函数。 参数向能量减小方向作调整，当能量达到最小时，对应的模板形状最符合 特征形状。模板匹配的缺点是运算量大，特征提取所耗时间长。 基于统计的面部特征提取方法，包括特征脸( e i g e n f a c e ) 方法和隐马尔可 夫模型( h i d d e nm a r k o vm o d e ，h m m ) 方法。 特征脸方法是从主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 演变而 来的一种特征提取方法。p c a 实质上是k l 展开的网络递推实现，k l 变换 是图像压缩中的一种最优正交变换，其生成矩阵一般为训练样本的总体级 布矩阵。特征脸方法就是将包含人脸的图像区域看作是一种随机向量，因 此可以采用k l 变换获得其正交k l 基底。对应其中较大特征值的基底具有 与人脸相似的形状，因此又称之为特征脸( e i g e n f a c e ) 。利用这些基底的线性 组合可以描述、表达和逼近人脸图像，因此可以进行人脸的识别与合成。 识别过程就是将人脸图像映射到由特征脸张成的予空间上，比较其与己知 人脸在特征脸空间中的位置。 隐马尔可夫模型是用于描述信号统计特征的一组统计模型，基本理论 是由b a u m 和w e l c h 等人于2 0 世纪6 0 年代末7 0 年代初建立，在语音识别 中应用较多。h m m 使用马尔可夫来模拟信号统计特性的变化，而这种变化 又是间接地通过观察序列来描述的，因此，隐马尔可夫过程是一个双重的 随机过程。在h m v l 中，节点表示状态，有向边表示状态之间的转移，一 个状态可以具有特征空间中的任一特征，对同一特征，不同状态表现出这 一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列，可 能会对应于许多种状态序列，特征序列与状态序列之间的对应关系是非确 定的。这种模型对于状态序列来说是隐的，故称为隐马尔可夫模型。 主动形状模型是一种基于统计模型的方法，是由t f c o o t e s 2 2 2 5 等人在 1 9 9 5 年提出，该方法对训练集中大量所描述的形状实例进行统计，建立起 反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模 型。在搜索过程中，首先利用训练得到的局部灰度模型进行搜索，之后利 用形状模型来对搜索到的形状进行近似表达，同时对其合理性进行判断， 1 4 第2 章一般人脸模型与人脸特征点定义 对不合理的形状进行调整以保证形状在统计意义上的合理性。通过循环迭 代，得到理想的匹配结果。在主动形状模型基础之上，t f c o o t c s 2 6 等人在 1 9 9 8 年中提出了主动表观模型。此方法不仅建立了反映形状变化的形状统 计模型，同时建立了反映全局纹理变化的全局纹理模型，以充分利用全局 的纹理信息，并对形状模型及纹理模型结合起来建立表观模型。表观模型 去处了形状和纹理之间的相关性，可以准确地生成形状及纹理变化的目标 图像。在主动表观模型搜索过程中，利用训练得到的图像灰度差值与表观 参数变化的线性关系，不断变化表观模型参数以及二维几何位置和尺度等 参数，直至得到理想的匹配效果。主动形状模型和主动表观模型方法可以 对某一类特定图像进行建模来进行特征的提取，具有通用性与灵活性。 基于连接机制的面部特征提取方法，包括一般的神经网络方法和弹性 图匹配( e l a s t i cg r a p h i cm a t c h i n g ，e g m ) 方法。 神经网络在人脸识别中的应用有很长的历史，它有其特殊的适合于人 脸识别的优势，它不像其它方法那样要用一套由人确定的规则，它能根据 有代表性的样本自我学习，具有鲁棒性和自适应性。此外，神经网络以并 行方式处理信息，如果能用硬件实现，就能显著提高速度。神经网络方法 在人脸识别领域的应用范围很广，除了用于人脸识别外，还适用于性别识 别、种族识别等。 2 3 2 本文的人脸特征自动提取方法和实验结果 虽然人脸特征点的自动提取具有很大的挑战性，而且目前为止还没有 一个方法能够很好的检测出适用于人脸建模的所有特征点，但本文仍进行 了初步的尝试。需要明确，本文人脸特征点提取的目的是为了进行下一步 的人脸建模，需要在正侧面照片特征点提取的基础上，根据特征点的对应 性建立人脸特征点的三维空间坐标。可以利用正侧面照片的这种对应性进 行特征点的提取。而且可以利用一些先验知识，例如正面照片的人脸皮肤 区域中最亮点为最高点鼻尖点，9 0 。侧面照片中的最突出的点也是鼻尖点。 本文的人脸皮肤区域检测充分利用人脸的彩色r g b 信g t ：n ，将人脸彩 色区域由r g b 空间变换到i r g b y 空间，根据人脸皮肤的特征进行区域分割。 燕山大学工学硕士学位论文 计算如公式( 2 - 1 ) 所示。 i i = 【工( r ) + 上( g ) 4 - l ( b ) 3 r g = 上( r ) 一( g ) ( 2 - 1 ) i 缈= 工( 功一【三( g ) + l ( r ) 2 式中算子( x ) = 1 0 5 l o g ( x + 1 ) 。通过中值滤波和将滤波后的图像与原图像 相减得到人脸纹理幅度图谱，人脸纹理幅度图谱用于检测弱纹理信息区域， 皮肤区域通常含有较平滑的纹理信息，可以获得可能的皮肤区域。 色调和色饱和度图像用于检测匹配人脸肤色的区域。色调和色饱和度 的计算如公式( 2 2 ) 和公式( 2 3 ) 所示。 h u e = a t a n 2 ( r g ，b y ) ( 2 2 ) s a t u r a t i o n = s q r t ( r 9 2 + b y 2 )( 2 3 ) 对图像的幅度、色调和色饱和度进行合理的限制可以得到人脸皮肤区 域。对于幅度图像，在4 5 到1 2 0 之间的值标记为1 作为可能皮肤区域，其 它视为非皮肤区域标记为0 ，因而得到一幅二值图像