（信号与信息处理专业论文）真实感人脸网格模型的纹理映射研究.pdf

武汉理工大学硕士学位论文 摘要 随着计算机图形学技术的不断发展和完善，虚拟现实技术在影视动画制作、 广告设计、游戏娱乐、生物特征识别等方面的应用日益广泛。在这众多的研究 领域中，创建逼真的特定人脸三维模型一直是一个极富挑战性的课题。由于人 脸面部特征的复杂性，如何保证模型与人脸的特征匹配，并且对模型实现具有 真实感的纹理映射是关键问题，也是本文的研究重点。具体研究内容包括： 1 光照模型建立。从真实感图像绘制流程出发，基于o p e n g l 光照模型实 现了给场景中的模型添加光照效果，提高了三维模型显示的真实感。通过调节 场景中环境光、散射光、镜面光和发射光各自的参数比例，将它们分别计算后 叠加起来，形成最终的光照效果。 2 二维人脸特征提取。采用基于肤色的人脸识别算法，先通过相似度计算 和阈值分割对图像进行二值化处理，根据处理后的结果判断出人脸的大致范围， 再通过人工交互乔面修正算法局限性导致的人脸范围判断失真的地方，最后提 取出人脸的轮廓及特征信息。 3 三维模型调整。提出了基于比例变换的模型调整算法，首先将三维模型 从上至下分割成r t 块，求出每一块的横坐标最大和最小的点，从而计算出该块的 宽度，根据宽度以及整个模型的高度算出该块的比例系数。类似地，求出提取 的人脸轮廓每一行的比例系数。依据这些比例系数来插值调整三维模型上点的 三维坐标值，使其与二维人脸轮廓保持一致。 4 纹理图像到三维模型的映射。为了更具真实感，要保证将纹理图像上的 关键特征与三维网格模型上相应的特征位置准确对应。本文采取了简单约束纹 理映射的方法来控制三维特征点与二位纹理之间的映射关系，即两点定位后计 算关键点的位移差值，根据这个差值改变原来的纹理空间坐标与三维空间坐标 的对应关系，以此来实现模型的特征点精确匹配的效果。 基于v c + + 6 0 和o p e n g l 图形库设计并实现了三维人脸模型的纹理映射系 统。该系统能够对输入的单幅人脸照片进行人脸检测与特征提取，并通过手工 修正及自适应的模型调整来得到目标人脸的三维模型，并对其进行了约束纹理 映射和光照调节，使得结果真实感效果更强。 关键词：真实感，人脸模型调整，人脸检测，特征提取，纹理映射 武汉理工大学硕士学位论文 a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n ta n di m p r o v e m e n to fc o m p u t e rg r a p h i c s t e c h n o l o g y , t h ev i r t u a lr e a l i t yt e c h n o l o g yi sw i d e l yu s e di nf i l ma n dt e l e v i s i o n a n i m a t i o n ，a d v e r t i s i n gd e s i g n , g a m e s a n d e n t e r t a i n m e n t ，b i o l o g i c a l f e a t u r e r e c o g n i t i o na n do t h e ra s p e c t si n c r e a s i n g l y c r e a t i n gr e a l i s t i cs p e c i f i c3 df a c i a l m o d e lh a sb e e nac h a l l e n g i n gt a s ka m o n gt h en u m e r o u sr e s e a r c ha r e a s d u et ot h e c o m p l e x i t yo fh u m a nf a c i a lf e a t u r e s ，h o wt oe n s u r et h a tt h em o d e la n dt h ef a c i a l f e a t u r em a t c h i n g ，a n dt h em o d e lt oa c h i e v er e a l i s t i ct e x t u r em a p p i n gi sak e y p r o b l e m ，a l s oi st h ef o c u so ft h i sp a p e r t h er e s e a r c hc o n t e n t si n c l u d e ： 1 i l l u m i n a t i o nm o d e lb u i l d i n g a d d i n gl i g h t i n ge f f e c t st ot h es c e n eb a s e do nt h e r e a l i s t i ci m a g er e n d e r i n gp r o c e s sa n do p e n g li l l u m i n a t i o nm o d e lw h i c hi m p r o v e d t h er e a l i t yo ft h e3 dm o d e ls h o w i n gi nt h es c e n e b ya d j u s t i n gt h er e s p e c t i v e p a r a m e t e r sp r o p o r t i o no ft h ea m b i e n tl i g h t ，d i f f u s el i g h t ，s p e c u l a rl i g h ta n de m i s s i v e c o l o ri nt h es c e n e ，t h e nc a l c u l a t et h er e s u l t st of o r mt h ef i n a li l l u m i n a t i o ne f f e c t 2 f a c i a lf e a t u r ee x t r a c t i o n i m p l e m e n tf a c ed e t e c t i o nb a s e do ns k i n - c o l o r m o d e l a tf i r s t ，c a l c u l a t es k i ns i m i l a r i t yf o rt h et w o - v a l u es e t t i n g ，t h e nd e t e r m i n et h e g e n e r a lr a n g eo ff a c ea c c o r d i n gt ot h er e s u l t s ，a g a i nc o r r e c td i s t o r t i o nd u et ot h e a l g o r i t h ml i m i t a t i o n sb yt h ea r t i f i c i a li n t e r f a c e ，f i n a l l ye x t r a c tf a c ec o n t o u ra n d f e a t u r ei n f o r m a t i o n 3 3 dm o d e la d j u s t m e n t p r o p o s eam o d e la d j u s t m e n ta l g o r i t h mb a s e do nt h e m o r p hp r o p o r t i o n f i r s t l y , d i v i d et h e3 dm o d e li n t ob l o c k sf r o mt o pt ob o t t o m ，a n d t h e nc a l c u l a t ee a c hb l o c k - w i d t ht h r o u g ht h ea b s c i s s ao ft h em a x i m u ma n dm i n i m u m p o i n t s ，a c c o r d i n gt ot h ew i d t ha n dh e i g h to ft h em o d e lt oc a l c u l a t et h ep r o p o r t i o n s i m i l a r l y , c a l c u l a t et h ep r o p o r t i o no fe v e r yl i n ea b o u tt h ei m a g ew h i c he x t r a c t e dt h e f a c ec o n t o u r l a s t l y , i n t e r p o l a t et h r e e d i m e n s i o n a lc o o r d i n a t e so f3 dm o d e lt om a t c h t h ef a c ec o n t o u ro nt h eb a s i so ft h e s ep r o p o r t i o n s 4 t e x t u r em a p p i n go f3 dm o d e l t h i sp a p e rp r o p o s eac o n s t r a i n e dt e x t u r e m a p p i n gm e t h o d ，w h i c hc a l lm a i n t a i nt h ea l i g n m e n to ft h ec o r r e s p o n d i n gf e a t u r e si n t h et e x t u r em a p p i n gp r o c e s sb yt h ep r e d e f i n e dc o n s t r a i n e dp o i n t s f i r s t l y , c a l c u l a t et h e d i s p l a c e m e n td i f f e r e n c eb e t w e e nt w ok e yp o i n t s ，t h e nc h a n g et h ec o r r e s p o n d i n g 武汉理1 二大学硕士学位论文 r e l a t i o n sb e t w e e nt h eo r i g i n a lt e x t u r ec o o r d i n a t e sa n d3 dm o d e lc o o r d i n a t e s a c c o r d i n g t ot h ed i s p l a c e m e n t f i n a l l y , w i t hf e a t u r ep o i n t sa c c u r a t e l ym a t c h e d ，t e x t u r e m a p p i n gt om a k et h em o d e l m o r er e a l i s t i c f u r t h e r m o r e ，w ed e s i g n e da n dd e v e l o p e dat e x t u r em a p p i n gs y s t e mb a s e do n m ev c + + 6 0a n dg r a p h i c sl i b r a r yo p e n g l t h es y s t e mi sa b l et og e n e r a t e3 dm o d e l o ft a r g e tf a c eb ye n t e r i n gas i n g l ef a c ei m a g ef o rf a c ed e t e c t i o n ，f e a t u r ee x t r a c t i o n ， a n dm o d e la d j u s t m e n t i th a sc a r r i e do nt h ec o n s t r a i n e dt e x t u r em a p p i n ga n dl i g h t r e g u l a t i o n ，w h i c hm a k et h er e s u l t sm o r er e a l i s t i c k e yw o r d s ：r e a l i s t i c ，3 dm o d e la d j u s t m e n t ，f a c ed e t e c t ，f e a t u r ee x t r a c t i o n ，t e x t u r e m a p p i n g 武汉理工大学硕士学位论文 1 1 选题背景及意义 第1 章绪论 近年来，真实感图形显示技术作为强有力的工具，在各个领域中得到了广 泛地应用，日益受到人们的重视。例如，医学气象学，影视动画、游戏制作， 虚拟现实，计算机辅助造型设计，三维建模与重构，特别是产品外形设计，如 汽车、建筑等。而在微观世界或宏观世界中许多看不到的物理现象，如分子结 构、星体运行等也可以借助计算机图形有力地帮助人们进行直观的观察和形象 地理解。 人们过去都是采用建立模型的方法来描绘现实世界的，但是想直接用几何 模型来展示现实中各种物体的复杂表面细节和空间关系，一方面模型的建立和 计算非常复杂，另一方面，还需要大量的存储空间和处理时间，而且图形显示 时间和实时效果都达不到要求，最终的真实感效果也不强。为了解决这一问题， c a t m u l l 发明了纹理映射技术，建立了纹理空间与景物空间的坐标对应关系，将 纹理图案的颜色值赋予景物表面作为其材质属性，然后根据光照环境计算物体 的最终显示颜色与亮度，获得了高度真实感的显示效果。采用纹理映射表达物 体表面的几何细节与质感，不仅能提高绘制效率和真实感效果，而且能降低三 维建模的复杂度，是复杂场景真实感绘制的最常用技术。 在计算机图形学众多的研究领域中，创建逼真的特定人脸三维模型一直是 一个极富挑战性的课题。随着虚拟现实、游戏娱乐、影视制作等行业的发展， 人们对三维人脸建模的真实感要求也越来越高。三维模型重建的真实感程度依 赖于纹理映射的好坏，一般的纹理映射方法是通过一个映射函数将三维模型参 数化到一个平面或者曲面，然后与纹理空间的坐标值相对应，从而得到物体顶 点与纹理坐标之间的一一映射关系。这一方法的不足是无法确定模型与纹理上 特征点间的对应关系。 因此，真实感三维人脸模型纹理映射有两个关键问题：一个是如何对三维 模型的几何形状和面部特征进行调整，使其与待建模的人脸外观相匹配；二是 对调整好的模型做纹理映射处理，并且保证将图像纹理上人脸的眼睛、鼻子、 嘴角等关键特征与三维网格模型上相应的特征位置准确对应。另外，如何保持 武汉理工人学硕士学位论文 纹理表面的光照信息，选择一种纹理重采样方法对图形进行反走样处理也是需 要考虑的问题。本文基于对三维人脸建模及纹理映射技术的研究，重点提出了 基于一般人脸模型的特定人脸变形方法及对其约束纹理映射的实现。 1 2 国内外研究现状 具有真实感的人脸建模与纹理映射，在当今计算机虚拟世界中有着广泛的 应用。p a r k e 首先开创了计算机人脸建模领域，之后研究人员为此做了大量的工 作，提出了不同的建模方法并进行了创造性的工作。主要可以分为三类：其一， w o n s o o kl e e 等人是利用3 d 扫描仪等数据采集设备获取点云数据，再对数据 进行曲面重建得到完整的几何模型，恢复出三维人脸。此方法优点是能得到理 想的人脸效果，模型精度很高，可以被用于人脸识别和验证等工作，缺点是扫 描设备造价昂贵，而且必须是现场操作，数据获取量大，后期处理难度大，不 易推广。其二，t a k i m o t o 、e p i g h i n 等人提出基于照片的人脸数据重建方法i l 】。 这种方法首先在人脸图像上标定特征点，采用迭代的方法恢复出特征点的三维 坐标，再通过交互获取特征点细节，然后通过径向插值算法变形一般人脸模型， 由于需要手工标定特征点，因此准确性差一些。优点是对数据采集设备的要求 较低，具有较高的效率，可以面向移动设备快速合成人脸。其三，v o l k e rb l a n z 等人根据统计的方法，事先用3 d 扫描仪建立一个三维的人脸库，对于输入的 单张正面人脸图像，按照库中人脸模型的线性组合的正面投影去匹配照片中的 人脸，得到一个组合模型被认为是待建的人脸模型2 1 。此方法操作简单，模型 没有奇异的失真，但是需要大量准备工作，建立模型库比较麻烦。 国内学者中对人脸建模的研究起步较晚，但也取得了一些成就。程日彬、 曾照华等人对基于二维图像的三维建模技术进行了研列8 9 】，北京工业大学的尹 宝才采用自动调整和人机交互相结合的方法实现了特定人脸模型匹配【l ，武汉 大学的廖海斌等人在面向形变模型的三维人脸建模方面取得了一定研究成果 1 1 2 】。郭洋引入了人工智能的方法，提出了基于神经网络的人脸建模方法【1 3 】，采 用神经网络用作函数逼近得到真实效果。 人脸建模的第二个重要阶段，即对模型产生具有照片真实感的纹理映射。 早期的纹理映射方法研究的是怎样把纹理映射到b e z i e r 、n u r b s 等参数曲面、隐 式曲面上，随着三维扫描仪、3 d 相机等几何数据获取设备的发展。多边形网格， 通常是三角网格，逐渐成为表示图形学中物体的主要方法。因此，在网格曲面 2 武汉理工大学硕士学位论文 上生成纹理成为热门的研究方向。由于网格不同于参数曲面，不能直接建立网 格表面和参数空间的对应关系，所以网格纹理映射的关键一步是如何把网格表 面参数化到二维纹理空间，并尽量减小此过程中网格的扭曲形变，以防纹理走 样太过厉害，映射结果失去真实感。 为了在映射的过程中保证纹理和网格模型上相应的特征匹配，国内外研究 者们对此进行了多种实验。由于对复杂的网格模型直接进行纹理映射比较困难， 大多数情况下，我们可以把这样的模型分解成单一的网格片，这些网格片具有 同盘同胚的特征，而针对每片网格片进行参数化及纹理映射就相对比较容易了。 e c k s t e i n 等提出的基于多分辨率重建思想的纹理映射是第一个有效的约束 纹理映射算法。先将最初的模型参数化到二维空间，再简化参数化后的网格模 型顶点，直到只剩下特征点为止。其目的是先确定特征点的纹理坐标，再可以 根据简化的逆过程添加之前被删除的顶点，得到之前的网格。l e v y 等提出了另 一种约束方法，它是基于纹理形变优化的【1 4 j 。此方法将事先提取的特征点间的 对应关系作为参数化函数的约束条件，最后使用共轭梯度法优化映射结果使得 纹理形变最小。当特征点少量时，用这种方法可以得到较好的映射结果，但当 特征点数量大时，容易产生约束失败的情况。t a n g 等人提出的基于径向基函数 ( i 强f ) 插值的约束纹理映射算法【”】，该算法先通过人机交互确定网格模型上的 特征点，求得特征点的空间坐标及其对应的纹理坐标，并将它们分别作为插值 的约束点和对应的值，根据径向基函数计算得出非约束点的纹理坐标。这种方 法的效果依赖于径向基函数的选取，并且不能保证约束的有效性。k r a e v o y 等 人提出的m a t c h m a k e r 约束纹理映射方法，是最早能够保证约束纹理映射有效性 的方法。他们的方法是先参数化网格模型，接着根据特征点对纹理进行三角化， 并按纹理三角化的结果将平面网格划片，然后对相应片进行匹配及映射，并采 取相应的优化措施。这种方法在划分平面网格的时候需要添加一定数量的辅助 点，算法的实现相当复杂，同时需对网格模型预先参数化，因此算法效率较低。 浙江大学的郭延文提出了一种分而治之的约束纹理映射算、法i 怕j ，此方法对模型 和纹理分别按约束点做三角剖分，再把网格模型上的三角形按块嵌入到纹理平 面上相应的三角形内部，从而获得网格顶点的纹理坐标。该方法直接改变了原 网格的结构并且对各个网格三角形内部顶点的纹理坐标值也不能很好的对应。 由此可见，研究具有真实感的三维人脸模型，做到模型的逼真调整和高效适用 的约束纹理映射是非常必要的。 3 武汉理工大学硕士学位论文 1 3 本文研究的主要内容及安排 本文主要对特定人脸建模方法和真实感纹理映射技术进行了研究。在现有 建模方法中，采用三维扫描仪的方法能得到最准确的模型，但是设备昂贵，代 价大，还需要本人在场，不适合推广使用。基于图像的人脸建模方法由于其低 廉的成本，方便的操作，对人脸模型精度要求不高，是应用最为广泛的人脸建 模方法。因此，本文采用基于图像的人脸建模方法，首先导入一个一般人脸模 型，接着输入单张人脸正面照片，利用人脸识别和特征定位相关技术，通过对 二值化后的图像设定自适应阈值，求取特定人脸轮廓及眼睛、鼻子、嘴巴等特 征点位置，依此生成一个特定人脸三维模型，并且对人脸模型的约束纹理映射 算法做了有效的研究。 论文主要章节安排如下： 第1 章，绪论。本章主要论述了纹理映射的研究背景及意义，三维人脸建 模方法和约束纹理映射的研究现状，最后提出了本文的主要研究内容。 第2 章，真实感人脸模型的关键技术。分析了真实感图像绘制流程，特定 人脸模型调整方法，基于o p e n g l 光照模型对本实验模型进行了光照效果添加， 最后简单介绍了纹理映射基本原理与方法。 第3 章，特定人脸网格模型调整。提出了基于比例变换的模型调整算法， 先对输入照片进行人脸轮廓检测，确定眼睛、鼻子和嘴巴等特征点，选取模型 对应特征点坐标，通过算法对一般人脸模型自适应形变得到特定人脸模型。 第4 章，纹理映射的研究与实现。通过对纹理图案存储方式及表面纹理映 射方法的研究，详细分析了o p e n g l 中与纹理映射相关的函数与操作，提出了一 种简单、有效的带约束的人脸模型纹理映射方法。 第5 章，系统的设计与实现。介绍了本实验的系统平台、系统整体框架结 构，展示了系统各个模块与功能，提供了部分交互操作以便更好的展示效果。 第6 章，总结与展望。对整个论文的研究工作进行了总结，并就研究过程 中的某些问题和未来研究的方向提出了一些建议。 4 武汉理工大学硕士学位论文 第2 章真实感人脸模型的关键技术 图形学中的真实感，是指由计算机生成的图形反应客观世界的程度【9 】，而真 实感三维人脸模型的关键在于对现实场景中的光照模拟、对模型的精确调整以 及对模型表面进行逼真的纹理映射。 2 1 真实感图形绘制流程 真实感图形是建立在计算机对人眼所观察的物体与自然界的模拟上的，是 计算机图形学中的一个重要组成部分。真实感图形的绘制，需要经过建立模型、 计算屏幕各像素颜色和显示计算结果三个大的步骤。1 ) 建立模型：主要就是对 物体外观因素进行设置，包括建立物体的几何模型、设定光源的位置和光学特 性以及设定视点和屏幕的位置。2 ) 计算屏幕上各像素的颜色：包括不可见面的 消隐、光照颜色计算与纹理映射实现。3 ) 显示计算结果：将计算出的结果在屏 幕上显示出来，形成具有真实感的图形。图2 1 为o p e n g l 的图形绘制流程。 图2 1o p e n g l 中的图形绘制流程 通过投影变换可以使模型按照正确的位置和方向及合适的大小显示到屏幕 上。投影分为正投影和透视投影两种，o p e n g l 中定义一个三维视景体来确定 模型如何投影到屏幕上，超出视景体外的模型是不能被观察到的。正投影时的 视景体多为长方体形状，透视投影的视景体一般是棱台形状，如图2 - 2 所示， 指定了y 方向上的视野角度p 和窗口纵横比( x y ) 以及观察点和近侧、远侧 裁剪平面的距离。三维图形多使用的是透视投影，使远处物体看上去比相同大 小的近物体小一些，从而让所显示的场景更为接近现实。 5 武汉理工人学硕士学位论文 2 2 光照模型 图2 2 透视投影视景体 从理论上讲，要想获得较为真实的图形就必须利用光照模型进行场景处理。 我们可以根据现实场景中的光照明效果的物理模型，用数学定义来表达现实世 界中的真实光照效果。光照模型规定了光源的类型和位置、光强在照射到的物 体表面是如何分布的以及表面对光照的漫反射和镜面反射情况等。在生成一个 3 d 模型的过程中，我们需要利用光照模型来计算单位像素上可见的物体表面反 射到观察者眼中的颜色和亮度。 2 2 1o p e n g l 中的光照模型 o p e n g l 光照模型把光分成4 种：环境光、散射光、镜面光及发射光1 5 】。这 四种光被分别计算后叠加起来，形成最终的光照效果。具体如下： 环境光( a m b i e n tl i g h t ) 来自于某个光源，在场景中四处反射，没有固定方向。 散射光( d i f f u s el i g h t ) 来自某个方向，照射到物体表面时在物体的各个方向上 均匀发散，光从正面照射表面时比从斜角掠过表面看起来显得更亮一些。 镜面光( s p e c u l a rl i g h t ) 来自一个特定的方向，倾向于从表面向某个特定方向 反射。它的反射角度很锐利，具有光泽的金属或塑料具有非常高的镜面成分。 发射光，也叫全局环境光( e m i s s i v ec o l o r ) ，是一种特殊的环境光，它模拟 那些源自某个物体的光，通常做为场景的自然光源。表面的发射光颜色独立于 场景中其他光源的作用，一般用来提升物体的亮度。 o p e n g l 光照方程式是一种计算速度相对较快的光照模拟，它假定光可以分 6 武汉理l ：人学硕十学位论文 解为红、绿和蓝成分；凶此，光源的特征是由它所发射的红、绿和蓝光的数量 决定的。人眼感知到的物体表面颜色是由表面材质属性向各个不同方向反射的 红、绿、蓝入射光的百分比决定的，不同的表面属性对光线的反射和折射方向 影响也很大。o p e n g l 提供了一系列建立光照模型的库函数，从而可以方便地在 j 三维场景中建立所需要的光照模型【5 1 。图2 3 为对球体使用不同光照的效果显示。 ( a ) 环境光和散射光 ( b ) 加镜面反射( c ) 多光源叠加 图2 3 球体不同光照效果 2 2 2 添加光照 在场景中添加光照的步骤如下： 1 ) 为模型的每个顶点定义法线向量： 物体的法线向量决定了它相对于光源的方向，使用法线判断物体每个顶点 从各个光源接收的光线数量。为了进行正确的光照计算，表面法线必须为单位 长度，并且不会受到模型视图变换的缩放影响。 2 ) 创建和选择一个或多个光源，并设置光源的属性： 光源的属性包括颜色、位置和方向，用函数v o i dg l l i g h t ( g l e n u ml i g h t ，g l e n u mp n a m e ，t y p ep a r a m ) 来指定。它的3 个参数决定了它所指定的光源号，光 源具体属性以及该属性的参数值。默认光照是关闭的，指定光源特征后必须使 用g l e n a b l e ( g ll i g h t i n g ) 丌启光照功能并丌启实际使用的光源号。 在现实世界中，离光源较远的地方获得的光强度会变弱，因此对于在场景 中有准确位置的位置性光源，需要对其发射的光进行衰减。o p e n g l 将光源的强 度乘以衰减因子，以实现衰减。位于无穷远处的方向性光源距离衰减无意义， 因此禁用衰减。 3 ) 创建和选择光照模型，定义全局环境光和观察点的位置： o p e n g l 的光照模型包括4 项内容，如表2 1 中所示，可以使用不同参数调 用函数g l l i g h t m o d e l * ( ) 来设置场景中的光照模式。 一个特定顶点上的亮点的强度计算取决于这个顶点的法线、顶点和光源的 7 武汉理i ：人2 t u - 硕l ：z 位论文 表2 1 光照模型参数及意义 奎麴刍 丛丛值 鱼兰 g l l i g i t t m o d e l 。一a m b i e n t ( o 2 ，0 2 ，0 2 1 0 )场景环境光的r g b 值 g l l i g h t m o d e l l o c a l v i e w e r 0 0 b 茈g l f a l s e 镜面反射角度如何计算 g i 。一l i g t t t m o d e l t w o s i d e 0 0 或g l f a l s e指定单血还足双面光照 g l l i g h t _ m o d e i 。一c o l o r c o n t r o l g l s i n g l e _ c o l o r 镜面颜色的计算足甭分离 方向以及这个顶点和观察点的距离【5 】。设定的观察点位置会对镜面反射亮点的计 算造成影响，当观察点位于无限远处时，它和场景中任何顶点的方向都是固定 的：观察点为局部时，能够产生更逼真的结果，但需要计算每个顶点的方向， 程序的性能会受到影响。 4 ) 定义场景中模型的材质属性： 物体的材质属性影响它对光线的反射方式，因此也决定了颜色。可以使用 g l m a t e r i a l i f ( g l e n u mf a c e ，g l e n u mp n a m e ，t y p ep a r a m ) 函数来定义场景中物体的 材质，指定环境、散射和镜面反射颜色以及它的光泽度。 2 2 3 光照结果显示 利用光照模型理论进行的场景光照效果变换实验，结果如图2 4 所示。 口口口口 ( a ) 无光照( b ) 自然光照( c ) 红色光照( d ) 粉色光照 图2 4 人脸模型不同光照效果 图2 4 中给出了不同模型不同光照对比效果图，我们可以看出，图中( a ) 不 加光照的人脸模型犹如一块黑色的背景被扣掉了一块白色的空间，而加了光照 显示的模型可以清楚地看到人眼睛、鼻子和嘴巴的位置，具有明显的三维特征。 这就说明了物体和光线之间的交互在创建三维场景时的重要性。 2 3 特定人脸模型 特定人脸模型是指利用具体人脸信息建立的个性化人脸模型i 1 。通常有两 固 武汉理工大学硕士学位论文 种方法获得所需要的模型，第一种是采用三维扫描仪获得人脸三维数据直接建 模，另一种是基于图像对标准模型进行调整得到所需要的模型。前者通过对散 乱的点云数据插值、曲面优化来达到建模目的，它要求点云数据分布均匀且噪 声较小，而且建成后的模型缺乏拓扑结构信息。大多数的研究是基于图像变形 标准模型来实现的，将标准人脸模型作为先验知识，通过各种变换与调整方法 与具体的人脸数据相匹配达到形状一致，再利用图像生成面部纹理信息对模型 做纹理映射处理，就可以建立逼真的特定人脸三维模型。 2 4 纹理映射 对一些自然生成景物及复杂环境仅凭借图形方法无法生成逼真的图像，采 用纹理映射技术把拍摄的图像作为纹理融合到模型上可以获得逼真的效果，下 面对纹理映射中的基本概念、过程和方法做简单说明。 2 4 1 纹理的分类 根据定义域的不同，纹理可以分成一维纹理、二维纹理和三维纹理。根据 纹理的表现形式，一般把纹理分为颜色纹理、几何纹理和过程纹理【l 们。 颜色纹理指的是呈现在光滑物体表面上的各种图案、花样和文字等，如各 种瓷器花瓶上的贴花图案、大理石墙面、包装盒外观设计等，它是通过色彩或 亮度的不同来反应物体的表面细节； 几何纹理指的是基于物体表面微观几何形状的表面纹理，如树干、岩石、 人的皮肤皱纹等，通过一个扰动函数控制物体表面的法线方向来实现； 过程纹理指的是用一些简单的可解析数学模型( 过程方程式) 来模拟各种 规则和不规则的动态变化的自然景观，如云彩、烟雾、水波等。 2 4 2 纹理映射方法 纹理映射本质上就是要找到物体空间坐标和纹理空间坐标的一一对应关 系，从而给物体表面添加纹理细节，是物体产生真实感的关键。如图2 5 所示， 三角形a b c 表示物体空间中的三角形a b c 映射到纹理中的这些位置。我们指定 物体空间中a 的坐标，并将这个点与纹理空间中的a 点的坐标值( 0 2 ，o 8 ) 相 对应，对b 和c 点也是同样处理，这样计算机在绘制这个三角形a b c 的时候 会给它添加对应的纹理信息，从而实现了对这个三角形的纹理映射。 9 武汉理i ：人。硕学位论文 t 0 ，1 0 ，0 ( 0 4 ，0 ：h 物体空问 ( s ，t ) = ( 0 2 ，0 8 ) c 1 ，0s ( 0 8 ，0 4 ) 图2 - 5 纹理映射关系 当这个三角形在屏幕上显示时，它可能因为各种变换( 旋转、平移、缩放) 而扭曲，因此需要对纹理进行变形，以便与这个三角形的变形相匹配。由于纹 理是由离散的纹理单元构成的，所以必须执行过滤操作。一个片断对应帧缓冲 区中的一个像素，当多个纹理单元对应于一个片断就对其求均值后再应用到这 个片断上，当纹理单元的边界位于片断的边界时，对所有相关的纹理单元求加 权平均值后再应用。 纹理可以映射到由一组多边形构成的表面上，也可以映射到曲面上，还可 以在多方向上重复使用同一个纹理来覆盖整个表面。根据实际的需要，可选取 的纹理映方法也有很多种。针对平面的纹理映射比较简单，可以直接采用投影 的方式就可以实现；对于曲面的纹理映射，要找到曲面与纹理空问的参数化关 系，一般采用数学可表达的球面、柱面以及贝塞尔曲面等作为参数化；某些不 易参数化的复杂模型，可以采用两步纹理映射方法，寻找一个中介曲面进行参 数化。对某种只需要对特定区域贴图的可以采用局部纹理映射；而模拟物体光 滑表面映射周围环境的则可以使用环境纹理映射，常用的有球面和立方体环境 映射。 2 5 本章小节 本章说明了真实感三维人脸模型的关键在于对现实场景中的光照模拟、对 模型的精确调整以及对模型表面进行逼真的纹理映射。讨论了真实感图像绘制 流程，特定人脸模型调整方法，基于o p e n g l 光照模型对本实验模型进行了光 照效果添加并展示了实验结果，最后简单概括了纹理映射基本原理与方法。 1 0 武汉理i ：人。硕 ：。何论文 第3 章特定人脸网格模型调整 3 1 人脸网格模型概述 一种广泛应用的三维人脸模型是三角网络模型，由顶点及其组成的三角面 片按一定拓扑结构连接而成。网格模型中的顶点又被称为特征点或者控制点， 这些点是非均匀分布的，五官处往往顶点密集，其它部分如额头、脸颊等处的 顶点稍微稀疏一些。顶点越多，三角面片也越多，描述出的人脸部模型复杂度 越高，显示结果也越逼真。 根据不同研究的需要，人们使用的三维网格模型也有很多差异。宾夕法尼 亚大学的d e c a r f o 等人结合了人体测量学和变分技术，根据测量得到的人脸数据 相关信息建立了网格模型。微软研究院的l i u 、z h a n g 等人跟艺术家一起建立了 一种中性人脸网格模型，如图3 1 中( a ) 所示，该模型由1 9 4 个顶点和3 6 0 个 三角面片构成，并且规定了调整模型特征的6 5 个参数，用来对模型进行控制， 利用该模型及两幅图像和两个图像序列即可得到特定的人脸模型2 0 j 。图3 1 ( b ) 所示的为c a n d i d e 模型，它由1 1 3 个顶点和1 6 8 个面组成，比较简单，适用 于基于模型的编码，或人脸跟踪等。 ( a ) 中性人脸网格模型( b ) c a n d i d e 模型 图3 1 不同形式的人脸网格模型 模型顶点数的多少一般根据需要来定，而真实感较强的场合则采用顶点较 多的模型。3 d s 文件格式的模型是基于3 dm a x 手工建模的一种广泛使用的三维 模型，它能够很方便地实现人们需要的各种模型与真实感效果。某些复杂模型 甚至还包括了头部的各个独立细节，比如眼珠、牙齿、舌头、耳朵及肌肉组织 层次等，往往在人脸动画和语音可视化方面被广泛使用。 武汉理：1 = 人学硕士学位论文 3 2 特定人脸模型调整算法分析 人脸模型调整从根本上是一个求空间位移的问题，即在已知三维人脸模型 的所有顶点和甩+ 1 个特征点坐标的前提下，当特征点从原始位置p l 变换到新位 置p ，( 0 ，刀) ，p i 可以等于p ，表示该特征点没有移动) 时，如何求出网格 上其他顶点p 的新位置p ，也可以表达为： 已知特征点的位移：卸，= 所- p j ( 0 ，刀) ，( a p , 为0 意味着此特征点 位置没有改变) 如何求出网格上其他点p 的位移j d ? 从而得到调整后模型上全部 顶点的三维坐标值。 3 2 1 特定人脸生成一般步骤 第一步，获取一个中性人脸模型。根据人脸特征，模型一般采用网格模型 来表示，可以根据自己的需要进行选取。常用的人脸模型有m p e g 4 规定的8 4 个特征点的中性人脸模型。出于真实感效果的需要，本文选择的是3 dm a x 生 成的3 d s 格式的网格模型，它有1 4 4 0 个顶点，2 7 3 2 个三角形面片，如图3 7 所 示。 第二步，求取特定人脸的特征点。一般情况下，求取人脸特征点的方法主 要有基于图像识别的特征点自动提取和在人脸图像上手工标注特征点。自动提 取特征点的好处在于无需人工操作，缺点就是定位不够精确，而且识别的结果 在很大程度上还取决于输入图像本身的质量。所以在人脸特征提取与定位过程 中，可以选择加入交互方式，即利用手工标定少量关键的特征点位置，以此来 提高实验的精确度。 第三步，构造特定人脸模型。根据图像中提取的特征点信息按照一定的变 形方法对人脸网格模型上的顶点进行调整，从而得到与图像相匹配的特定人脸 网格模型。 3 2 2 径向基函数插值法 径向基插值算法在模型变形与调整中使用广泛，并且多种算法是以此为基 础衍生出来的，比如基于径向基函数多步离散数据插值法。本节讲述p i g h i n 等 人提出的利用单步径向基函数插值法变形人脸的过程，并对其优缺点进行了分 析。它是采用散乱数据插值方法，试图找到一个光滑插值函数( p ) ，在特征点 武汉理t 大学硕士学位论文 处满足约束条件： 融= ( 仍)( 0 ，力) ( 3 1 ) 由这个插值函数可以计算出网格点的位移卸= f ( p ) 。插值函数f ( p ) 可以有 多种选择，p i g h i n 等选择径向基函数( r b f ) 作为插值函数，其表达形式为： f ( e ) = c 妒( 1 ip - p ，0 ) + 勿+ r ( 3 2 ) 其中0p - p ，0 表示p 与p i 之间的欧氏距离，缈( i ip - p ，1 1 ) 称为径向基函数， 坳+ f 为低阶仿射变换多项式。将n + 1 个特征点处的约束条件代入上式可得： 厶p | - - z c , , ( i t p , 一pi i i ) + g p ；七t ( o s j s n ) ) i - - 0 将公示( 3 3 ) 与仿射变化约束条件： f ，= o 刀 q = o i = o 联立，并且令a j ，i - 伊( 1 l p j p ，i i ) ( 0 ，刀) ，则有： 口0 昂1 ，忍1 l00 哎00 ： q m ， = i 叱 o 0 ( 3 - 3 ) ( 3 - 4 ) ( 3 - 5 ) ( 3 - 6 ) 可以解得径向基函数的系数c j ( 0 ，刀) 和仿射变化分量肘和f 的值。 用这种方法可以得到特定人脸模型，但是当模型顶点是不均匀分布的时候， 难以保证插值结果对脸部局部区域变形的精确性和平滑性，而且在特征点数量 很多的情况下，运算相对复杂。另外，此算法不具有局部性，移动任何一个特 征点都需要重新求解线性方程组，求出径向基函数的系数c i ( 0 ，刀) 和仿射变 换分量m 、r ，并计算所有网格点新位置。因此，当需要针对不同的特征信息来 调整模型的位置并比较最终效果时，采用单步径向基函数变形不是理想的选择。 1 3 一 一 o o r ；。可 武汉理工大学硕士学位论文 3 - 3 基于肤色的人脸检测与特征选取 利用图像对人脸模型进行调整的第一步，也是关键的一步就是要先检测出 人脸的位置。人脸检测常用的算法有如下四种：第一种是基于模板的人脸检测， 该算法通过建立包含局部特征子模板的标准人脸模板库，检测时将提取被检测 图片中的所有信息，计算人脸不同部分与标准模板对应部分的相关系数，利用 阈值判断窗口是否存在人脸；第二种是基于局部特征的人脸检测，该算法会先 判断出人脸的一些局部信息，如眼睛、鼻子、嘴巴等，接着计算这些局部信息 的空间位置是否与正常人脸吻合，以此来判断图片中的人脸；第三种是利用模 式识别中神经网络算法来检测人脸，将人脸检测看成是一个只有两类的模式识 别问题，通过一定的算法训练一个系统来捕捉人脸模式复杂的类条件密度，利 用训练后的参数来识别人脸信息；最后一种是基于肤色的人脸识别算法，该算 法主要利用了人脸色彩信息来判断人脸区域，该算法将提取色彩值为某一区域 的像素点，然后可以结合一些人脸几何关系判定的算法来较为精确的提取出人 脸轮廓。 由上所述，可以得出第一与第二种算法对于人脸识别有很好的效果，但是 对于人脸轮廓提取无法做到十分精准，第三种算法虽然可以精准地提取出人脸 轮廓但是需要大量的图库训练，并且算法的实现较为复杂，不属于本文的研究 重点，第四种算法的好处是既可以实现较为精准的人脸轮廓及特征部位的提取， 实现起来也较为方便，所以本文将采取基于肤色的人脸检测算法。 3 3 1 相似度计算 文献【2 6 j 研究发现肤色是符合正态分布的，所以其在特征空间中必定满足高 斯分布。高斯模型是一个非常成熟的统计学模型，利用高斯模型对肤色进行判 断不是一般的二值肤色定位，它实际上是计算了各个像素为肤色的概率来得到 一个概率图，通过数值来判定是否为肤色。y c r c b 色彩格式计算过程和空间坐 标表示形式比较简单，y 代表明度的变化，称为亮度信号，c 6 和c ，分别代表蓝 色和红色的变化，称为色度信号。当j ，和c 6 、c ，之间的采样比例为4 ：2 ：2 时最 符合肉眼对亮度和色度的变化敏感规律。在c 6 与