（模式识别与智能系统专业论文）基于视频帧序列的虚拟人脸合成.pdf

摘要 论文题目 基于视频帧序列的虚拟人脸合成： 学科名称：模式识别与智能系统 硕士生：雷林华( 签名) ： 导师：- 朱虹教授( 签名) ： 答辩日期，2 0 0 8 年3 月2 0 日 摘要 虚拟人脸合成是将二维的人脸图像。视频监控系统，同三维人脸识别和人脸造型技 术相结合的关键技术之一，是一个极富挑战性的课题，极具理论研究价值。 目前常用的方法主要是以三维人脸数据库和人脸纹理数据库为主，因数据库的创建 比较困难，并且算法复杂、计算量大，与实际应用还有较大差距，因此找到一种实用的人 脸合成方法将有着广泛的应用前景和社会意义。 本文首先从视频序列中出现的入脸帧中提取出个体人脸特征，对系统中内置的通用 中性人脸三维模型进行修改，从而生成一个具有个性化特征的特定人脸三维模型：其次， 根据模型与照片匹配时确定出的过渡区域，采用多分辨率技术生成用于纹理贴图的视点无 关纹理图；最后，对调整好的模型进行纹理映射，生成特定人的虚拟人脸。 此外，本文根据人脸在生成表情时所具有的特点，在i 归e g - 4 脸部动画参数的标准上， 修改脸部相应部位的参数，实现了几种典型的虚拟人脸表情。 。，为了解决网格模型粗糙带来的虚拟人脸表现不自然的问题，本文在虚拟人脸表面光 顺性上，采用网格细分法，细分脸部网格模型，使细分后的三角形网格在保持原粗略网格 的拓扑不变的前提下，实现虚拟人脸光滑细化，在视觉上更加逼真。 实验结果表明，本文提出的算法可以利用视频帧序列中的任意姿态的人脸照片序列， 有效地生成具有真实感的三维人脸模型，获得逼真的具有一定表情的虚拟人脸，并可以进 行多角度的旋转观察。 关键字：三维虚拟人脸；模型调整；视点无关纹理图；虚拟表情；o p e n g l ；曲面细分 t i t l e ：v i r t u a lh u m a nf a c es y n t h e s l sb a s e do nv l d e of r a m e s e q u e n c e m a j o r sp a t t e mr e c o g n i t i o na n di n t e l l i g e n ts y s t e m n a m e ：l e il i n h u a s u p e r v i s o r - z h u h o n g a b s t r a c t l j 蛾 s i g n a t u 而： s i g n a t u r e ：二 2 饥 v i r t u a lh u m a nf a c es y n t h e s i si so n eo ft h ek e yt e c h n i q u e st h a tc o m b i n e2 dh u m a nf a c e i m a g e sa n dv i d e os u r v e i l l a n c es y s t e mw i t h3 dh u m a nf a c er e c o g n i t i o na n dh u m a nf a c e m o d e l i n g i ti sa ne x t r 眦e l yc h a l l e n g i n gp r o j e c tw o r t h yo f t h e o r e t i c a lr e s e a r c h 啊l ec u r r e n tm e t h o d sa r ca l m o s tb a s e do n3 df a c ea n dt e x t u r ed a t a b a s e s f o rb u i l d i n g d a t a b a s ei sd i f f i c u l ta n dt h ea l g o r i t h mi sc o m p a r a t i v e l yc o m p l i c a t e dw i t hh u g ec o m p u t a t i o n , t h e r ei ss t i l lab i gg a pb e t w e e nt h er e s e a r c ha n da p p l i c a t i o n i ti sn e c e s s a r yt of i n da ne f f e c t i v e s y n t h e s i z i n gm e t h o d f i r s t , as p e c i f i e dh u m a nf a c i a lm o d e li sc r e a t e db ym o d i f y i n gt h eb u i l t - i ng e n e r a lm o d e l d e p e n d i n go nt h ei n d i v i d u a lf a c i a lc h 缸锄删s t i c s ，w h i c h 瓣e x l n c t e d 硒mh u m a nf a c ei m a g e s a p p e m di nv i d e os e q u e n c e s t h e n , t h ev i e w p o i n t - i r r e l e v a n tt e x t u r ei so b t a i n e d0 o u g h a p p l y i n gm u l t i - r e s o l u t i o nt e c h n o l o g yt ot h et r a n s i t i o nr e g i o n s ，w h i c ha r ed e t e r m i n e du p o nt h e m a t c h i n gr e s u l to ft h em o d e la n di m a g e f i 瑚l l y ，t h ei n d i v i d u a lv i r t u a lh u m a nf a c ei s s y n t h e s i z e db yt e x t u r em a p p i n go na d j u s t e dm o d e l i na d d i t i o n , b a s e do nt h em p e g 一4f a c i a la n i m a t i o np a r a m e t e r ss m d a r d ，t h i sp a p e r a g t u a l i z e ss o m et y p i c a lv i r t u a lf a c i a le x p r e s s i o nb ym o d i f y i n gt h ep a r a m e t e r so ft h e c o r r e s p o n d i n gp a r t si nh u m a nf a c ea c c o r d i n gt ot h ec h a r a c t e r i s t i c sd u r i n gp r o d u c i n ge x p r e s s i o n i no r d e rt os o l v et h ep r o b l e mo fu n n a t u r a lp e r f o r m a n c eo fv i r t u a lh u m a nf a c ec a u s e db y t h em u g hm o d e l ，t h ep a p e ra d o p t sg r i ds u b d i v i s i o nt e c h n i q u et ot h ef a c i a lm o d e lw h i c hc a n s m o o t ht h ev i r t u a lh u m a n 缸e 。a n dm a k et h ev i r t u a lh u m a nf a c em o r el i f e l i k ei np r e m i s eo f k e e p i n gt h et o p o l o g yo f t h eo r i g i n a lt r i a n g l e ， ， ，1 1 1 ce x p e r i m e n t sr e s u l t ss h o wt h ea l g o r i t h mp r o p o s e di nt h i sp a p e rc a nb u i l d3 df a c i a l m o d e lf r o mh u m a nf a c ev i d e os e q u e n c ew i t ha r b i t r a r yp o s e , a n do b t a i nv i v i dv i r t ：i 】a lf a c ew i t h t y p i c a le x p r e s s i o n sw h i c hc a nb eo b s e r v e di nd i f f e r e n tv i e w s k e yw o r d s ：3 dv i r t u a lh u m a nf a c e ；m o d e la d j u s t m e n t ；v i e w t x d n t - i r r e l e v a n tt e x t u r ei m a g e ； v i r t u a lf a c i a le x p r e s s i o n ；o p e n g l ；s u b d i v i s i o ns u r f a c e s 2 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 一 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：亟型哗一- 四睹年3 , e tw 晕 学位论文使用授权声明 本人自述擎：，在导师的指导下创作完成毕业论文。本人已通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权；即：1 己获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览d 本人学位论文全部或部分内容的公布( 包括刊登) r 授权西安理工大学研究生部办 理。， ( 保密的学位论文在解密后，适用本授权 论文作者签名：耍拯坐，导师签名论文作者签名：竭签坐，导师签名 砂日 第一章绪论 1 绪论 随着计算机视觉和计算机图形学的不断发展，三维制作技术也得到了迅速的发展， 并且被广泛的应用到了社会生产的各个领域。如今计算机网络的高速发展，更是为三维技 术提供了无限的生存空间。人作为社会的主体，在虚拟世界中相应也受到了很大的重视， 而虚拟人脸作为虚拟人的一个重要组成部分，更加值得研究者的重点关注。 1 。1 课题背景 人脸是人们相互认识和交流的重要特征，也是人们相互辨识的主要依据。在日常交 流中，我们主要通过脸来感知一个人。交谈中，通过观察人脸表情的变化，我们很容易就 能感受到对方的情绪变化，从他的喜怒哀乐可以推断出他的个性，甚至猜测此入的身份。 所以，人脸在人与人的交流过程中起着极其重要的作用，是人类相互表达情感的重要部分。 在计算机虚拟世界中，虚拟人脸是虚拟人表情达意的载体。 ， 作为虚拟现实技术和计算机图形学中的一个分支，虚拟人脸建模和表情动画己有3 0 年历史，随着影视技术、游戏娱乐、虚拟环境、远程通信、辅助医疗、刑事鉴别等方面应 用的日益广泛，这一研究领域越来越受到人们的关注。 虚拟人脸合成就是要研究如何在计算机中逼真的表现三维虚拟人脸部的外观特征和 运动变化。到目前为止己有多种不同的虚拟人脸合成方法，根据不同的初始输入方式可分 为两类： 第一类方法是直接采集真实人脸的数据进行三维重构。该方法着眼于恢复出准确的 人脸形状，生成的模型精确度高、逼真，能满足某些场合的特殊需要；但它们的一个最大 缺点是需要专门的三维扫描设备，如c t 啪，核磁共振仪嘞、三维激光扫描仪团等，来直接获 取人脸的几何数据进行建模，成本昂贵；而且重建模型相当耗时，因而应用范围受到一定 的限制，不利于推广。 第二类方法所建立的人脸模型有固定的拓扑结构，特定人脸的三维模型可由一个一 般模型变形得到。一般以几幅特定人脸的二维图像州( 照片或视频录像等) 作为输入，并 结合人脸的几何特征、人类测量学、计算机视觉等方面知识来合成三维虚拟人脸。此方法 整个人脸合成过程都可以由软件实现，在入脸模型精度要求不是过高的情况下，可以达到 较为理想的效果。由于这类方法不需要特殊的硬件的配置，所以应用前景十分广泛，也是 目前研究领域采用较多的方法。 本文从实际应用的角度出发，结合研究室的实验条件，采用上面提到的第二类方法， 对合成具有典型表情的虚拟人脸展开研究。 西安j 里_ t - 大学硕士学位论文 1 2 研究意义及应用 为了反映用户在虚拟世界中的活动，提高用户在其中的沉浸感，就要求虚拟人越逼 真越好，由于人脸能够展现多种表情，表达丰富的感情内容，是真实感虚拟人不可或缺的 组成部分，所以真实感人脸合成研究又是虚拟人合成中一个非常重要的环节。 三维入脸合成具有广泛的应用前景，覆盖范围包括休闲娱乐、通讯、医疗、教育等 众多领域，具体应用包括：一 1 ) 面部整形手术及医学研究 在医疗诊断领域，虚拟人脸合成技术可被用来模拟和预演脸部整形手术及诊治的过 程，在进行手术之前就可大体知道手术结果，大大提高了手术成功率，同时缓解了病人的 矛盾心理。现在，它还为心理学家进行人脸运动和表情的研究提供了依据，这比以前他们 使用照片或随意的叫人刺激肌肉来做研究方便了许多。 2 ) 人机界面 人机界面普遍存在的一个问题就是太专业化，往往要花费很长的时间来学会使用一 个系统，如果系统能给用户提供的接口以人脸的形式出现，而不是面对单调的鼠标和键盘， 那样学习的效率将会得到很大的提高。 “ 3 ) 电影、电视制作 ， 我们在电影和游戏中也常常可以看到虚拟角色的精彩表演，如指环王中的讨厌 又可怜的咕噜、怪物史莱克中真诚好心的史莱克、最终幻想中美丽性感的女主角、 游戏鬼武者中年轻的武者明智左马介等，无不体现了人脸合成技术的魅力。 4 ) 辅助教学 作为一种辅助教学的工具，采用计算机虚拟的老师进行教学，一方面省去老师大量 重复性的工作，极大的减少了老师的工作量：另一方面，学生可以抓住上课的主动权，随 时随地都可以学习，在激发学生学习兴趣的同时增强了学习的效果。 5 ) 通讯 电话作为人们日常生活、工作中不可缺少的通讯工具，以其方便、快捷等特征被广 泛应用，而现在电话只能闻其声而不见其人。随着生活水平的提高，希望在通话的同时能 看到对方的音容笑貌成了人们梦寐以求的愿望。虽然目前可视电话技术已经成熟，在市场 上已经可以看到成型的产品，但其对通讯线路的带宽要求比较高，只适用于带宽较高的专 线用户，难以满足广大用户的需求。如果能实现在发送端从实况录像实时提取人脸控制参 数，在接收端，恢复出人脸运动，那么就可以在目前所使用的普通通讯线路上实现“面对 面的交流 ，使得可视电话得到更广泛的普及与应用。 此外，人脸造型和表情动画在刑事鉴别、游戏娱乐、虚拟现实等多种场合的应用也 日趋增多。 2 第一章绪论 1 3 国内外研究现状 历史上，p a r k e 是第一个用计算机生成三维人脸的人，他开始于用二种非常初级的多 边形来表示人的头部结构，并在1 9 7 4 年实现了第一个参数化的人脸模型n 1 ，通过变化模型 的参数可以产生基本的人脸动画。在这之后的3 0 年问，研究者们在这一领域取得了许多重 要的研究成果。 一一 下面从人脸建模和人脸动画两个方面介绍计算机三维人脸合成研究的现状。、 1 3 1 人脸建模研究现状 根据实现原理的不同，目前已有的三维人脸建模方法可以分为4 大类：手工建模、特 征建模、扫描建模、统计建模。 1 ) 手工建模 制作者借助三维制作软件，比如3 dm a x ，m a y a 等，在计算机中绘制出三维人脸模型。 这种方法的优点是易于实现，不受环境影响。缺点是制作费时费力，模型效果好坏基本取 决于制作者的绘制水平，因此对制作者有很高的要求，? 一般需要经过专业的训练才可以： 2 ) 特征建模 这种方法一般是从照片或视频中提取人脸特征点，将不同角度提取的相同特征点进 行对应计算，得出特征点的空间坐标，然后用这些特征点坐标变形出一个中性人脸网格， 从而重构出三维人脸模型。 一； n m t h a l m a n n 等人嘲所用的建模方法是以人的正面和侧面照片作为建模输入，结合 交互的方法和特征提取、轮廓提取的方法来获得修改通用模型所需要的标定信息，接着使 用f f d ( 自由变形) 来将通用模型对准到特定模型上。 t a k i m o t o 等人吲用人脸的正、侧面两张照片来获得适配一般模型的特征信息i 并采 用模板匹配技术提取外围轮廓特征，划分很多小的矩形窗检测眼、鼻、口等特征信息，分 别从正、侧面调节一般模型从而建立特定人脸的三维模型。 一 p i g h i n 等人嘲开发了一套系统，他们从5 个角度拍摄人脸照片，在每张照片上手工标出 1 3 个特征点的位置以及一些特征曲线，通过这些特征的对应对中性人脸网格进行变形从而 得到特定人的三维人脸几何模型。这种方法可以生成具有相当真实感的三维人脸模型，但 是需要大量的手工工作。难以推广。 微软研究院的l i u 等人嘲用人脸视频作为输入，用户需要在其中两帧中各标出5 个特征 点，然后在视频中计算并对应角点就可以自动生成与视频相应的三维人脸模型。该方法操 作简便，但是由于角点的自动提取误差较大，导致模型几何表面的误差也比较大。 3 ) 扫描建模 t e f 2 x ，p o u l o s 和w 觚等人m 1 ) 苇j 3 d 扫描仪创建人脸模型，并提出了一种处理和改进扫 3 西安理工大学硕士学位论文 描结果的方法：以c y b e r w a r c 相描仪的纹理和深度图作为输入，通过结合手工交互和对深 度图的处理，来得到人脸上特征点( 如鼻尖等) 的位置和特征轮廓( 嘴，眼睛，鼻子等) 的形 状，结合深度图中的三维信息从而将一个通用的三维模型变形为个性化的三维模型。这种 建模方法对随后的人脸建模产生很大的影响。不过它的不足之处在于过度依赖深度图的信 息以及需要较多的人机交互来实现从三维通用模型到个性化模型的配准。 b r i a n 等人n 匐通过在人脸上贴上密集的标签，来跟踪表情人脸的变形，同时也通过对 c y b e r w a r e 扫描仪扫得的数据做三角化来得到人脸的网格模型，这个网格可以根据跟踪到 的特征点而移动。但是这种方法所建立的模型是不能根据动画参数来直接进行动画的。 4 ) 统计建模 v o l k c rb l a n z n 幻提出了一种基于统计的人脸建模方法。他们用三维扫描仪建立一个三 维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合的正面投影去逼近这张照片。 最后把组合的人脸模型认为是照片中人脸的模型。这种建模方法的优点是输入简单，只需 要一张正面照片，而且合成的人脸模型不会有奇异的失真。缺点是准备工作多，建人脸库 比较麻烦，所建模型在纵深方向会有一定误差。 1 。3 2 人脸表情动画研究现状 人脸表情变化的一个最基本的特征是人脸外形的改变，而在人脸动画中人脸几何形 状是依靠网格来表现的，因此如何控制网格的形变是人脸动画中必须要解决的问题。现有 的人脸网格控制方法有以下几类。 1 ) 关键帧插值法7 】 关键帧方法是在两个不同时刻进行建模，得到相应的几何模型，然后在这两个时刻 的模型之间进行插值，得到中闯时刻的几何模型，由此可以得到不同时刻人脸的表情或运 动。关键帧技术是最传统和最原始的动画方法，容易实现，但是工作量很大。 2 ) 参数化方法n j 蝴1 参数化技术克服了简单插值的一些限制，通过选取一组独立的参数值，经过少量的 计算参数的组合就能构造出入脸表情。p a r k e 最早引入了人脸参数模型，指出有两种参数 应被考虑：特定人标识参数和人脸表情控制参数。特定人标识参数因人而异，用于描述特 定人眼睛的大小，鼻子的高低，额头、下巴的形状等特定人的独立特征。表情控制参数则 用于描述眼睛的开合，眉毛的位置，脸颊的运动等情况。参数模型建立在网格模型基础上， 面部表情的完成是通过挤压代表面部表情网格的相应区域实现的。由于这种方法使用纯几 何模型，忽略了人脸的现实层状结构和人脸皮肤的柔韧性，实现方法只是简单的表面几何 形变，这样就降低了合成人脸的真实性。 3 ) 肌肉模型法 。肌肉模型有很多种，从物理学的角度来看可分为：弹性网格肌肉模型蚴，几何肌肉模 4 第一章绪论 型跚1 ，多层弹性网格模型嘲等。弹性网格肌肉模型通过肌肉弧的传递作用于弹性网格导致 肌肉变形产生脸部表情。向量肌肉模型用一定数量的参数控制附着在网格顶点上的特征肌 肉使人脸模型变形。多层弹性网格则是将一个弹性网格扩展成为相连的三个网格层，更形 象的表达了人脸生理结构，从而可以更真实的模拟人脸的表情。还有一种不需要模拟生理 结构而采用类似与肌肉控制的方式对人脸模型进行变形的模拟的肌肉( 伪肌肉) 方法嘲。 各种不同的方法之间并没有严格的界限，为了产生更好的结果，往往需要结合多种 方法。 1 3 3 国内研究现状 国内近几年在虚拟人脸合成方面也有很大的发展。 哈尔滨工业大学的晏洁等人涵删在人脸建模、人脸表情、唇动、纹理映像等方面做出 了一些成绩，提出一种入脸模型个性化的方法和多方向纹理映射算法，从而使合成的结果 更加真实和自然。浙江大学的梅丽等人汹1 用半自动方法来达到特征匹配目的，用手工编辑 建立的二维对应网格，得到初始人脸外形；进而，通过组合特定人脸的肌肉向量的运动， 变形模型，组合出特定人脸的各种表情。北京工业大学尹宝才等人啪1 采用自动调整与人机 交互相结合的方法实现特定人脸模型匹配。通过对面部曲面结构和面部各器官分布结构的 分析，建立了面部曲面的几何模型和模拟人脸面部曲面的分片二次直积形b e z i e r 参数曲面 计算格式。中科院的姜大龙洲在三维人脸建模、基于m p e g - 4 的人脸动画、细微纹理动画 等方面做出了一些成绩。可以根据单张正面人脸照片快速建模，构造出特定人脸模型f a t ( f a c i a la n i m a t i o nt a b l e ，人脸动画表) ，并实现了具有细微纹理特征的真实感三维人脸动画。 西安交通大学人工智能与机器人研究所的王琨、郑南宁口妇提出了基于s f m 算法的三维人脸 模型重建算法。西安电子科技大学的郑飞与陈梅脚删提出了使用人面照片合成全景图像的 方法进行三维重建。 1 4 本文的研究内容及章节安排 1 4 1 本文研究内容 随着视频采集设备的大众化，图像的采集是越来越方便。但由于这种技术实际上是 将真实的三维物体投影到二维平面上来获取二维图像的，这在采集数据的过程中已经丢失 了一些三维的形状信息，因此其不能准确地给人以物体原来的三维真实信息，更重要的是 人们不能从各个角度获取物体的真实几何信息。 人类生活的环境是一个三维的世界，因此要想用计算机来真实地描述现实世界，最 好通过三维虚拟技术来解决此问题。但是，又由于用图像表示的方法成本比较低廉而且技 5 西安理工走擘硕士学位论文 术非常成熟，所以使得获取的二维图像在一定程度上比较具有真实性。因此，如果能结合 这些已有成果来生成三维的物体将会是很有价值的。 近些年来，前人已经在这个领域做出了很多探索，但由于研究难度较大t 研究还报 不充分。因此至今还没有一个成熟的算法。目前，人们利用计算机所做的有关人脸的研究， 对输入的照片大都有一些要求，比如要求输入的正面人脸图像表情中性且无遮挡，而实际 中更为一般的情况是：无论我们用相机拍摄的人脸照片，还是用摄像头采集的人脸视频帧- 都很难确保人脸是正面的标准人脸，人脸的姿态是不固定的，表情也是丰富多彩的。因此 研究不定姿态人脸无论对科学研究，还是实际应用都是非常必要的。 对于不定姿态人脸合成的研究，潘英杰1 曾用单张非正面( 要求旋转、仰俯角度不 是很大) 人脸照片恢复出一个虚拟人脸，但是由于照片的二维特性必然会导致信息缺失， 对于旋转角度过大的人脸，该论文根据人脸的对称特性，采用镜像技术解决了信息缺失的 问题，但是同时也带来了一些问愿。如图卜l 所示，生成的虚拟人脸经过处理后，虽然解 ( a ) 输 图像( b ) 合成的虚拟人脸( c ) 修补后效果 ( a ) i n p u t i m a g e ( b ) s y n t h e t i c h u m a n f h ( c ) 唰v i r t u a lh u m a n f a c e 图卜l 生成虚拟人脸圈例 f i g 1 - 1s y n t h e t i c v i h m m m f a c e 决了对眼的问题，但人脸中间的部位尤其是鼻粱和下巴处会有一条很明显的灰暗区域。如 图卜2 所示，当一个人在信息比较全的那半边脸上有一些面部特征( 眉毛上面有一颗黑痣) 时，由于镜像会使得生成的虚拟人脸在另一边脸的相应位置也表现出本来没有的特征：相 应的，同时可能也会使得被修复的一面人脸上本来有的信息被隐藏。如图卜3 所示，生成 的虚拟人脸特别的不自然。 r 口口日 ( 砷输入图像0 ) 台成的虚拟人脸 ( 曲m p m i m a g e哪s y n t h e t i c h 哪蛐f e t e 图卜2 生成虚拟人脸图例 f i g1 - 2s y n u 世l l cv l r t u e jh u m e r if e t e ( 吣输 图像合成的虚拟人脸 ( a ) i n p u t i m a g e 嘞删c h u m a n f a c e 图卜3 生成虚拟 脸图例 f i g1 - 3s y l 删c v 缸i j a l h u m a n f a c e 幂一幸绪论 虽然上面的方法解决了出单张不定姿态人脸照片生成三维虚拟人脸的问题，但是， 由于单张人脸照片的信息不全以及采用的通用模型糨糙的原因，生成的虚拟人脸会有不自 然的感觉。因此，本文的主要工作就是在分析前人所做工作的基础上，结合视频帧序列解 决信息不全带来的问题，并且能让虚拟人脸做出一些典型的表情，对这个具有表情的虚拟 人脸进行三维插值使其更加光滑。图卜4 为本文要实现的系统流程示例图。首先，对视 频帧序列进行分割，获得人脸区域并在系统中预存一个通用的中性人脸三维模型，之后 寻找出视频帧中的人脸特征点，将预存的通用中性人脸模型的特征点与之匹配，获得与视 频帧中的特定人物相匹配的个性化人脸模型。同时，从人脸视频帧序列中，确定多分辨率 拼接线，以该拼接线为基准，融合多幅视频帧中的人脸信息，得到视点无关的纹理图。之 后。将该纹理图贴在个性人脸模型的表面，就可以获得三维虚拟人脸。调整该三维虚拟人 脸模型的特征点，就可以获得具有一定虚拟表情的虚拟人脸。最后，对模型进行插值处理， 获得比较自然光滑的，具有一定表情的三维虚拟人脸。 图1 4 系统流程示倒图 f i g1 4s y s t e m f l o w c | l a 西安理工大学硕士学位论文 1 4 2 本文章节安排 第一章，概述。介绍了三维人脸合成研究的背景和意义，对当前三维人脸合成研究 的内容和方法进行了系统的归纳和总结，分别对它们的强项、弱势及性能给出描述，按其 相似性给它们分类，并对其现状进行了介绍，在此基础上，确定了本文的的研究内容。 第二章，相关知识。对本文所采用的通用人脸模型进行说明，并简单介绍如何用 o p e n g l 技术绘制一个虚拟物体并对其进行纹理贴图。 第三章，虚拟人脸合成。首先，对提取出来的视频帧序列进行人脸以及五官的检测， 根据检测到的特征点估计出每幅图片的人脸姿态，然后将一个内置的通用模型与其匹配， 根据模型上确定的特征线确定出用于多分辨率纹理图生成的拼接线；其次，根据每幅图片 中的人脸特点计算出模型调整参数，对上个内置的通用人脸三维模型进行调整，使其与特 定的人脸相匹配；再次，根据前面计算出的拼接线，定位出生成纹理图的拼接区域，采用 多分辨率技术生成用于纹理贴图的视点无关人脸纹理图；最后，确定出纹理坐标，对调整 好的模型进行纹理贴图，生成虚拟人脸。 第四章，典型表情的生成。通过对真实人脸做出表情时的一些区域所具有的特点进 行分析，总结出人在做表情时各个区域的变化程度，结合m p e g - 4 人脸动画参数标准，对 模型相应位置进行修改，从而生成了几种典型的表情。 第五章，虚拟人脸插值细化。根据模型的三角拓扑结构特点，确定l o o p 法为曲面细 分方法，对生成的具有表情虚拟人脸进行三维插值，使虚拟人脸更加光滑。 第六章，总结及展望。对研究成果及存在的问题进行了总结与分析，并针对目前工 作所遗留的问题，对下一步的研究工作进行展望。并给出未来研究和发展的方向。 8 。一第二章相关基础知识 2 相关基础知识 本章主要介绍在实现系统功能时，所需要的相关基础知识，包括：选用的三维人脸 模型、以及如何在虚拟场景显示三维目标的实现方法。 2 1 通用人脸模型 2 1 1 模型选用标准 人的头面部结构比较复杂，要想重建出具有真实感的人脸造型，则选取的特征点必 须具有代表性，能代表一个人的面部特征，唯一标识该个体，且能满足重建三维入脸造型 的需要。三维人脸造型是人脸表情动画的基础，在定义特征点时必须能反映人脸肌肉组织 结构特点，为进一步实现人脸动画做准备。 根据人头面部的生理结构特点，尽管每个人的面貌各不同，但都有其一般规律。人 脸有基本相同的面部结构( 如眼睛、嘴巴、鼻子等等) 和相似的面部动作( 如眼睛的睁闭， 嘴巴的开合等) 。这些特征为建立标准的通用的中性三维人脸模型奠定了生理基础。这里 的通用的中性三维人脸可以看作是一张典型的、不具备任何明显特征、无任何表情的抽象 人脸，它所反映的是所有人脸的共性。 然而对于一个特定的人而言，他眼睛的大小、鼻子的高低、嘴唇的形状等等这些细 节特征都在刻画着这个人的个性特征，所以可以认为一个给定人脸和通用模型之间的不同 之处就是这个特定人脸的独有特征，而特定的人脸模型则是依据个人的个性特征来对中性 人脸三维模型进行修改而得到的。 通过分析实际应用需要，认为本文所要选用的标准模型应该具备以下几个特点。 1 ) 参数化 利用参数化数据描述出人脸及五官的基本的结构信息，通过调整结构参数，就可以 调整人脸及五官的特征信息，如形态、大小、位置等，从而得到个性化的人脸模型。 2 ) 形象化 能准确的描述人脸基本的外观生理结构和形状特征，并通过参数控制就可以使人脸 模型模拟出人面部的一些表情动作，如笑、嘴巴的张合等面部活动。 3 ) 简单化 模型顶点越多描述人脸的精度就越高，但是这对机器的资源要求较高，且不利于存 储、传输，给模型的后期处理增加了困难。所以，希望所用的模型数据越简单越好，这样 在前期模型调整时由于处理的数据很少，就可以大大提高系统的运行效率，而对于模型精 度低这一缺陷，可以通过后期插值处理。同时，考虑到我们主要关注的是人脸部的信息， 对于人头后脑等无关紧要的部位完全可以忽略。为此，本文采用了如图2 - 1 所示的 9 西安理工大学硕士学位论文 c a n d i d e 3 模型作为标准人脸模型。 图2 - 1c a n d i d e 3 人脸模型 f i g 2 - 1 c a n d i d e 一3h u m a n f a c i a lm o d e l 2 1 2c 州d id e - 3 人脸模型 c a n d i d e 3 人脸模型u w 是由瑞典l i n k 6 p i n g 大学的图像编码小组推出的一种免费的 人脸模型，被全球众多实验室广泛使用。 c 触呵d i d e 3 人脸模型是一个简单的、参数化的、标准的、中性人脸三维线框模型。 所谓的标准是指没有个性特征能够反映人脸基本结构特征；而所谓的“中性人脸m p e g - 4 中做出了比较明确的定义，即： 1 ) 凝视z 轴方向j 2 ) 所有的脸部肌肉放松； 3 ) 眼睑与虹膜相切； 4 ) 瞳孔直径是虹膜直径的三分之一； 5 ) 双唇接触，唇线水平，并与嘴角在同一水平卜。 6 ) 嘴闭合，上下齿扣全； 7 ) 舌头水平平坦，并且舌尖与上下齿缘接触。 c a n d i d e - 3 模型是一种网格模型，是用三维空间中的三角面来刻画物体的表面形状 和特征，空间三角面是三维人脸模型显示的基元。c a n d i d e - 3 定义了1 1 3 个三维空间坐标 向量，在模型中按一定顺序存储着这些点的三维坐标值，即每个点的x 、y 、z 的值；而1 6 8 个面数据就描述了如何将模型中的1 1 3 个三维空间向量连成三角面组成一个生动的人脸模 型。每个面数据存储的是组成该三角面的三个三维顶点向量的索引号。由于人脸的结构是 固定的，这些三角面的位置也是固定不变的，如果改变了它们之间的这种固定连接关系， 模型很可能就会“不成人形 了。所以，如果要改变三维人脸模型的特征，只需要直接改 变人脸模型的三维顶点数据就可以了，如将所有的三维顶点数据乘以一个系数，就可以将 1 0 第二章相关基础知识 人脸模型进行放大缩小。 c a n d i d e - 3 模型的模型调整方法，可以表示为： g ( c r ，口) = g + s t r + 彳岱( 2 1 ： 一 其中g 是一个调整后的三维的空间坐标，g 是标准的中性的三维空阀坐标，s ，一a 分秀 为外形和动画单元，仃和a 分别为外形和动硒参数。， 外形参数( s h a p eu n i t s ) 是用来描述不同人脸形状特征间的差异，如：头的高度，眼 睛，眉毛在纵向上的位置以及人眼的宽度、高度，鼻子、嘴的位置和高度等等这些人脸形 状的变化，是一种参数化的静态人脸的结构特征，对于_ 个确定的人外形参数基本是固定 的，不会有较大变化。 动画参数( a n i m a t i o nu n i t s ) 是用来描述人脸的动态外形，当人做各种表情的时候，虽 然外形参数交化不大，但描述人脸的细节变化的动画参数，往往变化较大。动画参数包括： 眼睛的睁开、闭合，嘴唇的蠕动，嘴的张开，嘴角的运动等。c a n d i d e 3 人脸模型是一 种主要为视频编码开发提供的一种参数化的人脸模型，所以它的计算非常简洁。由于用于 视频编码，它所定义的向量与与m p e g - 4 里所定义的人脸动画参数( f a p s f a c i a la n i m a t i o n p a r a m e t e r s ) 和人脸定义参数( h p s f a c i a ld e 矗n i t i o np a r a m e t e r s ) 十分类似，因此该模型被 广泛应用于人脸识别和动画的科研中。如图2 - 2 所示，是一个在不同动画参数下的不同人 脸表情的示例。 (a)标准(b)微笑(c)惊讶 ( a ) s t a n d a r dm o d e lc o ) s m i l i n gm o d e l ( c ) s u r p r i s e m o d e l 图2 屯不同参数控制下的c a n d i d e - 3 人脸模型所做出的表情 f i g 2 - 2 d i f f e r e n te x p r e s s i o nh u m a nf a c i a lm o d e lb a s e do nd i f f e r e n tp a r a m e t e r s 2 2 三维显示知识 本文的目的，是根据视频帧中人脸的特点来对一个三维的通用人脸模型进行调整， 然后对调整好的模型进行纹理贴图，从而生成一个具有表情的光滑人脸。考虑到模型显示 的复杂性及后面的纹理贴图的实现，本文采用o p e n g l 技术来实现这些功能。这里先对 西安理工大学硕士学位论文 o p e n g l 绘制三维目标所涉及到的范围作一个简单介绍。 2 2 1o p e n g l 简介 o p e n g l ( 即开放性图形库o p e nc n a p h i c sl i b r a r y ) 勰删是近几年发展起来的一个性能 卓越的三维图形标准，它源于s g i 公司为其图形工作站开发的i r i s g l ，在跨平台发展过程 中发展成为o p e n g l 。目前已成为开放式的国际三维图形程序标准。 o p e n g l 功能完善，从绘制简单的3 d 物体到交互的动态场景，都能高效、简便的完成。 o p e n g l 的功能主要表现在以下几个方面： 1 ) 几何建模：在o p e n g l 中提供了绘制点，线，多边形等基本形体的函数，还提供 了绘制复杂三维曲线，曲面( 如b e z i e r ，n u r b s 等) 和三维形体( 如球，锥体和多面体等) 的函数。由于o p e n g l 是以顶点为图元；由点构成线，由线及其拓扑结构构成多边形。所 以应用这些建模函数，可构造出几乎所有的三维模型。 2 ) 坐标变换：包括取景变换，模型交换，投影变换和视区变换。 3 ) 颜色模式设置：r g b a 模式和颜色索引模式。 4 ) 光照和材质设置：可设置四种光，即辐射光，环境光，镜面光和漫反射光。材质 用模型表面的反射特性表示。 5 ) 图像功能：提供像素拷贝和读写操作的函数，还提供了反走样，融合和雾化等， 以增强图像效果。 6 ) 纹理映射：o p e n g l 的纹理映射功能可十分逼真地再现物体表面的细节。 7 ) 实时动画：利用o p e n g l 的双缓存( d o u b l e b u f f e r ) 技术可获得平滑逼真的动画 效果。 ， 8 ) 交互技术：方便的三维图形交互接口( 选择，拾取，反馈) ，可进行人机交互操作。 使用o p e n g l 进行三维显示、仿真具有如下的优越性： 1 ) 建模方便。o p e n o l 不仅提供基本的三维几何象素生成函数，而且提供了大量关 于点、线、面以及n u r b s 曲线曲面等基本图元操作函数，可以构建相当复杂的几何造型， 以满足三维仿真的造型需要。 2 ) 实时的三维仿真。由于0 1 搬l g l 同时提供了颜色缓存、深度缓存、模板缓存、累 积缓存等基于双缓存技术的动画操作函数，使仿真应用程序设计的算法更简单，极大地提 高了动态仿真的帧显示速度，使实时的三维仿真得以实现。 3 ) 高度的真实感显示。o p e n g l 还提供了大量的着色、光照、景深、阴影、混合、 消隐、反走样、明暗处理、材质处理、图像处理、纹理映射、深度检测等功能函数，保证 了三维仿真图形显示具有高度的真实感。 4 ) 程序的独立性。o p e n g l 是与硬件、视窗和操作系统相互独立的，因而三维仿真 程序可以完全独立于视窗和操作系统之上，仿真程序的设计可相应划分为5 个层次：图形 第二章相关基础知识 硬件、操作系统、窗口系统、o p e n g l 和三维仿真程序。 5 ) 程序的通用性与可移植性。由于o p e n g l 可集成到各种标准视窗和操作系统当中， 如d o s 、w i n d o w s 9 5w m d o w sn t 、u n i x 等，因此基于o p a 帕l 的三维仿真程序有良好 的通用性与可移植性。 o p e n g l 作为一个性能优越的图形应用设计界面( a p i ) ，具有强大的可移植性，它独 立于硬件系统、操作系统和窗口系统。适用于广泛的计算机环境，无论是个人计算机、工 作站还是超级计算机，用户都可以采用o p e n g l 技术创建漂亮的三维图形。 2 2 。2 基本图元 大家都知道物质是由原子组成的，而且所有的原子只由3 样东西组成：质子、中子和 电子。自然界的所有材料和物质，都是由这三种基本成分组成，只是排列有所不同而已。 这个道理用到o p e n g l 中可以理解为，所有复杂图形都是由基本图元按照各种各样的方式 排列组合来创建的。o p e n g l 基本图元有点、线、多边形等，有了这些图元，就可以建立 需要的复杂的模型。下面介绍这些图元的定义。 a 点( p o ln t ) 在o p e n g l q a ，用浮点值表示的点称为顶点( v e r t e x ) 。所有顶点在o p e n g l l 内部计算 时都作为三维点处理，用二维坐标( x ，y ) 定义的点在o p e n o l q 口默之a z 值为0 。 b 线( l in o ) 在o p e n g l 中，线代表线段( l i n es e g m e n t ) ，不是数学意义上的那种沿轴两个方向无 限延伸的线。这里的线由一系列顶点顺次连结而成，如图2 - 3 所示，分为闭合和不闭合两 种。 ( a ) 不闭合线 ( a ) u n c l o s e dl i n e s 图2 - 3o p e n g l 中线的绘制 f i g 2 - 3 1 i n e si no p e n o l 、 ( b ) 闭合线 c o ) c l o s e dl i n e s 1 3 西安理工大学硕士学位论文 c 多边形( p o l y g o n ) o p e n g l q b 定义的多边形是由_ 系列线段依次连结而成的封闭区域。这些线段不能交 叉，区域内不能有空洞，多边形必须为凸多边形，否则不能被o p e n g l 函数接受。合法和 非法多边形图示见图2 4 。 ( a ) 合法多边形( b ) 非法多边形