（管理科学与工程专业论文）基于图像的三维人脸建模技术研究.pdf

内容摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富有挑战性的课题。随着电影虚 拟角色、远程会议、犯罪学、医学、信息帮助、人机交互、娱乐、虚拟现实、人脸识别和 表情理解等方面应用的发展，人脸建模领域越来越受到人们的关注。 尽管目前在三维人脸的重构和复制上已经取得了一些技术上的突破，但还是不尽人 意，如需要专用的设备，且数据量大，不便于存储及网络上传输等。如何在不需要昂贵设 备，尽可能地减少交互的条件下，创建具有真实感的人脸造型，这是本文的研究重点，旨 在找到一些简捷而高效的方法来解决这些问题。 本文研究课题是基于二维图像的三维人脸建模技术，即使用两张正交的人脸正侧面照 片合成三维人脸。首先对给定的人脸的正面和侧面照片进行预处理，其次，使用基于肤色 的人脸检测算法结合o p e n c v 中的c v l o a d h a a r c l a s s i f i e r c a s c a d e 函数及改进的c v h a a r d e t - e c t o b j e c t s 函数来进行人脸检测，并提取人脸轮廓。接着用小波分析的方法提取出反映 人脸特征的特征点信息，再利用这些特征点信息对一般人脸模型进行修改获得特定人脸模 型，最后使用纹理映射技术给特定人脸模型添加纹理信息，形成真实感的虚拟三维人脸模 型。 关键词：人脸模型人脸检测特征提取小波分析柱面投影 a b s t r a c t b u i l d i n gr e a l i s t i c3d f a c em o d e l si sac h a l l e n g i n gt a s ki nt h ef i e l do fc o m p u t e rg r a p h i c s w i t ht h ed e v e l o p m e n to fv i r t u a lc h a r a c t e r so fm o v i e s ，r e m o t ec o n f e r e n c e ，c r i m i n o l o g y ，m e d i c a l s c i e n c e ，i n f o r m a t i o nh e l p ，h u m a n - m a c h i n ei n t e r a c t i o n ，a m u s e m e n t ，v i r t u a l r e a l i t y ，f a c e r e c o g n i t i o n ，u n d e r s t a n d i n go fe x p r e s s i o n ，e t c ，p e o p l ea r ep a y i n gm o r ea t t e n t i o nt ot h ef a c e m o d e l i n ga r e a t h o u g hi th a sa l r e a d ym a d et h eb r e a k - t h r o u g ho ns o m et e c h n o l o g yi nt h er e c o n s t r u c t i o na n d d u p l i c a t i o no f3 df a c ea tp r e s e n t ，i t sn o tv e r ys a t i s f y i n g b e c a u s ei tn e e d ss p e c i a l - p u r p o s ea p p a r - a t u s ，t h ed a t aa m o u n ti sb i ga n di ti si n c o n v e n i e n tt os t o r ea n dt r a n s m i tt h r o u g ht h en e t w o r k h o wt oe s t a b l i s ht h e3 df a c em o d e l 、析t hs e n s eo fr e a l i t yw i t h o u te x p e n s i v ea p p a r a t u sa n dw i t l l l e s sh u m a n - m a c h i n ei n t e r a c t i o ni st h ek e y s t o n eo fo u rr e s e a r c h ，w h i c ha l m sa tf i n d i n gs o m es i m p l e a n dh i g h e f f i c i e n tm e t h o d st os o l v et h e s ep r o b l e m s t h i sp a p e rp a i da t t e n t i o nt ot h er e s e a r c ho nt h et e c h n i q u eo f3df a c em o d e l i n gb a s e do n i m a g e t h a ti st os a y , r e b u i l d3 df a c ew i t ht w oo r t h o g o n a lp h o t o so fp e r s o n sf r o n ta n dp r o f i l e f a c e s f i r s t ，w es h o u l dd op r e t r e a t m e n to i lt h ef r o n ta n dp r o f i l ev i e w so ft h eu s e r sf a c e s e c o n d ， t h i sp a p e rp r e s e n t e dam e t h o do ff a c ed e t e c t i o nb a s e do nt h es e g m e n t a t i o no fs k i nc o l o ra n dt h e n e x t r a c t e dt h ep e r s o nf a c eo u t l i n e a f t e rt h a tw ee x t r a c t e dt h ei n f o r m a t i o no ft h ef e a t u r ep o i n t s w i t hm e t h o do fw a v e l e ta n a l y s i s t h e n ，w eo b t a i n e dt h es p e c i f i cf a c em o d e lw i t ht h es p e c i f i c p e o p l e sf a c ec h a r a c t e r i s t i cb ym o d i f y i n gt h ec o m m o nf a c em o d e l f i n a l l y , ac y l i n d r i c a lt e x t u r e m a p i sb u i l tf r o mt h et w oi m a g ev i e w st og e n e r a t ear e a l i s t i cf a c ei m a g e k e yw o r d s ：3 df a c em o d e l i n g ；f a c ed e t e c t i o n ；f e a t u r ee x t r a c t i o n ；w a v e l e ta n a l y s i s ； c y l i n d r i c a lp r o j e c t i o n ； i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含 为获得天津财经大学或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：导研切胸 答字醐：q 刨1 拥 学位论文版权使用授权书 本学位论文作者完全了解天津财经大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权天津财经大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文， ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：泉椭 导师签名： 签字日期：卅年厂月拥 签字日期： 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 靖7 7 ) 第1 章绪论 1 1 研究背景 自古以来，人们对人脸的复制一直抱有着浓厚的兴趣。早期常采用的方法包括手工绘 画、泥塑、雕刻等，随着科学技术的发展，出现了照片和电影，但其只限于反映人脸在某 个角度的二维信息，无法看到具有真实感的三维人脸。但是随着科技的发展，在诸多方面 人们已经不满足于仅获取单角度方向的人脸信息，人们希望可以更方便的从各个角度观察 人脸，可以更简单的操作人脸。自从二十世纪中期第一台电子计算机诞生以来，计算机技 术得到迅猛发展，人们使用计算机在人脸复制方面的技术也同趋成熟，现在三维人脸建模 技术已经作为一个研究热点而广受关注，人脸建模技术的应用领域也r 益广泛，无论是二 维还是三维人脸，都能更加精确和富有创造性地在计算机上进行复制和合成。 计算机重构的三维人脸造型已经广泛的应用于电影制作、游戏娱乐、医学辅助诊断治 疗、教学科研等领域，我们在电影和游戏中也常常可以看到虚拟角色的精彩表演，如著名 的3 d 探险游戏t _ - l 化危机中的吉尔就是一个用计算机合成的，她的逼真的形态、细腻 的表情、优美的动作深受人们的欢迎。 然而，虽然目前在三维人脸的重构和复制上已经取得了一些技术上的突破，但还是不 尽人意，如需要专用的设备，且数据量大，不便于存储及网络上传输等。如何在不需要昂 贵设备，尽可能地减少交互的条件下，能创建具有真实感的人脸造型，这是本文的研究重 点，旨在找到一些简捷而高效的方法来解决这些问题。 1 2 研究意义 近年来，人脸建模与动画作为计算机图形学领域的一个独特分支，得到了人们的广泛 关注。从多通道用户界面到虚拟现实，从可视电话到游戏娱乐，无处不闪现着人脸建模与 动画的身影。如今，人脸动画己经从传统的关键帧技术发展到表演驱动技术。同时，人们 对计算机人脸建模与表情动画系统的要求也越来越苛刻。人们不再满足于毫无修饰、僵硬、 木偶般的人脸及其动画，因此我们需要进一步去探索个性化、高真实感、高效率的人脸建 模技术。 1 人脸建模与动画技术具有广泛的应用前景。有些是纯娱乐的，如：影视制作、游戏娱 乐；而有些则是用于特殊的目的，如：辅助教学、可视电话等。因此，人脸建模与表情动 画系统的选择应当依赖于所面向的应用领域。人脸建模与动画技术主要应用于如下几个领 域： ( 1 ) 影视制作 人脸建模与动画技术最显著的应用是影视制作。当我们欣赏着电影节目中某个角色的 精彩绝伦表演时，我们是否想到这可能是由计算机合成出来的一个虚拟人物? 电影制作者 们赋予角色人性的外观和极其逼真的表情，使得我们不得不发出惊叹。从魔戒、侏罗 纪公园到木乃伊系列、黑客帝国等的制作中无不体现了人脸造型和动画技术的 魅力。动画师们也总是在不断寻求更具发展潜力的人脸建模与人脸动画系统，并希望利用 最新的学术研究成果对已有的系统进行修改和完善，以便给观众带来更精彩的视觉享受。 ( 2 ) 人机交互界面 人脸建模与动画是人机交互领域一个重要的研究方向，它使得人性化的交互得以实 现。w e l s h 和m o r i s h i m a 等人将发展更好的用户界面作为他们进行人脸动画研究的一个主 要而长期的目标。 ( 3 ) 计算机辅助教学 人脸建模以及在此技术上的人脸动画技术可以运用到有生有色的计算机辅助教学过 程。尤其是当学生听力方面有缺陷时，学生可以在人脸动画技术的支持下，一遍遍的跟这 位虚拟老师学习，只要预先设定程序，这位老师永远都会“不厌其烦 。学生可以随时随 地与这位类似真人的虚拟老师学习，增加了学习氛围，调动了学生的积极性。 ( 4 ) 游戏娱乐 自从3 d 视频游戏诞生以来，人脸建模与表情动画技术就一直应用于游戏制作当中。 在不久的将来，玩家将能够把游戏中的虚拟角色变成自己的造型，看到自己在游戏中“纵 横驰骋 ，这一切正是人脸建模与动画技术的功劳。 ( 5 ) 可视电话与可视会议 虽然目前可视技术已经成熟，但是其巨大的多媒体信息占据着宝贵的频带资源，要求 通信线路具有很大的带宽。人脸建模与人脸动画技术只需要一次性的从发送端发送人脸定 义特征参数，接收端根据收到的参数利用人脸建模技术恢复人脸，以后的传送过程仅仅是 传送预先定义的人脸表情参数信息，这样必然降低了传送信息的冗余程度，大大减少了一 定时间内的数据流量，在普通的通信线路上就可以实现实时的“面对面的交流 ，可视技 2 术也必将得到更加广泛的普及。 ( 6 ) 医学领域 在医学领域中，人脸建模与动画技术的主要应用是面部整形手术和心理研究等领域。 在进行面部的整形手术之前，可以模拟手术的过程和展示手术后的治疗效果，从而做出详 细准确的手术方案，减少手术的风险。 ( 7 ) 人脸识别 人脸识别是生物特征鉴别技术的一个主要研究方向，经过诸多学者的悉心研究，有不 少成功的识别方法已经形成。近年来，基于三维模型的人脸识别方法已经取得了很大进展， 在提高识别的鲁棒性和精度方面也显示出了巨大潜力，必将成为人脸识别的热点。 1 3 国内外研究现状 三维人脸建模过程一般经过人脸特征信息提取、个性化人脸模型建立和纹理合成与纹 理映射三个步骤。三维数据的获取属于计算机视觉领域，近年来随着计算机视觉技术的发 展，研究者们找到了一些适用于三维建模的数据获取方法。个性化人脸模型建立可以根据 三维数据直接建立可视化模型，也可以通过对标准模型的形变进行建模，后者是研究的主 流。从标准模型到个性模型的建模方法按照数据的来源主要分为两类：基于三维散乱点数 据的建模方法和基于图像( 单幅、多幅、序列) 的建模方法。在建模过程中，研究者们尽 量使处理过程自动化，但至今完全自动化的建模方法还少有报道。目前该领域中的研究热 点主要集中在以下几个方面。 ( 1 ) 三维面部数据的获取数据是分析问题的基础，但是到目前为止，实用、便捷、 高精度的三维数据获取装置还未见报道，这方面依然是国内外学者研究的热点。 ( 2 ) 结构信息的恢复获取的三维点数据，只是分散的点，没有结构信息，为了使三 维模型具有生机，必须恢复其结构信息。一般做法是通过变形已有的标准模型，以形成具 体模型。因此，如何调整标准模型到个性模型也是一个令人关注的课题。 ( 3 ) 表情合成，模拟人脸逼真的表情是三维人脸建模的一个主要目的。通过建立肌 肉模型、协调各部分的运动，达到逼真动画效果，是许多研究者追求的目标。 ( 4 ) 纹理合成从多幅图像出发，合成逼真的面部纹理，给人更好的视觉体验，这是 三维建模必须面对的问题。 3 1 3 1 人脸模型的构造 构造逼真的人脸模型是人脸动画的基础，模型构造的“像 与“不像”直接影响着人 脸动画的效果。目前，构造人脸模型的方法主要包括四种： ( 1 ) 直接采集方法 借助三维数字扫描仪、三维照相机等硬件设备直接采集人脸模型的三维信息。该方法 能准确构造人脸模型，但需要昂贵的设备并且费时费力。 ( 2 ) 基于二维图像与摄像机标定的方法 在两幅或多幅不同视角的人脸图像上标识出若干组特征点对，并输入摄像机的广角参 数从而实现摄像机定标，进而匹配出两幅人脸图像上的其它对应点，实现模型的三维重建。 该方法能够在不需要昂贵设备的前提下构建出逼真的三维人脸模型，但由于其建模过程只 涉及人脸的形状信息而没有人脸的结构信息，所以难以实现人脸动画。 ( 3 ) 基于二维图像和人脸模型库的模型匹配方法 先从包含三维信息的人脸模型库中构造出一系列具有纹理信息的一般人脸模型，然后 采用匹配算法，实现某一三维人脸模型与特定人脸的二维图像相匹配，最终生成特定的人 脸模型。由于该方法需要一个有大量人脸模型数据的模型库，所以实现起来代价比较昂贵 ( 4 ) 基于二维图像和一般人脸模型的模型修改方法 从特定人脸不同视角的多幅图像中恢复出人脸特征( 如眼角) 的三维信息，然后根据得 到的三维信息对一般人脸模型进行适当的修改，从而得到特定的人脸模型。该方法建模过 程简便、重建模型逼真，并且容易实现人脸动画。 综上所述，综合考虑以上四种构造人脸模型的方法的优缺点，本人采取基于二维图像 和一般人脸模型修改的方法来进行三维人脸重建。 1 3 2 国内外主要的人脸建模与动画系统 ( 1 ) b r i a n g u e n t e r 等开发的t a l k i n g h e a d 系统 系统以六个方位不同的摄影机对一个模型所拍摄的图像为基础，模型的脸部特征轮廓 线上贴有不同颜色特征点，然后利用光线追踪法和光学中物体上同一点在不同透视投影平 面上的对应关系，得到特征点的三维信息，从而生成人脸网格模型。接着，根据输入图像 序列特征点各自的位置变化，将人脸网格体进行同步变形。最后利用各点在不同图像上的 纹理信息的加权平均值作为该点的纹理信息，实现纹理贴图，生成栩栩如生的 4 t a l k i n g h e a d 。 ( 2 ) v o l k e r b l a n z 的3 d 人脸合成系统 该系统主要用于人脸合成，其功能是：从系统自带的由2 0 0 个3 d 头像构成的数据库中 建立一个可变形人脸模型，对输入的特定人脸2 d 头像，经人脸分析器处理后自动生成对 应的3 d 人脸。系统中2 0 0 幅3 d 人头像通过激光扫描仪得到，均具有3 d 坐标与纹理信息。 ( 3 ) 晏洁的聋哑人辅助教学系统 该系统能够在文本驱动下实时合成一个具有一定表情、口型、手势动作的三维虚拟人。 当用户输入一段文字后，系统首先将文字分成词，然后根据预先建立的表情库依次驱动虚 拟人按该词所蕴涵的信息做相应表情，同时呈现一定的口型，并打出相应的手势。 ( 4 ) f a c e s a t i o n 人脸表情动画系统 该系统在2 0 0 2 年获得动画杂志最高荣誉并被授予“s e a lo fe x c e l l e n c e 大奖。其 成功之处在于容易实现的表演驱动的人脸动画方法。该系统不需要在人脸上做任何标记， 而是自动定位人脸上的特征点，分析出人脸的表情和姿态，进而实现人脸动画。 国内在这些方面动手较晚，最早的人脸建模研究始于9 0 年代末，经过十几年的发展， 人脸建模和动画也引起了国内研究者的极大兴趣，不同的研究机构在人脸建模和动画方面 作了许多研究工作。浙江大学、清华大学、中国科学技术大学、中国科学院计算技术研究 所和中国科学院自动化研究所等在三维人脸的数据获取和建模方面取得了一些成果。浙江 大学c a d & c g 国家重点实验室在曲线曲面建模、真实感图形绘制、计算机动画等方面取得 了较大进展。清华大学利用三角样条曲面进行了面部建模和动画研究，中国科学院计算技 术研究所进行的表情分析与识别研究取得了一些进展。中国科技大学从正面和侧面两幅图 像出发，合成了三维人脸模型并制作了简单的面部表情动画，中国科学院自动化研究所研 制出了基于激光扫描的三维数据获取方法。但目前国内还只限于理论方面，实际应用还很 少涉及。 。 总之，在人脸建模与动画方面，国内外学者进行了大量的研究工作，并开发出了相应 的实用系统，但是，还没有一个人脸建模与动画系统能够让人们广泛接受。究其原因，就 是因为要想应用以上的这些人脸建模系统，用户大多数要具备相当多的图形图像方面的专 业知识，并且要拥有许多先进的昂贵的设备，如果没有的话很难做到应用自如，可以说系 统没有做到大众化的目的。即使做到了操作简单，使用方便，但同时也难免减少了系统的 某些功能。可见，当前开发一个既功能强大又使用方便的人脸建模系统势在必行。 5 1 4 本文研究的主要内容及相应的技术方法 本文研究基于二维正、侧面照片的三维人脸建模，其过程分为人脸检测、一般人脸模 型获取、特定人脸建模以及纹理贴图四步： 第一步：人脸检测 对于在给定的未经处理的照片中，我们做的首要任务就是检测此照片中是否存在人 脸，这就需要引入人脸检测技术。如果有，我们需要相应的算法将人脸提取出来，以便此 后的所有研究在相对比较小的区域罩进行，那么外部的干扰就相对少了很多。 在这早我t f 6 1 入了基于肤色模型的人脸检测方法，利用分类器算法并结合o p e n c v 工 具来实现人脸检测程序，最后利用人脸轮廓提取方法将人脸提取出来。 第二步：一般人脸模型获取 要实现特定人脸的建模，首先需要获得一般人脸模型，然后通过对一般人脸模型的修 改过程而生成特定人脸模型。在一般人脸模型的获取方法上，有许多造型和动画软件都可 辅助实现，如3 d m a x 、p o s e r 、m a y a 。 本文以3 d m a x 软件导出标准人头模型( 3 d s 文件) 。在v c + + 条件下使用o p e n g l 编程完 成了3 d m a x 模型的读取与重现。 第三步：特定人脸建模 ( 1 ) 特征点的定义 头面部的几何结构非常复杂，要想建模出逼真的人脸造型，则必须借助人脸特征点的 定义，选取的特征点要具有代表性，能够代表一个人的面部特征，唯一标识该个体，且能 够满足三维人脸建模与动画的需要。由人脸生理结构特点的分析可知，尽管每个人的面貌 各不相同，但都有其一般的规律。主要包括人脸轮廓和人脸面部的各器官：眼、鼻、嘴、 脸颊等。 ( 2 ) 特征点的提取 特定人脸特征点的提取问题本质上是计算机视觉问题。从图像处理与模式识别发展起 来的计算机视觉研究的对象之一是如何利用二维投影图像恢复三维景物世界。 早期出现了手工指定关键点的特征点提取方法，但其人为干扰因素较多，对于三维人 脸还原的精度有一定的影响，本文的研究重点在于“真实感 人脸的建模，因此，本文利 用小波变换的多分辨性，对人脸进行低维表达，然后在小波系数矩阵上直接进行特征的定 位和提取。 6 ( 3 ) 从一般人脸模型到特定人脸模型的修改 、这个变形处理过程需要经过两步变换来完成。第一步是对一般人脸模型进行整体变 换，完成对人脸模型的整体轮廓修改，使一般人脸模型与特定人脸在脸形和五官的位置上 大致相一致。第二步是对整体变换后的一般人脸模型进行局部变换，主要是针对特定人的 眉、眼、耳、鼻、嘴、脸颊、下巴等特征位置进行进一步修改，刻画特定人脸的面部细化 特征。本文用散乱数据插值的方法实现模型的局部修改。 第四步：纹理贴图 纹理贴图( t e x t u r em a p p i n g ) 技术也叫纹理映射技术，它是将图像( 通常是位图形式) 映射到3 d 物体上的一种技术。特定人脸模型具有了特定人脸的形状位置特征，但还不具 备特定人脸的皮肤特征，真实感很差，必须从实拍的二维照片上获取皮肤纹理信息，将它 们映射到特定人脸模型上，生成直观的真实感三维人脸。纹理贴图可以在不改变3 d 模型 的几何信息的情况下达到真实感的视觉效果，同时不需要太多的计算丌销就能够实现，因 此它是最常用的用来表现真实感3 d 物体的技术方法。 纹理分为颜色纹理和凹凸纹理两种，本文采用颜色纹理贴图方法，利用基于多分辨率 图像分解技术进行纹理拼接，基于柱面投影技术进行纹理坐标计算，从而建立物体表面的 点与纹理空间的点之间的对应映射。并利用o p e n g l 提供的纹理贴图库函数来实现人脸模 型的纹理贴图。 综上所述，整个过程如图1 1 所示： 照片预处 人 正倾i弹性模纹理 保 理( 归一 脸面捌 型调整。合成 存 l化、平滑与 检 厶 和纹理 输 口 滤波、灰度 测 坐标计 出 化、)算 结 果 j lj l 否 圈r 翠 图1 1 三维人脸合成流图 7 1 5 本文的主要创新点 ( 1 ) 方法的创新 本文摒弃了以前的手工交互提取特征点的算法，引入了小波变换方法，并利用小波变 换的多分辨性特性，对人脸进行低维分解表达，然后根据小波系数矩阵直接进行特征点的 定位、识别和提取。 ( 2 ) 技术的创新 在使用o p e n c v 工具中的分类器函数进行人脸检测的时候，对主函数c v h a a r d e t e c t o b j e c t s ( ) 进行修改，增加一些参数和方法，使其功能更强大，能够同时准确的识别多 个人脸目标。 8 第2 章基于人脸正、侧面照片的特征点处理 2 1m p e g - 4 标准下的人脸特征点定义 m p e g 一4 作为新一代动态图像压缩标准，是一个真正地把视频和声音以及市场计算机三 维图形和图像结合在一起的多媒体标准口1 。它提出基于对象的编码格式，将人脸作为一个 特殊的对象，并为人脸的动画制定了一系列标准，为人脸的建模和动画研究奠定了基础。 m p e g - 4 标准的提出，进一步拓宽了虚拟人脸的应用，使得即使在低带宽的网络上也可以实 现高质量的人脸动画。在m p e g - 4 中特别定义了和人脸有关的一些标准，它用6 8 个人脸动 画参数就刻画了复杂的人脸表情，并且还用人脸定义参数( f a c i a ld e f i n i t i o n p a r a m e t e r s ，f d p ) 来描述人脸模型和人脸纹理。h 1 。然而，出于m p e g 一4 定义的只是一种格 式和框架，而并未给出具体的实现算法，这就给研究人员提供了广阔的平台。 人脸对象是m p e g - 4 中一个非常重要的对象，m p e g - 4 用f d p ，f a p ，f d p u 来描述它的几 何和纹理以及表情，这些参数对人脸的表示和动画进行洋细的定义。f d p 描述人脸的几何 和纹理信息，有时还可以包括场景的信息，它提供人脸特征点。m p e g 一4 中人脸特征点表示 如图2 1 所示。 9 图21m p f _ b - 4 标准下人脸特征点表示圄 在f o p 中，m p e g - 4 利用中性人脸模型定义了8 4 个特征点，这些特征点的主要作用 是为定义人脸动画参数提供空自j 参考，也定义了脸部几何模型，f d p 参数表示为人头上的 一些特征点的i 维坐标。例如下巴的底端、上嘴唇内侧的巾点、下嘴唇内侧的中点、左右 外眼角点和左右内眼角点等。一个f d p 域包含以下五个内容： ( 1 ) f e a t u r e p o i n t s c o o r d 指定网格中所有特征点的坐标。 ( 2 ) t e x t u r e c o o r d 指定所有特征点在纹理上的坐标。 ( 3 ) u s e o r t h o t e x t u r 指定纹理的类型。如果u s e o r t h o t e x t u r 值为f a l s e ，则纹理采 用圆柱投影，如果u s e o r t h o t e x t u r 值为t r u e ，则纹理采用正投影。知道纹理类型才可 以正确地计算非特征点在纹理上的坐标。 ( 4 ) f a c e d e f t a b l e s 即人脸动画定义表，描述f a p 对人脸网格变形的控制方式和参数。 ( 5 ) f a c e s c e n e g r a p h 指定包含一张纹理图像或者一个以上的人脸模型。 总之，f d p 为选择特征点提供了很好的参考标准和范围，这些特征点都是经过大量的 实验分析得到的，值得参考。 最终，结合m p e g 一4 的标准及人脸生理结构的特征，本人选取了以下特征点，如图22 所示： 图2 2 本文人脸正、侧面特征点定义图 2 2 基于小波分析的人脸特征点自动提取 特征提取就是要从大量的图像数据中选择罐能反应景物属性特征的因素，用于立体匹 l o 配。关于特征的提取，首先应该使提取的特征与可视景物的一定特征相对应，并且这个景 物特征在两幅图像中产生的结果相似；其次，提取的特征不能太稀疏，否则会给三维内插 重建造成困难；再次，提取的特征分布应该尽量避免误匹配的产生。常用的目标特征包括 特征点( 如角点、拐点、边缘点等) 、线( 一般指边界线，包括直线和曲线) 等数值或符号的 描述。本文所要提取的特征点就是前面所述的人脸特征点。 按照提取的方法机理不同，主要分为五大类： ( 1 ) 基于几何特征的面部特征提取方法，早期大多从侧面人脸图像中提取特征，现 在基本上是用正面人脸的信息，该方法主要利用人脸不同区域灰度分布的不同特性来定位 特征点的位置，由于直接根据图像灰度的变化进行分析，因而其鲁棒性受到一定的限制。 并且用此方法从图像中抽取稳定的特征比较困难，特别是当人戴眼镜、有胡须等情况下； 对强烈的表情变化或姿态变化的鲁棒性较差；特征点只能从灰度变化剧烈的地方抽取，因 此不易考虑人脸的三维结构；一般几何特征只描述了部件的基本形状与结构关系，忽略了 局部细微特征，造成部分信息的丢失，只适合于粗分类。 ( 2 ) 是基于相关匹配的方法，包括模板匹配法和等灰度线婶1 方法，主要是利用计算模 板和图像灰度的自相关性来实现识别功能。模板匹配法是一种经典的模式识别方法，这种 方法大多是用归一化互相关，直接计算两幅图像之间的匹配程度。这种方法是将面部用一 组独立的小模板表示，如眼睛模板、嘴巴模扳、鼻子模板以及眉毛、下巴模板等。这些模 板的获得必须利用各个特征的轮廓。其中用弹性模板方法提取特征显示出其独到的优越 性，但模板匹配的最大缺点就是运算量大，特征提取所耗时间长。 ( 3 ) 基于统计的面部特征提取方法，包括特征脸方法和隐马尔可夫方法盯3 。特征脸方 法是从主成分分析( p c a ) 演变而来的一种特征提取方法。就是将包含人脸的图像区域看作 是一种随机向量，因此可以采用k l 变换获得其正交k l 基底。对应其中较大特征值的基底 具有与人脸相似的形状，因此又称之为特征脸。利用这些基底的线性组合可以描述、表达 和逼近人脸图像，因此可以进行人脸的识别与合成。识别过程就是将人脸图像映射到由特 征脸张成的子空间上，比较其与己知人脸在特征脸空间中的位置。隐马尔可夫模型是用于 描述信号统计特征的一组统计模型，在语音识别中应用较多。在h m m 中，节点表示状态， 有向边表示状态之间的转移，一个状态可以具有特征空间中的任一特征，对同一特征，不 同状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列，可能 会对应于许多种状态序列，特征序列与状态序列之间的对应关系是非确定的。这种模型对 于状态序列来说是隐的，故称为隐马尔可夫模型。 ( 4 ) 基于连接机制的面部特征提取方法，包括神经网络方法和弹性图匹配方法阱1 。神 经网络在人脸识别中的应用有很长的历史，它有其特殊的适合于人脸识别的优势，它不像 其它方法那样要用一套由人确定的规则，它能根据有代表性的样本自我学习，具有鲁棒性 和自适应性。此外，神经网络以并行方式处理信息，如果能用硬件实现，就能显著提高速 度。神经网络方法在人脸识别领域的应用范围很广，除了用于人脸识别外，还适用于性别 识别、种族识别等。 是否能快速、自动地对人脸主要特征进行识别，从而减少甚至最终完全消除手工指定 关键点的工作量，是这个系统是否具有可用性的关键。本文利用小波变换的多分辨性，对 人脸进行低维表达，然后在小波系数矩阵上直接进行特征的定位和提取呻1 。 ( 1 ) 小波变换的定义 定义1 ：设函数f ( x ) 具有有限能量，即f ( t ) l 2 ( r ) ，则一维连续小波变换定义为： w i ( a , b ) = 肌蹦，) d t = 肌) 击；( 学) d r 2 1 a o ，f ( f ) r ( 尺) 其中a 为尺度参数，b 为定位参数，函数织。( f ) 称为小波。如果。( f ) 是复变函数时，上式 采用复共轭函数纯。( f ) 。 小波缈( f ) 的选取应满足下面的条件： 其定义域是紧支撑的( c o m p a c ts u p p o r t ) 。体现了小波的“小 ，也就是在一个很小 的区间以外，函数为零。 有正负交替的“波动性”，也叫小波的容许条件( a d m i s s i b i l i t yc o n d i t i o n ) 。它的 平均值为零，即c 缈( f ) 出= 0 ，因此，小波是一个具有振荡性和迅速衰减的波。 小波变换具有以下特点： 有多分辨率，也叫多尺度的特点，可以实现由粗到精地逐步分析图像。 小波变换相当于对图像用一有基本频率特性的带通滤波器在不同的尺度下进行滤 波，也就是说允许特定频段的波通过，同时摒弃其它频段。 小波变换能够表征图像的局部特征的能力，有利于检测图像的局部变换和奇异点等。 因此，利用小波变换的“显微镜 作用对图像进行小波分析，以及小波变换的多分辨 率特性，实现快速有效的图像分析和理解。 1 2 对于所有的f ( x ) ，则够( f ) ( r ) 一维连续小波的逆变换为： f ( t ) = 石1e e 口一2 ( 口，6 ) ，。( f ) d a d b 2 2 其中： q = 洋缈 o 是常数，纺t ( f ) = a o 一；伊( 口o - k ) ，j ，k z ，则称 w f ( j ，后) 2s r f ( t ) q ，j 女( t ) d t 2 3 为( f ) 的离散小波变换。 ( 2 ) 多分辨率分析 在图像分析中，我们所关心的物体往往在不同的尺度上与周围物体有着明显的差别， 从而容易分辨出来。如在一幅图像上，如果对一栋房屋进行定位，我们可以降低分辨率， 直到房屋变成一个小区域的突变，这样就可以非常方便地定位房屋。但此时房屋上的窗户 就变得不可见了。如果我们现在关心窗户，则要提高分辨率，对图像进行搜索。因此多分 辨率分析( m u l t i - - r e s o l u t i o na n a l y s i s ，简称m r a ) ，也称多尺度分析，提供了一个分析 图像的快速有效的方法。 定义3 ：称满足下述条件的亭( r ) 中的一系列子空间溉 越及一个函数缈( f ) 为一个j 下交多分 辨率分析，记为( 忱j 眦，缈( f ) ) ： 巧巧小 j z 厂( f ) 巧f ( 2 t ) 巧一。 n 珍= o ，u 珍= 亭( r ) j e z ，z 伊( f ) v of i 呼o ( t 一后) 扭z 是v o 的标准正交基，称妒( f ) 是此多分辨率分析的尺度函数或父 函数。 由于匕巧1 ，记髟是巧在巧一中的正交补空间，即 巧一。= 巧+ ，上巧，_ ，z 。在实际中，任何函数厂( f ) r ( 尺) 实际上只有有限的细节， 即分辨率有限。因此可以假设f ( t ) ( v o 为有最精细的细节的函数空间) 。则 z o = k + = + + = = 巧+ + 一l + + 1 3 所以厂( f ) = 乃o ) + g s o ) + g ，一i o ) + + g i ( f ) 即： j 厂( f ) = 口肌力。( f ) + 4 。仍。( f ) 2 4 其中，缈【f ) 是小波函数，e f t ) 是尺度函数。 口= ( 厂( f ) ，咖。( f ) ) 尼z 喀，。= ( ( f ) ，仍。( f ) ) ，后z 在3 4 式中的第一项是函数的近似部分，第二项是函数的细节部 分。 现在考虑二维尺度函数可分离的情况：矽j ，) = 矽( x ) 矽( 少) ，其中矽( 石) 必是一个一维尺度 函数。若缈( x ) 是相应的小波。那么存在下面三个基本二维小波： 仍j ，) = 矽( x ) 缈( j ，) ，仍( 石，y ) = 妒( x ) 矽( y ) ，仍( x ，j ，) = 缈( x ) 缈( j ，) 对一个有限分辨率的二元函数 f ( x ，y ) ，可以作如下分解： f ( x ，y ) = f o ( x ，y ) = ：( 石，y ) + g l ( 石，y ) = 正( x ，j ，) + 9 2 ( 工，y ) + g l ( z ，y ) = = z ( x ，y ) + g f ( x ，y ) + g f l ( x ，y ) + g l ( x ，y ) 函数分解后也分为近似部分和细节部分。把二维离散正交小波用于解决二维多分辨率 问题。如一个二维函数f ( x ，y ) = r ( r 2 ) ，当分辨率为j 时，函数的近似部分可以通过内积 运算得到： 4 厂= ( ，纺“五y ) ) ，( 克，z ) z 2 j = ! ( 厂，办，。( x ) 办，渺) ) ，( 尼，) z 2 j z 2 5 q ，。厂= ! ( 厂，纺l 纠( x ，少) ) ，( 尼，) z 2 ，j z q ，：厂= 厂，纺 2 。，( x ，y ) ) ，( 尼，) z 2 ，j z q ，厂= ( 厂，纺3 。，( x ，y ) ) ，( 后，) z 2 ，j z 因此，一个二维函数的多分辨率分析可以表示为： f ( x , y ) = 4 f = 4 f + q ，。f + q ，2 厂+ d 1 3 厂 2 6 2 7 2 8 = 如l 七d 乙l l 七d 乙乞l 七d l 3 l 七d l l l + d l l d l 3 l 2 9 ：4 厂+ 主b ，f + q ，：f + q 。，厂】 j = l 1 4 因此，一幅图像的小波变换的多分辨率分解，就是主要计算每层分解中的四个系数矩 阵4 ，q ，q j ，q ，其中儿是上一级图像的近似，包含了图像中的大部分信息。q 一 是图像水平方向的信息，d ：是图像垂直方向的信息，见，是图像对角线方向的信息。 ( 3 ) 人脸图像的二维小波分解变换。i 人脸图像二维小波分解使用等价的滤波器实现。 本文使用d a u b e c h i e s 小波“”，基于离散滤波器迭代方法构造一系列紧支集的规范正 变小渡基。结合小波变换域的特点，在细节图( 高频区域) 进行积分投影变化，定位人脸 特征。图像积分投影定义：给定n m 图像k “，y ) ，分别定义水平函数h ( y ) 和垂直投影 函数v ( x ) ，图像区域为v - ( x ( x 抽，y l y y ：) 。 h ( y ) = s u m ( 州】k ( x ，x儿，儿 2l o v c x ) = s u m _ ，脚苒y xzlxj2 2 1 1 然后，在垂直细节图做积分投影，得到积分投影函数v ( x ) ，寻找v ( x ) 的两个极值点， 它们就是人脸的石右边界。运两个点的位置确定了一个垂直带区，即人脸外接带区，如图 23 所示。 图23 人脸外接带区的确定 在人脸外接带区范围内，对水平细节图做水平积分投影，得到t l ( y ) 。在眼睛、鼻子、 嘴的位置附近，小波系数的值比较大寻找h ( y ) 中的极值点，它们分别对应眉、眼睛、鼻 子和嘴的基线。对水平细节图中基线的区域分别进行垂直积分投影、检测结果、确定基线。 眼睛附近应得到两个突起的峰值，鼻子和嘴应在两眼的峰值中间有一个长的峰值。 最后，确定人脸的外接矩形。由于头发、 无法准确定位人脸上下基线。根据人脸形状， 下基线定义为与鼻子的基线等距。 通过以上操作，最终可获得人脸眼、鼻、 胡须等在多数方向上具有较高的小波系数， 确定人脸的长宽比大约为3 ：2 ，将人脸的上 嘴等的特征坐标，根据这些坐标可以进行特 定部分的初步定位。初步定位的结果见图2 4 。虽然用这种定位方法还不能准确判定关键 点的位置，但已经能够保证关键点落在人脸相应特征附近。 曰 一cj d ” r * t ! ， 2 3 1 立体视觉原理 圈24 利用小波分析进行定位 2 3 特征点的匹配 视觉魁人类获取外界信息的最直接、最普遍的方式。视觉的晟终目的是要刘场景做出 对观察者f j 意义的解释和描述。然后基于这些解释和描述并根据爿目环境和观察肯的意愿 制定出行山规划。讨算机视觉是指用计算机实现人类的视觉功能，对客观世界的三维场景 的感知、l 5 1 别和理解。计算机视觉是计算机科学和人工智能的个z e 耍分支。它的研究目 的和内容fr 两个j i i a f 一是用计算机实现人类视觉的部分功能； 垃由此帮助雕懈人类视 j 6 觉的机理。立体视觉是由计算机视觉中用两幅或多幅二维图像获取物体三维几何信息的方 法。 人脸照片是用摄像机采集的人脸在某个角度的投影成像，其只能反映人脸各个器宫的 在该投影面上二维位置分布信息，而我们要进行人脸三维建模则需要得到人脸的三维几何 信息。如何从人面的照片中获取人脸的三维几何信息则，这就需要我们先来理解一下立体 视觉原理。如图2 5 所示 j p z w ，气、 。，、 。，“ ：孓、 y 。7 ! 。x 。、 一 图2 5 用双摄像机观察空间点 对于空间物体表面的任意一点p ，如果用c 。摄像机观察，看到它在c 。上的图像点位于 p ，但我们无法从p 。知道p 的三维位置，只知道p 点位于0 ，p 。连线上的某一位置。但是如 果我们用c ，和c ：两个摄像机同时观察p 点，并且能够分别确定p 在c 。与c ：图像上的成像 点p 。与p ：，就可以唯一确定p 点的三维空间位置，其必然位于直线o i p 。与p 。的交点上。假 定我们在拍摄照片时，使摄像机c 。的光轴与物体坐标系的) ( o 轴重合，且摄像机c 。的坐标系 中的z 。轴与物体坐标系的z 。轴平行，摄像机c ：为摄像机c 。在物体坐标系下绕z 。轴旋转角 。后得到。设点p 在物体坐标系下的坐标为( x ，y ，z ) ，摄像机c 。的光心o ，与仉的距离为 d ，摄像机c 。与c ：的各项参数均相同且焦距为l ，像点p 。与p 。在各自摄像机图像平面上的 坐标分别为( u 。，v 。，) 和( u 。，v 。) 根据线性摄像机模型( 即针孔模型)