（信号与信息处理专业论文）基于三维人脸模型的多姿态人脸识别.pdf

摘要 人脸识别是当前生物特征识别的热点问题之一，在信息安全、视频监控、视频 跟踪等领域有着广泛的应用前景。目前，人脸识别方法主要集中在二维图像方面， 但由于受到光照、姿态、表情变化等因素的影响，其识别的准确度受到很大的限制。 到目前为止，建立一个鲁棒的人脸识别系统仍然是一个很困难的问题。三维人脸模 型具有比二维人脸图像更丰富的信息，利用三维人脸模型是解决目前问题的有效方 法之一三维入脸识别的核心部分是建立对应的三维入脸模型，而如何获得形状模 型和精确的纹理映射是构建模型的关键。这个问题在人脸重建领域尚未得到很好解 决。 本文深入研究了基于图像和模型的人脸模型重建方法，提出了全新的重建思路； 探讨了如何利用模型解决二维人脸识别中的姿态问题；提出了一种利用三维人脸模 型的多姿态二维人脸识别方法。具体研究内容包括： ( 1 ) 采用径向基函数与b 样条曲线相结合的方法，进行三维人脸建模 采用立体视觉重建三维特征点，通过人脸正侧面图像特征点的分层、分部位的 径向基函数重构一般人脸模型，得到部位轮廓特征明显的三维特定人脸模型，利用 b 样条曲线进行三维人脸曲面重构：然后运用拉普拉斯金字塔法得到近似的人脸全 视角纹理图；再将近似人脸全视角纹理图映射到三维特定人脸模型，从而得到三维 特定真实感的人脸模型。 ( 2 ) 通过计算人脸旋转的三个自由度，估计出人脸的姿态参数 提出了一种无需任何附加设备，在单目摄影环境下，根据摄影几何理论，配合 人面貌形态特征，仅使用一张单目环境下拍摄的图像，对人脸姿态参数进行近似估 计。通过分别计算人脸旋转的三个自由度，可以快速估计出人脸的姿态。经过实验 证明，估计出的结果值与真实姿态十分近似，是一种有效的人脸姿态参数估计方法。 ( 3 ) 应用三维人脸模型，解决了姿态对人脸识别的影响 首先，通过正侧面图像，采用b 样条曲线与径向基函数相结合的方法进行三维 人脸重建，保存三维人脸模型做为库存图像；然后通过计算待匹配人脸图像的三个 自由度，估计出入脸的姿态参数；再结合待匹配人脸图像的姿态参数与三维人脸模 型库，生成与待匹配图像相同姿态的二维人脸图像；最后，此新生成的二维图像与 待匹配图像进行比较，得出识别结果。 关键词：人脸识别；三维人脸重建；径向基函数；b 样条曲线；姿态参数估计；射 影几何；特征点提取 a bs t r a c t f a c er e c o g n i t i o ni so n eo ft h em o s tp o p u l a rr e s e a r c hf i e l d sa tp r e s e n t ，a n di sw i d e l ya p p l i e di n m a n ya r e a s ，s u c h i n f o r m a t i o ns e c u r i t y , v i d e os u r v e i l l a n c ea n dv i d e ot r a c k i n g r e c e n t l y , m o s t r e s e a r c h e sc o n c e r n i n gf a c er e c o g n i t i o na r eb a s e do n2 - df a c ei m a g e s ，b u tb e c a u s eo ft h ei n f l u e n c eo f i l l u m i n a t i o n ，p o s ea n de x p r e s s i o nv a r i a t i o n , t h ei m p r o v e m e n to fr e c o g n i t i o nr a t e o f2 - df a c e r e c o g n i t i o ni sg r e a t l yi m p e d e d t h i sm a k e si ts t i l ld i f f i c u l tt ob u i l dar o b u s tf a c er e c o g n i t i o ns y s t e m 1 巾t ot h ep r e s e n td a y 3 - df a c em o d e lp o s s e s s e sm o r er i c hi n f o r m a t i o nt h a n2 - df a c ei m a g e s t h e r e f o r e ，i m p l e m e n t i n gf a c er e c o g n i t i o no n3 - df a c em o d e li so n eo ft h ee f f e c t i v ea p p r o a c h e st o t a c k l et h ep r e s e n tp r o b l e m s t h ek e yp a r to f3 - df a c er e c o g n i t i o ni sb u i l d i n gt h ec o r r e s p o n d i n g m o d e lw i t ht h ea c q u i s i t i o no ft h es h a p em o d e la n da c c u r a t et e x t u r em a p p i n g 弱t h ec o r ei s s u e s t h i s p r o b l e mi ss t i l ln o tr e s o l v e di d e a l l yi nf a c er e c o n s t r u c t i o na r e an o w i nt h i st h e s i s ，w es t u d yt h ei m a g e - b a s e da n dm o d e l b a s e dh u m a nf a c er e c o n s t r u c t i o nm e t h o d s ， c r e a t ean e wm e t h o df o rr e c o n s t r u c t i o n ，a n dd i s c u s sa b o u tt h ea p p l i c a t i o n so ft h em o d e li ns e v e r a l h o tf i e l d s s e v e r a ls p e c i f i cr e s e a r c hp o i n t sa r es h o w e da sf o l l o w s ( 1 ) r b f sa n dbs p l i n em e t h o da r eu s e dt o3 df a c ec o n s t r u c t i o n s t e r e o s c o p i cs e n s eo fv i s i o n i su s e dt or e c o n s t r u c t3 - df e a t u r ep o i n t s t h e nm u l t i l a y e ra n d m u l t i - r e g i o nr b f ( r a d i a lb a s i sf u n c t i o n ) b a s e d o nf e a t u r ep o i n t so ff r o n t a la n dp r o f i l ef a c ei m a g ei s a d o p t e df o rr e c o n s t r u c t i n gt h eg e n e r i cf a c em o d e lt og e t3 - ds p e c i f i cf a c em o d e l w i t hv i s i b l eo r g a n c h a r a c t e r s m o r e o v e r , bs p l i n ei su s e di n3 - df a c ec u r v er e c o n s t r u c t i o n t h e nt h en e j u f a c eg l o b a l t e x t u r ei sm a p p e di n t ot h er e c o n s t r u c t e ds p e c i f i cf a c em o d e la n dt h e3 - dr e a l i s t i cs p e c i f i ch u m a n f a c em o d e li so b t a i n e d ( 2 ) f a c ep o s ep a r a m e t e ri se s t i m a t e db yc a l c u l a t i n gt h et h r e ef r e e d y so ff a c i a lr o t a t i o n o nt h eb a s i so ft r a d i t i o n a lg e o m e t r ym o d e l ，a c c o r d i n gt ot h et h e o r yo fi m a g eg r a p h yg e o m e t r y , a n e wm e t h o dw h i c hd o e s n tn e e da n yo t h e rs p e c i a ld e v i c ei sp r e s e n t e d ，w h i c hu s e st h ef e a t u r e so f p e r s o n a lf a c i a lc o n f i g u r a t i o na n do n l yo u ei m a g et oe s t i m a t ef a c ep o s ep a r a m e t e r f a c ep o s e p a r a m e t e rc a nb ee s t i m a t e dr a p i d l yw h e nt h r e ef r e e d y so f f a c i a lr o t a t i o na r ec a l c u l a t e ds e p a r a t e l y ( 3 ) 3 df a c em o d e li su s e dt om u l t i - p r o f i l ef a c er e c o g n i t i o n a tf i r s t ，r b f sa n dbc u r v em e t h o di sc o m b i n e dt oc a r r yo n3 - df a c er e c o n s t r u c t i o n , t h e nf a c ep o s e p a r a m e t e rc a nb ee s t i m a t e dr a p i d l yw h e nt h r e ef r e e d y so ff a c i a lr o t a t i o na r ec a l c u l a t e ds e p a r a t e l y ； m l a t e r , t h ef a c ei m a g e sp o s i t i o np a r a m e t e ra n dt h e3 - df a c em o d e li sc o m b i n e dt op r o d u c en e wf a c e i m a g e sw h i c hh a v et h es a m ep o s i t i o np a r a m e t e r sw i t ht h em a t c h i n go n e ；a tl a s t ，2 df a c er e c o g n i t i o n i sd o n ew i t ht h es a m ef a c ep o s i t i o n s k e yw o r d ：f a c er e c o g n i t i o n ；3 - df a c er e c o n s t r u c t i o n ；s t e r e o s c o p i cs e n s eo fv i s i o n ；bs p l i n e ；r b f s ； p o s ep a r a m e t e re s t i m a t i o n ，p r o g e c t i v eg e o m e t r y ；f e a t u r ep o i n t se x t r a c t i o n i v 本人声明 我声明，本论文及其研究工作由本人在导师指导下独立完成，完成论文所用的 一切资料均已在参考文献中列出。 2 0 0 8 年4 月1 5 、1 斌弋 朱球 耗 泞 作 签 第一章绪论 1 1 研究意义及课题来源 人脸是人体上最具表达力的一部分，在人类的交流中占据了举足轻重的地位 从人脸上我们不但可以识别出人的身份，还可以观察出他的喜怒哀乐，推断出他的 个性等。 自古以来，人们对人脸的复制一直抱着浓厚的兴趣。早期常采用的方法包括手 工绘画、泥塑、雕刻等，随着科学技术的发展，出现了图像和电影，但其只限于反 映人脸在某个角度的二维信息，无法看到具有真实感的三维人脸。自从7 0 年代以来， 三维人脸建模和动画研究得到了广泛关注，许多研究者先后提出了不同的人脸建模 和动画方法，大量的创造性工作促使该领域研究的不断深入。 人脸建模和人脸动画是目前计算机图形学、计算机视觉领域最根本、最困难的 问题之一，同时该问题也是包括生理学、心理学、物理学等多个领域的跨学科问题。 该问题的研究和解决可以为复杂对像的建模提供借鉴，对于类似的科学问题具有重 要的促进意义。实际上，自p a r k e 口2 0 世纪7 0 年代在计算机上建立了第一个人脸模 型起，人脸的建模和动画就一直是计算机图形学、计算机视觉、模式识别等领域最 为活跃的研究热点。 人脸建模具有广阔的实际应用。在人脸识别系统、医学、电影广告、计算机动 画、游戏、视频会议及可视电话、人机交互等许多领域都具有广阔的应用前景。下 面是人脸建模的一些典型应用。 医学 计算机图形图像在医学中有广泛的应用，人脸建模和动画技术可以进行头颅手 术和人脸外科手术的虚拟操作。通过对图像重建进行虚拟手术仿真，然后做出详细 准确的手术方案，可以提高手术的准确性，减少手术的风险。另外，如果使用人脸 建模方法对当前比较流行的人脸美容和面部整形过程进行模拟和仿真，可以受到较 好的效果。 影视广告 三维虚拟人物在影视广告中的应用越来越普遍。人物面部动画是影视处理中最 繁琐的工作，能否得到最佳的绘制效果是影响影视制作的一个关键因素，但一般情 况下只能获得近似的模拟。通过图像创造的模型是对直接创建的模型有更好的参考， 其制造过程体现了面部虚拟处理技术的魅力。 视频会议和可视电话 可视电话要求语音和用户的表情、相貌逼真地展现给远方的用户，现有的电话 通信线路受到宽带的限制，不可能同时传送语音和图像两方面的数据。将人脸模型 应用进来，用户脸部的静态特征在初始化时传输一次，而在对话过程中，只传输动 态特征编码和语音数据，这样可以大大减少线路中的数据流量。与此原理类似，利 用三维入脸模型的可视化远程会议近来也有尝试。一般视频会议或可视电话系统包 括编码端和解码端。编码端的主要功能是分析视频中人脸的外观信息和面部运动信 息，并将这些信息进行编码，通过信道传送到解码端。解码端根据编码端传送来的 人脸外观和运动信息合成和恢复人脸视频图像。基于模型的人脸编码系统是实现实 时、低比特率可视应用的可行方案。 虚拟现实 虚拟现实是类似自然人的交互方式，即通过语音、姿势、表情、动作等多个模 式、多个通道进行自然的交互。与传统的鼠标、键盘和图形接口相比，这种自然交 互方式具有很大的优势，而人脸作为信息和情感表达最重要的载体，是这种智能交 互方式的重要组成部分。人脸建模研究为这种交互的情感分析和表达提供了可行性。 实际上近年来的研究工作已经在这方面取得了一定进展，例如t a l k i n gh e a d 口1 、多 模态信息处理h 一1 以及情感感知和情感计算方面的研究阳1 。虽然这种新一代的交互方 式目前还存在许多需要解决的问题，但从长远看这种交互方式是一种必然的趋势。 总之，作为当前计算机视觉和计算机图形学领域的研究热点，人脸建模研究， 不但具有理论研究意义，同时也具有极大的实际应用价值h 1 本课题来源于广东省自然科学基金项目“多生物特征融合与识别模型与算法研 究 ( 项目编号：0 7 0 1 0 8 6 9 ) 、北京大学视觉与听觉信息处理国家重点实验室开放课 题基金项目“生物特征融合与识别的应用研究 ( 项目编号：0 5 0 5 ) 、浙江大学c a d & c g 国家重点实验室开放课题基金项目“多生物特征识别算法研究 ( 项目编号：a 0 7 0 3 ) 、 江门市科技攻关项目( 江财企 2 0 0 4 1 5 9 号) 、以及“广东省千百十工程基金力项 目、广东省自然科学基金项目“生物特征识别在安全防范身份认证中的应用一( 项目 编号：0 3 2 3 5 6 ) 。 2 1 2 国内外研究现状 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定人脸 建模三部分组成。三维数据的获取属于计算机视觉领域，近年来随着计算机视觉技 术的发展，研究者们发展了一些适用于三维建模的数据获取方法。标准人脸模型的 建立是图形学、人体测量学和统计学等相结合的产物，可以描述人类共有的结构特 征和行为特征。特定人脸建模可以根据三维数据直接建立可视化模型，也可以通过 对标准模型的形变进行建模，后者是研究的主流。从标准模型到个性模型的建模方 法按照数据的来源主要分为两类：基于三维散乱点数据的建模方法和基于图像( 单 幅、多幅、序列) 的建模方法。在建模过程中，研究者们尽量使处理过程自动化， 但至今完全自动化的建模方法还少有报道。 近年来，人脸建模领域中的研究热点主要集中在以下几个方面： ( 1 ) 三维面部数据的获取 数据是分析问题的基础，但是到目前为止，实用、便捷、高精度的三维数据获 取装置还未见报道，这方面依然是国内外学者研究的热点。 ( 2 ) 结构信息的恢复 获取的三维点数据，只是分散的点，没有结构信息，为了使三维模型具有生机， 必须恢复其结构信息。一般做法是通过变形已有的标准模型，以形成具体模型。因 此，如何调整标准模型到个性模型也是一个令人关注的课题。 ( 3 ) 表情的合成 模拟人脸逼真的表情是三维建模的一个主要目的。通过建立肌肉模型、协调各 部分的运动，达到逼真动画效果，是许多研究者追求的目标。 ( 4 ) 纹理合成 从多幅图像出发，合成逼真面部纹理，给人更好的视觉体验，这是三维建模必 须面对的问题。 自从p a r k e l 9 7 2 年首次使用计算机方法表示人脸，人脸建模和动画得到了广泛关 注。经过3 0 多年的发展，许多研究者先后在人脸建模和动画方面进行了创造性工作， 提出了不同的人脸建模方法，同时人脸建模的研究重点也由最初研究如何使用计算 机表示人脸的外观，转移和集中到人脸生理规律的计算机模拟和入脸建模和动画上。 3 人脸建模和动画包括：人脸建模、人脸绘制和人脸动画。人脸建模大体可分为四类： 参数模型、生理肌肉模型、基于图像的视觉模型以及基于人脸库的组合模型。下面 以人脸建模的发展过程和人脸建模采用的方法为线索，对现有的人脸建模方法进行 综述，对典型的人脸建模方法进行分析和评述。 1 2 1 人脸参数模型 这是最早出现的基于计算机合成的人脸模型阳3 。p a r k e 最初使用一种非常初级的 多边形来表示人的头部结构，并实现了第一个参数化的人脸模型阳1 ，如图卜1 所示。 人脸参数模型的基本思想是通过参数来描述不同的人脸特征和人脸表情变化，因此， 人脸参数模型一般包括两类参数，即人脸构造参数和人脸动画参数。 图卜1p a r k e 的人脸模型 人脸构造参数用来描述特定人脸的几何特征，包括脸型的整体大小以及五官的 具体大小和形状，用于产生各种各样的个性化人脸形状。人脸动画参数描述面部器 官的运动情况，譬如：眨眼、眉毛的抬起、下巴的拱起等动作，用于产生人脸的各 种表情动画。 参数模型为使用计算机表示、控制和描述复杂人脸对象提供了一种可行的途径， 因此，自p a r k e 以后出现了不同的人脸动画系统n 他1 。理想的参数模型可以方便地 建立人脸模型，对人脸模型进行面部表情参数化，并通过参数控制可以生成人脸动 画。 虽然参数模型通过选择适当的参数可以使人脸模型变形产生许多面部表情，但 面部表情的变化通常需要很多的参数来控制，直接控制大量的参数给生成面部动画 带来不便。另外，使用简单的表面几何形状来模拟面部表情，而没有从生理角度对 人脸面部表情的机制进行考虑，必然降低了人脸模型和动画。因此，人脸参数模型 还需要进一步的探讨和研究，一方面要寻找有效的参数控制方法。例如，将人脸参 4 五星太堂砸堂焦j 金塞 数进行层次化，用大量的低级参数来控制人脸几何模型，并从低级参数中抽像出高 级参数来控制人脸表情，这样就形成一个从高级抽像参数到低级动画参数的参数层 次结构，另一方面要提高人脸模型的真实感。 1 2 2 生理肌肉模型 根据生理规律，人脸的表观、表情和动作是由面部和头部的骨骼、肌肉、神经、 血管、结缔组织、皮肤和头发等部件共同表达的结果因此，要建立理想的人脸模 型必须研究人脸的生理结构。虽然目前还没有用于计算机人脸动画的完整详细的生 理模型，但是已经出现了一些人脸表情和动画的描述方案和一些简化的生理模拟模 型。最为常见的是用于描述人脸表情的人脸动作编码系统( f a c s t h ef a c i a la c t i o n c o d i n gs y s t e m ) 和模拟人脸生理运动的各种肌肉模型。 ( 1 ) 人脸动作编码系统 人脸动作编码系统( f a c s ) 是e k m a n 等人通过分析人脸的生理结构得到的关于4 面部肌肉、下巴和舌头等动作的描述系统n 叼。f a c s 定义了4 4 个能够独立运动的面 部动作单元( a u ) ，这些单元与产生面部表情变化的肌肉相关联，通过不同动作单元 的组合可以产生不同的脸部表情。f a c s 中给出了6 种基本表情( 怒、厌、怕、喜、 哀、惊) 的单元组合。f a c s 系统最初并不是为计算机人脸动画而设计的，然而它 现在已经是计算机人脸表情和动画表示的最重要方法之一。 ( 2 ) 肌肉模型 基于人脸动作编码系统( f a c s ) 的思想，p l a t t 和b a d l e r 提出了最原始的人脸 肌肉模型。该模型中，人脸由人脸皮肤表面顶点相互弹性地连接，并且通过具有弹 性和收缩性的3 8 块肌肉连接到基本骨骼上。通过施加肌肉力来控制和变形弹性皮肤 网格得到各种人脸表情和动作。 基于p l a t t 的人脸肌肉模型，w a t e r s 等人1 9 8 7 年提出了向量肌肉模型h 钔。该 模型使用多边形网格来表示人脸，并用肌肉向量来控制其变形。这里的肌肉被定义 为向量的形式，包含起点和插入到人脸网格中的控制顶点。不同肌肉的运动仅限于 一个局部的变形区域，这个变形范围是按c o s 函数因子定义的一个圆锥体形状。同 时，w a t e r s 将嘴巴等器官的变化用一个圆环形的轮匝肌来模拟，轮匝肌围绕一个椭 球中心收缩。通过基于向量肌肉和轮匝肌的收缩变化来控制人脸网格上的顶点，可 五邑友堂亟堂僮i 金塞 以产生生气、害怕、惊奇、高兴等表情动画。图卜2 显示了一个嵌于人脸网格的肌 肉模型的实例。在向量肌肉模型中，如何按生理学的规律正确放置肌肉向量是一项 非常困难的工作，目前还没有一个有效的方法将肌肉向量放置到非特定的人脸网格 中去，且不正确的肌肉向量定位，会出现不自然的表情动画，甚至出现不可能发生 的表情动画。因此，实现向量肌肉模型需要大量反复实验才能得到比较好的效果。 图卜2w a t e r s 的人脸模型 为了更加真实地模拟人脸表情变化，尤其是局部细微的动态变化，以人脸的解 剖学为基础，t e r z o p o u l o s 和w a t e r s 提出了一种多层弹性网格肌肉模型”。该模型 包括三层结构：皮肤、脂肪组织和附于骨头的肌肉层。通过具有弹性的弹簧元素连 接每个网格节点和每一层结构。肌肉拉力通过网格系统的传播产生脸部表情。这个 模型具有较好的真实感，但用三维网格的传播来模拟人脸变形需大量的计算。在保 持视觉真实性的前提下，可以使用一个简化的网格系统来减少计算量。 类似的人脸层状模型由l e e 等人在文献 1 6 中给出，该模型同样由三层结构组 成，具有非线性变形属性的生物组织层、皮肤下的肌肉层和一个在肌肉层下面的不 可穿透的头盖骨层。该模型非常逼真，但需大量的计算和手工调节才能生成一张特 定的人脸。 ( 3 ) 伪肌肉模型 通过模拟人脸的生理变化，人脸肌肉模型可以产生人脸表情动画，但是要实现 人脸肌肉模型，需要大量细致的手工调节工作，而且调节结果只能针对特定人脸。 为了克服这些缺点，出现了人脸建模的伪肌肉方法。 伪肌肉模型不涉及人脸内部复杂的生理结构，但使用类似于肌肉的方式对人脸 网格实施变形，而且变形只发生在局部网格上。 一种伪肌肉模型是自由变形模型。自由变形( f f d ) 通过控制点的操作对物体对 五邑盔堂亟堂焦监塞 像进行变形“”。概括地说，就是将一个可变形物体嵌于一个假想的由控制点组成的 三维网格弹性控制盒中。当挤压、弯曲和扭曲控制盒时，内嵌的物体也相应地变形。 f f d 能变形多种曲面体素，包括多边形、二次曲面、参数化模型、隐式曲面和实体 模型。c o q u i l l a r t 提出的拓广自由变形( e f f d ) 将控制盒由立方体扩展为圆柱等形 状，增加了f f d 的适用范围“。有理自由变形( r f f d ) 则对每一个控制点增加了一 个权重因子，即在变形时增加了一个自由度，从而可通过改变权重因子而不仅仅是 改变控制点的位置来进行变形。k a l r a 等人使用有理自由变形来模拟肌肉变形的局部 视觉效果“”1 。对于脸部皮肤的肌肉运动，按生理学特征在人脸表面上定义了肌肉 运动的局部区域。在局部变形区域上定义长方体作为变形控制体，通过交互方式设 置控制点及其权重来实现拉伸、挤压、收缩等变形，从而实现皮肤的变形。使用线 性插值来决定位于相邻区域边界点的变形。由于整体变形的计算缓慢，一般定义较 大的区域，并在每个控制点上设置一个弹性系数来控制变形。与w a t e r s 肌肉模型相 比，操作控制点位置和权重比操作一定影响区域内的肌肉向量要简单。 使用自由变形模型f f d ( e f f d ，r f f d ) 的一个主要优点是将变形控制形式从 曲面的直接控制转移到不再依赖于曲面本身的控制形式”。但自由变形模型f f d ( e f f d ，r f f d ) 并不提供肌肉的精确模拟和皮肤的行为，从而不能对皱纹等皮肤 细节变化进行模拟，而且f f d ( e f f d ，r f f d ) 仅仅实现曲面的表面变形，对于人 脸体积随肌肉变化的一致性也不能很好地模拟。 图卜3 自由变形模型 m a g n e n a tt h a l m a n n 等人开发了一个肌肉模型”“，其中，控制参数是“抽像肌 肉运动( a m a ) ”过程，这些a m a 过程与f a c s 运动单元有一定的相似性，但又不 完全相同。这些a m a 过程并不独立，而且运动的顺序非常重要。该模型允许通过 控制低级a m a 过程和高级“表情”参数来进行面部控制。 ( 4 ) 样条肌肉模型 虽然多边形人脸模型被广泛使用，但它不能充分表现人脸的光滑性和柔和性， 真量太堂亟堂僮j 金室 固定拓扑结构的多边形模型难以在所有区域保持光滑，尤其是平坦的棉片不经过刨 分就不光滑。样条通常具有c 2 连续性，因此，一个自然的表示方法就是使用样条曲 面来表示人脸模型，即样条肌肉模型。通过样条曲面的控制参数不但可以实现面部 曲面的变化，而且可以通过少量的参数控制实现棉布肌肉变化产生的表情变化。但 这需要深入研究样条曲面控制参数与人脸生理变化之间的关系。另外，由于样条曲 面的光滑性，对于人脸局部和细微变化，例如皱纹，样条肌肉模型的模拟和表示效 果不理想瞳3 嵋引。 总之，人脸肌肉模型通过研究人脸生理运动变化规律，使用不同的计算模型将 人脸行为内在的变形机制引入人脸的动画和模拟中，由肌肉变形可产生非常丰富的 人脸表情和动作。自8 0 年代初开始肌肉模型得到了广泛的研究，并成功应用于实际 的人脸动画系统中。例如p i x a r 的b i l l y 模型，即“t i nt o y 动画中的小孩角色就是 采用肌肉模型生成的动化形象啪1 。但肌肉模型的缺点是实现起来相对比较复杂，需 要大量计算，模型的特定化也需要大量的交互工作。另外，早期的肌肉模型缺乏真 实感，尤其模型人脸的纹理不理想，即使后来使用了图像合成方法进行了改进，但 效果并不是很好。 1 2 3 基于图像的建模 由于参数模型和肌肉模型建模过程都比较复杂，9 0 年代以后建立人脸模型是人 脸建模方面的主要研究目标。基于图像的视觉建模是这阶段出现的最具代表性的 人脸建模方法。该方法基于多视点多摄像入脸图像或视频序列，通过视觉方法来计 算和恢复人脸特征点的三维信息，并修改一般三维人脸模型来建立特定三维人脸。 与参数模型和肌肉模型建模相比，该入脸模型建模过程相对简单，成本较低，并且 效果好。 通过视觉方法建立三维人脸模型的一般过程为：首先，通过摄像设备获取不同 视点的特定人脸图像，建立一个一般三维人脸网格模型；然后从不同视点的人脸图 像提取人脸的特征，即在不同人脸图像上标注对应的人脸特征点，如眼角、嘴角以 及鼻尖等部位；接下来使用视觉方法计算人脸特征点的三维空问点位置，并用于变 形一般三维人脸网格模型，从而建立特定人脸的几何模型；最后，使用多视点人脸 图像合成特定人脸的纹理图像并进行纹理映射，从而建立特定人的三维人脸模型。 五邑盔芏亟生僮监塞 由于基于视觉的人脸建模方法，建模过程相对简单，人脸数据容易获得，效果 好，因此该方法是目前研究最多，应用最为广泛的人脸建模方法。下面是该方法的 一些典型研究工作。 j i n h ol e e 等人。卜2 ”用偏侧面的多角度图像，基于边缘轮廓并且将其扩展为对称 图像，应用一些变形和对称纹理粘贴方法获得对应的人脸模型，图卜4 表示了他们 的重建结果。 口f 匿 图卜4 用多角度图像重建三维模型 f p i g h i n 在文献 3 0 中提出用5 幅不同方向的人脸图像重建三维人脸模型。该方 法首先在人脸图像上标定人脸的主要器官，如眼睛、鼻子、嘴巴和耳朵上的特征点， 基于这些特征点的二维数据，采用一种改进的摄像机标定方法一迭代晟小平方法， 自动恢复出摄像机的参数以及特征点的三维坐标。然后通过交互方式获取人脸的细 节特征点，再用恢复得到的摄像机参数计算细节特征点的三维坐标。最后采用径向 基插值方法变形一般人脸模型，生成特定人的三维人脸模型。 w o n - s o o kl e e “一1 等人提出了一种由正面和侧面人脸图像重构三维人脸的方 法。该方法通过构造正面和侧面特征曲线的结构化s n a k e 模型来定位人脸的特征点， 并实现了人脸的快速建模技术，如图1 5 所示。 r _ l 工口皿。i j 图卜5w o n s o o kl e e 的三维人脸建模过程 b r i a ng u e b t e r 。”预先用激光扫描仪获取特定人的三维人脸网格模型，然后在特 定人脸上贴上1 8 2 个六种不同颜色的荧光点，从这1 8 2 个荧光点上获取不同表情时 人脸的特征点位置，进而修改人脸模型获得各种表情下精确的人脸网格模型数据。 查邑盔芏塑堂焦丝塞 从相应表情的纹理数据中除去荧光点得到纹理图像，并进行纹理映射，最终得到不 1 司表情下的三维人脸。这种方法的缺点是需要激光扫描仪和多个摄像机，但是其优 点是能够获得非常逼真的效果。 zcl i u 和zy z h a n g 。5 删提出了一种从视频图像进行快速三维人脸建模和动画 的方法。浚方法在三维人脸建模时手工标定了5 个显著特征点( 两个眼角点、一个鼻 尖点和两个嘴角点) ，这五个显著特征点并不用于特征点的定位，而是用于确定人脸 区域以获取人脸区域的颜色模型。特定人的人脸特征是通过检测预先定义的面部角 点来进行对应计算的。 d a v i d eo n o f r i o 等人”用三个相机标定的方法获得原始图像来重建模型。通过 标定正面图像上的一些特征点，对左右两幅图像进行配准，应用能量最小化的相关 算法获得对应的人脸模型。采集设备与创建过程如图1 6 所示，这也是比较常见的 三幅图像创建模型的方法。 h o r a s ehsl p 等人”提出了一种通过f 面和侧面人脸图像自动生成特定人三维 人脸模型的方法。该方法在提出人脸的外轮廓特征点时，采用了一种局部最大曲率 跟踪算法，能自动提取正面人脸和侧面人脸图像的外轮廓以及关键特征点信息( 如 眼睛、嘴巴和耳朵) 。这种方法可以实现三维虚拟人脸合成的自动化，但它的自动化 只能对某类人脸图像比较适合，而且由于特征点选取固守规则，当特定的人脸与 一般人脸网格模型差别很大时，很难将一般人脸网格模型进行变形。 图卜6d a v i d e0 n o f r i o 等人的人脸模型采集设备及重建过程 t a k a a k i a k i m o t o 等人m 1 也提出过类似的方法，通过正面和侧面人脸图像自动生 成特定人三维虚拟人脸，不过t a k a a k ia k i m o t o 是通过构造人脸外轮廓动态模板进 行匹配得到人脸的形状信息。 虽然基于视觉的人脸建模方法有很多优点，但是该方法的主要困难是人脸的特 鼙 量工量。 隧 征检测问题，即如何从人脸图像或视频序列中准确获取用于模型变形的人脸特征点 位置，该问题也是计算机视觉中的难点问题目前只能通过交互方式来获取，要获 取理想的建模效果，需在人脸图像上标定相当数量的特征点，因此需要大量的手工 交互工作，这也是该模型的最大缺点。 1 2 4 基于人脸库的形变模型 v e t t e r 等人1 9 9 9 年提出了基于形变模型的人脸建模方法，该方法第一次实现了 人脸建模的完全自动化，并且可以由一幅人脸图像重建特定人的三维人脸模型。 由于该模型是建立在像素级对应的三维原型人脸数据库上，且在模型中考虑了人脸 姿态、光照等因素，因此该模型可以生成高度真实感的三维人脸。另外，通过分析 原型人脸的表情变化，该模型还可产生人脸表情和动画。 形变模型的基础是线性组合的思想，即一类对像可以用该类对像基底的线性组 合来表示。u l l m a n 等人h 订和s h a s h u a h 幻的研究指出，在正投影和不考虑自遮挡的条 件下，利用物体不同视角的三幅图像的线性组合就能合成任意视角的图像，这是线 性组合在图像表示方面最初的尝试。线性组合思想在图像分析和合成方面的研究和 应用，导致了形变模型的出现。虽然后来对形变模型进行了不断的改进，但其基本 思想没有变，即使用一类图像中的若干典型图像作为原型，并张成该类图像的一个 子空间，使用该子空间基底的线性组合可以表示或近似表示该类图像的特定实例。 最初形变模型是在二维图像的表示方面取得成功。实际上，形变模型的名称来 源于图像处理中典型的图像生成方法m o r p h i n g 算法。c h o i 和p o g g i o 等人h 朝提出的 图像表示形式，将一幅图像分解并表示为几何形状矢量和与形状无关的纹理矢量， 使得一类图像可以通过这些矢量进行线性组合运算。p o g g i o 和v e t t e r 提出的线性对 像类( 1 i n e a ro b j e c tc l a s s e s ) 概念h 钔，给出了三维对像满足线性对像类的充分条件， 并论证了人脸对像在近似条件下是线性对像类。另外，图像对应技术的不断发展， 如基于关键特征点的图像对应技术( 图像w a r p i n g ) ，基于光流算法的稠密像素对应 技术和基于三维模型的对应方法，使图像间的像素对应可以得到比较好的对应效果。 有了图像问的像素对应，图像间的线性运算就可以通过其对应像素的线性运算实现。 虽然使用二维图像形变模型可以较好地表示同一类对像，但对于复杂的三维对 像或者有大范围姿态变化的人脸对像，其表示效果并不是很好。于是，基于二维形 变模型的思想，v e t t e r 和b l a n z 提出了三维人脸形变模型，该模型使用激光扫描仪获 得三维原型人脸，并使用原型人脸建立人脸组合模型，将模型匹配n - ：维人脸图像 可实现人脸的三维重建。同二维形变模型相比，三维模型在表示人脸图像时，考虑 了人脸的姿态和光照，所以三维模型对人脸图像的表示具有更好效果。 阍 t - _ _ _ _ - - _ _ - _ _ _ _ 一坦圈 图卜7g e t t e r 和b l a n z 的人脸重建框架 形变模型可实现三维人脸的自动建模，具有较好的真实感，但作为一种新的人 脸建模方法，该方法目前还存在许多有待改进的地方。首先，建立形变模型的基础 是三维人脸数据基于特征的稠密对应，目前这种对应是通过人脸柱面展开图像的光 流计算来实现，但光流算法对于差异较大的人脸图像计算效果并不理想。其次，在 模型匹配时仅考虑了单一的光照条件，模型不适合复杂光照条件下的人脸重建。第 三，模型匹配的计算过于复杂，计算量很大，这也是该模型不能实际应用的主要原 因。最后，关于这种新的人脸建模方法，模型的应用研究还不是很多，因此需要对 模型的应用进行广泛深入的研究。 国内近几年在人脸动画方面也有长足的发展。哈尔滨工业大学晏洁等人在人脸 建模、人脸表情、唇动、纹理映射等方面做出了一些成绩h 6 - 4 引。他们研究了人在发 音时的唇动模型以及韵母口型库的生成技术，使每一个汉字的发音都对应着相应的 口型。在人脸模型的特定化方面，提出交互式编辑算法，通过模拟人脸皮肤的粘弹 特性，允许模拟者在交互方式下将一般人脸几何模型和预先提供的特定人脸多方向 图像之间进行特征校准，进而得到精确反映特定人脸正侧面集合特征的特定人脸三 维模型。还提出了曲面磨光以及多方向纹理映射算法，从多个方向的特定人脸图像 上选择纹理信息映射到三维模型上以减少纹理的扭曲变形，从而使合成的结果更加 真实和自然。 浙江大学的梅丽等人用半自动方法来达到特征匹配目的，用手工编辑建立的二 1 2 曩 蠹，争-e 五邑太堂亟堂僮i 金室 维对应网格，得到初始人脸外形：采用鲁棒的最大似然立体匹配算法自动匹配出稠 密的对应点，重建出表示人脸的散乱三维数据点团；最后利用这些稠密的三维数据 点去迭代矫正和自适应细分手工编辑的三维初始人脸网格得到结果模型该算法无 需昂贵的设备，又有较强的真实感效果呻1 。在人脸动画方面他们用多分辨率样条技 术产生无缝的人脸纹理镶嵌图，纹理映射后生成高度真实感的能以任意视线方向观 察的特定人脸；进而通过组合特定人脸肌肉向量的运动、变形模型组合出特定人脸 的各种表情。该方法能在廉价的p c 平台上快速、简单的实现，而且具有一定的真实 感5 。 北京工业大学尹宝才等人采用自动调整与人机交互相结合的方法实现特定人脸 模型匹配。在调整完模型形状之后，应用三个方向的面部图像进行纹理映射生成不 同视点方向的面部图像。应用合成面部图像与输入面部图像最佳匹配的方法进行输 入面部图像的头部转动方向估计嗽1 。通过对面部曲面结构和面部各器官分布结构的 分析，建立了面部曲面的几何模型和模拟人脸面部曲面的分片二次直积形b e z i e r 参数曲面计算格式。应用此模型和算法，依据面部表情和汉语口型特征，实现基本 表情和口型的选型哺羽。此外，还研究了空间网格的径向基函数( r a d i a lb a s i s f u n c t i o n ) 插值方法嫡耵。 同时，姜大龙等人也对基于已有模型的变形方法作了一些研究。他们使用一幅 正面图像作为出发点，标记一些主要特征，对二维和三维库应用循环迭代的方法获 得接近的特征点，最后运用弹性变形算法获得较好的形状模型。 通过上面的研究现状分析可以看出，经过几十年的努力，虽然人脸建模和动画 方面的研究取得了很大进展，但每一种人脸建模方法还或多或少地存在一些缺点和 问题，需要进一步的研究和完善，尤其是人脸建模的真实感、人脸建模的自动化、 人脸模型的特定化、人脸模型的动画驱动等都是需要深入研究和探讨的问题。 1 3 本文的研究内容 本文采用立体视觉原理，通过人脸正侧面图像提取三维人脸特征点，通过分层、 分部位的径向基函数修改一般人脸模型，得到部位轮廓特征明显的三维特定人脸几 何模型，再利用b 样条f h l 线进行处理，使其三维人脸曲面更加光滑逼真。 通过径向基函数与b 样条曲线相结合的方法，进行三维人脸建模；这样既解决 1 3 了径向基函数在线条光滑度上的缺陷( 出现菱角) ，又避免了b 样条曲线对人脸整体 框架上的无力，取长补短，从而重建出更具真实感的三维人脸几何模型；然后运用 改进的拉普拉斯金字塔法得到近似的人脸全视角纹理图；再将近似人脸全视角纹理 图映射到三维特定人脸模型，从而得到三维特定真实感的人脸模型。 提出了一种无需任何附加设备，在单目摄影环境下，根据摄影几何理论，配合 人面貌形态特征，仅使用一张单目环境下拍摄的图像，对人脸姿态参数进行近似估 计的方法。通过分别计算人脸旋转的三个自由度，可以快速估计出人脸的姿态。经 过实验证明，估计出的结果值与真实姿态十分近似，是一种有效的人脸姿态参数估 计方法。 使用姿态参数估计与三维人脸模型相结合的方法，进行人脸识别。首先通过正 侧面图像，采用b 样条曲线与径向基函数相结合的方法进行三维人脸重建，然后保 存三维人脸模型做为库存图像；再应用计算待匹配人脸图像的三个自由度的方法， 估计出人脸的姿态参数；然后结合待匹配人脸图像的姿态参数与三维人脸模型库， 生成与待匹配图像相同姿态的二维人脸图像；