（计算机软件与理论专业论文）基于3d人脸重建的人脸识别技术应用研究.pdf

摘要 摘要 现代是信息技术、网络技术的时代，身份识别与验证已经成为现代社会日常 生活的基本活动之一。生物特征识别作为一种高新技术，由于其普遍性、唯一性、 稳定性、易操作性等优点，正在逐渐担负起这一重要的角色。它能够满足国家公 共安全、社会安全以及人机交互等方面的各类应用，生物特征识别被认为是未来 身份验证的发展方向。 用于人类身份识别的生物特征主要包括：人脸、指纹、虹膜、掌纹、耳廓形 状、d n a 等。其中人脸包含的视觉信息是体现一个人身份的最重要生物特征之 一，与其他生物特征相比，人脸包含的特征信息具有采集方便、内容丰富、适用 性广等优点。基于二维图像的人脸识别技术发展较早，但由于二维人脸图像不能 提供实现身份识别所需要的完整信息，所以其识别的能力和效果不能尽如人意， 目前已经取得的研究成果距离广泛的实际应用还有相当大的距离，因此需要借助 三维技术来提高人脸识别的效果。三维人脸包含了更多的生物特征信息，如人脸 形状信息。三维人脸识别还具有光照、姿态无关的优势，随着对三维人脸识别技 术研究的深入，三维人脸识别将会成为人脸识别的最终发展方向。 论文分析了当前在解决光照、姿态不变的人脸识别问题上，应用最为广泛的 三维形变模型。针对现有基于三维形变模型的人脸识别系统的不足，提出将聚类 技术应用到三维人脸建模过程中来提高建模的效果和效率，给出了三维人脸聚类 建模的实现框架。要实现三维人脸的聚类首先要定义三维人脸相似性，本文对三 维人脸相似性的定义进行了研究，提出了两种相似性定义办法，圆锥曲线相似性 和图像梯度相似性，并通过实验证明了定义的可行性与高效性。基于三维人脸聚 类建模提出了人脸识别系统的新框架，设计了与新系统对应的识别策略，解决了 二维图像与形变模型之间相似性的计算问题，并设计了针对性的实验验证了其计 算效率。最后总结了本文的研究工作，指出了下一步的研究方向。 关键词：三维形变模型，相似性传递，人脸聚类，人脸建模，人脸识别 a b s t r a c t a bs t r a c t p e r s o ni d e n t i f i c a t i o nh a sb e e no n eb a s i ca c t i v i t yo fd a i l yw o r ki nm o d e r nl i f e b e i n gan o v e lt e c h n o l o g y , b i o m e t r i ci sp h y i n ga l li m p o r t a n tr o l eb e c a u s eo fi t s p o p u l a r i t y , s t a b i l i t ya n dm a n i p u l a b i l i t y i tc a ns a t i s f yt h ed e m a n d so fn a t i o n a ls e c u r i t y , p u b l i cs a f e t ya n dh u m a nm a c h i n ei n t e r a c t i o n b i o m e t r i ch a sb e c o m eap o t e n t i a lt r e n d i ni d e n t i f i c a t i o na r e a b i o m e t r i ci n c l u d e sf a c e ，f m g e rp r i n t ，i r i s ，p a l ml i n e ，a u r i c l es h a p ea n dd n a e t c w h i c hu s e di np e r s o ni d e n t i f i c a t i o n e s p e c i a l l y , f a c ec o n t a i nt h em o s ti m p o r t a n t i n f o r m a t i o no fp e r s o ni d e n t i f i c a t i o n t h e s ei n f o r m a t i o nc a nb ee x t r a c t e dm o r ee a s i l y c o m p a r i n gt oo t h e ri n f o r m a t i o n t e c h n i q u e so ff a c er e c o g n i t i o nb a s e do nt w o d i m e n s i o ni m a g eh a v eal o n gr e s e a r c hh i s t o r y b u to n e2 di m a g ec a nn o to f f e re n o u g h i n f o r m a t i o nw h i c hi su s e dt op e r s o ni d e n t i f i c a t i o n , s ot h e r ei sad i s t a n c eb e t w e e n e x p e r i m e n t a lp e r f o r m a n c ea n dr e a ll i f e w ei n v e n tt e c h n i q u e so ft h r e ed i m e n s i o n st o e n h a n c et h ei d e n t i f i c a t i o np e r f o r m a n c e 3 df a c e sc o n t a i nm o r ef e a t u r ei n f o r m a t i o n , s u c ha ss h a p e f u r t h e r m o r e ，3 df a c er e c o g n i t i o nh a sa l la d v a n t a g eo fp o s ea n d i l l u m i n a t i o ni n v a r i a n t w i t ht h ed e v e l o p m e n to f3 dt e c h n i q u e s ，3 df a c er e c o g n i t i o n w i l lb et h et r e n do ff a c er e c o g n i t i o n t h i st h e s i sp r o v i d e dad e t a i l a n a l y s i so nt h e3 dm o r p h a b l em o d e lw h i c h s u c c e s s f u l l yr e s o l v e dt h ep r o b l e mo fp o s ea n di l l u m i n a t i o ni n v a r i a n t w ea p p l i e d c l u s t e ra n a l y s i st e c h n i q u e st o3 df a c em o d e l i n go v e r c o m i n gt h ed i s a d v a n t a g ei n c u r r e n tf a c er e c o g n i t i o ns y s t e mb a s e do n3 d m m t h e nw ep r o p o s e daf r a m e w o r kf o r c l u s t e rm o d e l i n go f3 df a c e 3 df a c es i m i l a r i t ys h o u l dc o m ef i r s ti nt h ef r a m e w o r k w er e a s o n a b l yd e f i n e d s i m i l a r i t yb y c o n i ca f f i n i t ya n dg r a d i e n t a f f i n i t y e x p e r i m e n t a lr e s u l t sr e v e a l e dt h ef e a s i b i l i t ya n de f f i c i e n c yo fo u rm e t h o d w ea l s o d e s i g n e dan o v e lr e c o g n i t i o ns t r a t e g yf o ro u rn e wf r a m e w o r ko ff a c er e c o g n i t i o n s y s t e mb a s e do nc l u s t e rm o d e l i n g c r a c k e dt h ep r o b l e mo fs i m i l a r i t yc a l c u l a t i o n b e t w e e n2 di m a g ea n dm o r p h a b l em o d e l ，a n d d e s i g n e dp o i n t e de x p e r i m e n tt o d e m o n s t r a t et h ee f f i c i e n c yo fo u rm e t h o d f i n a l l yw es u m m a r i z e do u rr e s e a r c hw o r k s i i a b s t r a c t a n dp r o v i d e dt h ef u t u r ew o r kd i r e c t i o n s k e y w o r d s ：3 dm o r p h a b l em o d e l , a f f i n i t yp r o p a g a t i o n , f a c ec l u s t e r , f a c em o d e l i n g ， f a c er e c o g n i t i o n i i i 独创性声明 独创性声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师的指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过的成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明，并表示了谢意。 本学位论文成果是本人在广东工业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 指导教师签字： 论文作者签字：京i 坛儿 2 0 0 8 年5 月3f 日 第一章绪论 第一章绪论 1 1 研究意义及背景 2 1 世纪是信息技术、网络技术的时代。实现网络信息化的一个必要条件就是 身份的数字化和隐蔽化。身份识别与验证已经成为现代社会日常生活中的基本活 动之一。尽管许多时候是无意识的，我们每天都要对其他人的身份做出判别，同 时，每个人也都要通过各种方式和手段证明自己的身份，比如每次回家都要使用 钥匙或密码打开自己的家门，在a t m 上办理金融业务时需要输入密码等等。目 前大多数情况下仍然依赖于传统的身份验证手段来完成这些身份识别过程，这些 手段包括身份证、学生证等各类证件，钥匙，密码等，然而这些传统的身份验证 方式有很多不足，比如不安全、不方便、不可靠等：证件、钥匙携带不便，易伪 造，易丢失；密码可能会被遗忘或被窃取。这些缺点使得它们已经越来越不能适 应社会发展的需求，我们需要更方便、更可靠、更安全的身份验证方式。同时， 国家公共安全、信息安全等关系国计民生的领域更需要高可靠性、高安全性的全 新身份验证技术，尤其是现在恐怖活动日益猖獗，安全问题更加成为人们关注的 热点问题。而生物特征识别作为一种高新技术，由于其独特的属性，正在逐渐担 负起这一重要的角色。与传统的身份验证方法相比，生物特征用于身份验证具有 普遍性、唯一性、稳定性、可采集性等优点【1 】。因而，人们期望能够满足从国 家公共安全，社会安全，到金融安全以及人机交互等方面的各类应用，生物特征 识别被认为是未来身份验证的发展方向。 生物特征识别( b i o m e t r i c s ) 是指利用人类本身所拥有的、能够唯一标识其 身份的生理特征或者行为特征进行身份验证的技术。生理特征通常要求至少在一 定程度上满足与生俱来、独一无二、长期不变等特性，即要满足普遍性、独特性 和稳定性，如人脸、指纹、虹膜、掌纹、耳廓形状、d n a 等；行为特征通常是 指人类个体的习惯行为，如步态、笔迹、声纹等。这些特征都在一定程度上是人 人拥有、人各不同、长期不变的，都能反映出个体不同特征，从而可以用来验证 个体身份的真伪。这些用于人类个体识别的生物特征中，人脸包含的视觉信息是 区别人与人之间差别的最重要生物特征之一，同其他生物特征相比，人脸特征信 广东： 业大学工学硕士学位论文 息具有采集方便、内容丰富、适用性广等优点，因此人脸识别技术的研究具有重 要的科学意义和广泛的应用前景。 自动人脸识别技术就是通过计算机提取和处理人脸的生物特征，并根据这些 特征进行身份验证的一种技术。由于人脸的可塑性和在成像过程中环境因素的影 响，现在人脸识别技术的研究热点主要集中在人脸位置、光照强度和方向、表情、 年龄影响等问题的解决上。目前基于二维图像的人脸识别技术较为成熟，但由于 一幅二维人脸图像并不能提供识别所需要的完整信息，所以其识别的能力和效果 很难有进一步的提高，目前已经取得的研究成果距离这些问题的解决还有相当大 的距离，因此二维人脸识别技术很难达到实用水平。2 0 0 2 年，国际权威人脸识 别评估机构f e r e t ( f a c i a lr e c o g n i t i o nt e c h n o l o g y ) 对现有的各种人脸识别算法进 行了f r v t ( f a c er e c o g n i t i o nv e n d o rt e s t ) 测试，使用比较成熟的识别算法对几十 万张人脸图像进行识别检索，结果表明，在正面和室内光照条件下识别率可达到 9 0 以上 2 】。但是非理想环境下的人脸识别效果还未能尽如人意，要开发出真正 鲁棒、实用的自动人脸识别系统还需要克服大量的困难。 三维人脸的研究始于生物医学成像和计算机动画。将三维的方法用于人脸自 动识别是近几年才开始的，目的是为了解决二维方法所无法根本解决的问题，或 者弥补二维方法的缺陷。目前，三维的人脸识别处于探索和发展时期，每年都有 一些新的方法和文献出现。三维模式包含了更多关于人脸的特征信息，而且三维 人脸识别具有位置无关的优势，虽然现在二维人脸识别暂时要比三维人脸识别效 果更好，但是随着对三维人脸识别技术研究的深入，三维人脸识别最终会成为人 脸识别的最终发展方向。 三维人脸识别虽然为人脸的自动识别带来了新的发展，但其本身的实现还很 不成熟。三维人脸识别存在以下的困难【3 】： 1 信息采集困难：用于三维识别的特征信息难于获取，或者用于三维识别 的信息往往是不完整的，这造成了识别技术本身不可纠正的缺陷。这个 问题的解决需要三维人脸重建技术的发展与完善，这也是本文研究的重 点问题之一。 2 海量存储和计算的困难：由于三维识别的数据容量和计算量十分巨大， 这就对计算机的硬件提出了更高要求。这个随着硬件技术的提高和识别 算法的改进是可以缓和或接受的。 2 第一+ 章绪论 3 对人的生理认识的不足：对于生物生理学和生物心理学等相关学科的有 限的认知水平制约了计算机的算法实现，比如：对于肌肉的运动理论和 表情的形成等问题，不能提供给计算机足够的专家支持。计算机只具备 计算功能而没有人的经验和知识。这也是所有生物信息识别技术普遍存 在的困难。 4 受到环境条件的约束：影响二维识别的某些不利因素在三维识别上同样 存在。比如：光线的强弱，方向，遮盖，阴影，背景等。三维建模技术 和识别算法的改进和发展可以降低或避免这些不利因素造成的影响。 5 实现方式和手段的不足：传统的识别方法不能满足三维识别的要求，必 须改进或发现新的方法。这也是三维人脸识别系统研究的重点问题。 从以上分析可知，第一个和最后一个问题将是本文进行三维人脸识别研究的 重点问题。本课题的研究是从三维人脸重建技术着手进行的，它解决了三维人脸 识别中信息来源方面的困难，并直接影响着三维人脸识别系统的性能和效率。三 维人脸识别是极具挑战性的课题，如能在技术上有所突破，将具有很强的创新性 和应用价值 3 】。 1 2 人脸识别的发展现状 早期的人脸识别研究主要有两个方向：一是提取人脸几何特征的方法【1 3 】。 包括人脸部件的点间距离和比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等 部位所构成的二维拓扑结构；二是模板匹配的方法，主要是利用计算模板和图像 灰度的相关性来实现识别功能。实验证明，基于模板匹配的方法要优于几何特征 的方法。 到9 0 年代初，t u r k 、p e n t l a n d 等人提出的特征脸方法( e i g e n f a c e ) 4 ，被认 为是人脸识别中里程碑式的工作，该方法通过主成分分析来进行特征提取，从某 种意义上讲，该方法提取到了有利于分类的特征，克服了一些因数变化对识别结 果的影响，使其成为人脸识别领域中最具代表性和影响力的方法之一。但是 e i g e n f a c e 方法本身也有一些不足，首先e i g e n f a c e 的表示能力受训练的样本集影 响，当样本人脸集不能够很好的覆盖测试人脸时，该方法的性能就会急剧下降。 近年来，随着研究的不断深入，又涌现出许多新的人脸识别方法。一是弹性 图匹配方法 5 。该方法通过小波变换特征来描述人脸的局部信息，并利用人脸网 广东工业大学工学硕士学位论文 格的不断变形，在图像上搜索特征点。由于它采用变形匹配方式，能在一定程度 上容忍姿态的变化，而且由于小波变换的特性，能容忍一定的光照变化。二是以 e i g e n f a c e 为基础的线性判别特征脸( f i s h e r f a c e ) 6 方法，该方法是一种较好的特 征脸改进方法。f i s h e r 线性判别原则是模式识别中的经典方法，f i s h e r 的判别准 则是：非同类样本尽可能远，同类样本尽可能近，实验证明【6 】，f i s h e r 脸能压制 图像之间的与识别无关的差异。此外还有一些有代表性的方法，代数特征奇 异值分解( s v d ) 方法：将图像看作一个数值矩阵，对其进行s v d 分解，得到 的奇异值作为人脸图像的描述。由于奇异值向量与图像有一一对应关系而且具有 较好的稳定性和各种变换的不变性，文献 7 】认为代数特征反映了图像的本质， 可以用作人脸的描述；神经网络方法：人工神经网络【8 】( a n n ) 被应用于入脸 图像的特征提取中来，但是到目前为止，a n n 所提取的特征的物理意义是不明 确的。3 d 人脸模型( 3 df a c em o d e l ) 方法：从知识表达完备性的角度来看，3 d 人 脸表面模型【9 由于不仅反映了人脸图像平面内的结构信息，同时还保存了人脸 的深度方面的结构信息，因此3 d 人脸模型是人脸的较完备描述。但特定人的3 d 人脸模型的自动生成是需要深入研究的一个问题。 除上述介绍的方法之外，还有其它好的人脸识别算法，基于统计的主动形状 模型( a c t i v es h a p em o d e l ，a s m ) b0 】和主动表观模型( a c t i v ea p p e a r a n c e m o d e l s ，a a m ) 1 1 、基于支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 1 2 的方法等， 这些方法也都有很好的效果。总的来说，统计方法一直是主流的研究方法，这类 方法充分利用通过训练样本获得的人脸先验知识，并把人脸变化约束在样本人脸 中，为人脸表示提供了一种可行渠道。 生物特征识别技术作为关系国家安全的关键技术，引起了广泛的社会关注， 国内外的许多大学、研究机构和商业公司投入了大量研究力量。人脸的自动识别 作为生物特征识别的重要组成部分，一直是模式识别和机器视觉领域最富挑战性 的研究课题之一，人脸识别的研究始于上世纪6 0 年代后期，4 0 年来取得了长足 的发展，尤其是近几年更成为一个国际上研究的热点课题。除了传统的图像处理 ( i c i p ) 、计算机视觉( i c c v ) 、模式识别( i c p r , c v p r ) 等国际知名会议，近年又出 现了有关生物特征识别技术的专业学术会议，如：a f g r ( a u t o m a t i cf a c ea n d g e s t u r er e c o g n i t i o n ) 、a v b p a ( a u d i oa n dv i d e o b a s e dp e r s o na u t h e n t i c a t i o n ) ， i c b a ( i n t e r n a t i o n a lc o n f e r e n c eo nb i o m e t r i ca u t h e n t i c a t i o n ) 等。 第一章绪论 国外研究机构从事自动人脸识别的研究起步较早，美国的卡内基梅隆大学、 纽约州大学、密西根州大学、加利福尼亚大学、马里兰州大学、圣母玛利亚大学、 耶鲁大学，英国的约克大学、剑桥大学，瑞士的巴塞尔大学，日本的东京大学， 西班牙的l a sp a l m a s 大学，以色列的以色列科技大学、希伯来大学，土耳其的 b 0 0 a z i 9 iu n i v e r s i t y ，芬兰的赫尔辛基大学，他们取得的一些成果在某些方面达 到了世界人脸识别技术发展的前沿，在美国、日本等发达国家已经有实际的应用 产品问世。现在面临国际恐怖主义的威胁，美国加大了人像识别技术的研究力度， 正在建立重点犯罪恐怖破坏分子的人脸数据库。美国加利福尼亚州的a 4 v i s i o n 公司利用三维人脸识别技术为人脸识别提供完整可靠的解决方案【1 3 】。2 0 0 1 年同 本东芝旗下的e s o l u t i o n 公司推出“面孔验证安全系统【f a c e - p a s s ) ，最多可容 纳1 0 0 0 人登录 3 】。 国内关于人脸识别技术的研究虽然起步较晚，但近年来发展迅速。中国科学 院自动化所、浙江大学、哈尔滨工业大学、吉林大学、上海交通大学、北京工业 大学、大连理工大学、南京理工大学等高校和一些高新技术企业走在了国内研究 的前列。目前国内对于人像识别理论和方法的研究水平已经达到或接近国际水 平，但对于人像识别应用产品的开发研制却相对滞后。国内可以查询到的生产人 像识别应用产品的企业，主要有四川成都银晨公司和吉林长春当代公司，主要应 用于安全防范、访问控制、治安管理和信息安全等领域。另外，清华同方和东大 阿尔派也都分别推出了用于犯罪嫌疑人计算机画像的“人像合成系统”。【3 】 1 3 本文的主要工作 本文研究的主要工作包括： 1 深入研究和分析当前的基于三维形变模型的人脸识别系统，结合聚类思 想及相关技术，提出了一个基于三维人脸聚类建模的人脸识别系统的解 决方案； 2 针对三维人脸聚类，提出了两种三维人脸相似性定义办法：圆锥曲线相 似性和图像梯度相似性，并通过实验证明了定义的可行性与高效性； 3 基于三维人脸聚类建模提出了人脸识别系统的新框架，设计了与新系统 对应的识别策略，避免新系统人脸与不同模型匹配结果无法比较的问题； 4 新人脸识别策略需要解决二维图像与形变模型之间相似性的计算问题， 广东工业大学工学硕士学位论文 本文采用平均脸来完成计算； 5 设计针对性的实验证明实现的可行性与先进性。 1 4 论文的组织结构 第一章为绪论，介绍论文的研究背景及研究的意义、并对论文的主要研究工 作和组织结构做了说明。 第二章首先简单介绍了三维人脸建模技术的基本概念，对三维人脸建模的主 要处理过程进行了详细讨论，包括人脸三维数据的获取、标准三维人脸建模和特 定三维人脸建模三部分，并对其中的一些关键技术及其发展现状进行了总结。 第三章介绍了三维形变模型的主要框架，以及处理过程中使用的重点技术。 最后简要分析了三维形变模型的应用及不足，并提出了相应的解决方案。 第四章是三维人脸聚类及建模。首先介绍了聚类思想的一些基本概念及其主 要的聚类方法，包括系统聚类分析、动态聚类分析和模糊聚类等。重点介绍目前 应用比较成功的一种聚类分析技术相似性传递聚类技术，并对此技术的处理 过程和技术内容进行了详细的阐述。提出了三维人脸聚类建模的框架结构，并对 三维人脸的聚类进行深入研究，这罩给出了两种三维人脸相似性的定义方法，最 后通过实验及比较验证了这些方法的先进性。 第五章是基于聚类建模的人脸识别。首先提出了基于聚类建模人脸识别系统 的实现框架，并对框架中的关键模块相似性计算进行了详细研究。然后结合 聚类建模的特点，提出了新系统识别策略的改进。最后通过实验与传统形变模型 方法进行了比较，证明了新系统在计算代价上的明显优势。 最后是结论，对本文所做的工作进行总结，并指出下一步研究的方向。 6 第二章三维人脸建模技术 第二章三维人脸建模技术 三维建模是计算机视觉和计算机图形学领域中的一个基本问题，而三维人脸 建模又是进行三维人脸识别的必要步骤之一，第一个人脸模型是p a r k e 在上世纪 7 0 年代建立的【1 4 】。从上世纪9 0 年代以来，计算机视觉和计算机图形学技术获 得迅猛地发展，为三维人脸建模提供了技术支持，许多学者开始尝试建立真实感 三维人脸模型，并取得了显著的成绩。 三维人脸建模始终是一个极具挑战性的难题，从几何角度来看，人脸具有极 度复杂的几何形状和表面特征，必须通过足够的技术手段来描述这些特征。纹理 信息的表示、表情动作的仿真、光照的处理、头发的模拟等都是极具挑战性的问 题。三维建模虽然如此困难，但是许多研究者还是始终在坚持不懈地进行着这方 面的探索，主要原因有二个方面：首先是三维人脸模型有着极为广泛的应用。目 前，三维人脸模型已经初步应用到视频电话、视频会议、影视制作、电脑游戏、 人脸识别等多个领域，而且随着各方面技术的发展，三维人脸模型将会在各方面 得到更深更广的应用。第二是现在有许多解决不了或者不能b 很z 好解决的问题。在 人脸识别方面，表情变化问题始终是一个阻碍提高识别率的关键因素，如果在三 维模型上人工合成表情动作，充分利用三维信息进行识别，在理论上会提高识别 率和识别的鲁棒性。 根据数据的来源可以将人脸建模算法大致分为以下两类： 第一类是首先通过特定的仪器例如螺旋c t 机、激光扫描仪等采集入脸的三 维数据，然后采用相应的处理算法进行处理，得到重建模型。这样得到的模型比 较精确和逼真，能满足某些特定场合的需求，但是三维扫描仪的价格十分昂贵， 且扫描效率较低，限制了该方法的应用范围。 第二类是采用立体对应算法从二维图像中提取出人脸的三维结构信息，该方 法需要结合人脸的几何特征、人体测量学、计算机视觉等多方面的知识来合成三 维人脸模型。该方法不需要特殊的硬件设备，完全可由软件处理完成，所以其成 本较低，在对人脸模型精度要求不高的情况下，应用的比较广泛。但由于人脸部 位包含大量的低纹理和相似纹理区域，要得到准确的三维深度图是十分困难的， 而且校准摄像机拍摄立体对应图像也是一项复杂的工作。目前该方法处于研究阶 段，还没有成型的产品出现。 广东工业大学：i ：学硕十学位论文 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定三 维人脸建模三部分组成。三维数据的获取属于计算机视觉领域，近年来随着计算 机视觉技术的发展，研究者们发展了一些适用于三维建模的数据获取方法。标准 人脸模型的建立是图形学、人体测量学和统计学等相结合的产物，可以描述人类 共有的结构特征和行为特征。特定人脸建模可以根据三维数据直接建立可视化模 型，也可以通过对标准模型的形变进行建模，后者是研究的主流。在建模过程中， 研究者们尽量使处理过程自动化，但至今完全自动化的建模方法还少有报道。图 2 1 显示了三维人脸建模的总体框架。 图2 1 三维人脸建模 ， f i g u r e2 13 df a c em o d e l i n g 2 1 人脸三维数据的获取 人脸三维数据的获取是建立特定人脸模型的基础，它的发展与计算机视觉技 术密切相关。随着计算机视觉技术的进一步发展，出现了一些获取三维数据的工 具和一些新的方法。这些工具和方法主要可以归纳为两个方向【1 5 】：一是采用较 复杂的硬件设备如三维扫描仪，辅以较简单的算法来建立模型；二是采用普通摄 相机采集二维图像，采用较复杂的处理算法来建立模型。 1 、基于硬件设备的数据获取 三维扫描仪是获取距离数据的一个准确有效的设备，可以同时获得大量的三 维空间数据和纹理信息。目前，比较常用的三维扫描仪是基于激光扫描的三维数 据获取装置，其中最著名的是c y b e r w a r e 公司的三维扫描仪。世界上许多研究小 组已经开始应用此装置进行科学研究。l e e 等人 1 6 】利用此种装置获取了完全的 三维面部信息；v o l k e rb l a n z 和t h o m a sv e t t e r 等人【1 7 】建立了一个包括三维距离 8 第二章三维人脸建模技术 信息和表面纹理信息的头部数据库。激光扫描装置获取的数据精度高速度快，但 是对计算机和处理设备的性能要求较高。 1 9 8 7 年，b o y e r 等人【1 8 】提出了一种结构光( s t r u c t u r e dl 远h t ) 的三维数据获取 方法，取得了较好的结果。结构光是一种基于主动视觉的处理方法，它由一个激 光源和一个摄像机构成，激光源发出的光束经过一个旋转的平面镜发射后照射到 物体上，在物体上形成一个亮条，从而摄像机采集的图像上有一对应亮条，这样 可以有效地解决双目视觉中对应点的匹配问题。基于主动视觉的三维数据获取方 法其本质，是借助于外在光源减少立体视觉的处理难度。b e u m i e r 等人【1 9 】进一 步发展了结构光思想，建立了一个基于结构光的三维数据获取系统，并利用此方 法采集了一个包含1 2 0 人的三维人脸数据库，此数据库考虑了被测对象的姿态、 轻微面部表情及附属品如眼镜等的影响。他们以此数据库为基础发展了基于曲面 匹配和轮廓线匹配的三维人脸识别方法【1 9 】。基于结构光的数据获取方法速度较 快，而且摄像机拍摄一次图像就可以得到物体的整个三维信息。投影仪的光照克 服了环境光的影响，因此受光线环境的影响不明显。同时，这种系统利用投影仪 的打开和关闭可以分别获得三维空间数据和纹理信息。这个系统的缺点是体积庞 大，获取的三维数据精度和范围都有限。 2 、基于二维图像的数据获取 直接获取人脸的三维信息最大的缺点是成本太高，因此研究者们开始了另一 个挑战性的课题，即如何在自然环境下利用普通摄像机获取的两幅或多幅图像来 获取立体信息。此种思路需要的硬件设备比较普通，但是要求处理算法有足够高 的鲁棒性和实用性。现有的成果尚不成熟，多处于理论研究的探索阶段，还没有 达到广泛应用的水平。 根据摄像机个数的不同可以将这些算法分成两个类：基于单摄像机和基于两 个或多个摄像机的方法。基于单摄像机的方法是在摄像机的参数和运动参数均未 知的情况下，利用手提摄像机对同一物体采集不同角度的多幅图像或图像序列， 然后利用图像处理技术确定多幅图像之间的匹配关系。由于匹配点的自动检测方 法还不成熟，较普遍的做法是手动确定几个初始点，利用初始点确定摄像机参数。 基于多摄像机的方法由于摄像机的位置参数可以确定，所以处理起来比较容易。 加拿大p o i n t g r e y 研究机构已经推出了基于两个摄像机镜头的b i n o c u l a r 立体视觉 系统 2 0 】。 9 广东工业大学工学硕士学位论文 基于二维图像的数据获取方法最大的优点是成本较低，而且对硬件设备的要 求也不是很高。但用这种方法获取的三维数据般噪声都比较大，需要进一步处 理以达到应用目的。 2 2 标准三维人脸建模 建立三维人脸标准模型的理论依据是人脸具有基本相同的面部结构和相似 的面部动作。标准人脸模型含有丰富的先验知识，可以描述人脸的共有特征。根 据已有的研究，一个优秀的标准人脸模型应具备以下几个特点 1 5 】： 1 参数化，利用具体人脸的信息，调节参数能够描述出个性特征，从而形 成个性人脸模型； 2 形象化，能准确地描述人脸的基本形状，并能做一些表情动作； 3 简单化，模型顶点越多描述人脸的精度就越高，但是给模型的拟合和后 期处理增加了困难。但是顶点太少又不能精确地描述人脸的细节，因此， 需要在模型的复杂性和精度之间作一个折衷。 现在应用较为普遍的人脸模型有网格模型【2 1 】和统计模型【1 7 】。 l 、网格模型( m e s hm o d e l ) 网格模型是应用比较广泛的人脸三维模型，网格模型的一般数学描述是 m = v e r t i c e s ，f a c e s ，a t t r i b u t e 。其中，v e r t i c e s 表示网格节点集合，f a c e s 表示组 成面片的节点编号集合，a t t r i b u t e 表示节点或面片的属性，如颜色、法线等，可 以根据实际情况确定其属性。网格节点在一些文献中被称为控制点或特征点等。 它们的分布往往是不均匀的，关键部位如眼睛、嘴角等处节点密集一些，平滑部 位如额头、脸颊等处的节点稀疏一些。节点越多，三角形平面越多，表述的头部 模型越逼真，但是同时也增加了模型的复杂度，给后期处理添加了困难。在这个 方面研究者努力的方向是利用最少的节点和三角面片来建立逼真的头部模型。根 据面片的形状，可以把模型分为三角面片模型和四边形面片模型两种。比较流行 的是基于三角面片的网格模型。 网格模型的建立比较简单，而且有许多专业的三维处理软件可以辅助实现， 如m a y a ，3 d m a x 、l i g h t w a v e 。因此，这种模型为新的算法提供了一种方便的 实验平台，而且可以结合插值技术或肌肉模型形成动画。目前许多应用都是使用 这种模型。 1 0 第二章三维入脸建模技术 2 、统计模型( s t a t i s t i c a lm o d e l ) 利用统计学习方法从大量采样样本中得出人脸共有特征，建立统计意义上的 三维人脸模型，应用比较广泛的是德国学者v o l k e rb l a n z 和t h o m a s v e t t e r 等人 1 7 】 于1 9 9 9 年提出的三维形变模型( 3 dm o r p h a b l em o d e l ) 。关于三维形变模型的详细 内容将在下一章介绍。建立统计模型通常比较繁琐，需要大量的学习数据，而且 三维数据的预处理过程非常复杂。建成后的模型具有统计意义，适当地调节参数， 可使脸部表达合理优化。 2 3 特定三维人脸建模 三维人脸标准模型描述的是人脸的共有特征，但是人脸除了公共特征外，还 有许多个性特征，比如轮廓的形状、眼睛的大小、嘴巴的形状等，正因为有了这 些个性特征，才可以判别一个人的身份。特定人脸建模是利用具体人脸信息建立 个性化人脸模型，用以描述不同人的个性特征。可以根据己知具体人脸的三维信 息直接建模，也可以通过调整人脸标准模型的参数形成特定人脸模型。前者往往 借助插值、曲面拟合等技术达到建模目的，通常对数据的要求比较苛刻，比如要 求三维数据分布均匀且噪声较小等，建立的模型缺乏结构信息。后者将标准人脸 模型作为先验知识，通过刚体变换、形变等手段与具体的人脸数据拟合达到形状 匹配，并且利用图像合成的方法得到人脸的纹理信息，从而建立逼真的三维人脸 特定模型。建成后的人脸模型可以应用到动画制作、生物特征识别、运动跟踪等 许多方面。 个性人脸模型的建立除了从标准人脸模型出发以外，还可以从其他模型出发 进行特定人脸建模，近年来出现了由球体、柱体等变形到人脸的报道。但是这类 建模方法最大的缺陷是很难恢复面部的真实形状信息。 纹理合成是特定三维人脸建模中另一个非常重要的问题，准确的面部纹理可 以掩盖形状建模上的一些缺陷，给人以真实逼真的感觉。纹理合成的一般做法是 利用多幅图像合成纹理信息，这便涉及到图像拼接问题及形状模型与纹理坐标的 对应问题，这些都是当前计算机图形学领域和计算机视觉领域热门的研究方向。 广东工业大学工学硕士学位论文 2 4 本章小结 本章首先简单介绍了三维人脸建模技术的基本概念，对三维人脸建模的主要 处理过程进行了详细讨论，包括人脸三维数据的获取、标准三维人脸建模和特定 三维人脸建模三部分，并对其中的一些关键技术及其发展现状进行了总结。 1 2 第三章三维形变模型 第三章三维形变模型 三维形变模型( 3 dm o r p h a b l em o d e l , 3 d m m ) 是迄今为止最成功的用于姿态 和光照不变的人脸识别的人脸重建办法，该方法最大的优势是可以由一副人脸图 像重建三维人脸，并且第一次实现了人脸建模的自动化。该方法最早是v o l k e r b l a n z 和t h o m a sv e t t e r 等人提出【1 7 】，并在【2 2 】中进行了完善，该方法一经提出 就得到了国际社会广泛的关注，随后的几年中，在来自世晃各国专家学者的努力 推动下不断的发展和完善 2 3 ，2 4 。j e n n i f e rh u a n g 等人 2 5 】提出了一种新的姿态、 光照无关的人脸识别方法，把基于组件与3 d m m 两种技术结合起来，取得了很 好的效果。随后j e n n i f e rh u a n g 继续对两种技术的结合进行改进 2 6 1 ，对1 2 0 0 张人脸图像进行识别达到了9 0 的准确率。s a m ir o m d h a n i 等人【2 7 】对形变模型 的匹配进行了深入研究，提出了一种高效的匹配算法i c i a 。n a t h a nf a g g i a n 等 人 2 8 】利用形变模型解决了动态表面模型( a c t i v ea p p e a r a n c em o d e l s ) 手动标定 对应点不够准确的问题。c u r z i ob a s s o 等人 2 9 提出了利用隐式函数提高3 d m m 模型匹配效果的办法，并在【3 0 】中将3 d m m 应用到人脸表情的处理中。这些都 是对3 d m m 有利的改进。 三维形变模型方法基于合成分析( a n a l y s i s b y s y n t h e s i s ) 框架。其处理的基 本过程如图3 1 所示。首先使用三维激光扫描仪获取一定数量( 2 0 0 个左右) 的 三维原型人脸，然后对这些原型人脸进行预处理工作，包括去除头发和耳朵，通 过光流( o p t i c a lf l o w ) 算法完全自动的计算不同人脸原型之间像素级的对应等， 为模型的建立作好准备；第二步：通过( p c a ) 主成分分析对人脸的3 d 形状、 纹理以及表面反射率分别进行统计建模，生成了包含形状、纹理统计参数、光照、 位置、表情、年龄等因素影响参数在内的形变模型( m o r p h a b l em o d e l ) ；第三步： 利用形变模型对输入的任意特定人脸图像进行人脸合成( s y n t h e s i s ) ，实现了特 定三维人脸的真实感重建，人脸合成较突出的一个应用就是人脸动画合成。最后 利用形变模型对输入的任意特定人脸图像进行模型匹配( f i t t i n g ) ，得到特定人 脸图像的统计模型参数，并利用这些统计模型参数进行更高层次的工作，比如分 类识别等。 广东工业大学工学硕士学位论文 图3 1 三维形变模型 f i g u r e3 13 dm o r p h a b l em o d e l 国内较早关注三维形变模型的研究机构有北京工业大学、吉林大学、中科院 自动化所等，他们针对三维形变模型的改进及应用进行了一定深度的研究，并取 得了一定的成果【3 l ，3 2 ，3 3 。胡永利等人 3 4 提出了一种网格重采样的方法实现 了三维人脸的精确对应，并在模型匹配过程中采用了多光源光照模型提高匹配效 果。王成章等人 3 5 将三维形变模型应用到真实感三维人脸动画的合成。柴秀娟 等人 3 6 为了避免3 d 形变模型中过分复杂的参数优化过程采用了一个稀疏的关 键特征点统计模型，同时采用了更为方便、实用的球面谐波商图像方法来处理光 照估计和光照影响消除问题，这些措施极大地降低了算法的计算复杂度，使得整 个处理过程在p 43 2 gc p u 的机器上于1 秒内完成。 3 1 三维人脸库 通过激光扫描仪c y b e r w a r e t m 获取2 0 0 个原型人脸( 包括1 0 0 个男性和1 0 0 个女性) ，三维人脸数据是使用圆柱表示的人脸结构及纹理数据。扫描半径r ( o ， 1 4 第三章三维形变模型 取p ，h ) 、g ( 秒，h ) 、b ( e ，h ) 各占8 位。一个原型人脸的数据表示为： 3 2 三维形变模型的建- 6 - s = 蓦蒌j ：j 蒌丁= 善差? l 乏 c 3 2 ， 1 5 广东工业大学工学硕士学位论文 够教( s h a p e 纹理( t e x t u r e ) 图3 2 三维人脸的形状及纹理 f i g u r e3 2s h a p e a n dt e x t u r eo f3 df a c e s 三维形变模型的基本原理就是：在这个包含m 张人脸样本的人脸空间上， 将所有对应每张人脸的形状向量s 和纹理向量t 进行线性组合，最后生成一个 形变模型： mm 氐。= a i sr m 。= 匆z