（计算机应用技术专业论文）基于几何信息的三维人脸识别研究.pdf

兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 摘要 经过科研人员近三十年不懈的努力，基于图像的二维人脸识别已经在一定约 束条件下取得了较高的识别率。但是由于二维图像信息的局限性，二维人脸识别 无法解决姿势、光照和表情问题。随着三维数据获取技术的不断成熟，三维人脸 识别逐渐成为研究热点，科研人员希望其能解决二维人脸识别的瓶颈问题。 本文主要研究了利用面部几何信息对三维人脸进行识别，文章主要做了如下 四个方面的工作： 1 系统的对现有三维人脸识别算法进行了分类和总结 对现有三维人脸识别方法进行了综述，将现有三维人脸识别方法分为基于点云 或网格的识别、基于深度图的识别和基于特征集的识别。并对多模态人脸识别和 有表情下的三维人脸识别进行了讨论。 2 研究了利用面部几何信息进行三维人脸识别 本文提出使用三维面部特征点之间距离和面部特征点之间距离的比值来描述 人脸的几何信息，进行三维人脸的识别。 3 提出一种由粗到细的三维人脸识别算法 借鉴图像搜索的思路，本文提出一种“由粗到精 的三维人脸识别方法。该 方法首先利用粗略的面部几何信息对数据库( g a l l e r y ) 中人脸进行粗步筛选，随 后用最近迭代点法对筛选得的“候选脸 进行精确匹配。 4 设计了多个实验验证我们提出的方法 针对本文提出的方法，分别以b o s p h o r u s 三维人脸数据库和c a s i a 三维人脸 数据库为样本，进行了多个针对算法性能的实验，实验结果有力的支持了本文提 出算法的合理性。 关键词：三维人脸识别；综述；几何信息；欧氏距离；测地距离；人体测量学； 由粗到细；最近迭代点 兰州大学硕士研究生毕业论文 基于几何信息的三维人脸识别研究 a b s t r a c t a f t e rr e c e i v i n ga l m o s t3 0y e a r sr e s e a r c h , i m a g e b a s e df a c er e c o g n i t i o ns y s t e m s p e r f o r mw e l lu n d e rc o n t r o l l e dc o n d i t i o n s h o w e v e r , c h a n g eo fi l l u m i n a t i o n ，p o s ea n d e x p r e s s i o n s t i l l c h a l l e n g e si m a g e - b a s e d f a c e r e c o g n i t i o n a c c o r d i n g t ot h e d e v e l o p m e n to f3 da c q u i s i t i o nt e c h n i q u e s ，m o r ea n dm o r ep e o p l et u r nt ou t i l i z e3 d f a c i a lm o d e lt or e c o 罂l i z ef a c e s i nt h i sp a p e r , t h e r ea r ef o u rc o n t r i b u t i o n sw h i c hw eh a v e b e e nm a d e ： 1 ) p r o v i d e das u r v e yo f3 df a c er e c o g n i t i o n w ec l a s s i f y3 df a c er e c o g n i t i o na l g o r i t h m st ot h r e ec l a s s e s a c c o r d i n gt oi t s r e p r e s e n t a t i o n ：b yp o i n tc l o u da n dm e s hs t r u c t u r e ；b yr a n g ei m a g e s ；b yf e a t u r es e t s w ea l s og i v ead i s c u s s i o n o ff a c er e c o g n i t i o nu s i n gm u l i t m o d e l ( 2 d + 3 d ) i n f o r m a t i o n a n d3 df a c er e c o g n i t i o n 、衍mt h ep r e s e n t a t i o no f e x p r e s s i o n 2 ) i n v e s t i g a t i o no f3 df a c er e c o g n i t i o nu s i n gf a c i a lg e o m e t r i ci n f o r m a t i o n i nt h i sw o r k , w eu t i l i z ed i s t a n c e s ( i n c l u d i n ge u c l i d e a nd i s t a n c ea n dg e o d e s i c d i s t a n c e ) a m o n gf a c i a ll a n d m a r k st or e p r e s e n tt h e3 df a c ea n dr e c o g n i z e ，w ea l s o i n v e s t i g a t et h ep e r f o r m a n c eo fu s i n gr a t i o sa m o n gd i s t a n c e st o3 df a c er e c o g n i t i o n 3 ) p r o p o s e dac o a r s et of i n e3 df a c er e c o g n i t i o nu s i n gf a c i a lg e o m e t r i ci n f o r m a t i o n i nt h i sw o r k , w ep r e s e n ta3 df a c er e c o g n i t i o nm e t h o dw h i c hu t i l i z e s3 df a c i a l g e o m e t r i cf e a t u r e s o u rr e c o g n i t i o np r o c e s st a k e st w os t e p s i nt h ef u s ts t e p ，an u m b e r o fc a n d i d a t e sa r es e l e c t e df r o mt h eg a l l e r ya c c o r d i n gt ot h eg e o m e t r i cf e a t u r e sw e e x t r a c t e d i nt h es e c o n ds t e p ，i c pa l g o r i t h mi sp e r f o r m e dt om a t c ht h ep r o b ew i t ht h e c a n d i d a t e st om a k et h ef m a ld e c i s i o n w eu s ec a s l 3 df a c ed a t a b a s et oe v a l u a t e o u rs y s t e m 4 ) m u l t i e x p e r i m e n t sh a v eb e e nc a r r i e do u t ； w eh a v ed e s i g n e ds e v e r a le x p e r i m e n t su s i n gb o s p h o r u s3 df a c ed a t a b a s ea n d c a s i a3 df a c ed a t a b a s et o v e r i f yt h ep e r f o r m a n c eo ft h ea l g o r i t h m sw eh a v e p r o p o s e d r e s u l t ss h o wt h a tt h e yw o r kw e l l 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 k e y w o r d s ：3 df a c er e c o g n i t i o n ；s u r v e y ；g e o m e t r i ci n f o r m a t i o n ；a n t h r o p o m e t r y ； e u c l i d e a nd i s t a n c e ；g e o d e s i cd i s t a n c e ；c o a r s et of r e e ；i c p 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立 进行研究所取得的成果。学位论文中凡引用他人已经发表或未发 表的成果、数据、观点等，均己明确注明出处。除文中已经注明 引用的内容外，不包含任何其他个人或集体已经发表或撰写过的科研 成果。对本文的研究成果做出重要贡献的个人和集体，均已在文中以 明确方式标明。 本声明的法律责任由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属兰州大学。本人完全了解兰州大学有关保存、使用学位论文的规定， 同意学校保存或向国家有关部门或机构送交论文的纸质版和电子版， 允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用任何复制手段保存和 汇编本学位论文。本人离校后发表、使用学位论文或与该论文直接相 关的学术论文或成果时，第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签缸导师签名：蜷日 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 第1 章绪论 1 1 选题背景及研究意义 身份识别是人类社会生活的一个最基本问题，人脸识别是以人脸为特征进行身 份识别的技术，它是一种生物特征识别技术。相比于传统的身份识别技术( 例如： 个人密码、磁卡、智能卡等) ，生物特征识别技术具有更好的安全性和易使用性， 因此被越来越多的应用在视频监控、入口控制、证件验证、刑事侦破等方面。目 前研究的生物识别技术主要包括d n a 识别、指纹识别、虹膜识别、掌纹识别、 人耳识别，人脸识别等。其中人脸识别技术因其在数据采集方面的巨大优势而在 生物认证中具有更广泛的应用f 2 】【l 】。 传统的人脸识别研究主要针对二维图像进行研究，基于照相技术，以图像处理 技术为基础，由于它数据获取方便，成本低，处理复杂性小，取得了很大的进展 【1 4 1 【1 5 1 。但是由于人脸本身是在三维空间里的物体，二维图像只是三维人脸在二 维空间上的一个简约投影。因此二维人脸识别会受到姿势、光照、表情、化妆等 外部因素的影响。越来越多的研究表明，二维人脸识别无法完全解决这些问题， 这使得二维人脸识别的研究陷入了瓶颈【3 】。 近年来，随着三维成像和重构技术以及计算机处理速度的飞速发展，使得三维 人脸数据的获取和处理变得越来越容易，越来越多的研究人员开始转向三维人脸 识别【l 】。基于三维数据的人脸识别已然成为计算机视觉，模式识别领域内一个研 究热点【1 】【2 1 【3 】。人脸三维数据能直接给出人脸曲面的真实三维信息，利用三维 数据进行人脸识别可以避免姿势、光照、表情、装饰等因素的影响，有望突破二 维人脸识别的瓶颈。f r v t 2 0 0 6 【4 】指出三维人脸识别、高分辨率人脸识别和视频 人脸识别可能是未来人脸识别发展的方向。因此三维人脸识别的研究具有重要的 学术研究价值和广阔的市场前景。 三维人脸识别虽然为人脸识别提供了新的思路，但是目前为止无论是从三维 信息来源、三维数据的存储和处理、数据的预处理还是最后的识别过程的相关技 术都不够成熟，面临着巨大的困难和挑战 3 1 。本文将重点关注解决识别过程中的 难点，尝试使用几何结构信息进行三维人脸的识别，具有较强的创新性和学术意 ! 州大学顼研究￥业论文基于几何信息的三罐 脖识别研究 义 1 2 生物特征识别 人脸识别是生物特征识别的一种，生物特征识别起源于2 0 世纪末期。所谓生 物特征识别，就是指通过计算机与生物传感器、光学、声学和生物统计学原理等 高科技手段相结合，利用人体固有的生理特征( 如人脸、指纹、掌纹、虹膜) 或 者行为特征( 如笔迹、声音、步态) 来进行个人身份鉴定口】。这些特征是个体固 有特征并且是不可伪造的。 一个典型的生物特征识别系统由以下三个步骤组成】：传感器获得特征 信息，不同的传感器采集不同的生物特征信息。错误1 未找到引用源。由计算机 对采集得到的生物特征信息进行归一化处理，使采集的信息与数据库中的具有相 同的大小、分辨率和角度等。由计算机对归一化后的生物特征信息和数据库中 ( 全部或者部分) 的生物特征信息进行相似度计算，并根据相似度得出识别结果。 图1 1 给出了常用的作为生物特征进行身份识别的图示。 图1 - 1 部分常用生物特征识别( 由上自下、从左至右分别为人脸、指纹、虹 膜、掌纹、步态和人耳) 除了图1 - 1 常用的生物特征识别技术以外，其它一些能够区别人类个体的生理 特征和行为特征也被用来进行身份识别，比如语音、签名、d n a 等等。目前在 商业应用中，应用最为广泛的是指纹识别，但是指纹识别需要用户的配合【”。 与传统身份验证方法相比，生物特征识别突出的优势表现在生物特征可以从根 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 本上杜绝伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安全性 和可用性。科学家希望生物特征识别能彻底解决传统身份认证的不足，更好地保 障人类在社会交往和商业行为中的安全。 1 3 人脸识别 1 3 1 人脸识别系统 一个完整的自动人脸识别系统包括人脸的检测定位和人脸识别两个部分。给 出入脸位置进行的人脸识别称为半自动人脸识别旧。一个完整的自动人脸识别流 程如下图所示： 一人脸检测卜叫人脸配准卜- 叫特征提取卜- 叫识别分类卜 视频或图片输出 图1 - 2 人脸自动识别系统组成 1 ) 人脸检测( d e t e c t i o n ) 人脸检测是自动人脸识别系统的第一步，从输入图像、视频或者三维数据中 确定是否存在人脸，如果存在，确定人脸的位置尺寸及姿势。鉴于人脸检测 的重要性和复杂性，它已经成为一个独立于人脸识别的研究课题。 2 ) 人脸配准( r e g i s t r a t i o n ) 经第一步检测出的人脸可能要和数据库( g a l l e 功中的注册人脸在图像中的位 置，尺寸和姿态上存在差异，为了进一步的特征提取和识别，需要将它们和 数据库的人脸进行配准( r e g i s t r a t i o n ) ，使得比较成为可能。对于二维图像通常 检测出眼睛的位置，对人脸图像进行平移、旋转、或是伸缩变换使之对齐。 对三维人脸模型最常使用的配准算法是最近迭代法( i c p ) 。 3 ) 特征提取( e x t r a c t i o n ) 特征提取是人脸识别中最重要的环节，人脸识别的主要工作都集中这一部分。 从对齐的人脸数据中提取出便于识别的特征，这些特征要能体现不同个体之 间的差异同时又要保持同一个体之间的相似度，并且不受外部因素的影响。 4 ) 识别分类( c l a s s i f i c a t i o n ) 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 按照提取的特征根据设计的分类器或判别准则确定人脸是否为用户所声称的 身份( 人脸验证) ，或者确定人脸是否是数据库( g a l l e y ) 中的某一人( 人脸 识别) 。 相对于指纹、虹膜、掌纹、d n a 等其他生物特征识别技术，人脸识别具有如 下特性1 】【7 】【8 】： 1 ) 人脸数据的采集是非接触式的，不需要用户的配合，人脸识别甚至可以在用 户不知情的情况下发生。相对于其他需要用户配合的生物特征( 指纹、虹膜、 d n a ，人脸识别更容易被用户接受【l 】 2 ) 人脸图像相对更容易得到，采集较为方便，可选择的应用面更广。基于二维 图像的人脸识别技术要求的原始数据时图像，图像的获取技术已相当成熟， 基于三维人脸数据的人脸识别技术也因三维扫描设备的飞速发展而变得越来 越容易【刀。 3 ) 随着在城市中监控摄像头分布的越来越密集，人脸识别可以应用到安防监控 领域，以摄像头捕获的人脸数据为处理对象 刀。 3 ) 通过人脸的表情姿势分析，能获取得其他识别系统难以获取的一些信息，例 如表情能够反映待识别人的心情【引。 1 3 2 人脸识别的典型应用 人脸识别之所以这么受到政府机构和商业公司的重视是因为它无论在政治领 域还是商业领域都有着极为广阔的应用领域和前景，下面是人脸识别最典型的应 用领域1 9 1 。 1 ) 个人身份识别。人脸识别可以应用在身份证、驾驶证、信用卡、护照等个 人身份证明中，进行自动个人身份辨识，比传统的身份识别手段更为安全 可靠【2 】。 2 ) 访问控制的应用。办公室( 政府、事业单位、小区) 的入口控制，个人计 算机的登录等都属于访问控制领域。人脸验证应用在访问控制方面因为它 的安全性和友好性使其较之传统的磁卡验证、或者新型的指纹验证都有着 较大的优势【9 】。 3 ) 安检和监控方面的使用。人脸识别可以应用到在机场安检和公共场合的监 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 控中。2 0 0 8 年我国北京奥运会已成功利用人脸识别进行安保和监控。 4 ) 公安警察部门的刑事侦破。人脸识别技术可以应用在犯罪嫌疑人辨识，根 据人脸特征在人脸图像数据库中搜寻嫌疑犯等方面。 4 ) 人机交互中的应用。传统的人机交互基于键盘、鼠标，人脸识别可以使得 人机交互更加自然、方便。计算机自动跟踪识别人脸部表情、目光方向或 者嘴唇动作，能使得机器更加智能化，扩展了人机交互的手段j 。 1 3 3 人脸识别性能评价 1 3 3 1 评价指标 为了对人脸识别算法的性能做出客观公正的评价，需要建立一个统一的评价平 台。建立该平台需要考虑该算法的应用场合、算法性能的评价指标、算法所用人 脸数据库的规模和多样性等。需要独立的性能测评对当前的人脸识别算法和人脸 识别系统做出公正的评价【1 0 】【1 1 】【1 2 】。 针对不同认证模式，人脸识别有不同的评价指标。人脸识别主要有两种认证模 式，即验证( a u t h e n t i c a t i o n 或v e r i f i c a t i o n ) 和识别( i d e n t i f i c a t i o n 或r e c o g n i t i o n ) 。 人脸验证是指对声称是某个合法用户的身份进行确认，只需将输入人脸( p r o b e ) 和数据库( g a l l e r y ) 中所声称的人脸进行比较，是一对一的比较；人脸识别则是要 找出待识别人是否为合法的用户以及该用户的身份。需要将待识别的人脸和数据 库中的每一个人逐一比较，找出最相似的人脸，根据预先设定的阈值进行确认或 者拒绝，是一对多的比较。 r o c 曲线用来评估人脸验证算法的性能，r o c 曲线的全称是接收工作者特性 曲线( r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i c ) 。在人脸认证的场景中，每取一个阈值， 可以得到一对f a r 和f r r 的组合。其中f a r ( f a l s ea c c e p t a n c er a t e ) 为错误接 收率，是指给定某个阈值的前提下，识别系统错误的接收非法用户的比率。 f r r ( f a l s er e j e c tr a t e ) 是指给定某个阈值的前提下，识别系统错误的拒绝合法用 户的比率。将得到的f a r 和f r r 的组合作为横坐标和纵坐标，可以绘制出一条 曲线，这条曲线就是r o c 曲线。在坐标系中画出一条吊的直线，该直线与r o c 曲线的交点即是等错误率e e r ，即在某个阈值下，错误接受率与错误拒绝率相 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 等时的比率。 r o c 曲线不但可以表达e e r 的位置，还可以表达f a r 和f r r 在不同阈值条 件下的变化趋势，可以反映认证系统的性能。 对于人脸识别般使用c m c 曲线来反映识别系统的性能，c m c 曲线的全称 为累积匹配特性( c u m u l a t i v em a t c hc h a r a c t e r i s t i c s ) 1 曲线。在人脸识别中，待识别 人脸要和数据库中的每一个人脸模型进行匹配，找出最接近的人脸模型作为待识 别者的身份，如果只是统计完全正确的一个模型的比率，通常会导致较高的错误 率。一般的做法是返回前几位( r a n k ) 相似度最高的模型，统计排在这几位模 型之前正确包含待识别者身份的比率。其中排位的位数称为r a n k ，将r a n k 与正 确识别的比率分别作为横、纵坐标轴，就可以得到c m c 曲线。 c m c 曲线反映了人脸认证系统返回最相似对象的个数和识别率之间的关系。 1 3 3 2 重要测评项目 鉴于人脸识别技术的重要性，从9 0 年代初期开始美国政府联合科研机构组织 发起了一系列人脸识别性能的测评项目，其中主要有f e r e t ( f a c er e c o g n i t i o n t e c h n o l o g y , 1 9 9 3 1 9 9 7 ) ，f r v t ( f a c er e c o g n i t i o nv e n d o rt e s t s ，2 0 0 0 ，2 0 0 2 ，2 0 0 6 ) ， f r g c ( f a c er e c o g n i t i o ng r a n dc h a l l e n g e ，2 0 0 4 2 0 0 6 ) 等。这些项目赞助人脸识别的 研究，为人脸识别算法的研究提供统一的平台，更重要的是提供了大规模的人脸 库供科研人员测试使用。另外每次项目的测试报告都能为下一步的人脸识别指出 可能的方向供公司和科研机构参考，极大的推动了人脸识别技术的发展。 f e r e t l l o i f e r e t 由美国国防部反毒品技术办公室发起资助，旨在将全自动人脸识别技 术应用到安全，智能监控等方面。f e r e t 开始于1 9 9 3 年9 月，分别于1 9 9 4 ， 1 9 9 5 ，1 9 9 6 年组织了三次测评，参加测评的算法都是学术研究使用，结果显 示当时算法对光照变化、姿势变化、不同照相机、不同年龄和化妆的适应性 较差。但是识别性能已逐步提高，f e r e t 促进了人脸识别技术的商业化 f r v t2 0 0 0 1 1 1 l 和f r v t2 0 0 2 1 1 2 l 随着人脸识别技术的商业化，美国政府安全机构为了比较这些商业系统的识 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 别率和易用性，更好的促进人脸识别技术在现代社会中的作用应用。美国 d a r p a ，d o d ，n i j 和n i s t 等多家机构联合发起了专门针对商业人脸识别 产品进行评测的项目，其中2 0 0 0 年、2 0 0 2 年和2 0 0 6 年各一次。 f r v t 2 0 0 0 i 1 1 1 的评估方法仍然基于f e r e t 的评估方法，它主要测试两方面的 性能分别是识别率和产品的易用性，所有的产品在同一个数据库上测试。数 据库包含表情、光照、距离、存储类型、姿势、分辨率和年龄等不同情况的 测试，测试结果表明这些商用系统对于距离、光照、姿势和年龄的适用性仍 然很差。 继f r v t 2 0 0 0f r v t 2 0 0 2 1 1 2 i 组织了更大规模的人脸识别系统测试，它测试三类 不同的人脸识别任务的性能：身份认证：闭集识别和开集识别。f r v t 2 0 0 2 更加注重测试系统的实用性，测试结果显示，对于目前最好的人脸识别系统， 对签证照质量的人脸图像，人脸错误接受率较低，错误拒绝率较高。 f r v t2 0 0 6 1 1 3 l f r v t 2 0 0 6 和i c e 2 0 0 6 测试同时举行，旨在比较高分辨率静态图像和三维人 脸图像识别系统的性能。f r v t 2 0 0 6 和i c e 2 0 0 6 的测试结果【4 】显示：1 ) 基于 高分辨率二维人脸图像、三维人脸模型和虹膜生物特征的识别性能相当；2 ) 相比对f r v t 2 0 0 2 ，f r v t 2 0 0 6 错误率有一个数量级的下降，这是由二维高分 辨率图像和三维模型共同达到；3 ) f r v t 2 0 0 6 首次显示，基于机器的人脸识 别性能要好于人眼的识别。 1 4 二维人脸识别 1 4 1 二维人脸识别简述 二维人脸识别是指以二维人脸图片为研究对象进行身份认证的技术，包括基 于视频流的人脸识别技术【1 4 1 。它是基于照相技术或摄像技术，以图像处理技术 为基础，由于它成本较低、数据获取方便、处理计算复杂度较小，在最近3 0 年 内取得了很大的发展，在一定约束条件下已经取得了很好的识别效果【”】。 二维人脸识别技术主要可分为两大方向【1 4 】【1 5 】：基于模板匹配的方法和基于特 征提取的人脸特征的方法。基于模板的方法直接对归化后的人脸进行相似度计 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 算，它是基于整体的方法，特征脸( e i g e nf a c e ) 、弹性图匹配、神经网络、隐马 尔科夫模型都属于这类方法。基于特征的方法一般计算面部器官的几何属性，使 用提取的特征来描述人脸，再利用某种分类方法对求得的特征进行进一步分类， 这种方法能较好的反应脸部器官的拓扑关系。基于模板匹配的人脸识别方法直接 对人脸图像匹配，算法的计算量较大，基于特征提取的识别方法有效地特征提取 比较困难。早在1 9 9 2 年，r o b e r t ob r u n e l l i 等【1 5 】就比较了基于模板和特征的人脸 识别的性能，他们认为基于模板匹配的方法识别性能要优于基于特征的识别方 法。然而，最近的学者却认为基于特征的方法要优于基于模板匹配的方法【9 】，当 然这是建立在精确面部特征提取基础之上的。 1 4 2 二维人脸识别面临的困难 随着科研人员的不懈努力，二维人脸识别技术已经逐渐走向成熟，在一定约 束条件下，最新的技术可以达到很好的识别效果。但是由于人脸实际上是在空间 中的三维模型，图像只是三维人脸在二维空间中的简约投影，因而二维人脸识别 性能会受到光照、姿势、年龄、表情和化妆等因素影响，在不约束条件下，识别 效率将剧烈下降。研究表明【l 】【1 6 1 ，二维人脸识别目前面临的主要困难如下： 1 ) 光照变化问题 光照的变化是二维人脸识别首先所要面对的问题，即使人脑在识别时也较易 受到光照的干扰【1 7 】。待识别人脸的光照环境和数据库中人脸光照环境的不 同将会严重影响二维人脸识别率。目前尚无基于二维图像的人脸识别算法能 彻底解决光照变换对人脸识别的影响。 2 ) 姿态变化问题 一个理想的人脸识别系统是不对用户有任何要求的，甚至可以在用户不知情 的情况下进行，这就无法保证摄像头捕捉的人脸姿势和数据库中的人脸姿势 相同。研究表明【1 6 1 ，在待识别人脸图像和数据库中人脸图像姿势相近的情 况下具有较好的识别效果，但是当它们之间的姿势偏差3 0 度的时候，识别 率就会剧烈下降。姿势的变化是制约二维人脸识别发展的另一个重要因素。 3 ) 表情变化问题 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 表情变化是另一个影响二维人脸识别系统性能的较重要因素。人脸本身具有 复杂的生理结构，表情是由于面部肌肉的非刚性变化引起的。表情特别是夸 张的表情( 大笑等) 会使得同一人脸外观差异较大。神经生理学的研究认为 人对表情识别和人脸识别是并行的，即使在不认识某人的情况下我们仍能辨 别他所表现出的表情。在人脸识别过程中，处理表情的变化仍然是一个亟待 解决的开放性问题。 4 ) 遮挡和化妆问题 遮挡和化妆问题也影响着人脸识别的性能。由于头发、帽子或者围巾的遮挡 使部分人脸信息无法获取，这将影响到识别的准确率，尤其当遮挡发生在人 脸的上半部分时。同样化妆问题也会影响到二维人脸识别系统的性能。 5 ) 大规模人脸识别问题 目前的一些应用表明【1 2 】，随着人脸库中个体数目的增长，识别算法的识别 性能呈下降趋势，因此如何提高人脸识别算法在大规模人脸库中的应用性 能是一个非常重要的研究课题。另外，使用大规模人脸库的人脸识别系统 还需面对数据库的管理、特征存储空间的分配及检索时间的控制等实施问 题。 6 ) 复杂场景下的识别问题【1 8 】 人脸识别研究到目前，在简单场景下已经取得了很好的识别效果，能够满足 实际应用，但是在复杂场景( 比如超低分辨率、多个人脸等) 下的人脸识别 仍是一个有待解决的问题。 1 5 三维人脸识别 1 5 1 三维人脸识别的提出 从1 4 2 中我们可以了解到，传统的基于二维图像的人脸识别方法面临诸多困 难，二维人脸识别的研究遭遇了瓶颈，单纯依靠二维图像信息始终无法从根本上 解决光照和姿势变化带来的挑战。这主要是因为人脸是在空间中的三维物体，而 二维图像只不过是其在二维平面上的简约投影，在投影的过程中导致了大量有用 信息的丢失。相对二维图像，三维人脸模型包含了更多的信息，而且三维人脸模 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 型包含的形状信息并不受光照、姿势因素的影响。基于此，为了提高识别率并解 决现有二维人脸识别的瓶颈，科研人员开始转向基于三维模型的人脸识别，希望 能为人脸识别提供新的思路。 最早的三维人脸识别文献可见于上世纪8 0 年末【1 9 1 ，但是由于当时处理器和 三维数据获取技术的限制，相关的研究处于非常初级的阶段，测试使用的数据集 很小，更多的是理论和概念上的贡献。近年来，随着计算机处理速度和三维数据 获取技术的飞速发展和日趋成熟，2 0 0 4 年以来，越来越多的科研小组投入到三 维人脸识别的研究之中【1 】【3 】。 1 5 2 三维人脸识别面临的困难和挑战 三维人脸识别技术虽然能够消除二维人脸识别面临的光照、姿势等因素的影 响，并且三维模型包含了更为丰富的面部信息，但是到目前为止，三维人脸识别 技术并没有彻底解决人脸识别问题，它同样面临着诸多困难和挑战【1 1 1 2 1 1 3 1 。 1 ) 在三维人脸数据获取方面，三维数据获取技术并不像二维扫描技术如此成熟， 获得的三维数据质量不高，存在较多的噪声。并且三维数据获取设备硬件较 为昂贵，远不如二维图像获取设备( 照相机、摄影机) 普及。另外，多数三 维扫描技术在获取人脸数据的时候，还是需要用户的配合。解决这个问题只 能寄希望于三维扫描技术的发展，一般并不是研究人员所关注的重点，但确 是制约三维人脸识别投入到实际应用的一个巨大因素。 2 ) 在三维数据处理方面，由于三维模型包含了更多信息，因而它的计算复杂度 要远高于二维图像。这使得三维人脸识别算法难以应用到大规模数据库，目 前一些算法在实验室小规模数据情况下已经取得了很好的识别效果( 9 5 ) ， 但是由于计算开销大，运算周期长，难以实时的应用到实际识别系统中来。 3 ) 在表情处理方面，相比于二维图像，三维数据有着显式的形状信息，这也意 味着其受形变的影响也更加突出。如何有效的建立面部表情模型，解决表情 变化引起的脸部曲面形变，仍是目前三维人脸识别领域重点研究的难题。 4 ) 在识别算法设计方面，由于三维人脸数据是一个不规则的、无序的点集，与 二维图像有着本质的区别，因此三维人脸识别并不能借助已有的二维人脸识 别的技术和手段。虽然有研究人脸将三维数据以二维深度图的形式表示并将 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 二维人脸识别中的技术( 主要是基于统计的技术) 应用到其中，但识别效果 并不理想，还是要寄希望于三维数据处理技术的发展。 5 ) 对人的生理认识的不足，目前人们并不完全理解人类是如何利用视觉进行人 脸识别的，对人类视觉系统( h v s ) 的工作原理认识不足【l 引，不能将这方面 的知识应用到计算机中来。心理学、神经生理学的相关成果应该为计算机视 觉特别是人脸识别提供更多的理论依据。 综上所述，三维人脸识别技术无论在三维数据的获取、算法的准确率、速度、 鲁棒性方面都还有待进一步的研究。对三维人脸识别进行研究无论是在学术领域 还是实际应用方面，都具有极其重要的意义。 1 6 本文的主要工作和创新点 本论文的主体工作是作者是中国科学院香港中文大学深圳先进集成技术研究 所学习期间完成。本文重点研究基于几何信息的三维人脸识别研究，主要在如下 几个方面进行了工作和探索，主要贡献为： 1 综述了三维人脸识别的研究现状 本文系统的介绍了三维人脸识别的基本过程，包括算法设计到三维数据获取技 术。并按照三维数据的表示方式将现有三维人脸识别算法分为三类：基于点云或 网格的三维人脸识别、基于特征集的三维人脸识别和基于深度图的三维人脸识 别。同时对三维人脸识别领域中较为活跃的多模态识别问题和表情问题分别进行 了阐述。 2 提出了使用面部特征点之间的距离信息进行三维人脸识别 基于三维人脸比二维人脸包含更多的几何信息这一基本事实，本文提出使用面 部特征点之间的距离信息来表征三维人脸，测试比较了使用欧式距离和测地距离 在识别性能上的差异。 3 提出使用人体测量学的原理进行三维人脸识别 受到人体测量学的启发，本文提出使用面部特征点之间的距离比进行三维人脸 识别。 4 提出一种“由粗到精”的三维人脸识别算法 受到图像检索思想的启发，本文提出一种“由粗到精的三维人脸识别方法。 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 该方法首先利用面部三维几何特征进行人脸的筛选。与其他使用三维几何特征进 行识别的方法相比，该方法不需要精确定位面部特征点，而是利用鼻尖和在其周 围均匀采样得的点之间的测地距离来表示面部几何结构。具体识别过程分两，第 一步通过我们提取出的三维面部结构在己知人脸库选出一些“候选脸 ，接下来 使用i c p 算法从这些“候选脸 中做出最终选择。 5 设计了多个实验验证文中提出的方法 针对本文提出的方法，分别以b o s p h o r u s 三维人脸数据库和c a s i a 三维人脸 数据库为样本，设计多个测试算法性能的实验。多个实验结果均对我们提出的算 法提供了有力的支持。 1 7 本文的各章节结构安排 本文各章组织结构如下： 第一章，本章介绍了本文的研究背景和研究意义，概述了人脸识别和生物特 征识。随后分别简单阐述了二维和三维人脸识别，并分析了它们分别面临的困 难和挑战。 第二章，本章从总体上介绍了三维人脸识别系统的组成，并对各个部分进行 了简单介绍，包括三维数据获取技术、预处理、和三维人脸配准技术。 第三章，本章为三维人脸识别算法的综述部分。按照数据的表示形式对现有 识别技术进行了分类，详细的介绍了当前三维人脸识别技术的最新发展。并分别 介绍了三维人脸识别领域中两个活跃的领域：多模态识别和对表情的处理。本章 最后列举了常见的三维人脸数据库。 第四章，本章研究了利用几何结构信息进行人脸识别。首先给出了利用几何 信息进行人脸识别的生理学依据，随之测试了分别以特征点之间欧式距离、测地 距离和距离之间的比值作为几何特征来描述三维人脸的识别效果，并进行了讨 论。 第五章，本章测试了一种由粗到细的三维人脸识别方法。首先利用面部几何 特征来初步筛选部分候选脸，这里用到的面部几何特征提取不需要做精确的特征 点定位，因此可以快速的筛选掉差异比较大的人脸，然后对筛选得的候选脸作 i c p 匹配来得出最后的识别结果。 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 第六章，本章为总结和展望，总结了本文的工作，并对三维人脸识别可能的发 展方向进行了描述。 此外，列出了论文的主要参考文献。 最后，列出了作者在读研期间论文发表情况。 ! 州大学硬研究毕业论立 基于几何信息的三维人脸识d 研究 第2 章三维人脸识别系统 2 1 三维人脸识别框架 一个全自动三维人脸识别系统的基本框架如图2 1 所示。完整的三维人脸识别 系统主要经过以下五个基本步骤： 1 通过三维数据采集设备获得待识别对象的脸部三维数据； 2 对获得的三维数据进行去噪、填孔、切割等预处理； 3 将预处理后的三维人脸模型与数据库中的人脸模型对齐配准： 4 从三维人脸模型中提取特征，构成特征向量； 5 使用设计的分类器对上步提取的特征向量识别分类输出识别结果。 图2 - i 全自动三维人脸识别系统框架 一个完整的自动三维人脸识别系统应该包括上述五个步骤，每一步都是系统 不可缺少的，本章将对每个步骤进行简单介绍。 = 蒸， 兰州大学硕士研究生毕业论文 基于几何信息的三维人脸识别研究 2 2 三维数据获取 目前有三种主流的三维数据获取技术，分别是立体视觉技术( s t e r e oc a m e r a ) 、 结构光( s t r u c t u r e d l i g h t ) 技术和激光扫描( l a s e rs e n s o r s ) 技术。 立体视觉技术使用两个或者多个己标定的摄像头来同步获得一个物体的不同 角度的图像，利用这些图像进行三维重构。摄像机标定技术已经是一种很成熟的 技术、对应问题决定着立体视觉重构的精度。在三维人脸识别领域使用立体视觉 获取三维模型的数据并不多，这是因为人脸是一个光滑体并没有特别突出的角 点，因此对应问题比较难解决。 图2 2 为n u e k i d a 等在2 0 仲用来获取三维人脸的立体视觉系统示意图。 图2 - 2 文献 2 0 1 中用来获取三维人脸数据的立体视觉系统示意图 结构光技术通过将光束投射到物体表面，根据光束的形变来获得物体的深度 信息。机构光三维获取技术设各费用低廉，一般只需要一个或者多个摄像头和一 个用来投影光束的投影仪组成。结构光技术获取三维数据的速度非常快，并且可 以同时获得人脸的纹理信息。在三维人脸识别的文献中，结构光技术是经常被使 用到的目前世界上唯一能生产三维人脸识别设备的公司l 1 口”在获取人脸数据 时就是利用的基于红外的结构光扫描技术。 图2 - 3 为北京大学生物医学跨学科研究中心的基于彩色条纹编码的结构光三 维测量系统在获取三维人脸时的图像： ! h 大学硕研究生毕业论文基于几何信息三维人脸识“研究 图2 - 3 北京大学生物医学跨学科研究中心的基于彩色条纹编码的结构光三维测 量系统在获取三维人脸时的图像 三维激光扫描仪获取三维数据精度更高，但是激光扫描仪设备昂贵，获取数 据的速度也较慢。在三维人脸识别领域，三维撤光扫描仪也是经常被用来采集搭 建大规模测试数据库，因为激光扫描仪获取的数据精度高，而构建测试数据库并 不需要实时的速度。c a s i a 三维人脸库、f r o c2 , 0 三维人脸库、b o s p h o r u s3 d 人脸库都是使用激光扫描仪获取的数据。 图2 _ 4 中为c a s i a 三维人脸数据库使用激光扫描设备m i n o l t a v i v i d9 1 0 获取 三维人脸的场景记录。 国2 - 4c a s i a 3 d 人脸数据库中使用m i a o l t a v i v i d9 1 0 获取三维人脸数据 2 3 预处理 由于三维扫描设备技术上的不成熟，扫描的数据往往有噪声( 空洞、突出点等) ， 这些将会直接影响到识别算法的性能，预处理方法一般包括尖点去除，漏洞填补 和平滑等步骤。 1 ) 尖点去除 兰州大学硕士研究生毕业论文基于几何信息的三维人脸识别研究 尖点是三维数据上忽然突出的点，离它周围的邻接点很远，可以采用滤波函 数( 中值滤波、高斯滤波等) 来降低尖点和其邻居的距离，实现尖点的去除。 2 ) 填补洞孔 在三维扫描仪获得三维数据的同时经常会由于人脸相对于摄像机有一定角度 的偏转，会由人脸的自遮挡无法在人脸的某些区域采集到数据而形成洞孔， 这会严重影响到算法的识别性能。为了填补这些洞孔，可以采用插值的方法， 线性插值可以用来填补丢失的点信息。另一种填补漏洞的方法是根据人脸的 对称性来填补丢失的点信息。 2 4 三维数据的配准 三维数据的配准是人脸识别中尤其重要的一步，直接影响到随后的识别性能。 配准就是对三维数据进行尺度和坐标系的统一。配准的第一步是检测到人脸，在 大部分三维人脸识别算法的研究中，一般都假设背景自动被去除或者没有背景。 配准的核心思想就是定义一个相似度度量和一组可能的变换，旨在寻找一个合适 的变换使得两个待配准的模型相似度最大。相似度可以被定义为点点之间的距 离、点到面之间的距离或者特定义的相关性。变换可以是刚性的，也可是是非刚 性的，三维模型的刚性变换具体表示为三维旋转和平移。由于涉及到6 个自由度， 因此为非线性问题，一般用迭代方法解决。由于配准的质量，将会较大的影响到 随后的识别结果，因此很多配准方法都借助精准面部特征点。 图2 5 是使用i c p 配准的c a s i a 三维入脸数据库中的入脸，图2 5 显示了使 用i c p 对齐后的两个人脸模型，为了方便观察，我们将对齐后的模型向下平移了 少许。 兰州大学硕士研究生毕业论文 基于几何信息的三镕 脸识别研究 图2 - 5 显示了使用i c p 对齐后的两个人脸模型 2 4 1 面部特征点定位 正确的面部特征点的定位是很多算法的关键，研究者手动的或者自动标记人脸 特征点的位置。目前为止，自动面部特征点的定位仍然是一个有待解决的问题。 人脸特征点的选取在人脸定位、器官标定、人