（信号与信息处理专业论文）基于信息融合的三维人脸识别.pdf

中文摘要中文摘要摘要：在所有的生物特征识别中，人脸识别因具有最自然、友好、对用户干扰少、易被用户接受等优势被人们广泛研究，成为模式识别领域里最热门的课题。人脸自动识别技术是用计算机分析人脸图像，从中提取有效的识别信息并通过分类器自动鉴别的一种技术。在过去的几十年中，人们把大部分工作重点放在二维灰度和彩色人脸图像的研究上。2 d 人脸识别技术已渐渐走向成熟。然而，二维人脸固有的缺陷例如姿态，光照，表情以及附属物变化等影响，使开发一个准确的鲁棒的二维人脸识别系统非常困难，二维人脸识别由此陷入一个巨大的瓶颈。三维人脸信息为人们了解人脸在三维空间上的构造特点提供了很好的方法，并有望改善人脸识别系统的识别率。本文对三维人脸识别技术和三维人脸识别系统的实现有比较全面的论述，理论研究关注的重点在于分类器的设计和信息融合算法，一系列的工作为日后的研究奠定了基础也确定了方向，同时也充分认识到本文自身的局限性，并对后续研究提出了目标与希望。人脸识别包含人脸图像预处理，特征提取和分类器设计三个方面。本文主要工作内容包括：双模数据获取、分类器设计和双模数据融合理论研究和实验证明主要内容如下：第一，双模数据的获取。从含有颈部、肩部、头发、背景等区域中检测出人脸部分，完成三维人脸数据鼻尖点定位，噪声和尖点去除，孔洞填补，i c p 配准等预处理工作，得到归一化以后的二维灰度数据和三维人脸深度数据。为了减弱表情的影响，本文提出将区域选择后的人脸深度图作为标准3 d 深度图。第二，支持向量机和r b f 神经网络分类器的研究。将s v m 分类器应用于3 d深度数据的人脸识别，比较2 d 和3 d 数据的识别结果。首次提出采用r b f 神经网络分类器用于3 d 数据的人脸分类。第三，双模信息融合算法的研究。比较不同光照和表情下的二维和三维人脸识别性能，提出了信息融合算法，分别采用数据级、特征级和决策级的信息融合，进一步提高识别率。实验表明，采用决策级信息融合达到最好的识别效果。关键词：三维人脸识别；深度图；独立分量分析；信息融合；支持向量机；r b f神经网络分类号：t p 3 9 1 4a b s t r a ( 玎a bs t r a c ta b s i r a c t ：o fa l lt h eb i o m e t r i cf e a t u r e s ，d u et of a c er e c o g n i t i o nh a v es u c ha d v a n t a g o s8 8m o s tn a t u r a l ，f r i e n d l y , l e s si n t e r f e r e n c ea n d1 1 8 0 1 a c c e p t a n c et h a ti tr e m a i n so n eo ft h em o s ta c t i v er e s e a r c ht o p i c si np a t t e r nr e c o g n i t i o n a u t o m a t i cf a c er e c o g n i t i o nt e c h n o l o g yi st h et e c h n o l o g yt h a tc o m p u t e ra n a l y s ef a c ei m a g o s ，e x t r a c te f f e c t i v ei n f o r m a t i o na n dm a k ead e c i s i o nw i t hae l a s s i f i e r i nt h ep a s ts e v e r a ld e c a d e s ，m o s tw o r kf o c u s e so nt h es o u r c eo f2 di n t e n s i t yo rc o l o ri m a g e s s i n c et h ea c c u r a c yo f2 df a c er e c o g n i t i o ni si n f l u e n c e db yv a r i a t i o n so fp o s e s ，e x p r e s s i o n s ，i l l u m i n a t i o n sa n ds u b o r d i n a t e s ，i ti ss t i l ld i f f i c u l tt od e v e l o par o b u s ta u t o m a t i c2 df a c er e c o g n i t i o ns y s t e m t h e3 df a c i a ld a t a 锄p r o v i d eap r o m i s i n gw a yt ou n d e r s t a n dt h ec h a r a c t e r i s t i c so ft h eh u m a nf a c ei n3 dd o m a i n , a n dh a sp o t e n t i a lp o s s i b i l i t yt oi m p r o v et h ep e r f o r m a n c eo ft h er e c o g n i t i o ns y s t e m t h e r ea r et h r e ep a r t si nf a c em c o g n i t i o ni n c l u d i n gt h ep r e p r o c e s s i n go ff a c ei m a g e s ，f e a t u r ee x t r a c t i o na n dt h ed e s i g no fc l a s s i f i e r t h em a i nw o r ki n t h i sa r t i c l ea r ea sf o l l o w i n g ：f i r s t l y , t h ea c q u i s i t i o no fd u a l - m o d ed a t a d e t e c tt h ef a c ea r e af r o mt h ew h o l er e g i o ni n c l u d i n gn e c k , s h o u l d e r s ，h a i ra n do t h e rb a c k g r o u n d f i n i s ht h ew o r ko fp o s i t i o n i n gt h e1 1 0 s et i p ，e l i m i n a t i n gt h en o i s e ，f i l l i n gt h eh o l e sa n di c pr e g i s t r a t i o n t or e d u c et h ei n f l u n e eo fe x p r e s s i o n ，w eu s et h ed e p t hi m a g ea f t e rs e l e c t i n gt h er o b u s ta r e aa sn o r m a l i z e d3 di m a g e s e c o n d l y , r e s e a r c h0 1 1s u p p o r tv e c t o rm a c h i n e s ( s v m ) a n dr b fn e u r a ln e t w o r kc l a s s i f i e r c o m p a r et h er e c o g n i t i o nr a t eo n2 da n d3 dd a t au s i n gs v m ，a n du s er b fn e u r a ln e t w o r kc l a s s i f i e ro n3 df a c ec l a s s i f i c a t i o nf o rt h ef i r s tt i m e t h i r d l y , d u a l m o d ei n f o r m a t i o nf u s i o na l g o r i t h m sr e s e a r c h c o m p a r et h er e c o g n i t i o np e r f o r m a n c eb e t w e e n2 da n d3 dd a t au n d e rd i f f e r e n tl i g h tc o n d i t i o n sa n de x p r e s s i o n s ，p r o p o s ei n f o r m a t i o nf u s i o na l g o r i t h mt oi m p r o v er e c o g n i t i o np e r f o r m a n c e k e y w o r d s ：3 df a c er e c o g n i t i o n ；d e p t hi m a g e ；p r i m a r yc o m p o n e n ta n a l y s i s ：s u p p o r tv e c t o rm a c h i n e ( s v m ) ；r b fn e u r a ln e t w o r k ；i n f o r m a t i o nf u s i o nc l a s s n o ：t p 3 9 1 4v n学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名：缈习已签字日期：刎7 年月j 譬日导师签名：陟牛fj签字日期：纠年6 月名日独创性声明独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外一论文中丌旬含其他人已经发表或撰写过的研究成果一也不包含为获得北京交通大挈或其他教育机构的学位或证书而佾用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：弘遵签字日期：弘7 年月冶日致谢本论文的研究工作是在我的导师阮秋琦教授的悉心指导下完成的，阮秋琦教授严谨的治学态度和科学的工作方法给了我极大的帮助和影响，尤其在事务繁忙的情况下仍然关心我们的研究工作。在此衷心感谢两年来阮秋琦老师对我的关心和指导!在攻读硕士学位的两年时间中，信息所苗振江老师、裘正定老师、丁晓明老师等教授的课程也使我受益匪浅，并为我的研究工作打下了一定的基础。感谢辅导员刘美琴老师，在此，向几位受人尊敬的老师们表示衷心的感谢!同时，我要特别感谢实验室师兄安高云博士和金一师姐，是他们帮助我展开了人脸识别在三维领域的研究工作，他们对我在三维人脸识别知识的认识和了解提供了很大的帮助。在实验室工作及撰写论文期间，刘帅、田文君、贾贝贝、穆美如、曾祥嫒、张思嘉、郭松、严红军、朱克峰等同学对我论文的研究工作给予了热情帮助，在此向他们表达我的感激之情。感谢我的好友肖峻波，刘文佳，宾西川，胡晶晶，高海娟，杜鲁燕，穆美如，章洁，室友龚文青等，在我攻读研究生期间给予我支持和力量，让我的研究生生活也充满感动与活力。另外也感谢我的父母和弟弟，他们的理解和支持使我能够在学校专心完成我的学业，并且对我的任何决定都给予了巨大的支持。最后，向在这两年以来所有关心过我帮助过我的老师和朋友们表示感谢!序序人脸识别是生物特征识别技术的一种，人脸自动识别技术就是用计算机分析人脸图像，从中提取有效的识别信息并自动鉴别的一种技术。这也是一种最为方便、有效的识别方法，用人脸特征进行身份验证自然方便，易于为用户接受。人脸识别因其在公安、验证系统、档案管理、视频会议、人机交互系统等方面的巨大应用前景而成为当前模式识别和人工智能领域的一个研究热点。人脸识别的研究始于2 0 世纪6 0 年代末，经过了几十年的发展，二维人脸识别算法取得了很大的成就。然而，进一步的研究实验表明，光照、姿态、化妆、表情、年龄等变化会显著降低了2 d 人脸识别算法的性能。近几年学术界开始探索如何利用图像之外的信息提高系统的识别性能，而利用人脸的三维信息进行身份识别是其中一个最主要的探索方向。上世纪9 0 年代末以来，学术界己越来越多地将目光投向3 d 人脸识别研究，尤其是2 0 0 4 年之后，人脸识别挑战计划f r g c 的实施，大大推动了国际上三维人脸识别的研究，并正促使其逐渐走向实用。当前3 d 人脸识别已成为学术界的研究热点。本论文主要是研究三维人脸识别的算法，目的是通过研究实验，找到合适的通过计算机来实现简单直观的三维人脸识别算法。本课题是国家自然科学基金( n o 6 0 6 7 2 0 6 2 ) 和教育部博士点基金资助项目( n o 2 0 0 8 0 0 0 4 0 0 0 8 ) 。综述1 综述1 1人脸识别研究背景和意义在现代社会中，个人身份认证技术的应用无所不在，其中基于指纹、虹膜、人脸等人体生物特征的识别技术在多个领域有巨大的市场需求，如门禁系统、视频监控、机场安检、智能空间、自然人机交互等。尽管基于指纹和虹膜的身份认证比人脸识别技术具有更高的准确性和可靠性，但人脸识别因具有自然、友好、对用户干扰少、易被用户接受等优势而有更广阔的应用前景。入脸识别研究可以追溯到2 0 世纪初【l 】。经过研究人员的不懈努力，基于图像的二维人脸识别技术日趋成熟，在一定约束条件下已取得较好的识别结果。然而，研究实验表明，光照、姿态、化妆、表情、年龄等变化显著地降低了二维人脸识别算法的性能。近年来，学术界开始探索如何利用人脸的三维信息提高系统的识别性能，如美国f b i ，n i s t 等多个部门联合资助发起的“人脸识别大挑战计划( f a c er e c o g n i t i o ng r a n dc h a l l e n g e ，f r g c ) f 2 】o1 1 1人脸识别概述人脸识别是以人脸作为模式的n 类分类问题，即已知n 类的样本，对给定的测试样本，如何正确划分该样本的类别的问题。人脸识别的研究始于1 9 世纪末，2 0 世纪6 0 年代开始蓬勃发展。4 0 年来，尤其是近l o 年来，人脸识别研究已经成为各国知名大学、公司、研究院的研究热点，并得到持续的项目支持。经过4 0 年左右的研究，人脸识别技术逐渐走向实用。总体而言，2 0 世纪9 0 年代之前，限于当时的硬件计算技术瓶颈和算法性能，开发的人脸识别技术还未达到全自动和实用水平，9 0 年代以来，以特征脸( e i g e i l f a e e ) 【3 】为代表的一系列工作的成功，将自动人脸识别的研究推向全新的阶段，不但有了人脸识别的专门国际会议i e e ei n t e m a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ，而且还出现了专门的人脸识别评估标准：f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 和x m z v t s 。此外，人脸识别己成为多个领域的综合阵地，人脸识别作为研究的具体问题载体，推动了计算机视觉和图像处理领域的发展，这些相关领域的项级国际会议和期刊( c v p r ，i c c v ，p a m i 等) 也频繁出现人脸识别技术的研究论文1 4 】。人脸识别的研究范围广义上来讲大致包括以下五个方面的内容：( 1 ) 人脸定位和检测：即从在动态的场景与复杂的背景中检测出人脸的存在并北京交通大学硕士学位论文且确定其位置，最后分离出来。这一任务主要受到光照、噪声、面部倾斜以及各种各样遮挡的影响。( 2 ) 人脸表征( 人脸特征抽取) ：即采用某种表示方法表示检测出的人脸与数据库中的己知人脸。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特征向量) 、固定特征模板、特征脸等。( 3 ) 人脸鉴别：即将待识别的人脸与数据库中已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸表征方式与匹配策略。( 4 ) 表情姿态分析：即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。( 5 ) 生理分类：即对待识别人脸的生理特征进行分析，得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图像，如从父母图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。从狭义方面来说，一个人脸识别系统不涉及表情分析和生理分类，基于这种观点，一个典型的人脸识别系统由人脸检测、特征提取、人脸鉴别三部分组成【5 l 。1 1 2人脸识别分类人脸识别有两类最基本的类型，2 d 人脸识别和3 d 人脸识别。2 d 人脸识别是指采用人脸亮度图像进行身份认证的技术，包括基于视频流的人脸识别技术。2 0 0 3年以前，大部分关于人脸识别的研究集中在2 d 人脸识别上，2 d 人脸识别技术已渐渐走向成熟，在一定约束条件下，其最新的技术可以达到很好的识别性能，并已在多个商业产品中使用。3 d 人脸识别是指采用3 d 人脸数据进行身份识别的技术，具体的3 d 数据有多种表现形式。3 d 数据与2 d 数据最主要的一个区别是，3 d数据带有人脸的原始几何信息，而2 d 人脸图像仅仅是人脸在某个平面上光线反射的亮度投影。近几年来，3 d 人脸识别得到了深入广泛的研究，并取得了非常重要的进展。另一类研究人脸识别技术的思路是，从2 d 图像中重建或合成3 d 人脸的几何信息，然后用合成的3 d 几何信息进行识别。此外，2 d 和3 d 双模态融合技术也用于提高人脸识别的性制6 1 。1 1 3人脸识别应用人脸识别通常有三种不同的应用场景：识别、验证与监控。1 人脸识别：“r e c o g n i t i o n 或“i d e n t i f i c a t i o n ，回答“我是谁? 的问题，多个已知的人脸数据登记入一个集合中，称为“g a l l e r y ，给定一张测试人脸，称为2综述“p r o b e ，要求从g a l l e r y 中找出与p r o b e 最接近的人脸，如果两者之间达到一定的相似度( 大于某一阈值) ，则认为该p r o b e 与找到的g a l l e r y 中的脸是同一人。通常，一个人在计算机中只存储一幅正面图像。显而易见，人脸识别要完成p r o b e 与g a l l e r y中每一个人脸的比对，是“一对多 的匹配过程。2 人脸认证：“v e r i f i c a t i o n 一或“a u t h e n t i c a t i o n 一，回答“我是我所声明的人吗? 的问题，p r o b e 首先声明一下自己的身份，然后系统用与p r o b e 声明相同身份的g a l l e r y 中的人脸与p r o b e 进行比对，若两者达到一定的相似程度( 大于某一阈值) ，则认为他们是同一个人，即接受，否则，认为声明者是假冒的，拒绝之。通常，一个人在计算机中存储多幅不同角度的图像。人脸认证不需要与g a l l e r y 中的每一个人进行比对，是“一对一一的匹配。通常识别比认证的要求更高，计算量更大。3 监控( w a t c hl i s t ) ：监控同时具有鉴别和验证，回答一这是否为要找的人，( a r ey o ul o o k i n gf o rm e ? ) 。将未知身份的人的图像输入计算机，计算机决定这个人是否在监控名单中，如果在，还必须确定这个人的身份。1 1 4人脸识别性能评估1 1 4 1 错误接受率，错误拒绝率和等错误率错误接受率，即f a l s ea c c e p t a n c er a t e ( f a r ) ，是指给定某个阈值的前提 0 识别系统错误地接受非法用户的比率；错误拒绝率，即f a l s er 硝e c tr a t e ( f r r ) ，是指给定某个阈值的前提下，识别系统错误地拒绝合法用户的比率；等错误率，即e q u a le r r o rr a t e ( e e r ) ，是指在某个阈值下，当错误接受率与错误拒绝率相等时的比率量。f a r 和f r r 都是随阈值变化的量，且变化方向相反。增大阈值可以减少f a r ，同时增加了f r r ，减少阈值则减小f r r ，增大f a r 。由此可见，用f a r 和f r r中任意一个评估系统的认证性能都是不合理的，e e r 则较好地反映了系统性能，因而常常作为一个系统的评价度量。1 1 4 2c m c 曲线和r o e 曲线c m c 曲线是c u m u l a t i v em a t c hc h a r a c t e r i s t i cc u r v e 的简称，r o c 曲线是r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i cc a l v e 的简称。对应于人脸识别不同的应用场景，识别与认证各有其不同的评估曲线度量，人脸识别用c m c 曲线评估性能，人脸认证用r o c 曲线评估性能。在人脸认证的场景中，每取一个阈值，可以得到一对f a r 和f r r 的组合，将3北京交通大学硕士学位论文这些组合作为横坐标和纵坐标，可以绘制出一条曲线，这条曲线即为r o c 曲线，再在坐标系中画一条y = ) 【的直线，该直线与r o c 曲线的交点即为等错误率e e r 。r o c 曲线不但可以表达e e r 的位置，还可以表达r a r 和f r r 在不同阈值条件下的变化趋势，可以反映认证系统的性能。对人脸识别而言，p r o b e 与g a l l e r y 中每一个人脸模型进行匹配( g a l l e r y 中通常会有成千上万个模型) ，要求找出最接近的人脸模型作为p r o b e 的身份，如果只统计完全正确的一个模型的比率，显得要求太高，通常会有较高的错误率。通常的做法是返回前几位匹配得最好的模型，统计排在这几位之前的模型中正确包含p r o b e 身份的比率，其中排位的位数称为r a n k ，将r a n k 与正确识别的比率分别作为横、纵坐标轴，可以得到c m c 曲线，它反映了系统返回最相似对象的个数与正确率之间的关系。1 1 5人脸识别基本方法人脸识别由于具有重要的理论价值和巨大的应用前景，一直是模式识别和人工智能领域的一个研究热点，人脸识别最早可追溯到1 9 世纪末期，真正的计算机自动识别则始于2 0 世纪9 0 年代初，至今已取得了很大的发展。近3 0 年来，从事人脸识别的研究学者们提出了许多有关人脸识别的算法，根据识别算法所依赖的人脸数据类型，将这些方法分为四类：l 、基于侧影( p r o f i l e ) 的方法通过从人脸侧面图像中提取前侧轮廓线上的一些特征点构建特征向量来识别人脸，是研究最早的一类人脸识别算法 7 1 。但人脸侧面轮廓线极易受到姿态表情的影响，且包含的判别信息较少，近几年的相关研究比较少。2 、基于图像( i m a g e ) 的识别算法人脸2 d 图像数据获取简单、成本低，因此，当前大部分的人脸识别都是围绕2 d 图像进行的。代表方法有：基于主元分析的e i g e n f a e e 、用多维f i s h e r 判别降维的f i s h e r f a c e t 钔、采用g a b o r 小波做稀疏特征提取的弹性聚束图匹配方法 9 1 、基于i c a的方法、基于s v d 正交基方法f l o 】、结合统计学习理论中的k e r n e l 方法的k e r n e l f i s h e r f a c e 算、法f 】等。3 、基于视频( v i d e o ) 的人脸识别视频本质上是静态图像序列，因此，增加人脸检狈4 和跟踪的预处理部分后，所有基于图像的识别方法理论上都可以用于视频人脸识别。但视频的图像质量通常不高，而且视频中人脸的部分相对较小，只有通过充分利用时域信息，基于视频的方法才有优势。44 、基于三维数据( r a n g ed a t a ) 的人脸识别这类方法的特点是使用三维数据。近几年，随着三维数据获取技术的成熟，这类方法正越来越被受到重视。1 22 d 人脸识别1 2 12 d 人脸识别简述由于数字图像采集设备的快速普及，人脸的亮度图像获取非常方便且成本很低，因此，过去十年关于2 d 人脸识别算法的研究非常多，具有代表性的工作主要包括三类：( 1 ) 基于几何特征的方法【1 2 】人脸由眼、口、耳、鼻等主要器官组成，这些器官的形状决定了人脸的特点。通过计算人脸主要特征点，再用特征点的几何关系，如距离、角度等组成一个特征向量进行识别。这类算法最困难的地方在于如何准确提取人脸特征点，现有的特征点定位算法难以做到实用，同时也成为基于几何特征的人脸识别技术的瓶颈。( 2 ) 基于子空间分析的方法该类方法包括主分量分析技术f 1 3 1 、f i s h e r 线性判别规则技术f 1 4 】和独立分量分析( i c a ) 技术1 1 5 】及其变种。基于予空间的人脸识别技术性能显著，2 0 0 0 年的f e r e t评测报告认为主分量分析技术结合f i s h e r 线性判别规则技术是当时最好的人脸认证技术。主分量分析技术将人脸识别视为2 d 图像表象( a p p e a r a n c e ) 的比对问题，建立人脸的高斯特征空间后，将待比对人脸投影到这个空间中，再计算人脸在该空间中的相似度。f i s h e r 线性判别规则技术考虑了人脸的类内相似度与类间区别度。独立分量分析( i c a ) 技术则关注各特征之间统计意义上的独立性。( 3 ) 基于弹性聚束图的方法【1 6 l从神经生物学得到启发，该方法用g a b o r 小波作局部的特征提取，为人脸构建弹性聚束图，该图顶点包含多尺度的局部能量谱，边表示拓扑关系并带有几何距离标记。通过匹配弹性聚束图来寻找最接近的人脸。最近的f e r e t 评测报告表明，w i s t k o t t 等提出的动态弹性图匹配技术总体识别性能最佳。1 2 22 d 人脸识别的挑战与困难经过研究人员的不懈努力，基于图像的2 d 人脸识别技术日趋成熟，它在一定约束条件下已可取得较好的识别结果。然而，进一步的研究实验表明，光照、姿5北京交通大学硕士学位论文态、化妆、表情、年龄等变化会显著降低2 d 人脸识别算法的性能。2 0 0 2 年国际著名的人脸识别评测计划f r v t 对那些可能影响算法性能的因素做了较为全面的评测后，得出结论，以下几个因素对当前的2 d 人脸识别技术性能影响较大【1 7 】：( 1 ) 光照变化影响：尤其对室外获取的人脸图像，算法性能急需提高。( 2 ) 时间间隔影响：随着时间间隔的增加，算法性能近似线性下降。( 3 ) 脸部姿态影响：非正面人脸图像的识别性能很低。( 4 ) 人数增多引起的综合因素：当增大数据库的人数时，算法性能近似以人数的对数线性下降。此外，表情变化也是影响性能的重要因素，因表情引起的脸颊肌肉变化、嘴巴张合、眼眉区域变化等将给人脸图像带来巨大变化，并将显著降低2 d 人脸识别算法的识别率。正因为基于图像的2 d 人脸识别所面临的巨大困难与挑战，近几年学术界开始探索如何利用图像之外的信息提高系统的识别性能，而利用人脸的三维信息进行身份识别是其中一个最主要的探索方向。1 33 d 人脸识别3 d 人脸识别始于上世纪8 0 年代末9 0 年代初【嘲，但因当时处理器计算性能和3 d 数据获取设备的限制，相关研究处于非常初级的阶段，研究所用的数据集很小，离实际应用较远。随着计算、存储设备的飞速发展和3 d 数据采集技术的日益成熟，同时也由于2 d 人脸识别在性能提升方面遇到巨大挑战，上世纪9 0 年代末以来，学术界己越来越多地将目光投向3 d 人脸识别研究。尤其是2 0 0 4 年之后，人脸识别挑战计划f r g c 的实施，大大推动了国际上三维人脸识别的研究，并正促使其逐渐走向实用。当前，3 d 人脸识别已成为学术界的研究热点。1 3 13 d 人脸识别的基本框架图卜1 显示了自动3 d 人脸识别系统的基本步骤：( 1 ) 通过三维人脸数据采集设备获得待识别对象的脸部三维形状信息：( 2 ) 对获得的三维数据进行去噪、切割等预处理；( 3 ) - - - 维人脸曲面的中间处理模型，引入一个模型对人脸曲面进行处理，提高算法性能，例如人脸表情将改变人脸曲面的形状，可以引入一个弱化表情的模型以降低表情的影响；( 4 ) 从三维数据中提取特征，构建特征表达方法；( 5 ) 用分类器对提取的特征做分类判别，输出最后的决策。鉴于三维人脸数据采集的独立性，目前三维人脸识别算法研究通常是指以上基本步骤中的( 2 ) - ( 5 ) ，即假设三维人6脸数据已经获得。综述国商国图1 13 d 人脸识别的基本过程f i g l 1t h ep r o c e s so f3 df a c er e c o g n i t i o n1 3 23 d 人脸数据的表示方法在3 d 人脸识别的研究中，3 d 数据的主要表达形式有以下三种：( 1 ) ，f ，形式的深度图( d e p t hi m a g e )该数据形式是人脸某个视图的一个深度值矩阵，矩阵元素的下标值代表物体在空间中的位置，元素值代表物体在该位置到与视线垂直的某一参考平面的距离。深度图与灰度图类似，都是用规整网格采样。( 2 ) x y z 形式的点云( p o i n tc l o u d )一个三维脸部形状用某个坐标系中三维点坐标的集合表示，这些点之间没有特定的顺序。有些文献也将点云形式的数据称为深度图。( 3 ) - - 角形网格( m e s h )用若干连接在一起的三角形逼近三维曲面形状，是目前图形学应用领域最通用的曲面表示方式之一。7三一3 1 3 人脸数据颈处理 l中闫处理模型婊旨等j l特征提取n分类器 i - 决策结果北京交通大学硕士学位论文以上三种表达形式可以相互转化：三角形网格可通过重构算法从点云或深度图数据自动构建生成，如果只取三角形网格中的顶点即成为点云，深度图也可看作是一种特殊的点云，而固定视图后，通过插值，点云可转化为深度图。由于绝大部分3 d 获取设备得到的原始数据是深度图像或者点云形式，大部分算法以深度图或点云作为输入。三维数据的表达形式虽会影响三维人脸识别算法的适用，但并不是关键。三维人脸识别技术最核心的部分在于如何有效地处理表情、姿态并提取特征进行分类。1 3 33 d 人脸数据库目前国际上较大规模的人脸图像数据库已有多个，国外如f e r e t 、c m u p i e等，国内如计算所的c a s p e a l 等都可供学术界免费使用，这为2 d 人脸识别算法提供了一个很好的评测与性能比较的公共平台。2 0 0 4 年以前，在3 d 人脸识别领域一直缺乏较大规模的公用数据库，因而难以合理地横向比较研究者提出的不同算法之间的性能。近2 - 3 年，越来越多的研究组织开始建立自己的3 d 人脸数据库，表1 1 列出了部分文献用到的三维人脸数据库，其中部分可供研究人员免费使用，最著名的是2 0 0 4 年5 月起由“人脸识别挑战计划 组织采集的f r g c 三维人脸数据库。表1 1 部分文献用到的3 d 人脸数据库t ，i b k1 - l3 df a c ed a t a b a s eu s e di nt h er e f e r e n c e s数据库描述引文是否免费f r g cv 2 0数据在一年左右的时间内采集，从2 0 0 3 年春 1 9 是天到2 0 0 4 年春天，共计5 5 7 人、4 9 5 0 个模型，包含不同表情、不同性别、不同地域、不同年龄段的对象3 dr m a1 2 0 人，每人6 个点云深度数据，分两个时 2 0 是间段采集z j l j 一3 d f e d4 0 入，共3 6 0 个模型，每个人9 个三维 2 1 是数据，包括3 个中性表情、2 个微笑、2 个皱眉、2 个惊讶表情b j u t 。3 df a c e5 0 0 人，每人1 个三维数据，数据精度 2 2 是d a t a b a s e高，经过去噪处理8m s u1 0 0 人，每个人包含一个用5 个角度的 2 3 否视图构造的较完整的3 b 模型，大部分人有6个视图，3 个是中性表情，3 个是非中性表情，共计6 9 8 个模型p r i s m至少包含1 6 6 人，每人多种表情，采集 2 4 否对象包含不同种族、不同年龄，该计划目标是采集超过1 5 0 0 个以上的3 d 人脸，并有意保持一定的采集时间跨度中科院模式识1 2 3 个人，每人3 7 或3 8 个深度数据， 2 5 否别实验室数据包含不同表情、姿态、光照及以上条件c a s i a的各种不同组合，除姿态变化在8 0 度以上和戴眼镜的模型外，共4 0 5 9 个模型a r i s t o t l e5 0 个人，共3 0 0 0 个模型，3 3 个男性， 2 6 否u n i v e r s i t yo f1 7 个女性，年龄在2 0 岁至7 0 岁之间：在3二r t h e s s a l o n i k i个月左右的时间内采集，包含不同的表情、光照、姿态b u - 3 d f eb i n g h a m t o n 大学的学者采集的3 d 人脸 2 7 是二库，包含1 0 0 个人，其中每个人有一个中性模型和6 种带表情的模型，每种表情程度不同各有4 个。包含的表情有快乐、厌恶、害怕、发怒、惊讶和忧愁；采集对象包含白人、黑人、亚洲人、印度人等多个人种，4 4 名男性，5 6 名女性1 3 43 d 人脸识别的困难尽管3 d 人脸数据比2 d 图像包含更多的信息，3 d 人脸识别中的困难依然存在。事实上，在现有技术条件下，3 d 数据的获取比2 d 图像困难得多。具体表现为：( 1 ) 用于3 d 识别的完整信息难于获取，或者用于3 d 识别的信息往往是不完整的，这造成了识别算法本身不可纠正的错误。同时，由于图像采集设备的差异，成像原理的不同，也造成数据上的差异。由于3 d 识别的数据容量和计算量十分巨大，给存储和运算带来困难，也对计算机的硬件提出了更高要求。( 2 ) 如何自动地对原始3 d 人脸数据进行处理以得到仅包含脸部主要区域、质量较好的数据是一个待解决的问题。采用3 d 数据扫描设备得到的原始3 d 人脸数据9北京交通人学硕士学位论文包含很多的杂乱数据，可能包含头发、颈部和肩部等数据，这些数据不像人脸的主要区域那么稳定，其形状随发型、姿态和着装的变化而变化，因而不适合作为分类的数据，应该作一定的前期处理将这类数据剔除。( 3 ) 如何为3 d 数据确定一个统一的姿态也是一个问愿。3 d 人脸数据包含6 个自由度，导致3 d 数据的姿态比2 d 图像具更大的不可确定性，更难以配准。藤图l 五表情变化捌子，每一列模型来自于同一个人f i g1 - 2 t ：t a m p l e s o f e x p “o n v a r i e t y f l o a t p e r s c a( 4 ) 表情问题是3 d 人脸识别的重大困难，也是当前3 d 人脸识别领域的研究热点。正如表情将影响2 d 人脸图像，表情对3 d 人脸数据的影响是改变了人脸的3 d形状，如图1 - 2 所示，不同程度的表情造成同一个人的不同采集视图形状差别很大。采用形状匹配时类内的模型相似度很低，直接导致识别率下降i 划。( 5 ) 构造一种3 d 数据规整的表征方法也是3 d 人脸处理与识别中的核心问题。由于3 d 人脸模型表面是任意弯曲的，并且对3 d 模型顶点采样是非规则的，这使得传统的规则采样域上的分析方法难以直接用于三维数据，规整的表征方法使得3 d 模型上的几何处理与分析更为方便。【6 ) 研究面向3 d 人脸模型的分类与匹配技术也是一个值得思考的问题。3 d 人脸模型有其个性化的特点，研究针对其特点的分类技术更有利于提高算法识别能力。i a三维人脸识别方法综述三维人脸识别是相对基于图像( 及视频) 的人脸识别而言的，而后者所使用的数据是二维的图像。其本质是三维物体在二维平面上的投影，是三维信息在二维空间中的简约。综述按照匹配方式与特征形式将3 d 人脸识别算法分为四类进行介绍：基于空域信息的直接匹配；基于局部特征的匹配；基于整体特征的匹配：双模态融合方法。1 4 1基于空域信息的直接匹配基于空域直接匹配的方法对三维人脸数据在三维空间中不做显式的特征提取而直接进行匹配，通常以点云数据作为输入即可。常用的方法有迭代最近点法( i c p ，i t e r a t i v ec l o s e s tp o i n t ) 和h a u s d o r f f 距离法等。1 4 1 1i c p 匹配当将人脸视为近似刚体时，三维人脸识别可转换为脸部曲面形状的直接匹配与对齐。基于i c p 的直接匹配是当前最常用的三维人脸识别方法，i c p 方法本身最早由c h e r t 等例、b e s l 等几乎同时独立地提出，后经多位学者发展，已成为三维数据重构过程中一个非常有效的工具，被广泛用于同一刚性物体在相近视图下的三维数据几何对齐p o 。给定两个三维模型较合理的初始对齐预测的情况下，i c p 迭代地寻求两者之间的刚性变换以最小化对齐误差，最终实现两者空间几何关系的配准。基于i c p 的3 d 人脸匹配算法的典型思路是首先迭代地对齐两个人脸点云，然后用收敛之后的对应点距离构建两个点云的相似度量作为识别依据。基于i c p 匹配的识别算法平均性能较好，其最大问题是每对模型匹配都要用迭代方法对齐，计算代价很大。此外，i c p 收敛的条件是给定粗略的初始位置，需要额外的预处理时间。1 4 1 2h a u s d o r f f 距离匹配h a u s d o r f f 距离是两个点集之间的一种距离度量【3 1 1 。当把一个点云形式的三维人脸数据看作一个点集，即可直接用h a u s d o r f f 距离作为人脸的相似度量。基于h a u s d o r f f 距离的匹配方法需在两个人脸模型对齐的基础上进行，两个人脸数据集的h a u s d o r f f 距离越小则越相似。b a c h e r m a n n 3 2 1 等最早将h a u s d o r f f 距离用于度量人脸点云之间的相似性，他们使用了基于偏h a u s d o r f f 距离的方法。为了提高匹配速度，p a n 等【3 3 】改用单向的偏h a u s d o r f f 度量作为相似度。l e e 等m 】则提出了一种基于深度值加权的h a u s d o r f f距离( d e p t h - w e i g h t e dh a u s d o r f f d i s t a n c e ) 的3 d 人脸识别方法，首先用曲率提取出脸部重要特征点和特征边，匹配时计算两模型相对应部分的深度值加权h a u s d o r f f 距离，h a u s d o r f f 距离的计算面向深度值，但依赖于每一点曲率值。北京交通大学硕士学位论文r u s s 等【3 5 】提出用两个2 d 局部邻域h a u s d o r f f 度量来衡量a ，b 两个点集之间的距离；然后用这两个度量来查找两个点集中的匹配点对，基于匹配点对用最小二乘方法来对齐两个人脸深度图；最后用多分辨率的方法克服初始位置偏移较大的情况，匹配时仍然用两个2 d 局部邻域h a u s d o r f f 度量作为相似度量。1 4 2基于局部特征的匹配特征是从一个对象中提取的在一定条件下保持稳定不变的属性，其本质可以看作对一个对象的信息进行压缩或其它变换处理。对特征的要求，一是完备性，蕴含尽可能多的对象信息使之区别于其他类别的对象；二是紧凑性：表达所需的数据量尽可能少。对3 d 人脸识别而言，另一个要求是特征应该能在人脸模型旋转、平移、镜像变换下保持不变，人脸深度图上任意点的深度值依赖于产生该数据的视图，故不符合上述特征条件，而脸部某两个点的距离是符合上述条件的一个例子。基于局部特征的匹配方法关键在于如何从三维的脸部曲面中提取有效的几何形状信息特征。3 d 人脸识别中，局部特征主要包括( 1 ) 局部描述符；( 2 ) 曲线特征；( 3 ) 其他一些局部几何特征或统计特征。1 4 2 1 局部描述符在三维场景的目标识别领域，常用曲面上某点邻域内曲面的几何信息或几何统计信息描述该点的局部特征，这种方法通常称为局部描述符，如s p i ni m a g e 3 6 1 。局部描述符一般具有刚性变换恒定的性质。在3 d 人脸识别中，常用的策略是选择一些关键点，如鼻尖、眼框外角等，然后计算关键点的局部描述符，最后通过匹配两个人脸模型对应的关键点的局部描述符实现人脸匹配。c h u a 等【3 7 】提出了一个基于p o i n ts i g n a t u r e ( p s ) 的人脸识别方法。p s 用人脸曲面上某点邻域内一条曲线的形状信息来表征该点的形状。为脸部各点建立p s 后，通过匹配p s 找到两个模型的多组对应点对，然后粗略对齐两个模型，再用i c p 精确对齐模型。基于对应点欧氏距离建立一个高斯分布模型，这个模型可以提取出脸部的刚性变化的部分来匹配，以降低表情的影响。在两两匹配时，对齐模型后基于点与点之间的p s 匹配用投票的方法求最高投票率。1 4 2 2 脸部曲线特征若人脸曲面形状用若干从曲面提取的二维曲线近似表征，则可将三维人脸曲1 2面形状的匹配问题转化为二维曲线的匹配问题，从而大大降低问题的复杂性。基于曲线特征的匹配方法即属于此类思路。二维曲线可认为是曲面的一种稀疏采样，它能较好表征曲面的几何形状，优势在于数据空间从3 d 降到了2 d 。脸部曲面上的一些特征曲线( 如中心侧影线) 不但可用来估计人脸的姿态【3 8 】，也可作为3 d 人脸识别的特征。n a g a m i n e 等【3 9 提出基于脸部曲线匹配的3 d 人脸识别方法。首先用启发式方法提取脸部的5 个特征点( 内眼角，鼻尖，鼻根等) ，将人脸初步对齐，然后在对齐后统一的坐标系中提取三条曲线，分别是对称面的侧影线( p r o f i l