（测试计量技术及仪器专业论文）人脸识别系统的研究和应用.pdf

摘要人脸识别是近几年来非常受关注的研究课题之一。这一研究领域综合了多个学科：图像处理、模式识别、计算机视觉、神经网络，心理学等等。人脸识别所要解决的问题可以概述如下：给定场景下的静态图像或动态图像序列，应用已知人脸库，从场景里识别一个或多个人。本文研究静态人脸图像识别，这个问题的解决包括：从场景中分割人脸( 人脸检测) ，人脸区域的特征提取、识别或验证。在识别问题中，输入系统人脸图像是未知的人脸，系统将从人脸数据库中找出与输入一致的人脸。本文的主要研究 _ ：作：1 本文第一章主要研究与人脸识别相关的神经科学和计算机人脸识别的各种方法，探讨生物识别和计算机识别的相互联系，以及生物识别方法，特别是人脸识别技术的应用。2 自然界中的噪声可以看成是一种随机信号。根据图像获取的途径，噪声的融入有很多种方式。对于用于人脸识别的图像，由于噪声的引入，将不可避免地造成识别率下降。为了减少噪声对人脸识别各个环节的影响，本文第二章主要研究人脸识别系统中图像噪声的去除方法。3 人脸检测和人脸识别是近年来非常受关注的研究课题之一。在这一研究领域，如何确定人脸特征并对这些特征进行有效的提取是非常关键而且复杂。人脸边缘是人脸非常重要的一个特征。本文第三章主要研究人脸边缘检测的方法；第四章主要研究人脸检测方法、色彩空间、人脸肤色的检测和基于c r c b y 的人脸检测方法。4 在进行人脸识别前，必须对人脸图像进行处理，本文第五章主要研究人脸图像的归一化方法。5 在现实应用中，人脸图像的数据量将非常庞大，这些数据并非都很重要。为了有效地提高识别效率，必须对人脸图像进行特征提取，以每个人脸的特征量来代替这些庞大的数据量。本文第六章主要研究特征提取方法。6 模式识别和人工智能所研究的是如何用计算机实现人脑的一些功能。人脸由于具有虽有固定结构却无固定形状的这种模式的特殊性，使其识别方法很特殊。神经网络用于人脸识别，可以取得比较满意的结果。本文第七章主要研究人工神经网络。关键词：人脸检测；人脸识别：特征提取；神经网络a b s t r a c tm a c h i n er e c o g n i t i o no fh u m a nf a c es t i l la n dv i d e oi m a g e si so n eo ft h ea c t i v er e s e a r c ha r e a si n c l u d i n gs e v e r a ld i s c i p l i n e ss u c ha si m a g ep r o c e s s i n g ，p a t t e mr e c o g n i t i o n ，c o m p u t e rv i s i o na n dn e u r a ln e t w o r k s ，p s y c h o l o g ya n ds of o r t h ag e n e r a ls t a t e m e n to ft h ep r o b l e mc a l lb ef o m a u l a t e da sf o l l o w s ：g i v e ns t i l lo rv i d e oi m a g e so fas c e n e ，i d e n t i f yo rv e r i f yo n eo rm o r ep e r s o n si nt h es c e n eu s i n gas t o r e dd a t a b a s eo ff a c e s i nt h i st h e s i s ，a u t h o rs t u d i e st h es t i l lh u m a nf a c ei m a g e t h es o l u t i o nt op r o b l e m si n v o l v es e g m e n t a t i o no ff a c e s ( f a c ed e t e c t i o n ) f r o mc l u t t e r e ds c e n e s ，f e a t u r ee x t r a c t i o nf r o mf a c er e g i o n ，r e c o g n i t i o no rv e r i f i c a t i o n t h ei n p u ti m a g ei su n k n o w n ；t h r o u g ht h es y s t e mt h ef a c ei nt h ed a t a b a s ew h i c hi st h em o s ts i m i l a rt ot h ei n p u ti sd e c i d e d t h em a i n l yr e s e a r c h i n gc o n t e n t si nt h i st h e s i s ：1 i nt h ef i r s tc h a p t e r , a u t h o rs t u d i e st h en e u r a ls c i e n c ew h i c hi sc o n c e m e dw i t hf a c er e c o g n i t i o na n ds e v e r a lc o m p u t e rh u m a nf a c er e c o g n i t i o nt e c h n o l o g i e s a u t h o ra l s od i s c u s s e st h er e l a t i o n s h i pb e t w e e nt h eb i o l o g yr e c o g n i t i o na n dc o m p u t e rr e c o g n i t i o n ，a sw e l la sa u t h o rs t u d i e sb i o l o g yr e c o g n i t i o nm e t h o d ，e s p e c i a l l y , t h ea p p l i c a t i o no f h u m a nf a c er e c o g n i t i o n 2 t h en o i s ec o u l db es e e na st h er a n d o ms i g n a l a c c o r d i n gt ot h ew a yi nw h i c ht h ei m a g e sa x ec a p t u r e d ，t h e r ea r em a n yw a y sn o i s eb l e n di n t ot h ei m a g e s b e c a u s eo fn o i s e ，t h er e c o g n i t i o nr a t eo ft h es y s t e mi sd e c r e a s e d i no r d e rt oi m p r o v et h er e c o g n i t i o nr a t e ，t h ed e - n o i s i n gm e t h o d si nf a c er e c o g n i t i o ns y s t e mi ss t u d i e di nt h es e c o n dc h a p t e r 3 h u m a nf a c ed e t e c t i o na n dr e c o g n i t i o ni so n eo ft h eh o t t e s tf i e l d si nr e c e n ty e a r s h o wt od e f i n ea n de x t r a c tt h ef e a t u r eo fh u m a nf a c ei sv i t a la n dc o m p l i c a t e d t h ee d g ea n dc o n t o u ro ff a c ei so n eo fi m p o r t a n tf e a t u r e t h em e t h o d so fh u m a nf a c ee d g ed e t e c t i o na r ec a r e f u l l ys t u d i e di nt h et h i r dc h a p t e r t h eh u m a nf a c ed e t e c t i o n ，c o l o rs p a c e ，t h ed e t e c t i o no fh u m a nf a c es k i nc o l o ra n dh u m a nf a c ed e t e c t i o nb a s e do nc r c b ya r em a i n l ys t u d i e di nt h ef o u r t hc h a p t e r 4 b e f o r eh u m a nf a c er e c o g n i t i o n ，t h ei m a g en e e dt ob ep r e p r o c e s s e d ，t h er e g u l a r i z e dm e t h o d so f h u m a nf a c ei m a g ei ss t u d i e di nt h ef i f t hc h a p t e r 5 t h e r ea r eg r e a tm a n yo f d a t ai nt h eh u m a nf a c ei m a g e ，b u tn o ta l lo f t h ed a t aa r ei m p o r t a n t i no r d e rt om a k et h er e c o g n i t i o nq u i c k l y , i ti sn e c e s s a r yt oe x t r a c tf e a t u r ef r o mf a c ei m a g e sa n di n s t e a do ft h ef a c ei m a g ew i t l lt h ef e a t u r e t h ef e a t u r ee x t r a c t i o nm e t h o d sa r em a i n l ys t u d i e di nt h es i x t hc h a p t e l6 h o wt or e a l i z et h ec e r t a i nf u n c t i o n so fh u m a nb r a i ni nc o m p u t e ra r es t u d i e di np a r e mr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e h u m a nf a c ei sv e r ys p e c i a l i th a sd e t e r m i n a t ec o n f i g u r a t i o na n dd o e s n th a v ed e t e r m i n a t es h a p e s ot h em e t h o d su s e dt or e c o g n i z eh u m a nf a c e sa r ea l s os p e c i a l n e u r a ln e t w o r kp a t t e r nr e c o g n i t i o nc o u l dg e tb e r e rr e s u l ti nh u m a nf a c er e c o g n i t i o ns y s t e m t h ea r t i f i c i a ln e u r a ln e t w o r ki ss t u d i e di nt h es e v e n t hc h a p t e lk e y w a r d s ：f a c ed e t e c t i o n ；f a c er e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；n e u r a ln e t w o r k厦门大学学位论文原创性声明兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本人在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方式标明。本人依法享有和承担由此论文产生的权利和责任。声明人( 签名) 咎压群纱矽d 石年月3 - 日厦门大学学位论文著作权使用声明本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版，有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。本学位论文属于1 、保密() ，在年解密后适用本授权书。2 、不保密()( 请在以上相应括号内打“4 ”)作者签名：屈砂缈日期：姗f 年石月歹日导师签名：朗闺靖日期：? 弼年月6 日第一章人脸识别技术背景与综述第一章人脸识别技术背景与综述人脸识别作为图像处理和图像分析的最成功应用之一，最近几年来成为研究图像识别的热点，受到广大学者的特别关注。在人脸识别的国际会议：如a f g r i l 】和a v b p a 2 1 对人脸识别技术进行了系统的实验与评估，包括f e r e t 3 ，4 ，5 ，6 1 和x m 2 t v s ”草案( 协议) 。出现这个趋势的重要原因至少有两个：第一个是商业方面发展和法律方面对这项技术的应用需求；第二个是经过三十多年的研究和发展，技术逐步成熟。虽然已有非常可靠的生物身份识别方法存在，例如指纹分析和视网膜或瞳膜扫描，但这些方法需要参与者的协作。然而基于正面人脸图像或人脸轮廓的身份识别系统不需要参与者的协作。p h i l l i p s 8 】详细叙述了不同生物测定的方法的优缺点。表1 1 是人脸识别的典型应用。表1 1 人脸识别的典型应用阴领域具体麻用驾驶执照，生物测定移民，身份证，密码，选举注册社会安全桌面登入( w i n d o w s )应用软件安全数据库安全，文件加密信息安全局域网( i n t r a n t ) 进入，i n t e m e t 进入，医疗记录交易终端的安全高级视频监视，c c t v 控制法律实施和监视入口控制，已过事件的分析入店行窃监视跟踪和调查智能卡存储安全，用户鉴定访问控制设备的访问，车辆的访问人脸识别所要解决的问题归纳如下：给定场景下的静态图像或动态图像序列，应用已知人脸库，从场景里识别一个或多个人，可以结合种族、年龄、性别、人脸表情和语音等多种方法，提高系统的识别率。关键问题的解决包括：从场景中分割人脸( 人脸检测) ，人脸区域的特征提取，识别或验证。在识别问题中，输入系统的是未知的人脸，系统将从人脸数据库中找出与输入一致或近似率较高的人脸；接着在系统中进行鉴别，系统经过分析，对输入人脸的判别结果做出接受或拒绝。商业用途和相关法律的实旋给人脸识别技术( f r t ) 从静态、可控制格式的人脸识剐系统的研究和碰用照片到动态、不可控制的视频序列图像，带来了一系列技术挑战。进行人脸识别需要应用图像处理、图像分析、图像理解和模式识别等多学科的交叉技术。从广义上来分析，可以把人脸识别所面临的技术难题分为以下两类：静态和动态匹配。这两类在具体应用中同样存在着很大的差别。不同点包括：图像质量，大量不同的背景( 增加了分割算法的难度) ；精心设计的匹配准则也因实际情况而有很大的不同，例如，使用者的数量、类型和自然特性等等。在某些应用中也存在差别，例如应用计算推断某人在不同年龄的长相，即一个人的图像通过一系列已设置的传递函数，基于他们现在获得的图像预测他将来可能的长相。1 9 9 5 年，c h e l l a p p ae ta 1 9 1 的篇综述文章详尽地概述了当时人脸识别技术( f r t ) 的进展，目前能查到的文章中，较早的一篇综述文章是s a m a l 【l0 发表于1 9 9 2 年，那时，对视频的人脸识别技术的研究刚刚开始。在过去的五年里，人脸识别受到了很大关注，在技术方面也取得了很大的进步，许多应用人脸识别技术的商业系统逐步问世。目前研究人员的主要精力集中在基于视频的人脸模型、处理和识别。可以毫不夸张地说，人脸识别己成为模式识别、图像分析和理解中最成功的应用之一。1 1 神经物理学与人脸识别相关的神经科学一般人的人脸识别系统使用大范围的光谱刺激，大部分从人的感知器官获取，但不是从所有的感知器官( 视觉、听觉、嗅觉、触觉等等) 。这些刺激或者单独作用或者联合作用于保存和修复人脸图像。在很多情况下，要应用到相关的信息，例如，周围的环境，对于人脸识别中的人脸的位置起到很重要的作用。人们认为，试图设计一种模拟所有人类的能力的系统是没有意义的。人脑在精确记住人的总个数上有其不足之处。相比之下，计算机系统最具优势的能力是可以处理大量的人脸数据库。在许多应用中，图像是单一的或多角度的两维密度数据。这使输入算法的图像是多角度的。由于这些原因，在这部分涉及与人类视觉感知相关的内容。许多心理学和神经科学方面的研究成果和发现，直接引起了工程： 作者对设计机器人脸识别算法和系统的兴趣【1 1 】。例如，光线影响因素在工程上的一个可能解释【1 2 1 是：对于熟悉的人脸，在记忆中已建立了三维模型：当实际的光线方向和第一章人脆识别技术背景与综述一般设想的方向相反时，阴影原型重构( s h a p e - f r o m s h a d i n g ) 算法可以从不正确的结构信息中恢复形状，这样的结果使人脸识别更加困难。由于神经物理学和神经科学方面的研究不属于本文研究范围。因此，本文只对与人脸识别系统设计相关的内容进行研究。相关的研究背景以及作者感兴趣的内容如下：人脸识别是一个精细的处理过程 1 3 , 1 4 1 9 在这方面最新的研究表明人脸识别是一个精细的过程，和一般的物体识别大有区别【14 】。通过试验得出的人脸识别和实物识别有七大不同点如下：( 1 ) 结构影响( 这和选择不同类型的机器识别系统有关) ；( 2 ) 专门技能：( 3 ) 不同的表示；( 4 ) 对相反的极性和光线方向敏感( 这和机器识别中的照明有关) ；( 5 ) 度量；( 6 ) 深度旋转( 这和机器识别中系统的姿态有关) ；( 7 ) 平面旋转，颠倒的人脸。人脸感知是由于整体分析的结果还是特征分析的结果【1 5 j ? 整体信息和特征信息对人脸感知和识别都非常重要。研究表明识别首先利用的是整体信息，接着为了更准确的识别而基于特征信息。如果有了主要的特征信息，那么就可以不用整体信息。例如，在一个人脸记忆的研究中，发现人们很容易记住那些奇异的特征，像大耳朵，弯钩鼻，大眼睛等等。与其他的物体识别不同，因为人脸会发生变形，所以人脸识别需要更多局部的特征信息和整体信息。1 2 人脸识别的生物视觉特征近几年的研究表明【1 6 l ，人类视觉数据处理是多层次的过程，其中最低层的视觉过程( 视网膜功能) 起信息转储作用，即将大量图像数据转换为较为抽象的信息，这一任务由视网膜中的两类细胞完成：低层次细胞对空间的响应与小波变换作用类似，高层次细胞则依据低层次细胞的响应，而作出具体的线、面乃至物体模式的响应。这表明在视觉处理过程中，神经元并不是随便地、不可靠地把视觉图像的光照强度投射到感觉中枢，它们以检测模式单元，区分物体的深度，排除无关的变化因素，并组成一个使人感兴趣的层次结构。人脸识别不仅有着以上普通视觉过程的特点，而且还具有以下独特之处：( 1 1 针对人脸识别，大脑中存在一个专门的处理过程。经过长期的研究【3 1 4 】，人们发现大脑对人脸形状有着特殊的兴趣。人脸识别系统的研究和应用( 2 ) 不同的局部特征作用对识别的贡献也不周。研究也表明，头发、人脸轮廓、眼睛以及嘴巴对识别和记忆有着重要影响，鼻子的作用则不是很重要。通常来讲人脸的上部比下部对识别作用更大些。( 3 ) 不同空间频率上信息的作用不同。低频信息代表了整体的描述，高频信息包含了局部的细节。对于性别的判断，仅利用低频信息就足够了，对身份识别没有高频信息就无法完成。f 钟光照对视觉的影响。有实验表明，从人脸底部打光会导致识别困难f i 。( 5 ) 动态信息比静态信息更利于识别。研究还发现2 0 1 ，对熟悉的人脸，人类的识别能力在动态场景中要高于静态场景。佑) 面部表情的分析与人脸识别并行处理。通过对脑部受损的病人研究表明【2 l 】，表情的分析与识别的处理虽有联系，但总体来说是分开的。1 3 计算机人脸识别方法阚l “l计算机人脸识别方法的研究主要有两大方向：一是基于人脸图像部件特征的识别方法；二是基于人脸图像整体特征的识别方法。基于人脸图像部件特征的识别通常抽取人脸器官如眼睛、眉毛、鼻子和嘴等器官的位置，尺度以及彼此间的比率作为特征。进一步可以用几何形状拟合人脸器官，从而以几何参数作为描述人脸的特征。由于此类方法要精确地抽取出位置、尺度、比率或几何参数作为描述人脸的特征，因此，对人脸图像的表情变化比较敏感。同时，人脸器官分割的精确度也对人脸特征的提取有一定的影响。另外该类方法并没有充分利用到人脸图像本身具有的灰度信息，该方向已经不是人脸识别技术发展的主流方向。基于人脸图像整体特征的人脸识别方法由于不需要精确抽取人脸图像中部件的具体信息，而且可以充分利用到人脸图像本身的灰度信息，因此可以获得更好的识别性能。目前，各类杂志期刊和会议发表的文章大部分是这方面的。基于人脸图像整体特征的人脸识别方法主要有特征脸法，最佳鉴别矢量集法，b a y e s i a n ( 贝叶斯) 法，基于f o u f i e r ( 1 j 莓立时) 不变特征法，弹性图匹配法，相关方法，线性子空间法，可变形模型法和神经网络法等。这些方法有的侧重于表述人脸图像的特征提取，如弹性图匹配法、f o u r i e r 不变特征法：有的侧重于分类，4第一章人脸识别技术背景与综述如鉴别矢量集法、b a y e s i a n 法和神经网络法；而有的侧重于人脸图像重构，如特征脸法和线性予空间法。所有这些基于人脸图像整体特征的人脸识别方法均取得了定的识别性能。下面分别介绍几种主要的人脸识别方法。1 3 1 基于特征的识别方法基于特征脸的人脸识别方法口5 1 的基础是k - - l ( k a r h u n e n l o e v e ) 变换。kl 变换是图像压缩中的一种最优正交变换。通过k l 变换，可以把图像在高维空问表示转换到低维空间表示，而由低维空问恢复的图像和原图像具有最小的均方误差。从而可以以图像在低维空问的变换系数作为人脸图像的描述特征。kl 变换用于人脸识别的前提是人脸处于低维空间，并且不同人脸是线性可分的。通常情况下，k l 的变换矩阵由训练样本类间散布矩阵的特征矢量生成。由于人脸模式具有相似性，出类间散布矩阵得到的特征矢量类似于人脸图像，特征脸方法因此得名。若将k - - l 变换矩阵的特征值从大到小排列为 ，如，丸，与其相对应的特征矢量为u = ，毪，“。】，则人脸图像在变换空间的表示为c = x u ，c 即为用于人脸识别的特征。由于将变换矩阵的特征值按特征值的大小排列，人脸图像在前面的特征矢量上的投影具有较大的能量，称为主分量；在后面的特征矢量上的投影具有较小的能量，称为次分量。当舍弃部分次分量时，k l 变换法也称为主元素分析法( p r i n c i p a lc o m p o n e n t a n a l y s i s ) 。由于人脸图像具有相似的形状和结构，人脸图像在主分量上的投影过多地反映了光照变化，因此有人提出舍弃入脸图像在前三个特征矢量上的投影，而把人脸图像在其余特征矢量上的投影作为描述人脸图像的特征。b e l h u m e u r l 2 6 1 的实验结果表明，以这种方式求取k l变换矩阵，可以使识别率从5 8 5 上升到7 2 3 。k l 变换是数字图像压缩领域里的一种最优变换，它使从低维空间恢复的人脸图像和原图像的均方误差最小。但k l 变换只是从压缩角度看最优的，从分类角度来看却不是最优的。虽然它考虑了人脸图像的所有差异( 从压缩角度) ，但没有考虑这些差异是类内差异( p n 光照、头饰变化或几何变化) ，还是类间差异( 从分类角度) 。人脸识别系统的研究和应用1 3 2 基于最佳鉴别矢量集的人脸识别方法基于最佳鉴别矢量集的人脸识别方法1 2 2 】【2 3 】分为两个方向：基于f i s h e r 线性判别技术和基于f o l e y s a m m o n 变换。其实质都是使样本在特征空间具有最大的类间距离和类内距离之比。设样本在原空间的类问散布矩阵为瓯，类内距离瓯，则在特征空间，类间距离和类内距离之比为：f饵7 配蛾( 仍，仍) = l 一( 1 一1 )鲤7 & 仍i = l则最佳鉴别矢量集由下式给出。妒= m a x ( j f ( 妒) )( 1 2 )其中，妒= 【仍，仍 。基于f i s h e r 线性判别技术2 6 1 求取的最佳鉴别矢量集为对应矩阵1 & 较大特征值的特征矢量，该矢量集之间不正交，但样本在该矢量集上的投影线性无关。基于f o l e y s a m m o n 变换 2 7 】求取的最佳鉴别矢量集为对应矩阵1 鼠较大特征值的特征矢量，但是在求取最佳鉴别矢量时，加上了鉴别矢量的正交约束。这样，该矢量集之间正交，但样本在该矢量集上的投影线性相关。通常情况下，基于f o l e y s a m m o n 变换最佳鉴别矢量集是分步求取，并不能保证全局最优。郭跃飞f 2 8 给出了求解基于f o l e y s a m m o n 最佳鉴别矢量集的过程中加入了无相关约束。分析表明，其结果实质就是基于f i s h e r 线性判别技术求取的最佳鉴别矢量集。最近几年，有人p 0 1 提出基于k e r n e lf i s h e r 判别技术求取最佳鉴别矢量集，其思想是将样本从低维线性空间变换到高维非线性空问，然后再求取最佳鉴别矢量集，其识别性能相对于经典f i s h e r 技术有所提高。和基于k l 变换的人脸识别方法相比，基于f i s h e r 技术的人脸识别方法能够压制图像之间的与识别信息无关的差异，同时能够提取出异类之间有益于识别的特征，因此，具有更好的识别性能。b e l h u m e u r 2 6 1 的实验结果表明，相对于其他的计算机人脸识别方法，基于最佳鉴别矢量集的方法的识别率是最高的。1 3 3 基于b a y e s i a n 脸的人脸识别方法b a y e s i a n 决策理论是模式识别领域中的经典理论。应用b a y e s i a n 决策理论6第一章人脸识别技术背景与综述进行模式分类，首先要知道各类的先验概率密度函数。由于在计算机人脸识别应用中，每类训练样本较少，不能够从训练集中精确地估计出每类人脸分布的概率密度函数，因此，不能直接应用b a y e s i a n 决策理论进行计算机人脸识别【3 1 1 1 32 1 。通常，将计算机人脸识别的多类分类问题转化到两类问题，即将多类的人脸图像的概率分布转化到两类的同类人脸图像的概率分布和异类人脸图像的概率分布。对于两类问题，每类的训练样本较多，可以较精确地估计出各类的概率密度函数。该方法首先假设同类人脸图像和异类人脸图像都服从高斯分布。对于一幅待识别人脸图像，将该图像和人脸库中的每一类人脸图像做差，并分别求出该差属于同类人脸图像和异类人脸图像的条件概率。若同类条件概率大于异类条件概率，则认为二者为同一人脸图像；若同类条件概率小于异类条件概率，则认为二者为不同人脸图像。由于该方法对同类人脸图像和异类人脸图像的概率密度函数进行估计，在分类过程中应用了个类分布的先验信息，因此可以在一定程度上克服人脸图像光照、表情等变化对人脸识别系统的影响。在1 9 9 6 年进行的f e r e t 人脸识别测试中，该方法取得了最好的识别效果。识别率约为9 5 ，其综合识别性能明显优于其他参加测试的人脸识别方法。1 3 4 基于f o u r i e r 不变特征的人脸识别f o u r i e r 变换是将处理数据在时域描述转化为频域描述，从而可以获得许多在时域得不到的特征。f o u r i e r 变换是一种正交变换，它有很多重要特性。对于一个二维信号，f o u r i e r 变换具有平移不变特性、尺度同变性和旋转同变性等很多重要的性质。而对计算机人脸识别这样的应用，在图像中，人脸的平移变化，尺度变化都是不可避免的。一般的人脸识别方法都需要对人脸图像的这些变化做标准化预处理。而应用f o u r i e r 变换提取人脸特征，能够得到相对于这些变化不变的特征。m o g h a d d a m 3 3 】提出了一种应用f o u r i e r 变换性质提取f o u r i e r 不变特征进行人脸识别的方法。该方法首先应用小波变换对人脸图像进行预处理，以减小表情等细微人脸变化对人脸特征提取的影响；然后对人脸图像进行f o u r i e r 变换并取模，从而获取对平移变化不敏感的频域特征信息；再对该频域信息的坐标进行对数变换，从而将人脸图像的尺度变化转换成为平移变化；最后将结果转换成极坐标形式。从而将人脸图像的旋转变化也转换为平移变化，再进行一次f o u r i e r 变人脸识别系统的研究和应用换并取模，最终得到了对平移、尺度和旋转变化不变的f o u r i e r 变换特征。m o g h a d d a m 3 3 所给出的实验结果中，应用f o u r i e r 不变特征的人脸识别方法的识别率为9 5 5 6 ，而特征脸方法，相关方法，线性子空间方法和f i s h e r 方法的识别率分别为8 0 4 0 ，8 0 0 0 ，8 4 4 0 和9 4 0 0 不等。可见，相对其他的人脸识别方法，基于f o u r i e r 不变特征的计算机人脸识别方法具有显著的优势。应用f o u r i e r 变换性质进行人脸识别是计算机人脸识别技术的一个新方向，虽然f o u r i e r 变换已经广泛应用于众多的信号分析处理领域，但其在人脸识别方面的应用才刚刚丌始。1 3 5 基于弹性图匹配的人脸识别方法在一般的基于人脸图像整体的识别方法中，由于是将人脸图像作为一个整体模式来考虑，人脸的姿态变化、表情变化和头饰变化都可能对人脸识别有很大的影响。究其原因，就是没有考虑到人脸图像的局部变形。而基于弹性图匹配的人脸识别方法【”1 1 3 5 】不仅可以利用整幅人脸图像的知识信息，而且还允许局部特征在一定程度上的变形，在很大程度上克服了人脸姿态变化、表情变化和头饰变化对人脸识别的影响。基于弹性图匹配的人脸识别方法采用属性拓扑图来表示人脸模式，通常情况下，属性拓扑图为二维稀疏网格，如图1 1 所示。属性拓扑图上的每个顶点均包含一特征矢量，它记录了人脸在该顶点位置的分布信息，如图i 2 所示。属性拓扑图可以采用各种描述局部信息的特征，如小波特征、形状特征和统计特征等。在识别阶段，采用弹性匹配的方法来进行分类。在弹性匹配过程中，未知人脸图像与已知人脸模板之问的相似性度量由式( 1 - - 3 ) 给出。e ( m ) = 军l 一：赫l + 五荔【( 一f 2 ) 一( 一矗) 2 ( 1 3 )其中，前一项用来衡量局部特征之间的相似程度，后一项用来衡量局部特征的变形程度。从二维稀疏网格到实际人脸图像的映射数目是相当大的，这样应用弹性匹配进行人脸识别的时f 7 也是非常长的，不切实际。通常的做法是，首先舍弃弹性匹配相似性度量函数的后一项，用严格硬匹配找出匹配的最佳位置。然后在此基础上，随机选取各网格顶点附近的邻点进行弹性匹配，这样便节省了大量时间第一章人脸识别技术背景与综述而识别率不会显著下降。图1 1 定义在人脸上的二维拓扑图图1 2 表达人脸特征的二维向量通常情况下，应用不同尺度和方向的椭圆形小波提取拓扑图顶点处的人脸特征。较小尺度的小波用来描述局部细节，较大尺度的小波用来描述大范围内的概貌，不同方向的小波对方向信息敏感。因此说，在弹性匹配中，应用小波变换提取特征，对细微表情变化具有一定的不变性，同时也保留了空间位置信息，因此更适于进行人脸识别。j u nz h a n g 2 4 】用综合人脸库对特征脸法和基于小波特征弹性匹配法进行比较实验，识别率分别为6 6 和9 3 ，基于弹性匹配的人脸识别方法要明显好于基于特征脸的人脸识别方法。通过上述的介绍分析可以看出，基于弹性匹配的人脸识别方法不同于其他的人脸识别方法。原则上讲，它应该是介于人脸图像部件特征和基于人脸图像整体特征之间的一种人脸识别方法。它不仅提取了描述人脸图像的局部特征，保留了人脸图像的空间信息，而且可以在一定程度上容忍人脸从三维n - 维投影引起的变形，因此它在众多的人脸识别方法中占有重要位置。1 3 6 基于相关技术的人脸识别方法在图像空间中，最简单的分类策略是最近邻分类器。在这种策略下，一幅测试集中的图像被识别为训练集中的最近图像，距离采用图像空间测度。如果所有图像都被标准化成为具有零均方值和单位方差，那么这个过程相当于选择训练集中和测试集图像最相关的图像。因为有了标准化过程，结果独立于光源照度和视频照相机自动控制的影响。相关的方法( 2 6 】实现如下：首先在图像中检测出人脸，并对人脸图像的尺度和方向进行标准化；再将标准化后的人脸图像标准化为零均值和单位方差；最后应用相关的方法进行识别。这个过程，称之为相关。在b e l h u m e u r 【2 6 】给出的实验结果中，基于相关技术的人脸识别方法的识别率为9人脸识别系统的研究和应用6 6 1 ，要好于基于特征的识别方法。但其缺点是：第一，如果训练集中的图像和测试集中的图像是在不同的光照条件下获得，那么图像空间中对应的点可能不会紧密聚集成簇。所以，为了使该方法在各种光照条件下都能可靠工作，将需要一系列训练样本，对可能出现的光照条件的连续性进行采样。第二，相关方法的计算量较大，对识别来说，必须将测试图像和训练集中的每幅图像都做相关运算。第三，它需要较大的存储空间，训练集必须包含每个人的数幅图像。1 3 7 基于线性子空间的人脸识别方法相关方法和特征方法都不能解决光照方向变化引起的影响。每种方法都没有利用这样的观察：对于一个没有阴影的朗伯表面【2 酊，一个特定的人脸图像存在于三维的线性子空间。当通过照相机摄入物体表面时，点p 成像灰度的结果由下式n - - 4 ) 给出e ( p ) = 口( p ) n ( p ) 7s( 1 4 )因此，在没有阴影存在的情况下，给定同一物体在三种已知的、线性独立的光源方向摄入的三幅朗伯表面的图像，能计算出反射率和表面法线。这样，能够通过线性组合这三幅原始图像来重构任意光照条件下的表面图像。该结论给出了应用该方法进行人脸识别的一个简单算法。对于每一个脸，用三幅或更多在不同光照方向摄入的图像构造线性子空间的一个三维或多维基，每幅图像认为是一个基图像。为了实现识别，需要简单计算一幅新图像和每个线性子空间的距离，然后新图像识别为对应最短距离空间中的人脸，称这种识别策略为线性子空间方法【2 6 】。如果没有噪声或阴影，并且物体表面遵守朗伯反射模型，则线性子空间方法能达到各种光照条件下的无误差分类。b e l h u m e u r l 2 6 1 给出的实验结果中，基于线性子空间的人脸识别率为9 0 8 ，要好于基于特征脸的识别方法和基于相关技术的识别方法。然而，朗伯表面反射模型要求考虑其他一些问题：第一，由于人脸图像的某些区域存在自阴影、眼睛和面部表情等的变化，不适合线性子空间模型；第二，为了识别一幅图像，必须度量其到每个人的线性子空间的距离，它的计算量也是很大的：最后，从存储的观点来看，线性子空间的方法对于每个人必须存储三幅以上的人脸图像，存储量是相当大的。第一章人脸识别技术背景与综述1 3 8 基于可变形模型的人脸识别方法在一般的基于人脸图像整体特征的人脸识别方法中，都没有考虑到人脸姿态变化、表情变化等对人脸识别的影响，也就是没有充分利用到人脸模式所包含的形状信息。a n d r e s sl a n i f i s 3 6 1 提出了一种基于可变形模型的人脸识别方法。它分别从形状、总体灰度和局部狄度三个方面来提取人脸特征。在训练阶段，以手动方式标记人脸图像上描述人脸器官和人脸轮廓形状的关键点，从而形成人脸图像的点分布模式。以关键点的位置作为描述人脸模式的形状信息，同时得出平均人脸形状。然后依据平均人脸形状，用点分模式对人脸图像进行变形，以生成形状无关人脸，从而得到人脸图像相对姿态不变、表情不变的灰度信息。以此人脸图像作为描述人脸模式的总体灰度信息。另外，对于每一个关键点，提取其所在轮廓垂直方向的狄度信息，并以人脸图像整体尺度进行规范化。以此灰度作为描述人脸模式的局部灰度信息。其中特征提取是基于k - - l 变换展丌的。分别由形状信息、总体灰度信息和局部灰度信息统计生成k - - l 变换矩阵，以形成不同的特征空问。在识别阶段，将平均人脸形状放置在待以别人脸图像上，然后应用活动形状模型提取出待识别人脸图像上描述人脸器官和人脸轮廓形状的关键点，从而得到待识别人脸图像的形状信息，总体灰度信息和局部灰度信息，并分别投影到相应的特征空间进行识别。可变形模型中的三种信息可以分别用于人脸识别，但若要完整地描述一个人脸模式，则要综合全部这三种信息。a n d r e s sl a n i f i s 3 6 j 给出的实验结果表明，可变形模型对图像编码、身份识别、三维姿态恢复、姿态识别和表情识别均有较好的效果。1 3 9 基于神经网络的人脸识别方法由于近代人工神经网络技术在模式识别领域的成功应用，科研人员曾尝试应用神经网络技术进行人脸识另l j 3 7 p 引。目前有很多基于神经网络进行人脸识别方面的文章。通常情况下，选取人脸图像部件区域或整幅人脸图像作为神经网络的输入数据，隐层节点的个数决定了特征提取的维数，输出层节点的个数为待识别人脸的类数。但对象人脸识别这样的应用来说，通常输入节点庞大，网络复杂，很难训练，b o u r l a n d 3 8 1 提出可以应用自组织神经网络进行特征提取，用自组织网络的隐层节点来表达原始的输入，然后以隐层节点的输出作为特征进行分类。r o w l e y 3 9 1 对其性能进行了系统地分析。若输出函数选为线性函数时，训练结果人脸识别系统的研究和应用相当于特征脸水平；若输出函数选为s i g m o i d 函数时，特征矢量通常要偏离这个最优解。因此说应用神经网络进行人脸识别结果并不是很好，还有很多问题需要解决。人工神经网络方法是把模型的统计特征隐含于神经网的结构和参数中，对于人脸这类复杂的、难以显式描述的模型，基于神经网络的方法具有独特的优势。r o w l e y i 蚓建立了一种三层向前网，输入层对应2 0 x 2 0 像素的图像区域；隐层分为2 6 个单元，其中4 个单元处理区域为1 0 1 0 像素，1 6 个单元为5 5 ，6个单元为2 0 5 ，如图1 3 所示。隐层的输出与输出层相连进行综合判断，输出区间【_ 1 ，1 的值表示这个区域是否为人脸。为了解决人脸姿态的问题，r o w l e y 分别设置了三个姿态检测器对输入图像先进行预处理，尽量消除光照的影响，然后送入姿态检测器，估计人脸的姿态，经校准和预处理后，送入三个检测器( 正面人脸、半侧面和侧面) ，最后对检测器的结果进行综合判断。人工神经网络的方法便于建模，鲁棒性较好，但是运算速度较慢。r o w l e y 统计过单纯用人工神经网络的方法，在1 7 0 m h zr 1 0 0 0 0s g i 工作站上处理3 2 0 2 4 0 像素的图像大约需要1 4 0 s 。丑i d d e n一器u n i t so0 00oo0 0ooo o0o0 0oo3oo图1 3 三层向前网结构p u t+ o1 3 1 0 隐马尔可夫模型隐马尔可夫模型 4 0 1 ( h m m ) 是用于描述信号统计特征的组统计模型。h m m1 2第一章人脸识别技术背景与综述使用马尔可夫链来模拟信号统计特征的变化，而这种变化是间接的通过观察序列来描述的，因此，隐马尔可夫过程是一个双重的随机过程。其中之一是马尔可夫链，这是基本随机过程，它描述状态的转移；另一个随机过程描述状态和观测值之间的统计对应关系。在h m m 中，节点表示状态，有向边表示状态之间的转移，一个状态可以有特征空间的任意特征，对同一个特征，不同状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列，可能会对应许多状态序列，特征和状态之间的对应关系是非常正确的。1 4 人脸识别技术的应用前景分析随着人脸识别技术的发展，人脸识别技术的研究成果在一些领域得到了有效的应用，如表1 1 。本节将具体讨论其应用情况。1 4 1 基于聚类的大型人脸检索系统【4 l l基于内容的图像检索，是指直接根据描述图像内容的各种特征进行检索，它能从数据库中查找到具有指定特征或含有特定内容的图像。它区别于传统的基于关键字的检索手段，融合了图像理解、模式识别等技术，是图像处理和计算机视觉技术的综合。目前大多数的研究都集中在通用的检索系统上面，面向专用系统的研究还比较少，而专用系统在系统架构、特征提取、索引组织上往往和通用系统有所不同。可以针对人脸识别技术自身的特点，设计并实现一个支持高速检索的人脸检索系统，它能根据相似性从大n 4 , 输出用户指定数目的匹配人脸。实验结果表明，该系统达到了理想的识别率和较快的检索速度。系统采用o r a c l e 9 i 大型数据库，通过c s 方式建立了基于网络的查询系统。系统主要实现了以下功能：( 1 ) 建立人员数据库。在客户端利用文件、扫描仪、摄像头等方式进行图像采集和基本信息录入，在本地机定位人脸并提取特征向量，最后把所有信息保存到服务器端的数据库中。( 2 ) 人员查询。包括文字检索和图像检索两部分。文字检索属于传统的查询方式，用户可以根据人员编号( 关键字) 进行精确查询，也可以根据姓名进行模糊查询。图像检索则允许用户输入图片来进行查询，并按用户要求输出一定数人脸识别系统的研究和应用目的相似人脸图片。查询工作主要在服务器端完成，客户端负责提交信息和显示结果。f 3