（信号与信息处理专业论文）统计人脸识别系统的研究.pdf

摘要 人脸识别技术是模式识别与人工智能的研究热点之一。在生物特征识别中。人脸识别占有极为 重要的地位。它在访问控制、司法应用、电子商务和视频监控等领域都有广泛的应用。人脸识别的 过程主要分为三个阶段即预处理、特征提取、分类。随具体应用的不同，预处理的方法和难度也 会有所不同。特征提取是识别过程的核心，特征的有效性直接影响到分类的速度和识别的性能。本 文主要从统计模式识别的角度出发，来研究人脸图像的特征提取问题。本文分析并比较了5 神人脸 识别技术：基于表征的p c a 特征脸识别方法、基于辨别特征的l d a 识别方法、基于奇异值特征向 量的识别方法、基于g a b o r 变换特征的识别方法和贝叶斯识别方法。 在基于表征的p c a 特征脸识别方面我们首先分析了k l 变换，了解其重建性能。也分析了人 脸周围附属物对识别性能的影响。我们在几个标准入脸库上( 包括o r l ，y a l e 和m a n c h e s l e r 人脸库) 的实验取得了较好的效果。在这个基础上，我们研究了类均值脸的识别性能，无论是数值计算还是 识别性能，都具有较好的稳定性。并且发现均值p c a 可以用较少的特征达到传统p c a 的水平。 p c a 是经典的图像处理方法，它并不是专门用于识别分类的。作为模式识别中的经典方法， f i s h e r 准则使类内散布s 。最小，而类闻散布s b 最大，可以将原来的多个模式在新的空间中最好的 分开。但是一般情况下，不能直接将f i s h e r 引入人脸识别，因为其存在小样本问题。我们用两种方 法来解决：第一个解决方案是先将数据在p c a 空间上降维，在降维后的空间上直接运用f i s h e r 方法。 另一个方法就是先求得s 。的零空间，分析这个零空间以得到投影矩阵。由于f i s h e r 辨识空间一般是 非正交的，特征信息之间有冗余。我们通过g r a m s c h m i d t 正交化法则求得一个正交的辨识空间，试 验表明，基于f i s h e r 辨识的方法能比传统p c a 获得更好的效果。 在人脸识别中，最重要的是提取出对识别最有用的信息由于g a b o r 函数和人眼识别特性的相 似性，g a b o r 变换被应用到入脸识别中来。本文首先回顾了g a b o r 小波编码的些问题，然后探讨 了空频域采样的情况。在文中，我们认为不同频带的辨别信息是不同的，低频分覆中较丰富，而高 频分量中较少。基于这种考虑，我们提出一种非均匀的采样模式，识别结果证明了这种模式的优越 性。 奇异值特征向量由于具有很好的代数和几何不变性，它也可以作为一个很好的分类特征。我们 用图像的奇异值特征向量来代替它的像素表示，在特征值向量上运用p c a 和l d a 识别方法，获得 了比在像素级别上识别更好的效果。 贝叶斯方法是模式识别中的最优方法，p e n t l a n d 在他的论文中将其运用到人脸识别中去。通过 建立一个类内差异人脸库和个类间差异人脸库，他把识别问题转化为图像之差属于哪个人脸库的 问题。本文简化了最初的贝叶斯匹配得分公式，获得两个新的相似度计算公式，在这之上进行的实 验证明了该方法的优越性。 关键词：人脸识别p c al d ag a b o r 变换奇异值特征向量贝叶斯 a b s t r a c t a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g y ( f r t ) i se m e r g i n ga sa na c t i v er e s e a r c ha r e ai n t h ef i e l do fp a t t e r n r e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e a sab i o m e t r i ct e c h n o l o g y , f r tb a sn u m e r o u sa p p l i c a t i o n ss u c ha s a c c e s sc o n t r o l ，l a w e n f o r c e m e n t ，e - c o m m e r c e ，v i d e os u r v e i l l a n c ea n ds oo n t h ep r o c e s so ff a c e r e c o g n i t i o nc a nb ed i v i d e di n t ot h r e es t e p s ，i e ，p r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o n ，c l a s s i f i c a t i o n w i i h d i f f e r e n ta p p l i c a t i o ne n v i r o n m e n t ，d i f f e r e n tp r e p r o c e s s i n gm e t h o ds h o u l db ea d o p t e d ，t h ec o r r e s p o n d i n g a l g o r i t h m i cd i f f i c u l t i e sw i l lc h a n g ea c c o r d i n g l y f e a t u r ee x t r a c t i o ni st h ec o r eo fr e c o g n i t i o nt a s k ，w h i c h d i r e c t l yi m p a c to nc l a s s i f i c a t i o nv e l o c i t ya n dr e c o g n i t i o na b i l i t y i nt h i st h e s i s ，5m e t h o d sw e r ea n a l y z e d a n dd i s c u s s e d ，i n c l u d e ：p c am e t h o db a s e do ns t a t i s t i c a lr e p r e s e n t a t i o nf e a t u r e ；l d am e t h o db a s e do n s t a t i s t i c a ld i s c r i m i n a t i o nf e a t u r e ；m e t h o db a s eo ns i n g u l a rv a l u ef e a t u r e ；m e t h o db a s e do nc a b o tf e a t u r e i ut r a n s f o r m e dd o m a i na n dm e t h o db a s e do nb a y e sr u l e i nt h ep a r to fp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) m e t h o d ，f i r s t l yt h ek lt r a n s f o r mi si n t r o d u c e d a n di t sr e c o n s t r u c t i o na b i l i t yi ss l u d i e d a l s or e s e a t c hi ac o n d u c t e do nt h ei n f i u e n c eo ft h o s es m a l lt h i n g s s u r r o u n d i n gh u m a nf a c e s ，s u c ha sh a i r , b e a r d e x p e r i m e n t sa r ec a r r i e do u to ns e v e r a ls t a n d a r df a c e d a t a b a s e ( i n c l u d e s0 r ly a l e ，m a n c h e s t e rf a c eb a s e ) a n dg o o dr e s u l t sa r eg e n e r a t e d f u r t h e rm o r et h e r e c o g n i t i o na b i l i t yo f c l a s s m e a n v a l u ef a c ei sr e s e a r c h e dd e f i n i t e l y , w h i c hh a sag o o dc o m p u t a t i o n a l s t a b i l i t y w ea l s of i n dt h a tp c ao nc l a s s m e a n v a l u e c a nh a sc o m p a r a b l ea b i l i l yw i t ht r a d i t i o n a lp c aw i t h f e w e tf e a t u r e s p c ai sac l a s s i cm e t h o dj ni m a g ep r o c e s s i n g , b u tn o tam e t h o de s p e c i a l l yf o rc l a s s f i c a t i o n a sac l a s s t e c h n i q u ei np a a e mr e c o g n i t i o n ，f i s h e r l i n e a rd i s c r i m i n a n t a n a l y s i st a k e sd i f f e r e n ta p a r tb e s tb y m i n i m i z i n gw i t h i n c l a s ss c a t t e rm a t r i xs wa n dm a x i m i z i n gb e t w e e n c l a s ss c a t t e rm a t r i xs 6 b u tf i s h e r r a t ec a r l tb ed i r e c t l yi n t r o d u c e di n t ot h ep r o b l e mo ff a c er e c o g n i t i o nf o rt h e r e e x i s tas m a l ls a m p l e p r o b l e m t w om e t h o d sa r ed i s c u s s e di nt h i st h e s i s ：b ya p p l y i n gk lt r a n s f o r mo nf a c ed a t a , w ep r o j e c t f a c e si n t oap c as p a c ea n dc a r r yo u tf i s h e rr u l ei nt h es p a c ed i r e c t l y a l s ow ef i n do u tt h a tt h en u l ls p a c e o fs 。i su s e f u la n dw ec a l lg e tt h ep r o j e c tm a t r i xu s i n gi t sn u l ls p a c e 1 ut h ep r o c e s s i n go fr e c o g n i t i o n ，t h em o s ti m p o n a u tp o i n ti st oe x t r a c tt h o s ef a e t u e st h a ta r em o s t b a n e f i c i a lt or e c o g n i t i o n g a b o rt r a i l s f o r mi si n t r o d u c e di nt of a c er e c o g n i t i o nf o ri t sl i k e n e s sw i t hh u m a n v i s u a ls y s t e m ，a f t e rd i s c u s s i n gs a m p l i n gq u e s t i o ni ns p a c ef r e q u e n c yd o m a i n ，w es u g g e s tt h a td i f f e r e n t d i s c r i m i t i o nf e a t u r e sl i ei nd i f f e r e n tf r e q u e n c yd o m a i ns ot h a tan o n - e q u a l l ys a m p l e ( m o r es a m p l e si nl o w f r e q u e n c yd o m a i na n dl e s ss a u l p l e si nh i g hf r e q u e n c yd o m a l 曲c a ng e tag o o dr e s u l tv se q u a l l ys a m p l i n g m e t h o d t h ee x p e r i m e n t st e s t i 奇o u rs u g g e s t 。 t h es i n g u l a rv a l u ev e c t o rh a sg o o dc h a r a c t e r i s t i ci nb o t ha l g e b r aa n dg e o m e t r y ，a n di tc a na l s ob e t a k e na sac l a s s i f i c a t i o nf e a t u r e i ne x p e r i m e n t s s i n g u l a rv a l u ev e c t o r so ff a c ep i c t u r e sa r et a k e ni n t o c o m p u t a t i o ni n s t e a dp i x e lv a l u e so ff a c ep i c t u r e s p c aa n dl d am e t b o da r ec a r r i e do u tt h e na n dr e s u l t s s h o wt h e i ra d v a n t a g e so nt r a d i t i o n a lp c aa n dl d a b a y e sr u l e l st h eb e s tm e t h o di np a t t e mr e c o g n i t i o n p e n t l a n df i r s t l yi n t r o d u c e di ti n t of a c e r e c o g n i t i o ni nh i sp a p e r b yc o n s t r u c t i n gd i f f e r e n c ep i c t u r ed a t a b a s eo fs a m ep e o p l ea n dd i f f e r e n c ep i c t u r e d a t a b a s eo fd i 腩r e n tp e o p l e ，t i l ep r o b l e mo fr e c o g n i t i o nt u r n si n t oj u d g i n gw h i c hd a t a b a s et h ed i f f e r e n c e p i c t u r eb e l o n g st o i nt h i sp a p e rt h es c o r e f o r m u l ai ss i m p l i f i e da n dt w on e wf o r m u l a sa r e tu p ， e x p e r i m e n t so nt h e s ef o r m u l a ss h o wt h ea d v a n t a g e so f t h i sm e t h o d k e yw o r d s ：f a c er e c o g n i t i o n ，p c a ，l d a ，g a b o rt r a n s f o r m ，s i n g u l a rv a l u ev e c t o r , b a y e s u 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导f 进行的研究丁：作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中才i 包含其他人已经发表或 撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 研究生签名：垄盘查e t 期：型堕堡历 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办 理。 研究生签名：盘3 圭导师签 期2 巧3 西 第一章绪论 第一章绪论 1 1 饼咒百景 现代社会中，身份鉴定技术具有非常重要的应用价值，随着网络技术的发展，信息安全也显示 出前所未有的重要性。在金融、保安、司法、网络传输等各个应用领域，都需要精确的身份鉴定i l j 。 但是现今的身份鉴别主要依靠i d 卡( 如身份证、工作证、智能 、存储卡等) 和密码手段。但 这些手段携带不方便、容易遗失，或者由于使用过多或不当- 而损坏、不可读和密码易被破解等。尤 其是近年来电子商务的飞速发展，制假伪造的手段也越来越高明，传统的身份确认方法面临着严峻 的挑战，并显得越来越不适应科技的发展和社会的进步。 作为模式识别中的热门技术，生物特征识别( b i o m e t r i c s ) 由于提供了对唯一的，高可靠性和稳 定性的人体生物特征的鉴别方法，成为身份鉴别的一个热门发展方向。 所谓生物特征识别，就是根据不同人之间的身体( p h y s i c a l ) 的或者行为( b e h a v i o r s ) 的特征的 独特性，来唯一地把未知身份识别出来。身体特征包括：指纹、视网膜、虹膜、人脸等；行为特征 包括签名、声音、步态等1 2 】。有的识别是几种特征的结合，如身份识别可以结合人脸和指纹两个特征。 日常生活中，人类每时每刻都通过感官自然而然地从外界获取想要的信息。这些信息中有大约 8 0 是通过视觉得到的，因此，视觉信息处理在现代人上智能技术中占有极为重要的地位p ) 。而人脸 数据的提取方式多种多样，既可取静态图像也可取视频序列，背景还可以变化。人脸数据的提取 对设备也没有特殊要求，既可对真人拍照或摄像，也可从照片扫描。更为重要的是人脸识别和人类 通常的识别相一致，更易被接受。因此，人脸识别及其相关技术的应用前景是生物特征识别诸多技 术中最被看好的。生物特征识别在国外发展很快【4 4 l ，我国截j l 2 0 0 2 年也己举行了三届生物特征识别 研讨会【7 1 0 1 9 9 2 年，s a m a l 总结了早期的人脸识别方法口l 。后来，v a l e n t i n 讨论了人脸识别的神经网络模型纠。 c h e l l a p p a 主甍从工程应用方面对人脸识别进行了评述【l 。而从不同角度出发的综述文章还有 1 1 - 1 3 1 。 两个有关人脸识别的国际会议a f g r 和a v b p a 的出现，充分说明了人脸识别的重要性。i e e e 模式分 析与机器智能( p a m i ) 协会在1 9 9 7 年7 月出版了有关人脸和手势识别的专刊，d a u g m a a 这样写道“在 未来的机器智能领域，我们将发现一个有趣的现象，即为建立具有类似人类外貌、表情、手势等特 征的人机界面所做出的努力，将最终导致我们可以和机器随心所欲地交流”【1 4 1 。 人脸识别在模式识别领域的发展和应用方面都有着重要意义：一是可以推进对人类视觉系统本 身的认识；二是可以满足人工智能应用的需要。采用人脸识别技术，建立自动人脸识别系统，用计 算机实现对人脸图像的自动识别有着广阔的应用领域和诱人的应用前景。 1 2 人脸识别的应用领域 如同人的指纹一样，人脸也具有唯一性，可用来鉴别个人的身份，人脸识别技术在商业、 法律和其他领域有着广泛的应用。人脸识别首先是法律部门打击犯罪的有力工具，在毒品跟踪、反 恐怖活动等监控中有着很大的应用价值。人脸识别的商业应用价值也正在日益增长，主要是信用卡 或自动取款机的个人身份核对，与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人身 份鉴别的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个人来说没有任何心理障 碍。 人脸识别的具体应用主要有以下几个方面： 访问控制在安全性要求较高的地方如政府、医院，或某些公共场所，可以建立无门卫的门禁系 统。对于来访者，可以通过人脸识别系统进行验证。在登录网络或计算机时，可以 用人脸识别技术( f a c e r e c o g n i t i o n t e c h n o l o g y f r t ) 代替口令的输入，这样就不用 担心e l 令的丢失、忘记或被窃取，从而可以增加重要文件的安全性。访问控制通常 是一对一的验证。图像质最可控。 司法应用最常见的是嫌犯( m u gs h o t ) 识别，基本方法是对比目标特征和数据库存储特征的相 东南大学硕士学位论文 电子商务 视频监控 似性。目标图像的自然属性是关键的，且决定着整个过程的困难程度。比如，有时 候目标图像仅是通过目击证人的口头描述丽勾勒出来的，显然不能和实拍照片相比。 其他类似的应用有驾照、护照等的识别。人脸识别町以大大提高司法部门的效率。 司法应用通常是一对多的识别，图像质量般情况下较好。 人脸识别在电子商务中也有重要的应用。住在线金融、贸易活动中，人脸识别可以提 供客户的身份认证，并保证商业活动无拒付地良性运转。这对于交易双方、银行都 是很方便的，因为 n o p i n t or e m e m b e r , r i op i n t o f o r g e t ”。电子商务通常是一对一验 证，图像质量较好。 监控一般是在当事人不知道的情况下进行的。利用人脸识别技术，监控者可以从大街 上或进入大楼、机场的人群中找到自己要找的入。监控通常是一对多，或多对多的 识别。图像质量是不可控的，并且一幅图像中存在多个人脸，具有姿态、视角、尺 度、光照、遮挡等宽范围的变化。对比人脸识剐，其他的生物特征识别技术很难在 监控领域得到应用。 事实上，所有基于个人身份识别的设施都在它的应用范围之内。现在的许多系统仍在使用像钥 匙、l d 卡( 如身份证、工作证、智能卡、计算机标志卡和存储密码) 和密码等来识别身份，然而这 些手段存在携带不便、容易丢失、或者由于使用过多或者不当而损坏、不可读和密码易被破解等诸 多问题。与指纹识别、d n a 识别等其他基于生物特征的识别方法相比较，人脸识别系统有着价格便 宜、操作方便、易于由操作人员在录入记录时进行检奁和验证、易于获得高质量的人脸图像、对使 用对象友好等一系列优点。 1 3 人脸识别大规模应用的主要难点 虽然人类可以毫不困难地根据人脸来辨别一个人，但利用计算机进行完全自动地人脸识别仍然 存在许多困难，这主要表现在：人脸是非刚体，存在表情变化：人脸随年龄增长而变化；发型、眼镜 等装饰对人脸造成遮挡；人脸所成图像受光照、成像角度、成像距离等影响。而且从二维图像重建 三维人脸是病态过程，目前尚没有很好的描述人脸的三维模型。另外，人脸识别还涉及到图像处理、 汁算机视觉、模式识别、身理学、心理学以及神经网络等学科，也和人脑的认识程度紧密相关。这 诸多因素使得人脸识别成为一项极富挑战性的课题【1 - “一”。 1 4 人脸识别的发展及现状 人脸识别的输入图像通常有3 种情况：正面、倾斜、侧面。由于实际情况的要求，对人脸正面图 像识别的研究最多，它的发展大致可分为3 个阶段i l6 】： 第一阶段以b e n i l l o n 、a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。1 8 9 3 年， b e n i l l o n 用一个简单的语句与数据库中某一张脸相联系，同时与指纹分析相结合，提供了一个较强 的识别系统。为了提高脸部识别率，a l l e n 1 为待识别人脸设计了种有效和逼真的摹写，p a r k e 则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。这一阶段的工作特点是识别过 程完全依赖于操作人员。显然这不是种可以完成自动识别的系统。 第二阶段是入机交互式识别阶段。2 0 世纪7 0 年代，美、英等发达国家开始重视人脸识别的研 究工作并取得一定进展。1 9 7 2 年，g o l d s i o n ，h a r m o n 和l e s k 用几何特征来表示人脸正面图像【1 ”。 他们采用2 l 维的特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和 k o b a y a s h i 则采用了统计识别方法，用欧氏距离来表征人脸的特征口，如嘴唇与鼻子之间的距离， 嘴唇的高度等。更进一步地。t k a n a d ( m n a g a o ) 设计了一个高速且有一定知识导引的半自动回溯 识别系统“，创造性地运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技 术与标准人脸楣匹配。k a n a d 的系统实现了快速、实时的处理，是一个很大的进步。相比之下，b a r o n i ”】 所做的工作较少为人所知：他先将图像灰度归一化，再用4 个掩模( 眼、鼻、嘴及眉毛以下的整个 脸部) 表示人脸，然后分别计算这4 个掩模与数据库中每幅标准图像的相应掩模之间的互相关系数， 2 第一章绪沦 以此作为判别依据。总的来说，这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段是真正的机器自动识别阶段。从1 9 9 0 年代起，由于计算机、数字图像处理、模式识别 等技术的发展，加上人们对人脸图像自动识别的迫切需求，人脸模式识别方法有了较大的突破，提 出了多种机器全自动识别系统。1 9 9 6 年美国军方组织了人脸自动识别系统大赛，勒克菲勒大学的 f a c e l t 系统获得冠军。最近，美国的l a u 公司研制的人胎图像自动识别系统，是以人眼辨别人脸的原 理，基于生物测量学、人像复原技术开发的装置。用人脸1 2 4 2 个特征点，对人群中寻找的人进行 定量定性识别，已经用在机场、火车站、公共场所、重点控制地区 2 3 1 。 在人脸识别技术诞生至今的二三十年中，人们已提出了很多成熟、高效的识别算法，为工程应 用提供了强有力的后盾。自从“9 l l ”事件以来，世界上对人脸识别系统的需求有了明显增长。对人脸 识别的研究也是理论界的一个热点。目前世界上最有名的识别系统为v i s i o n i c s 公司的“f a c e i t ”系统1 2 4 】， 在活动场景( 人和照相机都是活动的) 下，该系统的识别率仅为5 0 ；而可控条件下，识别率可达8 0 以上。在中国，中科院计算所高文教授主持的8 6 3 项目“面像检测与识别核心技术”通过鉴定。该系统 会自动在人脸上选取1 0 3 个点，然后通过分析面部皮肤反射属性、三维结构等特征进行识别，静态场 景下识别准确率达至j j 9 6 5 “”。中科院自动化所和微软砭洲研究院也在进行这方面的研究1 2 6 1 1 2 “。 1 5 如何进行人脸识别人脸识别的步骤及方法 c h e l l a p p a 给出的人脸识别定义是，给出静态或者视频图像，将其中的一个或多个人脸和存储于 数据库中的人脸相比较，确定出图像或视频中各个脸的身份“o l 。一般要在输入之前对图像进行预处 理，若有人脸存在，则将其从背景中分割出来。一般来说，一个完整的人脸识别系统包括。图像输 入、人脸检测，定位、预处理、特征提取、分类器5 部分。 】5 一人脸的图像表示 计算机处理的图像是以数字形式表示的。如果仅从识别的角度出发，我们希望数字图像能够尽 口f 能地保留原图像的信息，但在实践中，由于场合的不同，输入图像保留的信息是不一样的，灰度 图像失去了颜色信息：二维图像则失去了深度等三维信息；红外图像仅和热辐射有关，分辨率太低； s k e t c h 图像则失去了纹理信息；上述几种图像都没有运动信息。除了图像形态，输入设备也不尽相 同，有的图像是由c c d 摄像头拍摄的，有的则是照片扫描或报纸扫描，还有可能是在w e b 上下载 的压缩图像，等等。由于应用环境的不同，所得图像的性质也是不同的，这实际上会影响到以后提 取的特征也有所不同。本论文主要是在二维灰度( 2 di n t e n s i t y ) 静态图像上进行人脸识别的研究。 1 5 2 人脸的检测与定位 检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。在某些可 以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时人脸的定位很简单。证件照 背景简单，定位也比较容易。在另一些情况下，人脸在图像中的位置是未知的，比如在复杂背景下拍摄 的照片，这时人脸的检测与定位将受以下因素的影响： 人脸在图像中的位置、角度和不固定尺度以及光照的影响； 发型、眼镜、胡须以及人脸的表情变化等； 图像中的噪声。 人脸检测的基本思想是用统计或知识的方法对人脸建模，比较所有可能的待检测区域与人脸模 型的匹配程度，从而得到可能存在入脸的区域。其方法大致可分为基于统计和基予知识两类。前者将 图像看作一个高维向量，从而将人脸检测问题转化为高维空间中分布信号的检测问题；后者则利用对 人脸的认知知识建立若干规则，从而将人脸检测问题转化为假设验证问题。 东南大学硕士学位论文 1 ，5 3 图像预处理 图像特征提取之前一般需要做预处理。一般改善的方法有直方图均镛、图像锐化等。如果需要 提取不同的频带信息，则进行相应的低通、带通或高通滤波。图像的边缘、梯度信息的提取，消除 照相机位置、方向的影响和相机抖动，某些背景的去除等也属干预处理操作。背景的去除是必要的， 否则人脸识别将不是“p u r e ”人脸识别。还有几何归一化和灰度归一化。前者是指根据人脸定位结果 将图像中的人脸转换到同一位置和大小；后者是指对图像进行补偿等处理，以克服光照变化的影晌。 1 5 4 特征提取 特征提取就是采用某种表示方法表示检测出的人脸与数据库中的人脸，表示方法不同，代表了 人脸不同方面的信息。在特征提取之前，一个重要的问题是消除姿态、光照变化的影响。通常采用 的人脸表示方法包括几何特征( 如欧式距离、曲率、角度) 、代数特征( 如矩阵特征向量) 和固定 模扳特征。 识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的特征，具体 的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法有基于几何特征的人脸识 别方法和基于相关匹配的人脸识别方法。目前，静止图像的人脸识别方法主要有3 个研究方向： 基于统计的识别，包括特征脸( e i g e n f a c e ) 方法和隐马尔科夫模型( h i d d e n m a r k o v m o d e l ) 方法 基于连接机制的识别，包括一般的神经网络方法和弹性图匹配f e l a s t f cg r a p hm a t c h i n g ) 方法； 其它一些综合方法或处理非二维灰度图像的方法。 5 4 1 人脸几何特征提取 人脸由眼睛、鼻子、嘴巴、f 巴等部件构成，正因为这些部件的形状、大小和结构上的各种差 异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以做为人脸 识别的重要特征。采用几伺特征进行正面入脸识别一般是通过提取入眼口、鼻等重要特征点的位置 和眼睛等重要器官的几何形状作为分类特征口“”j 。 b r u n e l l i 总结了早期的基于测量( m e a s u r e m e n t ) 特征的识别方法【2 ”，他从给定的人脸图像中提 取了3 5 个几何特征，包括；眼眉厚度和眼中心的垂直位置。左眼眉轮廓描述子( 1 1 个数据) 。 鼻子的垂直位置和宽度。嘴的垂直位置，宽、高及上、下唇的位置。下巴形状( 1 1 个半 彳争值) 。鼻子位置的人脸宽度。颧骨位置的人脸宽度。这种方法的优点是识别速度非常快，但 特征提取一般需人的参与。x j i a 的特征矢量包括几何特征、眼域特征、脸轮廓和脸侧影4 部分。 侧影、轮廓和眼域分别由w a l s h 功率谱，归一化傅立叶描述子和归化矩来描述口”。虽然性能有所 提高，但仍难真正做到自动特征提取。在主流的人脸识别算法中，基于测量的特征提取方法较少。 基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于理解；对每幅图像 只需存储一个特征矢量，存储量小；对光照变化不太敏感。 该方法同样也有其缺点：从图像中抽取稳定的特征比较困难，特别是在特征受到遮挡时：对 强烈的袁情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结构关系， 忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。 1 5 4 2 子空间特征提取 基于主分量分析( p c a ) 的特征脸( e i g e n f a e e ) 算法被认为是最成功的人脸识别方法之1 3 0 - 3 1 i 。 p c a 实质上是k l 展开的网络递推实现，特征脸方法就是将包含人脸的图像区域看作是一种随 机向量，采用k l 变换获得其正交k l 基底。对应其中较大特征值的基底具有与人脸相似的彤状，故将 其称为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别和 合成。识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其与已知人脸在特征脸空问中 的位置。 4 幕一章绪论 p c a 是从表征的角度出发，对于k l 变换来说明，特征脸的方向并不一定是分类性能最好的方向。 而且对k l 变换而言，外在因素带来的图像差异和人脸本身带来的差异足无法区分的，特征脸在很大程 度上反映了光照等因素的差异。而线性辨识分析( l d a ) 是基于类内散布最小、类间散布最大原理 提出来的。由于数值计算的问题，l d a 一般在p c a 空间上操作p 。”i 。在基于l d a 的算法中，消除小 训练集的影响是重要的研究方向【3 4 - 3 5 1 ，其他研究包括辨别空间的正交化，不相关辨别分析i ”1 等， 近年来国际上又提出一种非线性的特征提取方法p ”，其原理就是在核函数的辅助下，将p c a 、l d a 推广到非线性领域，从而建立起非线性的特征空问。m a g h a d d a m 将概率模型和p c a k f i 结合建立起贝 叶斯方法”。基于子空间的特征提取方法是本论文的重点。 1 5 4 3 模板特征提取 模板匹配法是一种经典的模式识别方法，其基本思想是设计一个参数可调的器官模板，定义 个能量函数，通过调整模型参数使能量函数最小化，此时的模扳参数即作为该器官的几何特征。由 丁这种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和 灰度归一化的工作。 h u a n g 和c h e n 采用动态模板与括动轮廓模型提取人脸器官的轮廓1 。动态模板是参数化的简 单图元模型，根据先验知识定义的能量函数及提应的图像约束条件指导其收敛过程，主要用于提取 眼睛和嘴巴轮廓。而活动轮廓则是能量最小化的曲线，由能量函数指导其收敛到局部边界，主要用 于提取眉毛和下巴轮廓。 c h e w 和l i 采用了自适应霍夫变换( a d a p t i v e h o u g h t r a n s f o r m ) 与动态模板相结合的方法”“。 同h u a n g 类似，动态模板韵作用是提取眼睛与嘴巴轮廓，而霍夫变换则主要用于确定眼球、下巴的 轮廓。 b r u n e l l i 等人专门将基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法进行了比较， 并得出结论：前者具有识别速度快和内存耍求小的优点，但在识别率上后者要优于前者。增加几何 特征对基于几何特征的人脸识别方法只自轻微提高识别率。因为要提高几何特征的提取质量本身就 十分困难，而且随着图像质量的下降和人脸遮挡的引入，基于几何特征的人脸识别效果会大幅下降。总 之，认为模扳匹配法要优于几何特征法。 1 5 4 4 神经网络特征提取 这类识别法将人脸直接用灰度图( 二维矩阵) 表征，利用了神经网络的学习能力及分类能力。 这种方法的优势在于保存了人脸图像中的材质信息及细微的形状信息，同时避免了较为复杂的特征 提取工作。而且，由于图像被整体输入，符合格氏塔( g e s t a l t ) 心理学中对人类识别能力的解释。 其代表方法有以下几种： 用h o p f i e l d n 络进行低分辨率人脸联想和识别；将r b f 与树型分类器结合起来进行人脸识别的混 合分类器模型；采用统计学习理论中的支持向量帆进行人脸识别。在人脸识别中用得较多的另一种神 经网络是时滞神经网络( t i m ed e l a yn e u r a ln e t w o r k s ，t d n n ) ，它是m l p 的一种变形。此外，由于单个神 经网络有一定的局限性，现在出现了多模态的神经网络，如t d n n + r b f 等，即由两种类型的神经网络 共同来完成人脸识别任务。 神经网络方法在人脸识别上比其它类型的方法有其独到的优势，即它避免了复杂的特征提取工作 可以通过学 - 3 过程获得其它方法难以实现的关于人脸识别的规律和规则的隐性表达。此外，神经网络 以并行方式处理信息，如果能用硬件实现，就能显著提高速度。神经网络方法除了用于人脸识别外，还适 用于性别识别、种族识别等。 一旦提取出待识别的人脸特征，即用特征匹配来识别。这个过程是一对多或一对一的匹配过程， 前者是确定输入图像为图像库中的哪一个人，后者是验汪输入图像的人的身份是否属实。这个过程中 最要的是找到合适的人脸表征方式和匹配策略。 t 5 5 分类器 5 东南大学硕士学位论文 分类器的设计是模式识别的难点。在人脸识别中，常用的分类器有以下几种： 最小距离分类器( n c ) 相似度量是以检测样本剑类中心的距离大小为判据。 最近邻分类器( 1 - n n ，k - n n ) 1 4 “相似度鼍以检测样本到模板的距离为判据。 当模板库中每类只有一个模板时，n n 就退化为n c 。距离的测度主要有l 。范数、l 2 范数，马 氏距离，h a u s d o r 仃距离等。 贝叶斯分类器如果知道各类的先验分布和条件分布，就可以采用最大后验估计( m a p ) 的 方法进行分类。在人脸识别中，有时假定人脸服从高斯分布，能够得到不错的结果l 。 支撑向量机( s v m ) 是基于结构风险最小化得出的。尤其在小样本情况f ，既降低了训练集 的错分风险，又降低了未知人脸( 如检测集) 的错分风险。在人脸识别中己逐渐得到应用。 神经网络分类器( n n c ) 。采用神经网络作为分类器是很自然的。一般一个3 层网络对应模 式识别中图像输入、特征提取、分类3 部分。通常的n n c 有多层感知机( m l p ) 模型、b p 网络、径向基函数网络等。s v m 也借鉴了神经网络的思想。 1 6 统计人脸识别的含义及性能评估 统计模式识别又称决策论法识别，与句法模式识别不同，它首先从模式中提取一些叫做特征的 特性度量，把每一个模式指定为某类的识别通常是用划分特征空间的方法来实现。它包括两方面的 问题，即特征提取和分类1 4 ”。用统计的方法研究人脸识别问题就称为统计人脸识别( s t a t i s t i c a l f a c e r e c o g n i t i o n ，s f r ) a 在统计人脸识别中，每个人脸都由d 个特征表示，并看成d 维空间的一个点。假定在d 维空间， 不同的类占有紧支、不连通的区域，因此是可分的。统计人脸识别大量采用了概率论和数理统计的 知识，分类决策的边界一般是预定义的或通过学习得到。识别系统一般有两个操作模式：洲练( 学 习) 部分和分类( 检测) 部分。其基本框架如图1 1 。 图1 1 统计人脸识别系统基本构成 一个统计人脸识别系统的性能主要由以下几个参数评估： 1 错误率，即误识数目与总检测数的百分比。 2 识别率，与错误率对应，为正确识别数目和总检测数目的百分比。 3 错误接受率( f a r ) ，即门限内识别错误的概率。 4 错误拒绝率( f r r ) ，即门限外正确识别的概率。 5 接受器操作特征( r o c ) ，即门限变化f ，由f a r 和f r r 绘成的曲线。 6 特征维数。维数越少，速度越快。 7 训练时问。时间越短，系统越能适应动态建库和实时识别的需要。 参数3 、4 、5 更经常地用在验证系统中。 如果全面地评价一个系统的性能，仅仅以上几个参数是不够的。它必须提供从操作环境、数据 库、操作过程到结果分析等一整套的测试标准。现在的一些评估方法如f e r e t 和x m 2 v t s 还不成 6 第一蕈绪论 熟，也设有被业界完全接受。 1