（模式识别与智能系统专业论文）人脸识别中若干关键技术的研究.pdf

内容摘要 自动人脸识别( a f r ) 是近年来发展起来的研究热点，其口的是让计算机根据人 脸图像分析人物身份。由于涉及模式识别，计算机视觉，智能人机交互，图形学，认 知科学等多个学科知识，人脸识别研究复杂而艰巨。虽然目前理想条件下的识别性能 能够接受，但是非理想条件下的识别技术还远未成熟，很多关键技术还有待解决，主 要包括：( 1 ) 作为识别必要前提条件的面部关键特征精确定位问题；( 2 ) 人脸特征 的完备提取；( 3 ) 高精度核心识别算法；本文重点探讨了上述人脸识别中的关键问 题，主要工作总结如下： 1 全面地综述了人脸识别技术。详细回顾了人脸识别技术的发展历史以及每个阶段 主要的人脸识别算法。从面部特征自动定位、人脸表示模型、分类和识别算法三 个角度对人脸识别领域的主要技术方法进行了分类整理。详细介绍了主要的公用 人脸图像库、主要的人脸识别研究机构和商用系统，最后，本文讨论了人脸识别 领域目前仍然面临的主要技术难题和开放问题。 2 研究了特征精确配准问题，对活动模板模型在搜索审问与搜索过程上做了一些改 进。面部特征精确配准足鲁棒实用的人脸识别系统的基本前提。主动形状模型 ( a s m ) 是目前解决该问题的主流方法。本文详尽地分析主动形状模型( a s m ) 的 工作原理，仔细地讨论了它的优缺点，并在此基础上，提出了三点改进：( 1 ) 针对经典a s m 算法中模型空间构造的不足，在原模型空间的基础上加入了形状变 化子空间，提出了最优搜索空间的概念，提高了原模型空间的模型表达能力( 2 ) 针对经典a s m 算法及其以后的改进算法中没有任何对搜索结果进行评价的现实， 提出了一种合理、简便、易行的评价方法，使搜索过程变得不冉盲目，搜索结果 更符合实际情况。( 3 ) 在第二步评价的基础上，针对a s m 算法搜索过程j | i 模型搜 索和图像纹理搜索相互独立的缺点，提出了一种最优搜索算法，其t i i 使，h 了反馈 策略，使得两种空间的搜索结果互相约束，互相利用，搜索过程变得更加合理， 智能。这些改进在一定程度上弥补了a s m 算法中模型空间与搜索过程的不足，能 够比较精确地定位预定义的面部关键特征。为后续的人脸识别打下了良好的配准 基础。 3 近年来，人脸局部特征提取的研究非常活跃，特别是局部二元模式( l o c a lb i n a r y p a t t e r n s ，l b p ) 特征和g a b o r ，j , 波特的研究，它们因充分考虑基准点像素岗围灰 度统计特性而对片状光照变化、旋转等条件具有很强的鲁棒性，多位研究者将其 用在人脸识别系统中并取得了很好的效果，然而算法的复杂性或高维性带来了太 多的限制。因此，本文将两种算法相结合，提出了g a b o r - - 元码算法，在各种g a b o r 特征图像之间进行局部二元模式计算，使新的特征因同时具备局部纹理和片状获 度变化信息而对光照、旋转史加鲁棒。更为重要的是，特征维数降低了很多，减 少了计算量。实验结果表明：和l b p 、g a b o r d 、波以及独立分量等特征相比，本文 提出的特征具有一定的优势，尤其在条件较差的情况下优势更加明最。 4 主分量分析算法是人脸识别研究中的一大类算法，对其研究不断深入。近年来， 研究者主要集中在二维主分量分析的研究上，有多种相关算法被提出，比较有影 响的有二维主分量分析算法( 2 - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ，2 d p c a ) 和双向主分量分析算法( b i d i r e c t i o n a lp c a ，b d p c a ) 。它们都是通过最大化投影 矩阵散度来提取特征进而解决二维数据判别分析的问题，计算结果唯一且算法不 具备扩展件。故，本文根据重构误差准则来提取多维数据中各维土分量，提出了 “义主分量分析( g e n e r a l i z e dp r i n c i p a lc o m p o n e n t a n a l y s i s ，g p c a ) 的算法t 小 仅能提取二维主分量，理论上可以提取任意维，另外，算法可根据提取主分量的 数目和重构能力来计算主分量，非常灵活。为了测试奉文提出算法的性能，在 j a f f e o r l 和f e r e t - - 个丰要人腧库上设计了一系列实验，在所有的实验结果 中，本文的广义丰分量分析算法都取得了最佳效果。 本论文的上述研究内容不但在人脸识别理论层面具有一定的参考价值，更关键的 是本文的研究结果对十设计开发鲁棒、实用的a f r 系统具有一定的借鉴意义。 关键词：自动人脸识别( a f r ) ，生物特征识别，面部特征配准，主动形状模型 ( a s m ) ，g a b o r 小波，主成分分析，特征脸，局部二元模式( l b p ) ，独立分量分 析 i i a b s t r a c t a u t o m a t i cf a c i a lr e c o g n i t i o n ( a f ，w h o s ea i mi se n d o w i n gc o m p u t e r sw i t ht h ea b i l i t yt oi d e n t i f y d i f f e r e n th u m a nb e i n g sa c c o r d i n gt oh i s h e rf a c ei m a g e b e u 辩o f c l n s e l yr e l a t i n gt om a n yd i s c i p l i n e s s o c h p a t t e r nr e c o g n i t i o n ，c o m p u t e rv i s i o n , i n t e l l i g e n th u m a n - c o m p u t e ri n t e r a c t i o n c o m p u t e r g r a p h i c s , a n dc o g n i t i v ep s y c h o l o g ye t c ，i ti sf u l lo fc h a l l e n g i n ga n dd i f f i c u l t a l t h o u 【g ht h e s t a t e - o f - t h e - a r ta f rs y s t e mc a np e r f o r mi d e n t i f l c a t i o ns u c c e s s f u i l yu n d e rw e l l c o n t r o l l e de n v i r o n m e n t , e v a l n a t i n nr e s u l t sa n dp r a c t i c a le x p e r i e n c es h o wt h a ta f r t e c h n o l o g i e sa r ec u r r e n t l yf a rf r o mm a t u r e a g r e a tn u m b e ro f k e yi s s u e sa r et ob es o l v e d ：( i ) t h ea c c u r a t ef a c i a lf e a t u r el o c a t i o np r o b l e m ，w h i c hi s t h ep r e r e q u i s i t ef o rs e q u e n tf o a t l l g ee x a c t i o na n dc l a s s i f i c a t i o n ；( 2 ) t h ec o m p l e t ea n de f f i c i e n tf a c i a l f e a t u r ee x t r a c t i o np r o b l e m ；( 3 ) h i g ha c c u r a c yf a c ec l a s s i f i e rp r o b l e m i nt h i st h e s i s 。a l lt h e s ep r o b l e m s i na f ra r cr e s e a r c h e da n dt h ed e t a i l sa r e ： 1 g i v eat h o r o u g hs u r v e yo f t h es t a t e - o f - t h e - a r ta f r t e c h n o l o g i e s f i 嘲b ，t h i st h e s i sh a sp r o v i d e da m o r er e c e n to v e r v i e wo ft h ea f rr e s e a r c ha n dd e v e l o p m e n th i s t o r y f o re a c hs t a g e i i st e c h n i c a l c h a r a c t e r i s t i c sa r es u m m a r i z e da n dt y p i c a lm e t h o d sa r cd e t a i l e dd e s c r i b e d t h e na f rm e t h o d sa r c t h r t h e rc a t e g o r i z e da c c o r d i n gt of a c i a lf e a t u r ee x t r a c t i o n , f a c er e p r e s e n t a t i o n ，a n dc l a s s i f i c a t i o n s e p a r a t e l y w ea l s os u r v e yt h em a i np u b l i cf a c ed a t a b a s e s ，r e s e a r c hg r o u pa n dm a i nc o m m e r c i a l s y s t e m s f i n a l l y ，t h ec h a l l e n g e sa n dt e e h n i e a lt r e n d si na f rf i e l d sa r ed i s c u s s e d 2 s e a r c hs u b s p a c ea n ds e a r c hp r o c e s si nc l a s s i ca s mu s e df o ra c c u r a t ef a c i a lf e a t u r ea l i g n m e n ta r e i m p r o v e d a c c u r a t ef a c i a lf e a t u r ea l i g n m e n ti st h ep r e r e q u i s i t eo fa na f rs y s t e m a c t i v es h a p e m o d e l ( a s m ) i st h em a i nm e t h o df o rt h i sp r o b l e m a f t e ra n a l y s i si i sw o r kp r i n c i p a la n di t sm e r i t s a n dd e m e r i t s “d e d ，t h r e ek i n d so fi m p r o v e m e n ta r ep r o p o s e d ：( 1 ) a d dt h es h a p ev a r y i n g s u b s p a c et ot h eo r i g i n a ls h a p es u b s p a e et oi m p r o v ei t ss h a p er e c o n s t r u c t i o na b i l i t y t h em i x t u r e s h a p es u b s p a c ei sc a l l e dt h eo p t i m a ls e a r c h i n gs h a p es u b s p a c ei n t h i sp a p e r ( 2 ) s i n c ei ti s i n d e p e n d e n tb e t w e e ns h a p er e c o n s t r u c t i o na n dp o i ms e a r c h i n gi nc l a s s i ca s m ，ar e a s o n a b l e , s i m p l e a n dc o n v e n i e n c ee v a l u a t i o nf u n c t i o ni sp r o p o s e dt oe v a l u a t es h a p es e a r c h i n gr e s u l te v e r ys t e pa n d f i n a l l yt h ew h o l es e a r c h i n gp r o c e s si sn o tb l i n d e da n ym o r ea n dam o r er e a s o n a b l es e a r c h i n gr e s u l t w o u l db ea c q u i r e d ( 3 ) b a s e do l it h es e c o n de v a l u a t i o nf u n c t i o ni m p r o v e m e n t , a l lo p t i m a ls e a r c h m e t h o di sp r o p o s e dt om a k et h es e a r c h i n gr e s u l t si nb o t hs h a p es p a c ea n di m a g et e x t t m es p a c em r e s t r i c t e da n du s e de a c ho t h e rw i t l lf e e d b a c km e c h a n i s m s ot h a tt h es e a r c h i n gp r o c e s sj sm o r e r e a s o n a b l ea n di n t e l l i g e n c e a l lt h e s ei m p r o v e m e n t se n h a n c et h es h a p es u b , s p a c ea n ds e a r c h i n g p r o c e s so f t h ec l a s s i ca s m i ns o m ed e g r e ea n dg i v eam o r ea c c u r a t ef a c i a lf e a t u r ea l i g n m e n tr e s u l t 3 i nr e c e n ty e a r s , t h es t u d yo fl o c a lf a c ef e a t u r ee x t r a c t i o ni sv e r ya c t i v e ，e s p e c i a l l yt h em e t h o d so f l o c a lb i n a r yp a t t e r n sa n dg a b o rw a v e l e t b e c a u s eo f r o b u s m e s st oi i l u m i n a t i o n ，f a c ee x p r e s s i o n a n da c c e s s o r y , t h e ya r ew i d e l yu s e di nf a c er e c o g n i t i o na n dh a v es h o w ng o o di e s u i t s h o w e v e r , t h e h i g hd i m e n s i o no ft h e i rf e a t u r e sa n dt h ec o m p l e x i t yo ff e a t u r ee x t r a c t i o nl i m i t t h e i ru s a g e t h e r e f o r e , i nt h i st h e s i s ，an o v e lm e t h o d , c a l l 。db i n a r yg a b o rc o d e ( b g c ) w h i c hc o m b i n el b p a n dg a b o rw a v e l e t ，i sp r o p o s e d t h eb i n a r yg a b o rc o d ei sc o n s t r u c t e da f t e rc a l c u l a t i n gt h el o c a l b i n a r yp a t t e r n sc o d eo f t h eg a h n rm a g n i t u d ep i c t u r e s b e c a u s eo f c o n t a i n i n gb o t ht h ei n f o r m a t i o n o f l o c a lt e x t u r ea n db l o c kg r a yv a r y i n g ，b g cf e a t u r e sa r em o r eo v e r w h e l m i n gc o m p a r i n gw i t hl b p , g a b o rj e t sa n di n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) m e t h o d s e x p e r i m e n t a lr e s u l t ss h o wt h a ti t h a si m p r o v e dt h er e c o g n i t i o nr a t eg r e a t l y , e v e ni nb a dc o n d i t o n 4 i nf a c er e c o g n i t i o nr e s e a r c h ，t h em e t h o do fp r i n c i p a lc o m p o n e n ta n a l y s i si sv e r yi m p o r t a n t f r o m l 1 9 9 0 st i l ln o w , m er e s e a r c ho ni ti sd e e p e ra n dd e e p e r e 辨j a l l yi n 咖e s ey r s , 2 - d i m o n s i o n a l p r i n c i p a lc o m p o n e n ta n a l y s i sh a sp a i dm o r ea n dm o r ea t t e n t i o na n dm a n ym e t h o d sa r ep r o p o s e d ， i n c l u d i n g2 - d i m e n s i o u a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( 2 0 p c a 、a n db i d i r e c t i o n a lp c a ( b d p c a ) w h i c hc a l c u l a t e dt h ef e a t u r e sb a s e do nt h ec d t e r i o no f m a x i m u mt h ep r o j e c t e dm a t r i xs c a t t e r t h e y c a nn o te x t e n dt oh i g h 盯d a t aa n a l y s i sa n dt h ee x t r a c t e df e a t u r e sa l eo n ea n do n l y h c n c e , t h i st h e s i s p r o p o s e dan e wm e t h o d ，c a l l e dg e n e r a l i z e dp r i n c i p a lc o m p o n e n ta n a l y s i s 【g p c a ) ，w i t he x t r a c t i n g p r i n c i p a lc o m p o n e n tf e a t u r e so fm u l t i - d i m e n s i o nd a t at h r o u g hr e c o n s t r u c t i o ne l r o et h ep r o p o s e d m e t h o dc a nd e a lw i t ha n y 月d i m e n s i o nd a t at h e o r e t i c a l l y w h a t sm o r e , j tc a ne x t r a c tf e a t u r e s a c c o r d i n gt h eg i v e nf e a t u r en u m b e ra n dt h ed e s i g n e df e a t u r er e c o n s t r u c t i o na b i l i 母t ot e s tg p c a a n de v a l u a t ei t sp e r f o r m a n c e ，as e r i e ao fe x p e r i m e n t sa r ep e r f o r m o do nt h t e em a i nf a c ei m a g e d a t a b a s e s ：j a f f e o r la n df e r e t t h er e c o g n i t i o nr a t eo f g p c ai sh i g h e s ti na l ie x p e r i m e n t s 1 1 _ l er e s e a r c ha c h i e v e m e n t so ft h i st h e s i sw o u l dn o to n l yc o n t r i b u t et ot h ea f rc o m p u t a t i o nt h e o r y 。 b u ta l s of a c i l i t a t et h ed e v e l o p m e n to f r o b u s ta n dp r a c t i c a la f ra p p l i c a t i o n s k e y w o r d s ：a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) , b i o m e t r i c s , f a c i a lf e a t m e sa l i g n m e n t ，a c t i v es h a p e m o d e l ，( a s m ) ，g a b o rw a v e l e t ，p r i n c i p l ec o m p o n e n ta n a l y s i s ，e i g e n f a c e ，l o c a lb i n a r yp a t t c m s ( l b p ) , i n d e p e n d e n tc o m p o n e n ta n a l y s i s 1 1 研究背景与项目情况 第一章绪论 人脸识别与指纹、虹膜等生物特征识别方式不同，人脸识别采用被动式的信息获 取方式，整个过程中使用者无需任何介入，因此，更自然，更友好，隐蔽性好，不易 察觉。 本论文的研究得到了国家博士后基金“复杂条件下的人脸表情识别研究”( 批准 号：2 0 0 6 0 4 0 0 6 6 7 ) 和上海市博士后基会“基于视频的驾驶员面部信息提取的研究” 的资助，此外，还作为“基于无线宽带网络的城市交通信息服务系统”的一个子课题 的资助。这些项目的目标是研究人脸信息尤其是复杂条件下人脸分析的核心技术和关 键问题，提出新的方法，解决一些影响识别率的关键问题。主要关键技术包括人脸的 实时、精确定位，快速、准确的人脸特征提取算法。关键问题主要有复杂条件，包括 光照、姿态、表情、饰物等情况下的人脸识别问题。项目的共同目标是开发拥有完全 自主知识产权的算法、产品和系统，实现特定条件下的人脸识别。 1 2 自动人脸识别问题描述 自动人脸识别( a u t o m a t i cf a c er e c o g n i t i o n ，a f r ) 研究是让计算机等机器依靠摄 像机、视频头等设备输入人脸信息，能像人一样根据人脸来判断身份。因其跨学科、 使用广、难度大等特性越来越受到研究人员的重视。具体而言，主要包括以下几个功 能的任务： 1 人脸检测与跟踪 首先计算机要分析得到的图象中是否存在人脸。如果存在，则给出其位置、大小 等信息。进而对检测到的人脸进行实时跟踪，输出所检测到的人脸位置、大小等状态 随时间的连续变化情况。 2 面部特征定位 在得到人脸后，仔细对面部图像中眼睛、鼻子、嘴巴等器官进行精确定位，提取 准确的器官及其面部轮廓的形状信息。 3 人脸属性分类 ； 对人脸的性别、表情、种族、年龄等属性进行判别分析。 4 身份识别 即通常意义上的人脸识别问题。通过对输入人脸图像和已有人脸库中的图像进 行比对，进而确定输入人脸的身份。主要分为两步：第一步确定是否在人脸库中，如 果不在，则直接给出结果。如果在，则第二步给出身份。 5 身份验证 即通常意义上的人脸确认问题。将输入的人脸图像和目标人脸图像进行比对，系 统对该输入人脸图像的身份与目标身份是否相符作出判断。 在这几种不同的功能中，特别需要注意识别问题与验证问题的区别。简单来说， 识别可认为是一个多类分类问题，而验证则通常是一个二类判别问题f j k 0 0 ， k c l 0 0 ，t a o i ，j k 0 2 ，s g 0 3 。但其中涉及的关键问题一致且多数技术方法通用。 1 3 人脸识别的研究意义与典型应用 人脸识别的研究历史悠久，特别是近年来，它更成为一个热门的研究课题，著名 的大学、研究所，i t 公司都从不同研究层而开展相关研究。人脸识别的意义土要体 现在对其他学科的促进及巨大的应用前景两个方面。 ( 1 ) 促进相关学科发展 人脸识别问题的解决既涉及到模式识别，图像处理、分析与理解，计算机视觉， 计算机图形学，人工智能，人机交互等计算机相关领域，也采用了认知科学，神经计 算，生理学，心理学等相关专业知识。它的解决对掏建这些学科领域的基础实验3 f 台 用于尝试新方法，验证新理论，解释新现象非常有利。 ( 2 ) 具有巨大的应用前景 如今，需要进行身份认证的地方越来越多，如在a t m 上进行金融业务时需要输 入密码，进入自己的计算机系统则需要输入用户名和密码等等。但是，人多数采用的 身份证、钥匙、密码等方式，安全性、可靠性和方便性较差，越来越不能适应社会发 展的需求，亟需更方便、更可靠、更安全的身份验证方式。一j 时，公共安全、国家信 息安全等关系国计民牛的领域更需要高可靠、高安全的全新身份验证技术，尤其在美 国遭遇“9 1i ”恐怖袭。 事件之后，安全问题更加成为人们关注的热点问题，而牛物 特征识别技术被认为是这些需求的终极解决方式。而人脸识别作为一种典型牛物特征 识别技术，以其自然性、高可接受性等优点受到了人们的青睐，可应用于各行各业中， 具体来说可分为如下几类： 访问控制。在安全性要求较高的地方如政府、医院，或某些公共场所，可 以建立无门卫的门禁系统。对于来访者，可以通过入脸识别系统进行验证。 在窘录网络或计算机时，可以用人脸识别技术( f a c er e c o g n i t i o n t e c h n o l o g y ，f r t ) 代替口令的输入，这样就不用担心口令的丢失、忘记或 被窃取，从而可以增加重要文件的安全性。访问控制通常是一对一的验证， 罔像质量可控。 司法应用。最常见的是嫌犯( m u gs h o t ) 识别，基本方法是对比目标特征 和数据库存贮特征的相似性。目标图像的自然属性是关键的，且决定着整 个过程的困难程度。比如，有时候目标图像仅是通过目击证人的u 头描述 而勾勒出来的，这显然一i 能和实拍照片相比。其他类似的应用有驾照、护 照等的识别。人脸识别可以大大提高司法部门的效率。司法应用通常是一 对多的识别，图像质量一般情况下较好。 电子商务。人脸识别在电子商务中也有重要的应用。在在线金融、贸易活 动中，人脸识别可以提供客户的身份认证，并保证商业活动无拒付地良性 运转。这对于交易双方，银行都是很方便的，凼为“n op i nt or e m e m b e r ， n op i nt of o r g e t ”。电子商务通常是对一验证，图像质量较好。 视频监控。监控一般是在当事人不知道的情况下进行的。利用人脸识别技 术，监控者可以从大街上或进入大楼、机场的人群中找到自己要找的人。 监控通常是一对多，或多对多的识别。图像质量是不可控的，并且一副图 像l | i 存在多个人脸，具有姿态、视角、尺度、光照、遮挡等宽范围的变化。 对比人脸识别，其他的生物特征识别技术很难在监控领域得到应用。 1 4 人脸识别的技术优势与缺点 与指纹识别、虹膜识别等其它生物特征识别技术相比，人脸识别的技术优势主要有以 下儿点： 1 非接触式操作，适用于隐蔽监控 由于不需要接触，可秘密开展，特别适用于隐蔽监控、网上抓逃等应用。这是指 纹、虹膜等其他生物特征识别技术所不具备的； 2 没有侵犯性，容易被接受 远距离采集数据，小会对用户造成生理上的伤害，一般用户容易接受； 3 图像采集设备成本低 目前，u s bc c d c m o s 摄像头价格非常低廉，已成为计算机标准配置，极大地 扩展了人脸识别实用范围；另外，数码相机、数码摄像机和照片扫描仪等摄像设备在 普通家庭的日益普及进一步增加了其可用性； 4 更符合人类的识别习惯，可交互性强 人脸识别更符合人识别人的习惯，故若与用户交互配合可以大大提高系统的可靠 性和可用性；但是指纹、虹膜识别却不具备如此优点。 然而，人脸作为生物特征识别技术也有其自身的缺陷，主要表现在： 1 稳定性较差 主要米源于以下几个方面：首先，人脸自然变化。随着年龄、表情等的变化人脸 会变化。其次，人脸人为改变，很容易通过整容，化妆等方式改变。第三，不可抗拒 冈素。一些意外伤害容易造成人脸形状表观的变化。第四，最常见的，人脸图像会因 光照、装饰物等冈素的变化而表现完全不同。 2 可靠性、安全性较低 人脸作为识别对象时，它的类别有几十亿之多，由于人脸总体很相似，所以识别 时类间距离很小，技术上实现安全可靠的认证是有相当难度的。 3 数据采集时外界条件影响较大 主要是人脸数据采集过程中的光照条件、视角、距离等条件变化较多，极大地影 响了人脸图像的表观，从而使得识别性能不够稳定； 这些缺点使得人脸识别成为一个非常困难课题，尤其是在用户不配合、非理想采 集条件下的人脸识别问题，更成为目前的热点问题。当然，随着技术的发展，相信这 些问题也应该可以逐步解决，从而使得a f r 技术能够更好的满足公众的期望。 1 5 人脸识别的生理物理学提示 人自身进行人脸识别是简单而又自然的，但计算机识别就困难得多。对比于人类 识别，机器识别的优点是可以处理人量的人脸图像。研究人脸识别的生理物理学特性 可以为f r y 的发展提供帮助。人类的识别能力有一些有意思的特点，如人类对不熟悉 的人脸识别能力较低 l c 0 0 ；婴儿的识别主要是利用衣着、姿态等，长人后则转化为 从人脸来识别。运动信息在人脸识别中是关键的，但在空问反向的视频序列中，人类 对性别、身份的判断力降低；在时间反向时，性别判断就会出现问题 s j m 。 从生理物理学中的一些现象和实验结果来看，人脸识别和普通的目标识别 ( o b j e c tr e c o g n i t i o n ) 不同 c r 9 5 ，z w o o ，具体表现在：1 构造效应( c o n f i g u r e e f f e c t ) 的影响。每一个人脸的空问构造都具有某种和谐性，其中的任何变化都可以 感受到，而目标识别不存在这种情况。2 识别的信息。人脸识别采用全局表示，或 全局与局部的联合表示。目标识别则基于局部差异的位置和自然属性。3 描述的不 同。通常对人脸进行准确的语言描述是非常用难的，而描述某个物体，就可以较容易 地抓住本质特征。4 光照斤向的敏感性。比如，对于下方光照，人脸识别变得很难。 光照变化对其他物体识别影响不明显。5 测量( m e t r i c ) 变化。比如拉远人眼和鼻 子的距离会影响人脸识别的正确性，而物体的测量变化基本不影响分类。g 面内和 面外旋转。人脸识别较明显地受到面内、面外旋转的影响，而目标识别则无此限制。 总之，人脸识别是不同于目标识别的一个专门的过程。 生理物理学和神经生理学町以给机器人脸识别提供有益的启示： 人脸识别是全局特征和局部特征相结合的结果。由全局到局部相当于一个 由粗到精的过程。脸部特征对识别的重要程度是不同的，眼睛、人脸轮廓 最具有辨别能力。某些审美观点如美丽、魅力等也会对识别产生影响 c r 9 5 。 空间频率分析。有研究表明，针对不同的识别任务，低频和高频分量有不 同的作用。低频分量主要提供图像的全局描述，高频分量主要编码图像的 细节。 光照( i l l u m i n a t i o n ) 、姿态( p o s e ) 的变化是人脸识别的两大难点。 1 6 问题的提出及本文主要贡献 1 6 i 问题的提出 经过几十年的发展，尤其是近十年来的研究，自动人脸识别技术已取得了长足的 进步。目前最好的人脸识别系统在注册和认证环境条件比较一致、用户比较配合的情 况卜已经能够达到令人满意的效果，对1 0 0 0 人左右的识别系统，其l e 确识别率可以 在9 5 左右；验证系统的等错误率( e e r ) 性能也在2 以下。然而在大规模人脸库、摄 像环境不可控、用户不配合的情况下的识别性能依然不甚理想，还需要解决大量的关 键问题，尤其需要研究以下关键问题： 问题1 作为识别必要前提条件的面部关键特征精确定位问题 面部关键特征精确定位是鲁棒人脸识别的基本前提。一个成熟的自动人脸识别系 统尽可能的完全自动，不应该要求用户有过多的交互。而一个完全自动的人脸识别系 统至少包括人脸检测、面部关键特征定位、人脸描述特征提取、判别分类几个步骤， 面部关键特征定位是最基础也必不可少的一环。另外，由于后续的特征提取是基于前 面的关键特征定位的摹础上，因此定位精度将直接影响后续的人脸描述特征提取和分 类判别的精确度。现有的绝大多数自动人脸识别研究实验中，采用手- 丁标定的眼睛中 心、眼角、嘴角等特征位置，这实际上只完成了半自动的人脸识别。因此，面部关键 特征定位问题是一个尚未得到足够重视的课题，也是必须继续加大研究力度的一个研 究方向。 问题2 准确人脸特征提取算法与高效的识别算法 自动人脸识别系统的性能不仅取决于采用什么样的分类器，而且在很大程度上取 决于采用什么样的特征描述人脸，亦即人脸表示的问题。理论上讲，良好的人脸表示 可以使得最简单的分类器具有良好的识别性能。 直脱上讲，人脸三维形状信息和表面反射属性应该是比较好的人脸表示方法，但 遗憾的是它们难以从2 d 图像数据中准确获取，凶而并不实用。从奉质上讲，目前的 多数主流的人脸识别方法均直接利用了2 d 图像表观( 像素的亮度值) 作为人脸表示， 传统的p c a 算法由于受成像条件和各种几何变换的影响比较大，难以取得很高的识别 精度。其继仟算法2 d p c a 和b d p c a 由于对丰分量的提取更加细分，所以识别率有了较大 的提高，但是如何在不破坏图像原有的结构前提下提取更加详细的主分量信息非常值 得研究。 另外，g a b o r 变换冈具有优良的空间局部性和方向选择性，能够提取图像局部区 域内多个方向的空间频率和局部结构特征，是一种良好的人脸描述方法。同时，l b p 算子因其能提取一个像素周围的灰度信息而对光照、旋转等有较强的鲁棒性，近年来 受到了人脸识别研究人员的重视。但是，g a b o r 变换点的选择和l b p 特征的维数是它们 各自较为突出的弱点。如何将它们结合提取出判别性能高的特征非常值得关注。 1 6 2 本文主要贡献 本文重点探讨了实现鲁棒实用的自动人脸识别系统所必须的上述核心技术和关 键问题，对面部特征精确配准、基于l b p 和g a b o r 特征的人脸表示方法、广义主分量 人脸识别算法进行了专门研究。本文的辛要贡献总结如下： l全面综述了人脸识别研究的历史和现状 简述了计算机自动人脸识别研究的基本历史，对代表性方法进行了较为详尽的总 结，并从面部特征自动定位、人脸表示模型、分类和识别算法三个角度对人脸识别领 域的主要方法进行了分类整理。在此基础上，还总结了现有的主要人脸识别研究团体， 商业系统以及主要的公共人脸图像库的情况。最后讨论了人脸识别领域目前仍然面临 的主要技术难题和开放问题。 2研究了特征精确配准问题，对活动模板模型傲了一些改进，提出了最优搜索空间 于最优搜索的概念。 面部特征精确配准是鲁棒实用的人脸识别系统的基本前提。主动形状模型( a 跏) 目前解决该问题的主流方法。本章详尽地分析主动形状模型( a s m ) 的工作原理，仔 细地讨论了它的优缺点，并在此基础 二，提m 了三点改进：( 1 ) 针对经典a s m 算法中 模型空间构造的不足，提出了最优搜索空间的概念，在原模型空间的基础上加入了形 状变化子空间，提高了原模型空问的模型表达能力( 2 ) 针对经典a s m 算法及其以后的 改进算法中没有任何对搜索结果进行评价的现实，提出了一种合理、简便、易行的评 价方法，使搜索过程变得不在盲目，搜索结果更符合实际情况。( 3 ) 在第二步评价 的基础上，针对a s m 算法中搜索过程模型搜索和图像纹理搜索相互独立的缺点，提出 了一种最优搜索算法，其中使用了反馈策略，使得两种空间的搜索结果互相约束，互 相利用，是搜索过程变得更加合理，智能。这些改进在一定程度上弥补了a s m 算法种 模型空间与搜索过程的不足，更能够比较精确地定位预定义的面部关键特征。为后续 的入脸识别打下了良好的配准基础。 3研究了g a b o r 和l b p 的优势质，提出了g b e 的人脸识别算法 局部二元模式( l o c a lb i n a r yp a t t e r n s ，l b p ) 特征和g a b o r 小波特征因其充 分考虑基准点像素周围灰度统计特性而对片状光照变化、旋转等具有较强的鲁棒性。 近年来，多位研究者将其h j 在人脸识别系统中并取得了很好的效果。但是，由于特征 获敬的复杂性或高维性使得算法的应用平台较高。因此，本文将两种算法相结合，提 出了一种二元g a b o r 特征的提取算法，在各种g a b o r 特征图像之间进行局部二元模式 计算，新的特征凼l - j 时具备局部纹理和片状灰度变化信息而对光照、旋转更加鲁棒。 更为重要的是，特征维数降低了很多，减少了计算量。实验结果表明：和l b p 、g a b o r 小波以及独立分量等特征相比，本文提出的特征具有一定的优势，尤其在条件较差的 情况下优势更加明显。 4 研究了广义主分量的人脸识别算法问题，提出了一种可提取任意维主分量特征算 法 近年来，二维主分量分析越来越受到研究者的重视，提出了多种相关算法，主要 有二维主分量分析算法( 2 - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ，2 d p c a ) 和双向主分量分析算法( b i d i r e c t i o n a lp c a ，b d p c a ) 。它们都是通过最大化投影矩 阵散度来提取特征进而解决二维数据判别分析的问题。本文根据重构误差准则来提取 多维数据中各维主分量这一思路出发提出了广义主分量分析( g e n e r a li z e d p r i n c i p a lc o m p o n e n ta n a l y s i s ，g p c a ) 的概念，因为本文算法不仅能提取_ _ 维主分 量，理论上可以提取任意维。为了测试本文提出算法的性能，在j a f f e ，o r l 和f e r e t 二三个主要人脸库上设计了一系列实验，在所有的实验结果中，本文的广义主分量分析 算法都取得了最佳效果。 1 7 论文的组织结构 本论文各章的组织结构如下： 第章为绪论部分。主要介绍了本论文的研究背景，介绍了人脸识别的问题描 述、研究意义和典型应用。分析了人脸识别种的生理物理学问题。最后给出了本文研 究的主要问题及本文的主要贡献。 第二章为