（计算机应用技术专业论文）鉴别特征抽取方法及其在人脸识别中的应用研究.pdf

博士论文鉴别特征抽取方法及其在人脸识别中的应用研究 摘要 特征抽取是模式识别中最基本的问题之一。在人脸识别中，抽取有效的鉴别特征 是解决问题的关键。过去几十年中，在特征抽取的研究领域，有很多学者提出了相关 的算法，如基于线性特征抽取方法的线性鉴别分析，主成分分析和独立成分分析方法 等，以及在支持向量机的基础上演变而来的基于核技巧的特征抽取方法等。本文对线 性特征抽取方法和非线性的特征抽取方法做了更深入的研究，所提出的算法在人脸识 别方面得到了较成功的应用。 f s 鉴别分析方法( f o l e y - s a m m o nd i s c r i m i n a n ta n a l y s i s ，f s d ) 是有效的特征抽取 方法之一，但是该方法计算耗时，同时该方法没有考虑类内散度矩阵存在零空间的情 况。该文提出了一种完整的基于s c h u r 分解的f i s h e r 鉴别分析方法，该方法利用s c h u r 分解定理，简便的求出了同时满足正交条件和f i s h e r 准则的最优鉴别矢量，同时引入 了零空间的信息，在人脸数据库上的实验结果表明了该方法的有效性。 该文基于最大散度差准则( m s d c ) ，利用统计不相关投影空间，提出了一种具有 统计不相关性的最大散度差特征抽取方法。该方法的目标是寻求一组鉴别矢量集既要 使投影后的特征空间的类间散度最大，而类内散度最小；又要使最优鉴别矢量之间具 有统计不相关性。另外，还揭示了最大散度差鉴别准则与f i s h e r 准则的内在关系。所 提出的方法不但解决了传统小样本问题而且又使所求得鉴别矢量之间统计不相关。在 o r l 与n u s t 6 0 3 人脸库上的实验结果表明本文所提出的方法在识别性能上优于原 m s d c 特征抽取方法与传统的p c a 方法。 二维线性鉴别分析方法( 2 d l d a ) 是一种有效的特征抽取方法，但是该方法仅反映 图像行之间的变化，遗漏了图像列之间的变化，而图像列之间的变化也是人脸识别中 有用的信息。在这种情况下，影响了2 d l d a 的人脸识别率。针对这一问题，该文提 出了对角线性鉴别分析( d i a g o n a ll i n e a rd i c r i m i n a n ta n a l y s i s ，d i a l d a ) 的新方法。 该方法基于对角人脸图像，求解最优鉴别向量。在o r l 和f e r e t 人脸库进行了实验， 并与p c a 、f i s h e r f a c e 、2 d l d a 等方法进行了比较。实验结果表明该方法比这些方法 的识别性能要好。 实际问题中原始样本的分布通常是高度复杂和非线性的，利用传统的线性鉴别方 法( 如f d a 和p c a ) 来解决分类问题，一般不能取得令人满意的结果。受支持向量机 ( s u p p o r tv o c t o rm a c h i n e ，s v m ) 理论中有关核技术的启发，该文提出了一种改进的核 特征抽取方法。核技术的基本思想是通过适当的非线性映射将非线性可分的原始样本 变换到某一线性可分的高维特征空间，而这种非线性映射是通过定义适当的内积函数 实现的。该方法先在原始样本里利用核技术，然后在变换后的特征空间里，应用f i s h e r 摘要 博士论文 极小鉴别准则抽取用于鉴别分析的特征。但是当采用此准则时，则会出现一种新的小 样本的问题，即核类间散度矩阵会发生奇异问题。因此该方法先将核类间散度矩阵投 影到它的非零空间。最后在此非零空间求取最优鉴别矢量进行人脸识别。该方法综合 了核技术和f i s h e r 极小鉴别准则的优点，利用它来抽取原始样本特征，能够使得高度 复杂和非线性的原始样本线性化和简单化，同时该方法能够抽取到核类内散度矩阵的 零空间和非零空间的鉴别信息。在o r l 和n u s t 6 0 3 两个标准人脸库上的实验结果验 证了该算法的有效性。 最近，许多流形学习算法被提出并且成功的应用于人脸识别当中。这些流形学习 方法能够保持人脸图像数据的局部结构，同时，还可以发现人脸的非线性结构。在这 些流形学习方法中，局部保持投影方法( l p p ，l o c a l i t yp r e s e r v ep r o j e c t i o n s ) 是最有效 的方法之一。在本文中，基于l p p 方法并利用s c h u r 分解，提出了一种正交鉴别局部 保持投影方法，为了表示方便，我们简写为0 d l p p s 。与l p p 方法相比，o d l p p s 把 类间散度与类内散度之差的鉴别信息融入到l p p 的目标函数中并且获得了正交的基向 量。在o r l 、y a l e 和f e r e t 人脸数据库上的实验结果表明所提出的方法在识别性 能上优于一些已经存在的方法，如e i g e n f a c e ，f i s h e r f a c e ，l p p 和o r t h o g o n a l l p p ( o l p p ) 。 关键词：模式识别，特征抽取，主成份分析，f i s h e r 线性鉴别分析，核技术，人脸识 别，流形学习，局部保持投影 i i 博士论文鉴别特征抽取方法及其在人脸识别中的应用研究 a b s t r a c t f e a t u r ee x t r a c t i o ni so n eo ft h ee l e m e n t a r yp r o b l e m si nt h ea r e ao fp a a e r nr e c o g n i t i o n i t i st h ek e yt ot h ec l a s s i f i e rp r o b l e m ss u c h 鹊f a c ei d e n t i f i c a t i o n i nt h ep a s s e dd e c a d ey e a r s ， m a n yc o r r e l a t e da l g o r i t h m sh a v eb e e np r o p o s e dt os o l v et h i sp r o b l e m f o re x a m p l e ，l i n e a r d i s e r i m i n a n t a n a l y s i s ( l d a ) ，p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a n di n d e p e n d e n t c o m p o n e n ta n a l y s i s ( i c a ) a r ed e v e l o p e dt os o l v el i n e a rp r o b l e m ，a n dk e r n e lm e t h o d sb a s e d o ns u p p o av e c t o rm a c h i n e ( s v m ) a r ep r o p o s e dt os o l v en o n l i n e a rp r o b l e m i nt h i sp a p e r , l i n e a ra n dn o n l i n e a rm e t h o d so nf e a t u r ee x t r a c t i o nf i e l da r eb o t hd e e p l ya n a l y z e d t h e p r o p o s e da l g o r i t h m sc a nb e s u r es u c c e s s f u l l ya p p l i e do nt h ef a c er e c o g n i t i o n f o l e y - s a m m o nd i s c r i m i n a n ta n a l y s i s ( f s d ) i sa ne f f i c i e n tl i n e a rf e a t u r ee x t r a c t i o n m e t h o d h o w e v e r ，i t sc a l c u l a t i o np r o c e d u r ef o rd i s c r i m i n a n tv e c t o r si se x t r a o r d i n a r i l y t i m e - c o n s u m i n ga n dt h em e t h o dd o e s n tc o n s i d e rt h ed i s c d m i n a n ti n f o r m a t i o nc o n t a i n e di n t h en u l ls p a c eo ft h ew i t h i n - c l a s ss c a t t e rm a t r i x ，y e tt h i sd i s c r i m i n a n ti n f o r m a t i o ni sv e r y e f f e c t i v ef o rr e c o g n i t i o np r o b l e m i nt h i sp a p e r , ac o m p l e t ef i s h e rd i s c r i m i n a n ta n a l y s i s w i t hs c h u rd e c o m p o s i t i o na p p r o a c hi sp r o p o s e d n l cm e t h o ds i m p l yo b t a i n sas e to ft h e o p t i m a ld i s e r i m i n a n tv e c t o r sm e e t i n go r t h o g o n a l i t yc o n s t r a i n t sa n df i s h e rc r i t e r i o n ，a tt h e s a m et i m e ，i n f o r m a t i o no fn u l ls p a c eo ft h ew i t h i n - c l a s ss c a t t e rm a t r i xi si n t r o d u c e di nt h i s p a p e r e x p e r i m e n t a lr e s u l t so no r l a n df e r e tf a c ed a t a b a s ei n d i c a t et h a tt h ep r o p o s e d m e t h o di sv a l i d m a k i n gu s eo ft h es t a t i s t i c a lu n c o r r e l a t e dp r o j e c t i o ns p a c e ，an e wm e t h o do fs t a t i s t i c a l l y u n c o r r e l a t e do p t i m a ld i s c r i m i n a n tv e c t o r si sp r e s e n t e di nt h i sp a p e rb a s e do nt h em a x i m u m s c a t t e rd i f f e r e n c ed i s c r i m i n a n tc r i t e r i o n n eu n c o r r e l a t e do p t i m a ld i s c r i m i n a n tv e c t o r sa r e o b t a i n e db yr e s o l v i n gt h eo r t h o g o n a lv e c t o r sb a s e do nm a x i m u ms c a r e rd i f f e r e n c e d i s c r i m i n a n tc r i t e r i o ni nt h eu n c o r r e l a t e dp r o j e c t i o ns p a c e 1 1 1 ep u r p o s eo ft h em e t h o di st o m a x i m u mt h ei n t e r - c l a s ss c a r e rw h i l es i m u l t a n e o u s l ym i n i m i z i n gt h ei n t r a - c l a s ss c a t t e r a f t e rt h ep r o j e c t i o n ，a n de l i m i n a t et h es t a t i s t i c a l l yc o r r e l a t i o nb e t w e e nf e a t u r e s b e s i d e s ， t h i s p a p e rr e v e a l st h er e l a t i o nb e t w e e nt h em a x i m u ms c a t t e rd i f f e r e n c ed i s c r i m i n a n t c r i t e r i o na n df i s h e rc r i t e r i o nf o rf e a t u r ee x t r a c t i o n e x p e r i m e n t a lr e s u l t so no r la n d n u s t 6 0 3f a c ed a t a b a s es h o wt h ee f f e c t i v e n e s so ft h ep r o p o s e da l g o r i t h m 1 h er e c o g n i t i o n r a t eo ft h em e t h o di ss u p e r i o rt om s d ca n dp c a t w o d i m e n s i o n a ll i n e a rd i s c r i m i n a n ta n a l y s i s ( 2 d l d a ) i sa l le 伍c i e n tl i n e a rf e a t u r e e x t r a c t i o nm e t h o d b u tt h ep r o j e c t i v ev e c t o r so f2 d l d ao n l yr e f l e av a r i a t i o n sb e t w e e n r o w so fi m a g e sa n dv a r i a t i o n sb e t w e e nc o l u m n so fi m a g e sa r eo m i t t e d ，w h i l et h eo m i t t e d i i i 博士论文 v a r i a t i o n sb e t w e e nc o l u m n so fi m a g e sa r eu s u a l l ya l s ou s e f u lf o rr e c o g n i t i o n t h e r e f o r e r e c o g n i t i o np e r f o r m a n c eo f2 d l d ai s a f f e c t e d t os o l v et h ep r o b l e m ，d i a g o n a ll i n e a r d i c r i m i n a n ta n a l y s i s ( d i a l d a ) w a sp r o p o s e di nt h i sp a p e r e x p e r i m e n t a lr e s u l t so no r l a n df e r e tf a c ed a t a b a s ed e m o n s t r a t et h ep r o p o s e da l g o r i t h mi ss u p e r i o rt o2 d l d am e t h o d a n ds o m ee x i s t i n gw e l l k n o w nm e t h o d s i nm a n yr e a l - w o r l da p p l i c a t i o n st h ed i s t r i b u t i o n so f o r i g i n a ls a m p l e sa r eu s u a l l yh i g h l y c o m p l e xa n dn o n l i n e a r t h er e s u l to fc l a s s i f y i n gt h es a m p l e si sn o ts a t i s f y i n gb yu s i n g c o n v e n t i o n a ll i n e a rd i s c r i m i n a n ta n a l y s i ss u c ha sf d aa n dp c a b a s e do nt h ek e r n e lt r i c ki n s u p p o r tv e c t o rm a c h m e ( s v m ) ，ak i n do fn o n l i n e a rf e a t u r ee x t r a c t i o nt e c h n i q u ei sp r e s e n t e d f i n a l l yi nt h i sp a p e r i nt h en e wa p p r o a c h ，t h ek e r n e lt r i c ki su s e df i r s t l yt op r o j e c tt h e o r i g i n a ls a m p l e si n t oa ni m p l i c i ts p a c ec a l l e df e a t u r es p a c eb yn o n l i n e a rk e r n e lm a p p i n g ， t h e nt w oe q u i v a l e n tm o d e l sb a s e do nf i s h e rd i s c r i m i n a n tm i n i m a lc r i t e r i o nb yt h et h e o r yo f r e p r o d u c i n gk e r n e li nt h ef e a t u r es p a c e ，a n dt h eo p t i m a ld i s c r i m i n a n tv e c t o r sa r es o l v e d f i n a l l yb yu s i n gf i s h e rd i s c r i m i n a n tm i n i m a lc r i t e r i o n t h ep r o p o s e da l g o r i t h mw a st e s t e d a n de v a l u a t e do nt h eo r la n dt h en u s t 6 0 3f a c ed a t a b a s e t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tt h ep r o p o s e dm e t h o di sv a l i d f a c er e c o g n i t i o ni so n eo ft h eh o t t e s tr e s e a r c ha r e a si np a t t e r nr e c o g n i t i o n m a n yf a c e r e c o g n i t i o nm e t h o d sh a v eb e e np r o p o s e d r e c e n t l y , al o to fl e a r n i n ga l g o r i t h m sh a v e b e e n p r o p o s e da n da p p l i e di ti nf a c er e c o g n i t i o nt a s k ss u c c e s s f u l l y a m o n gt h e m ，l o c a l i t y p r e s e r v i n gp r o j e c t i o n s ( l p p ) i so n eo ft h em o s te f f e c t i v em e t h o d s i nt h i sp a p e r , w e p r o p o s ean e wf a c er e c o g n i t i o nm e t h o d - - - - o r t h o g o n a ld i s c r i m i n a n tl o c a l i t yp r e s e r v i n g p r o j e c t i o n sw i t hs c h u rd e c o m p o s i t i o n ( o d l p p s ) i nc o m p a r i s o nw i t hl p p , t h eo b j e c t i v e f u n c t i o no ft h e p r o p o s e d m e t h o d i n c o r p o r a t e s s c a t t e rd i f f e r e n c ei n f o r m a t i o no f b e t w e e n - c l a s sa n dw i t h i n - c l a s sa n dm a k e st h eb a s i cv e c t o r so r t h o g o n a l e x p e r i m e n t a l r e s u l t so no r l 、y a l ea n df e r e td e m o n s t r a t et h ep r o p o s e da l g o r i t h ma c h i e v e sb e t t e rf a c e r e c o g n i t i o np e r f o r m a n c et h a ns o m ee x i s t i n gm e t h o d ss u c ha se i g e n f a c e 、f i s h e r f a c e 、l p p a n do r t h o g o n a ll p p ( o l p p ) k e yw o r d s ：p a t t e r nr e c o g n i t i o n , f e a t u r ee x t r a c t i o n ，p r i n c i p a lc o m p o n e n ta n a l y s i s ， f i s h e rl i n e a rd s c r i m i n a n ta n a l y s i s ( l d ao rf d a ) ，f a c er e c o g n i t i o n , l o c a l i t yp r e s e r v i n g p r o j e c t i o n s ( l p p ) ，k e r n e lt r i c k ，m a n i f o l dl e a m i n i v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：年月 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：年月 日 博士论文 鉴别特征抽取方法及其在人脸识别中的应用研究 第一章绪论 人类步入信息时代以来，信息的自动处理就成为人类生产和生活中不可缺少的组 成成分，人们越来越倚重于相关技术的研究与实现，这其中就包括模式的自动分类技 术。对人类而言，模式分类其实并不是新鲜事物，因为这方面的能力我们生而有之。 我们能够认出以前的老朋友，能通过电话交谈认出对方是谁。模式识别能力天然地成 为人类智能的组成部分。但是，要想计算机拥有人类这种与生俱来的能力却并非易事。 事实上，从信息处理的角度进行研究，发展相关理论与算法，以使计算机来实现人的 视觉、听觉等模式识别能力，是人类在基础理论与应用研究中面临的最重大挑战之一。 同时，用计算机实现模式的自动识别，是使我们的世界变得更加智能的关键技术之一。 随着数字化和网络通讯技术的飞速发展，海量的信息几乎己经超过了人所能处理和接 受的极限。如何用智能化的手段处理和识别网上的海量信息( 包括文字、图像、语音 等) 已成为当前信息技术领域迫在眉睫的需求。从信息安全的角度出发，研究有害网 络信息过滤和有用信息检索中的智能信息处理与识别技术也是当务之急。 与此同时，要进一步普及计算机的应用，加速信息技术向全社会的渗透，消除所 谓的 数字鸿沟 ，就必须研究便捷的人机交互技术，以克服传统的人机交互手段的 弊端，实现真正的“人机融合”。人机交互技术的发展将支持用户通过各种手持式设 备、传统p c 终端和固定电话等形式来安全可靠地检索各种媒体信息。而且，人机交 互的终极目标应是与自然语言交流方式接近的某种方式，而不是目前借助于鼠标与键 盘的入机交流方式。虽然要达到这一目标，可能还有很长的路要走，但这一定是模式 识别技术未来发展的方向。比尔盖茨认为人类计算的未来就是要让计算机会看、会听、 会说、会思考。 在人类的模式识别技能中，生物特征识别可能是使用得最多的技能之一。我们能 根据以往获取的某个人的脸部信息、声音信息、以及姿态甚至背影信息辨认出这个人。 我们希望计算机系统也具有这样的能力。现在，全球反恐任务就包含着这方面的需求。 常见的需求是要求系统根据虹膜、视网膜、指纹、人脸、语音、步态、掌纹信息等自 动识别人的身份，也有需求要求系统能识别人的表情，甚至有需求要求识别人是否撒 谎等等。上述所提及的信息都属于生物信息的范畴，基于生物信息的识别就称为生物 特征识别。该领域是目前模式识别研究中最有活力，也是有重要应用前景的领域之一。 经过几十年的发展，生物特征识别研究的价值开始体现，不少商用系统己经出现，而 且其中一些生物特征识别技术逐渐走向成熟。但是，另一方面，生物特征识别问题仍 是一个开放问题，从基础理论到具体应用，都有些重要问题尚未解决。 第一章绪论博士论文 1 1 人脸识别介绍及研究概括 人脸识别是当前模式识别和人工智能领域的一个重要研究课题，近1 0 多年来已 成为个非常活跃的研究方向【1 。9 1 。与指纹虹膜语音等其他人体生物特征相比，人脸 识别更加直接友好，在身份识别、访问控制、视频会议、档案管理、电子相册、基于 对象的图像和视频检索等方面有着广泛的应用。 人脸识别是指计算机根据一定的算法，对新获得的图像与计算机中已有的图像库 进行匹配比较后，做出测试图像中身份判断的识别过程。人脸识别研究是一个跨越了 图象处理、模式识别、计算机视觉、以及神经生理学、心理学等研究领域的学科。人 脸识别近十几年来的研究非常活跃，是当前图像工程领域的四大研究热点之【l o l ，它属 于生物鉴别技术( b i o m e t r i c s ) 的- - 部分。生物识别技术是指通过对人体特征的数字化测 量来进行身份鉴别。指纹、掌纹、入脸、声音、虹膜、d n a 、签名、耳纹、步态等特 征都可被用来尝试进行身份的鉴定研究。在人的各种形式的生物特征中，人脸是一个 人区别与他人的最自然、最主要的特征。人脸特征同时还具有唯一性，一个人与他人 的脸部特征是不同的，即使是双胞胎的人脸也有区别，这说明用人脸区分不同的人是 合理可行的。另一方面，人脸图像相对于其他生物特征来说更容易获取，法律上也没 有障碍。 人类通过脸部特征来确认和区别不同的人是一件很轻松的事情，但对于计算机来 说却是一个极其具有挑战性的任务。原因主要有，人脸结构都是相似的，不同人的脸 部图像在图像空间中距离非常接近，这也正是人脸检测得以实施的主要原因，但对模 式分类却是非常不利的；人脸是一个非刚性的物体，在不同阶段，不同获取环境下在 计算机中的表示方式可能不一样，因此对人脸的最终识别也会带来误导。从模式识别 的角度来说，人脸识别属于一个大类别的识别问题，全球有6 0 多亿入口，并且在不 断的增加着，类别数越多，识别的难度越大；同一个人的图像是有各种变化的，人有 喜、怒、哀、乐的表情变化，不同时期人的图像会有变化，人会有姿态的改变，光照 有强弱和角度的变化，这样导致一个人的测试图像与存储库中的图像不一致，影响正 确的判断。尽管现在己有一些人脸识别的方法，但与实际应用的要求及问题的真正解 决还有相当的距离。同时，对于如何表述人脸的特征，也是一个具有挑战性的问题。 这促使我们对这一问题进行进一步的研究。 人脸识别具有广泛的应用背景。人脸如同人的指纹一样，也具有唯一性，可用来 鉴别_ 个人的身份，人脸识别技术在商业、法律和其它领域有着广泛的应用。人脸识 别首先是法律部门打击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大 的应用价值。这些应用包括了从静态的、受控背景的照片到动态的、非控背景的录相 等各个方面，每项应用都有着不同的技术难度、处理方法和分析理解方式。它们基本 2 博士论文 鉴别特征抽取方法及其在人脸识别中的应用研究 上可分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。近年来对人脸识别原型系统和 商业系统的f e r e t 和f r 、，t 测试表吲1 1 - 1 2 对约束环境下采集的图像以及在对象配合 的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质量人脸像片识别率可达到 9 5 以上，但在非约束环境下包括上述光照、姿态等多种变化因素，识别率将急剧下 降，因此非约束环境下的人脸识别也逐渐受到广泛的研究例如，嫌疑犯查找是静态匹 配中最常见的应用显然，在嫌疑犯照片的拍摄过程中，一般来说，可以控制照相背景、 光照条件、摄像机的分辨率以及摄像机与被拍照人之间的距离、角度等，获得多幅正 面人脸图像或多幅侧面人脸图像。在这些条件约束下来获取图像，可简化人脸分割和 识别算法。公众场合监控是典型的动态匹配应用。通过摄像机得到的视频图像质量一 般较差，而且背景比较杂乱，分割人脸就相当困难，但可以利用运动图像分析来分割 运动者的人脸，也可以利用现有的人脸模型，部分重建人脸图像，这在某种程度上会 比静态匹配更容易解决。这方面应用的难点是需要实时处理。 早在六七十年代，人脸识别就引起了广大研究者的强烈兴趣。在过去的近四十年 的时间里，心理学家、神经生理学家和工程技术人员对人和机器如何识别人脸的各个 方面进行了广泛的研究【l m l l 。心理学家、神经生理学家涉足于下述问题：人脸的唯一 性；识别人脸是在整体特征还是在局部特征下进行；表情分析及其在识别中的应用； 婴儿怎样理解人脸；人脸记忆的组织结构等等。心理学和神经生理学的研究无疑将非 常有益于人脸识别技术的发展，但除少数文献外，机器识别人脸的研究独立于心理学 和神经生理学的研究。 进入上世纪九十年代，由于各方面对人脸自动识别系统的迫切要求，特别是美国 发生“9 1 1 恐怖袭击以来，人脸识别的研究变得十分热门。目前，美国等西方国家 有许多专门从事人脸识别的研究小组，他们的研究受到军方、警方及大公司的高度重 视和巨额资助近年来，国际、国内的众多高校也普遍开展了对人脸识别的研究，在人 脸识别方面的研究取得了较大的进展，国际国内发表的有关人脸识别的论文在数量上 大幅增长，i e e et r a mp a m i 还于1 9 9 7 年七月出版了人脸识别的专辑，每年的国际会 议上关于人脸识别的专题也屡屡可见。 人脸识别的一般过程可以分为以下三个部分： 1 人脸检测：判断输入图像中是否存在人脸，如果有，根据人眼等信息，提取 出纯脸部图像，并进行归一化处理。 2 特征抽取：抽取人脸用于分类的少量的关键的特征。 3 人脸分类：根据特征抽取的结果，用分类器与库中人脸图像的特征进行对比， 判断该人脸的身份信息。 第一章绪论 博士论文 1 2 人脸检测概述 人脸检钡j j ( f a c ed e t e c t i o n ) 是指在输入图像中判断是否存在人脸，如果存在，确定所 有人脸的位置、大小等的过程。人脸检测是人脸识别中的一项关键技术，是人脸识别 的前提和基础，近年来模式识别与计算机视觉的研究者对此非常重视。人脸检测问题 虽然最初来源于人脸识别，但现在其应用背景己经超出了人脸识别系统的范畴，在基 于内容的检索、数字视频处理、视觉监测等方面有着重要的应用价值。 人脸检测从处理的图像来源上分为两类：静态检测和动态视频检测。静态检测指 任意给定一幅静态图像，确定这幅图像中是否存在有人脸，如果存在，就返回每一个 人脸的位置和范围。动态图像指视频序列，如监控录像、影视资料等。动态检测即从 动态图像中检测人脸、分割人脸。 下面所指人脸检测为静态检测。 人脸检测所面临的挑战主要有以下几个方面： 姿态：人脸和摄像设备位置关系所引起的图像中人脸的变化。人脸的一些特征， 如眼睛、鼻子，可能会被遮挡。 表情：人脸的检测有时会很大程度上受人脸表情的影响。 遮挡：人脸可能部分的受到遮挡，如在集体照中，一些人脸可能会被其他的人脸 所遮挡。 成像条件：成像时的因素，如光照、光源的位置和分布，以及摄像设备的特性都 会对人脸的成像情况造成影响。 某些人脸特征的出现与否：人脸的特征，如胡子，头发，眼镜等的出现与否，可 能会很大程度上影响到人脸的形态，颜色和大小。 人脸在图像中的方向：人脸在图像中的旋转变化会给人脸检测带来直接的影响。 人脸检测也可以看成是人脸和非人脸两类的识别问题。 静态的单幅图像的人脸检测主要包含了以下一些方法： 1 2 1 基于知识的方法 基于知识的方法一般先提取各种基本特征，然后根据一些知识规则确认图像中 是否包含人脸。这些规则可以通过人的先验知识获得，也可从较多样本中总结出来。 y a n g 等提出采用镶嵌 羽( m o s a i ci m a g e ) 来检测人脸【2 2 ，这种方法的特点是使用了从 粗至细的策略，在一定程度上降低了人脸检测的计算量，虽然该方法没有很高的检测 率，但其采用多分辨率分层和指导性搜索规则来进行人脸检测的思想对此后一段时间 的人脸检测研究工作起到了一定的影响。卢春雨等对镶嵌图方法进行了改进，取得了 较好的实验结果【2 3 1 。姜军等提出了一种基于知识的快速人脸检测方法【2 4 】，方法采用符 4 博士论文 鉴别特征抽取方法及其在人脸识别中的应用研究 合人脸生理结构特征的人脸镶嵌图模型，并针对人脸图像的灰度和边缘信息，建立了 一种较为完备的知识库，采用了多级检测的快速方法。 d a i 等利用人脸图像的灰度共生矩阵分别得到惯量、倒数差分和相关特征等三个 特征矩阵，三个特征矩阵分别满足三个不等关系式，其中的参数可通过迭代算法求得， 这个模型被称为人脸的纹理模型【2 5 1 。y o w 和c i p o u a 提出了一种基于局部特征空间几 何关系的人脸检测方法【2 6 】。j e n g 等根据可能的眼睛对获得人脸候选区域，用一个评估 函数表示每个区域属于某个特征的可信度，根据评估函数的加权来确定人脸区域【2 7 】。 k o n d o 等提出基于h a m 小波变换的不均匀光照的人脸检测方法【2 8 1 。h a n 等提出了一 个基于形态学预处理的快速人脸检测方法【2 9 1 ，该方法基于形态学进行眼睛近似物的分 割并利用眼睛近似物分段来指导搜索潜在的人脸区域，然后通过一个训练过的b p 神 经网络进行人脸区域验证，实验结果显示了该检测方法具有较高的检测率。w o n g 等 提出联合遗传算法和特征脸算法来检测人脸【3 0 】，该方法将每个眼睛对确定的区域作为 一个候选人脸投影到特征脸空间，用原始图像与重构图像的欧式距离的倒数作为适应 度函数，使用遗传算法搜索可能的人脸区域，最后对每个人脸候选区域，通过检查左 右灰度的一致性以及水平和垂直方向上的灰度投影来进行验证。 基于知识的人脸检测方法简单、直观，检测效果依赖于特征的提取和预先定义的 规则。由于图像灰度受光照的影响较大，一般在使用这些方法之前应采用预处理技术， 为了验证人脸区域，常常需要结合各人脸器官的特征及其之间的结构关系，当图像的 质量较差时，特征不容易检测。另外，采用的知识规则可能不够准确或全面。该类方 法对质量较好的图像具有较好的检测性能，而对于复杂的图像检测效果一般不理想。 1 2 2 基于人脸的不变特征的方法 这类方法是通过寻找在姿态、光照、视点等条件改变的情况下人脸保持不变的特 征，来进行人脸检测，这是一种自底向上的方法。这些特征包括人脸的轮廓、纹理、 皮肤颜色信息等。通过边缘检测和图像二值化等方法，提取眼睛、眉毛、嘴、头发等 所在的候选位置，用我们知道的人脸五官之间的位置应当满足的规则逐渐排除非脸区 域，从粗到精找到人脸所在区域，再用一些统计的方法和人脸模板验证是不是人脸。 杨光正等则从人脸灰度网格分布的角度提出了一个多层的基于知识的人脸定位系统 【3 1 1 ，在充分利用人脸灰度分布、边缘等特征的基础上，采用从粗到精的分步搜索和多 级判断逐渐排除非脸区域的方式完成人脸的检测，能够在预先不知道人脸数量与大小 的情况下，在复杂背景中找寻人脸位置。人的皮肤的颜色是检测人脸的一个有效特征， 尽管有不同肤色的人种差异，但所有人的肤色在颜色空间中都处在一个很小的区域。 l e e 3 2 等人利用运动和色彩线索，基于知识，在监控视频图像的复杂背景中，在实时 景象中定位人脸区域。 5 第一章绪论 博士论文 1 2 3 模板匹配的方法 基于模板匹配的人脸检测方法是采用事先确定的面部器官或整体人脸的模板进 行人脸检测，在图像中找出最为相似的位置作为人脸区域，该类方法结构简单，具有 一定的应用价值，但是该类方法只是适合于需要检测的人脸受到的干扰不大，并且选 用的人脸模板和需要检测的人脸要具有较大的相似度等情况，如果不知道图像中人脸 的情况，很难达到较好的检测效果。 b r u n e l i 等利用5 种不同尺寸的模板来检测眼睛的位置【3 3 1 ，这种简单模板匹配的 方法易于实现，但是图像噪声对检测结果影响很大并且不能动态检测眼睛的位置。 y u l l i e 等提出了基于弹性模板的方法，用于入脸特征的抽取彤】。s a k a i 等使用眼睛、鼻 子、嘴和人脸轮廓等子模板建模，检测照片中的正面人脸【3 5 1 。c r a w 等提出了一种基 于正面人脸的形状模板( 也就是人脸的外形) 检测方法p 6 j ，该方法采用s o b e l 滤波器提 取边缘，将边缘组织在一起，根据几个约束条件去搜索人脸模板，在头部轮廓检测以 后，用相同的过程以不同的尺度重复检测眼睛、眼眉和嘴唇等特征。g o v i n d a r a j u 等 提出两个阶段的人脸检测方法【罗7 1 ，人脸模型根据边缘定义的特征构成，这些特征描述 了正面人脸的左边、发际和右边的曲线。 m i a o 等在人脸图像中提取可能对应于眉毛、眼睛、嘴等器官的水平方向的马赛 克边缘，计算各段边缘的重心，得到基于人脸特征的重心模板【3 8 1 ，实验结果表明在图 像中含有单个人脸要比图像中含有多个人脸的检测结果好。梁路宏等使用了直接的平 均脸模板匹配方法来检测人脸【3 9 1 ，该方法考虑到眼睛在人类辨识人脸过程中的特殊作 用，首先使用双眼模板进行粗筛选，然后使用不同长宽比的人脸模板进行匹配，最后 使用马赛克规则进行验证。周激流等提出了一种全新的人脸脸部轮廓提取算法，他 们采用先验模板及交替补偿机制的方法来提取脸部轮廓，实验证明提出的特征提取算 法高效且鲁棒性能好。 1 2 4 基于统计的方法 对于实际中很多情况，使用基于知识的方法并不能达到很高的精度，因为许多人 脸图像和非人脸图像之间的差异无法用知识的方法来描述，必须通过很多样本进行训 练来获得它们之间的细微差异，所以基于统计学习的方法在人脸检测中具有更好的检 测效果。基于统计学习的方法将人脸检测视为从模式样本中区分非人脸样本和人脸样 本的模式识别问题，通过对人脸样本集和非人脸样本集进行学习得到一组模型参数， 然后使用得到的模型参数来判断图像中的每一个子窗口是不是人脸，从而达到人脸检 测的目的。当前，几乎所有的统计模式识别方法都应用到了人脸检测这个问题上，主 要有两个大类：一类是使用统计的方法进行有效的特征抽取，比如主成份分析、线性 6 博士论文鉴别特征抽取方法及其在人脸识别中的应用研究 鉴别分析、流形方法等；另外一类使用了统计的方法进行分类，如神经网络、支持向 量机，隐马尔科夫模型，贝叶斯决策、b o o s t i n g 方法等。 t u r k 等提出采用主成份分析方法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 来抽取 有效的特征来进行人脸检测【4