（模式识别与智能系统专业论文）鲁棒的人脸识别技术的研究.pdf

摘要 摘要 人脸是人体生物特征中最重要的一个，比起语音、指纹和虹膜等其他生物特 征，人脸识别技术具有友好、直接的特点，在身份识别、自动监控、人机交换等 众多应用中有很大的发展潜力。人脸识别技术经过三十多年的研究，在环境可控 条件下已达到实用程度，但是由于人脸的定位精度以及光照、姿态、表情、遮挡 等变化的影响，在环境不可控的情况下，已有的人脸识别算法性能都大大下降， 其应用范围也受到了较大的限制。因此，研究对各种变化鲁棒的人脸识别技术是 当前的一个研究热点。 本论文主要研究工作包括：快速的人脸检测方法，基于判别分析的人脸识别 方法，以及影响人脸识别性能的两个最重要因素( 光照和姿态变化) 的处理方法。 ( 1 ) 复杂背景下的快速人脸检测技术。 采用简单的类h a a r 基图像来抽取图像特征，并将多个简单分类器组合构成 一个强分类器，再用多个强分类器逐次对待检测窗口区域进行判断，从而得到最 终的人脸候选区域。我们也提出采用边沿特征预处理和快速的搜索策略来提高检 测速度。提出了基于模糊c 均值聚类方法的肤色分割方法，获得了更准确的分 割结果。 ( 2 ) 基于判别分析的人脸识别方法。 研究了基于图像矩阵的判别分析方法，并对基于矢量和基于矩阵的判别分析 方法的识别性能进行了比较，讨论了各自的优缺点。 提出了基于g a b o r 模板的最优特征采样方法。g a b o r 特征是一个有效的人脸 特征描述方法，但是，一幅人脸图像经过多级多方向的g a b o r 小波变换后，数据 量大大增加。传统的均匀下采样方法没有考虑不同特征的不同重要性，因此，在 降低数据维数的同时，识别率下降较明显。我们提出的g a b o r 模板采样方法，能 提取出最具人脸特征描述的g a b o r 特征，并对不同区域采用不同的采样间隔，从 而达到降低维数的同时，仍保持了较高的识别率。 对于具有姿态和表情等变化，研究了采用g a b o r 变换和非线性判别分析的人 脸识别方法，并研究了不相关的判别分析方法。人脸识别中，通常样本数据的维 数远远高于样本总数，使得判别分析方法中的类内教射矩阵通常是奇异矩阵。 f i s h e r f a c e 等方法通常先采用p c a 对数据降维后，再舍去一部分特征，以保证类 内散射矩阵是非奇异矩阵，但是会导致判别信息的丢失。另一个常用的方法是给 类内散射矩阵的对角元加上一个正的小扰动，使其为非奇异矩阵，但是小的扰动 北京工业大学工学博士学位论文 会改变判别矢量的方向。我们提出在不丢失判别信息的前提下，分两步求解出两 组判别矢量，并证明提取的特征是统计不相关的。试验对比结果表明，我们的方 法是有效的。 此外，也研究了基于预估策略的最优判别矢量的选择方法以及加权方法。对 于训练图像是一些正面，而待识别图像具有姿态、光照和表情等一些变化的情况， 我们提出依据一些具有这些变化的其他人的人脸图像样本来预估已获得的不相 关的判别矢量，根据各判别矢量对这些变化的敏感程度来选取需要的判别矢量。 试验结果表明，采用选择出的判别矢量来提取特征，识别性能将有所提高。 ( 3 ) 亮度变化下的人脸识别方法。 提出了基于本征亮度模型的光照处理算法。已有的一些处理亮度变化的方 法，要么很复杂，要么要求每个人有多个不同光照的图像，对实际应用带来一定 问题。我们根据人脸具有相似结构和反射率的特点，对于一个小的具有多种亮度 变化的辅助图像集，采用均值滤波的方法来消除不同人脸图像的细节差别，而保 留光照的变化。然后，应用p c a 方法来获得仅仅描述与人脸细节特征无关的本 征亮度模型，以及对亮度变化不敏感的差分图像，从而使得后继的人脸识别算法 对光照变化不敏感。该方法简单、快速而且有效。 提出了基于比率图和迭代的光照处理算法。该方法不同于以前所有方法，在 每个人仅有一幅正面光照图像的条件下，通过图像分割、边沿提取和自适应滤波 等图像处理技术，以及正面人脸的对称性等知识，基于迭代的比率图方法，可以 将任意光照的人脸图像恢复成一个具有正面光照的图像。该方法比本征亮度模型 复杂些，但是更能处理人脸表面上非常大的亮度变化问题，且恢复出的图像更符 合入眼的视觉习惯。实验表明，该方法能获得很好的识别效果。 ( 4 ) 姿态和亮度变化下的人脸识别方法。 提出了基于有理b 样条函数拟合3 d 入脸表面和基于亮度模型的计算机图形 学技术的亮度和姿态变化的处理技术。依据人脸识别的特点，我们提出对原来的 c a n d i d e 模型进行修改，获得了一个新的模型。当进行纹理融合时，我们提出 根据人脸侧面特征线变换侧面图像，然后通过多级高斯滤波消除过渡边沿，并通 过在边沿邻近区与原正面图像进行融合来改善效果。也提出采用参数内插方法将 不规则的三角网格顶点转化为一个比较规则的二维控制点阵列，并采用有理b 样条函数拟合3 d 人脸表面。采用光照模型和3 d 人脸结构能较好地解决姿态和 亮度变化下的人脸识别问题。 关键词：人脸检测，人脸识别，判别分析，本征亮度模型，比率图模型 3 d 人脸模型 a b s t r a c t f a c eb i o m e t r i c si so n eo ft h em o s ti m p o r t a n t b o d yb i o m e t r i c s f a c er e c o g n i t i o n t e c h n o l o g yi saf r i e n d l ya n dd i r e c tw a y t oi d e n t i f yd i f f e r e n t p e r s o n sa sc o m p a r e dw i t h s o m er e c o g n i t i o n t e c h n o l o g i e s b a s e do no t h e r b o d yb i o m e t r i c s ，s u c ha s ，v o i c e ， f i n g e r p r i n ta n di r i s ，a n dh a sl a r g ed e v e l o p m e n tp o t e n t i a li nm a n ya p p l i c a t i o n s ，f o r e x a m p l e ，i d e n t i t yj u d g m e n t ，a u t o m a t i cs u r v e i l l a n c e ，a c c e s sc o n t r o l ，a n ds oo n f a c e r e c o g n i t i o nt e c h n o l o g y i sg o i n gt oam a t u r ea n d p r a c t i c a ls t a g ea f t e rar e s e a r c hh i s t o r y o ft h i r t ya n dm o r ey e a r s h o w e v e r , t h e r e c o g n i t i o np e r f o r m a n c eo fm a n yf a c e r e c o g n i t i o na l g o r i t h mw i l ld r a m a t i c a l l yd e c r e a s eb e c a u s eo fs o m ev a r i a t i o n st h a t i n c l u d et h ea c c u r a t ed e g r e eo ff a c el o c a t i o na n dd i f f e r e n tl i g h t i n gc o n d i t i o n s ，h e a d p o s e s ，f a c i a le x p r e s s i o n ，o c c l u s i o n o nf a c e ，a n ds oo n a n df a c e r e c o g n i t i o n t e c h n o l o g y i ss t i l ll i m i t e dt oas m a l l a p p l i c a t i o nf i e l d s t h e r e f o r e ，r o b u s t f a c e r e c o g n i t i o nt e c h n o l o g yb e c o m e s a ni m p o r t a n tr e s e a r c hi s s u ea tp r e s e n t i nt h i st h e s i s ，m a i nr e s e a r c hw o r k si n c l u d ef a s tf a c ed e t e c t i o n ，f a c er e c o g n i t i o n u s i n g t h ed i s c r i m i n a n t a n a l y s i s a n d s o m em e t h o d s d e a l i n g w i t i lv a r i a t i o n so f i l l u m i n a t i o na n dh e a dp o s e s ，w h i c ha r et w oo ft h em o s tc h a l l e n g i n gp r o b l e m sf o r r e l i a b l ef a c er e c o g n i t i o n ( 1 ) f a s t f a c ed e t e c t i o na l g o r i t h i ni nc o m p l e xb a c k g r o u n d t h ef o u rs i m p l eh a a r - l i k eb a s ei m a g e sa r eu s e dt oe x t r a c ts o m ef e a t u r e sf r o ma l l t r a i n i n gi m a g e s as i m p l ec l a s s i f i e ri so b t a i n e db yo n l yu s i n gaf e a t u r e ，a n das t r o n g c l a s s i f i e ri st h e nc o n s t r u c t e db ys e v e r a ls i m p l ec l a s s i f i e r s m a n ys t r o n gc l a s s i f i e r sa r e c a s c a d e do n eb yo n e af a c ec a n d i d a t er e g i o ni so b t a i n e di fi ti sc l a s s i f i e dc o r r e c t l yf o r a l lc a s c a d e ds t r o n gc l a s s i f i e r s ap r e p r o c e s s i n gm e t h o db a s e do ne d g es t r e n g t ha n da f a s t s e a r c h i n gs t r a t e g yi s a l s ou s e dt os p e e du pf a c ed e t e c t i o n af a c ed e t e c t i o n a l g o r i t h mb a s e do ns k i nc o l o ri sa l s op r o p o s e d t oa c h i e v eab e r e ri n i t i a ls e g m e n t a t i o n ( 2 ) f a c er e c o g n i t i o na l g o r i t h m s b a s e do nt h ed i s c r i m i n a n ta n a l y s i s ad i s c r i m i n a n ta n a l y s i sa l g o r i t h mb a s e do ni m a g em a t r i xi s p r o p o s e d a n d c o m p a r e dw i t h t h ed i s c r i m i n a n ta n a l y s i sa l g o r i t h mb a s e do ni m a g ev e c t o r t h e e x p e r i m e n t s s h o wt h a tt h el a t e rm e t h o d u s u a l l y o b t a i n sab e t t e r r e c o g n i t i o n p e r f o r m a n c e b u t t h ef o r m e rm e t h o di sf a s t e ra n dr e q u i r e sl e s sc a l c u l a t i o nb u r d e na n d m e m o r y s i z e a n o p t i m a ls a m p l i n gm e t h o do f g a b o rf e a t u r e si sp r o p o s e d g a b o rf e a t u r e sa r e e f f e c t i v ef o rf a c i a li m a g e r e p r e s e n t a t i o n i np r a c t i c e ，t h ed i m e n s i o n o fag a b o rf e a t u r e v e c t o ri ss oh i g ht h a tt h ec o m p u t a t i o na n dm e m o r yr e q u i r e m e n t sa r ep r o h i b i t i v e l y l a r g e t or e d u c et h ed i m e n s i o n , o n es i m p l es c h e m ei s u s e dt oe x t r a c tt h eg a b o r 北京工业大学工学博士学位论文 f e a t u r ea t s u b s a m p l e dp o s i t i o n s ，u s u a l l y i nar e g u l a r g r i d ，w i t h i naf a c er e g i o n h o w e v e r , t h i ss i m p l es c h e m ei sn o te f f e c t i v ee n o u g ha n dd e g r a d e st h er e c o g n i t i o n p e r f o r m a n c ew ep r o p o s eam e t h o dt od e t e r m i n et h eo p t i m a lp o s i t i o nf o re x t r a c t i n g t h eg a b o rf e a t u r es u c ht h a tt h en u m b e ro ff e a t u r ep o i n t si sa ss m a l la sp o s s i b l ew h i l e t h er e p r e s e n t a t i o nc a p a b i l i t yo ft h ep o i n t si sa sh i g ha sp o s s i b l e d i f f e r e n ts a m p l i n g i n t e r v a l sc a nb eu s e df o rt h ed i f f e r e n tg a b o rf e a t u r e sr e g i o n s e x p e r i m e n t a lr e s u l t s s h o wt h a tt h en e w s a m p l i n gm e t h o di ss i m p l ea n de f f e c t i v ea n dah i g hr e c o g n i t i o n r a t ei ss t i l la c h i e v e dw h i l et h ed i m e n s i o no fg a b o rf e a t u r e di sr e d u c el a r g e l y g a b o rw a v e l e t sa n du n c o r r e l a t e dn o n l i n e a rd i s c r i m i n a n ta n a l y s i sa r eu s e dt o r e c o g n i z ef a c ei m a g ew i t hd i f f e r e n tf a c i a le x p r e s s i o n sa n dh e a dp o s e s 狮1 e nt h e 、i t h i n c l a s ss c a t t e rm a t r i xi s s i n g u l a r , f i s h e r f a c e d i s c a r d ss o m e s e c o n d a r y e i g e n v e c t o r s s ot h a ts o m ed i s c r i m i n a n ti n f o r m a t i o ni sl o s t ，a n dr e g u l a r i z e dl d a m e t h o da d d sas m a i lp o s i t i v ep e r t u r b a t i o n ，b u tt h ed i r e c t i o n so f t h eo p t i m a ld i c r i m i n a n t v e c t o r sm a yb ea f f e c t e d o u ri m p r o v e dm e t h o dc a nr e s e r v ea l li n f o r m a t i o na n do b t a i n t h eu n c o r r e l a t e d o p t i m a l d i s c r i m i n a n tv e c t o r ss ot h a tt h ef e a t u r e se x t r a c t e da r e a n c o r r e l a t e d e x p e r i m e n t a lr e s u l t ss h o w t h a tah i 曲e rr e c o g n i t i o nr a t ei so b t a i n e db y u s i n gt h eu n c o r r e l a t e dn o n l i n e a rd i s c r i m i n a n ta n a l y s i s i nm a n yf a c er e c o g n i t i o na p p l i c a t i o n s ，o n l yo n eo raf e wi m a g e so fe a c hs u b j e c t a r ea v a i l a b l ea s t r a i n i n gi m a g e s ，w h i l e t h eu n k n o w nt e s ti m a g e sm i g h ta p p e a r d i f f e r e n tf r o mt h e c o r r e s p o n d i n gt r a i n i n gi m a g e s d u et ov a r i a t i o n si n p o s e ， i l l u m i n a t i o n ，f a c i a le x p r e s s i o n ，e t c n l e d i s c r i m i n a n t p o w e r o ft h e o p t i m a l d i s c r i m i n a n tv e c t o r s ( o d v s ) c o m p u t e df r o mt h et r a i n i n gi m a g e sb yl d a t h e r e f o r e v a r i e sw i t ht h e s ev a r i a t i o n s t h e r e f o r e ，w ep r o p o s ea ne f f e c t i v es e l e c t i o nm e t h o do f t h eo d v sb a s e do na p r e e s t i m a t i o ns t r a t e g y aw e i g h t e d m e t h o di sa l s op r o p o s e dt o i m p r o v et h ep e r f o r m a n c e e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e da p p r o a c h a c h i e v e sah i g h e rr e c o g n i t i o nr a t et h a nt h a to f t h ef i s h e r f a c em e t h o d ( 3 ) f a c er e c o g n i t i o nu n d e rv a r i a b l el i g h t i n gc o n d i t i o n s af a c e r e p r e s e n t a t i o n s c h e m et h a ti s p r o p o s e di no r d e r t od e a lw i t ht h ep r o b l e m i n s e n s i t i v et oi l l u m i n a t i o nv a i l a t i o ni s t h ev a r i a t i o n si nl i g h t i n go v e rf a c e sa r e m o d e l e db ym e a n so fp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) o nan u m b e ro ff a c e s u n d e rd i f f e r e n tl i g h t i n gc o n d i t i o n s t h ep r i n c i p a lc o m p o n e n t so f t h e s ef a c ei m a g e sa r e u s e dt om o d e lt h ep o s s i b l ei l l u m i n a t i o nv a r i a t i o n so i lh u m a nf a c e s ，a n da r ec a l l e d e i g e n i l l u m i n a t i o nc o m p o n e n t s t l l c d i f f e r e n c e i m a g e ，w h i c h i st h ed i f f e r e n c e b e t w e e nt h eo r i g i n a li m a g ea n dt h er e c o n s t r u c t e di m a g e ，i su s e df o rf a c er e c o g n i t i o n ， t h i sr e p r e s e n t a t i o ns c h e m ei s c a l l e de i g e n - i l l u m i n a t i o n ( e i ) e x p e r i m e n t a lr e s u l t s s h o wt h a tt h ee i g e n i l l u m i n a t i o nr e p r e s e n t a t i o ns c h e m ec a ns i g n i f i c a n t l yi m p r o v et h e f a c er e c o g n i t i o nr a t ew h e nt h et e s t i n gi m a g e sa r eu n d e rv a r y i n gl i g h t i n gc o n d i t i o n s ， a n di si n s e n s i t i v et om o d e r a t ec h a n g e si nf a c i a le x p r e s s i o n s w ea l s op r o p o s ea n o t h e rn o v e la p p r o a c h t oh a n d l et h ei l l u m i n a t i o n p r o b l e m t h i s i v m e t h o dc a nr e s t o r eaf a c ei m a g ec a p t u r e du n d e ra r b i t r a r yl i g h t i n gc o n d i t i o n st oo n e w i mf r o n t a li l l u m i n a t i o n b yu s i n g ar a t i o i m a g eb e t w e e nt h ef a c e i m a g ea n d a r e f e r e n c ef a c ei m a g et h a ta r eb o t hb l u r r e db yag a u s s i a nf i l t e r a ni t e r a t i v ea l g o r i t h m i st h e nu s e dt ou p d a t et h er e f e r e n c ei m a g e ，w h i c hi sr e c o n s t r u c t e df r o mt h er e s t o r e d i m a g eb ym e a n so fp c a ，i n o r d e rt oo b t a i nab e t t e rr e s t o r e di m a g e i m a g ep r o c e s s i n g t e c h n i q u e sa r ea l s ou s e d t oi m p r o v et h eq u a l i t yo ft h er e s t o r e di m a g e t oe v a l u a t et h e p e r f o r m a n c eo f o n ra l g o r i t h m ，r e s t o r e di m a g e sw i t hf r o n t a li l l u m i n a t i o na r eu s e df o r f a c er e c o g n i t i o nb ym e a n so f p c a e x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h a tt h i sm e t h o d c a na c h i e v ea h i g hr e c o g n i t i o n r a t eb a s e d0 1 1t h ey a l ebd a t a b a s ea n dy a l ed a t a b a s e ( 4 ) f a c er e c o g n i t i o nu n d e r v a r i a b l el i g h t i n gc o n d i t i o n sa n dh e a d p o s e s w ep r o p o s e dan e wm e m o dt od e a lw i t ht h ep r o b l e mw i t hv a r i a b l el i g h t i n g c o n d i t i o n sa n dh e a dp o s e s w h i c hf i t sf a c es a t f a c eb yu s i n gan 0 1 1 一u n i f o f i nr a t i o n a l b s p l i n ef n u r b s ) f u n c t i o na n dc a l c u l a t e f a c es u r f a c er e f l e c t i o ne n e r g yb ys o m e l i g h t i n gm o d e l s t h eo r i g i n a lc a n d i d e m o d e li sm o d i f i e dt os a t i s f yt h er e q u i r e m e n t o ff a c er e c o g n i t i o n a n dan e wf a c em o d e li so b t a i n e d ap r e d e f i n e df e a t u r el i n ei s u s e dt os e g m e n tt h ef r o n t a la n dp r o f i l ei m a g e s a n dt h e nt h es e g m e n t e df r o n t a la n d p r o f i l es u b r e g i o n sa r em e r g e db ym u l t i p l e - s c a l eo a u s s i a nf i l t e r sa l o n gt h e f e a t u r e l i n ea n dt h et w oo u t e rs u b r e g i o n sf r o mt h eo r i g i n a lf r o n t a li m a g ea r ea l s ou s e dt o f u r t h e re l i m i n a t et h ei o i n t al i n e a ri n t e r p o l a t i o nm e t h o dw i t ht w op a r a m e t e r si su s e d t og e n e r a t es o m en e wn e c e s s a r yv e r t e x e s 血a ta r ec o m b i n e dw i t ht h ev e r t e x e so f t h e i r r e g u l a rt r i a n g l e st o o b t a i nar e g u l a r i z e dt w od i m e n s i o nc o n t r o l l i n gp o i n t sa r r a y , w h i c ha r eu s e dt of i tf a c es u r f a c eb a s e do nn u r b s m a n yi m a g e sw i t hd i f f e r e n t i l l u m i n a t i o n sa n dh e a dp o s e sa r eg e n e r a t e dt ou s ea st r a i n i n gi m a g e sa n das p e c i f i c p c am e t h o da n dk d am e t h o da r eu s e dt o r e c o g n i z e d i f i e r e n tf a c e i m a g e s ， e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a to u rm e t h o d c a ne f f e c t i v e l yr e c o g n i z ed i f f e r e n t f a c ei m a g e sc a p t u r e du n d e rd i f i e r e n ti l l u m i n a t i o n sa n dh e a dp o s e s k e y w o r d s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，d i s e r i m i n a n ta n a l y s i s ， e i g e n i l l u m i n a t i o nm o d e l ，r a t i oi m a g e ，3 d f a c em o d e l v 一 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：剑垫绎 导师签名： 第1 章绪论 1 1 课题背景 第1 章绪论 随着社会信息化、网络化程度的提高，信息安全越来越受到重视，人们迫切 需要一种快速、有效的自动身份确认技术。传统的方法是根据预先设置的密码或 特定的身份标识物( 如钥匙、证件等) 来识别不同用户，这种方法存在着明显的缺 点：个人拥有的物品容易丢失或被伪造，个人的密码容易遗忘或记错。更为严重 的是，这些系统无法区分真正的拥有者和取得身份标识物的冒充者。由于人的一 些生理和行为特征，如面像、指纹、掌纹、虹膜、声音和笔迹等，具有较强的自 身稳定性和个体差异，因此可以用来识别不同人的身份。由于这些生物特征与个 体有着紧密的联系，因此具有较好的防欺骗能力。这种根据人体所固有的生理或 行为特征，用计算机来自动识别不同个体的身份识别方法被称为生物特征 ( b i o m e t r i c s ) 识别技术。近年来，基于人体生物特征的身份识别技术在各种应 用的推动下得到了快速的发展，并迅速迈向实用化。 以身份识别为例，在美国，每年约有上亿美元的福利款被人以假冒的身份领 取。据m a s t e r c a r d 公司估计，每年约有价值四亿五千万美元的信用卡诈骗案发 生，其中就包括利用丢失和被盗的信用卡的犯罪。由于使用盗窃来的身份识别码 ( p r n ) ，造成移动电话通讯的损失高达十亿美元。据估计，利用可靠的方法识别 a t m 持卡人的身份可以使全美国每年a t m 诈骗案造成的损失减少3 亿美元，可 靠地识别支票领款人可以减少上亿美元的冒领金额。另据美国移民局统计，如果 在美国一墨西哥边境采用快速准确的身份鉴别系统，可以在不影响正常入境人员 的情况下，每天查出30 0 0 件非法入境案件。以上的这组数据表明，有效地鉴定 个人的身份有着重大的社会和经济意义，它可以有效地防止犯罪和诈骗，提高办 公效率，节约资源【1 1 。 目前，国外许多高技术公司正在试图用生物特征取代人们手中的信用卡或密 码，并且已经开始在机场、银行和各种电子器具上进行了实际应用。生物识别技 术不仅在机场、银行、公安等方面有着不错的应用前景，在电子商务领域里也有 极大的应用潜力。与此同时。7 网络黑客的破坏活动也层出不穷，采用生物特征进 行身份认证将可以大大降低不法分子对网络交易的破坏活动。特别是自美国 “9 1 1 事件”以来，对人员身份的确认，防止不法人员混入重要场地和重要会议 已成为安全措施的重要组成部分。 人脸是人类识别不同人的最主要的人体生物特征，和其他人体生物特征( 指 纹、掌纹、虹膜、声音、笔迹) 相比，人脸具有很强的自身稳定性和和个体差异， 北京工业大学工学博士学位论文 而且识别脸相直接、友好，更符合人的视觉习惯。因此，早在上世纪6 0 年代末， 研究者就开始研究人脸识别技术。但是，直到上世纪9 0 年代，由于计算机技术 的飞速发展，人脸识别技术才有了重大突破。另一方面，人脸识别技术也在身份 识别、自动监控、访问控制、视频会议、人机交互、档案管理、电子相册、基于 对象的图像和视频检索等应用的推动下得到了更广泛的研究，从而成为当前模式 识别和人工智能领域的一个研究热点。 1 2 人脸识别技术及研究进展 从广义上讲，人脸识别的研究范围大致包括以下5 个方面的内容：( 1 ) 人脸 检测：即从不同的场景中检测出存在的人脸：( 2 ) 人脸描述：即采用某种方式表 示人脸特征；( 3 ) 人脸识别：即将待识别的人脸和数据库中的已知人脸比较，得 出识别结果。如果是在库图像中查找和待识别人脸最相似的人脸图像，则称为身 份识别；如果是判断两张人脸照片是否属于同一人，则称为身份验证；( 4 ) 表情、 姿态分析：即对人脸的表情和姿态信息进行分析，并对其归类：( 5 ) 生理特征分 析：即从人脸的特征分析其年龄、性别等相关信息。 一般的入脸识别系统构成如图1 1 所示，包括入脸检测、人脸预处理、特征 提取、人脸特征库、相似性匹配、结果输出等部分。 图i - 1 人脸识别系统框图 f i g u r e1 - 1a f r a m e w o r ko f f a c e r e c o g n i t i o ns y s t e m 人脸识别的研究已有3 0 多年了，大致可分为四个阶段。第一个阶段以 b e r t i l l o i l , a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。在b e r t i l l o n 的系统中，用一个简单的语句与数据库中某一张脸相联系，同时也与指纹分析相 结合，提供了一个性能较强的识别系统。为了提高脸部识别率，a l l e n 为待识别 第1 章绪论 脸像设计了种有效和逼真的摹写，p a r k e 则用计算机实现了这一想法，并产生 了较高质量的人脸灰度图模型。这一阶段方法的特点是识别过程全部依赖于操作 人员。 第二个阶段是人机交互识别阶段。代表性工作是g o l d s t i o n 、h a r m o n 和l e s k 等用几何特征参数来表示人脸正面图像。他们用2 l 维特征矢量表示人脸面部特 征，并设计了基于这特征表示的识别系统。k a y a 和k o b a y a s h i 则采用了统计 识别方法，用欧氏距离来表征人脸特征，如嘴唇与鼻子之间的距离、嘴唇的高度 等。k a n a d 设计了一个高速且有一定知识导引的半自动回溯识别系统，创造性的 运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技术与 标准人脸相匹配。b a r o n 先将图像灰度归一化，再用4 个掩模( 眼、鼻、嘴及眉 毛以下的整个脸部) 表示人脸，然后分别计算4 个掩模与数据库中相应图像的4 个掩膜之间的相关系数，以此作为判据。总的来说，这类方法仍摆脱不了操作员 的干涉。 第三个阶段是真正的机器自动识别阶段。近1 0 余年来研究人员提出了很多 新的方法，包括分为基于几何特征的方法和基于统计特征的方法。如p o g g i o 等 采用眼中心处对应的眉毛的位置和厚度、眉毛的弧度、嘴的宽高和上下嘴唇、脸 颊的形状、脸的宽度等简单的几何特征识别不同的人脸。h u a n g 和c h e n 采用动 态模板与活动轮廓模型提取人脸器官轮廓，从而对人脸的几何特征有较高的描述 精度。这类方法称为基于人脸几何特征的识别方法。另一种方法是通过计算输入 图像与库中图像的整体相关程度，这称为基于模板匹配的识别方法。b r u n e l l i 等 比较了这两种识别方法，认为基于模板的方法优于基于特征的方法。基于几何特 征的方法需要提取准确的人脸特征，对图像质量要求较高，使其应用大大受到限 制。而主分量分析、线性判别分析、弹性图匹配、局部特征分析、独立分量分析、 支持向量机、神经网络、隐马尔可夫模型、a a m ( a c t i v e a p p e a r a n c em o d e l ) 等 方法获得了较大的发展，成为目前的主流方法。总的来说，这类方法一般采用简 单的预处理技术，而且只能处理适度的人脸表情、光照和姿态等变化。 第四个阶段是当前的鲁棒的人脸识别