（模式识别与智能系统专业论文）人脸识别及其应用的研究.pdf

人脸识别及其应用的研究 摘要 人的生物信息特征识别是计算机视觉和模式识别等学科研究的重要组成部分。，人脸识别因 其在安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互系统等方面的巨大应 用前景，在过去的2 0 年中已经成为当前计算机视觉，模式识别和人工智能领域的一个研究热 、户一 点。堪然人类能毫不费力地识别出人脸及其表情，但人脸的自动机器识别却是一个难度极大的 ， 课题。f 它牵涉到计算机视觉，模式识别，生理学和心理学等方面的诸多知识。人脸识别中的主 、 要难点在于： 1 ) 人脸图像是复杂的，高维的视觉模式，在处理的过程中需要做降维和特征提取等工作。 2 ) 人脸图像是3 d 非刚性物体的2 d 投影，尺度、位置、旋转、视角、光照和表情等因素的 存在，使降维、特征提取和人脸表征等工作非常困难。如果说尺度，位置和旋转等三个因素是 图像处理和分析中所必须面对的共同问题，那么视角、光照和表情等则是人脸图像中所具有的 独特的问题。往往相同的人在视角、光照和表情等不同时，其人脸图像经过特征提取后的差异 要远大于不同的人在这些因素不变时的差异，而且这些差异还是在没有考虑发式，化妆和饰物 等非正常因素的情况下产生的。 3 ) 人脸图像的数据量一般都比较大，从而使输入成为高维向量。在实际应用中，可能存在 着实时处理的问题，如在公共场所中的人脸检测、识别和自动报警的问题。 4 ) 人脸模式的类别如不加以限制，就是庞大的人口数，而模式识别系统的识别率一般随着 类别的增加而降低，这是人脸识别系统在实际应用中的一个问题。 作者在本文中的主要创新性工作包括： 1 ) 提出了基于平均响应系数最大化的最佳g a b o r 滤波器设计的思想，并将其用于人脸图像 的特征提取。g a b o r 滤波器在图像处理中的应用非常广泛，但是g - a b o r 滤波器的设计( 即参数选 取问题) 没有统一的标准。本文提出了根据图像在空间频率域的最大响应设计g a b o r 滤波器的 方案，实验证明这种最大响应的空间频率是图像模式的本质特征之一。 2 ) 提出了基于g a b o r 不变矩的图像特征表征。传统的g a b o r 特征是基于图像对g a b o r 滤波 器的响应的均值和方差，实验证明，本文提出的图像特征表征相对于传统的方法来说，可以更 好的表征图像的特征。这种基于g a b o r 不变矩的图像表征，已经成功的应用于人脸图像与非人 脸图像的分类实验，其中利用s v m ( s 形核函数) 作为分类器的实验结果达到1 0 0 。 3 ) 提出并实现了利用肤色分布模型和纹理检测进行人脸检测的思路，其中纹理检测是利用 本文提出的g a b o r 不变矩方法。本文所提出的人脸检测方法取得了良好的实验结果，人脸检测 率达到9 2 。 4 ) 利用广义对称变换和g a b o r 小波系数能量进行面部特征定位实验。基于尺度因子估计的 广义对称变换，克服了传统方法中的计算量大的问题。利用g w t 系数能量进行面部特征定位 为比较新颖的思路。 5 ) 针对传统的基于整体特征的人脸特征提取方法的缺点，将增强型f l d 模型( e f m ) 应用于 人脸识别的任务。基于e f m 的人脸识别实验取得了良好的实验效果，在维数选取5 5 5 时 e f m 的平均识别率为9 4 5 2 ，在维数为2 5 时获得最大识别率9 6 。不仅在与p c a 和l d a 的 对比中体现出明显的优势，而且适合于大型人脸数据库中的识别任务。 6 ) 从理论和实践两个方面较为深入的研究了在人脸识别中特征提取方法和分类器设计的关 系。所讨论的特征提取方法主要包括基于最佳表征特征的p c a 和基于最佳差异特征的f l d 和 e f m 等，所讨论的分类器主要包括s v m ，m a p 和作为对比的最近邻分类器等。 实验证明在p c a 空间中，s v m 与最近邻分类器相比具有较为明显的优势，当选取5 5 5 维特征时s v m 分类器的平均识别率和最高识别率分别比最近邻分类器高2 9 3 和2 ；在 f l d 和e f m 空间中，s v m 与最近邻分类器的识别性能类似。 实验证明在人脸识别中e f m + m a p 一2 为比较理想的选择，当选取5 5 5 维特征时平均识 别率和最高识别率分别达到了9 5 5 3 和9 6 2 9 。这种组合将应用于本文的基于非均匀光照和 噪声条件下的人脸识别任务。 7 ) 提出了将g a b o r 特征，e f m 和m a p 2 分类器相结合的人脸识别技术方案应用于非均匀 光照和噪声条件下的人脸识别任务。实验结果证明了这种方案在非均匀光照和噪声条件下的鲁 棒性，其识别率与其它人脸识别方法相比有明显的提高。当特征维数在5 5 5 之间时，本文所 提出的人脸识别算法平均识别率为9 0 8 8 ，当维数为3 3 时获得最高识别率为9 4 ，较好的解 决了在光照和噪声条件下的人脸识别问题。 8 ) 实现了基于两幅二维人脸图像生成特定人的三维人脸模型。提出通过区域内线性差值的 算法对通用人脸模型进行修正，生成特定人的三维人脸模型。在所生成的特定人的三维人脸模 型的基础上，实现了基于m p e g - 4 框架的人脸动画系统，通过这个动画系统实现了特定人在不 同表情时的人脸图像。) 产 一 在本文的工作中较突出的创新点主要包括：深入研究了g a b o r 滤波器在人脸图像处理中的 应用，提出了g a b o r 滤波器设计的最大平均响应系数准则，提出了基于g a b o r 不变矩的图像特 征提取方法并将g a b o r 不变矩成功的应用于人脸检测；针对人脸识别中的非均匀光照和噪声问 题，提出了g a b o r 特征，e f m 和m a p 2 相结合的人脸识别方案，较好的解决了在非均匀光照 和噪声条件下人脸识别的难题。 本文人脸识别实验主要采用上海交通大学图像处理与模式识别研究所人脸识别课题组建立 的s j t u i p p r - s f d 人脸数据库。 塑竺识g 吵心吵退函趋递麴堕麴巫蔓趋乙一 既率准则夕三维人脸模型、 l 7 、 t h er e s e a r c ho fe a c er e c o g n i t i o na n d i t sa p p l i ca ，t i o n a b s t r a c t i tw a sr e p o r t e dt h a tt h e r ea r ea b o u t8 0 i n f o r m a t i o ni s o b t a i n e df r o me y e s d u et ot h e i m p o r t a n c eo f h u m a nb e i n gi nt h cm u l t i m e d i ai n f o r m a t i o n ，t h er e c o g n i t i o nb a s e do nm a n sb i o m e t r i c s i n f o r m a t i o ni so n eo f t h ei m p o r t a n tt o p i c si nc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o n f a c er e c o g n i t i o n i sa na c t i v es u b j e c ti nt h ea r e ao fb i o m e t r i c sr e c o g n i t i o n t h i si n t e r e s ti s m a i n l ym o t i v a t e db yt h e b r o a dr a n g eo f p o t e n t i a la p p l i c a t i o n sf o rs y s t e m sa b l et or e c o g n i z et h ef a c et h e yc o n t a i me x a m p l e s i n c l u d es u r v e i l l a n c e ，p e r s o n a l i d e n t i f i c a t i o n , a c c e s sc o n t r o l ，m u g s h o tr e c o g n i t i o n ，a n dh u m a n c o m p u t e ri n t e r f a c ea l t h o u g hh u m a nc a nr e c o g n i t i o nf a c ea n di t se x p r e s s i o nw i t ha n ye f f o r t s ，f a c e r e c o g n i t i o ni s s t i l lad i f f i c u l tt a s kf o rc o m p u t e r , w h i c hi sc l o s e dr e l a t e dt oc o m p u t e rv i s i o n ，p a t t e r n r e c o g n i t i o n , p h y s i o l o g y , p s y c h o l o g y a n de t ct h em a i n c h a l l e n g e so f f a c er e c o g n i t i o nl i ei n ： 1 ) f a c ei sac o m p l e xa n dh i g hd i m e n s i o n a lv i s u a lp a t t e r n i tn e e d sd i m e n s i o nr e d u c t i o na n d f e a t u r ee x t r a c t i o ni nt h ep r o c e s s i n go f f a c i a li m a g e s 2 ) h u m a ni m a g ei s2 dp r o j e c t i o no f a3 d n o n - r i g i do b j e c t ，i nw h i c hs c a l e ，t r a n s l a t i o n ，r o t a t i o n ， p o s e ，i l l u m i n a t i o n ，e x p r e s s i o na n de t ca r ei n v o l v e d s c a l e ，t r a n s h t i o na n dr o t a t i o na r et h ec o m m o n p r o b l e m si ni m a g ea n a l y s i s ；p o s e ，i l l u m i n a t i o na n de x p r e s s i o na r et h ep a r t i c u l a rp r o b l e m si nf a c i a l i m a g ep r o c e s s i n g r e s e a r c hs h o w st h a tt h e r ei sg r e a t e rv a r i a b i l i t yi nag i v e nf a c ea c r o s st h e r et h r e e t y p e so fc h a n g e s ，t h a nt h e r ei sa m o n gd i f f e r e n tf a c e sw h e nt h e s ef a c t o r sa r eh e l dc o n s t a n t t h i si sa f u n d a m e n t a lp r o b l e mi nt e r m so f d i m e n s i o n r e d u c t i o n ，f e a t u r ee x t r a c t i o na n df a c er e p r e s e n t a t i o n 3 ) s i n c et h ef a c i a li m a g ei sh i 曲d i m e n s i o n a ld a t a ，i tm a yc a n tm e e tt h er e a l - t i m ep r o c e s s i n g n e e di ns o m e a p p l i c a t i o n s ，s u c h a sf a c ed e t e c t i o n r e c o g n i t i o ni np u b l i c p l a c e s 4 ) t h en u m b e ro fc l a s s e si se q u a lt ot h ep o p u l a t i o ni nt h ed a t a b a s ef a c er e c o g n i t i o ns y s t e m ， w h i c hm a y b eav e r yl a r g en u m b e r g e n e r a l l ys p e a k i n g ，t h er e c o g n i t i o nm t ci s d r o p p e dw i t ht h e i n c r e a s eo f c l a s s e s t h ea u t h o r sn o v e le f f o r t si nt h ea t t j c l ea r el i s t e da sf o l l o w s ： 1 ) p u tf o r w a r dt h ei d e at h a to p t i m a lg a b o rf i l t e ri sd e s i g n e db a s e do nm a x i m i z i n gt h ea v e r a g e r e s p o n s ec o e f f i c i e n t s g a b o rf i l t e ri sw i d e l yu s e di nt h ei m a g ep r o c e s s i n ga p p l i c a t i o n ，b u tt h e r e sn o r u l et ob cf o l l o w e dt od e s i g nt h eg a b o rf i l t e r ( t os e ti t st h ep a r a m e t e r s ) t h es p e c i a lf r e q u e n c y , i n w h i c hg a b o r r e s p o n s er e a c h e si t sm a xa m p l i t u d e ，i sp r o v e d t ob eo n eo f t h e i n g r a i nc h a r a c t e r i s t i c so f i m a g e si no u re x p e r i m e n t s t h em e t h o do fd e s i g n i n gg a b o rf i l t e r i sp r e s e n t e db a s e do nt h em a x r e s p o n s es p a t i a lf i e q u e n c y 2 1t h ei m a g er e p r e s e n t a t i o nm e t h o db a s e do ng a b o rm o m e n ti n v a r i a n t si sp u tf o r w a r d n m t r a d i t i o n a lg a b o rf e a t u r ei sb a s e do nt h em e a na n dv a r i a n c e so ff i l t e r sr e s p o n s e t h en e w a p p r o a c h h a ss h o w ni t ss u p e r i o rt ot h et r a d i t i o no n ei no u re x p e r i m e n t i tw a sa d o p t e di nt h ee x p e r i m e n to f c l a s s i f i c a t i o no ff a c i a li m a g e sa n dn o n - f a c i a li m a g e s t h ec l a s s i f i c a t i o nr a t eh a sr e a c h e d1 0 0 w i m s v ma sc l a s s i f i e r 3 1t h ec o m b i n a t i o no fs k i nc o l o rm o d e la n dt e x t u r ed e t e c t i o ni si n t r o d u c e dt od e t e c tf a c e si n c o l o ri m a g e s t h es c h e m eh a ss h o w ni t s e f f i c i e n c yi nt h ee x p e r i m e n t , 9 2 f a c e sa r ec o r r e c t l y d e t e c t e d 4 )g e n e r a l i z e ds y r m n e t r i c a lt r a n s f o r ma n dg 丌c o e f f i c i e n t sa r e 谢l i z e di nt h ef a c i a lf e a t u r e e x t r a c t i o n ，r e s p e c t i v e l y g s tw i t he s t i m a t e ds c a l ef a c t o ro v e r c o m e st h el i m i t a t i o no fc o m p u t a t i o n a l c o m p l e x i t yi nt h et r a d i t i o n a la p p r o a c h e s f a c i a lf e a t u r ee x t r a c t i o nw i t l lg w t c o e f f i c i e n t si san o v e l a n de f f e c t i v es c h e m e 5 ) f l d ( e n h a n c e d f i s h e rm o d e l ) i s a d o p t e d i nf a c er e c o g n i t i o nt oo v e r c o m et h ed r a w b a c ki nt h e t r a d i t i o n a lh o l i s t i cf e a t u r ee x t r a c t i o n f a c er e c o g n i t i o ne x p e r i m e n ts h o w s p r o m i s i n gr e s u l tb a s e do n t h ef l df e a t u r ee x 仃a c f i o n t h er e c o g n i t i o nr a t ea v e r a g e s9 4 5 2 w h e nf e a t u r ed i m e n s i o ni sb e t w e e n 5 - 5 5 ，i tr e a c hi t sl n a x l l n u n la t9 6 w h e nf e a t u r ed i m e n s i o ni s2 5 f l di sn o to n l yb e t t e rt h a tp c a a n d f l d ，i t a l s os u i t a b l e f o r f a c er e c o g n i t i o n t a s k o f l a r g e f a c i a l d a t a b a s e 6 1t h er e l a t i o nb e t w e e nf e a t u r ee x b a c t i o na n d d e s i g no f c l a s s i f i e ri nt h ef a c er e c o g n i t i o ns y s t e m i sa d d r e s s e di nt h e o r ya n dp r a c t i c e f e a t u r ee x t r a c t i o nm e t h o di n v o l v e st h em o s t e x p r e s s i v ef e a t u r e p c a a n dt h em o s td i s c r i m i n a t i v ef e a t u r e f l da n de n d c l a s s i f i e r sm c h i d es v m m a pa n d n e a r e s tn e i g h b o r e x p e r i m e n t a lr e s u l ts h o w st h a ts v m i sm u c hb e t t e rt h a nn e a r e s tn e i g h b o ri np c af e a t u r es p a c e ， i t sa v e r a g ea n dm a x r e c o g n i t i o nr a t ei s2 9 3 a n d2 h i g h e rt h a nt h o s eo f n e a r e s tn e i g h b o ri np c a s p a c e r e s p e c t i v e l y w h i l et h ep e r f o r m a n c e so fs v m a n dn e a r e s tn e i g h b o ra r es i m i l a ri nf l da n d e f mf e a t u r es p a c e e x p e r i m e n t a lr e s u l ts h o w st h a tt h es c h e m ew h i c hc o m b i n e st h ee f m 、i 1m a p - 2 i sap e r f e c t s o l u t i o ni nf a c er e c o g n i t i o n , i t s a v e r a g e a n dm a xr e c o g n i t i o nr e a c h e s9 5 5 3 a n d9 6 2 9 r e s p e c t i v e l yw h e n 5 - 5 5d i m e n s i o n a lf e a t u r ei sc h o s e n 7 ) t h es o l u t i o n ，w h i c hc o m b i n e sg a b o rf e a t u r e ，e f ma n dm a p 一2 ，i sp u tf o r w a r df o rf a c e r e c o g n i t i o nt a s ku n d e rn o n - u n i f o r mi l l u m i n a t i o na n dn o i s e t h es o l u t i o ns h o w s i t sr o b u s t n e s su n d e r n o n u n i f o r mf l h i m i n a t i o na n dn o i s e ，w h e nc o m p a r e dw i t ho t h e rf a c er e c o g n i t i o nm e t h o d t h e r e c o g n i t i o nr a t ea v e r a g e s9 4 5 2 w h e nf e a t u r ed i m e n s i o ni sb e t w e e n5 5 5 ，i tr e a c hi t sm a x i m u m a t 9 6 w h e nf e a t u r ed i m e n s i o ni s2 5 t h e r e c o g n i t i o nr a t ea v e r a g e s9 0 8 8 w h e nf e a t u r ed i m e n s i o ni s b e t w e e n5 - 5 5 ，i tr e a c h e si t sm a x i m u ma t9 4 w h e nf e a t u r ed i m e n s i o ni s3 3 8 ) c r e a t i o no fap 盯s 0 1 1 a l3 df a c em o d e lf r o mt w o2 df a c ei m a g e s t h em e t h o do fl i n e a l i n t e r p o l a t i o ni ns i n g l es e c t i o ni sp r e s e n t e dt og e n e r a t eap e r s o n a l3 df a c em o d e lb ym o d i f i c a t i o na g e n e r i c3 df a c em o d e lf r o mf r o n tv i e wa n ds i d ev i e wf a c i a li m a g e s f a c i a la n i m a t i o ns y s m ni s r e a l i z e du n d e rm p e g - 4f r a m e w o r kb a s e d0 1 1t h ep e r s o n a l3 df a c em o d e l t h ef a c ed a t a b a s eu s e di nt h ee x p e r i m e n t so ft h i st h e s i si st a k e nb yf a c er e c o g n i t i o ng r o u pi n i n s t i t u t eo f i m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n ，s h a n g h 血j i a o t o n gu n i v e r s i t y k e y w o r d sf a c er e c o g n i t i o n ，f a c ed e t e c t i o n ，g a b o rf i l t e r , e n h a n c e df i s h e rm o d e l ，s u p p o r tv e c t o r m a c h i n e ，m a x i n l u m a p o s t e r i o r , 3 df a c em o d e l 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名： 日期：年月 日 指导教师签名：玉杉阪 日期：山a 年分月f 日 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：杠千 日期：私吨年1 月f 日 上海交通大学博士论文 第1 章人脸识别概述 研究表明在人类所获得外部信息中，通过人眼睛感知的占8 0 。而由于人自身在各种多媒 体信息中的中心地位，人的生物信息特征识别一直是计算机视觉和模式识别等学科研究的重要 组成部分。人脸识别因其在安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交 互系统等方面的巨大应用前景，在过去的2 0 年中已经成为当前计算机视觉，模式识别和人工 智能领域的一个研究热点。虽然人类能毫不费力地识别出人脸及其表情，但人脸的自动机器识 别却是一个难度极大的课题。它牵涉到计算机视觉，模式识别，生理学和心理学等方面的诸多 知识 1 】，【2 】。 1 1 计算机视觉概述 计算机视觉是计算机科学和人工智能的一个重要分支。它的研究目的有两个方面：第一是 如何用计算机实现人类的部分视觉的功能，它侧重于功能上的相似，并不要求内部过程也一 致，有更强的应用性和工程性质；第二是由此帮助理解人类视觉的机理，它要求其内部实现的 方法和过程相一致，其研究更带有基础性。 人们生活于其问的世界是三维的，而投影于人们视网膜上的图像则是二维的，视觉的功能 则是从感知到的二维图像中提取出有关三维世界的信息。相应地，计算机视觉要研究的重要内 容之一就是如何用计算机系统( 包括摄像机，计算机硬件以及相应的算法，软件等) 从输入的 一维图像中提取出它们所反映的三维世界( 场景) 的信息。 视觉过程可以被看成是成像过程的逆过程。在成像过程中有如下三个重要的变化： l 三维的场景被投影成二维的图像，同一物体在不同视角下的图像是会有极大的不同的， 而且经常还要产生困难的“遮挡”问题。 2 图像是由场景中许多因素确定的，包括照明情况，场景中物体的几何形状和物理性质 ( 特别是表面的反射特性) ，摄像机的特性和物体与摄像机之间的空间关系等。 3 成像过程或多或少带入了一些噪声和畸变。 视觉过程作为成像过程的逆过程，其任务则正好相反。要从有噪声和畸变的，二维的灰度 图像中提取出尽可能无噪声和无畸变的三维的场景信息( 例如物体的形状，位置，物理特性 等) 。这个任务的解决有相当的难度，特别是还要求找到通用的和定量的精确解时，更是如 此。 类似的情况在数学物理中是很普遍的，数学物理中有许多逆问题的解都是十分困难的。例 上海交通大学博士论文 如用地震方法寻找油气储藏时，如果地层和地质已知，则正演出相应的地震剖面是直接的。但 如果要从地震剖面反演出地下地层和地质情况，则是极其困难的，至今仍在开展着广泛的研 究。 事实上，如果把计算机和人脑相比，诸如视觉、听觉、自然语言理解和常识的运用等对人 脑十分简单容易的事情，对目前的电脑都是困难异常的，至今没有完善的方法。但是对一般人 十分困难的复杂计算，专门领域中的推理等，对计算机却显得比较容易，并且已经取得了相当 的成功。所以计算机视觉的研究对计算机和人脑的研究都是十分有意义的。 1 2 人脸识别的研究范围及意义 1 2 1人脸识别的研究范围 人脸识别( f a c er e c o g n i t i o n ) 的研究范围广义上讲大致包括以下5 个方面的内容 3 】。 ( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测出人脸的存在并确定其位置。 这一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。 ( 2 ) 人脸表征( f a c er e p r e s e n t a d o n ) ：即采取某种表示方式表示检测出的人脸和数据库中 的已知人脸。通常的表示法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特 征矢量) 、固定特征模板、特征脸、云纹图等。 ( 3 ) 人脸鉴g u ( f a c ei d e n t i f i c a t i o n ) ：即将待识别的人脸与数据库中的已知人脸比较，得出 相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表 征方式密切相关。 ( 4 ) 表情姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) ：即对待识别人脸的表情或姿态信息进 行分析，并对其加以归类。 ( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分析，得出其年 龄、性别等相关信息。 1 2 2人脸识别的应用 采用人脸识别技术，建立自动人脸识别系统，用计算机实现对人脸图像的自动识别有着广 阔的应用领域和前景。 1 ) 个人身份识别。人脸识别可直接应用在信用卡、驾驶证、护照、身份证等个人身份证明 中，进行自动个人身份辨识。 2 ) 公安警察部门的刑事侦破。人脸识别技术可以应用在犯罪人辨识，根据人脸特征在人脸 上海交通大学博士论文 图像数据库中搜寻嫌疑犯等方面。 3 ) 访问控制方面的应用。访问控制的范围相当广，d , n 个人计算机的使用权限控制，大到 杀伤性武器的发射控制，它可能是政府部门、厂矿企业、事业单位或高档住宅区入口处的门卫 检查，也可能是大型计算机系统或军事情报部门的入口控制。 4 ) 人机交互中的应用。人类日常的交流般是通过语言、手势和面部表情等非接触性方式 实现的，相对于键盘、鼠标等接触性方式更加自然、亲切和方便。如果采用人脸识别和面部特 征跟踪技术，让计算机能够自动识别出操作者的脸部表情、目光注视的方向和嘴唇动作等，则 可以进一步扩展人机交互的手段，提高计算机的智能水平。比如通过眼睛注视的方法可以用来 操纵鼠标，识别嘴唇的动作和面部表情可以用来辅助语音识别操纵计算机等。 5 ) 三维人脸模型的应用。通过精确的面部特征自动定位，可以用来合成针对特定人的三维 人脸模型。这种三维人脸模型可以在可视电话中实现甚低码率的编解码，在虚拟现实、辅助教 学、远程会议、人机交互、游戏娱乐、电影制作等诸多方面有着非常重要的应用。三维人脸模 型的建立和应用将在本文的第7 章进行详细的介绍和研究。 人脸识别与人的其他生物信息识别技术，如指纹识别、掌形识别、眼虹膜识别和声音识别 相比，具有以下特性： ( 1 ) 人脸识别是非接触式的，不需要被动配合，使用者无任何心理障碍，而其它人的生物信 息识别方法都需要人的一些配合动作； ( 2 ) 当记录一个企图登录的人的生物信息记录时，只有面像能直观、方便地核查该人的身 份，而且符合人的识别习惯： ( 3 ) 人脸图像库是国家中最完整的身份资料之一； ( 4 ) 通过人脸的表情姿态分析，能获得其他识别系统难以获得的一些信息。 与传统的生物信息识别技术相比，人脸识别具有更为简便、准确、经济及可扩展性良好等 优势，可广泛应用于安全验证、监控、控制、人机交互、虚拟现实等各个方面。 1 2 3人脸识别的研究难点 与计算机人脸识别的巨大应用前景和市场需求相比，至今为止人脸识别大部分相关研究工 作还仅仅是一个开端，并不能真正令人满意。人脸识别的主要难点包括： 1 ) 人脸图像是复杂和高维的视觉模式，在处理的过程中需要做降维和特征提取等工作； 2 ) 人脸图像是3 d 非刚性物体的2 d 投影，尺度、位置、旋转、视角、光照和表情等因素的 存在，使降维、特征提取和人脸表征等工作非常困难。如果说尺度，位置和旋转等三个因素是 上海交通大学博士论文 图像处理和分析中所必须面对的共同问题，那么视角、光照和表情等则是人脸图像中所具有的 独特的问题。往往同一个人脸图像在视角、光照和表情等不同时，经过特征提取后的差异要远 大于不同的人在这些因素不变时的差异，而且这些差异还是在没有考虑发式，化妆和饰物等非 正常因素的情况下产生的。 3 ) 人脸图像的数据量一般都比较大，从而使输入成为高维向量。在实际应用中，可能存在 着实时处理的要求，如在公共场所中利用人脸检测、识别实现自动报警的问题。 4 ) 人脸模式的类别如不加以限制，就是庞大的人口数，而模式识别系统的识别率一般随着 类别的增加而降低，这是人脸识别系统在实际应用中需要研究的一个问题。 面对以上的诸多困难，目前在人脸识别中所需要解决的重点问题包括以下三个方面： 特征提取。如何提取稳定和有效的特征是模式识别系统成败的关键，模式识别实质上是基 于特征的识别，最关键的是选取稳定和有效的特征。对于人脸图像来说，选取特征的方法，选 取哪些特征最有效和选取合适的特征数目都是需要解决的问题。 不变性识别。不变性识别是使识别系统具有较强的适应性，在人脸识别中，人脸的表情， 视角和不均匀光照等因素的变化是影响识别结果的主要因素。 实用化要求。人脸识别实现实用化的两个重要的条件是识别率和识别速度两个因素，其中 以识别率最为重要，因为在某些应用场所对速度要求不高或没有要求。 1 3 人脸识别技术综述 1 3 1自动人脸识别系统 自动人脸识别系统( a f r ) 是各种与人脸识别相关技术的组合，它基本上由人脸检测，预 处理，特征提取和分类识别四个部分组成。如图1 - 1 所示。它应该能够完成以下的任务： 1 ) 从输入的静止图像或序列图像中检测图像是否包含人脸。如有，进一步确定图像中的人 脸数目以及各个人脸的位置和区域。 2 ) 根据人脸检测的结果，对人脸区域进行预处理。预处理包括人脸区域分割、尺度归一化 和灰度归一化等内容，区域分割是指将人脸区域与背景进行分离。 3 ) 利用特征提取对人脸图像提取表征人脸本质特点的特征，要求所提取的特征在光照，表 情和视角等条件下具有较好的鲁棒性。 4 1 在人脸图像预处理和特征提取的基础上，进行人脸识, b i j o a 判断其身份。 4 上海交通大学博士论文 图1 - 1 自动人脸识别系统 f i g 1 - 1a u t o m a t i cf a c er e c o g n i t i o ns y s t e m 实现一个高性能的人脸识别系统涉及到计算机技术、图像处理和模式识别技术，其中有相 当多的理论与实际问题尚待解决。 1 3 2人脸检测技术 人脸检测是自动人脸识别系统的前提和条件，目前在人脸检测中存在的主要问题包括 4 】： 1 ) 姿态。由于摄像机相对于人脸的位置不同而形成的人脸图像会产生很大的差别，人脸的 姿态可以有正视，4 5 0 斜视，侧视以及上下视等。在这些情况下，某些面部特征，比如眼睛、 鼻子等可能被部分或全部遮挡。 2 ) 面部非主要特征。人脸上的某些非主要特征( 比如胡子、眼镜等) 的出现与否，以及它们 的大小、形状和颜色的不同会显著地影响人脸检测的效果。 3 ) 面部表情。不同的面部表情会直接生成不同的人脸图像，而人脸检测要求能够检测不同 表情的人脸图像。 4 ) 遮挡。在自然场景中，人脸可能被一些物体所遮挡，而图像中有一群人的时候，一些人 脸可能被其它的人脸所遮挡。 5 ) 成像条件。在成像时，光照( 强度，方向，光谱等) ，摄像机性能等因素会影响到成像的 结果。 人脸检测的方法主要包括：基于人脸规则的方法，基于特征不变量的方法，基于模板匹 配的方法和基于概率分布的方法等几种。 1 3 2 1基于人脸规则的方法 人脸都具有一定的结构分布特征，人脸规则是提取人脸结构分布特征生成相应的规则，以 判断被测试样本中是否包含人脸。g y a n g 5 提出了一种基于知识的层次性方法，该方法由最高 层次、中间层次和最低层次等三个层次的规则构成：基于最高的层次的规则用于扫描输入图 像，并且检测可能的人脸候选区域：中间层次的规则主要包含了对人脸图像的概括性描述：最 低层次的规则主要包括了对人脸的各个器官的描述。虽然该方法并没有取得很高的人脸检测精 度，但是该方法中所提出的马赛克方法和多层次方法给后续的人脸检测研究提供了很大的启 示。 上海交通大学博士论文 1 3 2 2基于特征不变量的方法 基于特征不变量的人脸检测的思想就是在图像中搜索人脸上的相对稳定的特征来进行人脸 检测。在实际应用中所采用的特征包括面部特征( 双眼、鼻子和嘴唇等) f 6 】，纹理f 7 】，肤色 f 8 ，或多种特征( 如肤色、大小和形状等) 的结合等【9 。 1 3 2 3基于模板匹配的方法 模板匹配方法首先设计一个或数个标准人脸模板，然后计算测试样本与标准模板之间的匹 配程度，通过闽值来判断在检测样本中是否存在人脸。在实际应用中所采用的模板可以分为形 状模板【1 0 】和可变形模板 1 1 】。 1 3 2 4基于概率分布的方法 基于概率分布的人脸检测将人脸看作是一个灰度分布的随机过程，人脸检测的任务就是首 先通过统计分析和机器学习找到人脸和非人脸图像的相关特征。利用学习而获得的统计特征来 进行人脸检测。在实际中基于这种思想实现人脸检测的有特征脸 1 2 ，基于高斯分布 1 3 】，神 经网络 1 4 ，支持向量机【1 5 】，贝叶斯分类器，h m m 和信息论等方法。