（通信与信息系统专业论文）基于二值边缘图像的眼睛定位和人脸识别.pdf

摘要d o c 摘要 人脸自动识别是一种利用计算机分析人脸图像特钲以实现人的身份验证的技术，是近_ 二 十年米图像处理、模式识别和计算机视觉领域中极寓挑战性的研究课题之一。由于它在法庭 举证、持卡人识别、视频监控等方面都具有巨大的应j _ i j 价值，目前受到各国政府及其军事、 安全、情报部fj 以及科研单位的广泛关注和高度重视。 一个完整的人脸识别系统由人脸检测、人脸图像预处理、人脸特征提取、图像间相似度 计算等功能模块组成。多年来，人们对人脸识别技术中的许多问题都进行了深入的研究，并 且已经研制出了不少有效的算法，然而，由于不同的人脸具有内在的相似性，而同一一人脸的 不同图像则常常因为姿势变化和表情变化而表现出巨大的差异性，并且人脸图像的质量还容 易受到光照变化的影响，因此，现有的人脸识别技术仍然无法满足实际应用的需要。 本文重点研究人脸中双眼定位问题和强光照鲁棒性人脸识别算法开发问题。眼睛的位置 是实现人脸图像几何归一化的必要条件，双眼的定位因而成为全自动人脸识别中非常关键的 环；而好的光照鲁棒性则能使人脸识别系统更富实用性。基于二值边缘图像，本文提出了 一种新的人眼自动定位方法，以及一种具有较好光照鲁棒性的人脸识别方法。具体说来，本 文主要做了以下三个方面的研究。 第一，提出了一种基于小波多分辨率分析的人脸二值边缘图像提取方法。该方法包括一 次图像的高频重构过程、两次图像自适应二值化过程和次后续的二值边缘图像去噪过程。 定性和定量的评价表明，用该方法得到的二值边缘图像( b e i ，b i n a r y e d g ei m a g e ) 具有人脸 部件完整、细节清晰、不同部件之间粘连少的优点，且具有很好的光照鲁棒性，因此，非常 适合于人脸部件的分割和脸部关键特征点的提取。 其次，提出了一种基于b e l 和亮度信息的人眼定位方法。该方法包括人脸区域提取、 眼睛区域分割以及眼睛精确定位三个过程。为了提高眼睛检测和定位的成功率，该方法包含 了一个人脸边界优化算法和一个多级人眼检测方案。另外，该方法将虹膜上的反射光点作为 眼睛定位的重要线索，为此，该方法还包含了一个高鲁棒的反射光点自动检测算法。利用 1 5 0 个b e r n 图像和5 6 4 个a r 图像进行实验，分别获得了9 8 7 和9 6 6 的双眼定位成功率， 表明该方法对眼睛定位过程中的视角变化、人脸表情变化和图像光照变化都具有很好的鲁棒 性。进一步的分析和观察还表明，利用反射光点进行眼睛定位，不仅能获得很高的眼睛定位 精度和成功率，而且能够实现对一些被头发部分遮住的眼睛的准确定位。 最后，提出一种基丁二二值模板匹配的人脸识别方法。该方法用由l a t ( l o c a l l y a d a p t i v e t h r e s h o l d ) 算法获得的人脸二值边缘图像( b e m ，b i n a r ye d g em a p ) 表征人脸+ 通过计算两 幅b e m 中重叠的前景像素数在其总的前景像素数中所占的比例来衡量两幅人脸图像的相似 度。用a r 和y a l e 人脸图像的实验表明，该方法能够以较快的速度获得比p c a 法、灰度模 板匹配法以及双修改h a u s d o r f f 距离方法更高的识别率，特别是对存有光照变化的图像。另 外，本文还提出了一种进步提高二值模板匹配识别性能的有效方法一在其决策过程中融 入少量的灰度信息。实验表明，这种基于特征融合的扩展二值模板匹配法能同时获得较高的 光照鲁棒性和表情鲁棒性，从而更加符合实际应用的需要。 浙江大学博士学位论文 关键词：人腧识别，眼睛定位，小波多分辨牢分析，二值边缘图像，反射光点，二值模板 匹配，光照条料 l i a b s t r a c td o c a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) i sat e c h n o l o g yf o rp e r s o na u t h e n t i c a t i o nb yu s i n gt h e d i g i t i z e df a c i a l f e a t u r e s f o rt h ep a s tt w od e c a d e s ，i th a sb e c o m eo n eo ft h em o s tc h a l l e n g i n g r e s e a r c ht o p i c si nt h ef i e l do fi m a g e p r o c e s s i n g ，p a t t e mr e c o g n i t i o na n dc o m p u t e rv i s i o n b e c a u s e o fi t st r e m e n d o u s p o t e n t i a la p p l i c a t i o n s i nl a w e n f o r c e m e n t , s e c u r i t yc o n t r o l ，a n d v i d e o s u r v e i l l a n c e a f rh a sa t t r a c t e dm o r ea n dm o r ea t t e n t i o n sf r o mm a n yr e s e a r c hi n s t i t n t e sa n d g o v e r n m e n to r g a n i z a t i o n si n c l u d i n gd e p a r t m e n t si nc h a r g eo fd e f e n s e ，s e c u r i t y , a n d i n f o r m a t i o n af u l l ya u t o m a t i cf a c er e c o g n i t i o ns y s t e m ( f a f r s ) c o n s i s t so ff u n c t i o n si n c l u d i n gf a c e d e t e c t i o nf r o ma ni n p u ti m a g e ，f a c ei m a g ep r e - p r o c e s s i n g ，f a c i a lf e a t u r ee x t r a c t i o n ，a n ds i m i l a r i t y m e a s u r e m e n to ft w of a c e i m a g e s t h e s ep r o b l e m s h a v eb e e n i n t e n s i v e l yi n v e s t i g a t e db y r e s e a r c h e r sa n dm a n yu s e f u la l g o r i t h m sh a v eb e e nd e v e l o p e d s i n c ef a c e so fd i f f e r e n ts u b j e c t sa r e o f t e ns i m i l a rw h i l ef a c ei m a g e sf r o mt h es a m ep e r s o no f t e nd i f f e rq u i t es i g n i f i c a n t l yd u et op o s e a n de x p r e s s i o nv a r i a t i o n s ，a n da l s ob e c a u s et h eq u a l i t yo ff a c ei m a g e si s a f f e c t e dg r e a t l yb y l i g h t i n gc o n d i t i o n s ，c u r r e n tf a c er e c o g n i t i o ns y s t e m s c a n n o tm e e tt h e r e q u i r e m e n t s o fm a n y p r a c t i c a la p p l i c a t i o n s t h i st h e s i sf o c u s e so nt h er e s e a r c ho fh u m a ne y e1 0 c a l i z a t i o na n dt h ed e v e l o p m e n to ff a c c r e c o g n i t i o na l g o r i t h m sw i t hg o o dr o b u s t n e s st oi l l u m i n a t i o nv a r i a t i o n s t h ep o s i t i o n so f t w oe y e s a r ec o m m o n l yu s e df o rt 1 1 eg e o m e t r yn o r m a l i z a t i o no faf a c ei m a g e 。e y el o c a t i n gi st h u sav e r y c r u c i a ls t e pf o rt h ee s t a b l i s h m e n to fa nf a f r s t h es e c o n dr e s e a r c hf o c u so ft h i st h e s i sw a s p r o p o s e db e c a u s ea nf a f r s w i t hg o o di i l u m i n a t i o nr o b u s t n e s sw i l lb em o r ea p p l i c a b l e b a s e do n t h eb i n a r ye d g ei m a g eo b t a i n e du s i n go u rp r o p o s e dm e t h o d ，an o v e le y el o c a l i z a t i o nm e t h o di s p r e s e n t e di nt h i st h e s i s a l s ob a s e do nt h eb i n a r ye d g em a p ( b e m ) o b t a i n e du s i n gt h el a t ( l o c a l l ya d a p t i v et h r e s h o l d ) a l g o r i t h m ，a n e wf a c er e c o g n i t i o na l g o r i t h mw i t hb e u e ri l l u m i n a t i o n r o b u s t n e s sj sp r e s e n t e d i np a r t i c u l a r , t h i st h e s i sm a k e st h r e em a i nc o n t r i b u t i o n sd e t a i l e db e l o w f i r s t l y ，an e w f a c ee d g ee x t r a c t i o nm e t h o db a s e do i lt h em u l t i r e s o l u t i o np r o p e r t yo fw a v e l e t t r a n s f o r m ( w t ) i sp r o p o s e d t h em e t h o di sc o m p o s e d o fa ni m a g er e c o n s t r u c t i o ns t e pw i t hh i g h f r e q u e n c yc o m p o n e n t s t w o a d a p t i v e b i n a r i z a t i o n s t e p s a n dan o i s e r e m o v i n gs t e p r h e q u a n t i t a t i v ea n dq u a l i t a t i v ee v a l u a t i o ns h o wt h a tf a c ec o m p o n e n t s ，s u c ha se y e b r o w s ，e y e s ，n o s e a n dm o u t hi nt h er e s u l t i n gb i n a r ye d g ei m a g em e l ) a r ea l l e x t r a c t e dw i t hc l e a rd e t a i l sa n d w i t h o u tt o u c h i n gn e i 譬h b o r i n gf a c ec o m p o n e n t si nm o s tc a s e s f u r t h e r m o r e ，b e i i so fg o o d r o b u s t n e s st ol i g h r i n gc h a n g e s a l lt h e s es u g g e s tt h a tt h eb e ii s s u i t a b l ef o rf a c ec o m p o n e n t s e g m e n t a t i o na n d t h ee x t r a c t i o no f s o m ek e yf e a t u r ep o i n t si nt h ef a c ei m a g e s e c o n d l y , an o v e l m e t h o df u rt h el o c a l i z a t i o no fh u m a ne y e si sp r e s e n t e d t h em e t h o d c o n s i s t so f t h r e es t e p s ，t h a ti s ，f a c er e g i o ne x t r a c t i o n ，e y er e g i o ne x t r a c t i o n ，a n df i n e l yl o c a t i n go f e y e s i no r d e r t oi m p r o v et h ec o r r e c tr a t eo fe y el o c a t i n g , a na l g o r i t h mf o rt h er e f i n e m e n to f f a c e b o u n d a r i e sa n dam u l t i 1 e v e le y ed e t e c t i o ns c h e m ea l ei n c l u d e di nt h i sm e t h o d i na d d i t i o n ，t h e l i t 塑垩奎堂堕圭堂些堡塞 r e f l e c t e dl i g h td o t si nt h ei r i sa r eu s e da sa ni m p o r t a n tc l l ef o re y el o c a l i z a t i o n a c c o r d i n g l a n a l g o r i t h mf o rt h ea u t o m a t i cd e t e c t i o no f r e f l e c t e dl i g h ts p o t si sg i v e n e x p e r i m e n t a lr e s u l t so nas e t o f15 0b e r ni m a g e sa n da n o t h e rs e to f5 6 4a r i m a g e ss h o wt h a tc o r r e c te y el o c a t i n gr a t e so f 9 8 7 a n d9 6 6 h a v eb e e na c h i e v e d ，r e s p e c t i v e l y t h ep r o p o s e de y ed e t e c t i o nm e t h o di s a l s o r o b u s tt ot h ev a r i a t i o n si nv i e w s ，l i g h t i n gc o n d i t i o n sa n df a c i a l e x p r e s s i o n sf u r t h e r m o r e ，i ti s o b s e r v e dt h a tb yu s i n gr e f l e c t e dl i g h td o t sf o re y el o c a l i z a t i o n ，t h o s ee y e sp a r t i a l l yc o v e r e d b yh a i r c a nb ec o r r e c t l yl o c a t e d f i n a l l y , af a c er e c o g n i t i o nm e t h o db a s e do nb i n a r yt e m p l a t em a t c h i n gi s p r o p o s e d t h i s a p p r o a c hu s e sb e m sf o rf a c er e p r e s e n t a t i o n t h es i m i l a r i t ym e a s u r eo ff a c ei m a g e si se x p r e s s e d a st h er a t i oo f t h en u m b e r o f f o r e g r o u n dp i x e l si nt h ec o r r e s p o n d i n gr e g i o nt ot h et o t a ln u m b e ro f f o r e g r o u n dp i x e l si nt h et w ob e m s e x p e r i m e n t a lr e s u l t so nas u b s e to fa r i m a g e sa n d as u b s e t o fy a l e i m a g e ss h o wt h a t t h i sm e t h o dc a no b t a i nah i g h e rf a c er e c o g n i t i o nr a t ea taf a s t e r p r o c e s s i n gs p e e dt h a n s o m ec o n v e n t i o n a lf a c e r e c o g n i t i o na l g o r i t h m s ，e s p e c i a l l yw h e nf a c e i m a g e s a r c c a p t u r e d i nt h ee n v i r o n m e n t sw i t h v a r y i n gl i g h t i n g s ，t o f u r t h e r i m p r o v e t h e p e r f o r m a n c eo fb i n a r yt e m p l a t em a t c h i n g , m i n o rg r a y s c a l ei n f o r m a t i o nh a sa l s ob e e nu s e di nt h e m a t c h i n gp r o c e s s e x p e r i m e n t a lr e s u l t ss h o wt h ei m p r o v e db i n a r yt e m p l a t em a t c h i n gm e t h o dc a n a c h i e v eb e t t e ri l l u m i n a t i o na n d e x p r e s s i o nr o b u s t n e s s ，m a k i n g i tm o r e a p p l i c a b l e f o rr e a l d r o b l e m s k e y w o r d s ：f a c er e c o g n i t i o n ，e y el o c a l i z a t i o n ，m u l t i - r e s o l u t i o nw a v e l e ta n a l y s i s ，b i n a r ye d g em a p ， r e f l e c t e dl i g h r i n gs p o t s ，b i n a r yt e m p l a t em a t c h i n g ，i l l u m i n a t i o nc o n d i t i o n s 第一章绪论d o c 1 1 引言 第一章绪论 随着社会的发展和科学技术的不断进步，人们对于快速、便捷、有效的身份识别技术有 着e l 益增k 的需求。传统的方法诸如密码、印章、证件等因易忘记、易伪造、易丢失，常 常给人们的生活和社会的管理带来不便，因此，近年来，生物识别技术口益引起人们的 关注，并逐步渗透到大家的口常生活和工作中。 生物识别技术是一种利用人体固有的各种生物特征进行身份区分和确认的技术。用 于生物识别的人体特征包括人的生理特征和行为特征两类，前者如指纹、人脸、手形、 掌纹、虹膜、视网膜、脉搏、耳廓、声音、手背静脉、d n a 等，后者如笔迹、步态、按键 力度等，这些特征由于具有( 1 ) 普遍性，即每个人都具有；( 2 ) 独特性：不同的人其特征 各不相同；( 3 ) 持久性：不随时间变化，或者变化非常缓慢：( 4 ) 可收集性：可以爿j 仪器提 表1 1 不同人体生物特征的特点 1 a i n ，2 0 0 4 *嚣 薹 誊 铷 妻董 皇 羔 誊 孽 警 互 兰 誊差 喜 i 耋 姜2 爱卷 嘲o m e t r ki d e n t | f l e r i 誊孟0卷 盎 塞 墨 d n ahl lhli ill e a t 。mmmmhm f a c el ilmi lll l a c j a lt 1 1 。i m o l l r a mi l劓lhmhl i i i _ i n g e r p r i m mh iml imm ( i a i tmll hlhm j - l a n dg , + + n n c t r ymmm hmmm h a n dvc j mmmmmmi 。 l r i shi |hml ll k e v g t r o k elllmlmm o t l o rhhhlllmi i ；l l m l + r i m mhhmmm r e t l , “ |mlhl l 。 s i n n l a l u r e lllll h v o l e emi 。l ，mlhh 取并转化成数字代码，因此，将它们用作身份识别的依据，具有安全、方便、可靠、准确的 特点。同时，由于生物识别技术往往借助于计算机实现，因此，很容易和安全、监控、管理 系统整合，从而实现生产和管理的自动化。 不同的生物特征具有不同的特点。表1 1 列出了目前常用的各种生物特征在普遍性 浙江大学博士学位论文 ( u n i v e r s a l i t y ) 、独特性( d i s t i n c t i v e n e s s ) 、持久性( p e r m a n e n c e ) 、可收集性( c o l l e c t a b i l i t y ) 四个方面及相应的生物识别系统在性能( p e r f o r m a n c e ) 、可接受性( a c c e p t a b i l i t y ) 和可欺骗 性( c i r c u m v e n t i o n ) 等三个方面的比较，其中h 、m 、l 分别表示“高”、“中”、“低”王个 等级。可以看出，这些特征各有优缺点。当它们用于个人身份识别时，很难说哪一种就一定 优于其它特征，而必须看其体的应用场合 j a i n ，2 0 0 4 1 。比如，指纹技术早在几百年前就已应 用于个体区分，而且，目前的指纹识别系统已经达到很高的准确度，但指纹图像的采集比较 麻烦，而且有少部分人山丁遗传、年龄、环境、或者职业方面的原因，他们的手指上有疤痕， 冈而，其指纹图像无法采集到，这就大大限制了该技术的应用范围和用户的可接受程度：又 比如，对于d n a 技术，它具有高独特性，因为除双胞胎外，每个人的d n a 特征都各不相 同，但是，对d n a 的分析往往要采_ e j 复杂的化学处理，因此，d n a 技术无法用于实时识 别，而主要用于法庭举证。相比之下，人脸图像采集方便，而且采集时无须待识对象刻意配 合，因而，人脸自动识别系统具有很好的用户可接受性。 显然，j | | 户的可接受性在很大程度上决定了一个产品的应用范围和市场前景。简单、自 然、尽可能少的用户参与，会使一个生物识别系统显得更为友好和方便，因此，尽管人脸识 别系统目前的性能还不如指纹识别系统，但人脸特征很可能是未来最常用的生物识别特征 j a i n ，2 0 0 4 1 。人脸识别系统除了可以应用于其它生物识别系统应用的场合，比如在需要用户 专门配台的法庭举证、持证( 包括身份证、驾驶证、护照等) 人核对、计算机登陆、网络访 问、重要建筑物和边境口岸的进出控制等，它还可用于无需用户刻意配合的视频监控、视频 流的自动剪辑等领域，在罪犯缉拿、视频检索等许多方面都有广泛的应用前景。 1 2 人脸识别技术的研究概况 人脸自动识别技术的研究始于上世纪6 0 年代。当时，很多生理学家、心理学家和神经 科学家做了大量的基础性研究，比如：人脸是否有唯一性、婴儿是怎样识别人脸的等等。但 人脸技术的真正兴起，是在伴随着计算机技术高速发展的2 0 世纪9 0 年代。2 l 世纪初9 1 1 事件的发生，使人脸识别技术变得更为世人关注，人脸识别技术不仅成了学术界研究的热门 课题，而且还引起了各国政府及其安全、情报、军事部门的浓厚兴趣，很多公司和财团也纷 纷投资于该技术的研究。 目前，世界上很多国家的高校都有专门的人脸识别研究小组，比较有名的如麻省理工学 院( m i t ) 的由a p e n t l a n d 领导的研究小组，耶鲁入学( y a l e u n i v e r s i t y ) 由d j k r i e g m a n 领导的包括pn b e l h u m e u r 等人在内的研究小组、密歇根州立大学( m s u ) 由a k j a i n 领 衔的小组、德国r u h r 大学由c v o n d e r m a l s b u r g 和l w i s k o t t 等人组成的研究小组、德国 m a x p l a n c k 研究所由v b l a n z 领导的小组、英国曼切斯特大学由tf c o o t e s 、gj e d w a r d s 和c j t a y l o r 等人组成的小组等，日本、韩国、新加坡以及香港的许多高校和科研部门也 有不少人在专门从事人脸识别研究。定期召开的国际会议i e e ei n t e m a t i o n a lc o n f e r e n c e 0 1 1 a u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n 和i n t e r n a t i o n a lc o n f e r e n c eo na u d i oa n dv i d e o b a s e d b i o t a e t r i cp e r s o na u t h e n t i c a t i o n 是专门供人脸及其它生物特征识别技术进行经验交流和最新 成果展示的。而在模式识别、计算机视觉、图像处理等领域中最权威的国际会议，如i e e e i c c v 、i e e e c v p r 、i e e e i c i p 、i e e e i c a s s p 、i c p r 、e c c v 上每届也都有专门的人脸图 像分析和识别专题。因特网上则有许多关于人脸图像识别及相关内容的专门网站( 如表1 2 所示) 。为了进一步促进入脸识别技术的发展，美国国防部高级研究计划署( d a r p a ) 等单 2 第一章绪论d o e 位还经常发起人脸识别算法和产品性能竞赛。国内外的专业学术期刊上，每年都有人量的关 表1 2 有关人脸识别的网页 主页内容链接 人脸识别 h t t p ：w w w c s r u g n l u s e r s d p e t e r k r f a c e f a c e | h 1 1 1 人脸识别算法评价 h t t p ：w w w c s c o l o s t a t e e d u e v a l f a c e r e c 人脸识别演示 h t t p ：v i s m o d m e d i a m i t e d u v i s m o d d e m o s f a c e r e c 人脸检测h t t p ：h o m et o n l i n e d e h o m e r o b e r t f r i s c h h o l z f a c e h t m 计算机视觉h t t p ：w w w 一2 c s c m n e d u - - - c i l v i s i o n h t m l 于人脸图像分析的文章发表。图1 1 是我们以“f a c er e c o g n i t i o n 或“人脸识别”作为检索 词，从浙江大学图书馆收藏的“i e l ( i e e e i e e e l e c t r o n i c l i b r a r y ) ”、“e l s e v i e rs c i e n c e d i r e c t ” 以及“维普”三个全文期刊数据库中进行“任意字段”检索而统计得到的近1 0 年国内外发 表的相关文献的数量。从中可以看到，有关人脸识别的文章数在逐年增加，这也从一个方面 说明了该技术目前的受关注程度。 ( - 9 41 9 9 51 9 9 61 9 9 71 9 9 81 9 9 9 2 0 0 02 0 0 12 0 0 2 2 0 0 3 年份 图l ，1 近1 0 年国内外刊物登载的有关人脸识别的文章数 从技术上讲，早期的人脸识别主要利用的是基于部件几何特征的方法和模板匹配法 f b r u n e l l i 1 9 9 3 1 。2 0 世纪9 0 年代以后，很多新的方法，比如主元分析( p c a ，p r i n c i p a l c o m p o n e n t a n a l y s i s ) 法或又称为本征脸( e i g e n f a c e ) 法 t u r k ，1 9 9 1 a 1 、f i s h e r 脸( f i s h e r f a c e ) 法 b e l t m m e u r , 1 9 9 7 a 1 、独立主元分析( i c a ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 法田a r t l e t t , 2 0 0 2 1 ，概率p c a ( p p c a p r o b a b i l i s t i cp c a ) 法 m o g h a d d a m ，1 9 9 7 ；m o g h a d d a m ，2 0 0 0 、弹 性图匹配法( e g m ，e l a s t i cg r a p hm a t c h i n g ) 【l a d e s ，1 9 9 3 ；w i s k o t t ，1 9 9 7 1 等先后被提出：很 多新的数学理论，比如小波变换、神经网络、支持向量机、h a u s d o r f f 距离以及很多新的模 型，比如隐马尔可夫模型( h m m ，h i d d e nm a r k o vm o d e l ) ，主动表象模型( a a m ，a c t i v e a p p e a r a n c em o d e l ) 、三维可变形模型等也纷纷用于人脸特征的表征、提取和人脸识别，所 3 蝴湖卿姗。 蛭v删辅册捌 浙江大学博士学位论文 有这些，都极大地促进丫人脸识别技术的发展。 我国在人脸识别技术研究方面起步较晚，在国际上的影响也较小。目前致力于这方面研 究的主要有微软亚洲研究院、中国科学院计算技术研究所、清华大学、南京火学、南京理一l 大学等其它很多高校也有专门的人脸识别小组，但规模较小。可喜的是，近年来，随着我 国在该项目上科研经费的逐年增加，我国科研人员取得的研究成果也不断增加，在国际上高 等级的学术刊物和专业会议上发表的论文数也在逐年增多。2 0 0 2 年11 月由中科院计算所承 担的“面像检测与识别核心技术”这一国家8 6 3 项目通过专家鉴定，在受控条件下，人脸识别 率达到9 6 以上。2 0 0 4 年8 月由清华人学电了系丁晓青教授领衔开发的人脸识别系统在 第1 7 届国际模式识别会议( i c p r 2 0 0 4 ) 组织的人脸认证竞赛( f a t 2 0 0 4 ) 上，在所有 三个单项的比赛中均获得第一名。 1 3 人脸识别系统的组成 图一困一冈 图1 2 入脸识别系统框图 一个完整的人脸识别系统如图1 2 所示。首先用摄像机等设备采集包含人脸的原始图像， 然后，利用人脸检测算法从中定位和分割出人脸区域，下一步，对提取的人脸图像进行一些 预处理操作，包括几何特性和光学特性的归一化处理，紧接着，进行特征抽取，并将得到的 人脸特征和训练时得到的保存在目标库中的、类别己知的图像的特征进行比对，根据相似程 度的高低决定最后的识别结果。 有关常用的人脸特征及人脸分类算法我们将在第二章中详述，这里，先简要介绍人脸检 测和人脸图像预处理的一些基本方法。 1 3 1 人脸检测 从图1 2 可以看到，入脸检测是人脸识别的第一步，同时，人脸检测在视频编码、视频 会议、人流监控、智能人机交互以及基于内容的图像检索等方面也有广泛的应用，因此，人 脸检测现在已经成为独立于人脸识别之外的另一个热点研究课题。 4 第一章绪论d o c m hy a n g 等将人脸检测的含义定义为 y a n g ，2 0 0 2 ：任意给定一幅图像，确定其中是 否包含人脸，如果有，则返同每张人脸在图像中的位置及其范围。显然，人脸检测不是一件 容易的事情，因为它和图像中脸的姿势、人的表情、人脸是否被其它东西遮盖、光照变化等 因素都有关系。目前有关人脸检测的方法很多 h j e l m a s ，2 0 0 1 ；y a n g ，2 0 0 2 1 ，m h y a n 2 等 把这些方法分为四类 y a n g ，2 0 0 2 ，即基于知识( k n o w l e d g e b a s e d ) 的方法、不变特征( f e a t u r e i n v a r i a n t ) 法、基丁模板( t e m p l a t e b a s e d ) 的方法以及基于表象( a p p e a r a n c e b a s e d ) 的方 法，表】3 给出r 这四类方法中的典型代表。 表1 3 常用的人脸检测方法 y a n g ，2 0 0 2 1 方法代表性工作 基于知识的方法 基于多分辨率规则的方法 y a n g , 1 9 9 4 不变特征法 人脸及部什特征 边缘分组 l e u n g ，1 9 9 5 】 一纹理 人脸模式的空间灰度级依赖矩阵 d a i ，1 9 9 6 】 一肤色 混合高斯模型 y a n g ，19 9 6 】 一多特征肤色、尺寸和形状的组合 k j e l d s e n ，1 9 9 6 基于模板的方法 一预定于人脸模板 形状模板 c r a w , 1 9 9 2 】 一可变形模板 主动形状模型( a s m ) l a n i t i s ，1 9 9 5 】 基于表象的方法 一本征脸法 本征矢量分解和聚类 t u r k ，1 9 9 1 a 基丁二分布的方法 高斯分布和多层感知器 s u n g ，1 9 9 8 一神经网络 神经网络和仲裁方案 r o w l e y , 1 9 9 8 一支持向量机( s v m )多项式核s v m o s u n a ，1 9 9 7 一空白( n a i v e ) 贝叶斯分类器 局部表象和位置的联合概率 s c h n e i d e r m a n ，1 9 9 8 一隐马尔可夫模型( h m m ) 采用高阶统计量的h m m r a j a g o p a l a n ，1 9 9 8 一信息论方法k u l l b a c k 相对信息 l e w 1 9 9 6 1 3 2 人脸图像预处理【边，2 0 0 0 】 该阶段主要进行人脸图像的几何特性和光学特性的归一化处理。 图像儿何特性的归一化处理是为了使人脸图像归一化到相同的位置、角度和大小。由于 人的两眼之间的距离对于大多数人来说都是基本相同的瞰u a n g ，2 0 0 0 ，因此，两只眼睛的位 置常常被用作人脸图像几何归一化的依据。假设分割得到的人脸图像中两只眼睛的位置分别 是占，和e ，( 如图1 3 ( a ) 所示) ，则通过下述步骤，可以实现人脸图像的几何归一化 ( 1 ) 进行图像的旋转，p a 4 吏e ，和e ，的连线瓦巧保持水平。这保证了人脸方向的一致 性，体现了人脸在图像平面内的旋转不变性。 浙江大学博士学位论文 ( 2 ) 根据图1 3 ( a ) 所示的比例关系，进行图像裁剪。该图| - 点o 为e ，e ，的r 1 ，点， 且设d = i e , e ，f 。经过裁剪，在2 d 2 j 的图像内，可保证点。固定丁( o 5 d ，仃) 处。这保 证r 人脸位置的一致性，体现了人脸在图像平面内的平移不变性。 ( 3 ) 进行图像缩小和放大变换，得到统一大小的标准图像。比如，若规定图像的大小 是1 2 8 1 2 8 像素点，也就是使d 2 i 巨e ，f 为定长( 6 4 个像素) ，m 缩放倍数为芦仁2 彳2 8 这保证了人脸大小的一致性，体现了人脸在图像平面内的尺度不变性。 经过上述处理，不仅在一定程度上获得了人脸图像表示的几何不变性，而且还基本上消 除了头发和背景的干扰。有些研究 b e v e r i d g e ，2 0 0 3 在上述处理的基础上，再用一个椭圆模 板进一步消除头发和背景的干扰。 人脸图像光学特性的归一化主要包括先用直方图均衡化方法对图像灰度做拉伸，以改善 图像的对比度，然后对图像像素灰度值进行归一化处理，即使标准人脸图像的像素灰度均值 为0 、方差为1 。如此可以部分消除光照对识别结果的影响。 ( a ) 图像裁剪比例示意( b ) 初始图像( c ) 归一化图像 图1 3 人脸图像的归一化 1 3 3 人脸识别系统的性能评价 p h i l l i p s ，1 9 9 8 ；p h i l l i p s ，2 0 0 0 ； 潘，2 0 0 3 】 1 3 3 1 人脸识别系统工作的两种模式 从具体的认证模式看，人脸识别可咀分为两类：一类是用户在被认证之前须声明一下“我 是谁”，待用户回答后，系统从预先存储在其中的数据库中提取所声明用户的图像数据，并 与本次采集的图像数据做比对，以判断该用户是否就是他所声明的用户。这样每次认证只需 进行一次比对操作。在这种模式下，即使是合法用户，如果他声明为其他合法用户，也会被 系统拒绝。另一类是用户无须事先声明，所有的判断都由系统自己做出。这样系统就需要将 6 第一章绪论d o e 该用户的图像数据与数据库中所有合法用户做比对，从而给出该用户是否为合法用户以及是 哪个合法用户或返回最相似的月个用户。通常前者称为校验( v e r i f i c a t i o n 或a u t h e n t i c a t i o n ) 模式，而后者称为辨识( 1 d e n t i f i c m i o n ) 模式。显然，用于辨识模式的识别系统对算法的运 算速度的要求要高于用于校验模式的识别系统。 1 3 3 2f r r 和e e r 一个模式识别系统给出的一次识别结果可分为四种情况 i 合法的用户被正确接受； i i 合法的用户被错误拒绝； l i i 非法的用户被正确拒绝； i v 非法的用户被错误接受。 其中，出现情况j i 的比率称为错误拒绝率( f r r ，f a l s er e j e c tr a t e ) ，出现情况i v 的 比率称为错误接受率( f a r ，f a l s e a