（控制理论与控制工程专业论文）强光照鲁棒性人脸识别算法研究.pdf

浙江工业大学硕士学位论文 强光照鲁棒性人脸识别算法研究 摘要 人脸识别是图像处理、模式识别和计算机视觉领域的热点研究课题，在罪犯缉拿、法 庭举证、企事业单位人员考勤和视频监控等方面有着重要的应用。近二十年来，人们提出 了很多有效的人脸识别算法，然而，光照变化仍然是影响当前人脸识别技术走向实用化的 主要因素之一。 本文研究具有较好光照鲁棒性的人脸识别算法，从图像预处理、人脸特征的选择和提 取、模式分类器的设计等着手，进行了下列三方面的探索。 1 提出了先采用小波多分辨率分析技术对人脸图像进行光照补偿，然后用主元分析 法( p c a ) 进行人脸识别的方法。在光照补偿时，舍弃图像中受光照影响严重的低频分量， 而只用高频分量重构人脸图像，由此可较好地消除图像中光照的影响。实验表明，用该法 光照补偿后，p c a 方法的识别率有了显著提高。 2 提出了基于二值边缘图像( b e m ) 和支持向量机( s v m ) 的人脸识别方法。人脸 二值边缘特征采用具有自适应二值化阈值选取功能的l a t 算法提取。通过用a r 和y a l e 图像集进行实验，该方法比m 2 h d 方法、p c a 方法等取得了更好的光照鲁棒性。 3 针对边缘特征的光照鲁棒性好、但对表情变化的适应性较差的问题，提出了将二 值边缘特征和灰度特征融合起来用于人脸识别的方法。实验表明，该方法能较好地兼顾系 统的光照鲁棒性和表情鲁棒性，具有较好的实用价值。 关键词：人脸识别，光照鲁棒性，二值边缘特征，支持向量机，特征融合 浙江工业大学硕士学位论文 s t u d yo fh u m a nf a c er e c o g n i t i o nm e t h o d w i t hg o o di l l u m i n a t i o nr o b u s t n e s s a b s t r a c t h u m a nf a c er e c o g n i t i o ni sah o tr e s e a r c ht o p i ci ni m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o na n d c o m p u t e rv i s i o nf i e l d s i th a st r e m e n d o u sp o t e n t i a la p p l i c a t i o n si n c r i m i n a lh u n t i n g , l a w e n f o r c e m e n t ，e m p l o y e ea t t e n d a n c ec h e c k i n ga n dv i d e os u r v e i l l a n c e f o rt h el a s tt w od e c a d e s ， m a n ye f f e c t i v ef a c er e c o g n i t i o na l g o r i t h m sh a sb e e nd e v e l o p e d ，w h i l el i g h t i n gv a r i a t i o ni ss t i l l o n eo ft h em a i nd i f f i c u l t i e sh i n d e r i n gt h i st e c h n o l o g yt og of r o ml a b o r a t o r yt op r a c t i c a lu s e i n t h i s t h e s i s ，t h ep r o b l e mo ff a c er e c o g n i t i o nw i t hg o o di l l u m i n a t i o nr o b u s t n e s s i s d e e p l y i n v e s t i g a t e d ，a n dt h r e ea p p r o a c h e sa sf o l l o w sa l ep u tf o r w a r d f i r s t l y ，am e t h o db a s e do nt h et r a d i t i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a l g o r i t h m ， b u tw i t l lf a c ei m a g e sb e i n gi l l u m i n a t i o nc o m p e n s a t e da tp r e p r o c e s s i n gs t a g e ，w a sp r o p o s e d i n o r d e r 艺or e m o v et h ei n f l u e n c eo f l i g h t i n gc h a n g e s ，t h el o wf r e q u e n c yc o m p o n e n t so f af a c ei m a g e a r ed i s c a r d e du s i n gw a v e l e tm u l t i r e s o l u t i o na n a l y s i sm e t h o d ，a n do n l yt h eh i g hf r e q u e n c y c o m p o n e n t sa r eu s e df o rt h er e c o n s t r u c t i o no faf a c ei m a g e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e f a c er e c o g n i t i o nr a t e so fp c am e t h o do nt h er e c o n s t r u c t e df a c ei m a g e sc a nb ei m p r o v e dal o t s e c o n d l y ，am e t h o db a s e do nb i n a r ye d g em a p ( b e m ) a n ds u p p o r tv e c t o rm a c h i n e ( s v m ) w a sp r e s e n t e d t h eb e mo faf a c ei m a g ew a se x t r a c t e dw i t hl o c a l l ya d a p t i v et h r e s h o l d ( l a t ) a l g o r i t h m e x p e r i m e n t a lr e s u l t so na rf a c ed a t a b a s ea n dy a l ef a c ed a t a b a s es h o wt h a tt h i s p r o p o s e dm e t h o d c a l la c h i e v eb e t t e ri l l u m i n a t i o nr o b u s t n e s st h a nt h ed o u b l ym o d i f i e dh a u s d o r f f d i s t a n c em e t h o d ( m 2 h d ) a n dp c am e t h o d f i n a l l y ，am e t h o db a s e do nt h ef u s i o no fb i n a r ye d g ef e a t u r ea n dg r a y s c a l ef e a t u r ew a s p r o p o s e d e d g ef e a t u r ec a nr e s u l ti ng o o dl i g h t i n gr o b u s t n e s s ，b u tm a yl e a dt ot h ed e t e r i o r a t i o n o ff a c er e c o g n i t i o nm e t h o d si nt h ec a s e sw i t hf a c i a le x p r e s s i o nc h a n g e s e x p e r i m e n t a lr e s u l t s s h o wt h a tt h em e t h o db a s e do nt h ep r o p o s e df e a t u r ef u s i o ns c h e r n ec a l li m p r o v eb o t l lt h e i l l u m i n a t i o na n de x p r e s s i o nr o b u s t n e s s ，m a k i n gi tm o r ea p p l i c a b l e k e yw o r d s ：h u m a nf a c er e c o g n i t i o n ，i l l u m i n a t i o nr o b u s t n e s s ，b i n a r ye d g em a p ，s u p p o r t v e c t o rm a c h i n e ；f e a t u r ef u s i o n 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 乒 作者签名：上 层寸 日期乏：璐年争月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 一 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“”) 作者签名：殳 妒 腻 刷磁陟杯vc = 二一_ 日期：彳：瑁年乒月日 日期：年 月日 浙江工业大学硕士学位论文 1 1引言 第l 章绪论 随着社会的发展和科学技术的不断进步，人们对于快速、便捷、有效的身份识别技术 有着日益增长的需求。传统的方法诸如密码、印章、证件等因易忘记、易伪造、易丢失， 常常给人们的生活和社会的管理带来不便，因此，近年来，生物识别技术日益引起人们的 关注，并逐步渗透到大家的日常生活和工作中。 生物识别技术是一种利用人体固有的各种生物特征进行身份区分和确认的技术。用于 生物识别的人体特征包括人的生理特征和行为特征两类，前者如指纹、人脸、手形、掌纹、 虹膜、视网膜、脉搏、耳廓、声音、手背静脉、d n a 等，后者如笔迹、步态、按键力度等， 这些特征由于具有( 1 ) 普遍性：即每个人都具有；( 2 ) 独特性：不同的人其特征各不相 同；( 3 ) 持久性：不随时间变化，或者变化非常缓慢：( 4 ) 可收集性：可以用仪器提取并 表1 1 不同人体生物特征的特点【1 l 曩 ” 誊 蓉 参 警 耋 董 。 蓍 薹 鬈 警 = 之墨5 酗o m e t r i cl d e n l l f l e r 基 兰 警 銮 暑 差 童 譬 堇 5 墨 o 盘0 d n ahhhlhll e a rmm hmmhm f a c e llmhlhh f a c i a it h e r m o g r a mhhlhmhl f i n g e r p r i n t mhhmhmm g a i tmllh lhm h a n dg e o m e t r ymmmhmmm h a n dv e i nmmmmmm l i r i s hhhmhll k e y s t r o k e lllm lmm o l o rhhhl lml p a i m p r i n tmhhmhmm r e t i n ahhml hll s i g n a t u r e lllhlhh v o i c emllmlhh 浙江工业大学硕士学位论文 转取并转化成数字代码，因此，将它们用作身份识别的依据，具有安全、方便、可靠、准 确的特点。同时，由于生物识别技术往往借助于计算机实现，因此，很容易和安全、监控、 管理系统整合，从而实现生产和管理的自动化。 不同的生物特征具有不同的特点。表1 1 列出了目前常用的各种生物特征在普遍性 ( u n i v e r s a l i t y ) 、独特性( d i s t i n c t i v e n e s s ) 、持久性( p e r m a n e n c e ) 、可收集性( c o l l e c t a b i l i t y ) 四个方面及相应的生物识别系统在性能( p e r f o r m a n c e ) 、可接受性( a c c e p t a b i l i t y ) 和可欺 骗性( c i r c u m v e n t i o n ) 等三个方面的比较，其中h 、m 、l 分别表示“高”、“中”、“低”三个 等级。可以看出，这些特征各有优缺点。当它们用于个人身份识别时，很难说哪一种就一 定优于其它特征，而必须看具体的应用场合【l l 。比如，指纹技术早在几百年前就已应用于 个体区分，而且，目前的指纹识别系统已经达到很高的准确度，但指纹图像的采集比较麻 烦，而且有少部分人由于遗传、年龄、环境、或者职业方面的原因，他们的手指上有疤痕， 因而，其指纹图像无法采集到，这就大大限制了该技术的应用范围和用户的可接受程度； 又比如，对于d n a 技术，它具有高独特性，因为除双胞胎外，每个人的d n a 特征都各不 相同，但是，对d n a 的分析往往要采用复杂的化学处理，因此，d n a 技术无法用于实时 识别，而主要用于法庭举证。相比之下，人脸图像采集方便，而且采集时无须待识对象刻 意配合，因而，人脸自动识别系统具有很好的用户可接受性。 显然，用户的可接受性在很大程度上决定了一个产品的应用范围和市场前景。简单、 自然、尽可能少的用户参与，会使一个生物识别系统显得更为友好和方便，因此，尽管人 脸识别系统目前的性能还不如指纹识别系统，但人脸特征很可能是未来最常用的生物识别 特征【l 】。人脸识别系统除了可以应用于其它生物识别系统应用的场合，比如在需要用户专 门配合的法庭举证、持证( 包括身份证、驾驶证、护照等) 人核对、计算机登陆、网络访 问、重要建筑物和边境口岸的进出控制等，它还可用于无需用户刻意配合的视频监控、视 频流的自动剪辑等领域，在罪犯缉拿、视频检索等许多方面都有广泛的应用前景。 1 2 人脸识别研究概况 人脸自动识别技术的研究始于上世纪6 0 年代。当时，很多生理学家、心理学家和神 经科学家做了大量的基础性研究，比如：人脸是否有唯一性、婴儿是怎样识别人脸的等等。 但人脸技术的真正兴起，是在伴随着计算机技术高速发展的2 0 世纪9 0 年代。2 1 世纪初 9 1 l 事件的发生，使入脸识别技术变得更为世人关注，人脸识别技术不仅成了学术界研究 浙江工业大学硕士学位论文 的热门课题，而且还引起了各国政府及其安全、情报、军事部门的浓厚兴趣，很多公司和 财团也纷纷投资于该技术的研究。 目前，世界上很多国家的高校都有专门的人脸识别研究小组，比较有名的如麻省理工 学院( m i t ) 的由a p e n t l a n d 领导的研究小组、耶鲁大学( y a l eu n i v e r s i t y ) 由d j 。k r i e g r n a n 领导的包括p n b e l h u m e u r 等人在内的研究小组、密歇根州立大学( m s u ) 由a k j a i n 领衔的小组、德国r u h r 大学由c v o nd e rm a l s b u r g 和l w i s k o t t 等人组成的研究小组、 德国m a x p l a n c k 研究所由vb l a n z 领导的小组、英国曼切斯特大学由t f c o o t e s 、gj e d w a r d s 和c j t a y l o r 等人组成的小组等，日本、韩国、新加坡以及香港的许多高校和科 研部门也有不少人在专门从事入脸识别研究。定期召开的国际会议i e e ei n t e r n a t i o n a l c o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n 和i n t e r n a t i o n a lc o n f e r e n c eo i la u d i o a n dv i d e o b a s e db i o m e t r i cp e r s o na u t h e n t i c a t i o n 是专门供人脸及其它生物特征识别技术进 行经验交流和最新成果展示的。而在模式识别、计算机视觉、图像处理等领域中最权威的 国际会议，如i e e ei c c v 、i e e ec v p r 、i e e ei c i p 、i e e ei c a s s p 、i c p r 、e c c v 上每届 也都有专门的人脸图像分析和识别专题。因特网上则有许多关于人脸图像识别及相关内容 的专门网站( 如表1 2 所示) 。为了进一步促进人脸识别技术的发展，美国国防部高级研究 计划署( d 眦) 等单位还经常发起人脸识别算法和产品性能竞赛，比如1 9 9 3 年至1 9 9 7 年期间，d a r p a 发起的三次f e r e t ( t h ef a c i a lr e c o g n i t i o nt e c h n o l o g y ) 测试【2 1 ，2 0 0 0 年、2 0 0 2 年和2 0 0 6 年，d a r p a 又和美国国家科技局n i s t ( n a t i o n a li n s t i t u t eo f s c i e n c ea n d t e c h n o l o g y ) 等单位发起的三次人脸识别系统测试，即f r v t ( f a c er e c o g n i t i o nv e n d o r t e s t s ) 2 0 0 0 、f r v t2 0 0 2 和f r v t2 0 0 6 【3 一。这些测试和大赛无论规模还是水平均一次高过一次， 表l - 2 有关人脸识别的网页 网页内容 链接 人脸识别 h t t p ：w w w c s r u g n l u s e r s p e t e r k r f a c e f a c e h t m l 人脸识别算法评价 h t t p ：w w w c s c o l o s t a t e e d u e v a l f a c e r e c 人脸识别演示 h t t p ：v i s m o d m e d i a m i t e d u v i s m o d d e m o s f a c e r e e 人脸检测 h t t p ：h o m e t - o n l i n e d e h o m e r o b e r t f r i s c h h o l z f a c e h t m 计算机视觉 h t t p ：w w w - 2 c s c m u e d u 一c i l v i s i o n h t m l 浙江工业大学硕士学位论文 表1 3 参加第三次f e r e t 测试的单位、人脸特征及相似度测量方法【2 l 单位 图像特征表征方法图像相似度测量方法 e x c a l i b u r 公司 不详不详 m i t 9 5p c a 厶 m i t 9 6 p c a 差分空间贝叶斯统计概率 m s uf i s h e rl d a 厶 r u t g e r s 大学 灰度投影 加权三， u s c 动态链接结构( g a b o rj e t s )弹性图匹配 u m d 9 6f i s h e rl d a 厶 u m d 9 7f i s h e rl d a 加权厶 基准算法1 p c a 工j 基准算法2相关角度 表l - 4 参加f r v t 2 0 0 6 测试的公司【6 l 编编 号 公司名称公司名称 号 l a n i m e t r i c s ，i n c 1 2p a n v i s t al i m i t e d 2 c a r n e g i em e l l o nu n i v e r s i t y ( c m u ) 1 3 p e k i n gu n i v e r s i t y ( 北大) 3 c o g n i t e cs y s t e m sg m b h 1 4 p e o p l e s p o ti n c 4 s a m s u n g a d v a n c e di n s t i t u t eo f1 5r a f a e la r m a m e n t d e v e l o p m e n t t e c h n o l o g y ( s a i t )a u t h o r i t yl t d 5 o e o m e t r i x ，l n c 1 6s a g e ms a 6n e w j e r s e yi n s t i t u t eo ft e c h n o l o g y ( n j i t ) 1 7d i a m o n di n f o r m a t i o ns y s t e m s ( d i s ) 7 i d e n t i x ，i n c 1 8 t s i n g h u au n i v e r s i t y ( 清华) 8n e v e nv i s i o n1 9t i l it e c h n o l o g yl i m i t e d 9g u a r d i a 2 0t o s h i b ac o r p o r a t i o n l o n i v i s ，l l c 2 1 u n i v e r s i t yo fh o u s t o n l l o l dd o m i n i o nu n i v e r s i t y 2 2 v i i s a g e 到f r v t2 0 0 6 ，共有来自全世界1 0 个国家的总共2 2 个单位参加了大赛，其中包括我国的 清华大学和北京大学。另外，2 0 0 4 年7 月在第一届国际生物认证大会( i c b a2 0 0 4 ) 上举 办了一次人脸认证大赛，即f a c 2 0 0 4 ( f a c ea u t h e n t i c a t i o nc o n t e s t2 0 0 4 ) 【5 】，2 0 0 4 年8 月， 4 浙江工业大学硕士学位论文 在第1 7 届模式识别国际会议( i c p r2 0 0 4 ) 上，也发起了一次人脸认证竞赛，即f a t 2 0 0 4 ( f a c ea u t h e n t i c a t i o nt e s t2 0 0 4 ) ，2 0 0 6 年在国际生物测定大会( i n t e r n a t i o n a lc o n f e f e n c eo n b i o m e t r i c s2 0 0 6 ) 上，又组织了一次人脸校验比赛( f a c ev e r i f i c a t i o nc o n t e s t2 0 0 6 ) ，即f v c 2 0 0 6 。表1 3 列出了参加第三次f e r e t 测试的单位、人脸特征及相似度测量方法。表1 4 列出了参加f r v t 2 0 0 6 测试的公司。这些测试和竞赛从一个侧面展示了人脸识别技术的发 展水平，同时也揭示了人脸识别技术的发展方向。 我国在人脸识别技术研究方面起步较晚，在国际上的影响也较小。目前致力于这方面 研究的主要有微软亚洲研究院、中国科学院计算技术研究所、清华大学、北京大学，南京 大学、南京理工大学等，其它很多高校也有专门的人脸识别小组，但规模较小。可喜的是， 近年来，随着我国在该项目上科研经费投入的逐年增加，我国科研人员取得的研究成果也 不断增加，在国际上高等级的学术刊物和专业会议上发表的论文数也在逐年增多。2 0 0 2 年 1 1 月由中科院计算所承担的“面像检测与识别核心技术这一国家8 6 3 项目通过专家鉴 定，在受控条件下，人脸识别率达到9 6 以上。2 0 0 4 年8 月由清华大学电子系丁晓青教授 领衔开发的人脸识别系统在第1 7 届国际模式识别会议( i c p r 2 0 0 4 ) 组织的人脸认证竞赛 ( f a t 2 0 0 4 ) 上，在所有三个单项的比赛中均获得第一名。2 0 0 6 年4 月，f r v t 2 0 0 6 公布 了在大规模数据库上的测试结果，丁晓青教授研究组的人脸识别系统又在该测评中获国际 领先成绩，在非控制光照条件下计算机人脸识别性能和人眼的人脸识别性能的比较中，清 华的人脸识别系统是唯一一个优于人眼的人脸识别性能的系统，在所有参赛系统中具有最 低的相等错误率，以及在对错误接受率( f a r ) 的要求相对不太高的场合，具有最好的识 别性能，另外在困难的非控制光照条件下的计算机人脸识别测试中，在对f a r 要求相对较 高的场合，清华的人脸识别系统的也能跻身前5 位，同时与最好的系统没有明显的差距。 1 3 人脸识别方法简介 目前，研究人员已经开发出了几十种人脸识别方法，相关的综述文章也很多【7 以7 】。早 期的人脸识别主要利用的是基于部件几何特征的方法和模板匹配法【8 】。2 0 世纪9 0 年代以 后，人们提出了很多新的方法，比如主元分析( p c a ，p r i n c i p a lc o m p o n e n t a n a l y s i s ) 法或 又称为特征脸( e i g e n f a c e ) 法【1 引、f i s h e r 脸( f i s h e r f a c e ) 法【1 9 】、独立主元分析( i c a ，i n d e p e n d e n t c o m p o n e n t a n a l y s i s ) 法1 2 0 ，概率p c a ( p p c a p r o b a b i l i s t i cp c a ) 法【2 l 2 2 1 、弹性图匹配法 ( e g m ，e l a s t i cg r a p hm a t c h i n g ) 【2 3 彩1 等。很多新的数学理论，比如小波变换、神经网络、 浙江工业大学硕士学位论文 支持向量机、h a u s d o r f f 距离以及很多新的模型，比如隐马尔可夫模型( h m m ，h i d d e n m a r k o vm o d e l ) ，主动表象模型( a a m ，a c t i v ea p p e a r a n c em o d e l ) 、三维可变形模型等也 纷纷用于人脸特征的表征、提取和人脸识别。为了解决人脸识别中的光照鲁棒性、表情鲁 棒性和姿势变化鲁棒性等问题，三维人脸识别、多特征融合人脸识别等方法也纷纷被提出。 本文第二章将详细介绍一些与提高光照鲁棒性相关的方法。 1 4 人脸识别系统的组成 一个完整的人脸识别系统如图1 1 所示。首先用摄像机等设备采集包含人脸的原始图 像，然后，利用人脸检测算法从中定位和分割出入脸区域，下一步，对提取的人脸图像进 行一些预处理操作，包括几何特性和光学特性的归一化处理，紧接着，进行特征抽取，并 将得到的人脸特征和训练时得到的保存在目标库中的、类别已知的图像的特征进行比对， 根据相似程度的高低决定最后的识别结果。 有关常用的人脸特征及人脸分类算法我们将在第二章中详述，这里，先简要介绍人脸 检测和人脸图像预处理的一些基本方法。 因一困一国一 特 征 抽 取 图1 - 1 人脸识别系统框图 回 1 4 1 人脸检测 从图1 1 可以看到，人脸检测是人脸识别的第一步，同时，人脸检测在视频编码、视 频会议、人流监控、智能人机交互以及基于内容的图像检索等方面也有广泛的应用，因此， 人脸检测现在已经成为独立于人脸识别之外的另一个热点研究课题。 6 - 浙江工业大学硕士学位论文 m h y a n g 等将人脸检测的含义定义为【2 6 】：任意给定一幅图像，确定其中是否包含人 脸，如果有，则返回每张人脸在图像中的位置及其范围。显然，人脸检测不是一件容易的 事情，因为它和图像中脸的姿势、人的表情、人脸是否被其它东西遮盖、光照变化等因素 都有关系。目前，有关人脸检测的方法很多口7 j ，m h y a n g 等把这些方法分为四类【2 6 】， 即基于知识( k n o w l e d g e b a s e d ) 的方法、不变特征( f e a t u r ei n v a r i a n t ) 法、基于模板 ( t e m p l a t e b a s e d ) 的方法以及基于表象( a p p e a r a n c e b a s e d ) 的方法，表1 5 给出了这四 类方法中的典型代表。 表1 - 5 常用的人脸检测方法【2 6 】 方法代表性工作 基于知识的方法基于多分辨率规则的方法【2 8 】 不变特征法 一人脸及部件特征边缘分组【2 9 1 一纹理人脸模式的空间灰度级依赖矩阵【3 0 】 一肤色混合高斯模型【3 1 】 一多特征肤色、尺寸和形状的组合f 3 2 】 基于模板的方法 一预定于入脸模板形状模板【3 3 1 一可变形模板主动形状模型( a s m ) 【3 4 1 基于表象的方法 一特征脸法本征矢量分解和聚类【1 8 】 一基于分布的方法高斯分布和多层感知器【3 5 】 一神经网络神经网络和仲裁方案【3 6 】 一支持向量机( s v m )多项式核s v m 3 7 l 一空白( n a i v e ) 贝叶斯分类器局部表象和位置的联合概率【3 8 】 一隐马尔可夫模型( h m m ) 采用高阶统计量的h m m 3 9 1 一信息论方法 k u l l b a c k 相对信息【4 0 】 1 4 2 人脸图像预处理“订 该阶段主要进行人脸图像的几何特性和光学特性的归一化处理。 图像几何特性的归一化处理是为了使人脸图像归一化到相同的位置、角度和大小。由 于人的两眼之间的距离对于大多数人来说都是基本相同的【4 2 1 ，因此，两只眼睛的位置常常 被用作人脸图像几何归一化的依据。假设分割得到的人脸图像中两只眼睛的位置分别是局 - 7 - 浙江工业大学硕士学位论文 和e ，( 如图1 - 2 ( a ) 所示) ，则通过下述步骤，可以实现人脸图像的几何归一化： ( 1 ) 进行图像的旋转，以使历和e ，的连线瓦瓦保持水平。这保证了人脸方向的一致 性，体现了人脸在图像平面内的旋转不变性。 ( 2 ) 根据图l - 2 ( a ) 所示的比例关系，进行图像裁剪。该图中点0 为e e 的中点，, 且设d = f 局e ，i 。经过裁剪，在2 d 2 d 的图像内，可保证点o 固定于( 0 5 d ，d ) 处。这保证 了人脸位置的一致性，体现了人脸在图像平面内的平移不变性。 ( 3 ) 进行图像缩小和放大变换，得到统一大小的标准图像。比如，若规定图像的大 小是1 2 8 1 2 8 像素点，也就是使d 2 i 易e _ l 为定长( 6 4 个像素) ，则缩放倍数为2 2 8 。 这保证了人脸大小的一致性，体现了人脸在图像平面内的尺度不变性。 经过上述处理，不仅在一定程度上获得了人脸图像表示的几何不变性，而且还基本上 消除了头发和背景的干扰。有些研究4 3 1 在上述处理的基础上，再用一个椭圆模板进一步消 除头发和背景的干扰。 人脸图像光学特性的归一化主要包括先用直方图均衡化方法对图像灰度做拉伸，以改 善图像的对比度，然后对图像像素灰度值进行归一化处理，即使标准人脸图像的像素灰度 均值为0 、方差为1 。如此可以部分消除光照对识别结果的影响。 一0 一虹 矜d 1 。巨趴蜀 t 二) 1 ： r r 了_ 叫了一 ( a ) 图像裁剪比例示意图( b ) 初始图像 ( c ) 归化图像 图1 - 2 人脸图像的归一化 浙江工业大学硕士学位论文 1 5 人脸图像数据库 国际上很多人脸识别小组都收集了自己的人脸图像数据库，比如f e r e t 人脸库【2 4 4 、 a r 人脸库【4 5 1 、y a l e t 4 6 1 署dy a l e b 人脸库【4 7 l 、b e r n 大学人脸库【4 8 1 、o r l 人脸库 4 9 1 、m i t 人脸 库【1 8 】、x m 2 v t s 人脸库【5 0 1 、b a n c a 人脸库【5 1 1 、u m i s t 人脸库、b i o i d 人脸库、c m up i e 人脸库【5 2 1 、3 d r m a 人脸库等。受国家自然科学基金和“8 6 3 计划的资助，中国科学院计 算技术研究所银晨科技面像识别联合实验室于2 0 0 3 年4 月负责国内第一个大规模中国人 脸图像数据库，即c a s p e a l 人脸数据库【5 3 】。这些库规模各异，且各具特色，成为大家进 行算法性能比较的标准图像库。它们中的多数可以从因特网上免费下载以用于学术研究， 其链接可以从表1 2 中的人脸识别主页和人脸检测主页中找到。这里简要介绍在各种人脸 算法大赛中多次采用的f e r e t 人脸库和本文后面将要用到的a r 库、y a l e 库。 1 5 1f e r e t 人脸库旺1 该人脸库是为了配合人脸识别技术计划( f e r e t ，t h ef a c er e c o g n i t i o nt e c h n o l o g y p r o g r a m ) 由h w e c h s l e r 和p j p h i l l i p s 博士于1 9 9 3 年至1 9 9 6 年期间创建的一个大型人脸 图像库，包含了1 1 9 9 人总共1 4 1 2 6 幅图像。这些图像分布在1 5 6 4 个图像集中，其中1 1 9 9 个是原始图像集，3 6 5 个是备份集，库中图像包含了人的姿势( 从正面图像到侧面图像) 和表情的变化，也体现了光照的变化。 1 5 2a r 人脸库删 该人脸库由美国普渡大学( p u r d u eu n i v e r s i t y ) 计算视觉中心的a m a r t i n e z 和r b e n a v e n t e 于1 9 9 8 年创建，库中总共包含1 2 6 个人( 7 0 男，5 6 女) 的4 0 0 0 多幅彩色图像， 每个人包含了相隔1 4 天拍摄的两组图像。图像是在严格的外部条件控制下拍摄的，但对 参与者头发、穿戴等没有任何限制。每一组中包含了每人在不同表情( 中性表情、微笑、 生气、尖叫) 、不同光照( 左侧光、右侧光、多光) 、戴太阳镜加不同光照( 戴太阳镜加自 然光、戴太阳镜加左侧光、戴太阳镜加右侧光) 以及戴围巾加不同光照( 戴围巾加自然光、 戴围巾加左侧光、戴围巾加右侧光) 等条件和配置下的1 3 张图像。所有图像保存在八张 c d 上，前四张保存第一组图像，后四张保存第二组图像。图像采用单一白色背景，图像 大小为7 6 8 x 5 7 6 。 本文将利用该人脸库前面四张c d 上的部分图像做不同光照和不同表情条件下的人脸 识别实验。 浙江工业大学硕士学位论文 1 5 3 y a l e 人脸库 y a l e 库由p n b e l h u m e u r 等人于1 9 9 7 创建，包含了1 5 个人总共1 6 5 幅灰度图像，每 人包括1 l 幅图像，代表不同光照( 正光、左侧光、右侧光) 、不同表情( 普通表情、愉快、 悲伤、倦怠、惊异和眨眼) 和不同脸部装饰( 戴眼镜和不戴眼镜) 情形。 本文将利用该图像库进行不同光照条件下的人脸识别实验。 1 6 人脸识别技术应用现状 经过十多年的快速发展，人脸识别技术已日趋成熟，相关产品也逐步从实验室走向市 场。根据国际生物认证小组i b g ( i n t e r n a t i o n a lb i o m e t r i eg r o u p ) 的调查【5 4 1 ，2 0 0 7 年国际 生物认证产品的市场总收入约为3 0 亿美元，其中人脸识别产品约占总额的1 2 9 ( 如图 1 3 所示) ，达3 8 7 亿美元。据专家估计，生物识别的市场份额每年将以1 0 0 的惊人速度 迅速发展，到2 0 1 0 年，其销售额将增加到5 7 亿美元，而中国生物识别行业的市场平均增 长率都在6 0 以上【5 5 1 。目前，国外从事人脸识别产品研发的主要有美国的v i i s a g e 、i d e n t i x 、 德国的c o g n i t e cs y s t e m s 以及表l - 4 中列出的其它公司，国内从事人脸识别产品开发的主 要有科达士( 中国) 公司、上海银晨智能识别科技有限公司、深圳科佳智能识别技术有限 公司、南京希创科技有限公司等单位，人脸识别技术在罪犯缉拿、边境口岸出入控制、企 事业单位人员考勤等方面得到越来越广泛的应用，下面是人脸识别系统的一些应用实例： 一2 0 0 2 年c o g n i t e c 公司的人脸识别系统f a e e v a c s 安装在悉尼国际机场。 - 2 0 0 6 年，美国c o g n e t o 公司将c o g n i t e c 公司的人脸识别技术应用于在线银行系统 中。 一 2 0 0 7 年7 月，c o g n i t e c 公司的f a c e v a c s 系统在德国美兹的主要火车站经过为期 四个月的试运行。 2 0 0 6 年英国警察信息技术组织( p i t o ) 与p r e m i e re l e c t r o n i c s 签订了关于安装实时 3 d 入脸识别技术的协议，p r e m i e re l e c t r o n i c s 的a 4v i s i o n a c c e s s3 d 人脸识别系统 作为其总部b i o m e t r i c sd e m o n s t r a t i o n 实验室的门禁系统。 英国和香港的智能身份证都采用了人脸特征作为身份识别的依据。 国际民用航空组织要求其各个成员国将生物特征( 人脸等) 嵌入旅行证件。 中科院计算所开发的人脸识别系统应用于十六大代表签到。 浙江工业大学硕士学位论文 然而，总体而言，目前人脸识别产品还处于试运行阶段。在光照、人脸姿势等可以控 制的场合，产品的识别率较高，而对于象从人流中查找和发现犯罪嫌疑人这种应用，系统 的识别率离人们的期望值还存在较大差距。比如，2 0 0 3 年美国波斯顿l o g a n 机场在其安全 检查点应用i d e n t i x 和v i i s a g e 两个公司的人脸识别系统做防恐实验，在3 个月期间内，总 共正确检测到装扮成恐怖分子的志愿者1 5 3 次，而另有9 6 次却没有检查出来，另外，多 次将平白无故的旅客错识为恐怖分子，由此引起人们的不满；2 0 0 7 年1 1 月联邦警察发布 的测试报告也表明，c o g n i t e c 公司的f a c e v a c s 系统在2 0 0 人的监控表中，总体辨认成绩 仅为6 0 。因此，人脸识别系统要真正投入使用，还有待于其性能的进一步提高。 。m u h i p l ：一b i c o 。m 心e t h t r i 。c 2 m 昏a 2 r k e 7 t i n b t 。y m - t t i o e c n 。h in b i o o m l o 。玎& n k , g 2 0 u p 0 7 8 o z m 舢e t n ? 擀i e s 厂一慨m v e i nr e c o g n i t i o n _ 3 0 v o i c e r e c o g n i t i o n 3 2 9 6 i r i sr e c o g n i t i o n 。5 1 h a n dg e o m e t r y 4 7 、一m i d d l e w a r e 5 4 图1 - 32 0 0 7 年各类生物识别技术的国际市场份额【5 4 】 1