（机械设计及理论专业论文）红外与可见光人脸图像的融合识别算法研究.pdf

大连理工大学博士学位论文 摘要 生物特征识别技术是一种具有高可靠性和高稳定性的身份鉴别技术。在各种生物特 征识别技术中，人脸的识别技术是一项极具有发展潜力的生物特征识别技术，同时也是 计算机视觉与模式识别领域非常活跃的研究课题，它在公共安全、信息安全、金融等领 域具有潜在的应用前景。多模态人脸图像的融合识别，是对多种传感器提供的人脸图像 进行融合处理，结合不同模态图像之间的互补信息以获得更好的识别性能。这种融合技 术既保持了原有人脸识别算法的性能，又能融合多种传感器提供的有效鉴别信息，提高 识别的精度和鲁棒性。因此，这是一个很有前景的研究课题。但是，这一新的领域目前 还只是刚刚起步，有许多问题急需解决。因此迫切需要开展广泛深入的基础理论和技术 的研究工作。 本文在己有红外与可见光人脸图像融合识别研究成果的基础上，从特征层和分值匹 配层上对人脸多模态融合识别技术进行了探讨和研究。论文的主要研究工作和成果包括 以下几个主要方面的内容： l 、提出了一种基于f i s h e r 线性鉴别的典型相关分析的多模态人脸融合识别算法 从f i s h e r 线性鉴别分析和典型相关分析的思想出发，提出一种针对多模态信息在特 征层上抽取新鉴别特征用于模式分类算法，称为基于f i s h e r 线性鉴别的典型相关分析 ( f i s h e rl i n e a rd i s c r i m i n a n tb a s e dc a n o n i c a lc o r r e l a t i o na n a l y s i s ，简称f l d a + c c a ) 。给 出了将f l d a 和c c a 用于模式识别的理论框架。算法依据f l d a 的判据准则函数分别 抽取两组模式的特征矢量，再根据c c a 思想建立描述两组特征矢量之间相关性的判据 准则函数，依据此准则求取两组典型投影矢量集，通过给定的特征融合策略抽取组合特 征用于模式分类。解决了当模式构成的总体协方差矩阵奇异时，f l d a 投影矢量集的求 解问题，使之适合于高维小样本的情形，推广了算法的适用范围。新算法对两组信息先 降维聚类后建立相关融合的做法，既消除了模态内的冗余信息，又建立了不同模态信息 之间的相关联系，达到信息互补的目的，为融合两组模态信息用于分类识别提供了新的 途径。实验表明该算法能有效的提高识别率。 2 、提出一种多模态人脸非均匀局部特征融合算法 局部特征抽取方法是从原始数字图像出发，先对图像进行分块，再对分块得到的子 图像矩阵使用线性鉴别分析方法抽取模式特征，它是全局线性鉴别分析方法的推广。由 于人脸图像内不同区域信息的鉴别能力不同，原先的均匀分块方法不能有效的反映面部 鉴别信息的分布情况。为了抽取更具鉴别意义的局部特征，本文采用遗传算法从人脸图 像中优选出取具有较多鉴别信息的子图像区域作为特征抽取的基础；抽取局部特征结合 红外与可见光人脸图像的融合识别算法研究 全局特征用于模式分类。新算法在红外和可见光人脸融合识别实验中表现出很好的识别 性能。 3 、设计提出一种融合多模态人脸信息的双阈值分类器 受d e m p s t e r - s h a f e r 证据理论思想的启发，针对分值匹配层的多模态人脸信息融合 问题，设计提出一种融合多模态人脸信息的双阈值分类器( t w o t h r e s h o l dc l a s s i f i e r ，简 称2 t c ) 。分类器根据n e y m a n p e a r s o n 准则和样本在模式空间内的分布特性秉承d s 理 论思想将模式空间划分为样本类别确定区域和不确定区域；对不确定类别的区域内样本 采用f i s h e r 线性判别准则分类。双阈值分类器根据样本在模式空间中所处的不同位置， 依次采用不同的分类策略进行类别区分，有效的降低了错误分类事件的发生率，提高了 正确识别率。在n d h i d 和e q u i n o x 人脸数据库上的实验证明了新分类器的有效性。 关键词：人脸识别；多模态；红外；可见光；融合 大连理工大学博士学位论文 r e s e a r c ho nf u s i o na p p r o a c h e so ff a c er e c o g n i t i o nw i t hi n f r a r e da n d v i s i b l ei m a g e r y a b s t r a c t b i o m e t r i ct e c h n o l o g yp r o v i d e sah i g h l yr e l i a b l ea n dr o b u s ta p p r o a c ht ot h ep e r s o n a l v e r i f i c a t i o n a m o n ga l lk i n d so fb i o m e t r i ct e c h n o l o g i e s ，f a c er e c o g n i t i o ni sab i o m e t r i c t e c h n o l o g yp o s s e s s i n gg r e a ta p p l i c a t i o np o t e n t i a la n di ti sa l s ot h eo n eo ft h em o s ta c t i v ea n d c h a l l e n g i n gt a s k sf o rc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n i th a sag r e a ta m o u n to f p o t e n t i a la p p l i c a t i o n si np u b l i cs e c u r i t y ，l a we n f o r c e m e n t , i n f o r m a t i o ns e c u r i t y ，a n df i n a n c i a l s e c u r i t y m u l t i m o d a li m a g ef u s i o nf o rf a c er e c o g n i t i o ni st h et e c h n i q u et h a ti n t e g r a t e s c o m p l e m e n t a r ya n dr e d u n d a n ti n f o r m a t i o no ff a c ei m a g e sp r o v i d e db ym u l t i s e n s o r st o a c h i e v eb e t t e rr e c o g n i t i o nr e s u l t n o to n l yd o e st h et e c h n i q u ek e e pt h ei n t r i n s i ca d v a n t a g e so f a p p r o a c h e sf o rf a c er e c o g n i t i o n , b u tf u s eu s e f u ld i s c r i m i n a n ti n f o r m a t i o nf r o mm u l t i - s e n s o r s ， w h i c hc a l la c h i e v em o r ea c c u r a t ea n dr o b u s tr e c o g n i t i o np e r f o r m a n c e h o w e v e r ，t h e r ea r es t i l l l o t so ft h e o r e t i c a la n dt e c h n i c a lp r o b l e m sn e e d e dt ob es o l v e di nt h i sf i e l d t h i sd i s s e r t a t i o nm a i n l ys t u d i e st h ea p p r o a c h e so fm u l t i m o d a li m a g ef u s i o nr e c o g n i t i o n o nf e a t u r ea n dm a t c h i n gs c o r el e v e lb a s e do nt h ee x i s t e dt h e o r i e so ni n f r a r e da n dv i s i b l e i m a g ef u s i o nf o rf a c er e c o g n i t i o n t h em a i nw o r ka n dc o n t r i b u t i o n so ft h ed i s s e r t a t i o na r ea s f o l l o w s ： ( 1 ) r e s e a r c ho nt h em u l t i m o d a lf a c ef u s i o na l g o r i t h m sb a s e df i s h e rl i n e a rd i s c r i m i n a n t a n a l y s i sa n dc a n o n i c a lc o r r e l a t i o na n a l y s i s o nt h eb a s i so ft h ei d e a so ff i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ( f l d a ) a n dc a n o n i c a l c o r r e l a t i o na n a l y s i s ( c c a ) ，t h ep a p e rp r o p o s e saf u s i o nm e t h o do nf e a t u r el e v e lo fp a t t e m c l a s s i f i c a t i o no nm u l t i m o d a li n f o r m a t i o n ，c a l l e df i s h e rl i n e a rd i s c r i m i n a n tb a s e dc a n o n i c a l c o r r e l a t i o na n a l y s i s ( f l d a + c c a ) t h ef r a m e w o r ko fp a t t e r nr e c o g n i t i o nt oc o m b i n ef l d a a n dc c ai sp r e s e n t e d t h ep r o p o s e dm e t h o de x t r a c t sf e a t u r ev e c t o r sa c c o r d i n gt of i s h e r e v a l u a t i o nc r i t e r i o nf r o mt w op a t t e r n s ，r e s p e c t i v e l y b a s e do nt h ei d e ao fc c at h em e t h o d e s t a b l i s h e st h ec o r r e l a t i o nc r i t e r i o nf u n c t i o nb e t w e e nt h et w og r o u p so ff e a t u r ev e c t o r sa n d e x t r a c t st h e i rc a n o n i c a lc o r r e l a t i o nf e a t u r e st of o r me f f e c t i v ed i s c r i m i n a n tv e c t o rf o r r e c o g n i t i o n t h ep r o b l e mo ff l d ap r o j e c t i o nv e c t o r si sa v o i d e dw h e nt o t a ls c a t t e rm a t r i x e s a r es i n g u l a r , s u c ht h a ti tf i t sf o rt h ec a s eo fh i g h - d i m e n s i o n a ls p a c ea n ds m a l ls a m p l es i z e ，i n t h i ss e n s e ，t h ea p p l i c a b l er a n g eo ff l d a + c c ai se x t e n d e d t h en e wm e t h o df i r s tr e d u c e s d i m e n s i o no ft h et w om o d a l s ，也e nb u i l d sac o r r e l a t i o nb e t w e e nt h e m ，w h i c hn o to n l y i i i 红外与可见光人脸图像的融合识别算法研究 e l i m i n a t e sr e d u n d a n ti n f o r m a t i o nb u tc o n s t r u c t st h er e l a t i o i la m o n gd i f f e r e n tm o d a l s ，t h a t e f f e c t i v e l ye m p l o y sc o m p l e m e n t a r yi n f o r m a t i o nt of u s et w og r o u p so fd a t af o rc l a s s i f i c a t i o n e x p e r i m e n tr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e dm e t h o dy i e l d sb e t t e rr e c o g n i t i o nm t e ( 2 ) p r o p o s ea l la l g o r i t h mo fm u l t i m o d a lf a c er e c o g n i t i o nt h a tf u s i n gn o n u n i f o r m c o m p o n e n tf e a t u r e s i nt h ep r o p o s e da p p r o a c h , t h eo r i g i n a li m a g e sa r ef i r s t l yd i v i d e di n t om o d u l a ri m a g e s ， a n dt h e np a t t e mf e a t u r e sa r ee x t r a c t e db yl i n e a rd i s c r i m i n a n tm e t h o df r o ms u b i m a g e s ，w h i c h e x t e n d st h ea p p l i c a b l er a n g eo fl i n e a rd i s c r i m i n a n tm e t h o d s i n c ed i f f e r e n tf a c i a la r e a s c o n t a i nv a r i o u s l yd i s c r i m i n a n ti n f o r m a t i o n , a v e r a g ef a c i a lr e g i o n sd o e sn o te f f e c t i v e l yr e f l e c t t h ed i s t r i b u t i o no fd i s c r i m i n a n ti n f o r m a t i o n i no r d e rt oe x t r a c tb e t t e rd i s c r i m i n a n tl o c a l f e a t u r e s ，t h ep a p e re m p l o y sg e n e t i ca l g o r i t h mt oo p t i m i z el o c a lf a c i a lr e g i o nf o rf e a t u r e e x t r a c t i o n , t h e nc o m b i n eh o l i s t i ca n dl o c a lf e a t u r e sf o rp a r e r nc l a s s i f i c a t i o n e x p e r i m e n t r e s u l t so ff u s i o nr e c o g n i t i o no ni n f r a r e da n dv i s i b l ef a c ei m a g e ss h o wg o o dr e c o g n i t i o n p e r f o r m a n c e ( 3 ) d e s i g nat w o t h r e s h o l dc l a s s i f i e rf o rf u s i o no fm u l t i m o d a lf a c ei n f o r m a t i o n e n l i g h t e n e db yd e m p s t e r - s h a f e re v i d e n c et h e o r y ，t h ep a p e rp r e s e n t sat w o - t h r e s h o l d c l a s s i f i e r ( 2 t c ) t oh a n d l em u l t i m o d a li n f o r m a t i o nf u s i o no i lm a t c h i n gs c o r el e v e l b a s e do n e l m m c t e r i s t i c so fs a m p l e si np a t t e ms p a c ea n dn e y m a n p e a r s o nc r i t e r i o n ，t w o t h r e s h o l d c l a s s i f i e r , w h i c hi sd e r i v e df r o mt h ei d e ao fd e m p s t e r - s h a f e rt h e o r y ，d e v i d e sp a t t e r ns p a c e i n t oc e r t a i na n du n c e r t a i nr e g i o n f i s h e rl i n e a rd i s c r i m i n a n tc r i t e r i o ni se m p l o y e dt oc l a s s i f y s a m p l e si nt h eu n c e r t a i na r e a t h ep r o p o s e da p p r o a c hu t i l i z e s d i f f e r e n tr o l e sf o rs a m p l e c l a s s i f i c a t i o nb a s e do nt h ed i f f e r e n tl o c a t i o n so fs a m p l e si nt h ep a t t e r ns p a c e ，w h i c h e f f e c t i v e l yd e c r e a s e sc l a s s i f i c a t i o ne r r o ra n di n c r e a s e sr e c o g n i t i o nr a t e e x p e r i m e n t a lr e s u l t s o nn d h i da n de q u i n o xf a c ed a t a b a s es h o wt h a tn e wm e t h o da c h i e v e sg o o dp e r f o r m a n c e k e yw o r d s ：f a c er e c o g n i t i o n ；m u l t i m o d a l ；i n f r a r e d ；v i s i b l e ；f u s i o n i v 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 作者签名： 红外与可见光人脸图像的融合识别算法研究 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 钮趴、5 丐必专人睑圈 豪豌今讽善- ) 荨f 对鼍 日期：兰立二让月笪日 日期：丝年上月华日 大连理工大学博士学位论文 1 绪论 进入二十一世纪信息时代以来，在工作和商业活动频繁信息交换中，人们几乎每时 每刻都要使用智能卡、身份证、密码等来证明自己的身份，而这些身份标识物品和信息 特别容易被遗失和遗忘；与此同时，科学技术的飞速发展使得盗用他人身份谋取非法利 益也变得越来越容易，例如伪造钥匙、证件、印鉴，窃取银行卡号、网上用户名和密码 等，这些问题给人们的生活和工作都带了极大的不便和困扰。在美国，每年约有上亿美元 的福利款被人以假冒的身份领取；据v i s a 和万事达信用卡协会的统计表明，全球每年 涉及信用卡、移动电话和取款机诈骗案的价值至少有4 5 亿美元；由于使用盗窃来的身 份识别码( p i n ) ，造成移动电话通讯的损失高达1 0 亿美元。以上问题说明利用传统方法来 确认个人身份的技术，不仅面临着严峻的挑战，而且越来越不适应现代技术的发展和社 会进步的需要。现代社会需要一种可以对人一对一绑定，不易复制和遗忘的新的身份认 证技术，于是，生物特征识别技术应运而生。 1 1 生物特征识别技术 生物特征识别技术是为了进行身份验证而采用自动技术检测其物理的特征或是个 人的行为特点，并将这些特征或特点与数据库的模板数据进行比较，完成认证的一种解 决方案。由于人的生物特征是唯一的，它具有难于伪造，随身携带和不易改变的优点， 因此采用人们自身具有的( 如脸、指纹、声音) 方式验证身份远比采用人们所拥有的( 如 钥匙和身份证) 和人们所知道的( 如用户名和密码) 来验证身份更加可靠和方便。微软公 司前董事长比尔盖茨曾做过这样的断言：“生物特征识别技术，利用人的生理特征来识 别个人的身份，将成为未来几年i t 产业的重要革新。”专家们也一致认为生物特征身份 确认技术将彻底改变人们现有的生活方式和商业模式【l 】。生物特征识别技术的基本工作 就是对这些基本的、可测量或可自动识别和验证的生物特证进行统计分析。 1 1 1 生物特征识别技术的分类 一般说来，人类的生物特征可分为身体特征和行为特征两类。身体特征包括脸像、 指纹、掌纹、视网膜、虹膜、人体气味、皮肤毛孔、血管纹路和d n a 等；行为特征包括 签名、语音、行走的步态、击打键盘的力度等。 被选取用于身份识别的生物特征一般应具有下面的一些性质【2 】： ( 1 ) 普遍性：即任何人都具有这一特征； ( 2 ) 唯一性：不同人的这一特征各不相同； ( 3 ) 稳定性：这种特征不随时间、外界环境等的变化发生改变； 红外与可见光人脸图像的融合识别算法研究 ( 4 ) 方便性：所选特征便于测量，无需繁琐工序； ( 5 ) 准确性：这种特征不易仿造、窃取； ( 6 ) 可接受性：用这种特征进行人体身份识别可以被人们接受和认可。 目前人们较多研究和使用的身体特征有脸像、指纹、掌纹、虹膜等；行为特征有步 态、声音、签字等。基于这些生物特征，人们已经逐步开发出人脸识别、指纹识别、掌 纹识别、虹膜识别、步态识别、语音识别、签名识别等多种生物特征识别技术。这些技 术借助于计算机技术实现，配合计算机和安全、监控、管理系统的整合，在海关、机场、 银行、互联网等众多需要身份认证的场所发挥着举足轻重的作用。 1 1 2 生物特征识别技术性能比较 从实际操作的角度来说，一种合适的生物特征通常包括：可被精确的测量、采集速 度快、公众可以接受、较高的可信度、比对速度快、较好的防伪性、可以接受的存储设 备要求等。其性能包括识别准确率、识别速度、系统鲁棒性、系统所需资源和影响系统 性能的因素等。综合以上要求，下面就常见的几种生物特征身份认证技术进行横向比较， 如表1 1 所示。 表1 1 几种生物特征身份认证技术的比较【2 】 t a b 1 1c o m p a r i s o no f s o m eb i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g i e sf 2 】 由表1 1 可以看出，每种生物特征识别技术都存在自己的缺陷和不足，很难找到一 种识别技术，其各项指标都优于其他技术。因此应该视应用场合不同，而采用不同的识 别技术。但是，由于每种生物特征识别技术都存在某种缺陷，生物特征识别技术的大范 围应用必然是几种生物特征识别技术的综合应用。随着对社会安全和身份鉴别的准确性 和可靠性要求的日益提高，多模态生物特征识别( m u l t i m o d a lb i o m e t r i c s ) 的研究与 应用提供了一个更加准确与可靠的解决方案【3 】，如语音与人脸结合组成一个多特征识别 系统；人脸与虹膜结合的认证系统：人脸、指纹、掌纹三种特征的融合决策等。 2 大连理工太学博士学位论文 i13 生物特征识别技术发展前景 自从9 i 1 恐怖事件之后，随着安全意识的加强，人们对生物特征识别技术产生了 巨太的兴趣，使得这项技术也具有巨大的市场潜力。以美国为首的西方世界各国都将生 物特征识别技术作为关系国家未来安全的重大关键技术加以扶持，大大加强了对生物特 征识别技术的发展力度。美国连续发布3 个相关的法案( 爱国者法案、边境签证法案、航 空安全法案) 强调在边检、执法、民用航空等领域应用生物特征识别技术，并立法要求 在2 0 0 4 年1 0 月以前在护照上加上生物特征识别技术。2 ( 0 3 年5 月国际民用航空组织 ( i c a o ) 发布的规划中，建议其1 8 8 个成员国在护照中应用生物特征识别技术，并在进 入各个国家的边境时进行个人身份的确认。目前此规划己在美国、欧盟、澳大利亚等 国家和地区推广实施，大部分西方国家已经立法支持i c o 的规划。 国际生物特征组织i b g 也对生物特征识别技术作了详细的市场分析和预测。图1 1 是 i b g 亍 2 0 0 8 年l i 月1 2 日发布的对生物特征识别市场未来5 年总收入的预测图。产业界预测 表明整个生物特征识别市场会继续增长，总收入将l 2 0 0 9 年的3 42 亿美元增长至1 2 0 1 4 年 的9 37 亿美元。中国正成为继美国、日本之后最具潜力的发展中市场，预计未来5 年内， 生物特征识别技术市场收入将达到1 3 0 ( 亿元人民币。生物特征识别的发展方兴未艾，随 着识荆技术的不断完善，逐渐取代传统的身份认证方法将是不可逆转的潮流。在市场配 额方面，报告指出指纹依然占据最多份额( 4 5 9 ) ，其次是人脸占1 85 ，虹膜占83 ， 如图1 2 所示。 “”e 。t r i c t n d 。u 。s t 。rv r e ”：裟! ! 爱叫”“o c 口口 _ en t 0 1 0 口0 1 n - r m l o * “a - 口_ e t 一 图1l 全球生物特征识g 技术市场分析：2 0 0 9 - 2 0 1 4 t 4 1 f i 9 1 3f o n a s to f g l o l m b i o m c u l c 目2 0 0 9 2 c 4 m 红外与可见光人脸图像的融合识别算法研究 。鼍然嚣燃出侧恐? ” “”嚣“m 鼍。，。镬：i 缮i ”“ 翟。，。鬻滋鼹二善i 囝122 0 0 9 年生物特征识别技术的市场份额w f k l 2 b i o m e r f i cr e v e u u e s b y t h n o l o g y2 0 0 1 2 人脸识别技术 人脸识别可以说是人们日常生活中最常用的身份确认手段，也是当前最热门的模式 识别研究课题之一。与其他生物特征识别技术相比，人脸识别具有其独特的技术优势 主要体现在以下几个方面：( 1 ) 隐蔽操作性强，不需要被动配合，适用于安全监控。这 一特点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这也是指纹、虹 膜、视网膜等其他人体生物特征识别技术不能比拟的；( 2 ) 非接触式采集，没有侵犯性， 容易被接受。因此，不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯， 容易被大多数的用户接受；( 3 ) 具有方便、快捷、强大的事后追踪能力基于面像的身 份认证系统可以在事件发生的同时记录井保存当事人的面像。从而可以确保系统具有良 好的事后追踪能力；( 4 ) 图像采集设备成本低。目前，中低档的u s bc c d c m o s 摄像头 价格已经非常低廉，基本成为标准的外设，极大的扩展了其实用空间；另外，数码相机、 数码摄像机和照片扫描仪等摄像设备在普通家庭的日益普及进一步增加了其可用性。 121 人脸识别的研究内容 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采 集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通 过人脸进行身份确认或者身份查找的技术或系统。就其研究范围而言，人脸识别一般包 括以下五个方面m 】： ( 1 ) 人脸检测【f a c e d e t e c t i o n ) ：即从各种不同的场景中检测出人脸的位置。光照、图 像噪声、姿态变化、复杂背景以及各种各样的遮挡等都影响检测的准确性； ( 2 ) 人脸表征f f e r e p r e s e n t a t i o n ) ：即采取某种表示方式来表示检测出的人脸和数 据库中的已知人脸，良好的特征表达可使分类器具有良好的识别性能； 大连理工大学博士学位论文 ( 3 ) 人脸鉴g ( f a c e i d 衄t i f i c a f i o i l ) ：即将待识别的人脸与人脸库中已知人脸比较，确 定其身份。这个过程核心是选择适当的人脸表征方式与匹配： ( 4 ) 表情姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) ：b b 对待识别人脸的表情或姿态信息 进行分析，并对其加阻归类； ( 5 ) 生理分类( p b y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分析，得出 其年龄、性别等相关信息。 由于研究的侧重点不同，上述五方而的研究内容都己演变成为独立的研究方向。本 文所指的人脸识别系统由三部分组成：人脸检测、特征提取和人脸鉴别。图l3 所示为一 个典犁的凡胎识别处理过程： 董。 鹰l 二崮圈窘嘲凄廖i 红外与可见光人脸图像的融合识别算法研究 大的变化，同一人在不同的光照条件下的图像之间的差别甚至大于不同人的图像之间的 差别。如图l5 所示为c a s p e a l 人脸数据库中同一人在不同光照条件下取得的图像。 圜麓匐陵j 冒 ( 种帕)( c )( d )( e ) 图1 5c s 呻e l 脸数据库中部分图像示例【l l 】 f i g 1 ss a m p l e i m a g e s i n c a , q - p e a l 扭b w e ( 3 ) 年龄跨度。随着年龄的增长，人脸的相貌特征会发生一些变化，如皱纹的增加， 皮肤的老化，肌肉的松弛，毛发的减少，这些都会引起人脸图像模式的变化； ( 4 ) 表情。人脸是非刚性生物体，面部表情的变化会直接导致成像结果的改变。因 此，当人脸的表情拉生变化时，人脸图像的模式也会随之发生变化。如图1 6 所示为从 j a f f e 人脸数据库中选取的一些表情不同的图像样本。 镇囔i 镬“譬毯磨! ! 佼叁 9 愈参qq2 自 刿i6j , ”f 8 人脸数据厍中的部分例像示例”4 f i g1 6s a m p l e “a g e s i n m e d a t a b m ” 像的模式。如 旧恻 大连理工大学博士学位论文 1 2 3 人脸识别系统性能评价指标 目前，人脸识别系统性能评价的主要指标是识别精度和处理时间。人脸识别系统处 理的识别问题一般分为身份验证( v e r i f i c a t i o n ) 和身份鉴别( i d e m i 丘c a t i o n ) 两类【5 6 j 。当处理 身份验证问题时，被测试者提供自己的图像和身份声明给人脸识别系统，验证系统通过 将被测试者提供的图像与系统存储的被测试者所声明的身份相对应的人脸图像，根据比 较结果来接受或者拒绝被测试者的声明，此类问题称为1 ：1 匹配问题。当处理身份鉴别 问题时，识别的任务是比较被测试者提供的图像与系统人脸库中所有的人脸图像，找出 相似度最高的图像来完成对测试图像的识别，身份鉴别为l ：n 匹配问题。除此之外，在 美国标准与技术研究院组织的2 0 0 2 年人脸识别厂商比赛f v r t 2 0 0 2 ( f a c er e c o g n i t i o n v e c t o rt e s t2 0 0 2 ) 中还增加了第三类识别问题，称为“列表监控( w a t c hl i s t ) ”u4 。监 控同时具有验证和鉴别功能，回答“这是否为在列表中的人? ( a r ey o ul o o k i n gf o r m e ? ) ，将被测试对象与在系统监控列入监控名单对象作对比。测试图像与系统监控数据 库中每一张图像进行比较得出相似度，然后将相似度按照数值大小从大到小排列，这样 相似度最大的将排在第一位。如果相似度高于一个预先给定的阈值，就产生一个警告。 如果产生了警告，系统就认为被测试个体在监控数据库中存在。 1 2 3 1 误拒率( f a is or e j o c tio nr a t e ) 和误识率( f als oa c c e p t a n c er a t e ) 评价身份验证识别系统有两个重要的统计性能指标：误拒率( f r r ) 和误识率( f a r ) ， 误拒率是同一个人被系统误判为不同人因而被拒绝的概率，误识率是指不同人被系统误 认为同一人因而被接受的概率。对于理想的系统，这两个错误率都应该是零，但实际上， 这两个指标很难实现为零。对既定系统，此两项指标是互相关联的，它们之问的关系可 用r o e 曲线( r e c e i v e ro p e r a t i n gc u r v e ) 表示( 如图1 8 中a ) ，它是以f a r 为横坐标，对 应f r r 为纵坐标；或者将( 1 - f r r ) 作为纵坐标，此时纵坐标所对应的数值表示识别率( 如 图1 8 中b ) ：有时，为了更准确的比较分析不同算法的性能，将横坐标f a r 采用指数形式 表示( 如图1 8 中c ) 。r o c 曲线综合反映了一个系统的性能，可以将r o c 曲线与两坐标轴 围成的面积作为衡量系统识别性能的指标。一般将f r r 和f a r 相等时的错误率称为等错 误率e e r ( e q u a le r r o rr a t e ) ，有时也简单地取e e r 作为衡量人脸验证系统精度的单一 指标。 1 2 3 2 累积匹配特性曲线( c u m u l a t i v em a t c hc h a r a c t e r is t ；c ，c m c ) 身份鉴别匹配的性能通常用c i v i c 曲线度量。如果让人脸识别系统在一个大型的人脸 数据库中一次找出正确的对象，那么错误率可能会很高；如果允许识别系统在累计为给 定次数内找到正确对象，或一次找出的若干个最相似对象中包含有正确对象，那么结果 正确的概率就会增加。c m c 曲线( 如图l - 8 中d ) 反映了系统返回最相似对象的个数与包 7 红外与可见光人脸图像的融合识别算法研究 含正确匹配对象正确率的关系，其横坐标为按相似度排名返回的个数，纵坐标为测试者 的正确包含在识别系统提供的n 位最相似的候选者中的概率。通常以测试者的正确身份 包含在识别系统提供的首位最相似的候选者中的概率作为衡量人脸鉴别系统对身份鉴 别准确性的重要指标，称之为首选识别率。 1 2 3 3 速度 人脸识别系统注册和识别的过程总的是希望尽可能地快，尤其是实时检测识别的在 线人脸识别系统的处理时间应限制在1 - - - 2 秒以内，对于要在海量特大型人脸库上进行的 匹配识别操作，其运算速度也有较高的要求。 ! 迄 算法二 误识率 ( a ) r o c 曲线 n 0 9 0 皓 瓣 礤0 8 07 5 0 7 0 笛 a 6 f 算法二 0n 0 00 3o o 5n 6a 70 80 9 1 误识牵 ( b ) r o c 曲线 # w 误识辜 名改 ( c ) r o c 曲线( d ) c m c 曲线 图1 8 人脸识别系统性能的评价曲线 f i g 1 8e v a l u a t i o nc u r v e sf o r t h ep e r f o r m a n c eo ff a c er e c o g n i t i o ns y s t e m 1 3 多生物特征融合识别 随着对社会安全和身份鉴别的准确性和可靠性要求的日益提高，单一的生物特征识 别已远远不能满足社会的需要，进而阻碍了该领域更广泛的应用。由于没有任何一个单 一的生物特征识别系统足够精确和可靠，因此多特征识别系统的出现是一个较好的策 8 大连理工大学博士学位论文 略。利用多种生物特征融合的识别技术正是利用了每种生物特征之间的补充信息，在识 别系统特征提取、模型匹配或决策阶段按照一定的策略对各种特征数据进行融合，集成 多个信息得到最终的身份判决结果，提高鉴别准确度。同样，对同一特征应用不同处理 方法也可归于多模态识别的范畴。随着社会需求的不断增加，多模态生物识别 ( m u l t i m o d a lb i o m e t r i c s ) 的研究与应用逐渐增多和深入。基于多生物特征融合来进行身份 鉴别的优点主要有以下几方面【l5 】： ( 1 ) 可靠性更高：使用多种生物特征融合进行身份识别从本质上说是信息融合的问 题，通过对不同类型的数据进行融合可以提高系统的性能和容错能力、减少噪音等不确 定因素的影响。而且，多生物特征融合系统可以比单一生物特征的身份识别系统达到更 高的准确率。 ( 2 ) 适用性更广：尽管用来进行身份识别的生物特征具有普遍性，但是对于任何一 种生物特征，都可能存在一些人，他们的该生物特征不明显( 例如，有5 左右的人群的 指纹很难提取出有效特征) 从而基于该特征的身份识别系统对这些人不适用。使用多生 物特征融合系统就可以使身份识别系统应用于更多的人。 ( 3 ) 安全性更强：对于冒充者来说，一次伪造多个生物特征显然比伪造一个特征要 困难得多，因此多生物特征融合识别系统具有更强的安全性能。 多生物特征与信息融合是紧密相关的。按照融合系统中数据抽象的层次，融合可划 分为四个层次：传感器层、特征层、分值匹配层和决策层【1 6 ，1 7 】。如图1 9 所示。 薹罐i 群：i 一i i l = = = =l = = 二= il = = = = = l 二，l i 一竺：卜囊h 笾! f 叫竺卜h 二鲁一| 吨圄书蔓睁 丑十汗| f i g 1 9d i f f e r e n tl e v e l so f f u s i o n ：s e n s o rl e v e l ，f e a t u r el e v e l ，m a t c h i n gs c o r el e v e l ，a n dd e c i s i o nl e v e l 【1 8 】 9 红外与可见光人脸图像的融合识别算法研究 ( 1 ) 传感器层融合 传感器层融合，又称为数据层融合，它是最底层的融合，直接对传感器的观测数据 进行融合处理，然后基于融合后的结果进行特征提取和判别决策。这种融合处理的方法 的主要优点是：只有较少数据量的损失，并能提供其他融合层次所不能提供的其他细微 信息，所以精度最高。它的局限性包括： 所