（电路与系统专业论文）基于多光谱图像融合的人脸识别方法研究[电路与系统专业优秀论文].pdf

摘要 摘要 人脸识别技术在身份认证、安全监测、智能人机交互等领域有广泛的应用。 目前大多数人脸识别系统使用可见光图像进行人脸识别，其识别性能容易受到光 照变化的影响，在户外、昏暗光照以及非均匀照明条件下，其正确识别率会大大 降低。同时基于可见光光谱的人脸识别对于伪装脸的识别也有困难。而利用热红 外人脸图像进行人脸识别可以克服现有识别系统易受光照变化影响的缺点。但是， 由于热红外线不能穿透玻璃，如果待识别对象戴有眼镜，在热红外图像中眼镜将 呈现出墨镜的效果，使对人脸识别超重要作用的眼部信息全部丢失，而这些特征 都是对识别有用的重要特征，将严重影响人脸识别性能。本文研究如何利用可见 光和热红外图像融合技术来提高人脸识别系统的整体识别性能。 本文提出了一种基于小波变换的像素级图像融合方法，该方法对小波变换后 的可见光和热红外人脸图像采用了一种新的融合规则，对低频子带图像采用加权 平均和图像锐化相结合的融合方法：对高频子带图像采用了双闽值融合处理，保 留原始图像中的主要信息，滤除其中的噪声和对人脸识别贡献极小的细节信息。 为了评估所提出的融合算法，本文对可见光、热红外以及融合图像的人脸识别性 能做了比较分析，使用四种客观融合图像评价指标和人脸识别率对所提出的融合 算法进行了评价。实验结果表明本文提出的融合算法的性能优于平均融合算法、 基于拉普拉斯塔型分解的融合算法和基于局部能量信息的小波融合算法。 本文对基于决策融合的人脸识别方法进行了研究，将有关可见光和红外图像 识别的先验知识应用在决策融合过程中。首先将测试图像与可见光图库和红外图 库分别进行识别，然后在两个识别结果中二选一作为决策融合结果。如果测试图 像戴有眼镜，则总是选择可见光图像的识别结果。如果测试图像不戴眼镜，当测 试图像与可见光图像库和红外图像库之间的最小距离相同时，选择红外图像识别 结果：否则选择两者之中距离最小的识别结果。实验结果表明该决策融合方法的 人脸识别性能优于单独的可见光和热红外图像人脸识别方法。 关键词：人脸识别图像融合决策融合小波变换评价指标 a b s t r a c t a b s 缸a c t f a c e r e c o g n i t i o nt e c h n o l o g yh a sf b u n dw i d ea p p l i c a t i o n s s u c ha sh 呲a i l i d e m i f i c a t i o n ，s e c u r i t ys u r v e i l l a i l c e ，i m e l l i g e mh u m a nm a c h i n ci n 把r f a c e ，e t c h o w e v e r f a c er e c o g l l i t i o nb a s e do n l yo nm ev i s u a ll i g h ts p e c 帆mh 船s h o 、v i ld i 塌c u i t i e si n p e f f b 蕊i n gf c o n s i s t e n t l y u n d e fu n c o n t r o n e do p e r a 蛀n gc o n d i t i o n s f a c e r e c o g n i t i o n a c c l l r a c yd e g r a d e sq u i c u yw h e nt h el i g h t i n gi sd i mo rn o tu n i f o m t h eu s eo ft h e 咖a l i n f h r e d ( i r )i m a g e s c a ni m p m v et h e p e r f o r m a n c eo f f a c er e c o g n i t i o nu n d e r u n c o n t r o l i e di l l u m i n a t i o nc o n d i t i o n s b u te y e g l a s s e sm a yr e s u l ti n1 0 s so fu s e f u l i n f o m l a t i o na r o u n dt 1 1 ee y e si nt h e r m a lf a c ei m a g e ss i n c eg l a s sm a t e r i a lb l o c k sal a 曙e p o r t i o no ft h e r m a le n e r gy w h i c ha r ei m p o n a n tf e a t u r e sf o rr e c o g n i t i o n t h i sp a p e r s t u d i e st h em e t h o d o l o g yo ff l j s i o nv i s u a ll i g h ta n dt h e r m a li m a g e sf o ri m p r o v i n gt h e p e r f o r m a n c eo ff a c er e c o g n i t i o ns y s t e m i n t h i sp a p e r an e wp i x e l l e v e lv i s u a il i g h ta n dt h e i m a li ri m a g ef u s i o nm e t h o di n t h ew a v e l e td o m a i ni s p r o p o s e d 士1 0 re n h a n c i n gr o b u s t n e s s o ft a c e r e c o g n i t i o n ，b y e x p l o i t i n gt h er c l a t i v e l yi o w e rs e n s i t i v i t yo fv i s i b l ei m a g e r yt oo c c i u s i o n sb ye y e g l a s s e s t h el o wf e q u e n c yc o e f f i c i e n tv i s u a ll i g h ta n d 己i m a g e sa r ec o m b i n e dw i t hw e j g h t e d a v e r a g i n ga n da r es h a r p e n e d t h eh i 曲雠q u e n c yc o e 蚯c i e n ti m a g e s a r ed o u b l e t h r e s h o l d e da n dt h e nc o m b i n e d ，w h i c hn o to n l yp r e s e r v e sm o s ts i g n i f i c a n ti n f o m l a t i o n o f o r i g i n a l i m a g e sb u ta i s or e m o v e st h en o j s ea 1 1 du s e l e s sd e t a i l sf o rf a c er e c o g n i t i o n t b e v a l u a t ea n dc o m p a r ct l l e p r o p o s e df u s i o na l g o r i m m ，f o u ro b j e c t i v em s i o ni m a g e e v a l u a t i o ni n d i c e sa n df a c er e c o g n i t i o nr a t ea r eu s e d t h ef 砬er e c o g i l i t i o np e d b 衄a i l c e i su s e d 硒f i r l a le v a l u a t i o ni n d e x e x p e r i m e n t sr e s u l t ss h o wt h a tt h ep m p o s e df b i o n a l g o r i t h r no u t p e r f b 咖so u l e rm s i o na l g o r i t h n l sb a s e do na v e r a g i n g ，l a p l a c i a np y r a m i d ， a n dw a v e l e tf u s i o nm e t h o du s i n gl o c a le n e r g ma n dc o m p a r i s o nr e s u l t ss h o wt h a t d e c i s i o nf i l s i o n - b a s e df 缸er e c o g n i t i o n t e c h n i q u e so u t p e r f o r mi n d i v i d l l a lv i s u a la n d m e r r n a lf a c er e c o g n i t i on d e c i s i o n 血s i o nm e t h o df o rf a c er e c o g n i t i o ni sa l s oi i l v e s t i g a t e di nt h i sp a p e r a 砸o rk n o w l e d g ea b o u tt h ep e r f o r n l a l l c eo fi n d i v i d u a lv i s u a l i i g h ta n di 心a r e df a c e r e c o g n i t i o ni su s e di nt h ed e c i s i o nf u s i o np r o c e s s t h ep r o b ci i i l a g ei st c s t e dw i 也l e v i s u a ll i g h tg a u e r ya n dt h ei n f a r e dg a l l e r yr e s p e c t i v e l y 1 h ed e c i s i o n 矗_ l s i o ni st os e l e c t o n eo ft h er e c o g n i t i o nr e s u l t s i ft h ep r o b ei m a g ei sw i t he y e g l a s s e s ，t h ev i s u a ll i 曲t r e c o g n i t i o nr e s u i ti sa l w a y ss e l e c t e d ，w h e nm e r ca r en oe y e g l a s s e si nt 1 1 ep m b ei m a g e ， i ft h es m a l l e s tn o n n a l i z e dd i s t a l l c eb e t w e e n 龇p r o b ei m a g ea 1 1 dt h ev i s u a ll i 出g a l l e r y e q u a l st ot h a tb e t w e e nt h ei n f h r e dg a l l e r i e s ，t h ei n f a r e dr e c o g 血t i o nr e s u l ti ss e l e c t e d 基于多光谱图像融合的人脸识别方法研究 。出e n i s em es m a l l e s td i s t 姐c ec o r r e s p o n d e dr e c o g t l i t i o nr e s u l ti ss e l e 曲甜硒也ef i n a l d e c i s i o n e x p e r i m e n tr e s u l t ss h o wt h a tf k er e c o g n i t i o nu s i n gt l l ep m p o s e dd e c i s i o n f u s i o nm a t e g yo u t p e 响衄si n d i v i d u a lv i s u a la i l dt h e 彻a 1f a c er e c o g n i t i o n k e y w o r d s ： f a c er e c o g n - t i o n i m a g ef u s i o d e c i s i o nf u s i o n w a v e i e t1 t r a n s f o me v a i u a t i o ni n d i c e s 独创性( 或创新性) 声明 y85 8 8 i 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名砀羞刚l j ：照么! ：兰 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留干u 使用学位沦文的规定，即：研究 生在校攻读学位姗m 论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用沦文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允r ：查阅和借阅沦文；学校可以公布的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的沦文在解 密后遵守此规定) 本人签名： 导师签名： 必篮 兽址 日期： a 椰。k 日期：丛! 鱼! ! ：! i 第一章绪论 1 1 1 介绍 第一章绪论 1 1 概述 随着社会的发展以及技术的进步，尤其是计算机软硬件性能的飞速提升，以 及社会各方面对快速高效的自动身份验证的要求日益迫切，生物识别技术在科研 领域得到了极大的重视和发展。由于生物特征是人的内在属性，具有很强的自身 稳定性和个体差异性，因此它是身份验证的最理想依据。其中人脸特征也是典型 的生物特征之，而且利用人脸图像进行身份的鉴别和确认具有如下优点：首先， 人脸具有唯一性，人脸识别符合人的视觉特性；其次，人脸图像来源广泛，人脸 识别在数据的可收集性上优于其他识别方法；最后，非接触式的人脸识别操作方 式使得识别者与被以别者都易于接受。因此自“9 1l ”事件以来，无论在研究部 门，还是在应用部门，特别是在公安部门，人脸识别已经成为一个科技热点。 对于人类而言，识别人脸是非常简单的，也是正常人在日常生活中每天都有 意无意做的事情。但要使计算机实现同样的功能，则非常的困难。人脸识别的研 究涉及模式识别、图像处理、生理学、心理学、认知科学等多个领域的知识。 1 1 2 人脸识别的应用 人脸识别技术在商业、司法、监控以及视频检索等领域有着广泛的应用。人 脸识别首先是司法部门打击犯罪的有力工具，在智能门卫、出入境检查等监控系 统中有着很大的应用价值。人脸识别的商业价值也正在日益增长，主要是信用卡 或自动取款机的个人身份核对。与利用指纹、手掌、虹膜等其他人体生物特征进 行个人身份鉴别的方法相比，人脸识别具有直接、友好、方便的特点。人脸识别 的具体应用主要有以下几个方面【l l ： 嫌疑犯面部照片的匹配 信用卡、驾驶执照、护照与个人身份证的识别 银行、商场安全系统 公共场合监控系统 专家识别系统 基于目击线索的人脸重构 随年龄增长的人脸估计 2 基于多光谱图像融合的人脸识别方法研究 表情识别 这些应用包括了从静态的、受控的背景照片到动态的、非受控的视频等各个 方面，每项应用都有不同的技术难度、处理方法和分析理解方式。它们基本可分 为两类：静态匹配和动态匹配( 视频) 。 嫌疑犯查找是静态匹配中最常见的应用。显然，在嫌疑犯照片的拍摄过程中， 一般来说，可以控制照相的背景、光照条件、摄像机的分辨率以及摄像机与被拍 照人之间的距离、角度等，获得多幅正面人脸图像或多幅侧面人脸图像。在这些 条件约束下来获取图像，可简化人脸分割和识别算法。 公共场合监控系统是典型的动态匹配应用。通过摄像机得到的视频质量一般 较差，而且背景比较杂乱，分割人脸就相当困难：但可以利用运动图像分析来分 割运动的人脸，也可以利用现有的人脸模型，部分重建人脸图像，这在某种程度 上会比静态匹配更容易解决。然而这方面应用的难点是需要实时处理。 1 2 人脸识别研究发展回顾 1 2 1 对人类自身识别目标过程的认识 在过去的几十年里，心理学家、神经生理学家和工程技术人员对人和机器如 何识别人脸从多个方面进行了广泛的研究。本小节主要介绍心理学家、神经生理 学家的研究成果。心理学家、神经生理学家涉足于下述问题：人脸识别在大脑中 的专一性：识别是依赖整体特征还是局部特征：表情分析及其在识别中的应用； 婴几怎样理解人脸；人脸记忆的组织结构；等等。其主要结论是： 人脸识别是大脑中一个专一的过程。其证据是：人脸在大脑的记忆中的痕迹 比其他物体牢固：患人脸不识症的病人不能识别以前熟悉的人脸，但对其他 物体的记忆无障碍：新生儿更倾向于认知类似人脸的物体。 在人脸感知图像中，局部和整体特征均起作用。若存在明显的局部特征时， 整体特征将不会被采用。 在正面人脸图像中，鼻子对特征点不起主要作用，而在侧面图像中，鼻子对 特征点的匹配很有作用，上半部分特征比下半部分特征所起的作用大。 低频成分对整体识别有用，高频成分对细节识别有用。 人脑的右半球对人脸图像的处理起着主要作用，而左半球对语言的处理起主 要作用。 十岁以下的小孩识别人脸较多地采用显著特征，而较少地使用整体分析。 不同的种族、性别的人脸识别的难易程度不同，这可能是因为不同类型的人 脸图像具有不同的特性。 第一章绪论 心理学和神经生理学的研究无疑将非常有益于人脸识别技术的发展，但大多 数文献中，机器识别人脸的研究独立于心理学和神经生理学的研究。 人脸识别研究可追溯到制t o n 于1 9 l o 年在人脸侧面轮廓图像上做的工作1 2 j 。 人脸正面图像包含了人脸更明显的特征，其识别研究渐渐受到人们的重视。基于 人脸拓扑的几何关系知识，可抽取人脸的直观特征：眼睛、眉毛、鼻子、嘴、轮 廓线以及它们的关系。b l e d s o e d 在六十年代最早提出了一个基于人脸直观特征的 半自动人脸识别系统叽即将一幅人脸图像看成一个矩阵，通过作矩阵变换，可以 抽取人脸的全局识别特征。t u r k 和p e n t l a n d 提出了基于k l 变换的特征脸方法【4 j 。 洪子泉和杨静宇认为图像的代数特征反映了图像的内在属性，提出了人脸图像的 奇异值特征 5 】，接着c h e n g 等提出了基于相似鉴别函数的人脸图像的特征抽耿方法 陋】，l i u 等提出了基于最佳鉴别准则抽取人脸图像的最佳鉴别投影特征矢且【”。基于 代数特征的人脸识别方法研究是入脸识别研究的主流。 根据图像序列( 如视频) 识别人脸的问题包括四个方面：从图像序列中分割运动 目标，结构估计，三维人脸目标与非刚体运动分析。分割运动目标是最重要的研 究方面，基于模板的方法用于在图像序列中寻找头部，利用所谓的人脸系统拓扑 学来分析人脸的几何变化，如平移、旋转、缩放等。 近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法与以奇 异值为代表的代数特征方法取得了新进展外，人工神经网纠舯、小波变换9 1 - 【1 0 1 在人 脸识别研究中都得到了很广泛的应用，出现了不少的人脸识别新方法。 1 2 2 人脸识别的技术与研究内容 人脸识别技术就是以计算机为辅助手段，从静态图像或动态图像中识别人脸。 问题一般可以描述为：给定一个场景的静止或视频图像，利用已存储的人脸数据 库确认场景中一个或多个人。人脸识别研究一般分为三个部分：从具有复杂背景 的景物中进行人脸检测以找到人脸、分割人脸；抽取人脸特征：最后进行匹配和 识别，如图1 1 1 所示。虽然人类从复杂背景中识别人脸相当容易，但对计算机来说， 完成自动的人脸识别却是一个十分困难的问题。该问题的难度表现在三个方面： 首先，虽然每张人脸都有眼睛、鼻子、嘴且都按一定的空间结构分布，但是人与 人之间的五官差异较多，导致反映在图像中纹理的不同。其次，人脸的一些非固 定的特征，如眼镜，胡子等也使图像的检测和识别变得复杂。最后，由于人脸是 一个三维非刚体物体，姿态、光源都十分不同，也使人脸图像千变万化。总之， 人的千姿百态使得人脸检测和识别都十分困难。人脸识别研究跨越了图像处理、 模式识别、计算机视觉、人工神经网络以及神经生理学、心理学等研究领域。 4 基于多光谱图像融合的人脸识别方法研究 图1 1 人脸识别流程 1 3 多光谱人脸识别分析 所谓的“多光谱人脸识别”指的是分布式多模式( 可见光和红外) 多镜头的 人脸识别技术，研究基于视频信息融合的人脸识别。本文主要是研究基于可见光 和红外人脸图像的融合，以及图像融合后对提高人脸识别的识别率的研究。 人脸识别已经发展了3 0 多年，但是由于商业安全和司法应用的增长需求使得 它仍然处于一个快速发展的研究领域。虽然人脸识别系统因为一些成功的应用使 它达到了一个比较成熟的阶段，但是人脸图像的大变化使人脸的识别仍然是一个 具有挑战性的问题。 人脸识别系统的性能表现随着人脸图像获取以及环境条件改变而改变。仅仅 通过可见光光谱的识别，其识别性能容易受到光照变化的影响，在户外、昏暗光 照以及非均匀照明条件下，其正确识别率会大大降低。同时可见光光谱的人脸识 别对于伪装脸的识别也有困难。热红外光谱由中红外( 3 5 微米) 和远红外( 8 1 2 微米) 的光谱构成，其波长比可见光光谱( o 4 0 7 微米) 的都长。热红外图像通 过测量物体自身发出的热量而形成图像，具有不受环境光照影响的优点，因此利 用热红外人脸图像进行人脸识别可以克服现有识别系统易受光照变化影响的缺 点。但是，热红外图像对人体温度的变化敏感，因此热红外人脸识别系统容易受 环境温度变化的影响；此外，由于热红外线不能穿透玻璃，如果待识别对象戴有 眼镜，在热红外图像中跟镜将呈现出墨镜的效果，使对人脸识别起重要作用的眼 部信息全部丢失，严重影响人脸识别性能。 1 3 1 可见光光谱的人脸识别 人脸识别算法总体上可以分成两类：基于特征的和基于整体的【l l 【l l 】。基于特征 的方法就是从人脸获取一系列的几何特征诸如眼睛、鼻子和嘴巴；基于整体的方 法考虑了人脸模式的全局特性，它的识别是将一个人脸作为个整体来进行而不 是仅用人脸不同区域的某几个基准点。特征提取算法的目标是寻求能够将一个人 脸与其他人脸区分开来的特征点。人脸模式在图像外观上有着很大的变化，因此 本质上就是要找到这样的技术：将具有明显差异的人脸对象用低维的特征表示。 数据量的减少和特征的提取方法使得人脸识别问题变得易于处理。 第一章绪论 5 很多早期的人脸识别算法都是基于特征的方法 1 2 】 1 4 】，即检测一系列的几何特 征点，如眼睛、眉毛、鼻子和嘴巴。特征点之间的属性和相关性如面积、距离和 角度作为人脸识别的描述符，典型的是在一个人脸上找出3 5 卅5 个特征点，基于 几何特征的人脸识别性能取决于特征定位算法的准确性。然而，对基于特征的人 脸识别来说，选取多少个特征点合适、重要的特征点又是哪些以及怎样自动地提 取它们都没有个统一的标准。 基于整体的人脸识别算法就是将一个图像投影到某个子空间然后找到最近邻 点即为所对应的识别目标。主成分分析( p c a ) 和线性判别分析( l d a ) 在降维 与特征的提取方面是运用最广泛的两种方法 1 ”。几个最主要的商用人脸识别产品 所用的人脸表示方法都是基于主成分分析( p c a ) 或者叫k l 变换技术，诸如特征 脸方法【4 以及局部特征分析法【1 6 】一( l f a ) 。基于f i s h e r 线性判别函数的判别分 析方法也被广泛地用于人脸识别当中，l d a 决定了一系列优化判别基向量，以使 类间散射矩阵和类内散射矩阵的比率达到最大，它可以在原始人脸图像上提取 f i s h e r 脸f 2 0 】，也可以在特征脸上获取判别特征一【2 2 】( e i g e n f e a t u r e s ) 。 局部特征分析法构造了一组基于p c a 分解的局部相关特征检测器，根据选择 或者稀疏来产生一个最小相关和地形学索引方式的特征子集，该子集构成了所感 兴趣的子空间。局部表示方法使得特征表示不随目标对象局部区域的变化而变化 提高了稳定性。局部特征分析方法与特征脸方法相比较，其中的特征对于光照的 变化更加不敏感，更加容易进行旋转估计以及具有更小的计算量。考虑到很多重 要的信息可能处于高阶相关量，提出了一种基于独立主成分分析( i c a ) 的人脸识 别方法，它对高阶统计量是敏感的而对低阶相关量不敏感嘲1 2 4 1 。尽管主成分分 析利用特征向量来决定基向量而获取最大的图像差异，但是独立主成分分析也同 样能提供一系列具有最大统计独立特性的基向量。 基于弹性图匹配【2 5 】和神经网络【2 6 】的人脸识别技术也得到了很好的识别效果。 近年来，支持向量机( s v m ) 是统计模式识别领域的一个新的热点，它试图使学 习机在经验风险和泛化能力上达到一种折衷，从而提高学习机的性能。s v m 主要 解决的是一个二分类问题，它的基本思想是试图把一个低维的线性不可分的问题 转化成一个高维的线性可分的问题。通常的实验结果表明s v m 有较高的识别率， 但是它需要大量的训练样本( 每类3 0 0 个) ，这在实际应用中往往是不现实的， 而且s v m 训练时间长，实现方法复杂，核函数的选取没有统一的理论，文献 2 7 】 介绍了基于s v m 的人脸识别。线段h a u s d o r f f 距离( l h d ) 是基于从人脸灰度图 像中提取出来线段图，它定义的是两个线段集之间的距离，与众不同的是，l h d 并不建立不同线段集之间线段的一一对应关系，因此它更能适应线段图之间的微 小变化。实验结果表明，l h d 在不同光照条件和不同姿态情况下都有非常出色的 表现，但是它在夸张表情的情况下识别效果不好。 6 基于多光谱图像融合的人脸识别方法研究 1 3 2 红外光谱的人脸识别 在热红外领域进行人脸识别与可见光光谱比较而言获得相对较少的关注。从 不同的成像形式，特别是从红外成像中识别人脸正成为一个越来越令人感兴趣的 领域。尽管自动人脸识别技术在许多实际的应用中已经很成功，但是仅仅基于可 见光光谱人脸识别对光照条件变化的环境始终有着较低的识别率【2 8 】，光照昏暗或 者不均匀的情况下就会使识别性能急剧下降。甚至当一个人脸虽然有很好的光照 条件，但是观看角度的不同也能够影昀手动或自动特征点的定位。在可见光光谱 人脸识别中，阴影、闪烁、化妆品和伪装对特征的定位和选取以及相关距离的计 算会引起更大的误差。 热红外图像通过测量物体自身发出的热量而形成图像，具有不受环境光照影 响的优点，因此利用热红外人脸图像进行人脸识别可以克服现有识别系统易受光 照变化影响的缺点，在低分辨率情况下，热红外图像下的人脸识别有着很高的识 别率。但是，由于热红外图像对人体温度的变化敏感，热红外人脸识别系统容易 受环境温度变化的影响；此外。由于热红外线不能穿透玻璃，如果待识别对象戴 有眼镜，在热红外图像中眼镜将呈现出墨镜的效果，使对人脸识别起重要作用的 眼部信息全部丢失，严重影响人脸识别性能。 当目标对象处于任何光照条件包括黑暗情况同时也有伪装时，热红外人脸识 别也能有很好的识别性能。伪装人脸检测在高端安全应用中是特别令人感兴趣的 研究，伪装意味着欺骗人的眼睛。近几年来，各种伪装材料和方法的不断发展使 得在可见光光谱条件下进行人脸识别是非常困难的甚至是不可能的。能够改变一 个人的面部特征有两种方法：一种是人造材料如假鼻、化妆品、假发、假睫毛， 一种是整容。没有先验知识的情况下对伪装或抹化妆品的个人进行可见光识别几 乎是不可能的，热红外光谱使处于低对比光照条件下识别伪装脸成为可能。 热红外光谱人脸识别系统通常都是使用基于整体的人脸识别方法例。与依靠 眼睛定位的可见光人脸识别算法相比，热红外人脸识别技术在眼睛定位上更加困 难。最初的热红外人脸识别研究方法是靠轮廓提取和匹配来进行识别，这些方法 包括成分形状匹配法和特征脸方法。成分形状匹配技术利用热红外人脸图像的成 分形状。几个不同但相近的轮廓在每个热红外脸中可以观测到。基于成分形状方 法的实时自动人脸识别在协作的进出口控制应用中已经有9 6 的准确率。在具有 5 0 0 个人脸图像的数据库中超过1 0 0 个人有正面脸的情况下，一种非合作非实时的 热红外多人脸的识别正确率达到了9 8 【3 0 】。y o s h i t o m ie ta lf 3 i j 也提出了一种基于 神经网络的热红外人脸识别方法，他是利用各种信息如灰度直方图、拼接图像和 形状因子的融合来进行分类的。 第一章绪论 1 3 3 图像融合技术应用于人脸识别 如果目标对象产生很多不同的信息，即使世界上最好的分类器，比如人类， 也不是仅仅依靠单个形态来进行识别目标对象的，况且仅仅基于可见光光谱人脸 识别对光照条件变化的环境始终有着较低的识别率，光照昏暗或者不均匀的情况 下更使识别性能急剧下降。虽然基于热红外人脸识别在光照条件变化的条件下也 能有很高的识别率，但是，由于热红外图像对人体温度的变化敏感，热红外人脸 识别系统容易受环境温度变化的影响；此外，由于热红外线不能穿透玻璃，如果 待识别对象戴有眼镜，在热红外图像中眼镜将呈现出墨镜的效果，使对人脸识别 起重要作用的眼部信息全部丢失，严重影响人脸识别性能。图像融合技术有望成 为解决以上问题的一条新的技术途径【3 2 】。1 3 3 】。图像融合是指将同一场景的多幅图像 组合成一幅合成图像，并且期望在合成图像中包含比任一原始图像都更为有用的 信息。 根据可见光和热红外人脸识别的特点，本文提出了一种基于小波变换的红外 和可见光人脸图像融合新算法，该算法在小波变换域进行图像融合，对低频子带 图像采用加权平均和图像锐化相结合的方法，对高频子带图像采用了双闽值融合 处理，保留原始图像中的主要信息，滤除其中的噪声和对人脸识别没有贡献的细 微细节信息。虽然本文中采用小波变换进行图像的多尺度分解和重构，但所提出 的融合策略同样适用于基于塔型分解的多尺度图像融合方法。 本文也对基于决策融合的人脸识别方法进行了研究，将有关可见光和红外图 像识别的先验知识应用在决策融合过程中。首先将测试图像与可见光图库和红外 图库分别进行识别，然后在两个识别结果中二选一作为决策融合结果。如果测试 图像戴有眼镜，则总是选择可见光图像的识别结果。如果测试图像不戴眼镜，当 测试图像与可见光图像库和红外图像库之间的最小距离相同时，选择红外图像识 别结果：否则选择两者之中距离最小的识别结果。 融合图像方法的客观评价是一个很困难的问题，在缺乏基准参考图像的情况 下，主观视觉评价往往成为重要的评价方法。对于目标检测和识别问题，检测和 识别性能是对融合方法的最终评价指标。对于本文所研究的人脸识别问题，我们 使用了四种客观融合图像评价指标和人脸识别率对所提出的图像融合方法进行了 性能评价。 1 4 本文的主要工作 本文工作是结合国家自然科学基金“基于多光谱多镜头视频信息融合的人体 跟踪与识别方法研究( 6 0 4 0 2 0 3 8 ) ”，教育部留学回国人员基金“多镜头视频人体 8基于多光谱图像融合的人脸识别方法研究 跟踪与识别方法研究( 教外司留2 0 0 5 5 5 ) ”，陕西省自然科学基金“多光谱多镜 头视频跟踪和识别方法研究( 2 0 0 4 f 3 9 ) ”展开的。主要研究了基于多光谱图像融合 的人脸识别问题，主要工作内容如下： ( 1 ) 本文首先描述了可见光人脸图像识别的优缺点，以及红外人脸图像识别 的优缺点，得出两者融合后识别的必要性。 ( 2 ) 本文介绍了图像融合的基本方法，并详细描述了融合图像的评价指标， 主观的评价和客观的评价，基于本文的目的，识别率是最终的评价指标，本文讨 论了两种常用的基于代数特征的人脸识别算法主要包括特征脸算法( p c a ) 和f i s h e r f k e s 算法。 ( 3 ) 本文提出了一种基于小波变换的新的融合算法，实验证明了该算法在得 到的融合图像中识别率比其他融合算法都好，达到了本文的期望。探讨了小波变 换在两种基于代数特征的人脸识别算法中的运用。 ( 4 ) 本文研究了一种基于距离比较选择规则的决策融合，实现了决策融合的 人脸识别算法。给出了决策融合方案，充分利用了可见光光谱和热红外光谱的信 息。并将改算法用于特征脸和f i s h c r f a c e s 方法上，从理论和实验都证明了本算法 的识别性能优于单光谱的人脸识别算法。 1 5 论文各章内容安排 本文分为五章： 第一章介绍了人脸识别的应用与发展，人脸识别的技术与研究内容，进行了 多光谱人脸识别分析，同时介绍了图像融合技术应用于人脸识别的必要性，最后 介绍了本文研究的主要工作。 第二章主要介绍了人脸识别中用到的一些预处理，并详细的描述了各种常用 图像融合方法、性能评价指标及本文的重点评价指标识别率，而识别率又是利用 了两种人脸识别算法得到的。 第三章介绍了基于可见光和热红外人脸图像融合算法。主要讨论了本文提出 的新的融合算法，并给出了相应的实验结果，最后给出所有融合方法的性能评价。 第四章讨论了基于决策级融合的模式识别方法，针对可见光和热红外人脸识 别特点，给出了一种决策融合方案。并从实验上证明了该算法的有效性。 第五章全面总结了本文的研究成果和工作，并对今后的研究方向和需要解决 的关键技术进行了展望。 第二章 图像融合的基本方法和评价指标 第二章图像融合的基本方法和评价指标 2 1 引言 面对大量的各种图像，如何处理才能获得尽可能多的有用信息成为一个难题。 将数据融合理论引入到数字图像处理中，较好地解决了这个问题。为了评估人脸 识别算法，实验中使用了标准的数据库以使评价具有合理性，e q u i n o x 公司收集了 一个人脸图像数据库，该数据库中的人脸图像由对齐的可见光、远红外、中红外 以及近红外图像构成【3 4 】。 2 2 人脸图像库 本文使用美国e qu i n o x 公司采录的可见光和红外人脸图像数据库进行算法实 验，该数据库包括同时拍摄的可见光和近、中、远三个红外波段的正面人脸图像， 这些图像是在不同光照( 前光、左光、右光) 、不同表情、不同口型以及戴不 戴眼镜的情况下拍摄的。图像融合实验中我们仅使用e q u i n o x 数据库中的可见光和 远红外图像，这两种图像之间的配准误差小于1 3 个像素，可以直接进行图像融合。 本文使用了e q u i n o x 数据库中8 9 个人的图像进行实验。训练数据库由每个人的三 个不周光照方向的三幅图像共2 6 7 幅图像构成；样本数据库由每个人在前光条件 下的两幅图像构成，一幅无表情，另外一幅有表情；按照不同的条件我们构造了6 个测试数据库，各个数据库的构成如表2 1 所示。实验时对原始图像进行了裁剪， 只留下人脸区域，图像大小为1 9 2 1 6 0 ；1 2 位的红外图像被转换为8 位，并且所 有图像都首先进行了直方图均衡化。 表2 ，l 实验数据库构成 数据库类型 可见光红外图像数量是否戴眼镜 光照表情变化 训练数据库 2 6 7 2 6 7否 前、左、右无 样本数据库 1 7 8 ，1 7 8否 前变化 测试数据库1 2 8 s ，2 8 8否 前 变化 测试数据库2 2 8 3 2 8 3 否左变化 测试数据库3 2 8 3 ，2 8 3否右变化 测试数据库4 1 4 4 1 4 4 是前变化 测试数据库5 l3 5 ，1 3 5 是 左变化 测试数据库6 1 3 7 1 3 7是右变化 1 0 基于多光谱图像融合的人脸识别方法研究 图2 1 显示了e q u i n o x 公司数据库中可见光和热红外人脸图像的样本数据。原 始的1 2 位灰度级热红外人脸图像转换为8 位并进行了直方图均衡化，这样眼睛区 域就明显可见了。本文用到的这个数据库不仅用于热红外特征的提取，而且用于 可见光和热红外人脸图像的融合处理。 图2 1e q u j n o x 公司数据库中的可见光和热红外样本人脸图像。( a ) 原始可见光人脸图 像，( b ) 原始热红外人脸图像，( c ) 均衡化后的热红外人脸图像 2 3 图像融合的基本方法 图像融合的主要目的是通过对多幅图像间的冗余数据的处理来提高图像的可 靠性，通过对多幅图像间互补信息的处理来提高图像的清晰度以及后续的处理如 识别率。图像融合示意图如图2 2 。 冗余信息 互补信息 图2 2 图像融合示意图 。第二章图像融合的基本方法和评价指标 2 3 1 图像融合的目的与分类 图像融合是一种综合多个原图像信息的先进的图像处理技术，其目的是继承 多个原图像中的冗余信息和互补信息，以强化图像中的信息、增加图像理解与识 别的可靠性。通过图像融合将会获得更精确的结果，也将会使系统更实用。同时， 融合后的图像具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、增加可 靠性、改善分类性能等。目前，总的看来，将图像融合应用于数字图像处理的主 要目的有以下几种： 1 ) 图像锐化； 2 1 产生立体视觉，以用于立体摄影测量： 3 1 增强在单一传感器图像中无法看见看清的某些特征； 4 1 改善检测分类理解识别性能获取补充的图像数据信息： 5 ) 利用不同时刻的图像序列来检测场景目标的变化情况； 6 1 利用其他传感器图像来弥补某一传感器图像中丢失故障的信息。 一般认为图像融合分为3 个层次，即像素级融合、特征绂融合和决策绂融合。 像素级融合是直接作用于图像像素点的最底层融合。 像素级融合是指在直接获取的原始( 像素) 数据上进行处理，获取统一的合成图 像的过程，也称为数据级融合，其融合的基本结构如图2 3 所示。像素级图像融合 属于底层的图像融合，它的优点在于它尽可能多地保留了场景的原始信息。通过 对多幅图像进行像素级图像融合，可以增加图像中像素级的信息，它提供了其它 两种层次图像融合( 特征级融合和决策级融合) 所不具有的细节信息。参加融合的各 图像可能来自多个不同类型的图像传感器，也可能来自单一图像传感器。单一图 像传感器提供的各图像可能来源于不同观测时间或空间( 视角) ，也可能是同一时 间、空间不同光谱特性的图像( 如多光谱照相机获得的图像) 。与单一传感器获得的 图像相比，通过像素级图像融合后的图像包含的信息更丰富、精确、可靠、全面， 更有利于图像的进一步分析、处理与理解( 如场景分析，监视、图像分割、特征提取、 目标识别、图像恢复等) ，像素级图像融合可能提供最优决策和识别性能。 在某些场合下( 如目标识别) ，实施像素级图像融合之前，有时可能需要先对参 加融合的各图像进行预处理( 如图像的增强、抑噪等) ，其目的是提高检测性能。但 这种预处理并非必需的。在进行像素级图像融合之前，必须对参加融合的各图像 进行精确的配准，其配准精度一般应达到像素级。 像素 特征提取 特征分类 川户决；莨理解 增强后的图像 后的图像 融合后的图像 图2 3 基于像素的图像融合 特征级图像融合是利用从各个传感器图像的原始信息中提取的特征信息进行 综合分析及融合处理，它是中间层次上的融合处理，具有模式识别的特征，其融合 的基本结构如图2 4 所示。通过特征级图像融合不仅可以增加从图像中提取特征信 息的可能性，而且还可能获取一些有用的复合特征。特征是从图像像素信息中抽 象、提取出来的，所谓“主要特征”是通过对图像数据进行空间时间上的分割等 处理获得的，而“复合特征”是通过对现有各特征的综合得到的。从图像中提取 并用于融合的典型特征信息有边缘、角、纹理、相似亮度区域、相似景深区域等。 融合处理后得到的特征可能是各图像特征的综合( 例如：融合后的边缘是不同传感 器检测得到边缘段的综合) ，也可能一种完全新型的特征( 例如：对用立体照相机得 到各图像中的边缘信息进行融合处理形成的三维边缘) 。 特征级图像融合对图像配准的要求没有像素级严格，综合处理各通道图像特 征融合产生的新特征具有比各输入图像特征更高的置信度，模式识别技术的应用 还可消除一些虚假特征，优点较为突出，但图像特征的提取仍尚有难度。 特征级图像融合可分为目标状态信息融合和目标特性融合。特征级目标状态 第二章图像融合的基本方法和评价指标 信息融合主要应用于多传感器目标跟踪领域，其融合处理主要实现参数相关和状 态矢量估计。特征级目标特性融合是特征层的联合目标识别，其融合方法中仍然 要用到模式识别的相关技术，只是在融合处理前必须对特征进行相关处理，对特 征矢量进行分类与综合。更为重要的是，在模式识别、图像处理和计算机视觉等 领域，人们已经对特征提取和基于特征的聚类问题进行了深入的研究，有许多方 法可以借鉴。 特征 图2 4 基于特征的图像融合 图像 特征 决策级图像融合基于一些认识模块，模拟人的识别、分析、推理的思维过程， 可采用一些新的处理技术( 如人工智能、专家系统、模糊技术和神经网络) 来进 行融合处理，也称为符号级或判决级融合，其基本结构如图2 5 所示。决策级的图 像融合是在信息表示的最高层次上进行的融合处理。在进行融合处理前，先对从 各个传感器获得的图像分别进行预处理、特征提取、识别或判决，建立了对同一 目标的初步判决和结论；然后，对来自各传感器的决策进行相关( 如配准) 处理；最 后，进行决策级的融合处理从而获得最终的联合判决。决策级融合