（计算机应用技术专业论文）基于子空间的光照无关人脸识别技术.pdf

摘要 摘要 人脸识别及其是近年来的热门研究内容，涉及模式识剐和计算机视觉等多方 面的学科，在新一代人机交互技术和安全等领域的应用吸引了众多研究者的注 意，具有重要的理论意义和应用价值。 近年来，关于人脸识别的研究已经取得了一定的突破。然而，现有的方法通 常会因为姿态、表情、光照的变化会引起算法性能的迅速退化，其中又以光照问 题最为显著。此外，数据库集的规模过大会使得子空怄j 的样本分布过于密集，造 成识别发生混淆；数据库集每一类样本数目不足也会导致子空间的样本分布不均 匀进而影响识别率。 针对以上的问题，在分析国内外相关研究现状的基础上，分别提出了基于融 合思路的光照无关的预处理算法、引入了虚拟样本并进行了后端分类器优化的基 于子空间的人脸识别算法。 光照问题是影响人脸识别效果的重要因素。提出了一种基于融合思路的纠正 光照的人脸识别图像预处理算法。先应用直方图均衡化以改进基于光照经验模型 的仿射变换算法的效果，并提出了一种基于直方图灰度分布统计的融合方法，将 仿射变换算法与和光照补偿模型算法有效地融合在一起。实验表明新算法能够取 得良好的光照预处理效果并大幅度提高了人脸识别识别率。 在分析现有的子空间识别方法的基础上，提出了一种基于g a b o r 小波特征和 d f l d a 的融合算法g d f l d a ，新方法具有光照不敏感性和优秀的类别分离能力， 得到了很好的识别效果。此外在整个人脸识别框架内还采取了若干改进识别率的 手段，这些思路包括优化后端分类器、引入和生成虚拟样本等。通过优化后端分 类器提升了样本的分类能力。引入和生成虚拟样本改善了子空间的样本分布并使 得小样本数据库的子空间构建和识别成为可能。 本文还进一步研究了人脸识别及其相关技术应用系统的构建和开发方式。同 时，也探讨了人脸识别测试和评估平台的设计和实现。 关键字：人脸识别，子空间，光照无关，虚拟样本，后端分类器 华南理工大学硕七学位论文 a b s t r a c t f a c er e c o g n i t i o na n dr e l a t e dt e c h n o l o g yh a v eb e c o m eh o ts p o t si nr e s e a r c hi nr e c e n t y e a r s ，r e l a t e t op a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n ，e t e t h e yd r a wl o t so fr e s e a r c h e r s a t t e n t i o n si nt h ea p p l i c a t i o no fn e w g e n e r a t i o nr i s e ri n t e r f a c et e c h n o l o g ya n ds e c u r i t ya sw e l l ， w i t ht h e o r e t i c a la n da p p l i c a b l ev a l u ea sr e s u l t t h er e s e a r c ho nf a c e r e c o g n i t i o nh a sa c h i e v e d m u c ha c c o m p l i s h m e n t h o w e v e r , p r o b l e m sr e m a i nt h a t c u r r e n tm e t h o d sc a n n o ts o l v e t h ev a r yo fp o s e 、e x p r e s s i o n 、 i l l u m i n a t i o nm a k et h e p e r f o r m a n c eo ft h ea l g o r i t h n a sd e g e n e r a t ee v i d e n t l y , e s p e c i a l l y i l l u m i n a t i o n + m o r e o v e la sf o rl a r g ef a c ed a t a b a s e ，t h ed i s t r i b u t i o no fs a m l e si ns u b s p a c e b e c o m et o od e n s et or e c o g n i z ed i s c r i m i n a b l y , w h i l et h ei n s u f f i c i e n c yo fs a m p l e sf o re a c h c l a s sw i l la l s oa f f e c tt h er e c o g n i t i o nr a t e a i m i n ga ts o l v i n gt h et w oa b o v e m e n t i o n e dp r o b l e m s ，t h i st h e s i sp r o p o s e si l l u m i n a t i o n i n v a r i a n tp r e p r o c e s sa l g o r i t h mb a s e do nt h ei d e ao fc o m b i n a t i o na n ds u b s p a e ef a c e r e c o g n i t i o na l g o r i t h mw i t hv i r t u a ls a m p l e sa n db a c k c l a s s i f i e r s t h e p r o b l e mo fi l l u m i n a t i o nm a k e st h ef a c er e c o g n i t i o ns t i l la nu n s o l v e dp r o b l e m an e w p r e p r o c e s sa l g o r i t h mw a sp r e s e n t e dw h i c hi si l l u m i n a t i o ni n v a r i a n ti nf a c er e c o g n i t i o n t h e h i s t o g r a me q u a l i z a t i o nw a sa p p l i e dt oi m p r o v et h ep e r f o r m a n c e so f t h ea t ( a f f i n et r a n s f o r m l a l g o r i t h m u s i n g t h ei n f o r m a t i o no ft h ed i s t r i b u t i o no ft h eh i s t o g r a m ，am e t h o dw a s i n t r o d u c e dt oc o m b i n et h ea ta l g o r i t h ma n di l l u m i n a t i o nc o m p e n s a t i o nb a s e do nm u l t i p l e r e g r e s s i o nm o d e la l g o r i t h ms m o o t h l y e x p e r i m e n t sr e v e a l st h a to u rp r o p o s e da l g o r i t h mi s i l l u m i n a t i o ni n v a r i a n ta n da c h i e v e sg o o dp e r f o r m a n c ew h i l et h er e c o g n i t i o nr a t eh a sb e e n g r e a t l yi m p r o v e d b a s e do nt h ea n a l y s i so ft h ee x i s t i n gs u b s p a c ef a c er e e o g n i t o nm e t h o d s ，an e wf a c e r e c o g n i t i o na l g o r i t h mt h a tc o m b i n e st h eg a b o rf e a t u r e sw i t hd f l d aa l g o r i t h mw a sp r e s e n t e d a n dh a sa c h i e v e dg o o dr e s u l tf o ri t su n s e n s i t i v et oi l l u m i n a t i o na n dg o o dd i s c r i m i n a b l ea b i l i t y s o m ei m p r o v e m e n t sh a v eb e e dp r o p o s e d ，i n c l u d i n gt h eo p t i m i z a f i o no fb a c k - c l a s s i f i e r s ，t h e g e n e r a t i o no ft h ev i r t u a ls a m p l e s t h eg e n e r a t i o no ft h ev i r t u a ls a m p l e sh a si m p r o v et h e d i s t r i b u t i o no ft h es a m p l e si ns u b s p a c ea n dm a k et h es u b s p a c ec o n s t r u c t i o na n dr e c o g n i t i o n b ep o s s i b l ef o rs m a l lf a c ed a t a b s e t h ec o n s l r u c t i o na n dd e v e l o p p m e n to fa p p l i c a t i o n sf o rf a c er e c o g n i t i o na n dr e l a t e d t e c h n o l o g yh a v ea l s ob e e ni n v e s t i g a t e d f u r t h e r m o r e ，af a c er e c o g n i t i o nt e s tp l a t f o r mh a s b e e np r o p o s e da n di m p l e m e n t e d k e yw o r d s ：f a c er e c o g n i t o n ；s u b s p a c e ；i l l u m i n a t i o nl n v a r i a n t ；v i r t u a ls a m p l e s i i 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体己经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：都孛百匕日期：口多年譬月弓c 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上相应方框内打“”) 作者签名：曹氍l j1 一 导师签名：；火毪几 e t 期：口乡年 月弓1 日 日期：d 歹年歹月；7e t 第一章绪论 1 1 研究背景和意义 第一章绪论 生物特征识别技术是指通过计算机利用人类自身的生理或行为特征进行身份认定的 一种技术。生物特征的特点是人各有异、终生不变( 几乎) 、随身携带。这些身体特征包 括指纹、虹膜、掌纹、面相、声音、视网膜和d n a 等人体的生理特征，以及签名的动作、 行走的步态、击打键盘的力度等行为特征。之所以能够作为个人身份鉴别的物证，是因 为它们具有人人都有的普遍性、每人不同的唯一性以及不随年龄而变化的稳定性。 近年来，生物特征识别成为了相关领域专家的研究热点。而作为生物特征识别的重 要组成部分，人脸识别技术的研究也得到了极大的关注。人脸自动识别技术就是利用计 算机分析人脸图像，从中提取有效的识别信息，用来辨认身份的一门技术。它涉及到模式 识别、图像处理、计算机视觉、生理学、心理学及认知学等诸多学科的知识，并与基于 其他生物特征的身份鉴别方法以及计算机人机感知交互的研究领域都有密切联系。 人脸识别之所以受到了越来越多的关注。原因有二，一是广泛的商业应用前景。目 前，世界上已经有不少的公司和研究机构的相关产品投入市场，例如f a c e ic 、b i o i d 、 f a c e k e y 等。二是人脸识别经过3 0 多年的研究近年来技术上趋向可行。由于技术上的日 愈成熟，目前国际上已经出现了a v b p a ( p r o c e e d i n g so f t h ei n t e r n a t i o n a lc o n f e r e n c e s o n a u d i o a n dv i d e o b a s e dp e r s o na u t l l e n t i c a t i o n ) 、c v p r ( c o n f e r e n c ef o rv i s i o na n dp a t t e r n r e c o g n i t i o n ) 和a f g r ( p r o c e e d i n g so f t h ei n t e r n a t i o n a lc o n f e r e n c e so na u t o m a t i cf a c ea n d g e s t u r e r e c o g n i t i o n ) 专门的人脸识别会议，而f e r e t ( f a c e r e c o g n i t i o n t e c h n o l o g y ) 和x m 2 v t s ( e x t e n d e dm u l t im o d a lv e r i f i c a t i o nf o rt e l e s e r v i c e sa n ds e c u r i t ya p p l i c a t i o n s ) p ，等人脸识剐技术体系的评估协议也目趋完善。 与方兴未艾的人脸识别研究相对应的，足人脸识别技术广泛的应用前景。作为新一 代生物特征识别的研究热点，人脸识别技术可用于公安系统刑侦破案的罪犯身份识别、 身份证及驾驶执照等证件验证、银行及海关的监控、自动门卫系统、视频会议、新一代 智能人机交互、机器人的智能化研究以及医学等方面。因此，研究人脸识另0 技术及其相 关应用，有着非常重要的研究意义和应用价值。 1 2 课题来源 广州市科技计划项目“人运动跟踪识别预警系统”，项目编号2 0 0 2 x g p l 6 。 华南理工人学硕上学位论文 广州市天河科技计划项目“基于动态人脸识别的身份认证系统”，项目编号2 0 0 2 x g p l l 。 1 3 人脸识别系统框架概述 进一步，首先让我们明确一下人脸识别的定义。人脸的机器识别问题概要说明如下： 通过给出的静态照片或者某一场景的动态视频，能够识别或确认出被储存的脸数据库的 场景中的一个或多个人。 人脸识别与人脸确认问题联系密切却又有所不同。在识别问题中，输入到系统是未 知的脸，而系统返回的是来自已知个人数据库的确定身份。然而，在确认问题中，系统 需要确定或者拒绝输入脸所要求的身份。 人脸识别不仅涉及到核心的人脸识别和确认算法，同时还包括人脸检测、人脸定位 与跟踪、人脸图像的预处理等流程。一个典型的人脸识别系统概图如图卜i 所示。 全景图 人脸醋标准的人脸围特征向量 1 4 国内外研究进展 1 4 1 国内外研究现状 i l 剐为“已知”或者“未知” 图1 - 1 一个典型的人脸识别系统概图 国内外各种研究机构和高等学府都展丌了人脸识别技术的前沿研究和探索，并且新 的成果不断涌现，进一步促进了人脸识别技术的成熟和发展。国际上，卡耐基一梅隆大 第一章绪论 学、麻省理工大学、马里兰大学、耶鲁大学、南加卅i 大学、英国曼彻斯特大学的研究成 果是近年来颇有影响的。国内的清华大学、中科院计算所、中科院自动化所、微软亚洲 研究院、上海交通大学图像所、哈尔滨工业大学、南京理工大学、中山大学等等也出现 了值得注意的进展。中科院计算所和微软亚洲研究院等已经推出了实用的人脸识别产 品。 然而，人脸识别的研究远未可以停止。当前人脸识别技术所遭遇到的挑战是著名的 p i e 问题：姿态( p o s e ) 、光照( i l l u m i n a t i o n ) 和表。f 青( e x p r e s s i o n ) 差异【4 】。姿态变化使得3 d 空间中的人脸在2 d 图像上做出完全不同的投影，可能令重要的器官特征完全消失；光 照变化，特别是强烈的偏光、背光使得人脸图像的能量分布产生严重差异，导致绝大多 数原始的基于子空间方法的失败；表情变化易被单独的解决，但当这种变化与其他差异 结合在一起时，将造成极大的麻烦。此外，人脸随着时间的推移产生的变化、饰物和发 型产生的变化都是不容忽视的问题。 此外，研究人脸识别的衍生问题包括：性别和种族识别m i t 】、抽象线条画的人脸识别 1 7 、表情和姿态理解脚 9 】等等。这些问题的研究也是方兴未艾。 为了评估各种人脸识别和确认算法的性能，国际上出现了几个公认的人脸数据库和 相应的评估协议，包括f e r e t 口 do i 、x m 2 v t s o u 以及c m up i e 、y a l e 、u m i s t 、o r l 等 等。其中，用于人脸识别的数据库比较有名的应该算f e r e t 人脸识别数据库和o r l 人 脸识别数据库以及y a l e 光照数据库1 1 2 】。 f e r e t 包含1 1 9 9 个不同的人的1 4 1 2 6 幅人脸图像，人脸采集的时间跨度是1 9 9 3 年 8 月到1 9 9 6 年7 月，包含了表情、姿态、光照和采集器材、采集时间的差别。f e r e t 的评估协议既包括了单一输出结论( 检验输出的最接近分类是否正确) 的评估，也包含 了多输出结论( 检验输出的最接近的若干个分类里面是否包含正确答案) 的评估。 o r l 数据库是英国剑桥大学建立的一个小型的人脸识别数据库，数据库总共有2 0 个人，包括表情变化、微小的姿态变化、2 0 以内的尺度变化。通常o r l 数据库被用 来快速评估测试人脸识别的相关算法。 y a l e 数据库是y a le 大学人脸识别的相关研究机构在实验室内部环境针对光照问题 建立的一个光照人脸数据库。分为a 、b 两个集合，我们常用的b 集合罩面包含了1 0 个 人，每个人在不同的光照环境下有6 4 幅图片。每一幅图片的光照环境是根据点光源与 摄像头所成的水平和垂直角度构造而成的。作为标准的光照人脸数据库，y a l e 数据库被 大量应用于人脸识另l j * h 关的光照纠正算法的评测。 随着各类人脸数据库的完善以及相关评估协议的成熟，大型人脸识别性能测试也已 经多次举行，这些测试包括9 6 年的f e r e t 测试【2 l 【l m 、2 0 0 0 年和2 0 0 2 的f r v t ( f a c e r e c o g n i t i o nv e n d o rc o n t e s t ) 3 1 等。国际上也已经出现了a v b p a 、c v p r 、a f g r 等专门 的人脸识别相关技术的国际会议。这一些人脸识别性能测试和相关会议共同加速了人脸 识别技术的成熟，促进了人脸识别技术商用化的进程。 华南理工人学硕士学位论文 1 4 2 人脸识别技术研究概述 由于特征提取在人脸识别中的作用非常关键，它直接决定了后面分类器的设计和人 脸识别、确认的效果甚至成败。因此，这里我们从特征提取技术来去对人脸识别技术研 究做一个概述总结。 通常将特征提取的方法分为以下三种：基于边缘，直线，和曲面的常规方法：用来 检测脸部特征( 如眼睛) 的基于特征模板的方法；考虑特征几何约束的结构匹配方法川。 在过去的3 0 年提出了许多人脸识别的特征提取方法。这是一个既有挑战性又令人 感兴趣的话题。它已经吸引了来自不同背景的研究学者：例如心理学、模式识别、神经 网络、计算机视觉和计算机图形学等。通常，个人脸识别系统包含由不同的原理所衍 生的技术。技术的混合使用使得我们如何对这些完全基于特征表示或分类技术的系统进 行分类变得困难。为了有一个明晰的分类，我们可以从心理学家对特征提取方法的分类 标准来去理解，他们认为，应当从整体和局部的观点来去看待这些不同的特征提取技术， 因此，我们可以按照这样的思路分类如下： 整体匹配方法。这些方法使用整个人脸区域作为识别系统的原始输入。作为人脸区 域的表征的最广泛使用的方法是基于k l 转换的特征提取方法 u 4 1 “ d 6 基于局部特征的匹配方法。顾名思义，在这些方法中，局部特征诸如眼睛，鼻子， 和嘴首先被抽取，他们的位置和局部统计( 几何特性和或外表特性) 被送到结构分 类器中。 混和方法。就像人类的感知系统同时使用局部特征和整体特征来识别人脸那样，机 器识别系统也应该使用这两样。p e n t l a n d 等人通过结合特征脸和其他特征模式( 特 征眼，特征嘴，和特征鼻) 探索出基于混合原理的混合人脸识别机制mj 。实验表面， 这比整体的特征脸匹配或者基于局部结构匹配的方法有轻微改进。 在每一类罩，进一步的分类是可能的，使用整体特征的特征脸方法( p c a ) ，衍生出了 许多人脸识别技术：文献 1 4 】介绍使用最近邻分类器的特征脸方法；文献 2 5 】介绍了基 于特征线的方法，方法是把点对点的距离替换成点连接二个样本点的特征线之间的距 离：在文献 2 0 和 2 1 】中引入了费沙脸( f is h e rf a c e ) 的概念，使用费沙线性判别进行类 别分离。此外还有使用贝叶斯概率距离度量的方法以及使用支持向量机作为分类器的 s v m 方法 2 3 1 。利用更优化统计特性的独立组件分析( i c a ) 据称比p c a 有更强的特征提 取能力，因而能够比p c a 提供更好的识别性能，这种方法在文献 2 6 加以了介绍。通 过学习能不断进化，神经网络及其学习方法也已经应用到人脸识别中【2 8 ，。仞子之一是使 用p d b n n 的方法，参见文献【2 8 】；其二是使用e p 的方法，参见文献 2 4 】。 第一章绪论 表卜1 人脸识别技术分类与代表作品概述 方法代表作 整体匹配的方法 a 基于子空间的方法 特征脸 【2 0 2 1 】 概率特征脸使用概率测量的二类问题 2 2 】 费沙脸l d a 子空间 f l d 与特征脸 1 6 1 1 7 1 8 】 s v m 基于s v m 的二类问题 2 3 】 e v o l u t i o np u r s u it 增强g a 学习 2 4 特征线 基于点线距离的方法【2 5 】 c a 基于i c a 的特征分析t 2 6 b 其它方法 l d a f l d 在图像空间使用f l d l d a 2 7 】 p d b n n 基于神经网络的概率决策 2 8 】 局部特征匹配的方法 纯几何法早期方法 2 9 1 1 3 0 】：近期方法 31 3 2 】 动态链接体系结构 图形匹配方法 3 3 1 1 3 4 】 隐马尔科夫模型 h m m 方法 3 5 3 6 1 1 3 7 】 回旋神经网络 基于c n n 的s o m 学习 3 8 】 混和方法 模型特征脸特征脸和特征模型 3 9 j 混和l f a 局部特征方法 4 0 外形规格化可变外观模型 4 1 较早期方法大多属于局部特征匹配的方法，使用头的宽度、眼睛之问和从眼睛到嘴 之间的距离等1 2 9 】。或者使用眼角、嘴角、鼻子分别和下巴顶部之问的距离和角度m i 。 最近，文献 3 2 提出了一种基于手工抽取的使用混合距离的方法。不用对脸部特征进行 精确定位，隐马尔科夫模型( h m m ) 方法利用了覆盖前额、眼睛、鼻子、嘴和下巴的象素 华南理工大学硕士学位论文 带，详细的介绍参见文献 3 5 1 1 3 6 3 7 】。文献【3 7 取得了比文献 3 6 1 中更好的效果，它使 用k l 投影系数来去代替原始像素带，因此可以获得更好的性能。在局部特征匹配罩面 最成功的系统之一的是基于d l a 的图形匹配系统 3 3 3 4 1 。使用一种基于自行组织图 ( s 0 1 ) 的无监督学习方法，一个基于卷积神经网络( c n n ) 的系统也被实现了出来【2 s 】。 在混和方法的种类中，主要有模型特征脸和混和的p c a 以及混和的l f a 方法 3 9 ，4 0 1 。 虽然在这个范畴中还没提议很多的方法，但我们认为这可能是一个需要进一步去研究的 有趣领域。 关于上述三种特征提取方法的具体分类已经一些相关的代表作品请参看表卜l 。 1 4 3 光照无关的人脸识别研究概述 近年来，随着人脸识别在分割检测、特征提取乃至分类器等方面取得了一定的突破， 光照问题和姿态问题在一定程度上成为了整个系统的瓶颈。在图像理解领域，研究人员 对光照问题给予了大量的关注。而体现在人脸识别上，大量的解决方法也被提出。这些 方法可以大致分为如下四类1 4 2 1 ： 基于启发式规则的方法。例如去除p c a 中的前三个分量 基于图像比较的方法。主要思想是采用合适的图像表示和距离度量方法。 多类别光照模型的方法。利用同一人脸，固定姿势的不同光照模型。 基于建模的方法。主要是采用3 d 建模的方式。 1 43 1 基于启发式规则的方法 现有的许多人脸识别系统都通过这个方法来进行光照补偿。比如，在文献 4 4 中简 单的对比标准化被用来对检测到的人脸进行预处理。而在文献【4 3 】中，图像亮度标准化 通过先减去最佳亮度面然后应用直方图均衡得到。在人脸识别的特征脸空间方法领域， 1 7 中提出并且在最近被证实通过舍弃少量特征值最大的主成分分量，能够使得光照引 起的变化最小化。 然而，为了使得系统既能在处理普通光照情况下图像的稳定，又能在关照变化的情 况下取得良好的性能，必须假定前3 个主分量只跟关照引起的变化相关。其他基于正面 脸部对称性的启发性方法也有被提出一2 1 。 14 4 2 基于图像比较的方法 在 4 6 1 中，提出了应用不同的图像表示和度量距离的基于图像比较的方法。用边缘 图，灰度导数，2 d 的类g a b o r 滤波函数得到的图像的融合方法来表示图像，同时还引 入了对亮度进行1 0 9 函数变换的表示方法。距离的度量方法运用点距、区域距离、灰度 仿射距离、局部灰度仿射距离、对数点距。要了解关于这些算法的更多细节请看 4 6 。 4 6 1 同时给出了归纳以上这些图像的表示方法都不能单独解决由光照引起的图像变化问 题。 第一章绪论 在文献【4 5 】中提出了一种新的对光照变化具有鲁棒性的测量方法。发展这一直接比 较图像的算法的理论基础来源于文献 4 7 】，【4 7 】中描述了建立一个完整的关于某对象可 能的图像潜在的难点。通过测试表明该方法对特征脸的有很好的改进性能，对同样数据 的测试结果稍微差于基于光照锥的方法【4 b 】。 1 4 3 3 多类别光照模型的方法 在表面满足l a m b e r t i a n 表面和无阴影的假设下，人脸的3 d 线性光照子空间的构建 在文献 4 9 1 5 0 5 1 5 2 5 3 均有提到。这些文章使用了标准的3 张不同光照情况下的 人脸图，但是视兔固定。在理想假设下，基于这一子空间的人脸识别技术是不受光照影 响的。近年来，一种基于子空间的光学锥的方法被提出，并且有很好的光照无关的效果， 甚至能够解决阴影和多光源情况f 4 7 】【4 8 】。这一方法是3 d 线性子空间方法的延展，而且有相 同的缺点，即是对每一个人都至少需要3 幅在不同采光下的标准图片进行训练。关于光 学锥方法的实现细节请参考1 4 7 1c 5 w 。近年来，一个基于商图( q u o t i e n ti m a g e s ) 的方法被提 出，和其他基于多类别的方法一样，这一方案假设不同的个体有一样外形和不一样的纹 理结构。具体的实现参见文献e 5 3 。 1 4 34 基于建模的方法 在基于建模的算法中，一个3 d 的人脸模型被用束从一张给定图像中指定的光照条 件下合成虚拟图像。当3 d 模型未知时，不使用任何先验知识而期望精确合成图象是非 常困难的。如果只有一张有用图像可以使用从阴影建模s f s ( s h a p ef r o ms h a d e ) 技术。 如果有多张同一对象的图像，则可以使用从运动中得来的结构或立体影像来去建模。 幸运地，对人脸识别来说，不同人脸对象的3 d 外形并没太大差别。尤其当图像已经 规格化和标准化以后后。回想下，你会发现这一假设已经在上面基于多类别光照模型 的方法中用到。使用3 d 头像的基于概率统计的方法，p c a 被认为是可以解决参量s f s 问题的工具 5 2 】。在通过对大约3 0 0 个人类头部的激光扫描图像进行训练后，得到了 个3 d 特征头像。姿势不端正的s f s 问题从而被转换为一个参量问题。作者还证明了这 一表示法有助于确定光源：对一张新的人脸图像，它的3 d 头像可以近似为一个特征头 像的线性联合，然后可以用来确定光源。使用这一完全的3 d 模型，所有视角的人脸图 像都可以被合成。这是一个典型的用计算机建模和合成算法：从2 d 到3 d 来得到外形， 从3 d 到2 d 来得到合成。这个算法的一个主要缺陷就是要假定不变的光照反射率。这一 假设对大多数真实的人脸图像都不实际，即使它是s f $ 算法中最常用到的假设。 为了解决变化的反照率，一个基于正面的人脸对称性和普通的3 d 模型的使用2 d 直 接映射到2 d 的算法被提出。算法的详细介绍请参见【1 8 】。 这一方法的优势在于： ( 1 ) 不需要恢复变化的反照率p x ，y 。 ( 2 ) 不需要考虑完全的外形梯度( p ，q ) ；q 可以用一导自普通3 d 外形得知来近似。 作为这一自动解决方案的一部分，还提出了一个基于模型的光源鉴定方法来改进现 华南理工大学硕上学位论文 有的阴影源算法。通过y a l e 数据库和w e i z m a n n 数据库的在l d a 子空间而非原始的图像 空间的测试，可以观察到显著的性能上的改善 1 8 】。 近年来，相关的杂志报导了一个使用二阶球形谐频来近似l a m b e r t i a n 反射的算法 1 5 5 1 。假设具有l a m b e r t i a n 表面的对象在远距等方性的光线下，作者可以证明所有的反 照率函数集可以使用表面球状谐频扩展来近似。特别是他们已经证明了使用二阶( 9 个 谐频，例如一个9 d 的空间) 近似，所有的光照函数精确度都达到9 7 9 7 。他们扩展了 这一图像构成的分析，当然，这由于可能出现的闭塞，外形和反照率的变化而更加的困 难。就如作者所指出的，图象近似的最坏情况可能非常糟糕，但是大多数情况下都运作 良好。使用这一算法，图像可以被分解为所谓的谐频图像，这些谐频图像是在谐频光照 的条件( 例如：谐频函数) 下产生的。在文献【4 9 5 0 】给出了关于这一算法与3 d 线性光 照子空间方法法的有趣对比：3 d 线性算法是d c 组成的一阶谐频函数近似。假设预先计 算出了对象姿态，但是色彩反照率以及纹理未知，使用这一技术对一个4 2 人的数据库 集和】0 人的测试集库进行测试时，正确识别率为8 6 。 1 4 4 当前的研究存在的主要问题 如上面提到，人脸识别已经在识别算法以及光照处理方面方面都取得了重大突破， 然而，由于人脸识别本身的难度，目前相关的研究还存在以下一些问题。 首先仍然是上面已经提及的p i e 问题，即是表情、光照、姿态对人脸识别造成的影 响。在这三者之中，尤以光照问题对人脸识别造成的影响为重，在下一个章节我们将阐 述光照问题的本质以及如何通过光照无关的预处理技术来去对光照纠正。可以认为，光 照、表情、姿态问题在人脸识别领域范畴依然没有得到妥善的解决方案，未来的相关研 究工作仍然任重而道远。 其二是大规模人脸数据库识别率退化的问题。随着数据库集的规模的放大，相似样 本的空间近似重迭概率迅速上升，错误识别率因此提高，造成c r r ( c o r r e c tr e c g n i t i o n r a c e ) 降低，这就是识别率退化的本质原因。如何更好地研究人脸识别特征提取和分类 算法，使得营造的人脸子空间分布更加合理，以及如何更好地针对大规模的人脸数据库 做出相关的策略处理，是人脸识别的研究重点之一。 第三是可供训练和作为数据库样本过少的问题。在人脸识别的实际应用过程中，由 于采集条件和客观因素的限制，通常对于一个人脸应用数据库，或者因为训练集缺乏， 或者因为数据库集样本数目过少( 例如仅有1 幅样本) ，这都不可避免对我们的人脸识 别效果造成影响。目前解决这些问题的方案包括虚拟样本的引入阳、人脸图像的重建、 3 d 人脸建模以及样本衍生等。 第一章绪论 i 5 人脸识别技术的应用 目前，世界上已经有不少的公司和研究机构的相关产品投入市场，例如f a c e l t 、 b i o l d 、银晨网讯面像识别系统等。 f a c e l t 是i d e n t i x 公司的产品，可以在复杂场景中进行单个或多个人脸的检测， 同时进行跟踪，具有确认和识别的功能，此外，能够评估图像的质量，以数字 编码的方式生成个人的独特人脸标识。f a c e l t 的实现主要依赖局部特征分析 ( l o c a lf e a t u r ea n a l y s i s ，l f a ) ，通过l f a ，f a c e l t 能够把人脸映射为一个称为 脸部指纹( f a c e p r i n t ) 的特征向量，这个特征对于光照、皮肤颜色、眼镜、表情、 发型和3 5 度以内的姿态的变化都是不敏感的。在f r v t ( f a c i a lr e c o g n i t i o n v e n d o rc o n t e s t ) 2 0 0 0 的测试中，f a c e l t 在1 0 0 0 0 人的数据库中有多于7 0 的识 别率和3 0 左右的错误接受率。实时性参数是：检测视环境复杂度而言需要5 0 - - 3 0 0 毫秒，确认小于1 秒，识别可以在每分钟6 千万人的数据库中进行检索。 b i o l d 是h u r n a n s c a n 公司的产品。b i o l d 以s d k 的形式发布，除了人脸图像识 别以外，还具有通过嘴唇动作和语音进行识别的功能。b i o i d 利用边缘信息，结 合h a u s d o r f f 距离进行人脸定位。人脸识别的具体方法则缺乏进一步的介绍。 中科院计算所和成都银晨网讯科技有限公司联合开发的面向识别系统是8 6 3 科 研项目之一，并于2 0 0 2 年通过了8 6 3 项目成果鉴定。 清华大学研制成功的人脸识别综合系统是“十五”重点攻关项目，数据库已经 录入2 5 6 万张人脸图像，最快识别查询时间达到4 秒。对不同年龄的识别率达 到7 8 4 人脸监视识别系统实现了由一台微机进行4 路活动人脸的检测与识 别。 北京科瑞奇技术开发股份有限公司2 0 0 2 年开发的人脸鉴别系统，对人脸图象进 行处理，消除了照相机的影响，再对图象进行特征提取和识别。可以接受时间 间隔较长的照片，并能达到较高的识别率，在计算机中库藏2 3 0 0 人的正面照片， 每人一张照片，使用相距1 7 年、差别比较大的照片去查询，首选率可以达到 5 0 ，前2 0 张输出照片中包含有与输入照片为同一人的照片的概率可达7 0 。 1 6 本文的主要贡献 本文针对人脸识别的实用要求，在分析国内外相关研究的基础上，提出了实用可靠 的识别算法；同时，针对人脸识别存在的难点光照问题，提出了一种基于多方法融合的 光照无关的图像预处理方法。论文的具体研究内容和主要贡献如下： 1 实现了光照无关的图像预处理方法。提出了一种新的基于融合思路的光照纠正算法， 9 华南理工大学硕士学位论文 该算法融合了包括直方图均衡化、a t 算法、i c r 算法在内的多种算法，按照基于直 方图分布统计理论的思路进行融合，得到了较好的光照纠正效果并大幅度提升了光 照数据库的识别率。 2 实现了多种基于子空间的人脸识别算法，创新性地提出了基于g a b o r 小波特征提取 和d f l d a 相结合的新思路，得到了一种具有对光照不敏感、类别分离能力较好的 新算法g d f l d a ，实验表明新算法有较好的效果。进一步地，借助后端分类器的设 计进一步提高了人脸识别算法的性能，引入了虚拟样本机制克服了大规模数据库以 及数据库集样本过少对于子空间样本的分布造成的影响。 3 在各类算法的基础上进行了各类应用系统的设计架构与集成，同时设计与实现了一 个人脸识别算法评估与测试平台。 1 7 论文的结构安排 本文的后续章节的结构安排如下： 第二章提出了一种新的基于融合思路的光照无关的人脸图像预处理算法，并给出了 实验和结果，同时将该方法与其他方法进行了详细的对比。 第三章描述了基于子空间的人脸识别算法的一些改进思路和实现，并给出了实验和 结果。 第四章阐述了人脸识别相关应用系统的架构，核心的算法封装成系统构件进而集成 到应用系统中。同时，也介绍了我们开发的用于人脸识别算法测试和评估的f r t p 平台。 最后对全文的工作进行了总结，并且提出了探讨了未来的研究方向 0 第一章一种新的光照无关的人脸图像预处理算法 第二章一种新的光照无关的人脸图像预处理算法 2 1 引言 在图像处理与模式识别领域，通常需要对原始的数据进行预处理。借助预处理来去 消除原始数据由于采集或者自身因素对后续处理造成的影响，是图像处理和模式识别的 一个重要手段。 人脸识别中，一旦成功对静态图片或者视频流的人脸进行定位，则开始了人脸图像 的预处理过程。我们采用的定位技术能够从一副静态图片或者视频流的一帧中得到眼睛 对的位置信息，接下来的常规的人脸识别预处理包括个根据眼睛座标信息截取出人脸区 域、均衡化处理、加掩模以消除发饰背景影响。常规的人脸识别预处理可以从图2 1 加 以理解。 图2 1常规的人脸识别图像预处理过程 正如前面所提，人脸识别目前面临的主要问题是p ( p o s e ) 、i ( i l l u m i n a t i o n ) 、 e ( e x p r e s s i o n ) 三大问题t “。表情、姿态是由于被识别人的主观行为对图像内容造成的不 可扭转的影响，一般都无法在预处理阶段加以修正甚至解决。人脸识别预处理只能通过 去除与脸部区域无关的其他肢体动作以消除表情的影响：根据眼睛座标进行平面旋转以 片面消除姿态的影响。而对于同一个人不同表情的区分以及修正，同一个人进行不同的 深度旋转和侧、仰、低等动作，是无法通过进行人脸图像预处理加以妥善解决。与之迥 然相异的是，光照问题则是由于在图像数据采集过程中客观环境因素( 采集设备、光照 条件、背景噪声等) 使得图像质量退化，因此，采用预处理手段，通过图像处理中图像 增强和图像复原思路，针对人脸图像本身的特点，来去恢复和重现退化的人脸图像，是 非常必要的。我们的目的就在于寻找一种光照无关的算法，来去解决光照问题对人脸识 别造成的影响。 华南理丁大学硕士学位论文 2 2 几种传统的光照预处理方法回顾 一旦人脸区域成功被定位出来，既可以采用特定的光照纠正算法对于人脸区域进行 光照纠正。常规的图像复原和图像增强的算法都被大量尝试过用于人脸识别图像光照预 处理即l ，其中，比较传统的做法就是简单地做直方图均衡化。此外，近年来相关的研究 又陆续提出光学锥建模、商图、s f s 等一系列光照纠正的方法1 4 1 1 4 9 1 1 5 0 1 1 5 2 1 1 5 3 1 ，这些方法或因耗 时过长，难以实时处理，或因受限过多，均无法实用。在探讨新的光照无关的图像预处 理算法之前，我们首先来回顾一下几种被证实了在光照纠正上有着一定效果的预处理方 法。 2 2 1 直方图均衡化 在人脸图像的采集过程中，光照不均匀的话会造成图像灰度过于集中。光线的过暗 或者过亮会使得图像灰度集中在直方图的较低或者较高区域，图像模糊不清，尤其是 些脸部细节无法表现。进行光照纠正的一个重要思路就是修正直方图使之大致平和。此 时，可以使用直方图均衡化来去改善图像质量【5 1 ，从一定程度降低光照和其他图像污染 给人脸图像带来的影响。 定义图像x 中各灰度值的概率为： p 。= 旦( 2 - 1 ) 疗 其中，n 。是灰度为k 的象素数，r l 为图像总象素数，令： 女 c ( ) = p j ( 2 2 ) j = 0 则均衡化的输出y 为：