不同光照条件下的人脸识别算法研究

分类号 密级硕士学位论文题目：不同光照条件下的人脸识别算法研究英文并列题目：Face Recognition algorithms Research Under Different Lighting Conditions研究生：王美专业：计算机应用技术研究方向：图像处理与模式识别导师：梁久祯指导小组成员：学位授予日期：答辩委员会主席：江 南 大 学地址：无锡市蠡湖大道1800号二一九二一九年六月独 创 性 声 明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：关于论文使用授权的说明本学位论文作者完全了解江南大学有关保留、使用学位论文的规定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。签名：导师签名：日期：摘 要随着人脸识别技术的发展与研究，光照问题成为制约其发展的瓶颈之一光照问题成为制约其应用的瓶颈之一。人脸图像因为光照条件的变化而产生的改变甚至超过了不同个体之间差异的变化。本文的研究是从光照问题展开，以提取光照鲁棒性的特征为核心，以提高人脸识别系统的识别率为主要目标，对人脸图像预处理、特征提取，特征识别等关键环节进行研究。本文主要包括以下几个方面的内容：（1）不同光照预处理方法研究。该部分内容主要是对当前光照预处理方法进行总结和归纳，包括基于小波变换的预处理方法，自商图像方法（单尺度、多尺度自商图像），Retinex方法（单尺度、多尺度、自适应单尺度Retinex方法），各向异性非均质光滑，同态滤波，局部对比增强。通过完备的实验测试方案，对比分析相同光照预处理方法在不同人脸测试库的性能差异以及不同光照预处理方法在相同人脸测试库的性能差异。（2）特征提取方法研究。该部分内容详细介绍本文提出的两种改进方法：一是基于Curvelet变换的自适应特征提取的鲁棒性人脸识别算法；二是二维PCA非参数子空间分析人脸识别算法；同时通过实验验证本文方法优于当前流行方法，如2DPCA，2DLDA，(2D)2PCA，(2D)2LDA，2DPCA+2DLDA，2DNSA，同时对本文所提两种算法进行了深入的性能分析另外对本文所提两种算法进行了深入的性能分析。（3）不同光照预处理和不同特征提取方法综合实验研究。由于目前的光照预处理方法没有通用性，对不同特性的人脸数据库处理后的效果好坏不同，经实验验证：特定的预处理方法对特定属性的数据库，同时结合特定的特征提取方法才能达到理想识别效果。关键词：人脸识别；特征提取；光照预处理；Curvelet变换；二维非参数子空间分析AbstractAbstractWith the development of face recognition techniques, illumination problem becomes a mainone of the obstacles. Sometimes, tThe difference between two face images caused by variant illumination is greater than that caused by individual difference. One important purpose of this paper is to improve the face recognition accuracy. To achieve this purpose, the focus of the work is on image preprocessing, feature extraction and, feature recognition. The research starts from illumination problem , focuses on robust feature extraction and the main work includes:(1) Research of different illumination preprocessing methods. (2) This part summarizes the current illumination preprocessing approaches which includes method based on wavelet transformation, self-quotient image(single scale, multi-scale self-quotient image) method, Retinex(single scale, multi-scale, adaptive single scale Retinex) method, smoothing (isotropic, anisotropic) method, DCT normalization in logarithm domain method, homomorphic filter and local contrast enhancement(LCE) method. They are compared and analyzed that the same preprocessing approach in different face databases and different preprocessing approaches in the same face database through perfect experiment schemes.(3) Research of different feature extraction methods. (4) First the two new methods are proposed in detail: One is a(5) Adaptive feature extraction based on cCurvelet Transform transform in robust face recognition.; another is (6) 2-D PCA Nonnon-parametric Subspace subspace Analysis analysis Face face Recognition recognition Algorithmalgorithm. (7) Finally, the experimental results show that the proposed methods are prior to the current methods which include 2DPCA, 2DLDA, (2D)2PCA, (2D)2LDA, 2DPCA+2DLDA, 2DNSA, meanwhile the performance of the proposed methods performance areis analyzed through different experiments.(8) Performance research of different feature extraction methods after different preprocessing. (9) Most of current preprocessing methods have weak generalization. They are different to different face databases, so to achiveachieve good recognition performance the specific preprocessing approach should match the specific feature extraction method in some face database.Keywords: face recognition; feature extraction; illumination preprocessing; Curvelet curvelet transformation; 2DNSA(two dimensional non-parametric subspace analysis)目 录目 录摘 要IAbstractII目 录I第一章 绪论11.1 人脸识别技术研究现状11.1.1 研究背景和意义11.2.1 研究内容11.3.1 研究现状21.2 本课题研究意义和现状41.3 本文的研究内容及结构安排51.3.1 研究内容51.3.2 结构安排61.4 本章小结6第二章 不同光照预处理方法研究72.1 基于小波变换的预处理(wavelet-based normalization)72.2 自商图像(self-quotient)82.3 Retinex 方法92.4 各向异性光滑处理(anisotropic smoothing)102.5 同态滤波(homomorphic filtering)112.7 局部对比增强(LCE)132.8 实验结果和分析142.8.1 实验一152.8.2 实验二242.9 本章小结25第三章 基于Curvelet变换的自适应特征提取算法263.1 基于Curvelet的特征提取263.1.1 Curvelet变换263.1.2 离散Curvelet变换的实现方法283.2 自适应特征的提取293.2.1 候选特征的表示293.2.2 鉴别能力分析与特征选择303.3 实验结果与分析313.3.1 分块熵特征表示的性能优势313.3.2 自适应特征选择333.4 本章小结34第四章 二维PCA非参数子空间分析人脸识别算法354.1 非参数子空间分析(NSA)354.2 2DPCA+2DNSA364.2.1 二维主成分分析(2DPCA)364.2.2 二维非参数子空间分析(2DNSA)364.2.3 特征提取和分类374.3 实验结果与分析374.3.1 不同2DPCA子空间对2DNSA的影响384.3.2 方法性能分析394.4 本章小结40第五章 不同光照预处理和不同特征提取的综合实验研究415.1 Yale 人脸数据库中的实验分析415.2 ORL 人脸数据库中的实验分析435.3 LARGE 人脸数据库中的实验分析455.4 本章小结47第六章 总结与展望486.1 本文总结486.2 展望48致 谢51参考文献52附录： 作者在攻读硕士学位期间发表的论文5759第二章 不同光照预处理方法研究第一章 绪论1.1 人脸识别技术研究现状1.1.1 研究背景和意义21世纪是网络技术、信息技术的世纪。随着计算机和网络的高速发展，信息的安全性、隐蔽性越来越受到关注。在数字化和智能化日益广泛的今天，如何有效、方便地进行身份验证和识别，已经成为人们日益关注的问题，也成为当今信息化时代必须解决的关键性社会问题1。身份证、口令密码、网络账号、学生证、工作证、智能卡等传统的身份认证方式，不但记忆复杂、使用繁琐、携带不便、不易保管，而且容易被窃取、伪造和盗用。因此，目前广泛使用的身份认证技术受到严峻的挑战，并且越来越不适应社会的进步和现代科技的发展2。生物特征识别由于其独特的属性和高新技术性正悄然担负起这个重要的转型使命。人脸自动识别3是一种重要的生物特征识别技术3，由于通过人脸图像进行个体识别优点4很多4，如：事后追踪能力强，普通人就可以核实验证；操作隐蔽性强；采用非接触式采集，无侵犯性；可交互性强，符合人类识别习惯；采集设备成本低等等。鉴于它的诸多优势，其应用非常广泛，如：身份证件的识别、银行ATM取款机、自动门禁系统以及智能家居的安全等领域。而且人脸鉴别技术还可用于公安刑侦追逃和罪犯识别。此外，据FERET 的FRVT2002报道，最新的一种应用形式是watch list task5，其综合了确认和辨认两种技术。其过程是，对未知身份的人脸照片，在全体数据库中搜索出一个与之最相似的照片集合，如果最高的相似度超过了预定阈值，那么在这个照片集合中进行身份验证，最终给出该人的身份。人脸识别研究还具有不可忽视的理论研究价值。人脸是非刚体、容易受到表情、光照、年龄等因素的影响，使得人脸识别研究成为一项极具挑战性的课题，对人脸识别的研究已成为当今模式识别与人工智能领域的一个研究热点6-8，它涉及到了计算机图形学、模式识别、计算机视觉、生理学、心理学、图像处理、计算智能以及认知科学等诸多技术。1.2.1 研究内容人脸识别主要分为人脸检测、人脸表征和人脸识别三个过程，见图1-1人脸检测人脸识别人脸表征图像标准人脸特征图1-1 人脸识别过程人脸检测包括：人脸检测、人脸定位和人脸跟踪。就是给定任意图像，确定其中是否存在人脸；如果有，给出人脸的位置、大小等状态信息。人脸跟踪指在一组图像序列或动态视频中实时地检测人脸。人脸检测主要受到光照、噪声、姿态以及遮挡等因素的影响，人脸检测的结果直接关系到后面两个过程的准确性。近年来，人脸检测和人脸跟踪开始成为独立的研究课题受到研究者的关注。人脸表征就是提取人脸的特征，是将现实空间的图像映射到机器空间的过程。人脸的表示具有多样性和唯一性，这其实就是人脸共性和特性之间的关系问题；只有保持这种多样性和唯一性，才能保证人脸图像的准确描述和识别。人脸图像信息数据量巨大，为了提高检测和识别的运算速度，为了提高图像传输和匹配检索速度，必须对图像进行数据压缩，降低向量维数，即用尽可能少的数据表示尽可能多的信息。人脸表征在提取人脸特征的同时，也实现了对原始图像的数据降维。人脸识别就是将待识别的人脸与已知人脸进行比较，得出相似度的相关信息。这里所指的人脸识别是狭义的识别，是统称的广义人脸识别的一个子过程。人脸识别分为两类：一类是确认，它是一对一进行图像比较的过程。另一类是辨认，它是一对多进行图像匹配比对的过程。人脸确认是辨认的简化，人脸辨认比人脸确认要复杂困难的多，因为人脸辨认系统涉及大批量数据的比对。在海量数据的检索比对中，识别精度和检索时间是至关重要的指标，因而这一过程的核心是选择适当的人脸表征方式和匹配策略。1.3.1 研究现状国内在人脸识别领域的研究起步较晚。近年来，国内很多高校和研究机构，如中国科学院计算机技术研究所和自动化研究生、清华大学、哈尔滨工业大学、浙江大学、南京理工大学、四川大学、吉林大学等，投入了人脸识别相关工作的研究，并取得了很大进展，理论水平逐步与国际先进水平接轨。国内的研究工作主要是集中在三大类方法的研究：基于几何特征的人脸正面自动识别方法、基于代数特征的人脸正面自动识别方法和基于连接机制的人脸正面自动识别方法。北京科技大学的王志良教授主要研究人工心理，建立了以数学公式为基础的心理学模型。周激流实现了具有反馈机制的人脸正面识别系统，运用积分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3D信息，他对人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。彭辉、张长水等对“特征脸”的方法做了进一步的发展，提出采用类间散布矩阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下，大大降低了运算量。程永清，庄永明等对同类图像的平均灰度图进行SVD分解得到特征脸空间，每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。张辉，周洪祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识别。周志华等提出将神经网络集成应用于多视角人脸识别，通过多视角特征分析获得人脸特征，识别精度从单一神经网络能达到75.625%提升到97%。荆晓远等提出了基于相关性和有效互补性分析的多分类器组合方法，对人脸图像作正交小波变换，得到其在不同频带上的4个子图像，然后分别提取奇异值特征。山世光等提出了基于纹理特征分布和变形模型的脸部特征提取方法，解决了可变形模板对参数初始值依赖性强和计算时间长的问题。2002年11月26日，由中国科学院计算技术研究所等单位承担的国家863计划之一的“面像检测与识别核心技术”通过专家鉴定。该系统只需1/10s或1/20s即可自动检测到人脸，在一般的PC上完成身份识别约需1s。具有自主知识产权的清华大学人脸综合识别系统，目前已全面进入应用推广阶段。这一项目是国家“十五”重点攻关项目，由清华大学电子工程系苏光大教授主持研制成功。日前，这个系统通过了由公安部主持的专家鉴定。鉴定委员会认为，这项技术处于国内领先水平和国际先进水平。清华大学人脸综合识别系统的研制成功，标志着我国具有设计大型人脸识别系统和单机多路活动人脸并行检测与识别的能力，也标志着我国在人脸识别理论与方法上取得了重大的突破。人脸图像由于年龄、姿态、表情、光照等因素而具有“一人千面”的特点，因此，人脸识别技术具有极大的挑战性。清华大学人脸综合识别系统将人脸识别技术、网络数据库技术、计算机并行处理技术、人像组合技术、模糊图像复原技术、视频图像采集与处理的硬件技术等综合集成为一个高效运行的实用人脸识别系统。该系统建有256万张人脸图像的人脸识别数据库，识别速度已达到每秒256万张。清华大学人脸综合识别系统具有几个有应用价值的特点：可以进行“无线”的人脸识别，可用手机拍摄人脸图像，通过无线传输，发送到人脸识别系统进行人脸识别，并把识别结果发回手机，有助于公安部门移动办案；具有文档资料和人脸图像混合的识别查询功能，大大提高了查找犯罪嫌疑人的准确率；有组合人像和模糊人像的识别查询功能，从而更大地拓展了人脸识别技术的应用范围；具有眼镜摘除的人脸识别功能，从而解决了眼镜识别的难题；可以进行行进中的活动人脸识别，解决了监视人脸识别的难题。据了解，这项技术具有自主知识产权，其核心技术具有多项发明专利。清华大学人脸综合识别系统一经推出，即发挥出实际效用。国外有很多大学在此方面取得了很大进展，他们研究涉及的领域很广，其中有从感知和心理学角度探索人类识别人脸机理的，如美国Texas at Dallas大学的Abdi和Toole小组，主要研究人类感知人脸的规律，如漫画效应、性别识别与人脸识别的关系、种族效应等；有Stirling大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组，主要研究人类大脑在人脸认知中的作用，并在此基础上建立了人脸认知的两大功能模型，他们对熟悉和陌生人脸的识别规律以及图像序列的人脸识别规律也进行了研究。也有从视觉机理角度进行研究的，如英国Aberdeen大学的Craw小组，主要研究人脸视觉表征方法，他们对空间频率在人脸识别中的作用也进行了分析；荷兰Groningen大学的Prtkov小组，主要研究人类视觉系统的神经生理学机理并在此基础上发展了并行模式识别方法。更多的学者则从事利用输入图像进行计算机人脸识别的研究工作9。在用静态图像或视频图像做人脸识别的领域中，国际上形成了以下几类的人脸识别方法：基于几何特征的人脸识别方法，采用改进的积分投影法提取出用欧氏距离表征的35维人脸特征矢量用于模式分类；基于模板匹配的人脸识别方法，采用弹性模板来提取眼睛和嘴巴的轮廓；基于K-L变换的特征脸方法，如Fisher脸方法等；隐马尔可夫模型方法；神经网络识别方法；基于动态链接结构的弹性图匹配方法；利用运动和颜色信息对图像序列进行人脸识别的方法等。1.2 本课题研究意义和现状虽然目前人脸识别系统已经产生了很好的效果，但是这些效果都是在一定的条件下的，周围的环境都必须有一定的控制。在任意条件的人脸识别现在还没有很好的效果。通过对实际人脸识别系统的测试表明，光照、姿态和表情三大问题一直是影响人脸识别精度的重要因素，其中姿态和表情属于影响人脸识别率的内在因素，可以通过适当的约束条件来降低它们的影响；而光照属于外在因素，特别是自然环境光的变化不是人为所能控制的，在不同的光照下，就会得到不同的二维图像，而基于这些在任意光照下的二维图像进行识别是非常困难的，进而引起识别率显著的下降。大量的实用系统是需要室外24小时全天候工作的，摄像时的光照条件必然有剧烈的变化。同一个人的人脸图像在光照条件不同时，经过特征提取后的差异往往要大于不同的人在相同光照条件下的人脸图像的差异。经典的评测也表明10：即使是最好的商业系统，其性能也会在室外光照环境下急剧下降。因此，光照变化是解决人脸识别问题时所需考虑的重要因素。不同光照条件下的人脸识别方法研究是随着人脸识别系统的实际需求产生的，是在光照成为人脸识别技术发展瓶颈的时候，引起普遍关注的。针对变化光照条件下的人脸识别问题，国内外研究者将光照处理作为人脸识别的一个重要前期处理过程。目前常用的光照处理方法大致可分为三类：（1）提取不同光照条件下人脸的“不变”特征或对光照不敏感的特征为目标。Ojala 11等111996年 提出局部二值模式LBP，该方法允许基于局部对比的光照补偿对图像进行描述。LBP以及改进LBP可以在一定程度上对光照具有鲁棒性12（Timo Ahonen etal 2006）。Adini 13等131997年 提出edge maps ，二维Gabor 滤波器图像，梯度图像可作为光照不变的描述，但这样的描述无法克服光照方向的影响。Chen 14等142006年提出对数域离散余弦变换进行光照补偿的方法，该方法主要考虑到光照变化主要位于低频带，因而可以通过丢弃低频系数进行光照处理，结果表明该方法具有一定约束，因为具体选择哪些系数进行丢弃，以及图像的尺度，都需要进一步确定。（2）建立光照变化下的人脸模型。Shashua 15等15，2001年 研究的商图像被认为是研究光照变化的光模型，但是当训练集主要特征和测试集主要特征不能正确对齐匹配时，识别效果将明显下降。人脸光照模型的建立通常要假设光照影响主要是因为三维人脸在不同方向的光照下反射引起的，文献1617中提出的光照锥（Belhumeur and Kriegman, 1998; Georghiades et al, 2001）方法是对一个目标人脸在确定的某一姿势下的所有可能光照的模型，它需要很多不同光照条件下的图像，在低维线性子空间中构建。在文献18中，提出一种基于球谐函数的描述，该方法需要预先知道光源和大量的训练集信息，这样的条件是很不实际的。而且模型的建立通常是假设人脸是一个标准的朗伯曲面，但实际的人脸并不是标准的完美的朗伯曲面。所以，模型方法有一定得局限性，不适于在现实系统中使用。（3）用图像预处理技术对人脸进行光照归一化和光照补偿处理。这种方法通常是采用变换，滤波，增强等图像处理技术对光照进行处理，它的特点是简单，易于实现，且在一定条件下可以达到较好效果。例如：直方图均衡化（HE），Gamma 强度校正(GIC)被广泛用于光照归一化处理19。然而基于全局的光照处理不能很好的去除光照的不均衡性，从而出现了基于区域的直方图均衡化(RHE)19和基于块的直方图均衡化(BHE)20，相比HE虽然识别率得到了改善，但是结果还是不尽如人意，文献19的作者提出商重光照（QIR）的方法，该法要假设图像的光照模式是可以被了解和被评估的。在文献21中，作者结合SSFS（symmetric shape-from-shading）和三维模型处理的方法，识别效果得到了改善，但是这种方法只对正面的人脸有效，而且要以所有人脸共享相似的通用形状为假设前提。在文献22中，对数总方差（LTV）模型可以通过分解一幅人脸照片得到光照不变的人脸结构。最近，在文献23中，基于LTV和LOG-DCT14，提出了一种新的光照归一化方法。消除了光照的影响之后，就可以在均匀光照条件下进行人脸识别的研究了。目前人脸识别方法主要有：基于几何特征的方法；基于机器学习的方法；基于模型的方法（三维形变模型，隐马尔可夫模型）；基于局部特征的方法；基于子空间分析的方法；子空间分析方法是使用最普遍的一种，它包括主分量分析，线性判别分析，独立分量分析，基于核的非线性子空间方法，流形学习方法。1.3 本文的研究内容及结构安排1.3.1 研究内容针对人脸识别的光照影响问题，本文主要结合光照预处理方法减少或去除光照敏感信息，利用良好的特征提取方法对人脸进行表征，从而对人脸进行高效识别。本文主要包括以下几个方面的内容：（1）不同光照预处理方法研究该部分内容主要是对当前光照预处理方法进行总结和归纳，包括基于小波变换的预处理方法，自商图像方法（单尺度、多尺度自商图像），Retinex方法（单尺度、多尺度、自适应单尺度Retinex方法），各向异性非均质光滑处理，同态滤波，局部对比增强。通过完备的实验测试方案，对比分析相同光照预处理方法在不同人脸测试库的性能差异以及不同光照预处理方法在相同人脸测试库的性能差异。（2）特征提取方法研究该部分内容首先简介当前流行的特征提取方法，如2DPCA，2DLDA，(2D)2PCA，(2D)2LDA，2DPCA+2DLDA，2DNSA，然后详细介绍本文提出的两种改进方法：基于Curvelet变换的自适应特征提取的鲁棒性人脸识别算法；二维PCA非参数子空间分析人脸识别算法；同时通过实验验证本文方法优于当前流行方法，同时对本文所提两种算法进行了对比。（3）不同光照预处理后的不同特征提取方法性能分析由于目前的光照预处理方法没有通用性，对不同特性的人脸数据库处理后的效果好坏不同，经实验验证：特定的预处理方法对特定属性的数据库同时结合特定的特征提取方法才能达到理想识别效果。1.3.2 结构安排第一章 绪论 先对人脸识别技术的背景意义、研究内容和现状做概述，然后介绍本课题的背景意义和国内外研究现状，最后总结本文的主要研究内容。第二章 不同光照预处理方法研究 简要介绍了几种流行的光照预处理方法，然后通过实验对比分析这些方法的性能和耗时，通过不同的标准人脸库来分析预处理方法的可扩展性和通用性。第三章 基于Curvelet变换的自适应特征提取算法 对本文提出的基于Curvelet变换的自适应特征提取算法进行详细介绍，并通过在多种人脸数据库中进行实验，分析本文方法的性能，比较本文方法与常用特征提取方法的优劣。第四章 二维PCA非参数子空间分析人脸识别算法本章详细介绍本文提出的二维PCA非参数子空间分析的人脸识别算法，对非参数子空间进行分析。通过多个人脸数据库的实验，证明了本文方法的有效性，同时也验证了本文方法优于其他流行特征提取方法。第五章 不同光照预处理方法和不同特征提取方法综合实验研究本章重点是通过实验来分析预处理和特征提取是否有必然联系，通过三组实验方案来完成，目的在于研究相同预处理条件下的不同特征提取方法和不同预处理条件下的相同特征提取方法。第六章 总结与展望 对论文所述工作进行总结，并简述了人脸识别技术现在还存在的问题，以及表达自己对未来工作的展望。1.4 本章小结人脸识别技术在科学技术的快速发展下逐步成熟起来。相信在未来的几年中，人脸自动识别可以结合物联网技术的推广而广泛应用。本章主要介绍了不同光照条件下的人脸识别背景及研究意义，简单讨论了当前解决光照问题的常用方法和本文提出的光照鲁棒性的特征提取方法。最后总结了本文的主要研究内容和文章结构安排。第二章 不同光照预处理方法研究2.1 基于小波变换的预处理(wavelet-based normalization)24小波变换是时间和频率的局部交换，因而能有效地从图像中提取信息。通过伸缩和平移等运算功能可对函数或信号进行多尺度的细化分析。当小波变换用于图像处理时，它多分辨率分析的特性可以得到图像不同层次的逼近信息和细节信息，见图2-1。LL2HL2HL1LH2HH2LH1HH1图2-1 图像的小波分解结构基于小波变换的人脸图像光照归一化方法是通过小波变换得到图像的粗系数（低频系数）和细节系数（高频系数），然后对不同的系数图进行特定的操作之后，再重构图像。具体步骤见下图框(图2-2)：粗系数修正细节系数修正小波变换图像重构图2-2 基于小波光照归一化框图首先由二维小波变换将图像分解为低频粗系数成分和高频细节系数成分，然后对低频粗系数表示的图像进行直方图均衡化处理，同时对高频细节系数表示的图像乘以一个大于1的尺度因子。最后将均衡后的粗系数图与修正后的细节系数图通过二维小波逆变换重构图像。这样处理的优势在于：小波频域的直方图均衡化可以针对光照敏感的特定信息进行，不同于在图像空间域，只能对整体图像进行直方图均衡化，改变整幅图像的整体对比度，但是同时会改变细节特征的分布；同时利用小波分层分解的特性所提取的细节信息，通过乘以大于1的尺度因子，可以很好的增强边缘特征。因此，图像信息最终可以由不同尺度上的小波基函数和尺度基函数共同来表达， (2.1)是尺度为的尺度函数，是尺度为的小波函数，分别为尺度系数和小波系数。其中尺度系数和小波系数可以很容易的由低通滤波和高通滤波构成的二维滤波器组计算得到。图 2-3 不同光照条件下的小波归一化效果(第一行是原始图像，第二行是归一化效果图)2.2 自商图像(self-quotient)2526反射光照模型是自商图像的理论基础，其中是表面的反射系数 是表面的反射系数，是光照，是图像。光照被近似认为是图像的低频成分，可以通过平滑算子来估计，即，从而自商图像 (2.2)之所以称为自商图像是因为它有着与商图像一样的光照不变形式，但是它不像商图像那样需要很多的训练图像，而是仅需要图像本身即可。自商图像分单尺度自商图像(SSQI)和多尺度自商图像(MSSQI)，所谓的尺度是指滤波器的大小。单尺度自商图像对整幅图像采用一个滤波器处理一次所得，多尺度自商图像是选择不同大小的滤波器构成滤波器组依次处理图像叠加所得。具体操作流程如下： 选择平滑核，单尺度选择一个核，多尺度根据情况可选择多个，一般核大小选择奇数，以下操作以多尺度自商图像为例； 计算权值； 对图像进行平滑处理 (2.3) 计算自商图像 (2.4) 对自商图像进行非线性变换 (2.5) 加权计算非线性变换的结果 (2.6)其中表示非线性变换的参数。图 2-4 不同光照条件下的自商图像(第一行是原始图像，第二行是单尺度自商图像，第三行是多尺度自商图像)2.3 Retinex 方法27Retinex理论的图像处理模型是从人眼成像原理的逆过程建立的。Retinex理论指出，人眼成像主要由两大因素决定，分别是入射光和反射物体，具体成像过程可用以下公式表示： (2.7)其中，表示反射系数，主要由形状、姿态、材料、密度等因素决定，是与光照无关的。是入射光照。是反射光被观察者的眼睛或相机接收所形成的图像。从给定的原始图像恢复出光照和反射系数是一个不定方程求解问题，因此一般参考文献都是通过增加一个约束条件来求解的。这需要先假设光照在空间上是平滑的，反射系数在较小的邻域内是常量，可以通过特定的阈值分离出来，同时还需，光照的值接近图像的亮度。基于这些假设，Land提出了中心/环绕Retinex理论28。Jobson提出了单尺度Retinex算法(SSR)29来求取，计算方法是： (2.8)其中，是低通滤波算子，是原始图像，*表示卷积运算。目前主要有几种形式： (2.9) (23.10) (32.11) (32.12)其中： (31.13)不管哪一种函数，本质都是为了对原图像进行各向同性的低通滤波，从而用平滑后的图像来估计图像中的光照成分，进一步估计反射系数。Retinex方法相关的还有多尺度Retinex方法(MSR)30，自适应光滑单尺度Retinex方法(ASSR)31。图 2-5 Retinex预处理效果(第一行是原始图像，第二行是单尺度Retinex，第三行是多尺度Retinex，第四行是自适应光滑单尺度Retinex)2.4 各向异性光滑处理(anisotropic smoothing)32根据成像原理，由公式(2.7)可以看出，只要能够很好的估计出光照，就能间接的求出反射系数所表示的本质图像，由于反射系数是由物体本身的物理属性决定的，不受光照条件和光源的影响，所以反射系数图就是最终要得到的处理后的图像。由于光照条件复杂的图像，局部对比度差异很大，但是用各向同性的平滑机制无法达到令人满意的效果，因此，为了有针对性的各个局部依次处理又不使局部间跳跃过度，Gross和Brajovic? 通过最小化以下代价函数来对光照进行估计： (32.14)其中第一项是使得光照接近原始图像，第二项是保证光照在较小领域内的光滑性，控制两项的相对重要性，代表图像空间，是各向异性的特征函数。如果用欧拉-拉格朗日方程来求解上式，则可以得到如下微分方程： (32.15)通过矩形格离散化处理，得到如下离散方程： (32.16)其中和分别是点处的光照值和图像值，同时通过韦伯对比度来调节， (32.17)公式(3.6)是一个边界问题，可以被认为是一个大稀疏矩阵等式，通过多格方法解此数值方程，从而根据得到。图 2-6 各向异性光滑处理效果(第一行是原始图像，第二行是各向异性光滑处理后的效果)2.5 同态滤波(homomorphic filtering)33同态滤波是把频率过滤和灰度变换结合起来的一种图像处理方法，它依靠图像的照度/ 反射率模型作为频域处理的基础，利用压缩亮度范围和增强对比度来改善图像的质量。同态滤波的基本原理是：将像元灰度值看作是照度和反射率两个组份的产物。由于照度相对变化很小，可以看作是图像的低频成份，而反射率则是高频成份。通过分别处理照度和反射率对像元灰度值的影响，达到揭示阴影区细节特征的目的。 (32.18)为了将相互独立的照度和反射率分离，采用对数域变换操作： (32.19)用滤波函数对上式进行计算得： (42.20)这里的*表示卷积运算，由卷积理论(Adini et al.,1997)可以将上式改写为： (42.21)其中，分别是，的傅里叶变换，这样通过逆傅里叶变换可以得到： (42.22)其中表示逆傅里叶变换，令 (42.23) (42.24)则公式(4.2)可以为： (42.25)令是过滤后的增强图像，结合公式(3.9)，可得： (42.26)其中，分别对应光照和反射成分的输出图像。通常取巴特沃斯高通滤波器， (42.27)是距离傅里叶变换中心的距离，是距离阈值，是滤波器的阶。 lnDFTH(u,v)(DFT)-1exp图 2-7 同态滤波流程图图 2-8 同态滤波效果图(第一行是原始图，第二行是同态滤波效果图)2.7 局部对比增强(LCE)34不均衡光照条件下的图像一般都有较大的亮度范围，且数据值分布不均衡。通常的直方图均衡化仅仅从整体角度改变数据分布，数据分布虽然均衡了，但是不能有效的突出细节特征。因为基于整幅图像的均衡化处理会限制对比拉伸的比率，而基于局部的对比增强可以有效的改善细节特征的可视化。局部对比增强变换的公式如下： (42.28)其中：L(m, n)表示像素(m, n)处的灰度值， (42.29)为预定义的阈值，W 是像素(m, n)的领域。实验采用的领域，是所选领域的像素数总和。由于公式(2)得到的局部值可正可负，所以有必要进行数据归一化： (52.30)图 2-9 局部对比增强(第一行是原始图，第二行是局部对比增强效果图)2.8 实验结果和分析本实验部分主要分两部分进行分析和验证，第一部分是分析不同光照预处理方法在相同人脸数据库中的效果性能。第二部分是分析相同预处理方法在不同人脸数据库中的效果性能。实验采用的人脸数据库主要有：ORL ，PIE， Yale， YaleB，Grimace。ORL数据库包含40个人的400张大小为92x11292112的灰度图像，每个人都采集了10幅不同的图像。所有的图像都有着相似的暗背景，同一个人的不同图像是在不同时间、不同光照、不同姿势(上倾、下倾、左偏和右偏)、不同人脸表情(睁/闭眼、笑/严肃)和不同人脸细节(有/无眼镜)下拍摄而得的，但通常上述几种变化并不会同时出现在同一个人的10幅图像中。此数据库可以从http:/www.cl.cam.ac.uk/Research/DTG/attarchive:put/data/att_faces.zip 下载。PIE数据库包含68人的41368幅640x486的图像，其中包括了丰富的姿态、光照和表情变化。就姿态来说，在同一光照条件下，每人被拍摄13幅图像，这其中包含了头在负90度到正90度之间的左右旋转拍摄的9幅，以及头下倾、上倾，左上倾、右上倾4幅。就光照变化而言，背景光照分为两种：一种为开背景灯，一种为不开背景灯。在每一背景光照和姿态下，每人被拍摄21幅图像，这其中包括闪光灯与人脸中心同平面且与人脸成负90度到正90度方位角之间放置时拍摄的8幅图，以及闪光灯在人脸上方(或斜上方)且与人脸成大约-67.5度+67.5度仰角之间放置时拍摄的13幅图。每个人的图像中蕴涵的表情变化为正常表情、微笑和眨眼3种。此数据库可以从/projects/project_418.html 查到申请获取的信息。Yale数据库包含15个人的165幅大小为100x100的灰度图像。每个人都被收集了11幅不同的图像，这11幅图像显现的特点依次为正面光照射、带眼镜、表情是高兴、左侧光照射、没带眼镜、中性表情、右侧光照射、表情是悲伤、困乏、惊讶、眨眼。此数据库可以从/projects/yalefaces/yalefaces.html下载。YaleB数据库包含了10个人的5760幅640x480的灰度图像。每人均在保持自然表情、无遮挡和恒定背景光照的情况下，被拍摄