（信号与信息处理专业论文）不同光照条件下的人脸识别算法研究.pdf

摘要 摘要 人脸识别( f a c er e c o g n i t i o n ) 是指基于已知的人脸样本库，利用图像处理和 模式识别等技术从静态或动态场景中，识别或验证一个或多个人脸。人脸识别 技术是模式识别和机器视觉领域最富挑战性的研究课题之一，它在公共安全、 信息安全、人机交互等领域中有着广泛的应用前景。经过三十多年的研究，人 脸识别技术在理想环境条件下己达到实用程度，但是在环境不可控的情况下， 由于光照、姿态、表情、遮挡等变化的影响，已有的人脸识别算法性能大大下 降，其应用范围也受到了较大的限制。因此，针对各种变化的鲁棒的人脸识别 技术是当前的一个研究热点。 本文主要针对不同光照条件下的人脸识别技术进行了研究，并提出如下的 识别算法： 1 基于改进b p 神经网络的人脸识别算法。提出了一种基于小波变换的图 像降维、基于光照率图像的光照校正与改进的b p 神经网络相结合的人脸识别 算法。运用小波变换对人脸图像进行降维，在减小数据量的同时保持图像的基 本信息；运用基于光照率图像的方法对图像进行光照校正，以改善光照变化对 图像质量的影响；运用改进的b p 神经网络对不同光照条件下的人脸图像进行 识别。讨论了传统b p 神经网络的参数选取问题，对s i g m o i d 函数和网络学习速 率进行了改进，以提高系统的收敛速度和收敛率。 2 基于反射特性估计的人脸识别算法。基于人脸的对称特性，用两幅已 知光照条件的人脸图像估计图像每点的反射特性，继而合成不同光照条件下的 人脸图像；设计了同态滤波与对称关系修正相结合的光照校正算法，对人脸图 像进行光照校正，以改善光照变化对图像的影响；基于校正后的人脸图像完成 人脸识别。 实验中采用y a l ef a c ed a t g 【b a s eb 人脸数据库。实验结果表明，本文提出的 两种算法对于不同光照条件下的人脸图像能够取得较理想的识别结果。 关键词人脸识别；光照变化；神经网络；反射特性估计；光照校正 北京工业大学工学硕士学位论文 a b s t r a c t f a c er e c o g m t i o ni st oi d e m i 母o rv e r i 匆o n eo rm o r ef 犯e si ns t i l li m a 2 e so r v i d e os e q u e n c e sb a s e do n1 e a m e df a c ei m a g e s a so n eo ft h em o s tc h a l i e n g i n g p m b 】e m sj np a t t e mr e c o g n j t i o na n dm a c 场n e 、r i s i o n ，f h er o g 面t i o nh a saw i d e m g e o fp o t e n t i a la p p l i c a t i o n si nm ea r e a so fp u b l i cs e c u r i i n f o n n a t i o ns e c 埘t y a n dh u m a i l c o m p u t e ri n t e r a c t i o n a r e rm o r em a n3 0 y e a r s ，f 如er e c o g m t i o n t e c h n o l o g yu 工l d e rw e l l c o n 仃o l l e de n v i r o n m e n ti sg o i n gt op r a c t i c a ls t a g e w h i l e 出e r e c o g n m o np e r f o 枷e 妣吼a t i c a l l yd e g 强d eu n d e ru n c o n t r o l l e de n v i 删1 i n e n ts u c h a sv a r i a mi l l u m i n a t i o n ，h e a dp o s e s ，f a c i a le x p r e s s i o n s ，o c c l l l s i o no nf a c ea n ds oo n t h e r e f o r e ，o n eo fk e yi s s u e si i lf 如er e c o g i l i t i o ni st h es h l d yo fr o b u s tr e c o g n i t i o n a l g o r i 也m i nt l l i sm e s i s ，o u rr e s e a r c hf o c u s e so nf a c e r e c o g n i t i o nw i 山i i l 啪i n a t i o n d a t i o n ，a i l dt w oa l g o r i t sa r ep r o p o s e da sf 0 1 l o 、s ： 1 af a c er e c o g n i t i o na l g o b a s e d0 ni m p r o v e db pn e u r a ln e t w o r ki s p m p o s e d f 妇，w a v e l e t 仃a n s f o n ni su t i l i z e dt or c d u c eb o t ht h ed i m e n s i o no ff 如e j 瑚g e sa 1 1 d 曲ed a t a 锄o l u l t 1 1 1 e nf a c ei n l a g e sa r en o 珊a l j z e db yj l i u m i n a “0 nf a t i o i m a g et oo v e r c o m et l l e i i l f l u e i l c eo fi l l u m i n a t i o n v a r i a t i o n f i n a l l y ，b pn e u r a l n e 押o r ki si m p r o v e df o rf k er e c o g n i t i o n ，m ep r o b l e mo nc h o i c eo fp a r 锄e t e r si s d i s c u s s e d ，t h es i g m o i df h n c t i o n 趾dw e i g h ta d j u s t m e n ta r ei r n p r o v e df o rl l i g h e r c o n v e r g e n c es p e e d 2 af 如er e c o g n i t i o na i g o i i m mb a s e d0 ne s d m a l i o no f r e 如c t a n c ei sp r o p o s e d f i r s t ，也er e n e c t a n c ea t 掣m n l e t r i cp o i m so nf 缸es u r f a c ea r ee s t i m a t e db ys y n m 豫t l y o f h u m a nf a c eu s i r 培t 、加f 如ei m a g e su n d e rk n o w nm m i n a t i o n t h e nf a c ei m a g e si n d i 船r c n ti l l 州n a t i o na r eg e n e r a t e db yt l l er e f l e c t a n c e i l l u i n i n a t i o nn o r n l a l i 枷o ni s i m p l e m e n t e du s i n gh o m o m o r p h i cf i l t e r i n ga n da m e n d m e n tb a s e do ns y m m e t r yf o r b o 也t e s t i n ga n ds y n t h e s i z e dh a g e s f i n “l y ，f k er e c o g n i t i o ni si m p l e m e n t e du s i j l g n o m m l i z e di m a g e s t h ea b o v et w oa j g o m h m sa r et e s t c du s j n gy a l ef a c ed a t a b a s eb t h e e x p e r h n e n tr e s u l t sc o i n p a r e d 、：v i mo m e ra l g o r i t t l m sc o 耐i 衄也ee 捕c i e n c yo f p r o p o s e da l g o r i t l l m s k e y w o r d s f 犯er e c o g n m o n ；i l l 唧i n a t i o nv a r i a t i o n； b pn e u r a ln 娟r k e s t i m a t i o no f r e f l e c 缸h l c e ：i l l u m i n a t i o nn o 锄a l i z a t i o n i l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：蕊亟。蟑 日期趟：z 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：歪雌导师签名：匝日期：诬埘 第l 章绪论 第1 章绪论 视觉是人类获取信息最主要的手段，人脸是人类视觉中最为普遍的模式， 人脸所反映的视觉信息在人与人的交流和交往中有着重要的作用和意义。计算 机人脸识别技术依托于图像理解、模式识别、计算机视觉和神经网络等技术， 试图使计算机具有人的脸像识别能力，近三十年里得到了广泛关注和研究m 2 】。 1 1 课题的背景与意义 身份验证是保证系统安全的必要前提，在金融、国家安全、司法、电子商 务、电子政务等应用领域，都需要准确的身份验证。人类本身所具有的一些生 物特征，如d n a 、指纹、虹膜、语音、人脸等，作为人的内在属性，具有很强 的自身稳定性和个体差异性，是下一代身份验证最理想的依据与手段刚1 。 与其他生物特征识别技术相比，人脸识别技术具有以下特点： 可以隐蔽操作，尤其适用于安全监控 这一点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这 是指纹、虹膜、视网膜等其他人体生物特征识别技术不能比拟的； 非接触式采集，没有侵犯性。容易被接受 不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯，容易被 大多数的用户接受 具有方便、快捷、强大的事后追踪能力 基于人脸的身份验证系统可以在事件发生的同时记录并保存当事人的面 像，从而可以确保系统具有良好的事后追踪能力。例如，用于考勤系统时，管 理人员就可以方便地对代打卡进行事后监控和追踪。这是指纹、虹膜等生物特 征所不具有的性质( 一般人不具备指纹、虹膜鉴别能力) ； 图像采集设备成本低 目前，中低档的u s bc c d ，c m 0 s 擐像头价格已经非常低廉，基本成为标 准的外设，极大地扩展了人脸识别技术的实用空间：另外，数码相机、数码摄 像机和照片扫描仪等摄像设备在普通家庭的口盏普及进一步增加了其可用性： 像机和照片扫描仪等摄像设各在普通家庭的日盏普及进一步增加了其可用性； 北京工业大学工学硕寸二学位论文 ! ! ! 目e ! ! ! i _ ! ! ! ! s | ! ! ! ! 自! e ! ! l t ! ! ! ! 自e ! ! ! j - ! ! 目e ! ! 目e ! ! ! 目- e e ! 人脸识别作为一种典型生物特征识别技术，以其自然性、高可接受性等优 点受到了人们的青睐。目前入脸识别技术在一定应用范围内已经获得了成功， 并且正在被推向以下的应用领域。 公共安全 人脸识别技术可以应用在多种不同的公共安全领域：证件( 如：驾驶执照、 护照、信用卡、身份证等) 中的身份认证；楼宇进出安全控制；重要场所中的安 全检测和监控；智能卡中的身份认证等。 信息安全 人脸识别技术在信息安全领域有着巨大的潜在应用价值。随着网络技术日 益走迸人们的日常生活，越来越多的用户可以访问互联网，越来越多的信息被 置入互联网。而由于网络信息访问的便捷性，网络的安全控制成为一个日益迫 切的重要问题。利用人脸识别技术，可以进行计算机的登录控制；可以进行应 用程序的安全使用、数据库的安全访问和文件加密；可以实现局域网和广域网 的安全控制；可以保护电子商务的安全性等。 人机交互 人脸识别技术可以用于创建友好自然的人机交互方式，是智能计算机领域 研究的重要内容之一。一个可以识别使用者人脸的智能计算机，可以按照其特 点为该使用者提供工作环境，从而使人与计算机之间的交互如同人与人之间的 交互一样轻松自如。 人脸识别技术的发展受到商业应用需求的推动，以及相关技术的发展而得 到空前的重视，成为图像识别和理解领域中的研究热点。 1 2 人脸识别发展进程与研究现状 人脸识别技术早在六七十年代就引起了研究者的强烈兴趣。最早的自动人 脸识别研究论文见于1 9 6 5 年c h a n b l e d s o e 在p a i l o r 锄i cr c s e a r c hi n c 发表的技 术报告，到现在已有三十多年的历史阴。7 0 年代，美、英等发达国家开始重视 人脸识别的研究工作并取得进展。1 9 7 2 年，h a 衄o n 用交互人脸识别方法在理论 上与实践上进行了详细的论述。同年，s a k a i 设计了人脸图像自动识别系统。8 0 年代初t m i n a l i l i 研究出了优于s a k a i 的人脸图像自动识别系统。但早期的人脸识 弟l 草靖论 别一般都需要人的某些先验知识，无法摆脱人的干预。 进入9 0 年代，由于高速度高性能计算机的出现，人脸识别技术有了重大突 破，进入了真正的机器自动识别阶段。1 9 9 0 年，b u l l m a l l i l 和l a d e s 提出了弹性图 匹配技术( e l a s t i c g m p h m a t c h i n g ，e g l 讧) 【14 】，既保留了面部的全局结构特征， 也对人脸的关键局部特征进行了建模。1 9 9 1 年，麻省理工学院的t u r k 提出的 e i g e n f a c e 方法目前已成为人脸识别的性能测试基准算法。1 9 9 5 年m o g h a d d a m 在e i g e n f a c e 的基础上提出双子空间贝叶斯判别方法。b e l h u m e u r 等人于1 9 9 6 年提出的r s h e r f 砬e 人脸识别方法【i7 l 目前仍然是主流的人脸识别方法之一。同 年，洛克菲勒大学限o c k e f e l l e ru n i v e r s i t y ) 的a t i c k 等人提出局部特征分析技术 q o c a lf e a t u r ea n a l y s i s ，l f a ) 1 8 】，目前该技术已商业化为著名的f a c e i t 系统。 c r a w 于1 9 9 5 年提出的主动形状模型( a c t i v es h a p em o d e l s ，a s m ) f 1 9 1 和c o o t e s 等人 于1 9 9 8 年提出的主动表观模型( a c t i v ea p p e a r a l l c em o d e l s ，a a m ) 2 0 j ，是人脸建模 方面的一个重要贡献。 目前，非理想成像条件下( 尤其是光照和姿态变化) 、用户不配合、大规 模人脸数据库上的人脸识别问题逐渐成为研究的热点问题，涌现出了诸多技术 方法。1 9 9 8 年，g e o 毽h i a d e s 等人提出基于光照锥( i l l m i n a t i o nc o n e s ) 模型的多姿 态、多光照条件人脸识别方法【2 l 】。b l a i l z 和v e t t e r 等人开创性地提出了基于3 d 变形模型( 3 dm o r p h a b l em o d e l ) 的人脸图像分析与识别方法f 2 2 】。s l l a s h u a 等于 2 0 0 1 年提出了一种基于商图像的人脸图像识别与绘制技术 2 3 】，可以用于不同光 照条件下的人脸识别，并通过实验表明了该方法的有效性。同年，b a s r i 和j a c o b s 用球面谐波表示光照、用卷积过程描述朗伯凸反射的方法解析地证明了：由任 意远点光源获得的所有朗伯凸反射函数的集合形成一个线性子空间【2 】，促进了 线性子空间对象识别方法的发展，使得用凸优化方法来强制光照函数非负成为 可能，为光照问题的解决提供了重要思路。 近年来，人脸识别研究得到了前所未有的重视，国际上发表有关人脸识别 等方面的论文数量大幅度增加，仅从1 9 9 0 年到2 0 0 0 年之间，e i 可检索到的相 关文献多达数千篇【7 】o 国外各知名大学、研究所、企业研究院，如：c m u ，m i t ， m i c m g a r is t a t eu n i v e r s i 哆，u c l a ，u n i v e r s 时o fm a i l c h e s t c r ， u m d ，u s c ， u n i v e r s i 钾o f s u 玎e v 等均设立了与人脸t 别相关的研究组。国内的一些院校，如 北京工业入学工学硕士学位论文 清华大学，哈尔滨工业大学，中山大学，南京理工大学，上海交通大学等也开 始从事人脸识别的研究。一些较成熟的商业人脸识别系统也已投入应用。 然而，目前的人脸识别技术还只是研究课题，尚不是实用化领域的活跃课 题，利用计算机进行完全自动的人脸识别存在许多困难，其中的关键问题在于： 1 由于人脸模式的多样性，人脸图像的空间分布非常复杂，有限的样本集 难以覆盖全部人脸图像子空间，在高维空间中建立准确的分布模型又很困难。 因此，如何有效地描述人脸在子空间的分布值得研究。人脸的局部和整体信息 的相互结合能有效地描述人脸的特征，如何更好地提取和组合局部与整体的特 征值得深入研究。 2 目前的人脸识别算法还不能较好地处理任意姿态、光照和遮挡等变化条 件。而且，由于人脸对象的非刚体性、人脸之间的相似性以及变化因素的影响， 准确的人脸识别仍较困难。 3 由于大多数应用都是面向实时性处理，这要求人脸识别算法简单、快速 且易于实现。 f r v t 2 0 0 2 测试就表明：目前的人脸识别商业系统的性能仍然对于室内外 光照变化、姿态、时间跨度等变化条件非常敏感，大规模人脸库上的有效识别 问题也很严重【t 1 】。这些问题使得人脸识别成为一个非常困难的挑战性课题。 1 3 本文研究内容 本文主要针对不同光照下的人脸识别问题进行研究，具体包括： ( 1 ) 高效的图像降维方法 人脸是一个高维的视觉模式，为了提高识别系统的计算速度，往往首先考 虑人脸图像的降维问题。本论文研究了运用小波变换对人脸图像进行降维的方 法，在减小数据量的同时保持人脸图像的基本信息； ( 2 ) 有效的图像光照校正算法 一个高效的预处理算法可以通过少量的计算，大幅提升算法性能，达到事 半功倍的效果。本论文研究了基于光照率图像的光照校正方法和同态滤波与对 称关系修正相结合的校正方法。 4 第l 苹绪论 ( 3 ) 基于b p 神经网络的人脸识别算法 本论文针对神经网络运算速度慢，不易收敛的缺陷进行了研究，对传统b p 神经网络的参数选取问题、输入矢量归一化问题进行了讨论，对s i g m o i d 函数 和网络学习速率进行了改进。 ( 4 ) 基于反射特性估计的人脸识别算法 本论文分析研究了人脸的对称特性，并依此估计得到人脸的反射特性，继 而合成不同光照条件下的人脸图像。 1 4 本文结构安排 论文共分为六章。 第1 章绪论。简要介绍本课题的研究背景与意义，发展进程及研究状况， 给出本论文的主要研究内容及结构安排。 第2 章人脸识别技术综述。主要介绍了人脸识别技术的关键技术，并对本 文研究的重点不同光照条件下的入脸识别技术的主要方法进行了总结。 第3 章小波分析。重点介绍了小波变换的定义和多分辨率分析理论，并在 此基础上介绍了二维小波变换在图像分解中的应用。 第4 章b p 神经网络。重点介绍了神经网络的理论基础，以及b p 神经网络 技术的原理和实现。 第5 章基于改进b p 神经网络的人脸识别算法。提出了一种基于小波变换 的图像降维、基于光照率图像的光照校正与改进的b p 神经网络相结合的人脸 识别算法。 第6 章基于反射特性估计的人脸识别算法。提出了通过人脸反射特性估计 合成不同光照条件下人脸图像的算法，提出了同态滤波与对称关系修正相结合 的光照校正方法。 在论文的最后给出总结与展望、参考文献、攻读硕士学位期间发表的论文 以及致谢等。 北京工业大学工学硕上学位论文 第2 章人脸识别技术综述 2 1 人脸识别系统的关键技术 自动人脸识别系统主要包括四个关键技术： ( 1 ) 人脸检测与分割：判断输入图像( 或图像序列) 中是否存在人脸，如 果存在，则确定人脸的位置，并进一步将人脸区域从背景中分割出来： ( 2 ) 人脸校正：针对环境变化对人脸图像所造成的影响，通常对分割出的 人脸图像进行校正，以去除光照、姿态以及表情等因素的影响。 ( 3 ) 人脸特征提取：对找到的每个人脸进行面部特征定位： ( 4 ) 分类判别：根据面部特征定位的结果，与人脸图像库中的人脸对比， 判断该人脸的身份信息。 综上所述，人脸识别系统的流程图如图2 1 所示 图2 1 人脸识别系统流程图 本章将分别介绍人脸特征提取和分类判别的主要技术方法，由于人脸检测 与分割已经逐渐成长为一个相对独立的研究课题，本文没有过多涉及。 2 特征提取常用方法 为了有效地实现分类判别，就要对原始数据进行变换，得到最能反映分类 本质的特征。入脸图像存在着复杂的变化，因此如何提取有效的特征，是人脸 识别研究中的一个重要问题。通常人脸特征的提取，可以分为基于全局信息的 特征提取方法和基于几何特征的特征提取方法两个主要方向，下面就分别介绍 6 第2 覃人脸识别技术综述 这两个方向的主要技术方法及优缺点。 基于全局信息的特征提取 以整幅人脸图像为对象，通过整体操作的方式提取其特征，重点考虑了模 式的整体属性。其中常用的方法有：子空间方法；基于奇异值分解( s i n g u l a rv a l u e d e c o m p o s i t i o n ，s v d ) 的方法；基于变换域特征的方法，如g a b o r f f t ，d c t 等。 1 子空间方法 常用的线性子空间方法有：基于主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ， p c a ) 的e i g e n f h e s 方法，基于线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 的f i s h e r f l l c e s 方法，以及基于独立分量分析( i n d c p c n d e n tc o m p o n e n ta n a i y s i s ， i c a ) 的特定人脸子空间( f a c es p e c m cs u b s p a c e ) 方法 3 l 】等。在这些方法中，输入 的人脸图像被表示为若干“特征脸”的线性组合，线性组合的系数反映了该人 脸的特性，被用作人脸特征，通过计算一个最佳的变换矩阵，减小图像类内的 差别( 如光照、表情的变化) ，放大类间的差别( 如脸型变化) 。 实际上，由于光照、姿势和表情等的影响，入脸的空间分布是很复杂的。 为了处理这一问题，线性子空间方法被分别扩展到混合线性子空间( 如混合线 性p c a 方法【3 3 】，基于多投影空间的混合l d a 方法【3 4 ，以及m f a ( m i x 眦o f f a c t o r a n a l y z e r s ) 方法【3 5 等) 和非线性子空间( 如p r i n c j p a lc u e sa n ds u r f a c e ， k e m e ll e a n l i n g ，i s o m a p ，l l e 等) 。 子空间方法能够以全局的方式描述人脸特征，而且，基于全局描述的方法 也可以通过把人脸图像分为多个子区域，实现基于局部特征的描述，然后结合 全局描述，有效地提高识别效果。由于人脸图像空间分布的复杂性，单一的子 空间可能不足以描述所有的变化模式，因此混合的子空间方法能获得更好的识 别结果。非线性子空间方法能更好地描述复杂的模式分布。一般也能获得比单 纯线性子空间方法更好的识别效果。当每个人有足够的训练样本时，为了更好 地保留一些最具判别能力的特征，特定人的子空间方法更好些。 2 基于奇异值分解( s v d ) 的方法 奇异值分解方法将图像矩阵的奇异值作为模式的特征矢量，该方法具有以 下优点：人脸图像的奇异值具有良好的稳定性，当图像上有小的扰动时，奇 7 北京：亡业大学 ：学硕f 二学位论文 异值变化不大；奇异值表示了图像的代数特征，是一种本质的内在特征，在 某种程度上，s v d 特征同时拥有代数与几何两方面的不变性，即对图像灰度值 的比例变化、平移、旋转和伸缩不变性。 基于全局信息的特征提取方法不仅保留了人脸部件之间的拓扑关系，也保 留了各部件本身的信息；但由于这类方法把整个人脸图像作为模式，那么光照、 视角以及人脸尺寸会对人脸识别有很大的影响，因此如何有效地去掉这些干扰 比较关键。 基于几何特征的特征提取 抽取人脸图像上显著特征( 如眼睛、鼻子、嘴巴、下巴等部件) 的相对位 置及其参数。其中常用的方法有：基于面部几何结构特征的方法；弹性图匹配 方法；隐马尔可夫模型( h 1 讧旧方法；形变模型方法等。 1 基于面部几何结构特征的方法 通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状 作为分类特征。 基于人脸几何特征的方法符合人类识别人脸的机理，易于理解；对每幅图 像只需存储一个特征矢量，存储量小；对光照变化不太敏感。但是这种方法从 图像中抽取稳定的特征比较困难，特别是特征受到遮挡时；对强烈的表情变化 和姿态变化的鲁棒性较差：一般几何特征只描述了部件的基本形状与结构关系， 忽略了局部细微特征，造成部分信息丢失，更适合于租分类。 2 弹性图匹配方法 弹性图匹配方法是一种基于动态链接结构( d y 姗n i cl i i l ka r c h i t e c t u r e ， d l a ) 的方法。其基本思想是用一个属性图来描述人脸：在人脸图像上放置一个 矩形网格，网格的顶点代表面部关键特征点，其属性为相应特征点处的多分辨 率、多方向局部特征屯a b o r 变换特征，称为矗f ；边的属性则为不同特征点 之间的几何关系。对任意输入人脸图像，弹性图匹配通过一种优化搜索策略来 定位预先定义的若干面部关键特征点，同时提取它们的，“特征，得到输入图 像的属性图。 弹性匹配方法保留了人脸的拓扑结构和局部特征，通过局部节点调节和弹 3 第2 章人脸识别技术综述 性图的变形，以及局部特征的多级g a b o r 变换描述，在很大程度上克服了人脸 姿态变化和表情变化对识别结果的影响。此方法的主要缺点是对每个存储的入 脸需计算其模型图，计算量大，存储量大。 3 隐马尔可夫模型( m n 方法 玎v i m 是用于描述信号统计特征的一组统计模型，使用马尔可夫链来模拟信 号统计特征的变化。人脸面部特征的分布都依照一种自然的顺序，即从上到小、 从左到右，即使人脸在平面和垂直方向上发生旋转，这种顺序也不会变化。如 果给人脸的每一个小区域分配一个状态，则可以利用h 】州进行人脸图像的描述 和识别。 h m m 方法为每个人训练一组模型参数，获得了很好的识别性能，结合局部 的特征描述和概率决策是这个方法的优点。 4 形变模型方法 包括2 d 中的主动形状模型( a c 廿v cs h a p e m o d e l s ，a s h d 与主动表观模型 ( a c t i v ea p p e a r a i l c em o d c l s ，a 6 0 田，以及3 d 形变模型( 3 dm o r p h a b l em o d e l ) 。 a s m7 aa m 将人脸描述为2 d 形状和纹理两个分离的部分，分别用统计的方法进 行建模( p c a ) ，然后再进一步通过p c a 将二者融合起来对人脸进行统计建模。基 于3 d 形变模型的多姿态、多光照条件人脸图像分析与识别方法在本质上属于基 于合成的分析技术，其主要贡献在于它在3 d 形状和纹理统计变形模型的基础 上，同时还采用图形学模拟的方法对图像采集过程的透视投影和光照模型参数 进行了建模，从而可以使得人脸形状和纹理等人脸内部属性与摄像机配置、光 照情况等外部参数完全分开，更加有利于人脸图像的分析与识别。 形变模型方法具有良好的人脸合成能力，可以采用基于合成的图像分析技 术来对人脸图像进行特征提取与建模。 基于几何特征的特征提取方法提取并利用了人脸最有用的特征，如关键点 的位置以及部件的形状分析等；但由于这类方法通过提取出局部轮廓信息及灰 度信息来设计具体识别算法，所以如何建立好的模型来表达识别部件依然是个 难点。 9 北京e 业大学工学硕士学位论文 2 1 2 分类判别常用方法 目前，常用的分类判别方法有：基于模板匹配的方法，神经网络，支撑向 量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) ，双子空间贝叶斯判别方法等。 1 基于模板匹配的方法 经典的模式识别方法，这种方法大多是用归一化和互相关，直接计算两幅 图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度、 取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。 模板匹配方法在尺度、光照、旋转角度等各种条件稳定的状态下，它的识 别效果优于其它方法，但它对光照、旋转和表情变化比较敏感，影响了它的直 接使用。 2 神经网络 神经网络在人脸识别应用中有很长的历史。与其他类型的方法相比，神经 网络方法在人脸识别上有其独到的优势，它避免了复杂的特征提取工作，可以 通过学习的过程获得其他方法难以实现的关于人脸识别的规律和规则的隐性表 达，其识别效果较好。但是随着神经元数目的增多，会导致训练时间变长，由 于神经网络以并行方式处理信息，如果能用硬件实现，就能显著提高速度。在 第4 章中将迸一步对神经网络方法进行介绍。 3 支持向量机( s v m ) s v m 的基本思路可以概括为：首先通过非线性变换将输入空间变换到一个 高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是通 过定义适当的内积函数实现的。s v m 是从线性可分情况下的最优分类面发展而 来的，以经验风险最小化( s 仃u c t u r a li 己i s km i n i m i z a t i o n ，s 砌旧原理为理论依据， 是一种能在训练样本数很小的情况下达到很好分类推广能力的学习算法，它能 做到与数据的维数无关。s v m 在解决小样本、非线性及高维模式识别问题中表 现出了许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 4 双子空间贝叶斯判别方法 该方法通过“作差法”，将两幅人脸图像对的相似度计算问题转换为一个 1 0 第2 章人脸识别技术综述 两类( 类内差和类间差) 分类问题，类内差和类问差数据都要首先通过主成分 分析( p c a ) 技术进行降维，计算两个类别的类条件概率密度，最后通过贝叶斯决 策( 最大似然或者最大后验概率) 的方法来进行人脸识别。 2 _ 2 不同光照条件下的人脸识别技术综述 大量的实用系统是需要室外2 4 小时全天候工作的，摄像时的光照条件必 然有剧烈的变化。同一个人的人脸图像在光照条件不同时，经过特征提取后的 差异往往要大于不同的人在相同光照条件下的人脸图像的差异 3 7 l 。经典的评测 也表明：即使是最好的商业系统，其性能也会在室外光照环境下急剧下降i ，i 。 因此，光照变化是解决人脸识别问题时所需考虑的重要因素。 针对人脸图像中的光照变化问题， 法可以分为三大类；不变特征类方法、 2 2 1 不变特征类方法 研究者们已经提出了许多方法。这些方 标准形式类方法和变化建模类方法。 不变特征类方法的主要思想是寻求人脸中光照不变或至少对光照变化不敏 感的特征。 a d i n i 指出表面反射率或方向的不连续会引起灰度跃变，而那些与灰度跃变 有关的图像边缘信息可能对光照变化不敏感【3 7 】。基于上述结论，很多研究人员 设计通过提取人脸的边缘特征进行人脸识别。首先进行边缘检测，然后通过计 算两幅图像的边缘图距离来进行识别。t a k a c s 3 8 】用s o b e l 边缘检测算法得到二 值边缘图，然后计算两幅边缘图的h a u s d o r f r 距离来进行识别。g a o 等p 9 】提出提 取图像的线性边缘图( l i n ce d g el i n e ) 的方法，这种方法将模板匹配与几何特征 匹配结合起来，既保留了基于特征的识别方法的光照不敏感性和低存储量，又 具有模板匹配的高识别率。 g a b o r 函数对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特 性，而且对于光照变化不敏感，能够提供对光照变化良好的适应性。l a d e s 等 人【4 0 1 提出采用弹性图匹配算法进行人脸识别，他们在图像上构造二维方形网格 拓扑图，以网格节点上的g a b o r 滤波响应作为人脸特征，通过特征匹配和节点 北京工业大学工学硕士学位论文 几何位置的匹配实现人脸识别。l i u 和w e c h s l e r 【4 1 】利用增强的f i s h e r 线性判别 模型对g a b o r 特征进行进一步的提取和分类。 此外，人脸图像中常用的对光照变化不敏感的特征还有：图像的梯度信息、 非线性l o g 函数变换以及图像的微商变换等。 不变特征类方法的思想很直接，但实践表明这种方法对光照校正都有定 的局限性，a d i m 实验表明“没有任何表示本身能克服光照方向变化”【s ，】。 2 2 2 标准形式类方法 标准形式类方法的主要思想是通过光照校正对图像进行标准化，将光照引 起的图像变化去掉，最后识别在标准化后的图像上进行。 基于商图像( q u o t i e mi m a g e ，q i ) 的人脸识别算法【2 3 】是在朗伯凸表面理论的 基础上，将原有的仅针对光照条件变化的算法引申为在光照与人脸反射率都变 化的情况下进行人脸识别的算法。商图像为两个人脸的反射率之商，只与表面 反射率有关，因此具有亮度不变性。利用商图像和一个人脸在不同光照下的三 幅图像可构建另一人脸的整个人脸空间。但是，该方法在形状不相同和图像特 征点未对齐的情况下，可能会导致算法失效。在此基础上，w a i l g 等人设计了 自商图像i 蜘( s e l f q u o t i e n ti m a g e ，s q i ) 模型，t e 玎e n c ec h e n 设计了基于全变差的 商图像( t o t a lv a r i a t i o nb a s e dq u o t i e mi m a g em o d e l t v q i ) 模型，使得系统识别 效果有了很大程度的提高。 文献【4 4 】中基于光照率图像( i l l u m i r l a t i o nr 丑t i oi m a g e ) 的方法，通过计算不同 光照条件与标准光照的光照率，来对不同光照条件下的图像进行归一化。该算 法思想简单，但需要进行光照估计，且光照估计的准确性直接影响去光效果。 该算法同样要求进行人脸特征点对齐。文献 4 5 】使用增强a s m 方法对该方法进 行了改进。 文献【4 7 中对称的基于阴影的形状恢复( s y m m c 廿i cs h a p ef r o ms h a d i n g ， s s f s ) 方法，借助普通的3 d 人脸模型，来识别有光照变化的人脸图像。在该方 法中，只要估计出环境的光照方向，并借助3 d 人脸模型估计出形状梯度信息， 第2 苹人脸识别技术综述 即可得到人脸在正常光照下的图像。这种方法只适用于单一点光源，这在实际 应用中是很难保证的；需预先估计人脸形状和反射特性或光照条件；而且建立 模型的算法复杂，模型受到噪声的影响也较大。 此外，常用的标准形式类方法还有同态滤波，直方图均衡，g a n l m a 灰度校 正等。 2 2 3 变化建模类方法 变化建模类方法的主要思想是在一个适合的子空间流形中表示光照变化 引起的变化。近年来，很多研究者应用3 d 方法建立光照模型进行人脸识别。 同时，由于人工神经网络在模式识别领域的成功应用，很多科研人员尝试用神 经网络进行人脸识别。 s h a s l l l a 的研究表明，在不考虑阴影的情况下，光照变化的人脸图像可用一 个3 d 线性子空间表示【4 8 】。g e o r 曲i a d e s 等 4 9 】提出基于光照锥( 1 1 1 u m i n a l i o nc o n e ) 的人脸识别方法。本质上是计算机视觉中光度立体视觉的一个变种，该理论指 出朗伯凸表面对象在各种光照下的图像，在图像空间中的分布为一个凸锥体， 该锥体的维数等于表面法线的数量。该方法能够在输入若干未知光照条件的人 脸图像的条件下，恢复出人脸的3 d 结构和表面反射率，因此能处理光照和姿 态变化的人脸识别问题。但是，该方法需要严格光照控制下的多个不同光照条 件的训练图像，且计算量较大。b a n l r 等【5 l l 利用聚类算法分割人脸图像区域，该 方法比较简单有效。最近，l e e 等【5 2 】直接基于每人9 个特定的光源方向的实际 图像获得每个人的子空间，又称九点光源法，实验表明该方法是有效的。b a s r i 2 4 】 从理论上推导出朗伯凸表面对象的光照空间可用一个9 维予空间表示。该方法 用球谐函数描述光照，将朗伯凸反射表面看作入射光的一个低通滤波器。在己 知人脸的3 d 形状和表面反射率的情况下，可获得描述人脸光照的9 个球谐函 数图像基。 神经网络方法是把模型的统计特征隐含于神经网的结构和参数中，对于人 脸这类复杂的、难以显式描述的模型具有独特的优势，即它避免了复杂的特征 提取工作，可以通过学习的过程获得其它方法难以实现的关于人脸识别的规律 北京工业丈学工学硕士学位论文 和规则的隐性表达【5 4 】。该方法便于建模，鲁棒性较好，但是运算速度较慢。 c 酣r e l l 等入【5 5 l 使用级联b p 神经网络进行人脸识别，它对部分受损的人像、光 照有所变化的人像的个人识别能力较好。i n t r a t o r 等人1 5 6 1 用一个无监督监督 ( b c m b p ) 混合神经网络进行人脸识别。其输入是原始图像的梯度图像，以此可 以去除光照的变化。无导师监督学习的目的是寻找类的特征，有导师监督学习 的目的是减少训练样本被错分的比例。 2 3 本章小结 自动人脸识别的研究方兴未艾，本章总结了人脸识别系统中的关键技术和 主要方法，并对本文研究的重点不同光照条件下的人脸识别技术的主要方 法进行了综述。 1 4 第3 章小波分析 第3 章小波分析 小波分析( w a v e 【e t sa n a l y s i s ) 是近十几年才发展起来并迅速应用到图像处 理和语音分析等众多领域的一种数学工具，是继一百多年前的傅里叶分析之后 的一个重要突破，是国际科技界和众多学术团体高度关注的前沿领域。目前， 小波分析已广泛应用在图像处理、信号分析、语音合成、计算机识别、天体力 学等领域。 3 1 小波变换基本原理 3 1 1 小波变换的定义 顾名思义，“小波”就是小的波形，所谓“小”是指它具有较快的衰减性， 而称之为“波”则是指它的波动性，其振幅正负相间的振荡形式。小波变换的 基本思想与傅里叶变换相似，就是用信号在由一簇基函数张成的空间的投影来 表征该信号。但是，这一簇函数具有一个显著的特点，那就是函数系是通过一 个基本小波函数的不同尺度的伸缩和平移构成的。简单地说，小波变换就是将 任意函数( f ) p ( r ) ( 上2 轵) 表示平方可积的实数空间，即能量有限的信号空 间) 通过多分辨率分析( m u m r e s o l u t i o n 加1 a i y s i s ，m r a ) 表示成小波系数的叠加。 1 小波基函数 设妒( f ) r q ) ，若其傅里叶变换驴0 ) 满足如下条件； d m l ，6 0 o ) 是固定值，所以式( 3 4 ) 对应的离散后的小波函数卅o ) 即可 写作 哪) 彬吖等净卜( 础一地) ( 3 - 。) 改变口和6 的大小，小波变换就具有可变化的时间和频率的分