（信号与信息处理专业论文）基于小波分析和主成分分析的人脸识别研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：痉丝日期：兰立：! ：! ： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 澈储虢趣硅导师虢亟医日期：翌堕! ：矽 山东大学硕士学位论文 摘要 随着社会的发展，社会各个方面对快速有效的身份验证的要求日益迫切。由 于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份 验证的理想依据。其中利用人脸特征又是最自然直接的手段，相比其他生物特征， 它具有直接、友好、方便的特点，易于为用户接受。从而，人脸识别吸引了越来 越多来自计算机视觉和信号处理等领域的关注，成为模式识别、图像处理等学科 的研究热点。 人脸识别技术广泛应用在公共安全、信息安全等方面。当光照条件变化时， 人脸面部发生很大变化，减弱人脸面部的特征信息。所以，在实际的人脸识别系 统中，由于环境光照条件的不稳定、难确定，使得人脸识别率急剧下降。光照问 题是影响人脸识别的一个因素，如何解决光照变化问题是人脸识别研究中的一个 难点。目前，解决光照问题的预处理方法主要有两大类：基于图像处理技术的方法 和基于模型的方法。本文在解决人脸识别中的光照问题采用基于图像处理技术的 方法，即对人脸图像进行光照补偿预处理，减少光照对人脸的影响。 人脸识别技术最早提出可以追溯到1 8 8 8 年，虽然有众多科学研究人员潜心研 究多年，也做出了许多的成果，但是由于人脸识别问题自身的复杂性，使得该技 术仍旧有很多关键性的问题需要解决。论文首先介绍了人脸识别的背景、研究范 围以及方法，对入脸识别领域的一些理论方法作了总体的介绍。本文中所采用的 人脸识别方法是比较经典的主成分分析( p c ap r i n c i p l ec o m p o n e n ta n a l y s i s ) 。 主要工作包括： ( 1 ) 结合b i o i d 、y a l e 人脸库对人脸识别的预处理方法作了较为详细的介绍。 预处理的方法包括几何校正、直方图均衡化、像素灰度值归一化。然后，使用小 波变换对人脸图像进行分解、提取低频子带，并做出实验仿真。 ( 2 ) 介绍了p c a 人脸识别的方法，对传统的p c a 算法进行改进，降低了运算复 杂度，提高了识别率和抗噪声性能。 ( 3 ) 实现了一个基于小波分析和主成分分析( p c a ) 的人脸检测识别原型系统。 关键词：模式识别，人脸识别，预处理，主成分分析，小波变换 山东大学硕士学位论文 a b s t r a c t a st h ed e v e l o p m e n to ft h es o c i e t y ，t h e r ea r ei n c r e a s i n gd e m a n d si na u t o m a t i c i d e n t i t yc e r t i f i c a t i o n s i n c es o m eb i o l o g i c a lc h a r a c t e r i s t i c sa r ei n t r i n s i ca n ds t a b l ef o r p e o p l ea n da r es t r o n g l yd i f f e r e n tf r o me a c ho t h e r s t h e ya r ct h ei d e a lb a s i so fi d e n t i t y c e r t i f i c a t i o n a tt h es a m et i m e ，a m o n ga l lt h eb i o l o g i c a lc h a r a c t e r i s t i c so fh u m a nb e i n g s , t h ec h a r a c t e r i s t i c so ff a c ea r ct h em o s td i r e c tt o o l sw h i c ha r ef r i e n d l ya n dc o n v e n i e n ta n d c a r le a s i l yb ea c c e p t e db yt h eu s e r s t h u s ，i th a sr e c e i v e dc o n s i d e r a b l ea t t e n t i o nf r o mb o t h c o m p u t e rv i s i o na n ds i g n a lp r o c e s s i n gc o m m u n i t i e s , a n db e c o m ea t t r a c t i v e i np a t t e r n r e c o g n i t i o na n di m a g ep r o c e s s i n g f a c er e c o g n i t i o nt e c h n i q u eh a sb e e nw i d e l yu s e di nm a n ya s p e c t ss u c ha sp u b l i c s e c u r i t ya n di n f o r m a t i o ns e c u r i t y c h a n g e si nl i g h t i n gc a np r o d u c el a r g ev a r i a b i l i t yi n t h ea p p e a r a n c eo ff a c e sa n dd i m i n i s ht h ec h a r a c t e ri n f o r m a t i o no ff a c e s t h e r e f o r e ，d u e t oc h a n g e so ft h ee n v i r o n m e n ti l l u m i n a t i o nc o n d i t i o n s , t h ef a c er e m g n i t i o nr a t es u d d e n l y d r o p si nt h ea c t u a ls y s t e m i l l u m i n a t i o np r o b l e mi so n eo ff a c t o r so fa f f e c t i n gt h ef a c e r t c o g n i t i o n h o wt oa c c o u n tf o rv a r i a b l ei l l u m i n a t i o np r o b l e mi st h ed i f f i c u l t i e so ft h e r e s e a r c ho ff a c er e c o g n i t i o n a tp r e s e n t , t h ew a y so f s o l v i n gt h ei l l u m i n a t i o np r o b l e mc a n h ec l a s s i f i e di n t ot w oc a t e g o r i e s ：t h ei m a g e d - b a s e d p r o c e s s i n ga p p r o a c ha n dt h e m o d e l - b a s e da p p r o a c h t h ei m a g e d - - b a s e da p p r o a c h e sa r ea d o p t e dt od e a lw i t hi l l u m i n a t i o n p r o b l e mi nt h et h e s i s t e c h n i q u e sf o rf a c er e c o g n i t i o nw e r ep r o p o s e db yf r a n c i sg a l t o n 勰e a r l y a s1 8 8 8 i nr e c e n ty e a r sc o n s i d e r a b l ep r o g r e s sh a sb e e nm a d ei nt h ea r e ao ff a c er e c o g n i t i o n h o w e v e r , t h e r ea r es t i l ls o m ee s s e n t i a lp r o b l e m st ob eu n s o l v e dd u et ot h ec o m p l e x i t y o ff a c er e c o g n i t i o n im a d es o m er e s e a r c h e sf o rt h ef a c er e c o g n i t i o ni nt h et h e s i s f i r s t , t h et h e s i si n t r o d u c e st h eb a c k g r o u n d , r e s e a r c hs c o p ea n dt h er e s e a r c hw a y so ff a c e r e c o g n i t i o n ；a f t e rt h a ts o m et h et h e o r ym e t h o d sa r ei n t r o d u c e dt o t a l l y t h i st h e s i sa d o p t s t h ev e r yt y p i c a lp c a ( p r i n c i p l ec o m p o n e n ta n a l y s i s ) w a y t h em a i nw o r k sa r ef o l l o w i n ga s ( 1 ) p r e p r o c e s s i n gw a y so ff a c er e c o g n i t i o na r ei n t r o d u c e di nd e t a i lb yb i o i da n d y a l ef a c ed a t a b a s e ，w h i c hi n c l u d e ：g e o m e t r i cn o r m a l i z a t i o n ，h i s t o g r a me q u a l i z a t i o n , p i x e lg r a d a t i o nn o r m a l i z a t i o n t h e n ，im a k et h ed e c o m p o s i t i o nf o rt h ef a c ei m a g e sa n d e x t r a c tt h el o wf r e q u e n c ys u b b a n d ，a n dm a k et h es i m u l a t i o ne x p e r i m e n t ( 2 ) t h ep c af a c er e c o g n i t i o nw a yi sd e t a i l e d a tt h es a m et i m e ，t h et r a d i t i o n a l p c ai sm a d et h ei m p r o v e m e n t , w h i c hd r o p so p e r a t i o n a lc o m p l e x i t ya n di m p r o v e st h e r e c o g n i t i o nr a t ea n dr e s i s t a n c en o i s ep e r f o r m a n c e ( 3 ) t h et h e s i si m p l e m e n t e dap r o t o t y p es y s t e mo ff a c er e c o g n i t i o no nb a s i so f w a v e l e ta n a l y s i sa n dp c a k e y w o r d s ：p a t t e r nr e c o g n i t i o n , f a c er e c o g n r i o n ，p r e p r o c e s s i n g , p c a w a v e l e t a n a l y s i s 2 山东大学硕士学位论文 1 1 概述 第一章绪论 在现代社会中，对个人身份鉴别的需求可以说是无处不在，并且与日俱增， 例如某人是否有权进入安全区域( 安全系统) 、是否有权进行特定交易等。目前， 用于个人身份鉴别主要依靠i d 卡、密码等手段。与技术发展相伴而来的是，犯罪 分子伪造假证件的手段越来越高明，诸如假身份证、假工作证、假文凭等不时出 现，影响了正常的社会秩序；在信息业界中，黑客攻击、破译计算机口令等现象 也时有发生。目前广泛使用的依靠证件、口令等传统方法确认个人身份的技术面 临着巨大挑战。基于人体生物特征识别技术( b i o m e t r i c s ) 的个人身份鉴别系统， 由于使用了人体本身所固有的生物特征，是与传统方法完全不同的崭新技术，具 有更好的安全性、可靠性和有效性，越来越受到人们的重视，开始进入我们社会 的各个领域，迎接新时代的挑战。 人体生物特征识别技术就是利用人体本身所固有的物理特征( 如指纹、虹膜、 脸部、掌纹等) 及行为特征( 如书写、声音等) ，通过图像处理和模式识别的方法来 鉴别个人身份的技术。近年来，欧美以及其它地区的大学都成立了以人体生物识 别技术为主要研究方向的实验室或研究中心。同时，许多公司也相继开发出许多 这方面的产品并不断地推向市场。人体生物识别技术逐步转化为一个蓬勃发展的 新兴产业。在我国，也已经涌现出很多机构广泛开展人体生物识别技术方面的研 究工作，许多研究人员投身到这一新兴研究领域，开展用于身份鉴别的人脸识别、 话音识别、指纹识别等多项研究工作，并取得了一定的成果。 与其它人体生物识别技术相比，人脸识别是一种更直接、更方便、更友好、 更容易被人们接受的识别方法。一方面，在人们的交往过程中，人脸所包含的视 觉信息占据了主导地位，它是体现人与人之间差别的最重要的特征，因而人脸识 别技术成为当今研究的一个热点。另一方面，由于人脸之间存在很大的相似性以 及人脸的高度可变形性，使得这个课题极富挑战性。人脸识别技术开始于二十世 3 山东大学硕士学位论文 纪六十年代，但由于受当时技术条件的限制发展缓慢，因而在最初的二三十年里， 只有少量关于这个课题的论文出现。八十年代开始，随着计算机技术以及模式识 别和图像处理技术的发展，人脸识别技术受到很大重视并得到了进一步的发展。 近年来，以人脸为特征的人体生物识别技术发展尤为迅速。 1 2 人脸识别 1 2 1 人脸识别的研究内容 人脸识别1 ( f a c er e c o g n i t i o n ) 是利用计算机对人脸图像进行特征提取和识别 的模式识别技术。在二十世纪七十年代初，对人脸识别的研究涉及心理学神经科 学，研究内容包括：人脸对人身鉴定的唯一性；人脸的全局特征和局部特征在人脸 识别中的作用；表情的分析与使用；婴儿是如何识别人脸的等等。其直接目的是 要搞清楚人是如何对人脸进行识别的。七十年代中期以后，开展了用数学、物理 和技术的方法对人脸自动识别的研究。 从广义上来说，计算机人脸识别的研究内容大概可以分为以下五个方面： 1 人脸检测( f a c ed e t e c t i o n ) ，就是从各种不同的场景中检测出人脸的存在 并确定其位置。这方面的研究主要受光照、噪声、面部倾斜度以及各种各样的遮 挡的影响。 2 人脸表征( f a c er e p r e s e n t a t i o n ) ，就是采取某种表示方法表示检测出的人 脸和数据库中的已知人脸。通常的表示法包括几何特征( 如欧氏距离、曲率、角度 等) 、代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸等。 3 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ，就是通常所说的人脸识别，将待识别的 人脸与数据库中的相关信息进行匹配。这个过程要选择适当的人脸表征方式与匹 配策略，整个识别系统的构造与人脸的表征方式密切相关。 4 ，表情姿态分析( e x p r e s s i o ng e s t u r ea n a l y s i s ) ，就是对待识别人脸的表 情或者姿态信息进行分析，并对其进行分类。 5 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ，就是对待识别人脸的生理特征进 行分析，得出其年龄、性别等相关信息。 4 山东大学硕士学位论文 人脸检测、人脸表征和人脸鉴别是我们通常意义上建立人脸自动识别系统的 三个方面。人脸自动识别系统包括两个主要的技术环节，首先是人脸的检测和定 位，即从输入图像中找到人脸存在的位置，并将入脸从背景中分割出来( 即人脸检 测) ，然后才是对归一化的人脸图像进行特征提取与识别( 即人脸表征与人脸鉴 别) 。相对来说表情姿态分析和生理分类则是一个非常困难的研究方向，不过它们 在计算机图形学( 尤其是计算机动画) 领域有很广泛的应用前景，因此在最近几年 得到了国内外很多从事计算机视觉( c o m p u t e rv i s i o n ) 的研究人员的注 意。下面将简单介绍各方面的研究方法： 人脸检测。人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所 有可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。其方 法大致可分为基于统计和基于知识两类。前者将人脸图像视为一个高维向量，从 而将人脸检测问题转化为高维空间中分布信息的检测问题；而后者则利用人的知 识建立若干规则，从而将人脸检测问题转化为假设验证问题。 基于统计的人脸检测方法( 1 ) 用人脸样本集和非人脸样本集进行学习训练以 产生分类器，目前国际上普遍采用人工神经网络。 ( 2 ) 子空间方法。p e n t l a n d 等将k - l 变换引入了人脸检测，在人脸识别中利用 的是主元子空间( 特征脸) ，而人脸检测利用的是次元子空间( 特征脸空间的补空 间) 。用待检测区域在次元子空间上的投影能量，也即待检测区域到特征脸子空间 的距离作为检测统计量，距离越小，表明越像人脸。子空间方法的特点在于简便 易行，但由于没有利用反例样本信息，对与人脸类似的物体辨别能力不足 ( 3 ) 空间匹配滤波器方法。包括各种模板匹配方法，合成辨别函数方法等。 基于知识建模的人脸检测方法。( 1 ) 器宫分布规则：虽然人脸在外观上变化很 大，但遵循一些几乎是普遍适用的规则，如五官的空间位置分布大致符合三停 五眼等，检测图像中是否有人脸即是测试该图像中是否存在满足这些规则的图 像块。这种方法一般有两种思路：一种是“从上而下”，其中最简单有效的是y a n g 等人提出的m o s a i c 方法，它给出了基于人脸区域灰度分布的规则，依据这些规则 对图像从粗分辨率到高分辨率进行筛选，以样本满足这些规则的程度作为检测的 判据，类似的工作在有关文献中进行了讨论。 另一种思路则是“从下至上”，先直接检测几个器官可能分布的位置，然后 山东大学硕士学位论文 将这些位置点分别组合，用器官分布的几何关系准则进行筛选，找到可能存在的 人脸。 ( 2 ) 轮廓规则：人脸的轮廓可以简单地看出近似椭圆，而人脸检测可以通过椭 圆检测来完成。g o y i e i d a r a j u 提出认知模型方法，将人脸建模为两条直线( 左右两侧 面颊) 和上下两个弧( 头部和下巴) ，通过修正h o u g i l 变换来检测直线和弧。近期 t a n k u s 利用凸检测的方法进行人脸检测。 ( 3 ) 颜色、纹理规则：同民族人的面部肤色在颜色空间中的分布相对比较集中， 颜色信息在一定程度上可以将人脸同大部分背景区分开来。l e e 等设计了肤色模型 表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割，d a i 利用 了s g l d ( 空间灰度共生矩阵) 纹理图信息做为特征进行低分辨率的人脸检测。s a b e r 等则将颜色、形状等结合在一起来进行人脸检测。 ( 4 ) 运动规则；通常相对背景，人总是在运动的，利用运动信息可以简单有效 的将人从任意复杂背景中分割出来。其中包括利用瞬眼、说话等方法的活体人脸 检测方法。部分研究对利用运动信息进行头部运动跟踪检测进行了综述和探讨。 ( 5 ) 对称性：人脸具有一定的轴对称，各器官也具有一定的对称性。z a b r o d s h k y 提出连续对称性检测方法检测一个圆形区域的对称性，从而确定是否为人脸； r i e s f i e l d 提出广义对称变换方法检测局部对称性强的点来进行人脸器官定位。还 有则定义方向对称变换，分别在不同方向上考察对称性，不仅能够用来寻找强对 称点，而且可描述有强对称性物体的形状信息，在进行人脸器官定位时更为有效。 人脸特征提取与识别方法。人脸识别本质上是三维塑性物体二维投影图像的 匹配问题。，它的困难体现在：( 1 ) 人脸塑性变形( 如表情等) 的不确定性；( 2 ) 人脸 模式的多样性( 如胡须，发型，眼镜，化妆等) ；( 3 ) 图像获取过程中的不确定性( 如 光照的强度，光源方向等) 。识别人脸主要依据人脸上的特征，也就是说依据那些 在不同个体之间存在较大差异而对于同一个人则比较稳定的度量。由于人脸变化 复杂，因此特征表述和特征提取十分困难。 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一 化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小， 灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服光照 变换的影响而提高识别率。关于人脸特征提取和识别的方法可概述如下： 6 山东大学硕士学位论文 基于几何特征的方法。人脸由眼睛，鼻子，嘴巴，下巴等部件构成，正因为 这些部件的形状，大小和结构上的各种差异，才使得世界上的每个人脸千差万别， 因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。 几何特征3 最早是用于人脸侧面轮廓的描述和识别，首先根据侧面轮廓曲线确定若 干显著点，并由这些显著点导处一组用于识别的特征度量如距离，角度等。由正 面灰度图中线附近的积分投影模拟侧面轮廓图，是一种很有新意的方法。采用几 何特征进行人脸识别，一般是通过提取人眼、口、鼻等重要特征点部位和眼睛等 重要器官的几何形状作为分类特征，但r o d e r s t ：寸几何特征提取的精确性进行了实验 性研究，结果不容乐观。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个 参数可调的器官模型，定义一个能量函数，通过调整模型参数使能量函数最小化， 此时的模型参数即作为该器官的几何特征。这种方法思想很好，但是存在两个问 题：一是能量函数中各种代价的加权系数只能由经验确定，难以推广；二是能量 函数优化过程十分耗时，难以实际应用。基于参数的人脸表示可以实现对人脸显 著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用 一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成 部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率 上还远不能满足要求，计算量也较大。 基于特征脸的方法：t u r k 和p e n t l a n d 提出特征脸的方法，它根据一组人脸训 练图像构造主元子空间5 ，由于主元具有脸的形状，也称为特征脸。识别时将测试 图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像进行比 较进行识别。p e n t l a n d 等报告了相当好的结果，在2 0 0 个人的3 0 0 0 幅图像中得到9 5 的正确识别率，在f e r e t 数据库上对1 5 0 幅正面人脸像只有一个误识别。但系统在 进行特征脸方法之前需要作大量预处理工作如归一化等。在传统特征脸的基础上， 研究人员注意到特征值大的特征向量( 即特征脸) 6 并不一定是分类性能好的方向， 据此发展了多种特征( 子空间) 选择方法，如p e n g 的双子空间方法，w e n g 的线性歧义 分析方法，b e l h u m e u r 的f i s h e r f a c e 方法等。事实上，特征脸方法是一种显示主元 分析人脸建模，一些线性自联想，线性压缩型b p 网络则为隐式的主元分析方法， 它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向 山东大学硕士学位论文 量，y a l e n t i n 对此作了详细讨论总之，特征脸方法是一种简单、快速、实用的基 于变换系数特征的算法，但由于它本质上依赖于训练集和测试集图像的灰度相关 性，而且要求测试图像与训练集比较像，所以它有着很大的局限性。 局部特征方法：主元子空间的表示是紧凑的，特征维数大大降低，但它是非 局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴 投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对 模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具 有这种特性的表达十分重要基于这种考虑，h t i e k 提出基于局部特征的人脸特征 提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了f a c e i t 人脸 识别软件的基础。 基于弹性模型的方法：l a d e s 等人针对畸变不变性的物体识别提出了动态链接 模型( d l a ) ，将物体用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记， 边则表示拓扑连接关系并用几何距离标记，然后应用塑性图形匹配技术来寻找最 近的已知图形。w i s c o t t 等人在此基础上作了改进，用f e r e t 图像库做实验，用3 0 0 幅人脸图像和另外3 0 0 幅图像做比较，准确率达n 9 7 3 此方法的缺点是计算量非 常巨大。 n a s t a r 将人脸图像( i ) ( x y ) 建模为可变形的3 d 网格表( x ，y ，i ( x ，y ) ) ，从而将人脸 匹配问题转化为可变形曲面的弹性匹配问题，利用有限元分析的方法进行曲面变 形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空 间( x ，y ) 和灰度i ( x ，y ) 放在了一个3 d 空间中考虑，实验表明识别结果明显优于特征 脸的方法。 l a n i t l s 等提出灵活表现模型方法，通过自动定位人脸的显著特征点将人脸编 码为8 3 个模型参数，并利用辨别分析的方法进行基本形状信息的人脸识别。 神经网络方法：目前神经网络方法在人脸识别中的研究方兴未艾。y a l e n t i n 提出一种方法，首先提取人脸的5 0 个主元，然后用相关神经网络将它映射n 5 维空 间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好； i n t r a t o r 等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用 于特征提取，而监督神经网络用于分类。l e e 等将人脸的特点用六条规则描述，然 后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进 8 山东大学硕士学位论文 行识别，效果较一般的基于欧氏距离的方法有较大改善：l a u r e n c 等利用卷积神经 网络方法进行人脸识别，由于卷积神经网络中集成了相邻象素之间的相关性知识， 从而在一定程度上获得了对图像平移，旋转和局部变形的不变性，因此得到了非 常理想的识别效果：l i n 等提出了基于概率决策的神经网络方法( p d b n n ) ，其主要 思想是采用虚拟( 正反例) 样本进行强化和反强化学习，从而得到较为理想的概率估 计结果，并采用模块化的网络结构( o c o n ) 加快网络的学习这种方法在人脸检测， 人脸定位和人脸识别的各个步骤上都得到了较好的应用；其它研究还有：d a i 等提 出用h o p f i e l d 网络进行低分辨率人脸联想与识别，g u t a 等提出将r b f 与树型分类器 结合起来进行人脸识别的混合分类器模型。p h i l i p 等人将m a t c h i r i g p u r s u i t 滤波器用 于人脸识别；还有则采用统计学习理论中的支持向量机进行人脸分类。 神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为 对人脸识别的许多规律或规则进行显性的描述还是相当困难的，而神经网络方法 则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一t 般也比较容易实现。 其他方法：b r u n e l l i 等对模板匹配方法作了大量实验，结果表明在尺度，光照， 旋转角度等各种条件稳定的情况下，模板匹配的效果优于其他方法，但它对光照，旋 转和表情变化比较敏感，影响了它的直接使用。g o u d a i l 等人采用局部自相关性作为 人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定。在最近的了 些工作中，b e n a r i e 等提出v f r 的表示框架并将它用于人脸识别的工作中, l a i n 等人研究 了不同视点下的人脸匹配和识别问题，v g l e r 等人讨论了由单幅人脸图像生成其他视 点的人脸图像的可能性，m i r h o s s e i n i 等则探讨了多种信息融合的人脸识别方法。 1 2 2 人脸识别研究发展回顾 对人类自身识别目标过程的认识。上世纪8 0 年代以来，心理学家、神经生理 学家和工程技术人员对人和及其如何识别人脸的各个方面进行了广泛的研究。心 理学家、神经生理学家主要对人脸的唯一性、识别人脸是在整体特征还是在局部 特征下进行、表情分析及其在人脸识别中的应用、婴儿怎样理解人脸、人脸记忆 的组织结构等。其主要结论是人脸识别是大脑中一个特有的过程。总体上有以下 9 山东大学硕士学位论文 几点：第一，在人脸感知和识别过程中，局部和整体特征都起到一定的作用，但 是若存在明显的局部特征时，整体特征将不起作用；第二，在正面人脸图像中， 鼻子对人脸识别不起主要作用( 但不是不起作用) ，但是在侧面人脸识别中，鼻子 对特征点的匹配很有作用；第三，上半部的特征比下半部特征所起的作用大，低 频成分对整体识别有用，高频成分对细节识别起作用；第四人脑的右半球对人脸 图像的识别起着重要作用，而左半球对语言的处理起重要作用：第五，儿童识别 人脸较多地采用显著特征，而较少地使用整体分析；第六，不同的种族、性别的 人脸识别的难易程度不同，这可能因为不同类型的人脸图像具有不同的特性。神 经生理学和心理学的研究结果无疑将非常有益于人脸识别技术的发展，但是除少 数文献外，机器识别人脸的研究还是独立于心理学和神经生理学的研究的。 人脸识别技术的发展。人脸识别研究工作可追溯到1 8 8 8 年，f r a n c i sg a l t o n 于 1 9 1 0 年在人脸侧面轮廓图象上所做的工作，所提出的方法主要集中于检测重要的 人脸特征或是关键点( k e y p o i n t s ) ，这里典型的关键点包括眼角、嘴角、鼻尖以及脸 颊等。接着计算这些关键点之间相应的距离，以此来构造一个表述单个人脸信息 的特征向量，通过对用上述方法生成未知人脸的特征向量和己知人脸的特征向量 集的比较，选出距离最小的作为识别的结果。该方法的缺点是对人脸的偏转十分 的敏感，即使是在控制的环境下也很难进行特征点的准确定位。 由于人脸正面图像包含了人脸更明显的特征，所以对人脸正面模式的研究最 多，它的发展可分为以下三个阶段： 第一阶段以b e r t i l l o n a l l e n 和p a r k e 为代表，时间上从2 0 世纪5 0 到6 0 年代，主要 研究人脸识别所需的面部特征。在b e r t i l l o n 系统中，用一个简单的语句与数据库中 的某一张脸相联系，同时与指纹识别相结合，提供了一个较强的识别系统。为了 提高脸部识别率，a l l e n 为待识别脸设计了一种有效逼真的摹写，p a r k e 贝l j 用计算机 实现了这一想法，并且产生了较高质量的人脸灰度图模型。这一阶段工作的特点 是识别过程全部依赖于操作人员，显然不是一种可以完成自动识别的系统。 第二阶段是人机交互式识别阶段，时间是2 0 世纪7 0 年代，代表有 g o l d s t i o n h a r m o n 和l e s k 等人。他们用几何特征参数来表示人脸正面图像，采用2 1 维特征矢量来表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 贝i j 采用了统计识别的方法，用欧氏距离来表示人脸特征，如嘴唇的高 1 0 山东大学硕士学位论文 度，两眼之间的距离。更进一步的，k a n a d 设计了一个半自动回溯识别系统，创造 性的运用积分投影法从单幅图像上计算出一组脸部特征参数，再使用模式分类技 术与标准的人脸相匹配。总的说来，这类方法需要利用操作员的某些先验知识， 仍然摆脱不了人的干预。 第三阶段是真正的向实用化发展的机器识别阶段，近十年来随着高速度高性 能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识 别系统。 近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法与以奇 异值特征为代表的代数特征方法取得了新进展外= 人i 神经网络、小波变换技术 在人脸识别研究中都得到了很广泛的应用，而且出现了不少人脸识别的新方法。 1 2 3 人脸识别的应用 如同人的指纹、掌纹、虹膜等特征一样，人脸也具有唯一性，可用来鉴别一 个人的身份。人脸识别的研究真正开始成为热点是从上世纪8 0 年代末开始的，目 前全球相当数量的科研机构提出了各自的人脸识别的算法，同时也出现了一批人 脸识别的商业化产品。近年来，因为恐怖分子的破坏活动，特别是自美国9 1 1 事件 之后，包括人脸识别在内的生物特征识别再度引起人们的关注，各国也纷纷增加 了对该领域研发的投入。同其他的生物特征识别技术，如指纹、语音、虹膜、d n a ： 待识别相比，人脸识别具有被动、友好、方便的特点其应用范围广泛，可应用于 以下的几个方面”： 嫌疑犯照片的识别匹配。当公安部门获得案犯的照片后，可以利用人脸识 别技术，在存储罪犯照片的数据库中找出最相像的人为嫌疑犯。还有一种应用就 是根据目击证人的描述，先由警察画家画出草图，然后用这张图到库里去找嫌疑 犯。罪犯数据库往往很大，由几千幅图像组成。如果这项搜索工作由人工完成， 不仅效率低，而且容易出错，因为人在看了上百幅人脸图像后，记忆力会急剧下 降，而由计算机来完成则不会出现此问题。当然，如果没有正确的特征提取，而 盲目的进行人脸识别，势必将造成误判操作，造成不必要的损失。 证件验证。身份证、驾驶证以及其他很多证件上都有照片，现在这些证件 山东大学硕士学位论文 多是由人工验证的，如果用了入脸识别技术，这项工作就可以交给机器完成，从 而实现自动化智能管理。当前普通使用的另一类证件是用符号或条形码标记的， 比如信用卡等。这类卡的安全系数比较低，因为卡可能丢失，密码也可能被遗忘 或窃取。如果在这类卡上加上人脸的特征信息，则可以大大改善其安全性能。 入口控制。入口控制的范围很广，它可以是设在楼宇、单位或私人住宅入 口处的安全检查，也可以是计算机系统或情报系统等的入口控制。在一些保密要 求非常严格的部门，除了用证件。还要加上另外一些识别手段，如指纹识别、手 掌识别、视网膜识别和语音识别等。人脸识别与之相比，具有直接、方别和界面 友好的特点。当前计算机系统的安全管理也备受重视，通常使用由字符和数字组 成的口令可能会被遗忘或破解，但是如果把人脸当作口令则又方便又安全。 视频监视。在许多银行、公司、公共场合等处都设有2 4 d x 时的视频监视。 另外侦察员在破案时有时也要用摄像机对人进行跟踪。在对图像进行集体分析时， 就要用到人脸的检测、跟踪和识别技术。 除了这几部分的应用外，人脸识别技术还可用在视频会议、机器人的智能 化研究以及医学等方面。 1 3 主成分分析( p c a ) 在人脸识别中的应用背景 特征提取是人脸识别系统中诸多组成部分的一员，也是最为重要的一个组成。 主成分分析( p c a ) 方法是目前应用最广泛的特征提取方法之一，也是一种统计学方 法，在信号处理、模式识别，数字图像处理等领域己经得到了广泛的应用。主成 分分析方法的基本思想是提取出空间原始数据中的主要特征( 主成分) ，减少数据冗 余，使得数据在一个低维的特征空问被处理，同时保持原始数据的绝大部分的信 息，从而解决数据空间维数过高的瓶颈问题。 在人脸识别中，可利用p c a 对人脸进行特征提取和特征选择。p c a 算法将人脸 图像区域看作一种随机向量，利用k l 变换得到正交变换基，对应较大的特征值的 基底具有与人脸相似的形状。p c a 算法利用这些基底的线性组合来描述、表达人 脸和逼近人脸，实现人脸图像的特征提取和特征选择，从而提高人脸的识别和重 建的效率。人脸识别就是把待识别的人脸映射到由特征脸张成的子空间中，与库 山东大学硕士学位论文 中人脸的子空间位置进行比较。人脸的重建就是根据待识别人脸在子空间的位置， 还原到人脸空间中。但单一的p c a 算法的识别率并不高，因此通常可以在p c a 基础 上结合其它算法进行人脸的特征选择，以提高识别率。 山东大学硕士学位论文 2 1 概述 第二章人脸图像预处理 对图像的预处理是图像识别中非常重要的一步，处理的目的是去除噪声，对 有用的信息加强，并对输入测量仪器或其它因素所造成的退化进行补偿和复原。 对于静态图像的人脸识别来说年龄、成像设备、人脸集大小、光照、偏转，表情、 遮盖等是影响识别率的主要因素。而对于视频序列中的人脸识别，除了上述的影 响因素以外，还要依赖于在识别前的人脸检测的结果。不论静态图像或是动态的 视频序列下的人脸识别，人脸图像的预处理对于识别结果都起着很重要的作用。 k l 变换作为一种图像的统计方法，图像中所有像素均有同等的地位，同一人脸在 不同的光照强度下的成像差异反映到特征空间中会有较大的差异。所以角度、光 照、尺寸及表情等干扰会导致识别率下降，从而导致误判。不同光照强度下的同 一人脸成像如图2 1 所示。 2 2 人脸图像库 1 4 图2 1 不同光照强度下的人脸图像 目前用来训练和测试人脸检测和识别算法的图像库应用较多的大致如下所 山东大学硕士学位论文 列，这些图像库大部分是针对人脸识别问题建立的。 ( 1 ) y a l e 数据库，不同光照条件下，带有表情和眼镜的数据库，由1 5 个人的1 6 5 幅图像，数据库中的人脸图像的背景光线有一定变化，人脸的表情也不一样( 包括 睁眼、闭眼、微笑、惊讶) ，一些人还有戴眼镜和不戴眼镜时的图像。 ( 2 ) b i o l d 数据库。该数据库是b i o l d 公司建立的，由2 3 个人的1 5 2 1 幅分辨率为 3 8 4 x 2 8 6 的灰度图像组成，每幅图像只有一个人脸存在。该数据库专门用来测试人 脸检测算法，所以数据库图像环境变化比较大，光线明暗不同，人脸大小不一， 表情不同，背景也在变化。 。( 3 ) o r l 数据库。该数据库是剑桥大学贝尔实验室1 9 9 4 年制作j 用于测试人脸识 别算法的人脸图像数据库。该数据库包括4 0 个人在不同时间拍摄的每人l o 幅图像， 共4 0 0 幅2 5 6 灰度级的图像，大小为9 2 x11 2 0 0 r l 数据库中的人脸图像的背景光线有 一定变化，人脸的表情也不一样( 包括睁眼和闭眼，微笑和不笑) ，一些人还有戴眼 镜和不戴眼镜时的图像。 ( 4 ) n l p r f a c e 数据库。该数据库是由中国科学院模式识别国家重点实验室建立的 一个人脸数据库。库中包括2 0 个人的不同人脸图像各3 0 幅，图像总数为6 0 0 幅，大 小为3 2 0 x 2 4 0 。该数据库建立的目的是为了进行脸像分析的研究。数据库中人脸图 像分两次拍摄，有多种姿态：正面脸像、面内旋转脸像、深度旋转脸像，图像中 也包括了较多的背景。 ( 5 1 英国m a n c h e s t e r 人脸数据库 该数据库由3 0 个人的6 9 0 幅图像组成，其中训练集和测试集分开，有不同的光 照和背景特征，而且对每个人而言，前后两张照片之间的时间间隔至少有三周。 训练集对光源有一定的约束，而在测试集中则无此要求。测试集还增加了两级难 度：其一是对于其中的相似人脸，有发型、背景以及戴眼镜等变化；其二是特征 遮挡，如头发、黑眼镜、手臂等。 2 3 人脸预处理算法 本节的预处理工作是在b i o l d 和y a l e 人脸库上进行的，主要的预处理工作包括： 几何校正、直方图均衡化、像素灰度值归一化2 。观察b i o i d 库可以发现，每个 1 5 山东大学硕士学位论文 人的多幅图像中，对应的相同序列的图像( 比如第一个人的第一幅和第二个人的第 一幅图像) e e 人脸位置都不相同，人脸的大小也不一样。尽管在建库时对成像距离、 光照以及被拍摄的人的位置作了严格的限定，但以上列举的这些因素是没有办法 避免的，所以通过预处理把人脸图像标准化的步骤是很重要的。下面详细讲述预 处理的各个步骤。 2 3 1 几何校正 对于各种人脸识别的方法，人脸图像的标准化都是很重要