（通信与信息系统专业论文）主元分析在人脸识别中的应用研究.pdf

摘要 人脸识别是身份认证技术领域中当前研究的热点课题，它涉及到模式识别， 图像处理，神经网络，计算机视觉，生理学及认知科学等多个学科知识，具有重 要的理论意义和实用价值。 本文首先对人脸识别系统中图像预处理和分类器设计进行了讨论，并简单介 绍了几种基于全局的特征提取方法。然后，对p c a ，2 d p c a ，d i a g p c a ，( 2 d ) 2 p c a 等几种基于主元分析的特征提取算法进行了详细的介绍。由于2 d p c a ，( 2 d ) 2 p c a ， d i a g p c a 算法的特征提取都直接基于图像矩阵，计算量小，因而特征的提取速 度明显高于p c a 算法。同时，本文在分析各个算法识别性能的过程中，发现在 类别训练样本数目一定的情况下选取具有代表性的人脸图像作为训练集样本时 算法具有更高的识别率。 在对上述各种特征提取算法分析和比较的基础上，本文提出了平均脸 + ( 2 d ) 2 p c a 识别方法。实验证明，该方法在特征分类时所需的特征比较次数较少， 识别速度较快。 最后，本文初步探索了神经网络在基于二维主元分析识别方法中的应用，提 出- j ( 2 d ) 2 p c a 特征和b p 神经网络分类器相结合的识别方法。通过与本文其它 识别方法进行比较表明，( 2 d ) 2 p c a 特征和b p 神经网络分类器相结合方法具有 较好的识别性能。 关键词：人脸识别主元分析二维主元分析特征提取神经网络 a bs t r a c t f a c er e c o g n i t i o ni sah o ts u b j e c ti nt h ec u r r e n tr e s e a r c ho nt h et e c h n o l o g yi nt h e f i e l do fi d e n t i t ya u t h e n t i c a t i o n i ti n v o l v e st h ew o r l do fp a r e mr e c o g n i t i o n ，i m a g e p r o c e s s i n g ，n e u r a ln e t w o r k ，c o m p u t e rv i s i o n ，p h y s i o l o g ya n dc o g n i t i v es c i e n c e ，e t c t h er e s e a r c hr e s u l to ff a c er e c o g n i t i o nh a sg r e a ti m p o r t a n c eo ft h e o r e t i c a lm e a n i n g a n dp r a c t i c a lv a l u e f i r s t l y , t h ed i s c u s s i o nt oi m a g ep r e p r o c e s s i n ga n dc l a s s i f i e rd e s i g n i n gw h i c ha r e p a r t so ff a c er e c o g n i t i o ns y s t e mi sc a r r i e do u ta n dab r i e fi n t r o d u c t i o no fs e v e r a l f e a t u r ee x a c t i o nm e t h o d sw h i c ha r eb a s e do nt h eg l o b a li sg i v e ni nt h i sp a p e r t h e n ， s e v e r a lf e a t u r ee x a c t i o na l g o r i t h m sc a ll e dp c a ，2 d p c a ，d i a g p c a ，( 2 d ) 2 p c aw h i c h a r eb a s e do np r i n c i p a lc o m p o n e n ta n a l y s i sa r ed e s c r i b e di nd e m i l t h ea l g o r i t h m so f 2 d p c a ，d i a g p c a ，( 2 d ) 2 p c aa r ed i r e c t l yb a s e do ni m a g em a t r i c e s ，h a v i n ga r e l a t i v e l ys m a l lc o m p u t a t i o n a lc o m p l e x i t y a sar e s u l t ，t h o s ea l g o r i t h m sh a v eah i g h e r f e a t u r ee x a c t i o nr a t et h a nt h a to fp c aa l g o r i t h m m e a n w h i l e ，d u r i n ga n a l y z i n gt h e r e c o g n i t i o np e r f o r m a n c eo f t h ea l g o r i t h m sm e n t i o n e di nt h i sp a p e r , i ti sf o u n dt h a tt h e r e c o g n i t i o ns p e e do ft h ea l g o r i t h mi sr e l a t i v e l yq u i c ku n d e rt h ec o n d i t i o nt h a t r e p r e s e n t a t i v ef a c i a li m a g e sa r es e l e c t e da st r a i n i n gs e ts a m p l e s ，w h e nt h en u m b e ro f t h et r a i n i n gs a m p l e so fe a c hc a t e g o r yi sd e t e r m i n e d b a s e do na n a l y z i n ga n dc o m p a r i n gt h ef e a t u r ee x a c t i o na l g o r i t h m sm e n t i o n e d a b o v e ，an e wf a c er e c o g n i t i o nm e t h o dc a l l e da v e r a g ef a c ep l u s ( 2 d ) 2 p c ai sp r o p o s e d i nt h i sp a p e r i ti sp r o v e db yt h ee x p e r i m e n t st h a tt h en e wm e t h o dn e e d ss m a l la m o u n t o fc o m p a r i s o n sa m o n gi m a g ef e a t u r e sw h e nt h ef e a t u r e sa r ec l a s s i f i e da n dh a saf a s t r e c o g n i t i o ns p e e d f i n a l l y , t h ea p p l i c a t i o no fn e u r a ln e t w o r ki nt h ef a c er e c o g n i t i o nm e t h o db a s e d o nt w od i m e n s i o np r i n c i p a lc o m p o n e n ta n a l y s i si sp r e l i m i n a r i l yr e s e a r c h e d a n dt h e m e t h o do ft h ec o m b i n a t i o no f ( 2 d ) 2 p c af e a t u r ea n db pn e u r a ln e t w o r kc l a s s i f i e ri s p r o p o s e d t h en e wm e t h o di sp r o v e dg o o dp e r f o r m a n c eb yc o m p a r i n gi tw i t ht h e o t h e rm e t h o d si n t r o d u c e di nt h ep a p e r k e yw o r d s ：f a c er e c o g n i t i o n ，p c a ，2 d p c a ，f e a t u r ee x a c t i o n ，n e u r a l n e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：寸嘿的 签字日期：斓年6 月日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘鲎 有关保留、使用学位论文的规定。 特授权墨垄盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：- i 晤移 签字日期：如g 年6 月日 新编妫习 签字日期： d 汐年么月日 第一章绪论 1 1 人脸识别的发展和现状 第一章绪论 人脸识别研究的历史可以追溯到19 世纪后期f r a n c i sg a l t o n 对人脸识别问题 的研究，他用一组数字代表不同的人脸侧面和正面特征来实现对人脸侧面图像的 识别。直到2 0 世纪9 0 年代以前，典型的人脸识别技术始终采用正面或侧面的特 征点之间的距离量度，而且早期的人脸识别多集中于对侧影图像的研究，识别方 法都需要利用操作员的某些先验知识，离不开人的干预i lj 。 2 0 世纪9 0 年代以后，由于高性能计算机的迅速发展，人脸识别技术获得重 大突破，研究更具鲁棒性的人脸识别方法成为时代发展的必然。于是基于整体的 识别方法应运而生，并且很快成为研究重点。基于整体的识别方法充分利用了人 脸各个特征点之间的拓扑关系和面部器官自身的信息，避免了提取人脸局部特征 的操作，使算法的鲁棒性有所提高。在人脸识别的研究领域中出现了基于整体的 方法和基于局部的方法齐头并进的局面。9 0 年代中期以来，人脸识别方法朝着 基于整体特征和局部特征相结合的方向发展。研究人员开始逐渐认识到人脸识别 算法必须能够充分地利用人脸的各种特征信息，融合人脸的形状拓扑结构特征、 局部灰度特征和全局灰度分布特征等多种特征。在这一阶段，国际上发表有关人 脸识别方面的论文数量大幅增加，关于人脸和手势识别的国际会议相继召开。 国内关于人脸识别的研究始于2 0 世纪8 0 年代，主要是在国际流行方法基础 之上而进行的发展性工作。其中四川大学、中国科技大学、清华大学、南京理工 大学、上海交通大学、东南大学、南京邮电大学、哈尔滨工业大学和浙江大学等 高校在人脸识别技术领域展开了探索。与此同时，中科院自动化所、公安部等单 位也进行了人脸识别方面的研究，并取得了一定的成果。但是与国外相比，国内 对人脸识别的研究和重视程度较低，研究成果远落后于国际水平。 目前，已经有一些研究机构将研究成果转移为实用产品，较典型的有m i r o s 公司的t r u e f a c e ，v i s i n o c s 公司的f a c e l t ，c o g n i t e c 公司的f a c e v a c s 和z nb o c h u m g m b h 公司研制的z n f a c e 等，但是这些识别技术离应用要求还有一定的差距。 现有的识别方法仍然面临着诸多技术挑战，对因表情、精神状态、年龄变化、意 外损伤、化妆、头发胡须等引起的人脸自身变化和因光照、摄像设备、人与摄像 设备的距离角度、图像存储质量等外部环境引起的人脸图像变化的识别效果还不 理想【2 1 。人脸识别技术仍然只能用于某些对识别准确率要求不高的场合。 第一章绪论 1 2 人脸识别的研究意义 人脸识别技术涉及到模式识别、图像处理、神经网络、计算机视觉、生理学 及认知科学等多个领域的学科知识，与指纹、虹膜、掌纹识别、签名识别等其他 基于生物特征的识别技术以及计算机人机感知交互领域都有着密切的联系。人脸 识别技术发展和突破有助于其他学科基础问题的研究，对开拓新的技术领域和促 进多学科跨领域综合发展具有重要的理论意义和学术价值。 生物特征识别技术基于人体固有的生物特征，与其他身份识别技术相比具有 高稳定性和高可靠性。人脸识别技术与指纹识别，虹膜识别，掌纹等其他生物识 别技术相比有如下优势：首先，设备简单，只需要一个摄像设备和一台计算机即 可完成人脸识别；其次，被识别对象不需要与设备发生接触，识别过程可以在被 识别对象毫无察觉的情况下完成，这样一方面可以防止像指纹识别那样因接触设 备而造成由设备磨损而引起的识别不准，另一方面避免对被识别对象造成心理上 的影响。因此，人脸识别技术在安全系统和商贸系统中有着很多应用，涉及到刑 侦破案，证件验证，入口控制和视频监视等方面应用。除此之外，人脸识别技术 还在视频会议，机器人智能化研究以及医学等方面有着广阔的应用前景。 1 3 课题的主要工作 本文对主元分析在人脸识别中的应用进行了深入研究，比较了基于一维和 二维主元分析的识别方法在人脸识别中的优缺点，并针对二维主元分析方法的缺 点进行了改进。主要工作内容如下： 1 研究了基于一维主元分析( p c a ) 的识别方法，并详细介绍了p c a 方法的改 进方案一双子空间识别方法。 2 对二维主元分析( 2 d p c a ) 方法进行了研究和讨论。针对2 d p c a 方法的缺 点，介绍了d i a g p c a 和( 2 d ) 2 p c a 方法等改进措施。本文为了解决识别速度问题， 引入了基于2 d p c a 的平均脸方法，并提出了平均脸与( 2 d ) 2 p c a 相结合的人脸识 别方法。 3 将b p 神经网络应用于( 2 d ) 2 p c a 特征分类中，并比较其与基于p c a 特征 和b p 神经网络方法，平均脸+ ( 2 d ) 2 p c a 方法和最近邻分类器下( 2 d ) 2 p c a 方法之 间的优缺点。 4 编写文中所有涉及到的识别方法的m a t l a b 程序，并以o r l 人脸库为研究 对象进行仿真实验，并讨论了在训练样本数一定的情况下，样本挑选对算法识别 率的影响。 第二章人脸识别综述 第二章人脸识别综述 2 1 人脸识别的研究内容 狭义的人脸识别是指系统根据新输入的人脸，与已有的人脸数据库进行比 较，判断该人脸是否在人脸库中，如果该人脸在数据库中，则给出该人脸所对应 的具体信息。而广义的人脸识别可以包含以下几个方面的内容： 1 人脸检测( f a c ed e t e c t i o n ) ：即从不同的场景中检测出人脸的存在并确定 其位置。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的影响。 2 人脸表征( f a c er e p r e s e n t a t i o n ) ：即确定表示检测出的人脸和数据库中的 已知人脸的描述方式。通常的表示方式包括几何特征( 如欧式距离、曲率、角度 等) 、代数特征( 如矩阵的特征矢量) 、固定特征模板、特征脸、云纹图等。 3 人脸识别( f a c ei d e n t i f i c a t i o n ) ：即通常所说的人脸识别，就是将待识别的 人脸和数据库中的己知人脸比较，得出相关信息。这一过程的核心是选择适当的 人脸表示方式与匹配策略。 4 表情分析( f a c i a le x p r e s s i o na n a l y s i s ) ：对待识别的人脸的表情进行分析， 并对其加以分类。 5 物理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的物理特征进行分类， 得出其年龄、性别、种族等相关信息。 已有 人脸库 获得 人脸图像 人脸检测 与定位 人睑检测 与定位 图像 预处理 图像 预处理 特征提取 与选择 特征提取 与选择 图2 1 完整的人脸识别系统 分类器 训练 分类器i 识别信息 塑蒲。 本文主要研究完整的人脸识别系统中除人脸检测外的内容，即狭义的人脸识 别。本章下面的小节分别对人脸识别系统中图像预处理，图像特征提取和分类器 设计进行简单的讨论。 墨三雯些望型堡垄 2 2 人脸图像预处理 在人脸识别中，由于表情、精神状态、年龄变化、意外损伤、化妆、头发胡 须等引起的人脸自身变化和因光照、摄像设备、人与摄像设备的距离角度、酗像 存储质量等外部环境引起的人脸图像变化对算法的识别率影响很大，因此在对人 脸图像进行特征提取之前有必要先对图像进行预处理，以达到削弱人脸图像因自 身因素和外界因素对算法识别效果的影响的目的。常用的图像预处理方法有图像 几何变换灰度变换和图像锐化。 2 2 1 图像几何变换 对人脸图像进行几何变换的主要目的是使图像中人脸的关键部位在整个图 像的相对位置保持一致。在获取人脸图像时，成像设备的精度，拍摄角度和背景 大小等因素会影响图像的几何尺寸，图像中人脸的角度和人脸相对于整个图像的 比例。因此，在图像特征提取之前有必要对图像先进行几何变换。人脸识别中需 要进行的几何变换主要有图像裁切，图像旋转和图像缩放。 图像裁切是通过固定人脸图像中双眼在整个图像中位置比例目的是使人脸 在整个图像中的位置保持一致另外图像裁切可以削弱头发和背景对识别结果的 影响。图像旋转是把原始图像中的人脸在平面内旋转，使得人脸的双眼连线与水 平坐标轴平行。图像缩放可咀把图像规定到设定的太小。 其中图像缩放在人脸预处理中的作用尤为重要。在人脸识别中把图像缩小可 以明显地减少计算量，提高识别速度。特别是把图像数据作为神经阿络的输入时， 图像缩放可以直接减少输入层神经元个数，间接地减少隐层神经元数量，从而简 化阿络结构。图像缩放主要采用灰度插值和小渡变换两种方法。常用的灰度插值 算法有最近邻域插值算法、双线性插值算法、双立方插值算法。其中最近邻域插 值算法简单直观，但是变换后图像失真较多：双立方插值算法的效果最好，图像 失真最小，但是计算量大：双线性插值算法的效果和计算量介于二者之间。 原圈( 2 5 6 x 2 5 6 ) 1 2 8 x 1 2 8 圉2 - 2 图像双线性插值前后比较 械 “x 6 4 第二章人脸识别综述 小波变换是另一种常用的图像缩放方法”，它把信号分解成低频和高频两部 分后，在下一层的分解中又将上一层的低频信号分解成低频和高额两部分，按照 这样的步骤继续分解直至设定的深度。对二维图像信号变换，需要把信号分解成 沿行和列的一维问题处理，即小渡变换分别进行一次行变换和次列变换完成。 l 崴岫 ( a ) 腺幽( b ) 二级小扳分群 图2 - 3l e n a 图像的小波变换效果 图2 - 3 ( a ) 经过h a a r 小波二级分解后得到血口图2 - 3 ( b ) 的分解结果。上图2 - 3 ( b ) 中低频分量包含了图2 - 3 ( a ) 中几乎全部的重要信息，而数据量却大约只有原图的 十六分之一。经过小波分解后，图像的高频分量被滤除，同时一些噪声信号也被 滤除，这些高频信号包含的人脸信息很少对识别结果影响微弱。 2 22 灰度变换 由成像设备获取图像数据时会受到光照条件的影响，并且在不同光照条件下 获取的图像数据扶度变化很大。这种由光照条件影响引起的灰度变化正是影响人 脸识别算法识别效果的重要固素之一，因而有必要对获取的图像数据进行敏度变 换，以削弱光照凼素的影响。 i 均值和方差归一化 不同光照条件下的图像的均值和方差往往差异较大，均值和方差归一化处理 的目的是把图像数据的均值和方差调整到一个设定值，使得图像的均值和方差处 于这个设定值时图像能够获得较好的对比度。在人脸识别中，这种变换能够使得 图像在物理意义上具有大致相同的直流和交流能量，从而可以在一定程度上削弱 光照因素对算法识别结果的影响。 对一个m ”大小的灰度图像，“，) ，其均值( m e a n ) 和方差( 口) 可以按照公 式f 2 - 1 ) 和f 2 - 2 ) 求得， 一志善善“j ) f - 1 ) 第二章人脸识别综述 出去喜扣w ) - m e n ) 2 f 2 - z 假设要把灰度图像的均值和方差分别调整到和q ，h ( r ，1 表示变换后图像在 ( f ，) 点的灰度，则有： ( f ，) = + l ( i , j ) - m e a n ( 2 3 ) o 本文中设定均值为m 。= 1 3 0 ，方差为珥、= 8 0 。此时原图像经过归一化处理 后像素值低的部分被削弱，像素值高的部分被加强，处理后的图像对比度增大， 图像较为清晰。与其它灰度变换方法相比，均值和方差归一化灰度处理方法较简 单，而且可以在一定程度上削弱光照因素对识别结果的影响。 门 i i n i - i i ( a ) 归一化前( b ) 归一化后 图2 - 4 图像在均值和方差归一化前和归一化后比较 2 直方图均衡 直方图均衡的目的是为了改变灰度图像的像素值分布，增加荻度图像的对 比度。直方图变换可以通过均匀处理对比度较小的图像的直方图分布，使得该图 像的所有灰度级出现的概率相同，从而使该图像的嫡最大，即图像包含的信息量 最大。 对总像素数为，灰度级为l 的数字图像，其第k 级灰度出现的概率为 p ( j ) = 百n k 0 5 1 = o 1 ，一1 ( 2 _ 4 ) 其中，珥为，j 在图像中出现的次数。则直方图均衡的变换函数为 女 “ s k = p ( ) = 等 ) 门 i 一 ( a ) 原图 黑 i 卅 ( b ) 均衡化后 里二童叁堕堡型墅垄 一l 训柚k c ) 均衡化前图像的直方图 川山 ( d 】均衡化后图像的直方图 图2 - 5 图像直方图均衡化前后图像效果和直疗图比较 图2 - 5 中，原图2 - 5 ( a ) 的直方图分布如图2 - 5 ( c j 所示。从图2 - 5 ( c ) 中可以看出 原图像的像素值并未占满整个2 5 6 级灰度范围，图像的对比度不高。目2 - 5 f b ) 为 图2 - 5 ( a ) 直方图均衡处理后得到的图像，其直方图分布如图2 - 5 ( d ) 所示。由图2 - 5 ( d ) 可知图2 - 5 ( b ) 的像素值与图2 - 5 ( a ) 相比较为均匀的占满整个2 5 6 数灰度范围， 图像的对比度较高。由上述比较和人脸识别仿真实验表明，图像经过直方图均衡 后能够提高清晰度和增加对比度，并且可以在一定程度上消除光照因素对算法识 别结果的影响。 2 23 图像锐化处理 图像锐化处理可以使图像的边缘增强。微分锐化法是一种基于空域处理的锐 化方法。在图像平滑处理中，采用的邻域平均法类似于积分过程，处理结果使得 图像的边缘变模糊。与积分相反的过程，微分处理可以使图像边缘清晰化。最常 用的微分锐化处理方法为梯度算于法和拉普拉斯算子法m 口l 。 i 梯度算子 对图像函数f ( xv j 定义其在点kv i 处的梯度为矢量g 【，( - 1 j 】，则 一二二。 一一一 第二章人脸识别综述 g f ( x ，y ) 】- 秘。 a x 彭 砂 ( 2 6 ) 由梯度的定义可得该矢量有两个重要性质： ( 1 ) 矢量否【厂( x ，y ) 】的方向就是图像函数f ( x ，y ) 最大变化率的方向。 ( 2 ) 定义矢量g f ( x ，y ) 】的幅度函数为g f ( x ，y ) 】，则 町瓴卅脚+ 鲫 弘7 ， g f ( x ，y ) 】的方向角秒可表示为 肚协- i ( 鬻】 ( 2 8 ) 梯度算子具有各向同性和位移不变特性，作为锐化算子时可以增加图像灰度 的变化范围。但是获得图像的梯度值g f ( x ，y ) 】和方向角秒的计算量较大，所以 通常使用r o b e r t s 算子，s o b e l 算子和p r e w i t t 算子等梯度算子进行图像锐化处理。 2 拉普拉斯算子 拉普拉斯( l a p l a c i a n ) 算子是一个二阶导数算子，它具有各向同性。连续函数 f ( x ，y ) 在点( 工，y ) 处的拉普拉斯算子定义为 v 2 厂：祟+ 祟( 2 - 9 ) 由于数字图像属于离散信号，图像f ( x ，j ，) 的拉普拉斯变换定义为 v 2 厂少) = v ，, 2 f ( x , y ) + v y 2 厂化少) ( 2 1 0 ) 其中v x z f ( x ，y ) ，v y z f ( x ，少) 是厂( 工，y ) 在x ，y 方向上的二阶差分，从而可得图像 信号f ( x ，y ) 的拉普拉斯算子为 v 2 f ( x ，y ) = 【f ( x + l ，少) + f ( x - 1 ，y ) + 厂( x ，少+ 1 ) + 厂( x ，y 一1 ) 卜4 f ( x ，y )( 2 1 1 ) 如果将图像对角线上的像素也加入拉普拉斯变换，则上式可扩展为 v 2 f ( x ，j ，) = 【厂( x + 1 ，少一1 ) + ( x + 1 ，y + 1 ) + 厂( x 一1 ，y + 1 ) + ( x 一1 ，y 一1 ) ( 2 - 1 2 ) + 厂( x + 1 ，y ) + f ( x - 1 ，y ) + ( x ，y + 1 ) + 厂( x ，y - 1 ) - 8 f ( x ，y ) 公式( 2 1 1 ) 和( 2 1 2 ) 用模板可分别表示为图2 - 6 ( a ) 和图2 - 6 ( b ) 口口 ( a )( b ) 图2 - 6 拉普拉斯算子的模板及其扩展模板 第二章人脸识别综述 2 3 人脸特征提取方法 特征提取是人脸识别系统中的关键步骤，是人脸识别技术的核心。能否有效 且快速的提取图像的特征直接决定人脸识别算法能否得到广泛应用。特征提取决 定着后续分类器类型的选择，直接影响算法的最终识别效果。目前，人脸识别中 常用的基于全局特征的提取方法主要有以下几种： 1 基于主元分析的方法 主元分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 基于离散k l 变换【6 l ，是图像压缩中 的一种最优正交变换。通过p c a 运算可以把图像从高维向量的表示转换到低维 向量，并且从低维向量恢复原图像时重建图像与原图像之间具有最小的均方误 差。因此可以用低维向量中的元素来表示图像的特征，这些元素称为图像特征的 主元。p c a 是人脸识别一种经典的基于全局统计信息的特征提取算法，可以快 速，有效的获取人脸图像的主要信息。但是p c a 方法的识别效果易受光照和面 部表情、姿态等因素的影响。许多学者针对p c a 方法的缺点进行了改进，提出 了双子空间法，相形歧义分析方法，f i s h e r 脸方法等i lj 。 二维主元分析( 2 d p c a ) 1 7 j 是一种直接基于二维图像矩阵运算的最优压缩技 术。它根据最大化散布矩阵准则求得一系列最佳投影向量，将图像投影到最佳投 影向量上得到图像的投影特征向量。这些投影特征向量可以很好的恢复原图像， 重建图像的质量优于p c a 算法下图像重建后的质量。因此可以使用这些投影特 征向量作为图像的特征。在人脸识别中，2 d p c a 方法的总体计算量比p c a 方法 少，识别效果优于后者。但是2 d p c a 变换只在一个方向上对图像进行压缩，相 比p c a 方法重建图像时需要的系数太多。针对这些缺点，2 d p c a + p c a t 7 ， d i a g p c a t 8 1 ，( 2 d ) 2 p c a t 9 1 ，变换域二维主元分析( t d 2 d p c a ) 【1 0 1 ，二维随机子空间 分析( 2 d r s a ) t ，i m a g ep c a f l 2 j 等改进方法相继被提出。 2 基于弹性图匹配的方法 弹性图匹配【】【2 】【1 3 】是一种基于动态链接结构的方法。该方法采用网格作为模 板，将图像之间的比较变为网格之间的比较。在二维空间中为人脸图像建立属性 拓扑图，把拓扑图放置在人脸上，每个节点包含一个特征向量，它记录了人脸在 该顶点附近的分布信息，节点间的拓扑连接关系用距离向量表示，从而构成基于 二维拓扑图的人脸描述。匹配过程为：首先将库中人脸和待识别人脸的弹性图进 行匹配，找出最相似的人脸图像，再对图像中的每个节点位置进行最佳匹配。弹 性图匹配方法对光照，位移，旋转及尺度变化都不敏感，但是识别系统需要对每 个存储的人脸计算其二维拓扑图，这个过程计算复杂，存储量大。 第二章人脸识别综述 3 基于人工神经网络的方法 ， 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称朋州) 在人脸识别中有很长 的应用史，它具有特殊的适合人脸识别的优势。人工神经网络不像其它方法那样 通过描述人脸图像的规律或规则来提取图像特征，它能够根据由代表性的样本自 我学习获得人脸图像难以表达的特征信息，具有很强的鲁棒性和自适应性。此外， 人工神经网络以并行的方式处理信息，如果用硬件实现，可以显著的提高人脸识 别的速度。人工神经网络在人脸识别领域中还可以应用于性别识别和种族识别 等。 神经网络在图像压缩中应用实例很多，典型的有g o l o m b 等人使用如图2 7 所示的自适应神经网络压缩图像特征信息【l4 1 。要想把s 维图像信息压缩为k 维， 只需要通过训练使图2 - 8 中的神经网络的输入和输出相等即可。c o t t r e l i 和 f l e m i n g 首次用三层b p 网络( 4 0 9 6 * 8 0 * 4 0 9 6 ) 对人脸灰度图像数据进行压缩，网络 结构如图2 7 所示。这样对b p 网络训练后，就可以把三层网络的隐层输出作为 图像的特征信息送入分类器分类。其他一些用于特征提取的神经网络有无监督 监督混合神经网络，基于概率决策神经网络，时滞神经网络，主元神经网络掣。 虽然神经网络在人脸识别系统的特征提取及分类中有很多应用，但是由于目 前人们对人脑本身的探索和研究还处于初级阶段，神经网络也仅仅是对人脑简单 的模拟，因此神经网络在人脸识别中的应用还受到诸多限制。 图2 7 自适应神经网络特征压缩 4 0 9 6 个节点 4 0 9 6 个节点 图2 8 三层b p 神经网络特征压缩 4 基于小波变换的方法 随着小波分析理论的日趋成熟，用小波变换方法对图像进行压缩，提取图像 第二章人脸识别综述 的特征成为当前的研究热点。小波变换以时间和频率的局部化提供了信号的一个 多分辨率表示。通过对小波尺度函数进行伸缩，平移可以在不同分辨率上对图像 进行细化分析，从而可以将图像的主要信息映射到低频分量上，将噪音和细节信 息映射到高频分量上。通过舍弃高频分量而分析低频分量实现滤出对人脸识别作 用不大，甚至是干扰因素的冗余信息。小波变换对人脸的细节表情不敏感，可以 在一定程度上容忍光线和角度的干扰【2 】【3 】【1 5 】。 5 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) t 2 】【1 3 】，由v a p n i k 首先提出， 它的基本思想是通过非线性变换将输入空间变换到高维空间中，在高维空间中求 取最优线性分类面，以解决那些线性不可分的分类问题。这种非线性变换时通过 定义适当的内积函数来实现的。s v m 技术中核函数及其参数的选取难度较大。 由于它基于结构风险最小化原理，而不是传统统计学的经验最小化，因而表现出 很多优于已有方法的性能。但是s v m 训练时需要大量的存储空间，非线性s v m 分类器需要较多的支持向量，速度很慢。 2 4 分类器的设计 设计分类器的目的是将未知类型的样本分类到最可能的归属类别中。在人脸 识别中分类器的选择和设计对识别结果起着十分重要的影响。根据特征提取算法 提取的图像特征数据的特点，选择一个合适的分类规则会明显的提高算法的识别 率。本节简单介绍人脸识别中一些常用的分类方法。 1 最小距离分类器 最小距离分类器l l6 】的基本思想是首先根据第k 类的训练集样本的算术平均 生成代表该类的中心向量麒，其次对于每一个待分类向量x ，计算x 与, u k 之间 的距离d k ，最后把x 判别为与之距离最近的类，即由m i n ( d k ) 找出数值最小的d k 并将x 判别为第k 类。 最小距离分类器常使用以下距离： 1 欧几里得距离 d = | i x - - g ki i( 2 一1 3 ) 2 标准化欧氏距离 d k = ( x t u k ) 1a - k 1 ( x 一鲰) ( 2 - 1 4 ) 第二章人脸识别综述 = ( 2 1 5 ) 其中q 1 ，吒2 ，。为第模样本协方差矩阵对角线上的元素，q ，表示第七 类所有样本属性i ( i = l ，2 ，1 ) 的值的方差。 3 马哈利诺贝斯( m a h a l a n o b i s ) 距离 以= 瓜彳了可而万 ( 2 1 6 ) 其中足表示第k 类样本的协方差矩阵。 基于欧几里得距离的分类器只需要计算向量差的范数，计算量小，速度最快， 但是分类效果不佳。基于标准化欧式距离的分类器需要计算属性的方差以作为各 属性的权值，以较小的时间代价提高了分类准确率。基于马哈利诺贝斯距离的最 小分类器对于某些数据集分类具有更好的性能，但是与另外两种距离相比时间 代价最大。 2 最近邻分类器 假设模式类别数为p ，每个类别的训练样本数为m 。( k = l ，2 ，p ) 。最近邻 分类器【1 7 】的基本思想是将未知样本x 与各类中全部训练样本作比较，并将未知 样本x 判别为与之距离最近的样本的类别。最近邻规则可以采用不同的距离测 量方法，包括上面介绍的欧几里得距离，标准欧氏距离和马哈利洛贝斯距离。与 最小距离分类器相比，最近邻分类器可在一定程度上克服各类样本均值向量的偏 差所造成的影响。假设第k 类的判别函数为 颤( x ) = i n i i ni lx x l i ，= 1 ，2 ，m 七 ( 2 - 1 7 ) j 其中x y 表示第k 类的第，个样本。如果 吕( x ) = m i l l g t ( x ) ，七= 1 ，2 ，m 七 ( 2 1 8 ) 则把x 判别为第i 类。在训练样本足够大的情况下，最近邻分类规则具有良好的 性能。 3 神经网络分类器 本文2 3 节简述了神经网络在人脸特征提取中的应用。实际上神经网络还可 以作为一个性能优越的非线性分类器，具有很强的分类能力，可以在特征空间内 形成任意复杂的决策区域。并且神经网络分类器便于训练，无需过多的人为干预， 如果加以硬件实现将比传统分类器具有更快的分类速度1 8 ”】。神经网络分类器 的实现流程如图2 - 9 所示。 第二章人脸识别综述 图2 - 9 神经网络分类器的实现流程 4 朴素贝叶斯分类器 朴素贝叶斯分类器口研可以预测一个未知待分类样本x = “，x 2 ， 属于 某一类别的概率。朴素贝叶斯分类器假定给定特征对类的影响独立于其他特征。 假设x 为一个未知待分类样本向量，c ，为某个类别向量。如果将特定样本x 分配 给类别c ，则这个分类问题由p ( c ，lx ) 决定。根据贝叶斯定理可知， p ( c il x ) = x 警( 2 1 9 ) 其中对所有类p ( x ) 相同，由于类的先验概率未知，则可将p ( c 。) ，p ( c ：) ，p ( c 。) 看作等概率事件。为了简化计算，假定给定特征向量的属性值之间相互条件独立， 即一个属性值对给定类的影响独立于其他属性值。则可得， p ( xc f ) = 尸( 玉，乇，而ic f ) ：nicp(xkc i ) ( 2 。2 0 ) = n ) 毕。w 其中p ( x klc f ) 可以从训练样本估值得到。 对n 个类别 c 。，c ：，c 疗 ，朴素贝叶斯分类器将未知样本x 分配给c f 类， 当且仅当 p ( xi c f ) p ( xi c ) ，1 i ，j ，z ，f j( 2 - 2 1 ) 2 5 本章小结 本章首先简述了人脸识别的主要研究内容，并给出完整的人脸识别系统模 型。并对人脸识别系统中人脸图像预处理，基于全局的图像特征提取方法和分类 器设计展开了简单讨论。 针对人脸识别系统中需要对训练图像和待分类图像进行预处理步骤，介绍了 几何变换，灰度变换和图像锐化等常用的图像预处理方法。图像预处理虽然可以 第二章人脸识别综述 削弱图像的自身和外在因素对算法识别结果的影响，但是如果预处理过度，那么 这种影响可能是负面的。图像裁切虽然能够减小头发因素对识别结果的影响，但 是在人脑分辨不同人脸时，头发因素通常可以作为区别性别的特征；灰度变换虽 然可以改变人脸图像灰度值，但是人脸的肤色可以作为辨别种族的特征。因此， 在人脸识别中应该选取哪种处理方法不是固定的，应该根据识别对象的统计特点 和算法的特性综合选择。针对人脸识别系统中特征提取步骤，本章简单介绍了基 于主元分析，弹性图匹配，人工神经网络，小波变换和支持向量机等当前常用的 几种基于全局的特征提取方法。在关于分类器设计的讨论中，介绍了人脸识别中 比较常用的最小距离分类器，最近分类器，神经网络分类器和朴素贝叶斯分类器 等几种分类方法。其中本文的后续章节的实验中所用到的距离函数均采用欧几里 得距离。 第三章基于p c a 的识别方法 3 1p c a 方法 第三章基于p c a 的识别方法 3 1 1 离散k l 变换原理 离散k a r h u n e n l o e v e 变换，简称离散k l 变换，也称特征向量变换，霍特 林变换或主元分析，它是完全从图像的统计性质出发实现的变换，在统计识别中 有重要的应用6 i t 2 。 假设x 是一个1 的随机向量，即x 的每个元素x i 都是一个随机变量。x 的 均值，2 ，可以用三个这样的样本向量来估计， m x x i ： ( 3 1 ) x 了己 ( 3 。1 ) 上o ，= l 协方差矩阵可由公式( 3 2 ) 估计， 1 c x = 研( x - - ，z ，) ( x m ，) 1 】x i x t _ m j 朋工t ( 3 - 2 ) oi = 1 由公式( 3 - 2 ) 可知，协方差矩阵是一个n x n 的实对称矩阵，其对角线元素为各个 随机变量的方差，非对角线元素为各随机变量的协方差。k l 变换用矩阵彳来定 义一个线性变换，它可以将任意向量x 通过下面线性变换得到一个向量y y = 彳( x m ，)( 3 3 ) 其中彳的各行为e 的特征向量，e 的特征向量按照这样的规则构成：先将e 的 特征值按大小降序排列，特征向量按照对应的特征值排列的顺序排列。由于k l 变换所得的向量y 具有零均值特性，则可得y 的协方差矩阵c 。与x 的协方差矩阵 c 。的关系为 cy=彳e彳1(3-4) 因为a 实际上就是e 的特征矩阵的转置，所以c ，是对角矩阵且其对角线 上的元素为c ，的特征值。则有 c y m ( 3 5 ) 由公式( 3 - 5 ) 可知，向量y 的各个元素之间互不相关，从而说明线性变换彳去掉了 变量之间的相关性。由于实对称矩阵e 的特征矩阵是酉矩阵，故有 第三章基于p c a 的识别方法 a = a 1 ( 3 6 ) 则k l 逆变换为 x = a 叫y + 研工= a 1 y + ( 3 7 ) 在实际使用k l 变换时，可以只选取较大的特征值对应的特征向量，而舍 弃那些在所有特征值中所占比重较小的特征值所对应的特征向量。这样既可以降 低变换后向量y 的维数，又可以近似重建向量x 。取矩阵a 的前肘行( m 如 如) ， 对应的特征向量为v = i h ，v 2 ，一，】。由奇异值分解理论可得，矩阵c 的特征向 量“，可由差值图像耳与u 按照公式( 3 - 1 8 ) 线性组合得到，即 q 。赤赤x v i , 纯“) ( 3 。2 3 ) u = 击删一 ( 3 - 2 4 ) u ，即为特征脸子空间中的特征向量或特征脸，【，即为“。组成的特征脸子空间。 实际上在人脸识别中并不需要采用全部特征向量张成特征脸子空间，而且每个特 征向量在识别中所起的作用也不同。那些较大特征值对应的特征向量，描述了人 脸图像的大致形状，属于低频分量，在识别中起主要作用。而那些较小特征值对 应的特征向量，描述了人脸图像的细节信息。属于高频分差，在人脸识别中作用 较小，而且还包含一些干扰噪声。从能量角度分析，图像的低频分量包含着图像 的主要能量，高频分量只包含较少能量。因此，在使用特征脸方法进行人脸识别 时，可以只选择前k 个较大特征值对应的特征向量来近似表达人脸图像。 以o r l 人脸库为倒，选取4 0 个人脸类别，每个类别前5 幅图像为训练样本 进行训练得到的平均脸，特征值分布和前4 0 个最大特征值对应的特征脸图像如 圈3 - 】所示： 口 f a l 平均脸f b ) 特征值分布情况 墨三至垂士! 皇塑望型互些 国函 陵熏 l 蓬凰黧隔鬣藿 l 霪陵蕨