（模式识别与智能系统专业论文）基于主成分分析和神经树的人脸识别方法研究.pdf

济南大学硕士学位论文 摘要 人脸识别技术就是通过计算机提取人脸的特征，并根据这些特征进行身份验证的 一种技术。它融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神 经网络和生物特征技术等多个学科的理论和方法，需要研究人员具有完善的知识体系 和丰富的经验。 人脸识别技术主要通过三个步骤完成，即人脸检测定位、面部特征提取和人脸对 比确认识别。其中最重要的两个过程就是特征提取和识别。特征提取就是将图像的高 维向量进行降维处理，降维过程中保留其主要的特征，也就是说希望用图像的少量特 征来近似表示整个图像。主成分分析方法在各个变量之间相关关系研究的基础上，用 较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较 多的变量所反映的信息一种方法。它广泛应用在许多科学和工程领域中。 识别方法的选择对于最终的识别效果影响很大。目前的分类识别方法也比较多， 如人工神经网络( 6 州) 方法、灵活神经树( f n t ) 方法、支持向量机( s v m ) 方 法、模糊系统( f s ) 方法，b a y e s i a n 方法等，它们有着各自的优点和缺点。在神经网 络的研究课题中，最重要的一个问题是怎样选择合适的神经网络结构以及相关参数。 神经网络的权值和阈值等参数可以用许多方法学习得到，如误差反向传播算法，遗传 算法，进化编程和随机搜索算法等。本文研究的神经树就是一种网络结构和相关参数 自动优化的神经网络系统，这是由于它是采用树结构编码的，一些基于树结构编码的 优化算法，如遗传编程、蚂蚁编程和概率递增编程等，可被用来优化神经树的结构， 而再结合一些参数优化算法就可以实现结构和参数的自动优化。 本文系统地介绍了主成分分析及相关改进算法、神经网络和神经树的基本理论、 构成和实现方法，总结了主成分分析方法和神经网络结构的发展。在前人研究的基础 上，提出了基于主成分分析与神经树结合识别人脸的实现方法。具体内容如下： ( 1 ) 对主成分分析的基本理论进行了详细地论述。首先概述了主成分分析的特 点和发展历史，着重介绍了主成分分析的基本思想和人脸识别中的应用情况，然后介 绍了目前的一些改进算法，如线性判别式分析方法、核主成分分析方法、二维主成分 基于主成分分掇农毒孛经事孽懿入黢识别方法研究 分析方法、分块主成分分析方法等，最后概括了这些方法的基本理论和应用方法。 ( 2 ) 对神经霹络和神经树的基本理论进行7 详细的综述。概述了神经网络的特 点、产生和发展历史，介绍了神经网络的基本思想、研究领域和应用发展情况，然后 从理论和应用研究上综述神经网络的研究现状，总结了神经网络设计中的难点问题。 研究了神经树的特点和实现方法。介绍了采用遗传编程的参数优化算法一粒子群优 化算法，阐述了建立神经树模型的方法。 ( 3 ) 将主成分分孝厅秘神经树模型应用予人脸识别领域。在国际通用的人脸图像 库o r l 和y a l e 数据库上实验的结果都表明基于生成分分析和神经树的人脸识别比其 他方法的实验结果更具有效性和可靠性。 关键字：人脸识别；主成分分析；灵活神经树；特征提取；粒子群优化算法 济南大学硕士学位论文 a bs t r a c t t h et e c h n o l o g yo ff a c er e c o g n i t i o ni sat e c h n o l o g yt h a td i s c r i m i n a t ei d e n t i f yb yu s i n g t h ec o m p u t e rt oc o l l e c tt h ef e a t u r eo fh u m a nf a c e ，i tc o m b i n e st h e o r i e sa n dw a y so fs e v e r a l s u b j e c t ss u c ha s ：p a r e mr e c o g n i t i o n ，i m a g ep r o c e s s i n g ，c o m p u t e rf i g u r e ，c o m p u t e rv i s i o n ， a r t i f i c i a ln e u r a ln e t w o r k s ，b i o g r a p h yc h a r a c t e r , e t c r e s e a r c h e r so ft h i sa r e an e e d w i d e - r a n g i n gk n o w l e d g es y s t e ma n dr i c he x p e r i e n c e s t h ep r o g r e s so ff a c er e c o g n i t i o nm a i n l yc o n s i s t so ft h r e es t e p s ：i m a g ep r e p r o c e s s i n g ， f e a t u r ee x t r a c t i o na n dr e c o g n i t i o n ，f e a t u r ee x t r a c t i o na n dr e c o g n i t i o na r et h em o s t i m p o r t a n to fi t f e a t u r ee x t r a c t i o ni s t h ew a yt od e g r a d eh i g hd i m e n s i o n si n t ol o w d i m e n s i o n sa n dm a i n t a i nt h em a i nc h a r a c t e r si nt h em e a nt i m e ，t h a ti st os a yw eh o p e d e s c r i b et h ew h o l ei m a g eb yf e w e rc h a r a c t e r s p r i n c i p l ec o m p o n e n t sa n a l y s i si sw i d e l y u s e di nal o to fa r e a so fs c i e n c ea n de n g i n e e r i n g ，i su s ef e w e rn e wv a r i a b l e sw h i c hc o n t a i n m o r ei n f o r m a t i o no fo l dv a r i a b l e si n s t e a do fo l dv a r i a b l e so nt h eb a s eo fr e l a t i o n s h i po f e v e r yv a r i a b l e st o g e t h e r h o wt oc h o o s et h er e c o g n i t i o nw a yh a st h ed e e pe f f e c to nt h er e c o g n i t i o ne f f e c t s n o w t h e r ea r em a n yw a y so fc l a s s i f i c a t i o n ：a r t i f i c i a ln e u r a ln e t w o r k s ( a n n ) ，f l e x i b l en e u r a l t r e e ( f n t ) ，s u p p o r tv e c t o r sm a c h i n e ( s v m ) ，f u z z ys y s t e m ( f s ) ，b a y e s i a n ，e r e e v e r yo f t h e mh a v et h eb o t ha d v a n t a g e sa n dd i s a d v a n t a g e so nt h e m s e l v e s a m o n gt h er e s e a r c ho f a r t i f i c i a ln e u r a ln e t w o r k s ，t h em o s ti m p o r t a n tp r o b l e m sa r eh o wt os e l e c tt h ea p p r o p r i a t e a r c h i t e c t u r ea n dr e l a t i v ep a r a m e t e r sf o ra l la r t i f i c i a ln e u r a ln e t w o r k w e i g h t sa n db i a s e so f a r t i f i c i a ln e u r a ln e t w o r k sc a l lb el e a r n e db ym a n ym e t h o d s ，i e b a c k - p r o p a g a t i o na l g o r i t h m ， g e n e t i ca l g o r i t h m ，e v o l u t i o n a r yp r o g r a m m i n g ，r a n d o ms e a r c ha l g o r i t h m a n ds oo n f l e x i b l en e u r a lt r e ei sak i n do fa r t i f i c i a ln e u r a ln e t w o r k ，w h i c hi se n c o d e db y t r e e a r c h i t e c t u r e ，a n dc a l lo p t i m i z et h ea r c h i t e c t u r e sa n dp a r a m e t e r sa u t o m a t i c a l l y f o rt h e t r e e a r c h i t e c t u r eb a s e dc o d i n g ，s o m et r e e a r c h i t e c t u r eb a s e do p t i m i z a t i o na l g o r i t h m s ，s u c h a sg e n e t i cp r o g r a m m i n g ，a n tp r o g r a m m i n ga n dp r o b a b i l i s t i ci n c r e m e n t a lp r o g r a m ，a n de t c ， c a nb eu s e dt oe v o l v et h ea r c h i t e c t u r e so ff l e x i b l en e u r a lt r e e s i i i 基于主成分分析和神经树的人脸识别方法研究 t h i sp a p e rg i v e sas y s t e m a t i c a l l yi n t r o d u c eo ft h ep r i n c i p l ec o m p o n e n t sa n a l y s i sa n d i t si m p r o v e da l g o r i t h m s ，n e u r a ln e t w o r ka n dt h ef l e x i b l en e u r a lt r e ef r o mt h ea s p e c t so f b a s i ct h e o r y , c o m p o s i t i o na n di m p l e m e n t a t i o n s o m er e a l i z a t i o nm e t h o d s ，w h i c ha p p l i e d p r i n c i p l ec o m p o n e n t sa n a l y s i sa n dt h ef l e x i b l en e u r a lt r e e t of a c er e c o g n i t i o n ，w e r e p r o p o s e di nt h ep a p e rb a s e dt h ef o r m e rr e s e a r c h t h em a i n c o n t e n ti sa sf o l l o w , ( 1 ) t h ep a p e ri n t r o d u c e dp r i n c i p l ec o m p o n e n t sa n a l y s i sa n di t sb a s i ct h e o r i e s f i r s tw e s u m m a r i z e dt h ec h a r a c t e r , g e n e r a t i o na n dd e v e l o p m e n to fp r i n c i p l ec o m p o n e n t sa n a l y s i s ， a n de m p h a s i z e dt h eb a s i ci d e aa n da p p l i c a t i o ni nf a c er e c o g n i t i o n t h e nw ei n t r o d u c e d s o m ei m p r o v e da l g o r i t h m so fp c a ，s u c ha sl i n e a rd i s c r i m i n a t ea n a l y s i s ，k e r n e lp r i n c i p l e c o m p o n e n t sa n a l y s i s ，t w o - d i m e n s i o np c a ，e t c a tl a s tw e s u m m a r i z e dt h et h e o r e t i c a la n d a p p l i e dr e s e a r c ho ft h e s em e t h o d s ( 2 ) t h i sp a p e rs u r v e y e da r t i f i c i a ln e u r a ln e t w o r ka n df l e x i b l en e u r a l t r e ea n dt h e i r b a s i ct h e o r i e s f i r s t l yw es u m m a r i z e dt h ec h a r a c t e r , g e n e r a t i o na n dd e v e l o p m e n to fn e u r a l n e t w o r ki nd e t a i l s ，a n di n t r o d u c e dt h eb a s i ci d e a , r e s e a r c hf i e l da n da p p l i c a t i o n s t h e nw e s u m m a r i z e dt h et h e o r e t i c a la n da p p l i e dr e s e a r c h ，a n ds u mu pt h eq u e s t i o ni nd e s i g n i n go f n e u r a ln e t w o r k t h i r d l yw ed i s c u s s e dt h ec h a r a c t e ra n dr e a l i z e dm e t h o do ff l e x i b l en e u r a l t r e e f i n a l l y , t h ef l e x i b l en e u r a l t r e e m o d e l ，w h i c hw e r ec o m b i n e dw i t hp a r a m e t e r o p t i m i z a t i o na l g o r i t h m s ，s u c h a sg e n e t i ca l g o r i t h ma n dp a r t i c l es w a r l no p t i m i z a t i o n a l g o r i t h m ，w e r ee s t a b l i s h e d ( 3 ) an e wa p p r o a c hf o rf a c er e c o g n i t i o nb a s e d o np r i n c i p a lc o m p o n e n ta n a l y s i sa n d f l e x i b l en e u r a lt r e em o d e li sp r o p o s e d a n dt h i sm e t h o dw a st e s t e db yu s i n gt h e i n t e m a t i o n a ls t a n d a r df a c ed a t a b a s r - o i 也a n dy a l e ，t h er e s u l ts h o wt h a tt h em e t h o di s m o r ee f f e c t i v ea n dr e l i a b l et h a nt h eo t h e r s k e y w o r d s ：f a c er e c o g n i t i o n ；p r i n c i p l ec o m p o n e n t sa n a l y s i s ；f l e x i b l e n e u r a lt r e e ； f e a t u r ee x t r a c t i o n ；p a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m i v 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律责任由本人承担。 论文作者签名：蒸l 茎匿日期： 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借鉴；本人授权济南大学可以将学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保 存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：超导师签名：继日期：型z ：! 兰：p 济南大学硕士学位论文 1 1 引言 第一章绪论 人脸识别是模式识别【l2 1 研究领域中的重要课题，也是目前一个非常活跃的一个 研究方向，它的主要任务不仅仅包括照片和图像序列中识别某个面孔，而且有时还会 涉及到对面孔图像的分析或者合成。目前，国外对人脸识别问题的研究很多，比较著 名的有麻省理工学院，卡内基梅隆大学等；国内的清华大学、北京工业大学、中科院 计算所和自动化所等都有人员从事人脸识别相关的研究。 人脸识别技术【3 - 7 】就是通过计算机提取人脸的特征，并根据这些特征进行身份验 证的一种技术。人脸与人体的其他生物特征( 指纹、虹膜等) 一样与生俱来，它们所具 有的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，同其他生物特征 识别技术相比，人脸识别技术具有操作简单、结果直观、隐蔽性好的优越性。因此， 人脸识别在信息安全、刑事侦破、出入口控制等领域具有广泛的应用前景。 1 2 研究背景 人脸识别技术从最初对背景单一的正面灰度图像的识别，经过对多姿态( 正面、 侧面等) 人脸的识别研究，发展到能够动态实现人脸识别，目前正在向三维人脸识别 的方向发展。在此过程中，人脸识别技术涉及的图像逐渐复杂，识别效果不断地得到 提高。虽然人脸识别研究已积累了宝贵的丰富经验，但目前的识别技术仍然不能对诸 如复杂背景中的人脸等进行有效的处理和自动跟踪。同时，与其他学科不同的是：人 脸识别技术融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神经 网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) s q 2 1 和生物特征技术等多个学科的理论和方法， 需要研究人员具有完善的知识体系和丰富的经验。另外，人脸自身及所处环境的复杂 性，如表情、姿态、图像的环境光照强度等条件的变化以及人脸上的遮挡物( 眼镜、 胡须) 等，都会使人脸识别方法的鲁棒性受到很大的影响。因此，人脸识别技术仍然 是2 1 世纪富有挑战性的课题。 人脸识别技术主要通过三个步骤完成，即人脸检测定位、面部特征提取和人脸对 l 基于主成分分析和神经树的人脸识别方法研究 比确认识别( 如图l 所示) 。 区匦匝卜 亘堕亟卜屯堕亘丑一识别结果 图1 人脸识别技术流程图 1 2 1 人脸检测方法 人脸检测是指在输入图像中确定所有人脸( 如果存在) 的位置、大小和位姿的过 程。人脸检测作为人脸信息处理中的一项关键技术，近年来已成为模式识别与计算机 视觉领域内一项受到普遍重视，研究十分活跃的课题。 人脸识别或辨认、人脸定位以及人脸追踪等都与人脸检测密切相关。人脸定位的 目的是确定图像中人脸的位置。假设一幅图像中只存在一张脸，则面部特征检测的目 的是检测特征的存在和位置，如眼睛、鼻子( 鼻孔) ( 眉毛) ( 嘴) ( 嘴唇) 耳朵等。 人脸识别或辨认是将输入图像与数据库中的图像比对，如果存在，报告匹配结果。 人脸识别的目的是检验输入图像中的个体的身份。人脸追踪方法是实时地、连续地估 计在图像序列中的人脸的位置和可能的方向。面部表情识别涉及识别人类的情感状态 ( 高兴、悲伤、厌恶等) 。很明显，在任何解决上述问题的自动识别系统中，人脸检测 是第一步。 从一幅图像中检测人脸的方法可以分为以下四种7 3 】： ( 1 ) 基于知识的方法( k n o w l e d g e b a s e dm e t h o d s ) 。它将典型的人脸形成规则库对 人脸进行编码。通常，通过面部特征之间的关系进行人脸定位。 ( 2 ) 特征不变方 法( f e a t u r ei n v a r i a n t a p p r o a c h e s ) 。该算法的目的是在姿态、视角或 光照条件改变的情况下找到存在的结构特征，然后使用这些特征确定人脸。 ( 3 ) 模板匹配方法( t e m p l a t em a t c h i n gm e t h o d s ) 。存储几种标准的人脸模式，用来 分别描述整个人脸和面部特征；计算输入图像和存储的模式间的相互关系并用于检 测。 ( 4 ) 基于外观的方法( a p p e a r a n c e - b a s e dm e t h o d s ) 。与模板匹配方法相反，从训练 图像集中进行学习从而获得模型( 或模板) ，并将这些模型用于检测。 人脸的检测定位是整个识别过程的前提条件，在人脸检测系统中起着尤为重要的 济南大学硕士学位论文 作用，并且对最终的识别结果影响很大。但由于本文主要研究特征提取方法和分类方 法对识别率的影响，且实验对象是标准的人脸图像数据库，不涉及人脸图像的检测技 术，因此不再对人脸检测技术的相关知识进行阐述。 1 2 2 特征提取方法 特征提取和对比识别是影响识别正确率的两个重要步骤，其中由于人脸图像包含 非常大的数据信息，人脸特征的提取显得尤为重要。目前主要存在两大类方法： ( 1 ) 基于几何特征的特征提取方法。此类方法利用人脸的几何特征进行识别， 提取的信息是人脸主要器官特征信息及其之间的几何关系。 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结 构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系 的几何描述，可以做为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描 述与识别，首先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识 别的特征度量如距离、角度等。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位 置和眼睛等重要器官的几何形状作为分类特征，但1 9 9 6 年r o e d e r 对几何特征提取的 精确性进行了实验性的研究，结果不容乐观【7 4 】。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个参数 可调的器官模型( 即可变形模板) ，定义一个能量函数，通过调整模型参数使能量函数 一 最小化，此时的模型参数即做为该器官的几何特征。这种方法思想很好，但是存在两 个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量 函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的 前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构 关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已 有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 ( 2 ) 基于代数特征的特征提取方法。此类方法将人脸图像的数学特征作为识别 的对象，对于计算机来讲此类方法迅速有效，因此近年来得到很快发展。方法也很多， 基于主成分分析和神经树的人脸识别方法研究 如离散余弦变换( d c t ) 1 3 , 1 4 , 6 1 】、主成分分析( p c a ) 1 5 - 1 7 】、独立成分分析( i c a ) 【1 8 】、线性判别式分析( l d a ) 【1 9 ，6 2 1 、f i s h e r 最佳判别【2 0 】、奇异值分解( s v d ) 2 1 】等。 这两类特征提取的方法也都在不断的发展过程中，研究者们提出了一些改进的方 法和结合的方法，也取得了较好的效果。由于通过计算机来处理图像使其对图像做到 自动识别，因此本文研究了基于代数特征的特征提取方法中应用最为广泛的方法一 主成分分析方法以及其改进方法，并且进行了实验与其他方法做了一些比较。 1 2 3 模式分类方法 想要得到识别率高的结果，单一的来看特征提取的方法是不行的。经过某种方法 提取出的特征的性能要经过分类的检验才可证明，因此，模式分类方法的选择也十分 重要。 目前分类方法也有很多，如人工神经网络方法、支持向量机( s u p p o r tv e c t o r m a c l l i n e ，s v m ) 方法【2 2 ，6 4 1 、模糊系统( f u z z ys y s t e m ) 方法，b a y e s i a n 方澍6 5 1 等等， 但对于某种特征提取方法分类方法的性能也各有不同。自8 0 年代后，人工神经网络 得到了飞速发展，相关的应用也扩展到了语音识别、图像识别与理解、计算机视觉、 智能机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运、 自适应控制、专家系统等很多领域。但由于神经网络的设计是一个高度复杂的问题， 进行神经网络系统设计具有很大的局限性。神经树的理论被提出【2 3 之5 1 ，它是一个类似 于人工神经网的智能计算系统，用来解决人工神经网络的自动设计问题，在时间序列 预测、系统辨识等方面表现优秀。本文在神经网络和神经树作为模式分类的方法上进 行了一些研究和实验。 1 2 3 小结 影响人脸识别的准确率的两大因素是特征提取的质量和分类器的性能，因此，要 对众多特征提取的方法进行分析、选择和实验，同时配合上理论上较好的分类方法进 行测试，以达到确立较好的人脸识别方法。本文研究了主成分分析及相关改进方法作 特征提取，用神经网络和灵活神经树作分类器的人脸识别方法的实现过程，并在国际 通用的人脸数据库上进行了实验仿真。在优化神经网络和神经树的参数时，采用了性 4 济南大学硕士学位论文 能良好的粒子群优化算法，并且研究了神经树的结构优化算法。 1 3 论文内容安排 第一章绪论，主要简介人脸识别的相关概念，特征提取的方法和模式分类器的选 择问题，引出了本论文的研究背景。 第二章主成分分析及改进算法，阐述主成分分析的基本原理和实现方法，并介绍 一些针对其缺点所做的改进算法的原理和实现过程。 第三章神经网络与神经树模型，主要介绍神经网络的基本理论、发展历史及现状； 神经树模型的基本理论、结构，以及采用粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n a l g o r i t h m ，p s o ) 【2 6 】对神经网络和神经树进行参数优化的方法，探讨了神经树的结构 优化算法。 第四章仿真实验与结果分析，即采用基于主成分分析与f i s h e r 的特征提取方法， 神经网络以及神经树模型的模式分类器进行人脸识别，主要介绍了在o r l 和y a l e 人 脸数据库上的一些仿真实验，并且对实验结果进行了比较分析，最后做出了相应的结 论。 第五章总结和展望，对基于主成分分析和神经树的人脸识别方法做出了总结，同 时指出存在的问题，并对未来的研究和发展做出了展望。 基于主成分分析和神经树的人脸识别方法研究 2 1 概述 第二章主成分分析方法 常见的基于代数特征的特征提取方法有主成分分析方法，独立成分分析方法，线 性判别式分析方法，离散余弦变换方法，奇异值分解方法和小波变换方法【2 7 】等。 近年来，基于主成分分析的特征脸法在人脸识别中得到广泛的应用，成为研究的 热点。主成分分析法是一种多元统计数据分析方法，它是用数量不多的若干个线性无 关的综合变量来描述多维空间的绝大部分动态信息，是基于目标统计特性的最佳正交 变换。经过变换后产生的新的分量正交或者不相关，同时以部分新的分量表示原矢量 的均方误差最小。一般的，同一个人的准正面人脸图像，发生轻微地姿态和表情变化， 经过主成分分析之后的差异，应当小于不同的人脸图像。利用主成分分析突出差异性 和抑制相关性的特点，本文尝试了利用主成分分析方法及相关改进算法提取人脸图像 的特征集。 2 2 主成分分析 2 2 1 基本理论 主成分分析方法也称为主元法，主分量分析法，是一种常用的方法，它以k l 变换( k a r h u n e n l o e v e 变换) 为基础。s i r o v i c h 和k i r b y 首先将k l 变换用于人脸图 像的最优表示【2 8 】，2 0 世纪9 0 年代初期t u r k 和p e n t l a n d 1 5 】根据主成分分析原理提出 了特征脸( e i g e n f a c e ) 的概念。它是一种简单有效的方法。它根据图像的统计特性进 行正交变换，以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的 特征向量。通过k l 变换，可以把图像在高维空间表示转换到低维空间表示，而由 低维空间恢复的图像和原图像具有最小的均方误差。从而可以以图像在低维空间的变 换系数作为人脸图像的描述特征。k - l 变换用于人脸识别的前提是人脸图像处于低维 空间，并且不同人脸是线性可分的。 k l 变换是主成分分析的基础，为了理解主成分分析的原理，我们先简单介绍一 下k l 变换【2 9 1 。 6 济南大学硕士学位论文 假设x 为1 1 维的随机变量，x 可以用n 个基向量的加权和来表示： 式中，口。为加权系数，办为基向量。此式还有镡阵的表示形式： x = ( 办，改，丸) ( 口l ，口2 ，口刀) 7 = 口( 2 ) 其中， = ( 矽l ，矽2 ，矽疗) ， 口= ( 口l ，口2 ，口刀) r ( 3 ) z2 j f ( 4 ) 由正交向量构成，所以是正交矩阵，即： 。= i ( 5 ) 将公式( 2 ) 两边左乘7 ，并考虑到是正交矩阵，得： 口= 。x ( 6 ) 即： 。 = 中；x ( 7 ) 我们希望向量口的各个向量间互不相关。那么如何保证口的各个分量互不相关呢? 这取决于选取什么样的正交向量集，了。 设随机向量的总体自相关矩阵为： r = e x 。x 】( 8 ) 将( 2 ) 式代入( 8 ) 式，得： r = e x r x 】= e 货a 丁7 】= e a a7 r ( 9 ) 我们要求向量口的各个分量间互不相关，即满足下列关系： 脚小怡嚣， 写成矩阵的形式是： 7 矗p 口 疗州 = x 1 n u 厂(，k = 吼 量向交正为量向 基 取们 我 基于主成分分析和神经树的人脸识别方法研究 则 a 0 o = 人 r = 0 a o r ( 1 2 ) 将上式两边右乘，得 尺= 人西。西( 1 3 ) 由于是正交矩阵，所以得 尺= 中人( 1 4 ) 即 r = 乃，( j = 1 ，2 ，刀) ( 1 5 ) 可以看出，乃是x 自相关矩阵r 的特征值，是对应乃的特征向量。因r 为 实对称矩阵，它的不同特征值对应的特征向量应正交。 综上所述，k l 展开式的系数可以用下列步骤求出： 第一步：求随机向量x 的自相关矩阵r = e x7 x 】，由于没有类别信息的样本集 的均值向量，常常没有意义，所以也可以把数据的协方差矩阵= e e ( x - x x 一) r 】 作为k l 坐标系的产生矩阵，这里是总体均值向量。 第二步：求出自相关矩阵或协方差矩阵r 的特征值名，和特征向量，其中 = 1 ，2 ，拧，同时特征向量组成的矩阵为= 1 ，：，。) 。 第三步：展开式系数即为口= r x 。 由于k l 变换前后的向量信号的个数是相同的，但变换后的各分量与变换前的 分量值是不一样的，变换后出现了若干个很小值。这就使得我们能够在保留主要分类 信息的基础上降低特征的维数。若要用于数据压缩，就要删除一些能量较小的分量， 而且在最小均方误差的意义上，这种变换是最优的。 主特征有以下性质： 8 济南大学硕士学位论文 1 ) 由映射的线性性及变换矩阵的正交归一化性不难证明，属于测量空间的任一 模式都有唯一的特征向量与之对应，这一特性说明模式的变换没有丢失分类的主要信 息。 2 ) 主特征具有稳定性。即当输入矢量有微小变化时，其对应的主特征变化将小 于输入模式的变化。这一特性说明对图像噪声等因素引起的图像灰度变化有不敏感 性，所以可以放宽对输入图像的要求。 3 ) 经过映射随着空间维数的降低，模式之间的距离也得到减小，从而避免了在 多维空间上进行分类的复杂性。 4 ) 经过映射，分类空间从欧氏空间转移到了马氏空间，这种消除了模式间相关 性的分类空间极大地降低了错分率。 5 ) 主特征具有重建图像的能力。由于主特征的获得是以重建误差最小为条件的， 所以主特征具有重建能力是肯定的。其重建图像的质量与所用的主分量的多少有 关。 2 , 2 2p c a 在人脸图像中的应用 主成分分析方法在人脸识别领域中应用的相当广泛【3 0 3 2 1 ，下面来介绍一下。设一 幅p q 大小的人脸图像共有p q 个象素点，设每个象素点灰度值存放在二维数组中， 则可以按照列依次相连构成一个p q 维的向量，它可以被看作是p x q 维空间中的一 个点。 。 由于人脸结构的相似性，当把这样的人脸图像归一化之后，这些图像在这个高维 空间中不是随机和散乱地分布而是存在某种规律。因此，可以通过k l 变换用一个 低维子空间描述人脸图像，同时又能保存所需要的识别信息。用k l 变换获取其正 交k l 基底，对应其中较大特征值的基底具有与人脸相似的形状，因此又称之为特 征脸( e i g e n f a c e s ) 。 具体算法如下： 假定参加训练的人脸图像一共有n 张，每张图像的维数为p q ，则可以分别表 示为：l l 、l 2 、l 3 、l n ，那么平均脸可以表示为： 9 基于主成分分析和神经树的人脸识别方法研究 厂= 专缸， 每张人脸和平均脸之间的距离可以表示为： d f = l f f ( 1 7 ) 设矩阵a = p 。，d 2 ，d 3 ，d ) ，特征脸需要做的就是找出矩阵a a t 的前z 个较大特 征值的特征向量，但由于州t 是一个( p x q ) ( p q ) 维的高维矩阵，求这样一个 矩阵的特征值计算量是非常大的。为此我们可以先求出彳t 彳的特征值和特征向量， 然后求出州t 的特征向量“，： ，l u ，= 么甜，名，1( = 1 , 2 ，3 ，z ) ( 1 8 ) 其中甜，表示彳t 彳的特征向量，五，是a t a 的特征值，甜，就是所指的特征脸。求出 特征脸后，剩下的工作就是要对人脸库中的图像进行降维，即提取特征，由甜，可以 组成一个投影矩阵，表示为w = 函。，“：，甜3 ，“z ，并进行降维： g j - - w 1 d ，( 江1 , 2 3 一，) ( 1 9 ) 由上式即可得出所有人脸向量的降维向量。 式( 1 8 ) 中的z 值就是提取特征的个数，也就是将人脸图像特征降至的维数，可 以称之为选择的主分量个数。它一方面表达着人脸图像信息，一方面影响着下一步识 别的质量。主分量偏多导致下一步进行识别时神经网络或神经树的输入增加，计算复 杂且缓慢；主分量偏少将丢失人脸信息，影响识别率。所以确定选择得主分量个数是 主成分分析方法进行特征提取的重要问题。 下面介绍一下常见几种确定主分量个数的方法： 1 ) 标准的特征空间投影 所有k 个对应于非零特征值的特征向量均被用于创建特征脸子空间。该方法在k 值比较大的时候，计算速度比较慢，而且不利于分类，没有达到降维的效果。 2 ) 保持前面的c 1 个特征向量 将特征值按照降序排列，同时只保留最前面的c 1 个特征向量。其中c 为训练 图像的类别数。 3 ) 通过计算阈值来确定维数 1 0 济南大学硕士学位论文 该方法采用保证所保留的特征向量所对应的特征值之和与总的特征值之和的比 值大于一定的阈值e 。可以依照下列公式计算： 其中；m 为保留的特征向量的个数。e 取值一般为0 9 。 得到人脸图像的降维向量后，就可以将数据作为分类器的输入进行训练和测试 了。 2 3 主成分分析的改进算法 从数学角度看，以kl 变换为基础的p c a 人脸识别方法是统计最优的，它使得 压缩前后的均方误差最小，且变换后的低维空间有很好的分辨能力。但是p c a 方法 也存在着缺陷。首先，它基于图像的灰度统计值，外在因素带来的图像差异和人脸本 身带来的差异是无法区分的。因此由于光照，角度，尺寸，姿态，表情等外界因素的 变化会降低识别率。从这个角度而言，进行合适的图像预处理工作是很必要的；其次， 将图像矩阵转化为图像向量后，造成图像向量的维数一般较高，使得整个特征抽取过 程所耗费的计算量相当可观；最后，主成分分析的训练是非监督的，即p c a 无法利 用训练样本的类别信息。这就促使研究人员在该方法基础上发展了许多改进方案，如 f 线性判别式分析( l d a 方法，也称f i s h e r 脸方法) 3 3 - 3 4 】，分块p c a 理论嘲、2 维p c a 理论3 6 - 3 7 , 2 9 、基于核函数的p c a 3 8 - 4 1 等算法，丰富了主成分分析的理论。下面简单介 绍一下这几种方法，本文还针对线性判别分析方法作了实验。 2 3 1 线性判别式分析方法 k l 变换是数字图像压缩领域里的一种最优变换，它是是从低维空间恢复的人脸 图像和原图像的均方误差最小。但k l 变换只是从压缩角度来看是最优的，从分类 角度来看却不是最优的。虽然它考虑了人脸图像的所有差异( 从降维角度) ，但没有 考虑这些差异是类内差异还是类间差异( 从分类角度) ，因此在理论上讲该方法用于 人脸识别存在缺陷。因此，以k l 变换为基础的主成分分析方法的不足之处是受表 情变化、光照角度强度变化和视角变化等影响，鲁棒性较差。 d a n i e ll s w e t s 和j o h nw e n g 提出在主成分分析的基础上使用线性判别式分析，也 l l 加 乃 纠 丑 ，闩 = 白 基于主成分分析和神经树的人脸识别方法研究 称f i s h e r j j 佥方法【4 2 1 。 该方法选择以类内散布正交的矢量作为特征脸空间，从而能压制图像之间的与识 别信息无关的差异，对光照及人脸表情变化都不太敏感。l d a 的目的就是从高维特征 空间里提取出最具有判别能力的低维特征，这些特征能帮助将同一个类别的所有样本 聚集在一起，不同类别的样本尽量分开，即选择使得样本类间离散度和类内离散度的 比值最大的特征。 具体算法如下【2 9 】： 假设原始图象库中共有n 个图象，假设每个图象共有d 个象素点，则原始人脸 图象向量可以表示为x l ，x 2 9 o 9 x n ( 向量维