（模式识别与智能系统专业论文）增强的子空间鉴别特征提取及分类方法研究.pdf

南京邮电大学 硕士学位论文摘要 学科、专业： 研究方向： 工学、模式识别与智能系统 信息获取、处理与识别 作者：常恒 指导教师：荆晓远 题目： 英文题目： 增强的子空间鉴别特征提取及分类方法研究 e n h a n c e ds u b s p a c ei d e n t i f i c a t i o nm e t h o do ff e a t u r e e x t r a c t i o na n dc l a s s i f i c a t i o n 主题词：-子空间分析，人脸识别，特征提取 k e y w o r d s ：s u b s p a c ea n a l y s i s ， f a c e r e c o g n i t i o n ， f e a t u r e e x t r a c t i o n 摘要 作为最近图像处理领域的研究热点的人脸识别研究，它对模式识别和信息安全的发展 很有帮助。而特征提取是模式识别研究的最基本问题之一，它对于图像识别起着至关重要 的作用。其中，线性鉴别分析是最为常用的特征抽取方法，在人脸识别领域得到了非常多 的关注。然而在最近，核技术的发展进一步促进了传统的特征抽取方法的发展。目前出现 了核鉴别分分析的非线性特征抽取方法，它可以解决原始的样本在线性空间可能不可分的 问题，使得基于核的特征提取方法也得到了迅速的发展。另外，由于经典的线性鉴别分析 需要较多的特征抽取时间，研究者提出了二维线性鉴别分析，使得特征抽取速度大大加快。 判别公共向量也是最近几年的热点，它可以很好地解决“小样本问题 ，在人脸识别中取 得了很好的效果。由于它们都是基于子空间的算法，将之统称为子空间分析方法。本文基 于上述几种特征抽取技术对人脸识别方法进行了研究，主要工作如下： 1 在分析二维鉴别分析和图像预处理的基础上，提出了一种对图像的g a b o r 预处理和 2 df i s h e r f a c e 特征提取方法相结合的人脸识别。首先利用g a b o r 滤波器对图像进行预处理， 然后运用2 df i s h e r f a c e 方法抽取原始图像，在运用2 df i s h e r f a c e 方法的时候自动提取具有 鉴别能力的特征进行人脸识别。由于结合了两种方法的优点，从而取得了比任意一种方法 更好的识别结果。 2 在基于核鉴别特征模型的基础上，根据上面所提出的2 df i s h e r f a c e 方法，提出了一 种新的核特征抽取方法。先利用改进的2 df i s h e r f a c e 做空间变换，把样本进行线性变换， 然后把变换后的新样本集投影到高维空间上，在进一步抽取高维鉴别特征。对样本进行两 次特征抽取更加有利于分类。 3 在判别公共向量算法的基础上做了改进，也就是在我们提取鉴别特征的时候，不但 利用了每类的公共向量，而且利用了每个样本的差别向量。通过充分的利用类别信息和样 本信息，可以更加有效地对样本进行特征鉴别。 以上三种方法均在标准人脸库上进行仿真实验，证明了其有效性。 关键词人脸识别，特征抽取，线性鉴别分析，子空间分析，核鉴别分析，二维线性鉴别 分析，g a b o r 图像预处理，判别公共向量 a b s t r a c t a sa l la c t i v er e s e a r c ha r e ai np a t t e r nr e c o g n i t i o na n di m a g ep r o c e s s i n g ，f a c er e c o g n i t i o ni s h e l p f u lf o r l ep r o g r e s so fi n f o r m a t i o ns e c u r i t y f e a t u r e e x t r a c t i o ni so n eo ft h ee l e m e n t a r y p r o b l e m so fp a t t e r nr e c o g n i t i o n ，a sw e l la st h ek e yt oi m a g ei d e n t i f i c a t i o n l i n e a rp r o j e c t i o n a n a l y s i s ，i n c l u d i n gf i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ，i st h ec l a s s i c a la n dp o p u l a rt e c h n i q u ef o r f e a t u r ee x t r a c t i o n t h ea p p e a r a n c eo fk e r n e lt r i c kw h i c hc a nd e r i v en o n - l i n e a rf e a t u r ei m p r o v e s t h ed e v e l o p m e n to ff a c er e c o g n i t i o n ，a n df e a t u r ee x t r a c t i o nt e c h n o l o g ys u c ha sk e r n e lf i s h e r l i n e a rd i s c r i m i n a n ta n a l y s i sg e t sm o r ea t t e n t i o n i na d d i t i o n , t r a d i t i o n a ll i n e a rd i s c r i m i n a n t a n a l y s i sn e e dm u c hc o m p u t i n gt i m e ，b u ta p p e a r a n c eo ft h et w od i m e n s i o n a lf i s h e r l i n e a r d i s c r i m i n a n ta n a l y s i sc o u l ds o l v et h ep r o b l e m m a t sm o r e d i s c r i m i n a n tc o m m o nv e c t o ri sa l s o d e v e l o p e da sas p o t l i g h tf o ri t sa b i l i t yt os o l v et h e “s m a l ls a m p l es i z e p r o b l e mw h i l ep r e s e r v i n g g o o dc l a s s i f i c a t i o np e r f o r m a n c e a 1 lt h em e t h o d sm e n t i o n e da b o v em a n i p u l a t et h ed a t ap o i n t si n am u l t i d i m e n s i o n a ls u b s p a c ea n dh e n c ea r er e g a r d e da ss u b s p a c em e t h o d si ng e n e r a l i nt h i s p a p e r , s e v e r a ln e wa l g o r i t h m so fs u b s p a c em e t h o d s a r ed e v e l o p e d t h em a j o rw o r k so ft h i sp a p e r a r el i s t e db e l o w ： i nt h ef i r s ts e c t i o n , an e wm e t h o dt h a tc o m b i n e sg a b o rt r a n s f o r m a t i o nw i t hd i s c r i m i n a n t a n a l y s i st e c h n i q u ei sp r o p o s e d i tf i r s tp r e p r o c e s s e sa l li m a g es a m p l e sb yu s i n gg a b o rt r a n s f o r m ， a n dt h e nc a l c u l a t e s t h e2 dg a b o rp r i n c i p a lc o m p o n e n t sa n dd i s e r i m i n a n tv e c t o r sb yu s i n g 2 d f i s h e r f a c e t oe n h a n c et h ed i s c r i m i n a n tc a p a c i t y , a na u t o m a t i cs t r a t e g yi sd e s i g n e df o r s e l e c t i n gd e s i r a b l ec o m p o n e n t sa n dv e c t o r s t h ep r o p o s e dc o m b i n e dm e t h o de f f e c t i v e l ym e r g e s t h ea d v a n t a g e so fb o t hg a r b o rt r a n s f o r m a t i o na n d2 d f i s h e f f a c e ，w h i c hu l t i m a t e l yg i v e sr i s et o b e t t e rr e c o g n i t i o nr a t e st h a nt h o s eo fs i n g l em e t h o d s i nt h es e c o n ds e c t i o n ，an o v e ln o n l i n e a rf e a t u r ee x t r a c t i o na n dr e c o g n i t i o na p p r o a c hb a s e d o ni m p r o v e d2 df i s h e r f a c ea n dk e r n e ld i s c r i m i n a n ta n a l y s i si sp r o p o s e d a ni m p r o v e d2 d f i s h e r f a c em e t h o dt h a td e s i g n san e ws t r a t e g yt os e l e c ta p p r o p r i a t e2 dp r i n c i p a lc o m p o n e n t sa n d d i s c r i m i n a n tv e c t o r si sp r e s e n t e d t h e n2 df e a t u r e st op e r f o r mt h ek e m e ld i s c r i m i n a n ta n a l y s i si s u s e d a ss h o w nb yt h ee x p e r i m e n t s ，s u c ht w i c ef e a t u r e e x t r a c t i o ns t r a t e g yo ft h ed a t as e th a s m o r ef a v o r a b l ec l a s s i f y i n ga b i l i t y i nt h em i r ds e c t i o n ，t h ed i s c r i m i n a t i v ec o m m o nv e c t o ra l g o r i t h mi si m p r o v e d i d e n t i f y i n g c h a r a c t e r i s t i c so ft h ee x t r a c t i o n ，p u b l i cv e c t o r so fe a c hc l a s sa n dt h ed i f f e r e n c ev e c t o r so fe a c h s a m p l ea r eu s e d b yt h ef u l l yu t i l i z a t i o no fb o t hc l a s sa n ds a m p l ei n f o r m a t i o n ，m o r ee f f e c t i v e i d e n t i f y i n gf e a t u r e sa r eo b t a i n e df o rr e c o g n i t i o n a 1 lm e t h o d sp r o p o s ei nt h i sp a p e ra r ee v a l u a t e do nt h es t a n d a r df a c ed a t a b a s e s ，w h i c h d e m o n s t r a t e st h e i re f f e c t i v e n e s si nc l a s s i f i c a t i o np e r f o r m a n c e k e y w o r d sf a c er e c o g n i t i o n ，f e a t m ee x t r a c t i o n ，f i s h e rl i n e a rd i s c r i m i n a n t ，s u b s p a c ea n a l y s i s ， k e r n e ld i s c r i m i n a n ta n a l y s i s ，t w od i m e n s i o n a lf i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ，g a b o ri m a g e p r e - p r o c e s s i n g , d i s c r i m i n a t i v ec o m m o n v e c t o r i i 目录 摘要i a b s t r a c t 】 i 第一章绪论1 1 1课题背景1 1 2人脸识别的发展现状2 1 3子空间的研究现状3 1 4 本文的主要内容6 1 5本文内容章节安排6 第二章几种典型的子空间特征方法7 2 1主成分分析7 2 2线性鉴别分析1 0 2 3基于核方法1 3 2 3 1 核主元分析1 4 2 3 2 核鉴别分析1 5 2 4二维鉴别分析1 6 2 4 1 二维主成分分析1 7 2 4 2 二维线性鉴别分析1 8 2 5判别公共向量方法2 0 第三章g a b o r2 d f i s h e r f a c e 方法2 2 3 1 问题的提出2 2 3 2g a b o r 变换具体方法2 3 3 32 i ) f i s h e r f a c e 特征提取2 5 3 42 d6 a b o r 主元和鉴别向量的选取方法2 7 3 5识别步骤2 8 3 6本章小结2 8 第四章基于2 d f i s h e r f a c e 和核鉴别分析的方法2 9 4 1 问题的提出2 9 4 2具体方法描述3 0 4 3识别步骤3 2 4 4本章小结3 3 i l l 第五章改进的判别公共向量方法3 4 5 1问题的提出3 4 5 2改进的d c v 方法3 4 5 3识别步骤3 7 5 4本章小结3 8 第六章实验结果及分析3 9 6 1人脸识别数据库：3 9 6 2g a b o r2 d f i s h e r f a c e 方法实验结果分析4 0 6 2 1 在a r 库上的实验4 0 6 2 2 在f e r e t 库上的实验4 3 6 2 3 小结4 4 6 3基于2 d f i s h e r f a c e 和核鉴别分析的算法实验结果分析4 4 6 3 1 在a r 库上的实验4 4 6 3 2 在f e r e t 库上的实验4 7 6 3 3 小结4 8 6 4改进的判别公共向量方法实验结果分析4 8 6 4 1 在a r 库上的实验4 8 6 4 2 在f e r e t 库上的实验4 9 6 4 3 小结5 0 第七章结论及展望5 l 致谢5 3 参考文献5 4 攻读学位期间发表的学术论文5 8 i v 南京邮电大学硕上研究生学位论文第一章绪论 1 1 课题背景 第一章绪论 人类步入信息时代以来，信息的自动处理成为了人类生产和生活中不可缺少的部分， 人们越来越注重相关技术的研究和实现，这其中就包括模式的自动分类技术。对人类而言， 模式分类并不是什么新鲜的事物。人类本身就具备模式的分类能力，例如我们能认出对面 走过来的人，知道他的身份，或者我们能通过语音来识别对方的身份。这些都属于模式分 类的范畴。所以模式分类是人类与生俱来的智能。但是要想让计算机具备人类的这中智能 却非易事。近几十年来从信息处理的角度出发的一些研究工作为让计算机实现人类的视 觉，听觉等识别能力做了大量的工作也发展了相关观点的理论和算法。 用计算机实现模式的自动识别也是使我们的世界变得更加智能化的关键技术之一。随 着数字化和网络通讯的迅猛发展，海量的信息己经超越了人类所能处理的极限。如何用智 能的手段处理识别海量的信息己成为当前信息技术领域迫在眉睫的需求。在人类的模式识 别技能中，生物特征识别可能是用得最多的技能之一。我们能根据获取的某个人的脸部信 息，声音信息以及姿态甚至背影信息辨认这个人。我们希望计算机也具有这样的能力。现 在，全球反恐的任务就包含这方面的需求。常见的需求是要求系统根据虹膜、视网膜、指 纹、人脸、语音、步态、掌纹信息等自动识别人的身份，有时也有一些特殊的要求使得系 统能识别对方的性别、表情，甚至识别人有没有撒谎等等。上述的信息都属于生物信息的 范畴，所以我们称基于生物信息的识别为生物特征识别。这个领域是模式识别研究最具活 力，同时也是具有重要应用前景的领域之一。经过几十年的发展，生物特征识别研究的价 值开始体现，不少商用系统开始出现，其中一些生物特征识别技术逐渐走向成熟。但是， 另一方面生物特征识别仍是个开放的问题，从基础理论到具体应用都有一些重要的问题尚 未解决。 所谓生物特征识别技术就是，通过计算机与各种传感器和生物统计学原理等高科技手 段密切结合，利用人体固有的生理特性和行为特征，来进行个人身份的鉴定。生理特征与 生俱来，多为先天性的；行为特征则是习惯使然，多为后天性的。将生理和行为特征统称 为生物特征。并非所有的生物特征都可用于个人的身份鉴别。身份鉴别可利用的生物特征 必须满足以下几个条件：第一，普遍性：即必须每个人都具备这种特征。第二，唯一性： 即任何两个人的特征是不一样的。第三，可测量性：即特征可测量。第四，稳定性：即特 1 南京邮电大学硕士研究生学位论文第一章绪论 征在一段时间内不改变。当然，在应用过程中，还要考虑其他的实际因素，比如：识别精 度、识别速度、对人体无伤害、被识别者的接受性等等。现在常用的生物特征有：人脸识 别、虹膜识别、手形识别、指纹识别、掌纹识别、签名识别、声音识别等。 1 2 人脸识别的发展现状 虽然目前人们研究和使用的生物特征识别技术主要有许多中，但是在这其中，利用人 脸特征进行身份验证又是最自然最直接的手段。相比于其他人体生物特征，它具有直接、 友好、方便和稳定性强等特点，易于被用户接受，可广泛应用于医学、档案管理、身份验 证、罪犯追踪、视频会议、通道控制乃至出纳机( a t m ) 等多种场合，因而具有极大的市场 前景，甚至可能形成一个巨大的、对人类生活产生深刻影响的产业。人脸识别研究在学术 上也有重要意义。它涉及到图像处理、模式识别、计算机视觉和神经网络等学科，也和人 脑的认识程度紧密相关。因此对人脸识别的深入研究能够推动这些基础研究的发展。 人脸识别是人们日常生活中最常用的身份识别手段。人脸识别技术就是通过图像采集 设备捕捉人的脸部区域，然后把捕捉到的人脸和预先录入到人员库存中的人脸进行比对， 从而达到身份识别的目的。由于人脸识别对于识别对象没有侵犯性，因而理论上它可以成 为一种最友好的生物特征识别技术。如何描述每个个体人脸的特征，使之区别于其他个体， 是人脸识别研究中的关键问题之一。人脸识别技术，就是利用计算机分析人脸图象，进而从 中提取出有效的识别信息，用来“辨认”身份的一门技术人脸识别是当前人工智能和模式识 别的研究热点，它可以用于身份认证、公共场合对人的监视、图像数据库的检索、提高人 与计算机的交互能力等。不过，目前人脸识别技术的研究目前还处于起步阶段【l 】。 人脸识别的研究已有很长的历史，最早可以追溯n - 十世纪法国人g a l t o n 2 的工作，用 一组数字代表不同的人脸侧面特征。在最近三十年，人脸识别发展迅速。人脸识别的输入 图像通常有3 种情况：正面、倾斜、侧面。从1 9 7 3 年k a n a d e 3 的工作起至今，大多数人脸 识别研究工作的对象为正面或接近正面的静态人脸图像。本文是针对正面或接近正面的人 脸静止图像识别方法来展开的。 人脸的特征提取和特征识别( 匹配) 是人脸识别中最为关键的两个问题。事实上，人脸 识别研究的发展主要就体现在这两个问题上，即提取人脸的什么特征和用什么手段进行分 类。针对这两个问题，人们提出了许多种人脸识别算法：基于几何特征的人脸识别方案；基 于特征脸( 特征子空间) 【4 】的人脸识别算法；基于模板p ej e ( 静态匹配和弹性匹配) 的人脸识 别算法；基于人工神经网络的识别算法 5 】；等灰度线法 6 】；基于特征融合的人脸识别算法 2 南京邮电大学硕士研究生学位论文 第一章绪论 7 】；隐马尔可夫模型方法等等。 上述各人脸识别算法均有各自的优势和不足，目前的研究工作表明它们的识别率都还 远远不能达到实际使用的要求。近几年在人脸识别领域发展出了一些新的方法中，人脸识 别的线性子空间方法发展迅猛，成为人脸识别方法研究的热点。线性子空间方法由特征脸 法发展而来，在线性鉴别分析( l d a ) 8 】下走向成熟，最近又以独立成份分析( i c a ) 9 】和 非负矩阵分解( n m f ) 1 0 ，1 1 再次成为关注的焦点。线性子空间方法的数学理论基础坚实， 算法简洁明了且表现稳定。研究表明，人脸识别的线性子空间方法不仅在识别率、鲁棒性 和计算复杂度等方面获得重大突破，同时也推动了对人脸识别理论本质的深入认识，从而 推进了人脸识别整个领域的发展。本文将人脸识别的线性子空间方法作为研究重点，对其 进行研究不仅具有十分重要的理论价值，同时也有很大的现实意义。 近年来提出了大量的方法，其中随着主元分析在人脸识别中的成功应用之后，子空间分 析因其具有描述性强、计算代价小、易实现及可分性好的特点，受到了广泛的关注。人脸识 别是当前最热门的模式识别和人工智能的研究课题之一，也是本文的主要研究对象。子空 间鉴别分析是一种有效的鉴别技术，它已经广泛的应用到人脸识别上面，本课题正是研究 子空间鉴别分析技术，试图提出一些新的改进算法以及创新方法，以便于更有效的提高识 别效率和准确度。或者对原始图像进行更利于子空间鉴别分析技术的预处理，达到更好的 识别效果。 1 3 子空间的研究现状 人脸干变万化，及其复杂，而且人脸图像的维数很高，想直接显式地表述人脸特征非 常困难。仔细观察人脸图像，总的来说，正面人脸图像具有对称性，表面光滑并且具有一 定的纹理信息，局部像素之间又具有很强的相关性。说明人脸图像的像素之间具有很强的 冗余性。如果把人脸图像看成整个空间的话，那么每一个人脸样本都是分布在这个空间中 的一个“点”。可以考虑经过一个映射，将这些高维人脸空间中的点投影到另一个低维空间 中，去除人脸图像的冗余信息，使得样本点在新的空间中更为紧凑，为数据的更好描述提 供了手段。这个低维空间被称为子空间( s u bs p a c e ) ，子空间方法正是基于这个思想被提出。 近年来，基于子空间的人脸识别算法得到了广泛关注，逐渐成为人脸识别方法的主流。由 于子空间的获取需要求助于一个投影，所以基于子空间的方法也被称为基于投影的方法 ( p r o j e c t i o nb a s e dm e t h o d s ) 。 在过去的几十年中出现了很多人脸识别方法，尤其是上世纪9 0 年代以后基于统计的 3 南京邮电大学硕士研究生学位论文第一章绪论 子空间人脸识别方法得到了迅猛发展。子空间分析的思想就是根据一定的性能目标来寻找 线性或非线性的空间变换，把原始信号数据压缩到一个低维子空间，使数据在子空间中的分 布更加紧凑，为数据的更好描述提供了手段，另外计算的复杂度也得到了大大降低子空间分 析除了有线性和非线性空间变换之分外，根据不同的性能目标要求，得到的子空间也是不一 样的目前在人脸识别中得到成功应用的线性子空间方法有：主元分析( p r i n c i p a lc o m p o n e n t a n a l y s i s p c a ) 、线性判决分析( l i n e a rd i s c r i m i n a n ta n a l y s i s l d a ) 、独立元分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s i c a ) 和非负矩阵因子( n o n n e g a t i v em a t r i xf a c t o r i z a t i o n n m f ) ，基于核技 术的非线性子空间分析方法有：核主元分析( k e r n e lp c a k p c a ) 和核f i s h e r 判决分析( k e r n e l f i s h e rd i s c r i m i n a n ta n a l y s i s k f d a ) 等。 线性子空间方法主要包括主成分分析( p r i n c i p a lc o m p o n e n t sa n a l y s i s ，p c a ) 1 2 、线性 判别分析( l i n e a rd i s e d m i n a n ta n a l y s i s ，l d a ) 8 、独立成分分析( i n d e p e n d e n tc o m p o n e n t s a n a l y s i s ，i c a ) 9 等。1 9 9 1 年，麻省理工学院的t u r k 和p e n t l a n d 提出了著名的“特征脸” 方法( e i g e n f a c e ) 1 4 。该方法是早期人脸识别领域最具影响力的方法之一，也是子空间方法 的核心部分之一，之后的很多人脸识别算法或多或少都与之相关。e i g e n f a c e 的核心算法是 主成分分析 1 5 】，它是一种基于重构误差最小的识别方法。该方法将人脸图像看成是随机 向量，通过图像向量化后进行k - l 变换获得其正交基，通过保留主成分，得到低维的人脸 向量空间。每个待识别图像和训练样本均可以用该向量空间中的一“点表示，通过计算 它们之间的欧氏距离即可进行识别。如果将主成分按图像阵列排列，则可以看出这些主成 分呈人脸形状，因此这些主成分也被称为“特征脸”。e i g e n f a c e 是从表示( p r e s e n t a t i o n ) 的角 度求取子空间，未能考虑样本类内、类间的差异，所以一般来说不能获得最好的分类效果。 b e l h u m e u r 1 3 等人提出f i s h e r 脸方法( f i s h e r f a c e ) ，将线性判别分析( l d a ) 己j l 入到人脸识别 中来。f i s h e r f a c e 从分类最优的角度进行考虑，首先采用p c a 降维，然后求取使得样本类 间散度尽量大、类内散度尽量小的投影方向。然而，当训练样本的个数小于样本维数时， l d a 算法将出现小样本问题( s m a l ls a m p l es i z e ，s s s ) 4 8 ，4 9 。虽然出现了很多解决方法， 例如零空间( n u l ls p a c e ) 5 0 - 5 2 、直接l d a ( d i r e c tl d a ) 5 3 、判别公共向量( d c v ) 2 8 ，2 9 】 等，但是小样本问题仍然是此类方法的研究重点之一。b a r t l e t t 8 将独立成分分析( i c a ) i j i 入到人脸识别中，将人脸图像看成盲源信号( b l i n ds o u r c es i g n a l ) ，试图寻找其相互独立的源 信号。i c a 实际上是在高阶统计意义上的去相关，取得了较好的效果。然而b a e k 5 4 等人 指出，在选择各自最佳的距离度量后i c a 明显不如p c a ，而且计算较为复杂。近年来，基 于图像矩阵的人脸识别算法被提出【5 5 5 8 】。有别于一般线性子空间方法需要将图像向量 4 南京邮电大学硕士研究生学位论文 第一章绪论 化，基于图像矩阵的方法直接面向矩阵进行计算。 实际上，人脸图像中表情、光照、姿态等变化是及其复杂而且是非线性的。线性子空 间方法其实是将这些非线性变化进行了线性简化。随着非线性的核方法在支持向量机 ( s u p p o r tv e c t o rm a c h i n e ，s v m ) 5 9 _ l 的成功应用，非线性子空间方法受到广泛关注。核方 法的主要思想就是利用一个非线性映射，把原空间的数据映射到一个隐性高维特征空间， 然后在这个隐性特征空间中对数据进行分析。在计算上并不需要明确计算这个非线性变 换，只需要通过一个内积核函数来计算在隐性特征空间中两两向量之间的内积即可。目前 己经成功应用于人脸识别领域的有核主成分分析( k p c a ) 3 9 、核判别分析( k d a ) 4 0 等方 法。y a n g 6 0 等人将k p c a 和e i g e n f a c e 、i c a 进行了比较，结果表明k p c a 算法能更有效 地描述人脸的复杂变化，具有一定的优越性。l i u 6 1 等人在f r g c ( f a c er e c o g n i t i o ng r a n d c h a l l e n g e ) 最难的测试集上取得了最好的识别效果。他的方法主要是利用分数k p c a 结合 l d a ，在输入空间是非线性的，在特征空间是线性的。 本世纪以来，人脸识别的又出现了一些新的发展方向，如二维降维方法，核子空间人 脸识别，多种识别方法的融合，利用红外等非可见光成像及相应的图像处理等。传统的人 脸识别，都是将人脸图像的像素重新排列成一维向量的形式，然后再进行各种变换处理， 但是这种方法由于在高维空间中操作，运算量很大。可以直接利用二维图像矩阵求解各种 散布矩阵，这样可以大大地降低运算的维数 2 0 2 7 。支持向量机已经成为处理非线性问题 的强有力的工具，许多学者将其中的核函数引入到传统的子空间识别方法中来，使得特征 提取更加灵活 4 1 ，4 4 。文献【6 2 】中还给出了将可见光成像和红外光成像进行融合判别的方 法。国内的人脸识别研究也得到了很大的发展，北京理工大学的张小洵和贾云得提出了一 种最适宜的零子空间概念，并以此作为特征空间，给出了基于互补子空间人脸识别方法 【6 3 。西安电子科技大学的高全学等人认为主元分析不能准确地估计出总体散布矩阵，提 出了基于描述特征的人脸识别算法【6 4 】。文献 6 5 】和 6 6 1 分别给出了i c a 和l d a 的核子空 间的拓展方法。刘青山等人对包括p c a ，l d a ，非负因子法等在内的子空间识别方法作了 分析比较，结果表明核子空间方法在识别率上的性能要高于线性子空间方法 6 3 】。 在所有的这些方法中，基于统计的子空间分析的方法具有计算代价小、描述能力强、 可分性好等特点，现已经成为人脸识别的主流方法，获得了最好的识别结果；但基于子空 间分析的方法涉及到模式识别研究中的许多本质问题需要进一步的研究，如维数、鉴别、 参数估计等。 5 南京邮电人学硕上研究生学位论文第一章绪论 1 4 本文的主要内容 如前所述，作为计算机视觉研究以及模式识别研究的一个重要子领域，人脸识别具有 重要的理论研究意义和实际应用价值，因此受到了研究人员的广泛关注，对其的研究也已 成为模式识别领域的热点。然而，人脸识别达到实际应用还要面临很多困难，仍然需要进 行深入的研究和探讨。课题正是围绕当前人脸识别技术中的研究热点子空间特征提取和分 类器方法展开，对当前现有的子空间人脸识别算法以及分类器的设计进行讨论和分析，同 时希望能提出相应的改进算法和新算法，提高算法的识别性能。当然，所需要改进的某些 算法，并不局限于人脸识别领域，同样也适用于其它的分类识别领域。 本课题的研究重点就是子空间鉴别特征提取及分类方法研究，针对判别分析人脸识别 挖掘改进型算法，有效地提高识别率。在对各种子空间识别算法的学习和改进的基础上， 特别是对二维鉴别分析和判别公共向量等一些传统和非传统鉴别分析方法改进算法以及 理论框架。对于一些典型的子空间鉴别分析方法，比如p c a 、l d a 、d c v 、二纬鉴别分析、 判别公共向量方法、零空间和核方法等，作者在开题期间也发现了一些不足之处，在今后 的工作中深入研究，提出一些子空间的改进算法或者创新理论。并且，将这些新方法在不 同的人脸库仿真试验，已达到检测和应用的目的。 1 5 本文内容章节安排 论文内容的整体安排如下： 第一章绪论，介绍了人脸识别背景及当前子空间方法的研究概述，以及在课题研究 过程中使用的研究方法等。 第二章典型的子空间特征方法，主要介绍了当前最新的研究进展，包括主分量分析、 线性鉴别分析、核鉴别分析、二维特征提取和判别公共向量等已有的子空间方法。 第三章到第五章分别对已有的子空间方法提出改进算法，为本文的创新工作，分别是 g a b o r - 2 d f i s h e r f a c e 方法、2 d f i s h e r f a c e k e r n e l 方法以及d c v - d d v 方法。这些方法是对二 维特征提取、核鉴别分析和判别公共向量方法的改进和结合，对原始子空间方法进行取长 补短，对原始样本进一步提取鉴别信息，以便达到更好的特征提取和识别的目的。 第六章实验结果及其分析，在两个标准的人脸库a r 库和f e r e t 库上实现了上述改 进算法，证明了我们所提出方法的有效性，并给出了实验结果分析。 第七章，作总结与展望，总结了全文并对后续工作提出了展望。 6 南京邮电大学硕上研究生学位论文第二二章几种典型的子卒问特征方法 第二章几种典型的子空间特征方法 子空间方法属于整体特征的提取算法，即考虑了模式的整体属性，从整个人脸图像中 抽取人脸判别特征，这种整体特征不仅保留了人脸各部分之间的拓扑关系，而且也保留了 各局部特征本身的信息。基于子空间的人脸识别方法具有计算代价小、描述能力强、可分 性好等特点，现在己经成为人脸识别的主流方法，是本课题的主要研究对象和内容。它有 以下特点：1 ) 每种子空间方法都有优缺点，都已成功应用于人脸识别中；2 ) 从理论上、以 及大多数的实验结果来看，基于可分性考虑的判决分析方法在人脸识别的应用中有一定的 优越性；3 ) 从研究发展来看，基于核的非线性子空间分析将倍受关注，但还有待于进一步研 究。这类方法主要有主成分分析( p c a ) 1 2 、f i s h e r 脸方法【1 3 】，还有我们还将介绍的基于 核的方法、直接基于图像的二维鉴别方法以及公共判别向量等方法。这些方法具有计算简 单，实际的效果好等的优点，越来越受到重视。 2 1 主成分分析 在统计特征分析用于人脸识别以前，人脸自动识别系统中忽视了到底是那一类的人脸 特征在人脸识别中起到最主要的作用，而只是假定一些预先设定的一些人脸部位的测量与 部位之间关系的测量是有效的，足以体现出不同人脸之间的差异。这种假定显然是不合理 的。但是给我们一个重要的启示：可以从信息论的角度来对人脸进行编码和解码，从而达 到着重强调一些重要的全局特征和局部特征。用这类方法提取的特征可能与通常直觉观念 上的特征有所不同。 文献 1 4 1 最早提出把主成分分析( p c a ) 用于人脸识别。主特征分析用于人脸识别主要 从两方面考虑：一是从信息论的角度，我们要从人脸图像中尽可能的提取人脸图像的相关 信息，然后把这些信息和人脸库中人脸的信息相比较，从而完成了人脸的识别；二是从数 学的角度，我们希望找到人脸分布的主要特征，也就是一组人脸图像矩阵相关矩阵的特征 向量，这组特征向量可以看成抓住了人脸图像变化的特征。在这种方法中，每张人脸图像 可以通过特征向量的线性运算精确的表示。特征向量的数目等于参力n i ) l l 练的人脸图像的数 目。也可以选择一些具有最大特征值的特征向量来近似的表示。 首先介绍一下主成分分析( p c a ) 算法。p c a 是模式识别中经常使用的一种维数约减和 特征提取方法，其核心思想来源于k l 变换( k a r h u n e nl o e v ee x p a n s i o n ) 【1 5 。p c a 的目的 7 南京邮电人学硕一l ：研究生学位论文第二章几种典型的子窄间特征方法 是寻找一组最优的单位正交向量( 即所谓的主成分) 作为子空间的基，可以通过这些主成分 的线性组合来重构原始样本，使得重构后的样本和原样本之间误差最小。具体表述如下。 协r d 是一个随机变量，a i , a 2 ，a d 是d 维空间内的一个正交归一化坐标系，即 口r a y = j l l i = j 泸1 ，2 ，。 ( 2 1 ) 经过口。，口：，：，口d 可以将随机变量x 无差地表示为： x = y i a i ( 2 2 ) 如果用前d 项对x 进行估计，有工= 咒q ，这样引起的均方误差为： 占= e ( z 一二) r ( x 一二) = e ，姜。i 刃) = ，萎d 衫( 搿r h = ，萎d 。s 珥c 2 3 ， 式吨= a r x ，i = l ，d ，s 表示随机变量椭协方差矩阵。 使用拉格朗同乘子法，可以求得满足式( 2 1 ) 正交归一条件下，均方误差f 取得极值的 坐标系。 dd g = 衫一五( 衫q - 1 ) ( 2 4 ) 式( 2 3 ) 取得极值应满足如下条件， ( s - m ) a , = o , i = d + l ，d + 2 9 ooo ，d ( 2 - 5 ) 可见，磊为协方差矩阵s 的特征值，口，为其对应的特征向量。当以s 的特征向量作为 坐标系展开随机变量x 时，其截断均方误差具有极值性。当仅取前d 个坐标来表示x 时， 其均方误差： d 占= 名 ( 2 6 ) i = d + l 上述分析表明，当a ，五，乃的总和越小，以a i , 口：，a d 作为坐标系展开随机变量x 损 失的信息越少。同样，五越小，对均方误差的贡献也越小，坐标系中舍弃其对应的特征向 量带来的信息损失也越少。因此，一般仅需保留较大特征值对应的特征向量作为投影轴， 这也是主