（模式识别与智能系统专业论文）几种线性与非线性特征抽取方法及人脸识别应用.pdf

塑皇丝三墨兰堕! 兰丝堕兰 生壁垡丝皇芏垡堡堑堡些坠查望丝堕塑型生旦一 摘要 人脸自动识别是最有价值的应用需求之一。但它同时也最具挑战性。过去几 十年中该课题的研究已经取得了较大的进展，但计算机自动识别人脸的技术还远 没有达到理想的实际应用需求。复杂的光照条件，多变的人脸表情，以及姿态的 变化都增加了人脸自动识别的难度。在理论方面，研究者作了较多的探索，力求 得出一些针对人脸的识别精度高、效率优的算法与方法。这其中有子空间方法、 f i s h e r 鉴别分析方法，以及以支持向量机为代表的非线性方法、基于遗传算法的 分类算法等。关于基于f i s h e r 准则的线性方法的人脸识别应用研究中，金忠、杨 健、杨静宇等开展了很多卓有成效的工作。这些工作主要以算法的有效性为出发 点展开研究，取得了较好的成果。另一方面，在实际应用中算法的效率也是非常 重要的。本文的研究属于人脸识别中算法设计与实现的范畴，本文的讨论同时涉 及线性方法与非线性方法；本文除了关注方法的有效性外，更注重方法的高效性。 本文论述了f s 鉴别分析与f i s h e r 鉴别分析间f i s h e r 函数值即类间距离与类 内距离间比值大小的关系，指出前者中的鉴别矢量的f i s h e r 函数值一定不小于后 者的相应鉴别矢量的f i s h e r 函数值，从而在理论对以前文献中相关实验结果作出 了解释。本文的分析还表明，不相关鉴别分析与经典f i s h e r 鉴别分析在理论上具 有一致性。本文发展了一个基于f i s h e r 准则的鉴别分析算法。 本文详细讨论了核f i s h e r 鉴别分析方法。该方法的分类实现必须依赖待分类 样本与所有训练样本间核函数，其效率随着训练样本数的增多而降低。针对这一 特点，我们提出构造核f i s h e r 鉴别分析优化算法，以提高测试样本集特征抽取效 率的思想。本文直接基于f i s h e r 准则函数，设计出合理的算法，从训练集中构造 出“显著”训练样本集；在此基础之上的分类实现只依赖于待分类样本与“显著” 训练样本集中样本间的核函数。在基准数据集与入脸图象库上的实验显示，“显 著”训练样本集中的样本数仅占总训练样本的一小部分。因此，相应的特征抽取 效率将大大提高，这种提高对效奉要求较高的实时应用意义重大。不仅如此，凄 优化算法在实验中取得的分类正确率与原核f i s h e r 鉴别分析相当。在这一部分的 讨论中，针对两类问题的优化算法设计与针对多类问题的优化算法设计中判别函 数的选择稍有区别。 分析表明，对两类分类问题如果选用合适的类别标示，引入核函数的一种 线性算法与核f i s h e r 鉴别分析方法等效。文中提出一个较为合理的判别函数，并 i 摘要 博上论文 直接构造该线性算法的优化方案。这种优化方案针对两类问题提出，同时可方便 地进行扩展以解决多类分类问题。本文在基准数据集上进行两类分类实验，在人 脸库上进行了多类分类的对比实验，实验显示该优化算法效率较优，分类正确率 较高。文中并对该优化方案与直接基于f i s h e r 准则函数构造的核f i s h e r 鉴别分析 优化方案的实验结果差异进行了适当的分析。 主分量分析是应用得最多的特征抽取方法之一。应用核主分量分析抽取测试 集中某样本特征的效率也受到训练样本集大小的约束，因为必须计算该样本与所 有训练样本间的核函数。本文从主分量分析的实质出发，设计出了种核主分量 分析特征抽取的优化算法。该算法仅使用训练集中一部分样本即可实现特征抽 取。在基准数据集上该优化算法取得了非常好的效果。 本文上述优化方案和算法的设计都取得了较好的实验结果，效率的提升非常 明显。需要说明的是，这些方案的高效并非以减小训i 练集的大小为代价。实际上， 虽然对测试样本的特征抽取仅依赖于一部分训练样本( 称为“显著”训练样本) 与待测试样本间的核函数：所有的训练样本均参与了训练过程，各个参数的得出 即是联合所有训练样本与“显著”样本才得出的。因此，上述优化方案与借助较 大训练集得出较好训练效果的预期并不排斥。 较大的光照变化是影响人脸识别正确率的主要因素之一。本文关注较大光照 变化下固定姿态的人脸图象识别问题，认为实际光照下的人脸图象是理想光照下 的“标准”图象与误差图象之和，本文使用两种技术路线探索提高入脸识别正确 率的方案。其一是尝试将所有人脸图象转换为理想光照下的相应“标准”图象， 并在此基础上进行识别。此外，基于两个命题，文中提出了人脸图象的误差模型， 即认为在具有合理大小的图象区域范围内，实际图象中点的灰度值与“标准”图 象中相应点扶度值的比值为一定常数。以此为基础，赢接基于实际光照下的人脸 图象，发展出了分区域的图象分类判别方法。y a l eb 人脸图象库上较好的实验结 果说明了该方法的有效性。 关键词l特征抽取，f i s h e r 鉴别分析，核主分量分析，核非线性鉴别分析 变化光照人脸识别 南京理i ”人学博 。学位论史几种线陛与非线性特征抽取方法及人脸识别应用 a b s t r a c t a u t o m a t i o nf o rf a c er e c o g n i t i o ni so n eo ft h em o s ts i g n i f i c a n tr e q u e s t s ，a l t h o u g h i ti sa l s oo n eo ft h em o s t c h a l l e n g i n gt a s k s d u r i n gp a s t s e v e r a ld e c a d e s g r e a tp r o g r e s s h a sb e e nm a d ei nr e s e a r c ho nt h i ss u b j e c t h o w e v e r , i ti sf a ra w a yf r o ms a t i s f a c t o r y r e q u i r e m e n t s f r o mr e a l w o r l d c o m p l e xi l l u m i n a t i o n ，v a r i a b l ee x p r e s s i o n a n d n o n f i x e dp o s e c o m p l i c a t ea u t o m a t i o nr e c o g n i t i o nf o rf a c e i na r e ao f t h e o r yr e s e a r c h ， r e s e a r c h e r sa t t e m p tt ow o r ko u ta l g o r i t h m sa n dm e t h o d st or e c o g n i z ef a c e sw i t hh i g h r i g h tc l a s s i f i c a t i o n r a t ea n dg o o de f f i c i e n c y a m o n gt h e m ，s u b s p a c em e t h o d ，f i s h e r d i s c r i m i n a n t a n a l y s i s ，n o n l i n e a ra l g o r i t h m sm a i n l ya p p e a r i n g a s s u p p o r t v e c t o r m a c h i n ea n d g e n e t i ca l g o r i t h ma r eo f t e na p p l i e d o na p p l i c a t i o ni nf a c er e c o g n i t i o no f l i n e a rm e t h o db a s e do nf i s h e rc r i t e r i o n ，z h o n gj i n ，j i a ny a n ga n d l i n g 一1 my a n gh a v e d o n em u c hs i g n i f i c a n tw o r k t h e i rr e s e a r c h e s m a i n l yf o c u s o ne f f e c t i v e n e s so f a l g o r i t h m s ，a n dm e a n i n g f u lr e s u l t sa r eo b t a i n e d o nt h eo t h e rh a n d ，i nr e a la p p l i c a t i o n e f f i c i e n c y i sa l s oa ni m p o r t a n ti n d i c a t o rt oa s s e s so n ea l g o r i t h m ，b e c a u s ei n m a n y c a s e so n l ya l g o r i t h m sw i t hh i g he f f i c i e n c yc a n s a t i s r yr e q u e s to fr e a lt a s k t h i sp a p e r a i m sa t d e s i g n i n ga l g o r i t h m so nf a c er e c o g n i t i o n ，i n c l u d i n gl i n e a ra l g o r i t h m sa n d n o n l i n e a ro n e s i ti s e x p e c t e dt h a tt h e s ea l g o r i t h m sm u s tb ev e r ye f f i c i e n t ，b e s i d e s e f f e c t i v e ， i ti sd e m o n s t r a t e dt 1 1 a tf i s h e rc r i t e r i o nv a l u eo fo n ef sd i s c r i m i n a n tv e c t o rw i l l n o tb el e s st h a nt h a to f c o r r e s p o n d i n gf i s h e rd i s c r i m i n a n tv e c t o et h ed e m o n s t r a t i o n e x p l a i n s r e l a t i v e e x p e r i m e n t a l r e s u l t si n p r e v i o u s r e f e r e n c e s i ti ss h o w e dt h a t u n c o r r e l a t e dd i s c r i m i n a n tv e c t o ri si d e n t i c a lt oc l a s s i cf i s h e rd i s c r i m i n a mv e c t o r f u r t h e r m o r e ，an e wa l g o r i t h mb a s e do nf i s h e rc r i t e r i o ni sd e v e l o p e d k e r n e if i s h e rd i s c r i m i n a n t a n a l y s i s i sd i s c u s s e di nd e t a i l i nt h i sm e t h o d c l a s s i f i c a t i o nf o ro n et e s ts a m p l ed e p e n d so nk e r n e lf u n c t i o n sb e t w e e nt h et e s ts a m p l e a n da l lt h e t r a i n i n gs a m p l e s 。s oc l a s s i f i c a t i o ne f f i c i e n c yw i l l d e s c e n dw h i l et h e t r a i n i n gs a m p l e si n c r e a s e i d e at h a ts o m el i n e a rc o m b i n a t i o no fap a r to ft r a i n i n g s a m p l e s c a l l e d s i g n i f i c a n tn o d e s ”。c a l la p p r o x i m a t ed i s c f i m i n a n tv e c t o ri nf e a t u r e s p a c ei sp r o p o s e d a c c o r d i n gt ot h i si d e a ，p r o c e d u r ef o rs e l e c t i n g “s i g n i f i c a n tn o d e s i s d e v e l o p e da n do p t i m i z e da l g o r i t h mf o rk e r n e lf i s h e rd i s c r i m i n a n t a n a l y s i s i s a c h i e v e d i nt h eo p t i m i z a t i o n ，o n et e s t s a m p l ec a nb ec l a s s i f i e do n l yd e p e n d i n go n k e r n e lf u n c t i o nb e t w e e nt h et e s ts a m p l e a n d “s i g n i f i c a n tn o d e s ”e x p e r i m e n t a lr e s u l t s o nb e n c h m a r kd a t a s e t sa n df a c ei m a g ed a t a b a s es h o w t h a t s i g n i f i c a n tn o d e s ”a r e m u c hl e s st h a nt o t a lt r a i n i n gs a m p l e s a s a r e s u l t ，f o r o p t i m i z a t i o n a l g o r i t h m ， e f f i c i e n c yo nf e a t u r ee x t r a c t i o nw i l lb ev e r yh i g h i ti sv e r ys i g n i f i c a n t ，e s p e c i a l l yf o r r e a l a p p l i c a t i o n w i t h h i g he f f i c i e n c y r e q u e s t m o r e o v e r , r i g h tc l a s s i f i c a t i o n r a t e ! ! ! 塑! !l ! ! ：堕兰 a c h i e v e d b yo p t i m i z a t i o na l g o r i t h m o p t i m i z a t i o n s c h e m e sa r e d e s i g n e d c l a s s i f i c a t i o nr e s p e c t i v e l y i s c o m p a r a t i v e t or m j , v ek f d i na d d i t i o n ， f o rt w o + c l a s sc l a s s i f i c a t i o na n d m u l t i - c l a s s f o rt w o c l a s s p r o b l e m ，o n e l i n e a ra l g o r i t h mb a s e do nl i n e a re q u a t i o n su s i n g k e r n e lf u n c t i o nw i t hs u i t a b l ec l a s s1 a b e l si se q u i v a l e n tt ok f d f u r t h e rm o r e ，g i v e na p r o p e rc r i t e r i o n b a s e do nc l a s s i f i c a t i o ne r r o r , t h el i n e a ra l g o r i t h mi so p t i m i z e di n e f f i c i e n c y t h eo p t i m i z e da l g o r i t h mc a nb ee x t e n d e di n t o m u l t i - c l a s sc l a s s i f i c a t i o n e x p e r i m e n t so nt w o c l a s sa n dm u l t i - c l a s ss h o w t h a tt h i sa l g o r i t h mi sv e r ye f f e c t i v e a n de f f i c i e n t d i f i e r e n c eb e t w e e nt h i so p t i m i z a t i o ns c h e m ea n dt h ef o i t n e ro nk f d b a s e do nf i s h e rc r i t e r i o ni sa l s od i s c u s s e d p r i m a r yc o m p o n e n ta n a l y s i si so n eo f m e t h o d s w i d e l yu s e d h o w e v e r ，e f f i c i e n c y o ff e a t u r ee x t r a c t i o nb a s e do nk e r n e lp c ai sa l s od e c i d e db yt h es i z eo ft r a i n i n g s a m p l e s a no p t i m i z a t i o ns c h e m eo n k p c ai sd e s i g n e dt oi m p r o v ee f f i c i e n c y b yt h i s s c h e m e ，f e a t u r ee x t r a c t i o nf o rt e s ts a m p l e sc a nb ei m p l e m e n t e dd e p e n d i n g0 no n l ya p a r to ft r a i n i n gs a m p l e s f o rb e n c h m a r kd a t a s e t st h i s s c h e m eo b t a i n sv e r yg o o d r e s u l t s t h ea b o v ea l g o r i t h m sa n ds c h e m e sc o r r e s p o n dt og o o dc l a s s i f i c a t i o nr e s u l t sa n d i m p r o v e m e n ti ne f f i c i e n c y 。i ti sn o t a b l et h a ti nt h e s ea l g o r i t h m so rs t ! h e m e sa l lt h e t r a i n i n gs a m p l e sp a r t i c i p a t ei nt r a i n i n g ，a l t h o u g ho n l yap a r to ft r a i n i n gs a m p l e sa r e t a k e na s “s i g n i f i c a n tn o d e s ”o b v i o u s l ye v e r yp a r a m e t e ri ss i m u l t a n e o u s l yd e c i d e db y a l lt h et r a i n i n gs a m p l e sa n d s i g n i f i c a n tn o d e s ”h e n c e ，t h ei d e ao ft h e s em e t h o d si n t h i sp a p e rd on o tc o l l i d et h ee x p e c t a t i o nt h a tl a r g et r a i n i n gs a m p l es e ts u p p o r tb e t t e r c l a s s i f i c a t i o nr e s u l t v a r y i n gi l l u m i n a t i o ni so n eo fp r i m a r yf a c t o r st h a td e c i d ec l a s s i f i c a t i o nr e s u l t i t i ss u p p o s e dt h a tf a c ei m a g eu n d e rr e a li l l u m i n a t i o ni st h es l i mo f “s t a n d a r d i m a g e u n d e ri d e a li l l u m i n a t i o na n de r r o ri m a g e t w ot e c h n i q u e w a y s a r ea d o p t e dt oa t t e m p t t oi m p r o v ef i g h tc l a s s i f i c a t i o nr a t e o n eo ft h ew a y sa t t e m p t st ot r a n s f o r mr e a lf a c e i m a g e si n t o “s t a n d a r d i m a g e su n d e ri d e a li l l u m i n a t i o n , c o n s e q u e n t l yc l a s s i f i c a t i o ni s p e r f o r m e d t h eo t h e rp r o p o s e sa ne r r o ri m a g em o d e lb a s e do nt w op r o p o s i t i o n s t h e m o d e ls a y st h a tw i t h i ni m a g ea r e aw i t hs u i t a b l es i z et h er a t i ob e t w e e ni n t e n s i t yo f p o i n tu n d e rr e a li l l u m i n a t i o na n dt h a tu n d e ri d e a li l l u m i n a t i o ni so n ec o n s t a n t a c c o r d i n gt o i t ，c l a s s i f i c a t i o ns c h e m ei s d e v e l o p e db a s e do nc o r r e l a t i o nb e t w e e n i m a g ea r e a s e x p e r i m e n t o ny a l ebi n d i c a t e st h a tt h i ss c h e m ei s f e a s i b l ea n d i n s p i r i n g k e y w o r d s ：f e a t u r ee x t r a c t i o n ，f d a ，k e r n e lp c a ，k e r n e ln d a ， f a c er e c o g n i t i o nu n d e r v a r y i n gi l l u m i n a t i o n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 己在论文中作了明确的说明。 研究生签名：i 鑫塞砌聿，2 月。目 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：j 垒妻御年，三月8 日 南京理工人学博上学位论文 几种线性与非线性特征抽取方法及人验识别应用 第一章绪论 1 1 模式识别与生物特征识别 可以说，人类步入信息时代以来，信息的自动处理就成为人类生产和生活中 不可缺少的组成成分，人们越来越倚重于相关技术的研究与实现，这其中就包括 模式的自动分类技术。对人类而言，模式分类其实并不是新鲜事物，因为这方面 的能力我们生而有之。我们能够认出以前的老朋友，能通过电话交谈认出对方是 谁。模式识别能力天然地成为人类智能的组成部分。但是，要想计算机拥有人类 这种与生俱来的能力却并非易事。事实上，从信息处理的角度进行研究，发展相 关理论与算法以使计算机来实现人的视觉、听觉等模式识别能力，是人类在基 础理论与应用研究中面i 临的最重大挑战之一。同时，用计算机实现模式的自动识 别，是使我们的世界变得更加智能的关键技术之一。随着数字化和网络通讯技术 的飞速发展，海量的信息几乎已经超过了人所能处理和接受的极限。如何用智能 化的手段处理和识别网上的海量信息( 包括文字、图像、语音等) 已成为当前信 息技术领域追在眉睫的需求。从信息安全的角度出发，研究有害网络信息过滤和 有用信息检索中的智能信息处理与识别技术也是当务之急。 与此同时，要进一步普及计算机的应用，加速信息技术向全社会的渗透，消 除所谓的”数字鸿沟”，就必须研究便捷的人机交互技术，以克服传统的人机交 互手段的弊端，实现真正的“人机融合”。人机交互技术的发展将支持用户通过 各种手持式设备、传统p c 终端和固定电话等形式来安全可靠地检索各种媒体信 息。而且，人机交互的终极目标应是与自然语言交流方式接近的某种方式，而不 是目前借助于鼠标与键盘的人机交流方式。虽然要达到这一目标，可能还有很长 的路要走，但这一定是模式识别技术未来发展的方向。比尔盖茨认为人类计算 的未来就是要让计算机会看、会听、会说、会思考。 在人类的模式识别技能中，生物特征识别可能是使用得最多的技能之一。我 们能根据以往获取的某个人的脸部信息、声音信息、以及姿态甚至背影信息辨认 出这个人。我们希望计算机系统也具有这样的能力。现在，全球反恐任务就包含 着这方面的需求。常见的需求是要求系统根据虹膜、视网膜、指纹、人脸、语音、 第一章绪 仑博士论文 步态、掌纹信息等自动识别人的身份，也有需求要求系统能识别人的表情，甚至 有需求要求识别人是否撒谎等等。上述所提及的信息都属于生物信息的范畴，基 于生物信息的识别就称为生物特征识别。该领域是目前模式识别研究中最有活 力，也是有重要应用前景的领域之一。经过几十年的发展，生物特征识别研究的 价值开始体现，不少商用系统已经出现，而且其中一些生物特征识别技术逐渐走 向成熟。但是，另一方面，生物特征识别问题仍是一个开放问题，从基础理论到 具体应用，都有一些重要问题尚未解决。 1 2 线性及非线性特征抽取方法的研究与发展 一个模式识别系统包含若干步骤，其中特征抽取是最重要的步骤之一。某种 程度上我们可以说，特征抽取( 特征提取) 的研究不仅在模式识别学科形成之初 就得到发展，而且这方面理论与技术的发展极大地促进了模式识别学科的发展。 今天，模式分类方法在很多应用中的成功锝益于特征抽取方面的理论成果。我们 认为，特征抽取研究肩负两方面的使命，一是寻找针对模式的最具鉴别性的描述 以使此类模式的特征能最大程度地区别于彼类；二是在适当的情况下实现模式数 据描述的维数压缩，当描述模式的原始数据空间对应较大维数时，这一点会非常 有意义，甚至必不可缺。 线性方法与非线性方法都在特征抽取中得到了广泛应用。k l 方法， f o e l y s a m m o n 鉴别分析方法，不相关鉴别分析方法。f i s h e r 鉴别分析方法，i c a 方法，以及核鉴别分析方法是其中研究得较多的特征抽取方法。 1 2 1 基于f i s h e r 准则的线性鉴别分析方法 1 9 3 6 年，f i s h e r 发表了影响深远的题为”t h eu s eo fm u i t i p l em e 粥u r e m e n t si n t a x o n o m i cp r o b l e m s ”的论文i “。他在论文中提出寻找“最佳”投影方向的思想：使 所有模式投影到“最佳”方向后具有最大类间距离与类内距离比值。一般称该 方向对应的矢量为f i s h e r 最佳鉴别矢量，并将要求模式投影到投影方向后具有最 大类间距离与最小类内距离的准则称为f i s h e r 准则。显然，这样的处理方法将所 有模式变换到维空间不考虑描述模式的原始数据空间的维数的大小，也不考 虑模式类别数的多少。 后来，s a m m o n 在模式识别研究中提出使用鉴别平面的概念( 2 1 。组成鉴别平 面的第一个鉴别矢量即为f i s h e r 最佳鉴别矢量，第二个鉴别矢量为与f i s h e r 最佳 鉴别矢量正交且使f i s h e r 准则函数具有极大值的矢量。将模式分别投影到鉴别平 查皇丝三叁鲎堕! 堂些堡兰 些塑生堡! 斐垡堡塑堡垫坚查婆丝堕堡型壁旦一 面的两个鉴别方向上则得到模式的二维空间描述。在此基础上，f o l e y 与s a m m o n 进一步提出了最优鉴别矢量集的思想【3 】，即使用多个正交鉴别矢量来进行两类问 题的识别。d u c h e n e 与l e c l e r c q 于1 9 8 8 年得到了多类识别问题的正交鉴别矢量 集的分析解【4 ， - j 惯上称这样的矢量的集合为f - s 鉴别矢量集。f - s 鉴别矢量集 在线性特征抽取方法中占据着重要的位置f 4 。j 。 在基于f i s h e r 准则的线性鉴别分析方法中，不能不提到d u b a 和h a r t 的的工 作8 1 。他们指出，f i s h e r 准则函数取得极大值( 即类间距离与类内距离比值取得极 大值) 等价于一个广义特征方程取得极大特征值。因此，特征方程极大特征值对 应的特征向量的组台是一个自然的鉴别矢量集。这种求解鉴别矢量的方法称为 经典f i s h e r 鉴别分析方法。 最近，同样基于f i s h e r 准则，金忠和杨静宇提出了统计不相关最优鉴别矢量 集的概念1 9 1 引。这种鉴别矢量集满足共轭正交的条件。可以证明，这样的鉴别矢 量集抽取出的特征分量间是统计不相关的。在维数压缩意义上，这种不相关性是 一种非常好的性质。相应算法被称为( 统计) 不相关鉴别分析方法。相反，可以说 明f s 鉴别矢量集抽取出的特征分量间一般是统计相关的一j 。最初提出的求解不 相关鉴别矢量集的算法复杂度较高，不过，后来的研究指出在f i s h e r 准则函数所 对应的广义特征方程的特征值互不相等的条件下，不相关鉴别矢量集与经典的 f i s h e r 鉴别分析方法等效【9 1 。研究还指出不相关鉴别矢量的个数将小于或等于模 式类间散布矩阵的秩一j 。 j y a n g 和j y y a n g 的相关研究同样引人注目。他们的分析指出，f i s h e r 准则 函数对应的广义特征方程一定存在一组“不相关”的特征向量，使用这组特征向 量抽取出的特征分量间自然是不相关的1 。换句话说，直接从一个广义特征方程 出发，就可以得出整个不相关鉴别矢量集；这样的处理不仅计算高效，而且电不 用考虑是否存在特征值相等的情况。 在一些模式数据维数很高，而样本数较少的情况下，上述所指特征方程的类 内散布矩阵往往具有奇异性，因而不能对其直接求解。人脸图象的识别通常就属 于这种情况。研究者们相继提出了不少解决此类情况下鉴别矢量求解的技术途 径。h o n g 等提出了扰动澍”】：当类内散布矩阵奇异时，通过对矩阵加上一个小 扰动，使得扰动后的矩阵变为非奇异的，并代替原来的类内散布矩阵进行鉴别矢 量的求解。这种方法是一个近似算法。k l i u 给出了一个精确算法，称为正交补 空间法1 1 ”。k l i u 经过分析指出，小样本情况下的最优鉴别矢量必存在于原始 样本空间的一个子空间的正交补空间内，因此可通过空间变换，基于变换后的 f i s h e r 准则求解最优鉴别矢量。郭跃飞等提出了零空间方法【1 4 】，即在类内散布 矩阵的零特征值对应特征向量所组成的空间内求解最优的鉴别矢量。郭跃飞还发 展了k l i u 的方法，提出了一个广义的f i s h e r 鉴别准则函数，并给出了求解基于 第一章绪论 博士论文 该准则函数的晟优鉴别矢量集的算法【7 1 。最近，hy u 与j y a n g 提出了一种直 接的线性鉴别分析方法( d i r e c tl d a ) ”】。该方法在本质上与文献【l 6 j 的方法等价。 此外，还有一些方法通过对原模式进行某些形式的变换，使得模式变换后对 应的类内散布矩阵非奇异，并在此基础上实施线性鉴别分析。这一类方法以 b e l h u m e u r 等提出的f i s h e r f a c e s 方法l l7 】最为典型。此外，d l s w e t s 等提出的方 法以及c j “u 等提出的( e f m ) e n h a n c e d f i s h e rl i n e a rd i s c r i m i n a n tm o d e l s 1 9 1 都 属于这一类，它们均是先将原模式投影到p c a 轴，然后再做鉴别分析。金忠等 【9 】采用的处理方法也属于此类。j 、y a n g 等的工作【2 0 】很好地补充和完善这类方法。 他们指出，在原类内散布矩阵奇异的情况下，应有两类鉴别矢量具有鉴别能力。 其中第一类鉴别矢量是在类内散布矩阵零空间中求得的对应类间距离极大值的 鉴别矢量，第二类鉴别矢量是在类内散布矩阵零空间的补空间中求得的对应 f i s h e r 准则函数极大值的鉴别矢量。尤其值得注意的是，j y a n g 和j yy a n g 开 创性地发展了在复空间中依据f i s h e r 准则进行鉴别分析的方法口”。 l2 2 基于f i s h e r 准则的非线性鉴别分析方法 非线性鉴别方法是特征抽取研究中的熟点之一。其中很多的研究着眼于基于 f i s h e r 准则的核鉴别分析方法。“核技巧”最早应用于s v m 方法中【2 甜，基于核的 主分量分析方法 2 3 , 2 4 1 和基于核的f i s h e r 鉴别分析方法 2 5 , 2 6 , 2 7 1 是“核技巧”的推 广应用。b a u d a t 与a n o u a r 提出了针对多类分类问题的k f d 方法1 28 1 。核方法基 本思想是将原特征空间通过某种形式的非线性映射变换到一个高维空间，并借助 于“核技巧”在新的空间中应用鉴别分析方法。由于新空间中的线性方向对应于 原特征空间的非线性方向，所以基于核的鉴别分析得出的鉴别方向也对应原特征 空间的非线性方向。因此，基于核的鉴别分析是一种非线性鉴别分析方法。相对 于其它非线性方法，这种方法的独特和关键之处在于它巧妙地借助于“核函数”， 而不需要对原特征空间进行任何直接的非线性映射，使得它优于普通的非线性鉴 别分析方法。核f i s h e r 鉴别分析方法是“核”方法中研究得较多的方法之，它 在一些实验和应用中表现得非常成功。 j x u 与x z h a n g 的分析指出一定条件下k f d 与l s s v m 间是等价的 2 9 1 。 j i a ny a n g 提出了k p c a + k f d 的应用框架，在该框架下的核鉴别分析可利用两类 鉴别信息，一类在类内散布矩阵( 指实施9 2 c a 变换后的类内散布矩阵) 的零空间 上得到，另一类在类内散布矩阵零空间的补空间中得到【3 0 1 。p e r k i n s ，t h e i l e r 通 过定义非参数核类间散布矩阵与非参数核类内散布矩阵，使k f d 方法抽取特征 分量的数目不受类别数的限制。 基于核的f i s h e r 鉴别分析方法对每一个待测模式进行分类时均需计算它与所 南真理工大学博士学位论文几种线性与非线性特征抽取方法及人脸识别应用 有训练模式间对应的核函数，所以效率较低。针对这种情况，c a w l e y 与t a l b o t 基于l e a v e o n e ，o u t 方法发展了一种优化方案，可使得核f i s h e r 鉴别分析方法的计 算复杂度减小一个数量级【2 7 】。 1 2 3 其它特征抽取方法 除了上文的叙述外，还有不少的特征抽取方法。k l 方法是其中最常用的方 法之一。从维数压缩的角度讲，k l 方法是最优的。同时，使用这种方法抽取出 的特征分量也是不相关的。k - l 方法也称为p c a ( 主分量分析1 。f u k u n a g a p 2 i 和 y o u n g 3 3 等人都曾对该方法做过较深入的研究，并讨论了p c a 作为线性特征抽 取方法的稳定性问题。k i r b y 和s i r o v i c h 3 4 等人才讨论了利用p c a 进行人脸图 像的最优表示问题。接着，t u r k 和p e n t l a n d 3 5 探讨了这种表示的物理意义，他们 将分析得出的主分量称做特征脸( e i g e n f a c e ) ，因为这些主分量对应的矩阵图象仍 然是明显的人脸图象。 要素分析( f a c t o ra n a l y s i s ) 也是一种类似p c a 的维数压缩方法。它假设我们 观察到的数据是某些潜在的未表现出来的要素的某种线性组合与噪声的叠加，并 且噪声与要素都是高斯信号口”。 投影追踪( p r o j e c t i o np u r s u i t ) 也能达到维数压缩 的目的，但它的主要出发点是要保留数据中令人感兴趣的特征【37 1 。有研究认为， 最令人感兴趣的特征是其数据的高颠分布性最小的特征 3 8 , 3 9 】。 i c a 方法假设数据由若干独立源信号混合而成。并力求分析出这些独立源信 号。在独立分量分析中数据的二阶和高阶统计信息都能得到利用【4 0 1 ，而且还能消 除高阶相关性1 4 7 部】。 i c a 方法在盲信号分离上得到了成功的应用，在抽取人 脸图象特征与人脸识别上也取得了较好的效果【4 2 , 4 3 , 4 4 , 4 5 , 4 6 】。 此外，主曲线方法【77 l 最近也在特征抽取中得到应用。 1 3 人脸识别研究现状 l3 1 概述 人脸识别是生物特征识别的一个重要组成部分。相对基于指纹、掌纹、虹 膜而言，人脸的获取非常容易，几乎可以在对方无意识状态下获取其人脸图象， 这样的取样方式没有“侵犯性”，不违反现有大多数国家法律。而指纹、掌纹等 的获取不仅需要对方配合，而且要在法律许可的条件下进行。人脸识别问题一般 可以描述为：给定一个场景的静止或视频图象，利用已存储的人脸数据库确认场 景中一个或多个人a 人脸识别研究一般可分为三个部分：从具有复杂背景的景物 第一章绪论 博士论文 中进行人脸检测以找到人脸、分割人脸：抽取人脸识别特征；最后进行匹配和识 别。 早在上世纪六七十年代，人脸识别就引起了广大研究者的兴趣。在过去的 近四十年的时间里，心理学家、神经生理学家和工程技术人员对人和机器如何识 别人脸的各个方面进行了广泛的研究【4 “5 4 】。心理学和神经生理学的研究无疑将非 常有益于人脸识别技术的发展，但除少数文献外雎”。机器识别人脸的研究独立于 心理学和神经生理学的研究。近年来，国际、国内的众多高校也普遍开展了对人 脸识别的研究，在人脸识别方面的研究取得了较大的进展，国际国内发表的有关 人脸识别论文的数量不断增多。尽管人类从复杂背景中识别人脸相当容易，但对 计算机来说，人脸自动识别却是一个十分困难的问题。该问题的难度表现在三个 方面【5 6 】：首先，虽然每张人脸都有眼睛，鼻子，嘴，且都按照一定的空间结构分 布，但是人与人之间的五官差异较多，导致反映在图象中纹理的不同。其次，人 脸的一些非固定的特征，如眼镜，胡子等也使人脸检测和识别变得复杂。最后， 由于人脸是一个三维非刚性物体，姿态，光源的不同，也使得图象干变万化。总