（模式识别与智能系统专业论文）基于相关投影分析的特征抽取与图像识别研究.pdf

南京理工大学博士学位论文基于相关投影分析的特征抽取与图像识别研究 摘要 特征抽取是模式识别研究的最基本问题之一对于图像识别而言，抽取有效的图 像特征是完成识别任务的关键。本文提出的相关投影分析，包括典型相关分析、广义 典型相关分析和偏最小二乘分析是建立在两组特征或两个数据矩阵上的特征抽取方 法。它的基本思想是，首先，在两组特征之间建立相关性判据准则函数，然后依据该 准则求解两组相关投影矢量集，进而抽取各自数据上的相关性特征，最后通过不同的 特征融合策略获得组合的相关特征，并用于图像的分类。本文就三种相关投影分析的 理论和算法进行了深入的研究和探讨，所提出的各种算法在人脸识别和字符识别方面 得到了较成功的应用。 本文基于特征融合的思想，建立和完善了典型相关分析( c c a ) 用于组合特征抽取 和图像识别的理论框架，所提出的两种特征融合策略，为模式的特征抽取和分类提供 了新的途径。本文不仅给出了c c a 用于图像识别的理论和方法，更为重要的是从理 论上推广了c c a 的应用范围，解决了当两组特征矢量构成的总体协方差矩阵奇异时， 典型相关投影矢量的求解问题，使之适合于高维小样本的情形。这一理论上的突破， 为c c a 的应用彻底扫清了障碍。本文进一步从理论上揭示了c c a 与f i s h e r 线性鉴别 分析的联系，在求解典型相关投影矢量的理论框架下，提出了一种求取不相关的最佳 鉴别矢量集的间接算法。在手写体阿拉伯数字数据库和人脸图像数据库上分别证实了 所提出算法的有效性 本文从有利于模式分类的角度，提出并详细探讨了广义典型相关分析( c , c c a ) 的 理论与算法。首先，提出了一种改进的相关判据准则函数，依据该准则，在两种不同 的约束条件下，分别建立了求解广义典型投影矢量集( g c p v ) 的算法理论；进一步探 讨了当两组原始样本的类内散布矩阵奇异时，求解g c p v 的两种策略，即p c a + g c c a 策略与扰动策略。在使用扰动策略求解g c p v 时，针对高维小样本( 图像识别等) 问 题的计算效率，提出了一种高效的算法；本文提出了一种新的特征融合策略( f f s 3 ) ， 引入了图像相关特征矩阵的概念，并提出了基于相关特征矩阵的两种分类方法。在手 写体数字数据库和人脸数据库上的实验结果验证了所提各种算法的有效性。理论分析 和实验结果都表明了，基于改进的判据准则函数，不仅具有明显的物理意义，而且在 分类性能上，基于g c c a 所抽取的组合特征明显地优于基于c c a 所抽取的组合特征。 本文深入地探讨了偏最小二乘( p l s ) 建模方法用于特征抽取和图像识别的 理论和方法。首先，对传统的p l s 回归理论和性质进行了深入分析在此基础 上，基于p l s 的建模思想，着眼于算法的效率和精度，依据不同的约束条件，提出 了两种新的p l s 建摸方法，即非迭代p l s 建模方法( n i - p l s ) 与共轭正交的p l s 建模方 法( c 0 - p l s ) 。进一步研究和探讨t p l s 建模方法用于图像识别的三种策略，即基于 摘要 博士学位论文 单一特征的分类方法( p l s 鉴别分析，简记为p l s d a ) 、基于两组特征的分类方法( 特 征融合) 以及基于相关双子空间的连续分类方法。最后，在不同的数据库上分别验证 了所提各种方法的有效性由于p l s 建模方法不受训练样本的总体散布矩阵是否奇异 的影响，因此，它更适合于处理高维小样本的问题。克服了诸如f i s h e r 鉴别分析、典型 相关分析以及多元回归分析在处理高维小样本问题时出现的建模困难。 本文提出了直接基于图像矩阵的相关投影分析方法( 也称为二维( 2 d ) 相关投影 分析) 。它的基本思想是，在处理图像识别问题时不需要事先将图像矩阵转化为一维 ( 1 d ) 的图像矢量，而是直接利用图像矩阵本身构造相应的图像协方差矩阵，并建立 相应的目标准则函数，在此基础上抽取图像的相关特征。基于上述思想，本文详细分 析和探讨了直接基于图像矩阵的三种具体方法( 2 d c c a 、2 d - g c c a 与2 d p l s ) ，从 理论上分别阐述了其用于图像特征抽取的合理性，给出了相应的算法原理，同时建立 了两种直接基于图像矩阵的分类策略。上述特征抽取策略，从根本上避免了在高维的 图像矢量空间内构造协方差矩阵并计算相关特征矢量的困难，大幅度地降低了特征抽 取过程所耗费的计算量。在不同的标准人脸库上的试验结果表明，所提出的2 d 相关 投影分析方法，在取得较好识别结果的同时，相关特征的抽取速度较之1 d 相关投影 分析有了大幅提高。 关键词：模式识别，图像识别，特征抽取，特征融合，相关投影分析，典型相关分析， 广义典型相关分析，偏最d x - 乘分析，统计不相关，小样本问题，人脸识别，手写体 字符识别 南京理工大学博士学位论文 基于相关投影分析的特征抽取与图像识别研究 a b s t r a c t f e a t u r ec x t r a c t i o ni so n eo ft h em e s tb a s i cp r o b l e m so fp a t t e r nr e c o g n i t i o n f o ri m a g e r e c o g n i t i o nt a s k s ，e x t r a c t i n gt h ee f f e c t i v ei m a g ef e a t u r ei st h ek e ys t 印mc o r r e l a t i o n p r o j e c t i o na n a l y s i sp r o p o s e di nt h i sp a p e r , i n c l u d i n gc a n o n i c a lc o r r e l a t i o na n a l y s i s ， g e n e r a l i z e dc a n o n i c a lc o r r e l a t i o na n a l y s i sa n dp a r t i a ll e a s ts q u a r e sa n a l y s i s i saf e a t u r e e x t r a c t i o nm e t h o db a s e do nt w og r o u p so ff e a t u r e so rt w od a t am a u i c e s i t sb a s i ci d e ai s ： f i r s t , e s t a b l i s hc o r r e l a t i o nc r i t e r i o nf u n c t i o nb e t w e e nt w og r o u p so ff e a t u r e s ；t h e n a c c o r d i n gt ot h ec r i t e r i o nf u n c t i o n , s o l y et w og r o u p so fc o r r e l a t i o np r o j e c t i o nv e c t o r s ，a n d e x t r a c tt h ec o r r e l a t i o nf e a t u r eo fe a c hd a t a ；f i n a l l y , t h r o u g hd i f f e r e n tf e a t u r ef u s i o n s t r a t e g i e s ，o b t a i nt h ec o m b i n e dc o r r e l a t i o nf e a t u r e 。w h i c hi su s e di ni m a g ec l a s s i f i c a t i o n t h i sp a p e rd e e p l yd i s c u s s e st h et h e o r ya n da l g o r i t h m so f t h e s et h r e ec o r r e l a t i o np r o j e c t i o n a n a l y s i s ，a n dt h ep r o p o s e da l g o r i t h m sa r es u c c e s s f u l l ya p p l i e di nf a c er e c o g n i t i o na n d h a n d w r i t t e nc h a r a c t e rr e c o g n i t i o n b a s e do nt h ei d e ao ff e a t u r ef u s i o n , t h ef r a m e w o r ko fc a n o n i c a lc o r r e l a t i o na n a l y s i s ( c c a ) u s e di nc o m b i n ef e a t u r ee x t r a c t i o na n dp a t t e r nr e c o g n i t i o na r cd i s c u s s e d 耶尬 p r o p o s e dt w ok i n d so ff e a t u r ef u s i o ns t r a t e g i e sm a k ean e ww a y o ff e a t u r ee x t r a c t i o na n d c l a s s i f i c a t i o no fp a t t e r n i nt h i sp a p e r , n o to n l yt h et h e o r ya n dm e t h o d so fc c a a p p l i e di n i m a g er e c o g n i t i o na r ep r o v i d e d w h a ti sm o r ei m p o r t a n ti st h a tt h ea p p l i c a t i o no fc c ai s t h e o r e t i c a l l ye x t e n d e d i ts o l v e st h ep r o b l e mo f c a n o n i c a lp r o j e c t i o nv e c t o r sw h e nt w ot o t a l c o v a r i a n c em a t r i c e sf o r m e db yt w og r o u p so ff e a t u r ev e c t o r sa r es i n g u l a r , s u c ht h a ti tf i t s f o rt h ec a s eo fh i g h - d i m e n s i o n a ls p a c ea n ds m a l ls a m p l es i z e f u r t h e r m o r et h i sp a p e r p r e s e n t st h er e l a t i o n s h i po fc c aa n df i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ，a n du n d e rt h e f r a m e w o r ko fc a n o n i c a lp r o j e c t i o nv e c t o r s , an e wa l g o r i t h mo fs o l v i n gu n c o r r e l a t i o n o p t i m a ld i s e r i m i n a n tv e c t o r si sp r o p o s e d n 圮p r o p o s e da l g o r i t h m sa r ev a l i d a t e do nt h e h a n d w r i t t e n a r a b i cn u m e r a l sd a t a b a s ea n df a c ed a t a b a s e f r o mt h ea n g l eo ff a v o r i n gp a t t e r nc l a s s i f i c a t i o n , t h i sp a p e rp r o p o s e sa n dd i s c u s s e dt h e t h e o r ya n da l g o r i t h m so fg e n e r a l i z e dc a n o n i c a lc o r r e l a t i o na n a l y s i s ( o c c mi nd e t a i l f i r s t , a ni m p r o v e dc o r r e l a t i o nc r i t e r i o nf u n c t i o ni sp r o p o s e d a c c o r d i n gt ot h i sc r i t e r i o n , t h ea l g o r i t h mt h e o r yo fs o l v i n gt h eg e n e r a l i z e dc a n o n i c a lp r o j e c t i v ev e c t o r s ( g c p v ) i s r c s p e c t i v e l yb u i l t , w h i c hi su n d e rt w ok i n d so fc o n s t r a i n t s f u r t h e r m o r e ，w h e nt h e w i t h i n - c l a s ss c a t t e rm a t r i c e so ft w og r o u p so ft h eo r i g i n a ls a m p l ea r es i n g u l a r , t w o g r a t e g i e so fs o l v i n gg c p va r ed i s c u s s e d n a m e l yp c a + g c c as t r a t e g ya n dp e r t u r b a t i o n s t r a t e g y t os o l v eg c p vu s i n gp e r t u r b a t i o ns t r a t e g y , ah i g he f f i c i e n ta l g o r i t h mi sp r o p o s e d a i m i n gt oc o m p u t a t i o n a le m c i e n c yo fh i g h - d i m e n s i o n a ls p a c ea n ds m a l ls a m p l es i z e p r o b l e m s ( s u c ha si n l a g er e c o g n i t i o n ) an e w f e a t u r ef u s i o ns t r a t e g y3 ( f f s 3 ) i sp r o p o s e d i nt h i sp a l y e r i ti si n t r o d u c e dt h ec o n c e p to fc o r r e l a t i o nf e a t u r em a t r i x , a n dt w ok i n d so f c l a s s i f i c a t i o nm e t h o d sb a s e do nc o r r e l a t i o nf e a t u r em a t r i xa r ep r o p o s e d e x p e r i m e n t a l r e s u l t so l lt h eh a n d w r i t t e na r a b i cn u m e r a l sd a t a b a s ea n df a c ed a t a b a s ev a l i d a t et h e p r o p o s e da l g o r i t h m s n 峙t h e o r e t i c a la n a l y s i sa n de x p e r i m e n t a lr e s u l t sb o t hs h o wt h a t b a s e do nt h ei m p r o v e dc r i t e r i o nf u n c t i o n , i tn o to n l yh a sa no b v i o u sp h y s i c a lm e a n i n g ，b u t a l s oa c c o r d i n gt ot h ec l a s s i f i c a t i o nc a p a b i l 慨t h ec o m b i n ef e a t u r ee x t r a c t e db yg c c ai s m 摘要博士学位论文 s i g n i f i c a n t l yb e t t e rt h a nt h eo n e e x t r a c t e db yc c a i nt h i sp a p e r ，w ed i s c u s s c sd e t a i l e dt h et h e o r ya n dm e t h o d so fp a r t i a ll e a s ts q u a r e s ( p l s ) m o d e l i n gm e t h o da p p l i e d i nf e a t u r ee x t r a c t i o na n di m a g er e c o g n i t i o n f i r s t , w c a n a l y z ed e 印l yt h et h e o r ya n dp r o p e r t y o ft h e c o n v e n t i o n a lp l sr e g r e s s i o n t h e n , a c c o r d i n gt ot h em o d e l i n gi d e ao fp l s ，w ef o c u so nt h ee f f i c i e n c ya n dp r e c i s i o no ft h e a l g o r i t h m s ，a n du n d e rd i f f e r e n tc o n s t r a i n t s ，t w ok i n d so fn e wp l sm o d e l i n gm e t h o d sa r e p r o p o s e d , n a m e l yn o n - i t e r a t i v ep l sm o d e l i n gm e t h o d ( n i - p l s ) a n dc o n j u g a t eo r t h o g o n a l p l sm o d e l i n gm e t h o d ( c o - p l s ) f i n a l l y , t h r e ek i n d so fs t r a t c g i e so fp l sm o d e l i n g m e t h o du s e di ni m a g er e c o g n i t i o na r ed i s c u s s e d ，n a m e l yt h ec l a s s i f i c a t i o nm e t h o db a s e d 0 1 1s i n g l ef e a t u r e ( p l sd i s e r i m i n a n ta n a l y s i s ) ，t h ec l a s s i f i c a t i o nm e t h o db a s e do nt w o g r o u p so ff e a t u r e ( f e a t u r ef u s i o n ) a n dt h es e q u e n t i a lc l a s s i f i c a t i o nm e t h o db a s e do n c o r r e l a t i o nd o u b l e s u b s p a c e e a c hp r o p o s e da l g o r i t h mi sv a l i d a t e dr e s p e c t i v e l yo b d i f f e r e n td a t a b a s e s a st h ep l sm o d e l i n gm e t h o di sn o ti n f l u e n c e db yt h et o t a ls c a r e r m a t i c e so f t r a i n i n gs a m p l e sb e i n gs i n g u l a ro rn o t , i ti sm u c hf i t t e rt od e a lw i t ht h ep r o b l e m o f h i g h - d i m e n s i o n a ls p a c ea n ds m a l ls a m p l es i z e i tc a ns o l v et h ep r o b l e me x i t e di nf i s h e r d i s e r i m i n a n ta n a l y s i s , c a n o n i c a lc o r r e l a t i o na n a l y s i sa n dm u l t ir e g r e s s i o na n a l y s i sw h e n d e a l i n gw i t ht h ec a s eo f h i g h - d i m e n s i o n a ls p a c ea n ds m a l ls a m p l es i z e t m sp a p e rp r o p o s e sac o r r e l a t i o np r o j e c t i o na n a l y s i sm e t h o dd i r e c t l yb a s e do ni m a g e m a t r i x ( a l s oc a l e d2 dc o r r e l a t i o np r o j e c t i o na n a l y s i s ) i t sb a s i ci d e ai sw h e nd e a l i n gw i t h t h ep r o b l e mo fi m a g er e c o g n i t i o n , t h ei m a g em a u s xd o e sn o tn e e dt ob ep r e v i o u s l y t r a n s f o r m e di n t oav e c t o li n s t e a d , t w oi m a g ec o v a r i a n c om a u i c e sc a nb ec o n s t r u c t e d d i r e c t l yu s i n gt h eo r i g i n a li m a g em a t r i c e s ，a n db u i l d sc o r r e s p o n d i n go b j e e lc r i t e r i o n f u n c t i o n a c c o r d i n gt ot h i s , t h ec o r r e l a t i o nf e a t u r e so ft h ei m a g ec a r lb ee x t r a c t e d b a s e d o nt h ei d e a sa b o v e , w ed i s c u s s e $ i nd e t a i lt h r e ek i n do fd e t a i lm e t h o d s ( 2 d c c 氏 2 d g c c aa n d2 d - p l s 、d i r e c t l yb a s e do ni l n a g em a t r i x 1 1 1 e o r e t l c a l l yw ee x p l a i n r e s p e c t i v e l y t h e i rr a t i o n a l i t yu s e di ni m a g ef e a t u r ee x t r a c t i o n , a n dp r e s e n tt h e c o r r e s p o n d i n ga l g o r i t h m s a tt h es a l n et i m e t w ok i n d so fc l a s s i f i c a t i o ns t r a t e g i e sd i r e c t l y b a s e do ni m a g em a t r i xa r eb u i l t s i n c et h es i z eo fi m a g ec o v a r i a n c em a t r i c e si ss a m ea s t h a to fi m a g e sa n dt h ew i t h i n - c l a s si l b a g ec o v a r i a n c em a t r i xi su s u a ln o n s i n g u l a r , t h u s ，t h e d 溉c u l t yr e s u l t i n gf r o mh i g hd i m e n s i o n a l i t ya n ds i n g u l a rc a s ea r ea r t f u l l ya v o i d e d e x p e r i m e n t a lr e s u l t so nd i f f e r e n tf a c ed a t a b a s e ss h o wt h a tt h ep r o p o s e d2 dc o r r e l a t i o n p r o j e c t l o na n a l y s i sm e t h o dn o to n l yc a na c h i e v et h eb e t t e rr e c o g n i t i o nr e s u l t s b u ta l s ot h e s p e e do fe x t r a c t i n gt h ec o r r e l a t i o nf e a t u r eh a sb e e ng r e a t l yi m p r o v e dc o m p a r e dw i t h1 d c o r r e l a t i o np r o j e c t i o na n a l y s i s k e y w o r d s ：p a t t e r nr e c o g n i t i o n , i m a g er e c o g n i t i o n , f e a t u r ee x t r a c t i o n , f e a t u r ef u s i o n , c o r r e l a t i o np r o j e c t i o na n a l y s i s ，c a n o n i c a lc o r r e l a t i o na n a l y s i s ( c c a ) ，g e n e r a l i z e dc a n o n i c a l c o r r e l a t i o na n a l y s i s ( g c c a ) ，p a r t i a ll e a s ts q u a r e s ( p l s ) ，s t a t i s t i c a lu n c o r r e l a t i o n , s m a l l s a m p l es i z ep r o b l e m ，f a c er e c o g n i t i o n , h a n d w r i t t e nc h a r a c t e rr e c o g n i t i o n i v 南京理工大学博士学位论文 基于相关投影分析的特征抽取与图像识别研究 第1 章绪论 1 1 引言 在模式识别领域，特别是在图像识别( 人脸识别、字符识别和文本分类等) 中，有 关特征抽取( f e a t u r ea x t r a c t i o n ) 和维数压缩( d i m e n s i o n a l i t yr e d u c t i o n ) 的理论和方法一 直是人们研究的热点和关键问题。到目前为止，多元统计分析中的诸多方法已被成功 地应用到了这一领域，其中最具代表性的有主分量分析( p c a ，或称为k - l 变换) 和 f i s h e r 线性鉴别分析( l d a ) 匝”啪腰鲫】近二十年来，围绕着这两种技术，人们展开了 广泛和深入的研究，基于p c a 和l d a 的特征抽取和鉴别方法已成为模式识别研究的 主流方法之一近年来，基于核技术的核主分量分析( k p c a ) 【s 8 m , i u k 0 2 , l i u 0 4 与核f i s h e r 鉴别分析( d a ) m r w s m 9 9 , b a 0 0 l f v 0 3 1 方法又将模式的特征抽取问题推广到了非线性， 促进了模式识别，也包括计算机视觉等领域的发展。 上述特征抽取和维数压缩方法均是建立在模式的一组特征或一个数据矩阵上，有 效信息的获得有时会受到一定的限制。最近，基于信息融合技术的特征级融合方法己 被用于组合特征的抽取，并在手写体字符和人脸等图像识别中得到了较为成功的应用 l w 0 1 , y y , t r z l 0 3 i 。其基本思想是将同一模式的不同特征通过适当的组合，在一个新的 特征空间利用p c a 和u ) a 的方法进行组合特征抽取。例如将两组特征向量首尾相连 生成一个联合向量作为新的特征向量，在更高维的向量空间进行特征抽取 l w 0 1 1 ；或者 是利用复向量将同一模式的两组特征向量合并在一起，在复向量空间进行特征抽取 t y y 0 2 7 慨0 3 。两种特征融合方法均不同程度地提高了识别率。基于特征级融合的方法 之所以有效，是因为对同一模式所抽取的不同特征矢量总是反映模式的不同特性，对 它们的优化组合，既保留了参与融合的多特征的有效鉴别信息，又在一定程度上消除 了由于主客观因素带来的冗余信息。对分类识别无疑具有重要的意义 以上两种特征融合方法，本质上并未脱离传统的特征抽取框架。基于特征融合 的思想，本文建立了一种全新的图像识别框架，该框架同样是基于同一模式的两组特 征或两个数据矩阵。与上述组合特征抽取方法不同的是，首先，在两组数据之间建立 相关性判据准则函数，然后依据该准则求解两组相关投影矢量集，进而抽取各自数据 上的相关性特征，最后通过不同的特征融合策略获得组合的相关特征，并用于分类 s z t 麟0 5 , s l h x 0 5 1 通常研究两组数据之间关系的多元数据分析方法有：多元线性回归分 析( 眦r ) h z 9 0 , z f 9 9 、典型相关分析( c c a ) h z 9 0 , z f 9 9 1 以及偏最d , - 乘回归分析( p l s ) w m 9 9 , w t b a 0 1 1 。三种方法当中，应用最为广泛的是多元线性回归分析，在诸多领域都有 其应用：典型相关分析则是处理两个随机矢量之间相互依赖关系的统计方法，同样在 经济领域有其广泛的应用，近些年来，国外已开始将c c a 用于信号处理、计算机视 觉及语音识别等领域 b o t 9 5 , c k 9 4 , w e e 0 3 ，并取得了一定进展：而偏最小二乘回归分析则是 第1 章绪论博士学位论文 一种新型的多元数据处理方法，并首先在化学计量学及化工领域取得了巨大的成功， 近年来其应用领域不断扩大。本文将主要就后两种方法在特征抽取和图像识别方面的 应用做一个较为系统的研究。一一一 一。 习惯上，将基于主分量分析和f i s h e r 线性鉴别分析所获得的特征抽取方法，统 称为线性投影分析胁“蚴。而作为多元统计分析方法的典型相关分析和偏最小二乘回 归分析，本质上也体现了通过变换进行特征抽取的思想。由于对它们的研究是基于两 组数据之间的相关关系，故在本文的研究中，我们将这两种方法和所提出的广义典型 相关分析统称为相关投影分析。 1 2 线性投影分析的研究与发展 基于线性投影分析的特征抽取方法，其基本思想就是根据一定的性能目标来寻 找一线性变换，把原始信号数据压缩到一个低维子空间，使数据在子空间中的分布更 加紧凑，为数据的更好描述提供手段，同时计算的复杂度也得到了大大降低。在线性 投影分析方法中，以主分量分析( p c a ，或称k - l 变换) 和f i s h e r 线性鉴别分析( l d a ) 最具代表性，围绕着这两种方法所形成的种种特征抽取算法，己成为模式识别领域中 最为经典和广泛使用的方法伊幽“b z 9 0 1 1 2 1 主分量分析概述 有关主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s 。简称p c a ) 的理论与方法，k f u k u n a g a 在其专著“i n t r o d u c t i o n t os t a t i s t i c a l p a t t e m r e c o g n i t i o n ”中给出了系统的阐 述 f u k g o 。主分量分析( 主元分析或主成分分析) 的思想来源于k l 变换，目的是通过 线性变换找一组最优的单位正交矢量基( 即主分量或主元) ，用它们的线性组合来重建 原样本，并使重建后的样本和原样本的误差最小。在数学上，主分量分析就是选取一 组标准正交且使得以下准则函数达到极值的向量吼，仍作为投影轴 z ( 们= 9 t s , 伊( 1 2 1 ) 其中墨是总体协方差矩阵( 或总体散布矩阵) 事实上，这一组最优投影轴应取为墨的 d 个最大本征值所对应的标准正交的本征矢量。在图像识别领域，由于训练样本的总 数m 一般远远小于训练样本( 图像矢量) 的维数 r ，故为了提高计算效率，常常借助 于奇异值分解定理间接地求解s 的本征矢量。当获得d 个投影矢量后，原模式样本就 可以投影到由d 个投影矢量构成的子空间中，从而得到模式样本的低维表示。已被证 明，这种表示在最小均方意义下是最优的陬踟b 酬。利用p c a 进行模式的特征抽取， 存在两大优势，一方面消除了模式样本之间的相关性；另一方面实现了模式样本的维 数压缩，即它能将高维的模式样本压缩为更易于处理的低维样本，换而言之，p c a 给出了高维数据的一种简约的表示由于以上优点，主分量分析被广泛地应用于模式 识别，数据压缩等领域。 2 南京理工大学博士学位论文基于相关投影分析的特征抽取与图像识别研究 p c a 作为一种经典的多元统计分析方法，尽管对它的研究可谓源远流长，但将 其用于解决人脸识别问题却是最近十年的事。直到二十世纪九十年代初，m k i r b y 和 l s i r o v i c h 瞄删讨论了利用p c a 进行人脸图像的最优表示问题。接着，m t u r k 和 a p e m l 觚d r 珊椰1 l t p 9 1 b l 探讨了这种表示的物理意义他们惊奇的发现，k - l 展开后 的特征矢量在还原成图像矩阵时，竟然是一张张标准化的人脸! 采用k - l 展开表示 人脸的本质被揭示了出来，即用一系列标准的人脸图像( 由本征矢量构成，故被形象 地称为本征脸) 通过加权叠加来表示人脸。用这些表示系数作为人脸的特征进行分类 识别。这就是著名的本征脸( e i g e n f a c e s ) 方法。 随着本征脸方法的成功，极大地激发了人们对这一方法的研究热情，出现了许多 种基于主分量分析的人脸识别方法和其它图像识别方法。正因为主分量分析有着重要 的理论及应用价值，有关主分量分析的理论及应用研究至今仍层出不穷，在模式识别 领域享有盛誉的国际刊物 p a t t e r nr e c o g n i t i o n ) 就曾经出版过这方面的专刊。在诸多 研究成果中，有两种方法值得关注：一是j y a n g 等 y y 0 2 , y y z l 0 3 1 将p c a 方法推广到复 线性空间；二是直接基于图像矩阵的二维( 2 d ) 主分量分析( 2 d p c a ) 畔0 4 , k w t l w v 0 5 】。 它们都在图像识别中获得了成功的应用。 尽管主分量分析是以所有样本的最优重建为目的，或许对于描述不同类样本之间 的差异而言，它不一定是最优的。但这并不妨碍它的应用，已经证明它在诸多模式识 别领域都有着优异的表现。 1 2 2f i s h e r 线性鉴别分析概述 有关线性鉴别分析的研究应追溯到r a f i s h d 蜥l 在1 9 3 6 发表的经典论文，其 基本思想是选择使得f i s h e r 准则函数达到极值的向量作为最佳投影方向，从而使得样 本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。在f i s h e r 思想的 基础上，s s w u o w “6 2 1 、r d l l d a 与p h a r t 聊3 1 分别提出了鉴别矢量集的概念，即寻 找一组鉴别矢量构成子空间，以原始样本在该子空间内的投影矢量作为鉴别特征用于 识别。该方法被称为经典的f i s h e r 线性鉴别分析方法。目前该方法仍然广泛应用于人 脸识别等领域。除了经典的f i s h e r 线性鉴别分析方法外，在1 9 7 0 年，j w s a m m o n i s m l ：7 0 ! 提出了基于f i s h e r 鉴别准则的最佳鉴别平面的概念。随后，d h f o l e y 和j w s a m m o n f s 7 5 1 进一步提出了采用一组满足正交条件的最佳鉴别矢量集进行特征抽取的方法。该 方法被命名f o l e y - s a m m o n 线性鉴别分析。d h f o l e y 和j w s a m m o n 给出了求解两类 问题的最佳鉴别矢量集的具体算法。j d u c h e n e 和s l e c l e r c q 【d “1 给出了多类情况下最 佳鉴别矢量集的计算公式。 最近，z j i n 等 j h l 9 9 j y r i t 0 1 , y r h 0 1 1 从统计不相关的角度，提出了具有统计不相关性的 最佳鉴别矢量集的概念。与f o l c y - s a m m o n 鉴别矢量集不同的是，具有统计不相关性 的最佳鉴别矢量集是满足共轭正交条件的。z j i n 等人的方法被称为不相关的线性鉴 别分析。但z j i n 等在文献u 7 h l 0 1 1 中给出了求解最佳鉴别矢量集的算法较为复杂，在 文献【r m 0 1 1 中就一种特殊情况，即f i s h e r 准则函数所对应的广义特征方程的特征值互 第1 章绪论博士学位论文 不相等的条件下，给出了求解不相关的最佳鉴别矢量集的一种简捷算法，并指出在该 条件下不相关的线性鉴别分析与经典的f i s h e r 鉴别法叫7 习是等价的。在此基础上， j y 锄g 【蝴1 基于统计不相关的思想，发展和完善了统计不相关的鉴别分析理论，并给 出了求解不相关的最佳鉴别矢量集的一个非常简单而有效的算法 以上提到的各种方法仅适用于类内散布矩阵非奇异( 可逆) 的情形，但实际中确实 存在着大量的典型的小样本问题，比如在人脸等图像识别问题中，类内散布矩阵经常 是奇异的。这是因为待识别的图像矢量的维数一般较高，而在实际问题中难以找到或 根本不可能找到足够多的训练样本来保证类内敏布矩阵的可逆性。因此，在小样本情 况下，如何抽取f i s h e r 最佳鉴别特征成为一个公认的难题唧卫h 鼬7 】近几年来关于 小样本情况下线性鉴别分析方法的研究激起了人们的广泛兴趣，不少解决该类问题的 方法相继提出。概括起来，这些方法可分为以下三类； ( 1 ) 基于变换的( t r a n s f o r mb a s e d ) 方法即在采用线性鉴别分析之前，通过事先 给定的线性变换来达到降低图像矢量的维数从而消除类内散布矩阵奇异性的目的。基 于变换的典型方法有：p n b e l h u m e 一8 ：- n o q 等提出的f i s h e f f a