（信号与信息处理专业论文）小样本人脸图像特征抽取和识别方法研究.pdf

摘要 摘要 人脸识别中，通常可得到的样本数远小于人脸图像样本的维数，此问题称为人脸识别的 小样本问题。小样本问题导致基于f i s h e r 鉴别分析的人脸图像特征抽取存在病态问题，并且 使用较少的样本难以获得推广性较好的识别性能。本文针对小样本条件下的人脸图像特征抽 取和识别存在的困难，分别提出了几种解决方法，主要内容如下： 1 提出了基于核主分量分析( k p c a ) 和最佳鉴别独立分量分析的人脸特征抽取方法，从三 个方面对i c a 方法进行了改进：首先，利用k p c a 将人脸映射到特征空间得到核主分量，对 核主分量进行i c a 得到间接的非线性独立分量分析方法，降低了i c a 对高维人脸图像样本的 计算复杂度，并使算法更容易收敛；其次，定义f i s h e r 鉴别信息作为选取最佳鉴别独立分量 的准则；最后，提出了一种用最佳鉴别独立分量表示待识别样本的方法，克服了用直接投影 所得待识别样本特征不准确的问题。实验结果显示此方法可获得优于f i s h e r f a c e 的识别性能。 2 研究了典型相关分析( c c a ) 和f i s h e r 线性鉴别分析( f l d a ) 的等价性，利用c c a 求解 最佳f i s h e r 鉴别特征，避免了f l d a 和k f d a 由小样本导致的病态奇异问题。首先对此等价 性给出一个简洁的证明，其次提出了三种基于c c a 的人脸图像线性和非线性特征抽取方法： ( 1 ) 首先利用p c a 将样本降维到总散度阵的秩空间中，然后进行c c a ，使在没有丢失任何 鉴别信息的条件下得到线性f i s h e r 最佳鉴别特征；( 2 ) 利用k p c a 将高维人脸图像样本映射 到特征空间得到核主分量，然后对核主分量进行c c a 。由于k i ) c a + f l d a 等价于k f d a ，因 此提出的k p c a + c c a 方法可得到等价于k f d a 的非线性最佳f i s h e r 鉴别特征。( 3 ) 直接将 c c a 方法推广为可用于鉴别分析的k c c a 方法，得到同样等价于k f d a 的非线性最佳f i s h e r 鉴别特征抽取方法。实验结果表明，提出的3 种方法所得特征优于f i s h e r f a c e 和k p c a + l d a 抽取的线性和非线性f i s h e r 鉴别特征。 3 提出了基于核鉴别共同矢量( k d c v ) 的非线性f i s h e r 最佳鉴别特征抽取方法。利用特征 空间中的正交化过程，将d c v 推广为k d c v ，将在特征空间的两次g r a m o s c h m i d t 正交化过 程转化为只需计算两个核矩阵和一次c h o l e s k y 分解，得到了数值稳定性较好的f i s h e r 非线性 最佳鉴别特征抽取方法。实验结果表明k d c v 方法得到的非线性鉴别特征有更好的类可分性。 4 将最近特征分类器和核方法相结合，得到了基于核的晟近特征线、特征面和特征子空间方 法，可直接对高维人脸图像样本识别，而无需预先抽取人脸图像特征，使在总样本数较多， 特征抽取在计算上难以实现的情况下也能直接识别。其中对核最近特征子空间提出了两种计 算方法：一是核最近特征面的直接推广；二利用核主分量分析对每个类别求解非线性主分量 矢量，用其构成表征该类别的非线性特征子空间。为解决所得核最近特征线和特征砸方法计 算量大和可能失效的问题，进一步提出了( 核) 最近特征重心和( 核) 最近邻特征方法，前 者降低了计算特征线距离和特征面距离的计算复杂度，后者减少了所需计算特征线数和特征 面的数目，两种方法均能解决特征线和特祉面方法可能失效的问题。最后将两者结合得到的 东南大学博p 学位论文 ( 核) 最近邻特征重心方法将计算晕降到了最小。 5 研究了三种在矩阵空间构造最近特征分类器的人脸图像识别方法：( 1 ) 利用奇异值分解将 人脸图像样本表示成秩1 基图像的线性组合，用前几个最大奇异值对应的基图像构成表征该 类别的特征子空间。在定义矩阵内积的基础上，将待识别人脸图像样本分别投影到各个类别 的基图像上，识别阶段将待识别样本归入投影长度最大的特征子空间对应的类别中；( 2 ) 利 用所定义的矩阵内积运算，将最近特征线方法推广到矩阵空间，利用人脸图像矩阵直接构造 特征线，扩展了两个样本的表征能力；( 3 ) 进一步将最近邻特征线方法推广到矩阵空间，较 大降低了计算复杂性并避免了可能失效地问题。这三种方法直接处理人脸图像矩阵，避免了 对高维人脸图像矢量抽取特征的计算复杂度。实验结果显示，每类取不同训练样本数时所得 三种方法能获得和最近特征线相近的识别性能。 关键词：人脸识别，小样本问题，核方法，独立分量分析，典型相关分析，核鉴别共同矢量 最近特征分类器，矩阵空间 i i a b s t t a c t a b s t r a c t i nf a c er e c o g n i t i o nl a s k s , t h en u m b e ro fs a m p l e so ff a c ei m a g ei sc o m m o n l ys m a l l e rt h a nt h e n u m b e ro ft h eo r i g i n a lf a c i a lf e a t u r e s t h i sp r o b l e mi ss oc a l l e ds m a l ls a m p l es i z e ( s s s ) p r o b l e m n es s sp r o b l e mc a l lc a u s ct h ei i i p o s e dp r o b l e mi nf i s h e rd i s e r i m i n a n ta n a l y s i sf o rf a c i a lf e a t u r e e x t r a c t i o n a n di n f l u e n c et h eg e n e r a l i z a t i o nc a p a b i l i t yo fc l a s s i f i e r s t h i sp a p e rf o c u s e so nt h ef a c e i m a g ef e a t u r ee x t r a c t i o na n dr e c o g n i t i o ni nt h ec a s eo fs s sp r o b l e m 1 1 1 em a i nc o n t r i b n t i o n sa r e s u m m a r i z e da sf o l l o w s ： 1 n ep r o b l e m si ni c a - b a s e df a c er e c o g n i t i o na r ea n a l y z e d a n dk e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i s ( k p c a ) b a s e do p t i m a ld i s c r i m i n a n ti n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) i sp r o p o s e d f i r s t ，t h ei c ai sp e r f o r m e di nk p c at r a i l s f o r m e ds p a c e w h i c hf e d u c e st h ec o m p u t a t i o n a l e o m p l e x i t ya n di m p r o v et h ec o n v e r g e n c ei ni c a s e c o n 也t h ef i s h e rd i s c r i m i n a n ti n f o r m a t i o ni s d e f i n e dt os e l e c tt h eo p t i m a ld i s c r i m i n a t i v ei n d e p e n d e n tc o m p o n e n t s t h i r a , a na p p r o a c hi s p r o p o s e dt oo b t a i nt h eo p t i m a lf e a t u r eo fu n k n o w ns a m p l eu s i n gt h es e l e c t e do p t i m a l d i s c r i m i n a t i v ei n d e p e n d e n tc o m p o n e n t t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o dc a n a c h i e v eb e t t e r p e r f o r m a n c et h a nf i s h e r f a c em e t h o d 2 t h ee q u i v a l e n c eb e t w e a nc a n o n i c a lt o n e l a t i o na n a l y s i s( c c a ) a n df i s h e rl i n e a rd i s c r i m i n a n t a n a l y s i s ( f l d a ) i sf i r s tp r o o f e db f i e f l y t h 蜘t h r e em e t h o d so ff a c i a lf a a t u r e se x t r a c t i o na l e p r o p o s e db a s e do nc c a ( 1 ) i np c a + c c am e t h o d , t h es a m p l e sa r ef i r s t l yp r o j e c t e do n t ot h e r a i l g es p a c eo ft l l e t o t a ls c a t t e rm a t r i x , a n dt h e nc c ai sp e r f o r m e dt oe x t r a c to p t i m a l d i s c r i m i n a n tf a a t u r e sw i t h o u tl o s i n ga n yd i s e d m i n a t o r yi n f o r m a t i o n ( 2 ) i nk p c a + c c a m e t h o d ， c c ai sp e r f o r m e di nk p c at r a n s f o r m e ds p a c et oe x t r a c tt h en o n l i n e a ro p t i m a lf i s h e r d i s c r i m i n a t i v ef e a t u m so ff a c ei m a g e , w h i c hi se q u i v a l e n tt ot h ek e r n e lf i s h e rd i s e r i m i n a n t a n a l y s i s ( k f d a ) i nn a t u r ed u et ot h ee q u i v a l e n c eb e t w e e nk f d aa n dk p c a + l d a ( 3 ) c c ai s d i r e c t l ye x t e n d e dt ok e m e lb a s e dc c a w h i c hi s a l s oe q u i v a l e n tt 0k f d ad u et ot h e e q u i v a l e n c yb e t w e 曲c c aa n df l d a t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h r e em e t h o d s s i g n i f i c a n t l yo u t p e r f o r mf i s h e r f a c ea n dk p c a + l d am e t h o d s 3 t b ed i s e r i m i n a t i v ec o m m o nv e c t o r sm e t h o d ( d c v 、s u c c e s s f u l l yo v e r c o m e st h ed r a w b a c k so f e x i s t i n gm e t h o df o rs o l v i n gt h es s sp r o b l e mo ff l d ai nf a c er e c o g n i t i o n h o w e v e rd c vi s l i n e a rt e c h n i q u ei nn a t u r e h lt h i sp a p e r , t h ek d c vi sp r o p o s e db yc o m b i n i n gt h ed c va n d k c r n e lm e t h o dt oe x t r a c tt h en o n l i n e a rf i s h e l d i s c r i m i n a t i v ef a a t u r e s t h eg h 湘s c h m i d t o r t h o g o n a l i z a t i o np r o c e d u r ei nf e a t u r es p a c ei sf i r s tp r e s e n t e d ，w h i c hi se q u i v a l e n tt op e r f o r m i n g ac h o l e s k yd e c o m p o s i t i o no fk e r n e lm a t r i x t h e nt h ea l g o r i t h mf o rk d c vi sd e v e l o p e db y p e r f o r m i n gt h eo m m - s c h m i d to n h o g o n a l i z a t i o nt w i c ei nf a a t u r es p a c e w h i c hi se q u i v a l e n tt o c o m p u t i n gt w ok e r n e lm a t r i c e sa n dp e r f o r m i n gac h o l e s k yd e c o m p o s i t i o no f k e r n e lm a t r i x 1 1 1 e e x p e r i m e n ti n d i c a t e st h a tk d c va c h i e v eb e t t e rp e r f o r m a n c et h a nd c v 4 t h ek e r n e lb a s e dn e a r e s tf e a t u r ec l a s s i f i e r s ( k n f c ) a r ep r o p o s e d w h i c hc a nd i r e c t l yc l a s s i f y t h eh i g hd i m e n s i o n a lf a c ei m a g e sw i t h o u tt h ep r e p r o c e s s i n gs t e pt oe x t r a c tt h ef a c i a lf e a t u r e s t h e r e f o r e ，i nt h ec a s eo fl a r g en u m b e ro ft r a i n i n gs a m p l e s ，t h ep r o b l e mo fh i g hc o m p u t a t i o n a l c o s tf o rf a e i a lf e a t u r e se x t r a c t i o nc b ea v o i d e d t w ok n f sm e t h o d sa r ep r e s e n t e d o n ei st h e d i r e c tg e n e r a l i z a t i o no fk n f pa n dt h eo t h e ru t i l i z e sk p c at oc o n s t r u c tt h en o n l i n e a rf e a t u r e s u b s p a c ef o re a c hf a c ec l a s s t os o l v et h ep r o b l e mo ft h el a r g ec o m p u t a t i o n a lc o m p l e x i t ya n d 1 1 1 东南人学博i 学位论文 p o s s i b l ef a i l u r ei nt h ep r o p o s e dk n f la n dk n f p , k e m e ln e a r e s tf e a t u r ec o n t r o i da n dn e a r e s t n e i 曲b o rf e a t u r ec l a s s i f i e r sa r ep r o p o s e dr e s p e c t i v e l y t h ef o r m e rr e d u c e st h ec o m p u t a t i o n a l c o s ti nc o m p u t i n gf e a t u r e1 i n ea n df e a t u r ep l a n ed i s t a n c e s ，a n dt h e1 a u e rr e d u c e st h eh u m b e ro f f e a t u r el i n ea n dp l a n e b o t hm e t h o d sc a l ls o l v et h ep r o b l e mo fp o s s i b l ef a i l u r e f i n a l l y , t h e k e r n e ln e a r e s tn e i g h b e tf e a t u r ec e n t r o i dm e t h o di sp r o p o s e db yc o m b i n i n gt h e s et w om e t h o d s ， w h i c hf u r t h e rr e d u c e st h ec o m p u t a t i o n a lc o s ti nk n f la n dk n f p t h ee x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h a tt h en o n l i n e a rf e a t u r el i n e ，f e a t u r ep l a n ea n df e a t u r es u b s p a c ec o n s t r u c t e da r e v e r ys u i t a b l et od e s c r i b et h en o n l i n e a rv a r i a t i o n si nf a c ei m a g e sd u et oi l l u m i n a t i o n ，f a c i a l e x p r e s s i o n ，p o s ev a r i a t i o n s 5 t h r e em e t h o d st oc o n s t r u c tf e a t u r es u b s p a c ei nm a t r i xs p a c ef o re a c hf a c ec l a s sa r ep r o p o s e d ：( 1 ) t h ef a c ei m a g ei sf i r s td e c o m p o s e d l i n e a rc o m b i n a t i o no fb a s ei m a g e sb yu s i n gs i n g u l a r v a l u ed e c o m p o s i t i o n ( s v d ) ，a n dt h e nt h eb a s ei m a g e sc o r r e s p o n d i n gt ol a r g e s ts i n g u l a rv a l u e s a r eu s e dt oc o n s t r u c tf e a t u r es u b s p a c ef o rt h i sf a c ec l a s si nm a t r i xs p a c e t h ei n n e rp r o d u c t b e t w e e nt w om a t r i c e si sd e f i n e d i nr e c o g n i t i o ns t a g e ，t h eu n k n o w nf a c ei m a g ei sf i r s tp r o j e c t e d o n t ob a s ei m a g e so f e a c hc l a s s ，a n dt h ep r o j e c t i o nl e n g t hi ne a c hf e a t u r es u b s p a c ei sc o m p u t e d t h en n k n o w nf a c ei m a g ei st h e na s s i g n e dt ot h ec l a s sl a b e lb yf i n d i n gt h el a r g e s tp r o j e c t i o n l e n g t h ；( 2 ) n f li se x t e n d e dt om a n i xs p a c ed i r e c t l yu s i n go r i g i n a lf a c ei m a g eb yu s i n gt h ei n n e r p r o d u c ti nm a t r i xs p a c e ；( 3 ) n n li sf u r t h e re x t e n d e dt om a t r i xs p a c et oa v o i dt h eh i g h c o m p u t a t i o n a lc o s ta n dp o s s i b l ef a i l u r e t h e s et h r e em e t h o d sc a nd i r e c t l ye l a s s i f yt h eo r i g j h a l f a c ei m a g e ，a n dt h e r ei sn on e e dt oc o n v e r tt h ef a c ei m a g em a t r i xt ov e c t o r t h ec o m p u t a t i o n a l c o s ti st h e r e f o r es a v e di nr e c o g n i t i o ns t a g e t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e d m e t h o d sc o na c h i e v es i m l i a rp e r f o r m a n c ec o m p a r e dt on f la n dn n lm o t h o d s k e y w o r d s ： f a c er e c o g n i t i o n , s m a l ls a m p l es i z ep r o b l e m ，k e r n e lm e t h o d ，i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，c a n o n i c a lc o r r e l a t i o na n a l y s i s ，k e r n e ld i s c r i m i n a t i v ec o m m o nv e c t o r s ， n e a r e s tf e a t u r ec l a s s i f i e r s ，m a t r i xs p a c e 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 研究生签名：! 丝丝鉴日期：型血， 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电 子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文 被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 第j 章绪论 1 1 人脸识别概述 第1 章绪论 随着社会的发展，对身份验证的需求也日益增加。由于生物特征是人的内在属性，具有 较强的自身稳定性和个体差异性，因此可作为身份认证较好的依据。人脸作为人的生物特征 之一在使用上较其它的生物特征 如指纹、虹膜、掌纹等) 更友好，直接和方便。因此自 动人脸识别技术近年来己成为计算机视觉和模式识别领域中的一个前沿课题。 自动人脸识别技术在个人身份认证和视觉监控等领域有着广阔的应用前景。例如在公安 司法领域对各种身份证件的识别和对嫌疑犯的识别；在商业领域对各种信用卡和银行卡用户 的识别；在银行、商店和机场等场合的视觉监控和安全系统的识别以及在人机互交领域的识 别应用等。在公安司法和商业领域的应用中，对身份的认证通常使用静态的人脸图像，图像 质量、图像的背景和光照影响可受郅人为的控制，因此可获得质量较好的入脸图像。商在视 觉监控和安全系统的应用中，处理的多为动态视频图像，此类图像容易受到各种非确定因素 的影响，例如背景及光照易受环境的影响，不容易受到人为精确地控制。对受控的图像可事 先排除人脸细节和背景的干扰，更易于识别。 人脸识别任务可一般地表述为：给定一场景的静态图像或动态视频图像，利用已有的人 脸数据库，确定场景中的一个或多个人“1 。 图 像 圉1 1 入脸识剐系统框圉 完整的人脸识别系统包括了人脸图像的预处理阶段、特征抽取阶段和分类器设计三个阶 段，如图i 1 所示。预处理阶段又包括人脸的检测、人脸特征( 如双眼、鼻和嘴等) 的定位 和人脸图像规整化三个步骤。人脸检测从输入的图像中得到待识别人的面部区域，并在此区 域中定位双限位置。人眼定位是为了后续人脸图像的规整化。由于同一个人的双眼距离通常 不会受表情和脸部细节变化的影响，因此可作为人脸舀像规罄仡的标准。规整化过程为，首 先固定两服位置，对人脸图像旋转使得两眼的连线保持水平，然后将人脸面部图像切割成固 定大小，最后对图像的像素值进行归一化，消除部分的光照影响。特征抽取和识别阶段通常 将规整化后的人脸图像样本矩阵按列或行拉直构成一个高维的矢量。直接由人脸图像灰度值 东南人学博i 学位论文 构成的高维样本矢量，在高维样本空问中分布很不紧凑，不能直接反映出其所代表的人脸类 别特征，囡此需在特征抽取阶段抽取人脸图像的有效鉴别特征，使低维特征矢量在低维特征 空间的分布更紧凑，有更好的类可分性。用样本的鉴别特征训练分类器，识别阶段对待识别 样本抽取鉴别特征并进行分类。在整个人脸识别系统中，预处理阶段得到规整化人脸图像的 准确性会影响到后续特征抽取和识别阶段的结果。特征抽取得到可分性较好的鉴别特征，减 少特征数，有利于训练阶段获得推广性更好的分类器，且可降低计算量，因此一般来说抽取 有效的人脸图像鉴别特征是获得较好识别性能的必要步骤。对分类器的设计需要有较好的推 广性能，也就是需要对未在训练样本集中的待识别样本有较低的误识率。 人脸识别主要依据人脸图像的面部特征，目的是要寻找不同个体之间有较大差异而对同 一个人比较稳定的数值度量。人脸图像的特征抽取可分为基于凡何特征和基于统计特征两大 类。早期的方法主要基于几何特征抽取，其基本思想是首先定位人脸上的特征点( 如眼、鼻 和嘴等) 的位置，然后计算这些特征点的相对位置和距离，用其作为人脸特征的度量。由于 几何特征的提取对光照、姿态和表情的变化较敏感，且难以精确定位，影响了此类方法的稳 定性和识别率。近年来较多的是基于统计特征的抽取方法。 基于统计特征的方法中，典型和常用的是基于线性和非线性变换的人脸特征抽取方法， 此类方法通过最优化一个准则函数得到一个变换阵，将原始高维人脸图像降维至低维子空间， 使在低维子空间中的人脸特征更紧凑，有更好的可分性。基于核方法的非线性特征抽取方法 也被应用到了人脸特征抽取中，其将人脸样本非线性映射到高维的特征空间，使样本在特征 空间有更好的可分性，更利于处理人脸图像的各种非线性变化( 如光照、表情和姿态等) ，因 此能得到较线性特征抽取方法更具鉴别力的非线性鉴别特征。此类方法将高维人脸图像特征 线性或非线性映射到子空中，因此也称之为子空间方法，本文研究的人脸图像统计特征抽取 方法均属于此类方法。 识别阶段针对所抽取到的特征设计适合的分类方法，将样本特征空间分为各个区域，然 后根据待识别样本特征所在的区域将其归入对应类别中。特征抽取阶段得到人脸图像的鉴别 特征后，常用最近邻分类器分类。晟近邻分类器简单易行。但其识别性能较大依赖于训练样 本数和所用样本特征的表征能力。对小样本人脸图像的分类，近年来也提出了很多的解决方 法，例如，基于概率推理模型的分类方法克服了b a y e s 分类器需要较多样本估计类协方差阵 的问题。最近特征线、特征面和特征子空间方法利用人脸样本特征构造特征线、特征面和特 征子空间，扩展了人脸图像样本的表征能力。为获得较好的推广性能，基于神经网络和支持 矢量机的方法也被应用到了人脸识别中。 i 2 小样本条件下的人脸图像特征抽取和识别方法研究概况 人脸图像的本质可认为是三维塑性物体在二维平面的投影，和其他类型的图像相比存在 2 第1 章绪论 自身的特殊性，主要表现在如下三个方面：( 1 ) 人脸塑性变形的不确定性( 例如表情的变化) ； ( 2 ) 人脸面部细节的多样性( 例如发型、眼镜、胡须和化妆等) ；( 3 ) 图像获取过程中存在 的不确定性( 例如光照强度、光源方向和背景信息等) 。由于人脸图像的特殊性使得人脸识 别问题面临特殊的困难，这是由于人脸图像易受光照、姿态、表情和面部细节变化的影响， 使同一个人的人脸变化程度，常常超过不同人之间人脸的变化程度，因此降低了人脸图像的 类可分性，给分类带来了较大的困难。此外，通常的识别问题均可得到较多的样本，并且样 本的维数不会很大。而原始的人脸图像通常是用矩阵来表示，通常的方法均先将人脸图像矩 阵拉直为矢量。因此得到较高维的矢量样本，每个人所能得到的人脸图像样本数相对于矢量 维数通常较少。这样人脸识别中处理的样本是高维的有限样本。样本维数较高而样本数较少 的问题通常称为小样本问题。 小样本问题使得对人脸图像的特征抽取和识别存在各自的困难。近年来较多的研究集中 在如何抽取高维人脸图像的低维有效鉴别特征，以及如何利用较少的训练样本设计推广性较 好的分类器。其中特征抽取方法较多地属于基于子空间的统计特征抽取方法。 在基于子空间的人脸统计特征抽取方法中，典型的有基于主分量分析( p r i n c i p a lc o m p o n e n t a n a l y s i s 简称p c a ) 的特征脸方法。和基于f i s h e r 准则的线性鉴别分析( f i s h e rl i n e a r d i s c r i m i n a n ta n a l y s i s 简称f l d a ) 方法”。p c a 方法在最佳重构原信号的意义下得到最佳 变换矢量，选择样本散度较大的方向作为变换矢量，因此对样本降维后所得特征对鉴别分析 来说不是最优的。f l d a 方法则通过最优化f i s h e r 准则，使得到的鉴别矢量对样本降维后，在 低维空间样本特征的类间散度最大以及类内散度晟小，从而所得鉴别特征在降维变换后有最 好的类可分性。文献【3 】的实验显示在光照和表情变化较大的情况下f l d a 方法的错误率低于 p c a 方法。 p c a 假设样本服从高斯分布，所得特征仅在二阶意义上去相关，去相关性不彻底。人脸图 像样本本质是非高斯信号，因此p c a 方法得到的标准正交基矢量难以精确描述人脸图像样本 的真实分布。从盲信号处理发展出来的独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s 简 称i c a ) 技术4 “则假定样本符从非高斯分布，能从样本获褥一组相互统计独立的基来描述样 本的内在结构，利用到了样本特征的高阶统计特征，因此更适合处理非高斯的人脸图像信号。 将人脸图像表示为多个相互独立基图像的线性组合，组合系数可作为人脸图像的特征。p c a 方 法中通常根据特征值的大小自动选择变换矢量，而i c a 方法每次所得独立分量在次序上不确 定，因此没有一个统一选择最佳独立分量的标准，通常根据经验来选取，这导致i c a 方法可 能得出不同的实验结果。例如文献 7 对p c a 、f i s h e r f a c e 和i c a 的性能进行比较评估，实验 结果显示i c a 方法略优于前两者，而文献 8 的实验结果则显示i c a 方法的错误率高于 f i s h e r f a c e 方法。p c a 和i c a 属于非监督的学习方法，在学习过程中直接使用所有样本计算 得到一组基矢量，因此避免了人脸图像的小样本问题，然而在学习过程中由于没有利用到样 本的类别信息，因此所得人脸特征从鉴别应用的角度来说通常不是最佳的。 3 东南大学博十学位论文 f i s h e r 线性鉴别分析( f l d a ) 属于监督的学习方法，其利用样本以及样本的类别信息构 造类间散度阵和类内散度阵，在f i s h e r 准则下计算鉴别矢量，使高维人脸图像样本变换到低 维空间后有较大的类间散度和较小的类内散度，因此所得样本特征在低维空间有更好的类可 分性。f l d a 所求解的鉴别矢量等价于计算广义特征方程的非零特征值对应的特征矢量。然而 在人脸识别中，由于存在小样本问题，使得类内散度阵为奇异阵，因此求解f l d a 的广义特征 方程存在病态奇异问题，此问题称为f l d a 在人脸识别中的小样本问题。针对此问题，许多作 者均提出了不同的解决方法。较早的方法有规整化方法8 ”1 和广义逆方法1 ，规整化方法对奇 异的类内散度阵加上一个小的扰动阵使其可逆，广义逆方法则利用类内散度阵的广义逆取代 逆矩阵。对高维人脸图像样本，这两种方法的计算量较大，难以实用。近来的方法多用降维 技术来处理f l d 矗的小样本问题。例如文献 3 的p c a + l d a ( f i s h e r f a c e ) 方法首先利用p c a 对 原始人脸图像降维，使类内散度阵非奇异，再进行通常的f i s h e r 鉴别分析；文献 1 2 的 d i r e c t - l d a 方法则首先将人脸样本投影到类间散度阵的秩空间中，在此空间中求解变换阵使 类内散度最小。文献 1 3 3 的零空间方法则在类内散度阵的零空间中求解最佳鉴别矢量。对高 维人脸矢量样本，类内散度阵是较大矩阵，求其零空间需要较大的计算量，为此文献 1 3 首 先对人脸图像的像素值进行聚类分析并降维来降低计算的复杂度，然而此过程改变了原始样 本特征空间。并减少了类内散度阵零空间的维数。文献 1 5 的实验显示此方法的识别性能较 大依赖于零空间的维数，因此应该避免预先的降维处理。总散度阵、类间和类内散度阵均为 半正定阵，因此总散度阵的零空间也是类间和类内散度阵的零空间。由于所求鉴别矢量应使 得类间散度最大，因此总散度阵的零空间对鉴别分析无用，为此文献 1 4 的p c a + 零空间方法 首先将所有样本映射到总散度阵的秩空间中，然后用零空间方法得到最佳鉴别矢量。 f i s h e r f a e e 和d i r e c t - l d a 方法在求解过程中会丢失有较强鉴别力的鉴别矢量，零空间方法的 计算复杂度较大，当总样本数较多时p c a + 零空间方法也存在计算量较大的问题。 为克服f l d a 的小样本问题，且用较少计算量就能获得全部的f i s h e r 最佳鉴别矢量，文 献【1 5 】提出的鉴别共同矢量( d i s c r i m i n a t i v ec o m m o nv e c t o r s 简称d c v ) 方法分两步进行， 首先将样本变换到类内散度阵的零空问中，然后在变换后的空间中求解晟佳鉴别矢量使类间 散度最大。同类的不同样本投影到类内散度阵的零空间后得到相同的矢量，因此第一步仅需 在每类中选择个样本计算投影矢量，较大降低了第二步的计算量。d c v 算法1 在两步中均需 计算特征方程，数值稳定性较差，常会导致同类的不同样本所得共同矢量间的误差较大。为 此，在算法2 中用两次g r a m s c h m i d t 正交化过程取代两次特征方程的计算，较大提高了数值 稳定性，并且和已有方法相比只需较少的计算量。然而d c v 方法仍属于线性鉴别分析的范畴， 仅能得到线性f i s h e r 最佳鉴别特征。 基于f i s h e r 准则的f l d a 也出现了一些扩展方法，例如文献1 6 对f l d a 增加了鉴别矢量 相互标准正交的约束条件，文献 1 7 ，9 4 则进一步改进为鉴别特征统计不相关的约束，其等价 于鉴别矢营关于总散度阵正交，并推导出获得统计不相关鉴别特征的迭代算法。文献 1 6 的 4 第1 章绪论 方法可看作是文献 1 7 迭代算法的特例。然而不相关鉴别特征方法仍然存在小样本导致的病 态问题，其直接用p c a 降维来处理，文献 1 8 则在总散度阵的零空间和类间散度阵的秩空间 中求解不相关鉴别特征。 进年来从统计学习理论发展出来的核方法“”1 ，为非线性处理小样本学习问题提供了种 有效途径。核方法通过一个非线性变换将原始样本从输入空间映射到一个高维的特征空间， 利用到了样本特征问的高阶信息，使映射后的样本在特征空间有更好的类可分性。在特征空 间进行线性分析等价于在输入空问进行非线性分析，从而获得在输入空间的非线性学习算法。 通常非线性映射的具体形式未知，在特征空间的计算均转化为内积后用满足m e r c e r 条件的核 函数计算。 将f l d a 和核方法相结合得到基于核的非线性f i s h e r 鉴别分析( k e r n e lf i s h e r d i s c r i m i n a t i v ea n a l y s i s 简称k f d a ) 方法，同样存在病态奇异问题。文献1 2 4 1 首次将f l d a 推广为k f i ) a ，但其仅能处理两类的分类闯题，且求解存在病态奇异问题，其用加扰动矩阵的 方法来解决：基于核的广义鉴别分析“”进一步将两类的k f d a 推广到多类分类的情况，但为解 决病态奇异问题。用总散度阵取代了类内散度阵，本质上不能得到最佳的非线性鉴别特征； 基于核的多类鉴别分析“”同样存在病态问题，其同样用扰动法来解决。 在人脸图像的分类方面，由于存在小样本问题，每个人脸类别所能得到的样本数通常较 少，每个类的协方差阵均为奇异阵，这使得通常的b a y e s 分类器无法使用。针对此问题也出 现了不同的解决方法，例如文献 2 8 提出的概率推理模型分类方法假定每个类的协方差阵为 对角阵，并用p c a 降维后的特征估计对角阵的各个对角线元素；文献 2 9 3 1 则用正则化方法 来解决类协方差阵奇异的问题。由于每类可得到的人验图像样本数较少，难以全五表征出每 个类别由于光照、姿态和表情等造成的各种类内变化。为此，文献 3 2 3 4 提出最近特征线的 分类方法来扩展人脸样本的表征容量，此方法首先抽取样本的主分量特征，用每类的两个样 本特征构成一条特征线来表征该类人脸的特征，然后计算待识别样本特征到每条特征线的距 离，识别阶段用最近距离分类。在此基础上，文献 3 5 用每类的三个样本构成特征面，以及 用每类的所有样本构成特征子空间来表征该类人脸的特征，扩展了小样本人脸图像的表征