（测试计量技术及仪器专业论文）人脸识别的线性子空间方法研究.pdfVIP

摘要 线性子空间方法是人脸识别的主流方法之一，具有描述性强，计算代价小、易实现的 特点，故受到广泛的关注。该文就有关线性子空间方法的理论和相关算法进行了深入的研 究，所提出的算法在人脸识别上表现良好 该文首先研究了线性鉴别分析用于人脸识别时遇到的高维小样本问题解释了i f d a ( i n v e r s ef d a ) 算法的合理性，建立了i f d a 的理论基础在o r l 和y a l e 人脸库上的仿 真试验比较了l d a 统一框架算法，m m c 和i f d a 解决小样本问题的能力，揭示出它们 的一些特性 该文研究了基于图像矩阵的线性鉴别分析进行图像压缩时的方向性问题，并提出了一 种新的距离度量用于图像特征识别。通过仿真试验得出了有现实意义的结论并证实了本文 所提出距离度量的有效性 该文揭示了在小类别人脸识别问题上i c a 方法的独特性质以一种新的方式证明了 i c a 以p c a 作为基准算法的结论，并且讨论了特征选择与i c a 人脸识别算法的适应性问 题。最后，提出了一种称为监督化i c a ( s i c a ) 的新的人脸识别方法仿真试验验证了 讨论得出的相关观点，证实了所提出新方法的有效性 作为对子空间方法的补充，该文提出了一种称为监督化k p c a ( s k p c a ) 的新方法 s k p c a 结合了k p c a 和监督化学习的优点，其提取的特征分类能力杰出人脸识别试验 证实了s k p c a 是一种有效而稳定的非线性子空间方法 关键词：人脸识别，特征提取，线性鉴别分析，图像投影，独立成份分析， i f d a ， 监督化i c a ，监督化k p c a ，距离度量 a b s t r a c t l i n e a rs u b s p a c em e t h o di st h em a i n s g e a mt e c h n i q u ef o rf a c er e c o g n i t i o n i th a sb e e ng i v e n m o r ea n dm o r ea t t e n t i o no w m gt ol t s9 0 0 dp r o p e r t i e ss u c ha ss 订o n gd e s c r i b i n ga b i l i t y , e 伍c i e n t c o m p u t a t i o na n de a s yi m p l e m e n t a t i o n i nt h i sp a d e r , w ef o c u so u ra t t e n t i o no nt h et h e o r e t i c s a n da l g o r i t h m sb e l o n g i n gt ol i n e a rs u b s p a c em e t h o d a f t e rm a k i n ga d e e pr e s e a r c h ，w ed e v e l o p s o m en e wa l g o r i t h m sa sr e g a r d si ta n dt h e s ea l g o r i t h m sa r ev e r i f i e dt ob ee f f e c t i v ei nt h e a p p l i c a t i o n o f f a c er e c o g n i t i o n w ef i r s te x p l o r et h ec a l l e ds m a l ls a m p l es i z e ( s s s ) p r o b l e mm l d e rt h ec o n d i t i o no fh i 曲 d i m e n s i o ns a m p l e s ，w h i c hi si n t r a a a b l ea n df a m i l i a rw h e nu s i n gl i n e a rd i s e r i m i n a n t a n a l y s i s ( l d a ) f o rf a c er e c o g n i t i o n i nt h i sp a p t h r e ee f f e c t i v em e t h o d sf o rl i n e a ra n a l y s i si n s i n g u l a rc a s ci sr e s e a r c h e d , a n dt h e ya r ct h eg e n e r a lf r a m e w o r kf o rl i n e a ra n a l y s i sa l g o r i t h m , m a x i m t m am a r g i nc r i t e r i o n ( m m c ) a n di n v e r s ef i s h e rd i s c r i m i n a n ta n a l y s i s ( i f d a ) g i v e n t h a ti f d ai sp r o p o s e dw i t h o u ta n yt h e o r e t i cb a s e ，w em a k ec l e a rt h er a t i o n a l i t yo fi f d a , a n d c o n s e q u e n t l yt h e o r i s ei f d aa l g o r i t h m t h ca b o v et h r e ea l g o r i t h m ss r ev e r i f i e di nt h e a p p l i c a t i o no ff a c er e c o g n i t i o nu s i n g0 r la n dy a l ef a c ed a t a b a s e , t h r o u 出w h i c hw ed i s c o v e r p a r t so f t h d rc h a r a c t e r i s t i c s a n o t h c ra s p o aa t t l - a c si 8a b o u t 】i n e a rd i s e r i m i n a n ta n a l y s i si st h ec o m p u t i n ge f f i c i e n c y i nt h i sp a p e r , o u rf o c i l si so bt h ei m a g e sc o m p r e s s i n go r i e n t a t i o n t 1 l ef a c er e c o g n i t i o n e x p e r i m e n t sh e l pu st od i go u ts o n i cs i g n i f i c a n ta n dc o m p l i c a t e da t t r i b u t ec o n c e r n i n gt h e c o m p r e s s i n gs c h e m e l a t e rw ep r o p o s e dan e wd i s t a n c em e t r i cf o ri m a g ef e a t u r ea n di t s v a l i d i t yi sv a l i d a t e dt h r o u g he x p o n m c n t sa sw e l l i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c mi sa n o t h e ri m p o r t a n ts u b s p a c em e t h o df o rf a c e r e c o g n i t i o nb e s i d e sl d 九i nt h i sp a p e r , w ed i s c o v e rt h es p e c i a l i t yo fi c am e t h o dw h e nu s e d f o ra m a l lc l a s sp r o b l e m t h e nw ep r o v et h ec o n c l u s i o nt h a ti c au s i n gp c aa st h eb a s e l i n e a l g o r i t h mo n an e ww a y ，a n de x p l o r et h ep e r f o r m a n c eo fi c au n d e rt h ec o n d i t i o no ff e a t u r e s e l e c t i o n a n o t h e rs i g n i f i c a n tw o r ka b o u ti c ai nt h i sp a p e ri s 血a tw ed e v e l o pan o v e li c a a l g o r i t h mf o rf a c er e c o g n i t i o nw h i c hc a nu t i l i z et h ec l a s si n f o r m a t i o no f t r a i n i n gs a m p l e s ，a n di t i sv e r i f i e dt ob ee f f e c t i v ei nt h ea p p l i c a t i o no f f a c er e c o g n i t i o n a tl a s t ，w ep r o p o s e san o v e la l g o r i t h mc a l l e ds u p e r v i s e dk e n e lp c a ( s k p c a ) a sa s u p p l e m e n tt os u b s p a c ea n a l y s i sf o rf a c er e c o g n i t i o n s k p c ac o m b i n es u p e r v i s el e a r n i n g i d e o l o g yw i t l lk p c af l g o f i t h m , s or e s u l ti nr e l a t i v e l ys t r o n gc l a s s i f i c a t i o nc a p a c i t y w ev e i l f y s k p c ai na p p l i c a t i o no f f a c er e c o g n i t i o no n0 r la n dy a l ef a c ed a t a b a s ea n df i n dt h a ts k p c a c a i lr e a c hb e t t e rr e c o g n i t i o np e r f o r m a n c ec o m p a r i n g 埘也k p c aa n dp c a k e y w o r d s ：f a c er e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；l i n e a rd i s e r i m i n a n ta n a l y s i s ( l d a ) ；i m a g e p r o j e c t i o n ；i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ；i n v e r s ef d a ；s u p e r v i s e di c a ； s u p e r v i s e dk p c a ；d i s t a n c em e t r i c i 致谢 藩司e 哇啼仑蛐完成三牟曲硕士学习生涯即将结束。在这三卑- 时间曼。 蝈 深切感受到南京林业大掌这所百年学府催人奋进的掌习氛围以及周围老师 同掌兄长般的温情与关怀。非常感谢南京林业大学的培养。在这里。托接受 亨比较系兢科掌的教育有幸聆听到各位老师的谆谆教诲。顺利度过了求掌 生鼍中的难忘岁月。 回忆起三年中我的每一分成长和进步其中元不凝聚着囊的导师李勇智到 教授的心血。李老师博大的胸怀、渊博的知识、严谨的治掌作风让我受益匪 浅他敏锐的洞察力、前瞻的眼光、对事业孜孜不倦追求的精神给我以窝i 骨 铭心的影响他在工作上无微不至的关怀让我倍感三年时光的温馨他所给 - - 3 r - , 的掌业匕不倦的教诲和精神力量的陶冶噶t 我终生受用不尽。借此调l 向我 的导师表示衷心的感谢和诚孝，自敬意! 感谢参加讨论班的王於平老师、陈满师兄、毛洪贲师弟和刘粉香师妹。正 是由于与州r 们进行的富有启发意义的讨论我才能克服一个一个的困难和疑 惑直至本文的顺利完成。特别感谢我的师兄陈满同掌，他对本课题做了许 多工作给予我不少的帮助。 感谢在南京的挚友刘毅、章如瑾、何健力、卢微和钱哲君感谢他们在低 落时给我的勉励懈怠时给我的鼓舞，迷茫时给我的警醒。同时感谢王华宇、 袁海雷、丁伯祥三位舍友在三年的朝夕相处中我们结下了深厚的兄弟情 谊。 最后要把我的谢意留给瑟的家人。感谢父母无私的关爱与付出为瑟的成 长含辛茹苦。虽然他们文化不商。但知道读书明理的重要性，一直节衣缩食、 无怨无悔斌瞎我上掌读书二十载从未向我奢求过什么。一篇硕士论文远a 爱报答养育之恩的终点我将继续努力。以更大的成绩回报父母。以及所有 关心过我成长的亲人们。 i 吴档私 2 0 0 7 年3 月于南京林业大学 1 1 概述 第一章绪论 人脸识别技术就是利用计算机分析人脸图象，进而从中提取出有效的识别信息，用 来“辨认”身份的- - f - j 技术人脸识别是当前人工智能和模式识别的研究热点，它可以用 于身份认证、公共场合对人的监视、图像数据库的检索、提高人与计算机的交互能力等。 自从美国9 1 1 事件后，人的身份确定问题就不仅仅是为了银行存款、电子商务、家庭安 全等服务了，而是提升到了国家安全的角度，如何利用人体的生物特征( 如指纹、人脸、虹 膜、掌纹等) 迅速判断并确定一个人的身份成了各个国家重点研究的技术。这就迫切需要 生物识别技术的发展和完善。生物识别技术在上个世纪已经有了一定的发展，其中应用最 广泛的是指纹识别技术，在全球生物识别市场上指纹识别占了5 3 份额，这说明指纹识别 技术已经趋近于成熟，但是人脸识别技术的研究目前还处于起步阶段【7 0 】。指纹、掌型、虹 膜等识别技术都需要被识别者配合，而人的面部识别则可以用摄像头远距离捕捉图像，在 当事人不知不觉的情况下完成身份确认识别工作，这对反恐怖活动等有非常重大的意义。 人脸识别的研究已有很长的历史，最早可以追溯n 2 0 世纪法国人g a l t o n m 的工作，用一 组数字代表不同的人脸侧面特征。在最近3 0 年，人脸识别发展迅速。人脸识别的输入图像 通常有3 种情况：正面、倾斜、侧面。从1 9 7 3 年k 锄a d e 【2 】的工作起至今，大多数人脸识别研 究工作的对象为正面或接近正面的静态人脸图像。本文是针对正面或接近正面的人脸静止 图像识别方法来展开的。 人脸的特征提取和特征识别( 匹配) 是人脸识别中最为关键的两个问题。事实上，人脸 识别研究的发展主要就体现在这两个问题上，即提取人脸的什么特征和用什么手段进行分 类。 - 针对这两个问题，人们提出了许多种人脸识别算法：基于几何特征的人脸识别方案：基 于特征脸( 特征子空间) 1 3 】的人脸识别算法；基于模板匹配( 静态匹配和弹性匹配) 的人脸 识别算法；基于人工神经网络的识别算法【4 】；等灰度线、法【5 1 ；基于特征融合的人脸识别算 法【6 】；隐马尔可夫模型方法等等。 上述各人脸识别算法均有各自的优势和不足，目前的研究工作表明它们的识别率都还 远远不能达到实际使用的要求。近几年在人脸识别领域发展出了一些新的方法中，人脸识 别的线性子空间方法发展迅猛，成为人脸识别方法研究的热点。线性子空间方法由特征脸 法发展而来，在线性鉴别分析c l d a ) 【7 】下走向成熟，最近又以独立成份分析( i c a ) 瞵1 和 非负矩阵分解( n m f ) 1 9 4 4 1 再次成为关注的焦点。线性子空间方法的数学理论基础坚实，算 法简洁明了且表现稳定。研究表明，人脸识别的线性子空间方法不仅在识别率、鲁棒性和 计算复杂度等方面获得重大突破，同时也推动了对人脸识别理论本质的深入认识，从而推 进了人脸识别整个领域的发展。 本文将人脸识别的线性子空间方法作为研究重点，对其送行研究不仅具有十分重要的 理论价值，同时也有很大的现实意义。 1 2 人脸识别的线性子空问方法研究现状与进展 k h b y 等【l0 】和t u r k 等【3 】首次把主成份分析的予空间思想引入到人脸识别中，后获得了 较大的成功【l ”。随后子空间分析方法就引起了人们的广泛注意，从而成为当前人脸识别的 主流方法之一。子空间分析的思想就是根据一定的性能目标来寻找线性或非线性的空间 变换，把原始信号数据压缩到一个低维子空闯，使数据在子空问中的分布更加紧凑，为数 据的更好描述提供手段，另外，计算的复杂度也得到大大降低。子空间分析除了有线性和 非线性空间变换之外，根据不同的性能目标要求，得到的子空间也是不一样的。目前人脸 识别中得到成功应用的线性子空间方法有：主成份分析( p r i n c i p a lc o m p o n e n t a n a l y s i s p c a ) 、线性鉴别分析( l i r l e 盯d i s c d m i n a n ta n a l y s i s l d a ) 、独立成份分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s i c a ) 和非负矩阵分解( n o n - n e g a t i v em a t r i xf a c t o r i z a t i o n m 心) ，基于 核技术的非线性子空间分析方法有：核主成份分析( k e r n e lp c a k p c a ) 1 2 和核f i s h 钟鉴别 分析( k e r n e lf i s h e rd i s c r i m i n a n ta n a l y s i s k f d a ) b 3 等。下面将主要对人脸识别线性子空 间方法作一回顾、比较和总结。 ( 一) 线性鉴别分析【叫 线性鉴别分析不同于主成份分析，它是以样本的可分性为目标，寻找一组投影轴使线 性变换后的样本具有类内离散度最小、类间离散度最大的性质。因此从理论上说，线性鉴 别分析比较适合于模式识别问题。经典的线性判别分析中使用的是f i s h e r 准则函数，所以线 性鉴别分析又被称为f i s h e r 鉴别分析( f i s h e rl d a f l d a ) 。f i s h e r 准则函数定义为 ，( 形) 2 鹕峄 ( 1 2 1 ) 其中最表示类间散度矩阵，& 表示类内散度矩阵。 在数学上，求最优化问题( 1 2 1 ) 就等同于求解1 最的特征值问题。但是对人脸识 别的应用来说，由于通常没有足够的训练样本来保证类内散度矩阵满秩，故无法直接求 解j1 s 的特征值问题，因此需要加入一定的条件或策略才行。s w e t s 掣1 4 】最先提出结合主 成份分析的线性鉴别方法，即先用主成份分析降维，获得原样本的最优特征表示( m e f ) 子 空间，并保证在m e f 空间中类内离散度是非奇异的。然后再在此基础上作线性鉴别分析。后 来b e l h u m e u r 等【7 】把它发展为f i s h e r 脸( f i s h e r f a c e s ) 方法，并在光照变化、表情变化以及有饰 物的情况下与特征脸法作了比较，实验结果表明在图像变化不大的情况下两者的性能差不 多，但是在有光照、表情变化的情况下，f i s h e r 脸方法的识别性能要优于特征脸法。另外他 们还发现在特征脸法中对应前三个最大特征值的主成份对光照的变化比较敏感。工i u 等 1 5 】 用直接除去& 的零空间的方法，来避免求逆的过程。从f i s h e r 准则( 1 2 1 ) 可看到：最优解 应该能使i 矽7 瓦酬t0 ，且l 矿7 & 矿i = 0 。这说明最优解属于& 的零空间，然而上述结合主 成份分析的策略和文献中的策略都是以牺牲& 的零空间为代价。为了避免这种情况， y u 等嘲】提出一种新的策略：先去掉& 的零空间，然后再使类内离散度最小化( 称为d i r e c t 2 l d a d l d a ) 。因为l d a 特征维数取决于鼠的秩的大小，并且通常存在这样的关系： r a n k ( & ) c 1 r a n k ( s w ) - c ( 其中f 和为模式类别数和训练样本数) ，因此表面 上d l d a 没有丢掉& 的零空间，但是在去掉瓦的零空间的同时，也间接地丢掉了咒零空间 的信息。c h e r t 等【2 9 】提出采用& 零空间的策略( 称为零空间方法) 。思想是：先求出s w 的 零空间，将原样本投影到& 零空间上，再使类间离散度为最大。由于零空间的求解必须 要在n 雄这样大的维数矩阵上进行运算，n 为图像的维数，通常，l 口，如果直接计算的话 其计算和存储的代价都非常大。h u a n g 等 1 6 】针对零空间方法中计算复杂度高的缺点，提出 了一种简化的零空间方法。它是基于这样的事实来简化的：因为在& 零空间中有可能出 现同时存在矿7 s 矿= 和形7 只矿= 的情况，而这样的矿会对分类带来不确定性，所以w 00 应该要避免出现这种情况。可以证明& 零空间和瓦零空间的交集属于总的离散度墨的零 空耐1 6 】，因此可以先去掉墨的零空间，得到较低维的子空间，然后在这个较低维的子空间 中再使用零空间的方法，实验结果显示零空间的方法要比f i s h e r p & , , 和d l d a 好。 在文献 1 7 , 1 8 , 1 9 】中还探讨了扰动的策略，就是用& + 村来代替，其中m 是相对于& 的特征值很小的一个正数，j 是单位阵。从理论上来说这是可行的，但是由于图像的维数 往往非常高，所以在计算上是不切实际的。 另外，文献【2 0 】中是结合f o l e ys a m m o n ( fs ) 变换来求解f i s h c r i 隹则( 1 2 1 ) 。其思想 是在满足f i s h e r 准则求极值的条件下，先求一组满足正交条件的最佳鉴别矢量，然后再将高 维的特征矢量投影到这些鉴别矢量所张成的空间中。 基于线性鉴别分析的人脸识别方法在f e r e t 测试系鲥1 1 】中，以及文献【_ 7 】中的评价都比 主成份分析方法好，但是最近也有一些不同的意见，比如：m a r t i n e z 掣钏发现在少量的训练 样本情况下，主成份分析要优于线性鉴别分析；在文献【2 2 】的测试试验中，线性鉴别分析也 没有主成份分析稳定。主要原因可能是在小样本的情况下，计算得到的类内和类间离散度 不足以描述实际的人脸变化，也有可能是由于& 非满秩引起的【2 。 ( 二) 独立成份分析1 6 9 主成份分析和线性鉴别分析都是基于训练样本的二阶统计信息，而忽视了高阶统计信 息。实际上高阶统计信息有时对识别来说也是非常有用的。独立成份分析的思想就是通过 线性变换，利用训练样本找到一组相互独立的投影轴( 独立成份) ，并以此来描述样本数据。 主成份分析去除了样本二阶统计意义下的相关性，而独立成份分析去除掉样本所有阶数的 统计相关性，使样本的各阶统计信息都得到有效利用【埘。因此，主成份分析被认为是独立 成份分析的推广。 独立成份分析要基于所有阶的统计信息，所以在求解上就没有主成份分析和线性鉴别 分析那么容易。目前比较流行的求解方法有三种；( 1 ) 基于信息论的方法【2 4 1 ；( 2 ) 固定 点算法【凋；( 3 ) 联合近似对角化特征矩阵的方法嘲。其中固定点算法【2 司最为简单和快捷。 独立成份分析主要应用于盲信号分离2 3 1 。它在人脸识别上的应用f q b a r f l e t t 等【2 ”第一次提 出，人脸图像被看作多个相互独立的基图像的线性叠加。文科船】先用独立成份分析提取特 征，然后结合支持向量机来提高分类效果。文献1 2 9 对独立成份分析作了较详细的评价分析 3 并与特征脸法和f i s h e r 脸法进行了实验比较，结果显示独立成份分析略好于后两者。实验结 果还表明先用p c a 对原数据进行降维，可以提高独立成份分析的识别性能，但对降维的维数 很敏感。另外，文献【2 9 1 还指出结合贝叶斯分类框架，可以迸一步提高识别性能。但是在文 献【3 0 】中的比较结果是独立成份分析和主成份分析的识别率近似相同的；文献【3 1 指出在选 择各自最佳的距离度量后，独立成份分析明显不如主成份分析。在主成份分析中通常是根 据特征值的大小来自动选择主成份的，但是对于如何有效地、自动地选取对分类有用的独 立成份，目前还没有一个很好的标准，通常都是根据经验来选取的。可能这是导致上述不同 结论的原因之一。此外，独立成份分析的计算复杂度要明显高于主成份分析。 ( 三) 非负矩阵分解【6 9 】 神经科学和认知科学的相关研究结果表明，利用对象的局部稳定性有时对识别对象是 非常有利的【3 2 】。而通过主成份分析、线性鉴别分析得到的基图像是一种全局的描述。尽 管在自然场景的图像中，独立成份分析也类似于一个边缘滤波器，但是用基图像的线性组 合来描述原图像时，可能会存在复杂的减性关系，不符合由局部累加为一个整体的直观性。 当然主成份分析和线性鉴别分析也一样存在这样的弱点。非负矩阵分解的思想f 3 2 站1 就是 寻找一个线性子空间w ，使原样本x 在w 上的投影h 和x 2 _ 间的关系满足：x = y = w h ，且 w ，h 中的所有元素都是非负的。l e e 掣3 2 j 3 1 定义了目标函数并使其最小化，推导出了相应 的迭代过程来求得h 和w 。 s t a r t l i 等【，4 芦】为了得到更强的局部特性，在求解目标函数时，加入了一些约束条件， 比如使w 尽可能具有正交性等( 称之为l o c a ln m f l n m f ) ，并在人脸检测和人脸识别p m 中 进行了验证。 目前在人脸识别1 3 ”5 】中只有和主成份分析的比较分析，也没有用大量的实验来验证它 的鲁棒性。另外，对于子空间基的个数的选定等，也没有一个可参考的标准。关于非负矩阵 分解的研究文献还不多，所以还有待于进一步的研究。 1 3 本文研究工作概述 本文关注于人脸识别线性子空间方法中的主流方法，对有关理论与算法进行了较为深 入的研究，所做的主要工作概述如下： 一) 本文深入研究了入脸识别的高维小样本问题，在简要介绍了目前解决此闯题的 l d a 统一框架算法、m m c 算法和i f d a 算法后，针对i f d a 算法只有算法细节而无理论 基础的现状【5 9 1 ，本文利用压缩映射原理和同构映射原理解释了i f d a 算法的算法原理，建 立了i fa 的理论基础。在o r l 和y a l e 人脸库上进行的仿真试验，不仅综合比较了上述 三种线性鉴别分析处理人脸识别问题的识别性能，而且发现了这三种算法的一些特性。 ( 二) 本文研究了线性鉴别分析用于人脸识别时的计算复杂度问题，关注的焦点是基于 图象的线性鉴别分析中的2 d l d a 和2 d m m c 两种算法。针对2 d 线性鉴别分析压缩方向 不统一的现状【5 6 j 8 , 6 0 , 6 ”，本文给出了5 种具体的压缩方案，通过试验仿真详细比较了这5 种压缩方案的识别率、识别稳定性和计算量。在o r l 人脸库和y a l e 人脸库上的仿真试验 4 给出了有意义的比较结果，为深入认识2 d 线性鉴别分析提供了事实依据，也为实际应用 中使用2 d 线性鉴别分析提供了重要参考。 。 ( 三) 本文研究了人脸识别线性子空间中的独立成份分析方法( i c a ) ，对其理论本质进 行了深入探究并提出了一种新的i c a 人脸识别方法。 1 本文详细论述了i c a 用于人脸识别的两种架构，论述了它们的差别，通过仿真试 验比较了i c a 两种人脸识别架构算法和p c a 人脸识别算法的识别率和识别稳定性，揭示 出在小类别人脸识别问题上i c a 方法的独特性质。基于试验结果，本文深入探讨了i c a 人脸识别方法的理论本质，揭示出i c a 与p c a 的理论联系，并以新的方式证明了相关结 论。仿真试验详细地研究了i c a 人脸识别架构算法的识别率与白化过程的关系及图像特 征的距离度量问题。后讨论了目前流行的i c a 特征选择方法与i c a 人脸识别两种架构算 法的适应性，通过仿真试验验证了讨论所得出的结论。 2 本文针对目前i c a 人脸识别方法都属于无监督的学习方式，提出了一种加入了训 练样本类别信息的i c a 人脸识别方法，称为s i c a 人脸识别方法。在o r l 和y a l e 人脸库 上的试验证实了s i c a 人脸识别方法的有效性，并发现了s i c a 的优点和待改进的地方。 ( 四) 本文提出了一种称为监督化核主成份分析( s k p c a ，s u p e r v i s e dk e r n e lp r i n c i p a l c o m p o n e n t a n a l y s i s ) 的算法用于特征提取，它弥补了p c a 和k p c a 无法利用已知类别信 息的不足。s k p c a 的特点是：用标签向量表示类别信息，然后将非线性投影后的训练样 本与标签向量相连接构成新的训练样本，使k p c a 特征提取过程得到了类别信息的指导， 从而提取出分类能力很强的两种非线性特征，在识别阶段将两种特征进行融合。在o r l 和y a l e 人脸库上的试验结果证实了s k p c a 特征提取能力上明显优于p c a 和k p c a 。 1 4 本文的内容安排 本文内容分为四章展开。 第一章，绪论。介绍了人脸识别的基本内容和主要方法，回顾了人脸识别线性子空间 方法的发展现状及研究进展，陈述了本文的主要工作和研究成果。 第二章，人脸识别线性鉴别分析方法的高维小样本问题研究。研究了l d a 统框架 算法和m m c 算法解决高维小样本问题的机理，建立了i f d a 算法的理论基础。通过仿真 试验比较了上述三种方法的识别性能，揭示出算法的一些特性。 第三章，基于图像的线性鉴别分析及人脸识别。研究了2 d l d a 和2 d m m c 的压缩方 向问题，详细比较了五种压缩方案的识别性能，并针对特征图像识别提出了一种新的距离 度量。仿真试验详细考查了当2 d l d a 和2 d m m c 使用文中提出的压缩方案和距离度量时， 在人脸识别问题上的性能表现。主要关注的指标有：最高识别率、特征维数、识别率稳定 性和计算耗时。 第四章，独立成份分析在人脸识别中的应用。分析了i c a 人脸识别方法的两种架构， 以新的方式证明了i c a 人脸识别方法与p c a 的内在联系。在o r l 库和y a l e 人脸库上比 较了p c a 与i c a 方法，研究了i c a 人脸识别方法的特征选择和距离度量对于识别率的影 响。最后，本文通过引入训练样本的类别标签，将传统的i c a 人脸识别方法改进为具有 5 监督化性质，并在此基础上发现了一种新的i c a 特征，从而提出了一种称为监督化独立 成份分析( s i c a ) 的人脸识别方法。在o r l 人脸库和y 酊e 人脸库上的仿真试验验证了 s i c a 的有效性。 第五章，监督化核主成份分析( s r p c a ) 算法的提出。在k p c a 和p c a 的基础上，通过在 高维非线性空间引入训练样本的类别信息，提出了s k p c a 算法并用于人脸识别。本章详 细推导了s k p c a 的算法细节，并在o r l 和y a l e 人脸库上验证了s k p c a 解决人脸识别 问题的有效性。 6 第二章线性鉴别分析与人脸识别中的高维小样 本问题 2 1引言 线性鉴别分析的基本思想是由f i s h e r l 3 6 1 最早提出的，目的是基于f i s h e r 准则函数选择 最优解向量( 使准则函数值最大) 作为最佳投影方向，从而在该方向上投影后，同类样本 之间尽可能靠近，异类样本之间尽可能分离。在f i s h e r 思想的基础上，w i l k s d t i 和d u d a 3 8 】 分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间 内的投影矢量作为鉴别特征用于识别。该方法被称为经典的f i s h e r 线性鉴别分析方法除 了经典的f i s h e r 鉴别分析方法外，在1 9 7 5 ，f o l e y 和s a m m o n 3 9 】提出另一种基于f i s h e r 准 则的线性鉴别方法。该方法旨在找到一组满足正交条件的最佳鉴别矢量用于特征提取，称 为fs 方法。最近，z j i n 和j yy a ”蛐】等从统计不相关的角度，提出了具有统计不相 关性的最优鉴别矢量集的概念。与f o l e y s a m m o n l 3 9 1 鉴别矢量集不同的是，具有统计不相 关性的最优鉴别矢量集是满足共轭正交条件的， 然而，对于人脸模式，现有的线性鉴别分析方法在特征提取过程中遇到了一些特殊 的问题，这是由人脸模式本身的固有属性决定的。其中，最具挑战性的是高维小样本( s m a l l s a m p l es i z e ，s s s ) 问题。由于能够获得的人脸训练样本个数远远小于人脸模式的维数，使 得线性鉴别分析时的关键量类内散布矩阵出现奇异，导致线性鉴别分析无法进行，这 就是所谓的“小样本”问题。针对小样本问题对线性鉴别分析的改进比较引人注目的是 y a n g 4 ”提出l d a 统一框架算法，它首先通过p c a 对样本进行降维，使类内散布矩阵非 奇异，然后再进一步用线性鉴别分析提取特征；h a l f e n gl i 【4 2 l 提出的m m c 算法，通过重 新定义f i s h e r 准则巧妙地避开了类内散布矩阵奇异的问题：x i a o s h e n gz h u a n 9 1 4 3 l 提出的 i n v e r s ef i s h e r 算法，通过将f i s h e r 准则进行改进，避免了求类内散步矩阵的逆矩阵。本 章对l d a 统一框架算法、m m c 算法和i n v e r s ef i s h e r 算法进行了深入研究，揭示了前两 种算法的理论本质，给出了i n v e r s ef i s h e r 算法的理论基础，并在o r l 和y a l e 人脸库上对 这三种算法进行了验证和比较，得出了有益的结论 2 2 线性鉴别分析的基本概念 设q ，仍，吐为c 个人脸模式类，每个人脸样本用n 维实向量工表示，类间散布矩 阵昆、类内散布矩阵和总体散布矩阵s 分别定义为： 最= 窆p ( q ) ( e 【纠q 】一e 【x 】) ( e 【叫q 卜科肖】) 7 t = l & 2 喜尸( q ) e 卜一叫纠q 】) o e w q 】) 7 局) 7 ( 2 2 1 ) ( 2 2 2 ) s = s + & = e x - e 【x 】) g e 【x 】) 7 ( 2 2 3 ) 其中，尸 ) 为第i 类模式的先验概率，e 【影啦】为第i 类模式向量的期望， e 【z 】= 尸( 心) e 【q 】为整体模式向量的期望。实践中p ( 匆) 用第f 类的训练样数m 比 上训练样本总数盟n 来估计，e i x 码】用第f 类训练样本的均值碍；可1 丢n i 形来估 计，e 【z 】用全体训练样本均值2 专著_ 来估计，从而上述散布矩阵可表示为 s = 丢泰珥一) 阳一) 7 ，乱= 吉善专篙( 弓一) 一啊) 7 和墨= 专喜“一) r 一) 7 。 由定义可知，最，墨均为非负定矩阵。而且，当可逆时，与墨均正定4 1 1 f i s h e r 鉴别准则函数定义为： 以) 2 怒 冽) 其中，妒为任一拧维非零列矢量。 f i s h e r 鉴别准则函数非常巧妙地将样本在投影矢量上的类闻离散度和类内离散度结 合在一起，为我们确定最优投影方向提供了一个非常完美的准则。选取使得目标函数 以( 们达到最大值的矢量妒作为投影方向，其物理意义是投影后的样本具有最大的类闻离 散度和最小的类内离散度，从而有利于分类。 不难证明，当& 可逆时，弛h 盯准则与以下准则等价h 1 1 ： ，) 二竺挈 ( 2 2 5 ) 经典的f i s h e r 线性鉴别分析1 3 旨在通过最优化下列准则函数( 2 2 6 ) 式或( 2 2 7 ) 式 找到一个最优的投影矩阵矿 。 删) 2 号鞣 嘣) 以( ) = l r 【( 矽7 矽) 4 ( 矿7 最形) 】 ( 2 2 7 ) 事实上，t t a - 的f i s h e r 线性鉴别分析的最优投影轴，即的列向量仍，仍，朔一般 取为广义特征方程是妒= a 跏前j 个最大的特征值所对应的特狂向量【5 2 1 。即鲲，鲠，纯 满足以下条件 墨纺= 乃& 纺，= l ，d ，其中， 乃 ( 2 2 8 ) 由予墨妒= 旯瓯9 至多存在c 一1 个非零特征向量，故最优投影轴的个数d c 一1 【4 1 1 。 8 2 3 解决小样本问题的主流算法 上一节所讨论的f i s h e r 线性鉴别分析方法是建立在大样本情况下的，即要求类内散 布矩阵是非奇异的。然而，在人脸识别领域存在着大量典型的小样本问题，此情况下，类 内散布矩阵是奇异的。这是因为待识别的人脸图像的维数较高，而在实际问题中难以找到 或根本不可能找到足够多的训练样本来保证类内散布矩阵的可逆性。因此，在小样本情况 下，如何抽取f i s h e r 最优鉴别特征成为一个公认的难题【7 】。目前，处理该问题的方法应 用比较成功的有以下三种。 2 3 1 高维小样本下线性鉴别分析的统一框架 y a n g e 1 1 中建立了高维、小样本情况下线性鉴别分析的统一理论框架。该方法体现了 通过变换( 映射) 降维来消除奇异性的思想，但与f i s h e r f a c e s 方法有着根本的区别，那就 是在利用映射原理进行降维的过程中，不损失任何f i s h e r 最优鉴别信息。y a n g 4 7 】从理论 上证明了这一点。另外，在此理论框架下，求解最优鉴别矢量集的全过程只需要在一个低 维的变换空间内进行，大大节省了计算量。 y a n g 4 1 】提出的方法给出了高维小样本情况下线性鉴别分析的统一描述。即如下模型 模型2 3 1 一砌) = 舞 。 ( 纺，妒) = o ，= 1 ，d ( 2 3 1 ) 口q 其中，内积取为( 矿，矿) = 尹知，也可以根据要求换成其他相应形式，如统计不相关 y a n g 在【4 1 】中证明了高维小样本情况下进行线性鉴别分析的实质是p c a + l d a ，具体 地说就是： 首先，最优鉴别矢量可在墨的值域空间m ，内选取，就f i s h e r 准则而言，不损失任何 鉴别信息。也就是说，根据压缩映射原理，模型2 3 1 等价于 i m a x j ( 妒) 模型2 3 2 ( 妒，妒) = o ，j = 1 ，d ( 2 3 2 ) k q 这样寻找最优鉴别矢量所在的范围由原样本空间彤缩小为m 维特征空间，( 肌口雄) ，从 而大大减少了计算量。其中，历= r a n k ( s , ) 然后，利用同构映射原理证明求解模型2 3 2 的过程就是在p c a 的特征空间中进行线 性鉴别分析。在同构映射伊= p 叩下，模型2 3 2 等价于 9 模型2 。3 3 一确) = 稀 ( 玩，刁) = o ，= 1 ，d ( 2 3 3 ) 叩r “ 获得最优鉴别矢量后，可用如下变换进行特征提取 z = w 7 x ( 2 3 4 ) ( 2 3 4 ) 式中，w 7 = ( 仍，仍，纯) 7 = ( p 仍，p r l a ) 7 = ( 确，仍，) r p 7 这样，我们可以更加细致地考查l d a 统一框架算法的内在细节： y = p 7 x ，其中，爿届，压，几)( 2 3 5 ) ：= v 7 y ，其中，v = ( r h ，r h ，仉) ( 2 3 6 ) 其中，届，愿，反为s 非零特征值对应的标准正交特征向量。现考虑交换y = p r x ，既 然变换矩阵尸的列向量为s 的非零特征值所对应的特征向量，故该变换即为p c a 。在p c a 的特征空间中样本的相关散布矩阵分别为置= r 7 s 叩，= 瑁7 & 叩和墨= ，7 7 瓯啊。于是， 准则函数了( y ) 的物理意义即为p c a 压缩空间内的f i s h e r 鉴别准则函数。因此，模型2 3 3 确定的最优解墨，y 2 ，乃( d m ) 即为变换空间内基