（模式识别与智能系统专业论文）基于典型相关分析的人脸识别方法研究.pdf

硕士论文 基于典型相关分析的人脸识别方法研究 摘要 作为图像识别的重要应用，人脸识别是目前模式识别领域一个非常活跃的研究课 题。而特征抽取是模式识别研究的最基本问题之一，对于人脸识别而言，抽取有效的人 脸特征是完成人脸识别任务的一个关键问题。近年来，随着特征融合技术的发展，典型 相关分析方法，因其将两组特征向量融合成一组更具鉴别力的特征，得到了很好的发展。 本文对典型相关分析及其增强算法在人脸识别中的应用进行了研究，主要工作和贡献概 述如下： ( 1 ) 从有利于模式分类的角度，给出了一种结合广义典型相关分析( g c c a ) 和 判别型典型相关分析( d c c a ) 特点的典型相关判据准则广义判别型典型相关判据 准则，同时给出了广义判别型典型相关分析( g d c c a ) 的算法原理及其在人脸识别中 的应用。在a r 、o r l 和y a l e 三个人脸图像数据库上对相关的方法进行了大量实验， 结果证实了本文提出的g d c c a 方法的有效性。实验结果表明g c c a 方法的实验结果 最好，d c c a 和g d c c a 方法略逊于g c c a ，前三者均好于c c a 。 ( 2 ) 在分析研究了传统的二维典型相关分析( 2 d c c a ) 的基础上，从不损失有 用信息的角度，给出了一种改进的二维典型相关分析。改进的方法是用一个模式类中的 每个训练样本与该模式类中的所有训练样本的均值作为二维典型相关分析方法的两组 特征矩阵，再使用2 d c c a 提取相关投影矢量。该方法在a r 、o r l 人脸库上都得到了 较高的识别率，与传统的二维典型相关分析相比，有较大提高。 ( 3 ) 通过对基于向量的判别型典型相关分析( d c c a ) 方法进行分析改进，给出 了一种新的直接基于特征矩阵的二维判别型典型相关分析( 2 d d c c a ) 方法，基于同 样的思想，分析改进了基于向量的广义判别型典型相关分析( g d c c a ) ，提出了直接基 于特征矩阵的二维广义判别型典型相关分析( 2 d g d c c a ) 方法。较基于向量的相应方 法，基于矩阵的方法有效地避免了人脸识别中存在的高维小样本问题的同时使特征抽取 的速度得到了明显提高。在不同的人脸数据库上对相关的方法进行了实验与对比分析。 关键词：人脸识别，特征融合，典型相关分析，判别型典型相关分析， 广义典型相关分析 a b s t r a c t 硕十论文 a b s t r a c t a sa ni m p o r t a n ta p p l i c a t i o no fi m a g er e c o g n i t i o n , f a c er e c o g n i t i o nh a sb e e nah o tt o p i c i np a t t e mr e c o g n i t i o nf i e l d f e a t u r ee x t r a c t i o ni so n eo ft h em o s tb a s i cq u e s t i o n si np a t t e m r e c o g n i t i o nr e s e a r c h ，f o rf a c er e c o g n i t i o nt a s k s ，e x t r a c t i n gt h ee f f e c t i v ef a c i a lf e a t u r e si sa c r u c i a ls t e p r e c e n t l y ，w i t ht h ed e v e l o p m e n to ff e a t u r ef u s i o nt e c h n o l o g y ，t h em e t h o d c a n o n i c a lc o r r e l a t i o na n a l y s i s w h i c hw i l li n t e g r a t et h et w of e a t u r ev e c t o r si n t oa e i g e n v e c t o r 嘶t hm o r ei d e n t i l y i n gi n f o r m a t i o n ，i sd e v e l o p i n gr a p i d l y t h i sp a p e rd i s c u s s e s c a n o n i c a lc o r r e l a t i o na n a l y s i sa n di t se n h a n c e m e n ta l g o r i t h m si nt h ea p p l i c a t i o nt of a c e r e c o g n i t i o n a n dt h em a i nr e s e a r c hw o r ka n dc o n t r i b u t i o n so fi ta r ea sf o l l o w i n g ： 1 f r o mt h ef a v o r i n gp a t t e mc l a s s i f i c a t i o np o i n to fv i e w , t h i sp a p e rp r o p o s e da n i m p r o v e d c o r r e l a t i o nc r i t e r i o nf u n c t i o nn a m e dg e n e r a l i z e dd i s c r i m i n a n tc a n o n i c a l c o r r e l a t i o nc r i t e r i o n w h i c hh a st h ec h a r a c t e r i s t i c sb o t hf r o mg e n e r a l i z e dc a n o n i c a l c o r r e l a t i o na n a l y s i s ( g c c a ) a n dd i s c r i m i n a n tc a n o n i c a lc o r r e l a t i o na n a l y s i s ( d c c a ) m e a n w i l e ，t h i sp a p e rp r o v i d e dt h et h e o r ya n da l g o r i t h m so fg e n e r a l i z e dc a n o n i c a l c o r r e l a t i o na n a l y s i s ( g c c a ) a n di t sa p p l i c a t i o nt of a c er e c o g n i t i o ni nd e t a i l e x p e r i m e n t a l r e s u l t so nt h ea r o r la n dy a l ef a c ed a t a b a s ev a l i d a t et h ep r o p o s e da l g o r i t h m s t h e e x p e r i m e n t a lr e s u l t sa l s os h o wt h a tt h em e t h o dg c c ai sb e t t e rt h a nt h eo t h e r t h r e em e t h o d c c a d c c aa n dg d c c a ，b e i n gt h eb e s tm e t h o do ft h ef o u rm e t h o d s 2 b a s e do nh a v i n ga n a l y s e dt h et h e o r ya n da l g o r i t h m so ft h et w o d i m e n s i o n a l t r a d i t i o n a lc a n o n i c a lc o r r e l a t i o na n a l y s i s ( 2 d c c a ) ，f r o mt h er e t a i n i n gu s e f u li n f o r m a t i o n p o i n to fv i e w , t h i sp a p e rp r o p o s e da ni m p r o v e dt w o d i m e n s i o n a lc a n o n i c a lc o r r e l a t i o n a n a l y s i sm e t h o d t h ei m p o v e dm e t h o du s e se v e r yt r a i ns a m p l ei no n ec l a s sa n dt h em e a no f t h ec l a s sa st w of e a t u r em a t r i x so ft w o d i m e n s i o n a lc a n o n i c a lc o r r e l a t i o na n a l y s i s ，a n dt h e n e x t r a c t sc a n o n i c a lp r o j e c t i o nv e c t o r s e x p e r i m e n t a lr e s u l t so nt h ea ra n do r lf a c ed a t a b a s e v a l i d a t et h ep r o p o s e da l g o r i t h m s e x p e r i m e n t a lr e s u l t ss h o wt h a tr e c o g n i t i o nr a t eo ft h e i m p r o v e dm e t h o di m p r o v eg r e a t l yc o m p a r e dw i t ht h et r a d i t i o n a lo n e 3 t h r o u g ha n a l y z i n g a n d i m p r o v i n g d i s c r i m i n a n tc a n o n i c a lc o n e l a t i o n a n a l y s i s ( d c c a ) b a s e do nv e c t o r , t h i sp a p e rp r o p o s e dan e w m e t h o dd i r e c t l yb a s e do ni m a g e m a t r i x c a l l e dt w o d i m e n s i o n a ld i s c r i m i n a n tc a n o n i c a lc o r r e l a t i o na n a l y s i s ( 2 d d c c a ) b a s e do nt h es a m ei d e a , a c c o r d i n gt og e n e r a l i z e dd i s c r i m i n a n tc a n o n i c a lc o r r e l a t i o n a n a l y s i s ( g d c c a ) an o v e lm e t h o do fo m b i n e df e a t u r ee x t r a c t i o nc a l l e dt w od i m e n s i o n a l g e n e r a l i z e dd i s c r i m i n a n tc a n o n i c a lc o r r e l a t i o na n a l y s i s ( 2 d g d c c a ) i sp r o p o s e di nt h i s p a d e lc o m p a r e dw i t ht h o s em e t h o d sb a s e do nv e c t o r s ，t h em e t h o d sb a s e do nm a t r i xa v o i dt h e s m a l ls a m p l es i z ep r o b l e m ( s s s ) b e s i d e s m u c hc o m p u t a t i o n a lt i m ew o u l db es a v e d f i n a l l y , e x t e n s i v ee x p e r i m e n t sp e r f o r m e do no r la n da rf a c ed a t a b a s ev e r i f yt h ee f f e c t i v e n e s so ft h e p r o p o s e dm e t h o d k e yw o r d ：f a c er e c o g n i t i o n , f e a t u r ef u s i o n , c a n o n i c a lc o r r e l a t i o na n a l y s i s ， c a n o n i c a lc o r r e l a t i o na n a l y s i s ，c a n o n i c a lc o r r e l a t i o na n a l y s i s i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文基于典型相关分析的人脸识别方法研究 1 绪论 1 1 引言 随着计算机的出现及其相关技术的发展，诞生于上世纪2 0 年代的模式识别在2 0 世纪6 0 年代初迅速发展并成为一门新学科u j 。在模式识别领域中，图像识别作为其中 一个重要范畴，占有举足轻重的地位，近年来得到了迅猛发展，这首先要归功于模式识 别学科的蓬勃发展，同时也是受了实际应用需求的驱动。 图像识别的重要应用领域有：手写数字识别、车牌图像识别、指纹图像识别、虹膜 识别、人脸识别。作为图像识别重要应用领域之一的人脸识别，因其使用的生物特征一 一人脸，较其他人体生物特征( 指纹、虹膜等) 更直接、友好和方便，不会造成任何心 理障碍，容易被用户接受，可广泛应用于医学、档案管理、身份验证、罪犯追踪、视频 会议、通道控制及a t m 机等多种场合，具有极大的市场前景【2 】。同时作为一种典型的 对三维自然物体的识别，人脸识别研究还具有重要的理论价值，它的研究思想和实现方 法可以为其他三维自然物体的识别提供重要的理论参考和借鉴。因此，近年来人脸识别 已成为模式识别领域中一个非常活跃的研究方向【2 ，3 j 。 1 2 人脸识别研究概述 1 2 1 人脸识别研究的历史及现状 人脸识别己有很长的历史，最早可追溯到1 9 世纪法国人g a l t o n 【4 】的工作。它的发 展大致经历了三个阶段： 第一阶段主要研究人脸识别研究中所需要的人脸特征，代表人物有b e r t i l l o n1 5 j 和 p a r k e 【6 】。b e r t i l l o n 的思想是用一组符号将带匹配人脸与数据库中某张人脸相关联；而 p a r k e 则采用人脸灰度图模型，这些模型大都是由计算机产生的高质量模型。 第二阶段是人机交互识别阶段。h a r m o n 【7 j ，g o l d s t e i n 和l e s k 【8 1 采用几何特征表示 人脸；k a y a 和k o b a y a s h i 【9 】贝0 采用代数特征来表征人脸；t k a n a d e1 1 0 】设计了一个高速且 有一定知识引导的半自动回溯识别系统。 第三阶段是自动识别阶段。在这个阶段，人们提出的人脸识别方法在一定程度上提 高了人脸识别的速度与识别率，带动了人脸识别技术的兴起。 关于人脸识别的研究，相对于国外，国内起步较晚，但是发展很迅速。自上个世纪 九十年代中期开始，国内陆续展开了人脸识别技术的研究工作，且都取得了一定成果。 总体而言，人脸识别技术在最近几年得到了前所未有的发展，特别是国内的人脸识 别技术，发展迅猛，取得了较多成果，但仍然存在许多尚未解决的问题，如实际应用中 l 绪论硕= i ：论文 识别精度不够，实效性不强等等。 1 2 2 人脸识别研究的主要内容 人脸识别流程如图1 1 所示。人脸识别研究的内容主要由图中所示的三个部分脚组 成，具体讲：从具有复杂背景的待识别场景中进行人脸检测以检测出人脸，分割人脸； 抽取人脸鉴别特征；然后进行匹配和识别。 数据库中 待 人脸图像 人脸 图1 1 人脸识别流程不意图 1 、人脸检测、定位、分割 即从动态或静态的具有复杂背景的场景中检测出存在的人脸并且确定其位置，然后 从背景中分割出来。就人脸检测，研究者们从各种不同的途径提出了多种方法，主要可 分为：基于模板匹配的方法，基于知识的人脸验证方法，以及目前比较流行的基于统计 的学习方法和基于神经网络的方法。 2 、人脸特征抽取 即寻找具有鉴别能力的人脸表示方法。通常的表示方法包括几何特征、代数特征、 固定特征模板等。这一步非常关键，因为抽取特征中是否包含有效的鉴别信息，会对最 终的识别效果产生直接影响。 3 、人脸特征的匹配与识别 即将待识别人脸的特征与数据库中已知人脸的特征进行比较，得出人脸之间的相似 性结论，最终完成识别任务。 1 2 3 人脸识别研究中特征抽取及分类方法 上面我们在介绍人脸识别流程中，将人脸识别研究的主要内容分成了三个部分，然 而在实际应用中，我们通常认为的人脸识别系统包括两大模块：人脸的检测和定位、人 脸特征的抽取和识别。后者就是通常所说的人脸识别，本文将主要讨论这一过程，其核 心是选择适当的人脸表征方式和分类决策。关于常用的人脸特征抽取和识别的方法概述 如下。 2 硕士论文 基于典型相关分析的人脸识别方法研究 1 2 3 1 人脸特征抽取方法 ( 1 ) 基于几何特征的方法 基于几何特征的方法是最早的人脸识别方法【i ，它主要是通过抽取五官的形状特 征及其在脸上分布的几何特征，再加上人脸轮廓的形状信息，来对人脸进行分类和识别。 这种方法比较简单、容易理解，但没有形成统一的特征抽取标准，从而导致从图像中抽 取稳定的特征较困难。 ( 2 ) 基于代数特征的方法 将一幅人脸图像看成一个矩阵，通过作线性投影或矩阵变换，可以抽取人脸的代数 特征。k i r b y 和s i r o v i c h l l 2 】首先讨论了利用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ， p c a ) 进行人脸图像最优表示的问题，接着，t u r k 和p e n t l a n d 1 3 j 探讨了其物理意义，并 成功提出经典的特征脸( e i g e n f a c e s ) 方法，随后出现了许多种基于p c a 的新方法和改 进算法【1 4 - 17 1 。 p c a 以所有样本的最优重建为目的，但并没有利用到样本之间的类别信息，因此 就分类角度而言，用p c a 抽取的特征并不一定对分类有益。w i l k s t l8 1 、d u d a 与h a r t 1 9 1 在f i s h e r t 2 0 1 思想的基础上，分别提出了鉴别向量集的概念，即寻找一组鉴别向量构成子 空间，以原始样本在该子空间内的投影向量作为鉴别特征用于识别，此即经典的f i s h e r 线性判别分析( f i s h e r l d a ，f l d a ) 方法。 然而，在人脸等图像识别问题中处理的样本通常是高维的有限样本，样本维数较高 而样本数较少的问题通常称为小样本问题( s m a l ls a m p l es i z ep r o b l e m ) 。由于在实际问 题中难以找到或根本不可能找到足够多的训练样本来保证类内散布矩阵& 的可逆性， 因此求解f l d a 的广义特征方程存在病态奇异问题。近年来，不少解决此类问题的方法 相继提出。较早的解决方法是加扰动【2 1 1 或采用伪逆【2 2 1 的方法，扰动法通过给奇异的类 内散布矩阵加上一个小的扰动使其可逆，而伪逆法则是把类内散布矩阵的逆用其伪逆代 替。这两种方法只是近似算法，对于高维的图像样本，运算量较大，难以实用。s w e t s l 2 3 j 和b e i l i u m e u r t 2 4 1 等先用p c a 对原始数据降维，保证鼠，非奇异，在此基础上作线性判别 分析，进而得到经典的f i s h e r f a c e s 方法，但此类方法以损失鉴别信息为代价，无法保证 所抽取特征是最优的。此外，直接基于图像矩阵的方法也是解决小样本问题的一个有效 途径，其基本思想是利用图像矩阵直接构造图像散布矩阵，并在此基础上进行线性判别 分析。这一代数特征抽取的新思路，最早由l i u 等【2 5 1 提出。后来，y a n g 等【2 6 】从统计不 相关的角度重新审视并改进了l i u 的方法，得到一种具有统计不相关性的图像投影判别 分析方法，与基于图像向量的方法相比，该方法在不降低识别效率的前提下，特征抽取 的速度获得了极大的提高。近年来，基于图像的投影判别分析方法受到了众多研究者的 重视，一系列相关的理论和方法1 2 7 】相继提出，也为特征抽取方法提供了一种新的思路。 最近，s u n 等【2 8 ，2 9 1 提出了一种基于典型相关分析( c c a ) 的特征融合方法，该方法 3 l 绪论硕上论文 首先抽取同一模式的两组特征向量，然后通过表示特征向量间相关性的判别准则函数， 抽取这两组特征向量新的典型相关特征，用于分类识别。此外，c c a 在应用中也会面 临小样本问题造成的样本协方差矩阵奇异的情况，当然可采用广义逆【3 0 j 的方法，但近似 解在实际应用中未必能取得好的效果。s u n 等【2 9 】证明利用p c a 对原始数据降维，在理 论上，c c a 不会丢失任何鉴别信息。可见，c c a 用于特征抽取比f l d a 更具一般性和 发展潜力。另外，直接基于图像矩阵的二维典型相关分析( 2 d c c a ) 方法j 也为小样 本情况下基于c c a 的特征抽取提供了新的思路。 ( 3 ) 基于弹性模型的方法 这是一种基于小波局部统计特征的方法。其中具有代表性的方法是由l a d e s 等提出 的动态链接结构( d l a ，d y n a m i cl i n ka r c h i t e c t u r e ) 3 2 】。它用网格状的稀疏图形来表 示人脸，通过局部能量谱的多分辨率描述端点，并用几何距离向量标注连线。目标识别 就是测试样本与训练样本弹性匹配的过程，即通过匹配代价函数的随机优化来完成。虽 然d l a 方法具有较好的识别效果，但是计算复杂、耗时长、难达到实时处理程度上阻 碍了它进一步的发展。 ( 4 ) 基于神经网络的方法 人工神经网络( a r t i f i c i a l n e u r a l n e t w o r k ，a n n ) 是由大量简单的处理单元相互连 接而构成的网络系统，它有自学习、自组织、联想及容错能力，而且在学习过程中有自 动抽取特征的能力。最早应用神经网络进行人脸识别工作的是k o h o n e n t 3 3 j ，利用网络的 联想能力回忆人脸，当输入图像噪音很多或部分图像丢失时，也能回忆出准确的人脸。 最近，r a n g a n a t h 和a m n 【3 4 】提出了用于人脸识别的径向基函数网络( r b f n ) ，l e e 等【3 5 】 提出了用于人脸识别的模糊b p 网络。 综上，基于代数特征方法依然是人脸识别的最具影响力的主流方法之一，其中基于 p c a 的特征脸和基于f i s h e r l d a 的f i s h e r f a c e s t 2 4 j 是人脸识别领域中最具深远影响的两 种方法。同时，由于基于特征融合的方法能优化组合从同一模式中抽取的不同特征向量， 对抽取更加有效的鉴别特征具有重要的意义，值得进一步深入研究。 1 2 3 2 分类识别方法 识别阶段针对所抽取到的特征设计适合的分类方法，将样本特征空间分为各个区 域，然后根据待识别样本特征所在的区域将其归入对应类别中。一般来讲，假设人脸图 像空间处于欧式空间，最简单的衡量两个矢量相似度的标准就是两个矢量的距离。在众 多距离测度中，欧几里德距离( 以下简称欧式距离) 较为直观地反映了两个矢量之间的 相似度。在欧式空间中，假设属于同一类别的样本在子空间中的投影系数矢量聚集在一 起，而不同类别的样本的投影系数矢量则相距较远。这样就可以根据最近邻分类决策( 决 策未知样本与离它最近的样本同类) 或者最小距离分类决策( 决策未知样本与离它最近 的类别中心点同类) 来判别未知测试样本的类别。当然也可以采用较为复杂的决策理论 4 硕上论文基于典型相关分析的人脸识别方法研究 来决定未知测试样本的类别，如贝叶斯决策等。 1 3 本文的主要工作及结构安排 1 3 1 课题来源 ( 1 ) 国家自然科学基金( 6 0 7 7 3 1 7 2 ) ：相关投影分析在特征提取中的理论和算法研 究，时间：2 0 0 8 1 2 0 1 0 1 2 。 ( 2 ) 江苏省自然科学基金( b k 2 0 0 8 4 1 1 ) ：偏最小二乘建模方法及应用研究，时间： 2 0 0 8 1 0 2 0 11 9 。 1 3 2 本文的主要工作 本文就典型相关分析及其增强算法进行了研究，并在多个人脸库上做了大量实验， 主要工作和成果如下： ( 1 ) 研究了典型相关分析( c c a ) ，广义典型相关分析( g c c a ) 和判别型典型相 关分析( d c c a ) 三种方法的算法原理及其在人脸识别中的应用，并在此基础上，从有 利于模式分类的角度，提出了一种结合g c c a 和d c c a 特点的典型相关判据准则 广义判别型典型相关判据准则，同时给出了广义判别型典型相关分析( g d c c a ) 的算 法原理及其在人脸识别中的应用。最后在a r 、o r l 和y a l e 三个人脸图像数据库上对 相关的方法进行了大量实验，实验结果证实了本文提出的g d c c a 方法的有效性。实验 结果还表明并不是所有方法都是适应所有的库。总的来说，g c c a 方法的实验结果最好， d c c a 和g d c c a 方法略逊于g c c a ，前三者均好于c c a 。 ( 2 ) 从不损失有用信息的角度，在分析研究了传统的二维典型相关分析( 2 d c c a ) 的基础上，提出一种改进的二维典型相关分析。改进的方法用一个模式类中的每个训练 样本与该模式类中的所有训练样本的均值作为二维典型相关分析方法的两组特征矩阵， 再使用二维典型相关准则函数提取相关投影矢量。该方法在a r 、o r l 人脸库上都得到 了较高的识别率，与传统2 d c c a 相比，有较大提高。 ( 3 ) 分析研究了二维广义典型相关分析( 2 d g c c a ) ，并用二维投影的理论框架 解决了判别型典型相关分析( d c c a ) 和广义判别型典型相关分析( g d c c a ) 应用于 人脸识别时的小样本问题，提出了二维判别型典型相关分析( 2 d d c c a ) 和二维广义 判别型典型相关分析( 2 d g d c c a ) ，同时给出了2 d d c c a 和2 d g d c c a 方法的算法 原理及应用于人脸识别时的算法步骤。在多个人脸图像数据库上进行实验验证，结果表 明：基于2 d g c c a 、2 d d c c a 和2 d g d c c a 三种方法在三个人脸库上的识别效果比 较接近，其中2 d g d c c a 方法稍有突出，前面三种方法均好于2 d c c a 。 5 1 绪论硕士论文 1 3 3 本文的结构安排 本文主要研究基于典型相关分析的人脸识别方法，相关章节安排如下： 第一章，首先引出本文的研究背景；接着介绍了人脸识别研究的概况，其中包括人 脸识别研究的历史及现状，人脸识别研究的主要内容以及人脸识别研究中特征提取的方 法综述；最后介绍了本文的主要工作及结构安排。 第二章，首先概述了典型相关分析( c c a ) 的研究历史及现状；随后详细介绍了 c c a 的算法理论；接着综述了c c a 用于人脸识别时出现的小样本问题的解决方法；最 后介绍了用c c a 提取组合特征时使用的特征融合策略和分类器。 第三章，首先介绍了将c c a 用于人脸识别的算法步骤；随后重点介绍了广义典型 相关分析( g c c a ) 和判别型典型相关分析( d c c a ) 的基本思想及其用于人脸识别的 算法步骤；接着提出一种融合了g c c a 和d c c a 思想的典型相关分析广义判别型 典型相关分析( g d c c a ) ，并详细给出了g d c c a 算法理论；最后对c c a 、g c c a 、 d c c a 和g d c c a 四种方法在多个人脸数据库上做了大量实验，并进行了比较分析。 第四章，首先详细介绍了二维典型相关分析( 2 d c c a ) 的基本思想及其算法求解， 并在此基础上，提出了一种改进的二维典型相关分析，并详细给出了改进的2 d c c a 的 算法理论；随后介绍了二维广义典型相关分析( 2 d g c c a ) 的基本思想及其用于人脸 识别的算法步骤；接着提出二维判别型典型相关分析( 2 d d c c a ) 和二维广义判别型 典型相关分析( 2 d g d c c a ) ，详细给出了2 d d c c a 和2 d g d c c a 的算法理论和方法； 最后对2 d c c a 、改进的2 d c c a 、2 d g c c a 、2 d d c c a 和2 d g d c c a 五种方法在 多个人脸数据库上做了大量实验，并进行了比较分析，同时还与第三章中基于一维的方 法进行比较分析。 第五章，对本文工作进行了总结，并对进一步的研究方向进行了讨论。 6 硕十论文皋于典型相关分析的人脸识别方法研究 2 典型相关分析用于人脸识别的算法原理 2 1 引言 自从主分量分析( p c a ) 和f i s h e r 线性鉴别分析( f l d a ) 在模式识别领域成功应 用以来，人们就p c a 和l d a 这两种技术展开了广泛和深入的研究，取得了很多理论成 果，这两种技术也得到了很大发展，同时也推动了模式识别学科的发展。近年来，人们 逐渐把注意力转向与p c a 、l d a 一样在多元统计分析中占有非常重要地位的典型相关 分析，并将其应用于图像识别领域，取得了一定的研究成果。 本章首先回顾典型相关分析( c c a ) 的研究历史和现状，在此基础上，对c c a 进 行深入分析，并综述c c a 用于人脸识别时出现的小样本问题的解决方法以及用c c a 提 取组合特征时使用的特征融合策略和分类器，为本文后续章节打下理论基础。 本章安排如下：第2 部分回顾典型相关分析( c c a ) 的研究历史和现状；第3 部 分详细介绍c c a 理论算法；第4 部分综述c c a 用于人脸识别时出现的小样本问题的解 决方法；第5 部分介绍用c c a 提取组合特征时使用的特征融合策略和分类器；最后对 本章内容进行小结。 2 2 典型相关分析概述 有关典型相关分析的研究应追溯到h o t e l l i n g 3 6 1 在1 9 3 6 年发表的论文，论文指出可 以用少数几对变量之间的相关性来研究两组随机变量之间的相关性。 典型相关分析( c a n o n i c a lc o m p o n e n ta n a l y s i s ：c c a ) 是一种处理两组随机变量之 间相互关系的统计方法。它的意义在于：对给定的两个( 或多个) 数据集寻找一组合适 的线性变换，从提取的数据中发现、度量和评价它们彼此之间存在的线性相关关系。 典型相关分析的应用非常广泛，从智能工程、电子通信、医学、遥感、航天，到生 物信息学、社会统计学等众多学科或领域。 用大致可分为数据分析、回归建模和预测、 2 3 典型相关分析的算法理论 从c c a 的数据处理功能来看，上述工程应 单模态识别与信息融合等【3 7 1 。 2 3 1 基本思想 c c a 的目的是寻找两组投影方向，使两个随机向量投影后的相关性达到最大。具 体讲，设有两组零均值随机变量x = ( q ，c 2 ，c p ) r 和y = ( 4 ，以，吐) 7 ，c c a 首先要找到 一对投影方向伐。和p ，使得投影= 0 【。7 x 和h = p 。7 y 之间具有最大的相关性，u ，和h 为 第一对典型变量；同理，寻找第二对投影方向0 【：和p ：，得到第二对典型变量甜：和屹， 7 2 典型相关分析用于人脸识别的算法原理 硕十论文 使其与第一对典型变量、v 不相关，_ e u ：与v 2 之间又具有最大相关性。这样下去，直 到x 与y 的典型变量提取完毕为止。从而x 与y 之间的相关性分析，只需通过分析少 数几对典型变量的关系即可达到目的。 投影方向0 【，p 通常可以通过最大化如下相关系数获得3 3 1 忙笪：! 垫：垡丝堕一 俪“2 彬】e 陋7 1 跏r 剐 ( 2 3 1 ) o r , ls 0 毡| s 毋1 3 ls 烀 其中研】表示数学期望，与s w 分别为x ，y 的协方差矩阵，表示他们之间的互 协方差矩阵。 2 3 2 算法求解 考虑到，的极值只与0 t , 和1 3 的方向有关，而与它们的大小无关，为了得到唯一解， 不失一般性，加入限制条件： a r 跏= 1 3 t s w p = 1 ( 2 3 2 ) 问题变为在约束条件式( 2 3 2 ) 下，求使准则函数式( 2 3 1 ) 取最大值的典型投影 矢量对仅和p 。 求解上述优化问题，可定义拉格朗日函数： l = 仪7 曲p 一鲁 r 一1 ) - 等( p7 p - 1 ) ( 2 3 3 ) 分别对0 i , 和p 求导数，并令为零，得到： i 最，1 3 = & 仅 ( 2 3 4 a ) 1 s= s (234b)vx仅l2 1 3 再对式( 2 3 4 a ) 和式( 2 - 3 4 b ) 的两边分别左乘0 7 和1 3 r ，得= k ，所以记 = k = 九，则式( 2 3 4 ) 可记为 f ，p = 九s 。伍 ( 2 3 5 a ) l 跏= 九p ( 2 3 5 b ) 这里假设可逆且九0 ，由式( 2 3 5 a ) 得0 【= p ，代入式( 2 3 5 b ) 整理 得 乏善高冀苫 旺3 射 i 一p = 九2 p 由此，式( 2 3 1 ) 即转化为求解两个大小为p x p 和q x q 的矩阵特征值一特征向量问 题。设求得的特征值九按非递增顺序排列为k k k + 。x r 0 ，我们取 硕士论文基于典型相关分析的人脸识别方法研究 d ( _ r = r a n k ( s ，y ) ) 对对应于非零特征值的特征向量作为典型投影方向缸，p ，) 乌，这样， 则可利用任一对典型投影方向缸，p ，) 提取特征鸦= o l ，t x 和v j = f s , r y ，u i 与u 为典型变 量。 2 4 典型相关分析在人脸识别应用中小样本问题的讨论 由于典型相关分析只适用于协方差矩阵非奇异的情形，而实际中确实存在着大量小 样本问题( 训练样本的维数远远大于训练样本的个数) ，人脸识别正是这样一个特殊问 题，使得典型相关分析的适用性受到了一定的挑战。近年来，人们纷纷将解决线性判别 分析应用中出现的小样本问题的思想及手段应用到典型相关分析的应用中，大致可分为 以下三类3 9 4 3 】： ( 1 ) 基于算法的方法。即从算法本身入手，通过发展直接针对于小样本问题的算 法来解决问题。扰动法最早是由z q h o n 等 4 4 1 提出来解决l d a 小样本问题的，f r i e d m a i l 【4 5 】 最先将此方法用于解决c c a t j 、样本问题，其基本思想是：通过对奇异的散布矩阵进行一 个小的扰动，以扰动后非奇异的的矩阵代替原来的散布矩阵进行鉴别矢量的求解，从而 将问题转化为可逆的情形加以解决。j 而z h a n g 4 6 】则通过广义逆来解决奇异时的典型相关 特征的求解问题。明显地，两种方法均非理论意义上的精确解，而且存在着计算量大的 缺陷，在实际应用中有时也未必能取得好的效果。 ( 2 ) 基于变换的方法。即在使用典型相关分析之前，通过事先给定的线性变换来 降低图像矢量的维数，从而消除散布矩阵的奇异性。s u n 2 8 】提出了p c a + c c a 的方法，先 利用k l 变换( 以s 。，和s 。为产生矩阵) 分别将高维的原始样本压缩为r a n k ( s , 。) 与 r a n k ( s 仉，) 维；然后在变换后的特征空间内，提取组合特征。这种方法不损失任何信息， 是一种解决小样本问题的很有效的方法。 ( 3 ) 直接基于图像矩阵的方法。它的基本思想是利用图像矩阵直接构造图像散布 矩阵，并在此基础上进行典型相关分析。与基于图像向量的c c a 方法相比，该方法在不 降低识别效率的前提下，特征提取的速度获得了提高。 2 5 典型相关分析中特征融合策略及分类器设计 传统的特征级融合方法主要有串行特征融合、并行特征融合【4 7 4 9 1 两种。串行特征融 合是将两组特征首尾相连生成一个新的特征矢量【4 7 4 引，并行特征融合是利用复向量将 同一样本的两组特征矢量合并在一起，在复向量空间中进行特征提取，在更高维的特征 空间中进行特征提取1 4 9 。 最近，典型相关分析被用于特征融合，并逐渐形成了将c c a 用于模式识别提取组 合特征的理论框架，该框架为：首先，在同一模式的两组特征之间建立相关性判据准则 函数，然后依据该准则求解两组相关投影矢量集，进而提取各自数据上的相关性特征， 9 2 典型相关分析用于人脸识别的算法原理硕上论文 最后通过不i 司的特征融合策略获得组合的相关特征，并用于分类。 2 5 1 特征融合策略 设彳与】，为两组特征集，x xcr p ，y ycr q 分别为其中的两个特征矢量。按 c c a 思想，提取x 与y 之间d 对典型相关特征，分别记为a - x 与p - y ，0 【；x 与p ；y ， 分别将0 i ，x ，仅；x ，仅二x 与p - j ，醪y ，p ；y 看为变换后的特征分量，通过如 下两式，得到变换后的两组特征矢量： z ，= - x ，仪；x ，0 【；x ) r = 缸l ，仅2 ，仅d ) 7 x = 彬r x ( 2 5 1 ) v = ( p - x ，p ；x ，p ；x ) 7 = ( p l ，p ：，p d ) 7 y = 睨r y ( 2 5 2 ) 其中职= ，o 。) ，吼= ( p ，d 。) 。 c c a 用于特征融合中常用的特征融合策略有如下三种： z j = ： = 荔：； = ：0 7 1 ； ( 2 5 3 ， 互= 甜+ v = 呢7 x + r y = 荔i ； ( 2 5 4 ， m = 甜v 】_ 吸7 x 髟7 y ( 2 5 5 5 我们将上述三式分别称为特征融合策略1 ( f e a t u r ef u s i o ns t r a t e g y l ，简记为f f s l ) 、 特征融合策略2 ( 简记为f f s 2 ) 和特征融合策略3 ( 简记为f f s 3 ) 。 2 5 2 分类器 2 5 2 1 基于矢量的分类器 设有c 个已知的模式类，分别为0 3 1 ，0 3 ：，q ，每个模式类有n j 个样本， ，z = 伟+ + + 他为总的训练样本数。基于f f s l 或f f s 2 ，每一个模式样本分别都对应 着一个2 d 维或d 维的相关特征矢量。基于两个相关特征矩矢量磊与乙之间的度量定义 为： d ( z f ，乙) = i i z ：f 一圳： ( 2 5 6 ) 这罩0 0 ：表示向量的欧式距离。 ( 1 ) 基于矢量的最小距离分类器 假设第i 类训练样本的相