（检测技术与自动化装置专业论文）基于子空间的人脸识别算法研究.pdf

摘要 摘要 人脸识别是模式识别和图像处理领域的研究热点，当前的主流方法是基于子空间的 人脸识别算法。最大化类间距最小化类内距的f i s h e r 准则是模式识别中的重要准则，基 于该准则的多分类识别通常需要求解类内散布矩阵的逆矩阵，但在人脸识别中普遍存在 着图像维数高于图像样本数目，此时的类内散布矩阵是奇异矩阵，从而使得在人脸识别 中不能直接求解类内散布矩阵的逆矩阵，就是所谓的小样本问题。本文的主要工作就是 围绕该问题展开的，学习了经典的子空间人脸识别方法，在遵循f i s h e r 准则前提下，给 出了两种可以绕开类内散布矩阵求逆的改进算法，并进一步给出了线性和非线性人脸空 间划分的方法，可以很好的克服小样本问题，具体的研究成果如下： 第一，提出了两种改进型算法。其一是针对直接线性判别分析法的改进，利用类内 散布矩阵的补空间中的信息求得加权系数来改进直接线性判别方法的距离计算；其二是 在广义奇异值分解这个框架内，根据类内散布矩阵和类间散布矩阵的奇异值的是否为 零，寻找子空间划分方法，并给出了基于类间散布矩阵奇异值不为零而类内散布矩阵奇 异值为零对应的降维空间的人脸识别方法。 第二，将高维人脸空间划分成纯类间列空间、纯类内列空间、公共列空间和公共零 空间等四个内在子空间。根据类间和类内聚散程度的不同，在各个内在子空间中采用恰 当的识别方法。在内在子空间划分的框架下，首先，给出了各个内在子空间的基矩阵求 解方法，分析了四个子空间的识别性能；其次，通过对主元分析法、f i s h e r 脸方法、零 子空间法、直接线性判别分析法等人脸识别算法降维矩阵的处理，得出各种典型方法内 在子空间的使用情况，结合不同内在子空间的识别性能，对各种方法识别率的高低做出 预测，仿真结果验证了预测的准确性；最后提出了基于内在子空间的识别算法，仿真结 果表明基于内在子空间识别算法的识别率高、对应的投影向量的分类信息聚集性强。 第三，利用核函数将线性的内在子空间划分方法拓展到非线性空间。利用多项式核 函数和高斯径向基核函数将原始的人脸图像空间隐式地映射到高维非线性空间；提出了 基于核纯类间列空间算法和基于公共列空间的人脸识别算法。仿真结果表明核子空间划 分的方法继承了线性人脸空间划分的识别率高、投影向量的识别信息聚集性好的特点， 基于核纯类间列空间算法的识别率也要明显高于核主元分析法以及核f i s h e r 脸方法。 关键词：人脸识别；小样本问题；子空间；内在子空间；核函数 a b s t r a c t f a c er e c o g n i t i o ni sa l li m p o r t a n ta n dd i f f i c u l ta r e ai np a r e mr e c o g n i t i o na n di m a g ep r o c e s s i n g s u b s p a c ef a c er e c o g n i t i o nh a sw e l ld e v e l o p e da sa l le f f i c i e n ta n dp o p u l a rm e t h o d ，w h i c hi s q u a l i f i e dw i t hl o wt i m ec o n s u m p t i o n , p e r f e c td e s c r i p t i o na n dg o o ds e p a r a t i o n f a c ei m a g e d i m e n s i o n a l i t yi so r e nm u c hl a r g e rt h a ns a m p l es i z e a n dt h e nw i t h i n c l a s ss c a t t e rm a t r i x b e c o m e ss i n g u l a r h o w e v e r ，i n v e r s em a t r i xo fw i t h i n c l a s ss c a r e rm a t r i xn e e d st oc a l c u l a t et o f u l f i l lf i s h e rc r i t e r i o nw h i c hm a x i m i z e sb e t w e e n c l a s sd i s t a n c ea n dm i n i m i z e sw i t h i n c l a s s d i s t a n c e s u c haf a i l u r eo fc o m p u t i n gi n v e r s em a t r i xo fw i t h i n c l a s ss c a r e rm a t r i xi st h e s o - c a l l e ds m a l ls a m p l es i z ep r o b l e m i nt h i se s s a y , w ec a r r yo u rr e s e a r c h e so ns u b s p a c ef a c e r e c o g n i t i o n as e r i a lo fa l g o r i t h m sa r ep r o p o s e dt oo v e r c o m es m a l ls a m p l es i z ep r o b l e mo n f i s h e rc r i t e r i o n t h ef o l l o w i n gg i v e st h ed e t a i l e dc o n t e n t s ： t w oi m p r o v e dm e t h o d sa r ep r o p o s e di nt h i se s s a y n l ef i r s ti sam o d i f i c a t i o nf o rd i r e c t l i n e a rd i s c r i m i n a n ta n a l y s i s c o m p l e m e n ts u b s p a c eo fw i t h i n - c l a s ss c a r e rm a t r i xi su s e df o ra w e i g h tc o e f f i c i e n tc a l c u l a t i o n w h i c hi sc o m b i n e di n t os i m i l a r i t yc o m p u t a t i o n 硼1 es e c o n di s a l la l g o r i t h mb a s e do ng e n e r a l i z e ds i n g u l a rv a l u ed e c o m p o s i t i o n as u b s p a c ec o r r e s p o n d i n gt o t r i v i a l s i n g u l a rv a l u eo fw i t h i n c l a s s s c a r e rm a t r i xa n dn o n - t r i v i a ls i n g u l a rv a l u eo f b e t w e e n c l a s ss c a r e rm a t r i x a c o n c e p to fi n t r i n s i cs u b s p a c ei sp r o p o s e df o rf a c es p a c es e p a r a t i o n t h et o t a lf a c e s p a c ei sd i v i d e di n t of o u rp a r t s ：p u r eb e t w e e n c l a s ss u b s p a c e ，p u r ew i t h i n c l a s ss u b s p a c e ， c o m m o ns u b s p a c ea n dn u l ls u b s p a c eo ft w os c a r e rm a t r i x e s u t i l i z ed i f f e r e n tm e t h o d si n d i f f e r e n ti n t r i n s i cs u b s p a c e sa n dm a k ef u l lu s eo fd i f f e r e n td i s c r i m i n a t o r yf e a t u r e so fi n t r i n s i c s u b s p a c e s i ns u c haf r a m e w o r k w ef i r s ta n a l y s i ss e v e r a lc l a s s i c a lr e c o g n i t i o nm e t h o d sa n d e s t i m a t et h e i rr e c o g n i t i o nr a t e s ，e x p e r i m e n t a lr e s u l t sp r o v eo u re s t i m a t i o n f a c er e c o g n i t i o n m e t h o d sb a s e do ni n t r i n s i cs u b s p a c e sa r ea l s op r o p o s e d t h es i m u l a t e dr e s u l t st e l lu st h a t r e c o g n i t i o nr a t e so fi n t r i n s i cs u b s p a c em e t h o d sa r eb e r e rt h a no t h e rm e t h o d sa n d d i s c r i m i n a t o r yi n f o r m a t i o nc o m p a c t n e s so fp r o j e c t i v ev e c t o r si st h eh i g h e s t a tl a s t k e m e lf u n c t i o n sa r eu s e dt oe x t e n do u ri n t r i n s i cs u b s p a c em e t h o d st on o n l i n e a r s p a c e p o l y n o m i a lk e m e lf u n c t i o na n dg a u s s i a nr b fk e r n e lw i t hd i f f e r e n tp a r a m e t e r sa r e u s e dt om a pt h eo r i g i n a lf a c ei m a g es p a c et oh i g hd i m e n s i o n a lf e a t u r es p a c e t h es i m u l a t e d r e s u l tr i m st h a tk e m e ls u b s p a c es e p a r a t i o nm e t h o d sa r eb e r e rt h a nl i n e a rs u b s p a c es e p a r a t i o n o nr e c o g n i t i o nr a t e k e y w o r d s ：f a c er e c o g n i t i o n ；s m a l ls a m p l es i z ep r o b l e m ；s u b s p a c e ；i n t r i n s i cs u b s p a c e ；k e r n e l f u n c t i o n i 独创性声明 本人声明所呈交的学位论文是誉人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签名： 一日 期：工萨7 、眵 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件争磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 签 名：寄、一瓠 导师签名： 日 期： 第一章绪论 1 1 课题的提出 第一章绪论 在当今社会中，身份确认具有十分重要的价值。近年来，人类的生物特征越来越广 泛的应用于个人的身份鉴认，相比于传统的方法安全、可靠、特征唯一、稳定性高，不 易被盗窃和破解。人类固有的生物特征主要有：d n a 、指纹、虹膜、语音、步态、掌 纹、人脸等，基于人们对独立的个体特征的认知，结合先进的计算机技术和模式识别理 论，诸如d n a 识别技术、指纹识别技术、人脸识别技术等纷纷发展起来【1 】【2 】。 就目前的研究水平而言，d n a 鉴定和指纹识别具有较高的识别率，可靠性最强但 其使用的强约束条件还是限制了这两种方法的使用。人脸识别相比于其他的生物特征识 别方法具有如下的强大优势：( 1 ) 无需用户过多参与，非接触式采集，无侵犯性；( 2 ) 对用户没有任何明显刺激，便于隐藏；( 3 ) 设备成本低廉，主要是采用摄像头来搜集人 脸。因而人脸识别作为一种特殊的生物特征识别技术，拥有许多独特的应用环境，如罪 犯搜捕、自动门禁系统、海关过境检查、信用卡确认等。 人脸识别技术的研究涉及到心理物理学、神经科学、图像处理、模式识别、计算机 视觉、统计学和人工智能的众多学科【l l 。人脸是一个非刚性物体，在不同表情下，脸 部器官的运动迥异；胡须、眼镜、头发等结构特征的影响；光照、视角、成像条件增加 了检测的难度；墨镜、围巾等遮挡物也会产生不利影响。如何消除或者减少这些因素对 识别的影响仍然需要进一步的研究。 1 2 人脸识别技术的研究内容 狭义的人脸识别就是根据系统新输入的人脸，与已有的人脸数据库进行比对，来判 断该人脸是否在人脸库中；如果在该人脸数据库中，则给出所对应的具体的个体信息【6 1 。 而广义的人脸识别可以包含以下几个方面【4 】【5 】：人脸检测、人脸表征、人脸识别、表情 分析、物理分类。 本文中如无特殊说明，所提的人脸识别均是指狭义的自动人脸识别。上世纪8 0 年 代以后，自动人脸识别技术得到了迅速的发展，并且取得了大量的研究成果。 一个典型的自动人脸识别系统如图1 1 所示，分为训练和识别两个步骤，两个步骤 都需要检测和定位人脸、人脸图像的预处理和特征提取和选择。其中i j 者一般是离线运 算的，而识别则是在线操作的。 ( 1 ) 人脸的检测和定位，即检测所给图像中有没有人脸存在，若有则将人脸标示 出来，这对于简单背景的单个人脸图片实现是比较容易的，而当人脸的背景过于复杂， 或者是图片中存在多张人脸时，检测则相对比较困难。现有的算法一般都只能适用于一 定的环境，无约束环境下的人脸检测问题仍然没有得到很好的解决。人脸检测的主要困 难主要体现在人脸是一个非刚性物体，在不同表情下，脸部器官的运动迥异；胡须、眼 江南人学硕士学位论文 镜、头发等结构特征的影响；光照、视角、成像条件增加了检测的难度；墨镜、围巾等 遮挡物也会产生不利影响。 图1 - 1 自动人脸识别系统结构图 f i g 1 - 1f r a m e w o r kf o ra u t o m a t i cf a c er e c o g n i t i o ns y s t e m ( 2 ) 人脸图像的预处理，人脸检测得到的人脸图像，可能存在倾斜和光照不好等 情况，一般需要进行几何归一化和灰度归一化的工作。几何归一化是将人脸通过图像处 理技术变换为大小一致且人脸不存在偏角的图片。灰度归一化则就是对图像进行光照补 偿，如主元分析法则会采用去均值的手段，必要的时候可以用标准差进行归一化。 ( 3 ) 特征提取和选择【6 】，识别人脸主要是依据人脸上的特征，也就是说依据那些 在不同个体之间存在较大差异而对于同一个人则比较稳定的度量。这到目前为止还没 有找到非常理想的特征提取方法，在实际操作中主要是通过各种各样的变换来达到降维 的效果，如特征脸方法中k l 变换就是属于特征提取，而之后的主元选取就是属于特 征选择。除此之外还有d c t l 2 0 1 、分数阶傅罩叶变换f 2 l 】、g a b o r 变换【3 8 - 4 0 j 等等。以上都 是基于整个人脸的特征提取，还存在基于局部特征的提取方法，如利用显著器官( 眼、 鼻、耳、嘴等) 之间的距离关系以及通过训练学习求得的局部特征，g a b o r 变换就是一 个典型。 ( 4 ) 人脸识别，在识别前对人脸库进行处理，得到各个个体的特征信息，单独建 立一个新的数据库，在识别过程中，只要采用同样的方法得到输入人脸图片的特征信息， 并与库中的各个体信息进行比较。在比较之前需要确定相似性尺度，常用的是欧氏距离 和基于贝叶斯准则的概率尺度。识别可以分为两种：一种是人脸辨认，即需要确认被识 别者的具体的个体信息：另一种是身份证实，只要判断识别对象是否在数据库中个体的 口 一贝。 整个人脸识别的研究主要是围绕特征提取和特征选择展开的。因为之前预处理步骤 和图像处理的工作是相通的，而之后的识别步骤和一般的模式识别问题是一致的。人脸 变化复杂，是一个塑性变形体，和生理学和心理学紧密相连，而且对于人类的识别能力， 在许多解释上还存在分歧【2 】，仍需要做进一步的深入研究。 2 第一章绪论 1 3 人脸识别技术的研究现状 最初的人脸识别方法主要是基于面部器官特征的方法，使用头部的宽度、两眼间的 距离、两眼中心到鼻子的距离等几何尺寸【4 】。隐马尔科夫方法则不需要找出具体的面部 位置和特刎了刀。基于g a b o r 变换的方法则就是通过数学变换求得一些面部的一些特征点 3 8 4 0 ，但不一定对应着面部器官。当然，还可以使用a d a b o o s t 等弱学习方法求解面部 特征点i 删，但是其运算量是相当惊人的。还有通过自组织神经网络等竞争网络求解特征 点【4 1 1 。 在过去的几十年中出现了很多人脸识别方法，尤其是上世纪9 0 年代以后基于统计 的子空间人脸识别方法得到了迅猛发展。 m a t t h e wt u r k 和a l e xp e n t l a n t 于1 9 9 1 年提出了特征脸方法【1 2 1 ，标志着现代人脸识 别方法的开始。该方法通过主元分析( p c a ：p r i n c i p a lc o m p o n e n t a n a l y s i s ) 将高维的人 脸图片数据空间降低到低维的主元空间中，然后在这个低维空间中进行特征比较。 m o g h a d d a mb 和a l e xp e n t l a n t 在1 9 9 7 年时又提出了一种概率距离的识别方法l b 】，假设 人脸高维空间满足高斯分布，人脸空间分为主元空间和正交子空间( 在特征脸方法中只 考虑了主元空间，而其正交子空间中的大量信息被忽视了) 。主元分析法还有一些改进 方法，如双子空间法【1 4 1 ，原子特征脸法【”】。 b e l h u m e u rv 于19 9 7 年首次将线性判决方法( l d a ：l i n e a rd i s c r i m i n a n ta n a l y s i s ) 引入到人脸识别中来【1 6 j ，即f i s h e r 脸方法，先采用p c a 进行降维，再使用l d a 方法进 行识别。l c h e n 等人根据文献 1 7 】中给出的一个新的f i s h e r 判决准则，提出了在类内 散布矩阵中寻找判别信息，求解投影向量的零子空间方法( n l d a ：n u l l s u b s p a c el d a ) 引，实验结果表明其识别率要明显优于f i s h e r 脸方法。在用l d a 进行人脸识别的许 多方法中，都需要先使用诸如d c t 、f r f t ( f r f t ：f r a c t i o n a lf o u r i e rt r a n s f o m l ) 、p c a 等方法进行降维【2 0 2 4 1 ，这就势必影响了系统的效率，h y u 和j y a n g 提出了一种不需 要降维的直接线性判决方法( d l d a ：d i r e c tl i n e a rd i s c r i m i n a n t a n a l y s i s ) 1 9 j ，这种方法 的关键在于同时对f i s h e r 判别函数的分子和分母进行对角化。线性判决方法主要是处理 两个矩阵，即类内散布矩阵和类间散布矩阵，但有时训练样本中会存在一些离群点，为 了克服或减小这些点的影响，文献【2 0 就采用了一种加权散布矩阵的方法，但是如何选 取权系数，又成了一个新的课题。当然，还有许多其它形式的线性判决方法，如正则化 线性判决方法【2 引，随机取点降维的线性判决1 2 6 】等等。 前面的所有方法都是建立在直接的人脸空间基础上的，b a b a c km o g h a d d a m 给出了 种基于类内和类间差异空间的概率识别的贝叶斯人脸识别方法【2 9 l 。这种方法有别于一 般的基于欧氏距离的识别，正对于一个特定的个体，给定的人脸图片只有属于和不属于 该个体两种情形，从而将一个多分类问题转化为二分类问题。文献 3 0 】给出了这种方 法的一个自适应应用。在文献 3 1 】中还将p c a 、l d a 、贝叶斯人三种方法统一到一个由 三个参数组成的一个模型框架中，识别率得到了显著的提升。 除了上面提到的方法之外，还有许多其他人脸识别方法，如：独立元分析法( i c a ： 3 江南大学硕上学位论文 i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 1 3 2 1 3 3 】，支持向量机法【3 5 】【3 6 】，进化匹配【3 4 1 等等。 本世纪以来，人脸识别的又出现了一些新的发展方向，如二维降维方法，核子空间 人脸识别，多种识别方法的融合，利用红外等非可见光成像及相应的图像处理等。传统 的人脸识别，都是将人脸图像的像素重新排列成一维向量的形式，然后再进行各种变换 处理，但是这种方法由于在高维空间中操作，运算量很大。可以直接利用二维图像矩阵 求解各种散布矩阵，这样可以大大地降低运算的维数【4 5 4 刀。支持向量机已经成为处理 非线性问题的强有力的工具，许多学者将其中的核函数引入到传统的子空间识别方法中 来，使得特征提取更加灵活【5 0 5 7 l 。文献【4 7 】中还给出了将可见光成像和红外光成像进行 融合判别的方法。 国内的人脸识别研究也得到了很大的发展，北京理工大学的张小洵和贾云得提出了 一种最适宜的零子空间概念，并以此作为特征空间，给出了基于互补子空间人脸识别方 法 9 1 。西安电子科技大学的高全学等人认为主元分析不能准确地估计出总体散布矩阵， 提出了基于描述特征的人脸识别算法【1 0 1 。文献【8 和【1 1 分别给出了i c a 和l d a 的核子 空间的拓展方法。刘青山等人对包括p c a ，l d a ，非负因子法等在内的子空间识别方法 作了分析比较，结果表明核子空间方法在识别率上的性能要高于线性子空间方法【9 】。 在所有的这些方法中，基于统计的子空间分析的方法具有计算代价小、描述能力强、 可分性好等特点，现已经成为人脸识别的主流方法，获得了最好的识别结果；但基于子 空间分析的方法涉及到模式识别研究中的许多本质问题需要进一步的研究，如维数、鉴 别、参数估计等1 6 l l 。 1 4 本文的主要工作 本文的工作重点就是子空间人脸识别方法，尤其是线性判别分析中一直存在的人脸 图像数目少于图像维数问题更是本文的焦点。首先研究了子空间人脸识别的基本思路和 常用方法，针对直接线性判别分析人脸识别给出了改进型算法，有效地提高了识别率。 在对各种子空间识别算法的学习和改进的基础上，强化了识别信息空间划分的思想，建 立了一种识别信息空间划分的框架，对特征脸、f i s h e r 脸、零空间、直接线性判别和贝 叶斯人脸识别方法的识别性能给出了理论定位，提出了基于空间划分的识别算法。利用 核函数将人脸空间映射到非线性的核子空间可以很好地克服表情、光照和面部偏角的影 响，实现了核子空间的非线性划分。具体的工作如下： 对子空间人脸识别算法进行了较全面的总结，学习了五种典型的线性子空间人脸识 别方法：特征脸、f i s h e r 脸、零子空间方法、直接线性判别方法和贝叶斯人脸识别，介 绍了核子空间的基本原理，学习了核主元分析法和核判别分析法两种核子空间人脸识别 方法。 提出了两种改进型算法。其一是针对直接线性判别分析法的改进，利用类内散布矩 阵的零空间中的信息求得加权系数来改进直接线性判别方法的距离计算；其二是利用广 义奇异值分解的框架寻找降维的方法。两种改进算法在o r l 人脸数据库中都取得了较 好的识别率。 4 第一章绪论 根据类内散布矩阵和类问散布矩阵的列空间和零空间分布，提出了内在子空间的概 念，将人脸图像空间划分成纯类内列空间、纯类间列空间、类内类间公共列空间、类内 类间公共零空间等四个内在子空间。首先分析了各个子空间的识别性能，考察各种典型 方法的内在子空间的使用情况，对其识别率大小关系作出预测，仿真结果验证了所做的 预测；其次是在类内距离为零的纯类间列空间中采用主元分析方法，在类内散布矩阵为 满秩的公共列空间中使用线性判别分析法，仿真结果表明两种算法的识别率很高，基于 纯类间列空间和公共列空间方法的投影向量具有很好的判别信息聚集性。 将线性的内在子空间扩展到核子空间中，从而得到核子空间划分。利用多项式核函 数和高斯径向基核函数将原始的人脸样本映射到核子空间中，在核子空间中求出了一组 列空间的单位正交基，计算在该基下的所有样本矩阵和散布矩阵，利用线性子空间的划 分方法对该基底下的数据进行划分。提出了基于核纯类间列空间和基于核公共列空间的 人脸识别算法，并给出了该核子空间方法和对应的线性子空间方法，以及与核特征脸和 核f i s h e r 脸方法的实验比较。 1 5 论文结构 第一章主要介绍了课题的提出背景、研究现状和本文的主要研究内容。 第二章介绍了子空间人脸识别中经常使用的样本矩阵和散布矩阵，回顾了上世纪 9 0 年代以来的主元分析法、线性判别分析法、贝叶斯方法等线性子空间和核主元分析 法、核判别分析法等核子空间人脸识别方法。 第三章给出了两种改进算法，包括直接线性判别算法的改进算法和基于广义奇异值 分解的人脸识别算法。直接线性判别算法的改进算法根据类内散布矩阵的零子空间给出 了距离校正因子的概念，将其融合到相似度计算中去；基于广义奇异值分解则在广义奇 异值的框架内，寻找降维变换矩阵。 第四章基于类问和类内散布矩阵提出了内在子空间的概念，将原始的线性人脸空间 划分成四个内在子空间，推导了各个子空间的基矩阵；在内在子空间的框架内，分析了 主元分析法、线性判别分析法和贝叶斯人脸识别方法的识别率性能；提出了基于不同内 在子空间的人脸识别方法，并给出仿真实验。 第五章对线性内在子空间识别算法非线性拓展到核子空间，利用多项式核函数和高 斯核函数将原始的线性空间的人脸样本映射到核子空间中，使得这些样本具有更好的分 类特性。在核子空间中，给出了核内在子空间的基矩阵的求解方法，提出了基于核内在 子空间的人脸识别算法，并给出了仿真结果。 第六章对本文的研究内容和方法进行了总结，并对以后的研究工作进行了展望。 第二章子空间人脸识别方法概述 第二章子空间人脸识别方法概述 由于人脸图像的复杂性，显式描述人脸特征具有一定的困难，因此近年来，基于统 计分析的子空间方法越来越受到重视，成为当前人脸识别方法的主流。由于人脸图像的 维数通常都是很高的，而实际上人脸图像在这样的高维空间中分布很不紧凑，不利于分 类，并且在计算上的复杂度也非常大，因此人们往往将人脸图像投影到低维的子空间进 行判别。子空间方法的基本出发点是根据一定的优化目标来寻找线性或非线性的空间变 换，把原始信号数据压缩到一个低维的子空间中，使数据在该子空间的分布更加紧凑， 为数据的描述提供了更好的手段，其计算复杂度也大为降低。 基于主元分析法、线性判别分析法和贝叶斯方法等线性子空间方法和基于核主元分 析法和核判别分析法等核子空间方法成为子空间人脸识别中的典型方法，得到了广泛的 应用。本章首先介绍了本文中反复涉及到的散布矩阵，然后概述这几种经典方法的原理 和特点。 2 1 散布矩阵 2 1 1 散布矩阵的定义 特征选择所得的特征应该使得类间距离大而类内的内聚性好，只有这样才能使得不 同类的样本具有较好的可分性。这里就提出了怎样来表达类1 i 自j 距离和类内内聚性的问 题，其实就是如何来描述相似度，使得类问的相似度较小，而类内的各样本间的相似度 较大。在后面将要讨论的线性判别方法中，主要是依赖于类内散布矩阵& 和类间散布 矩阵& 来实现的。 设人脸图像纸矽为二维p x q 灰度图像，人脸图像同样可以看成是聍维的列向量。 一个典型的2 5 5 2 5 5 的图像，等价于6 5 5 3 6 维空间中的一个点。在下面的讨论中我们如 无特殊说明，人脸图像均是以列向量的形式给出的，并且该节中的定义的所有变量适用 于全文。 假设人脸库训练集包含有c 个人的人脸图像，每个人有k 幅，共有m = k c 幅样本图像。 ；表示第i ( i = l ，z ”：a 个人的第k 佛= ，z ，的幅图像。第f 个人的类平均脸为 1r 一= 专? ( 2 1 ) 1 1 膏= i 总体平均脸为 1c 甲= 去一 ( 2 2 ) 厂厶一 、 、一i = 1 将各张人脸图像减去其对应的个体的平均脸，可得类内样本矩阵 m ，= 【囝：一甲- ，f 一 p 1 ，中菩一匕】。研 f 2 3 ) 类平均脸减去总体平均脸后，组成矩阵形式，可得类间样本矩阵 7 江雨大学硕士学位论文 m 6 = 【一甲，甲2 一、壬，匕一甲】。c ( 2 4 ) 各张人脸减去总体平均脸后，组成矩阵形式，可得总体样本矩阵 m ，= 【西：一、壬，中f 一甲，答一甲】。 ( 2 5 ) 训练样本集的类内散布矩阵& 、类间散布矩阵& 和总体散布矩阵s 定义如下 f k s 。= ? 一一) ( ；一一) r = m 。m j ( 2 6 ) j z lk = l c & = ( 甲一甲) ( 一一r = m b 磁 ( 2 7 ) i = l ck 置= ( ；一甲) ( 中：- v ) ，= 丝聊 ( 2 8 ) i = 1k = l 总体散布矩阵s 是以所有样本作为考察对象，以人脸图像的像素点的狄度值作为单 随机变量的协方差矩阵( 忽略系数l m ) 。类内散布矩阵& 是求出各类的协方差矩阵然 后再求和得到的。类间散布矩阵的考察对象是各类的均值样本向量。三者本质上都 是协方差矩阵，随机向量都是人脸图像的像素组成的向量。 2 1 2 散布矩阵的性质 类间散布矩阵、类内散布矩阵和总体散布矩阵都是其对应的样本矩阵的协方差矩 阵。三个散布矩阵和三个样本矩阵之前存在着以下性质： 性质1 空间等价性 s p a n ( s 6 ) = s p a n ( m 6 ) ，s p a n ( s 。) = s p a n ( m ，) ，s p a n ( s r ) = s p a n ( m ，) 说明散布矩阵和对应的样本矩阵的列空间和零空间是完全一致的。 性质2 可加性 s = s b + s ，( 2 9 ) 表达了三个散布矩阵之间的关系。 性质3 假设所有输入人脸样本中不存在相同样本，可以认为这些样本是完全不相 关的。则类内散布矩阵的秩分别为1 s 】 r a n k ( s t ) = m i n ( n ，m 1 ) ，r a n k ( s 。) = m i n ( n ，m - c ) ，r a n k ( s b ) = m i n ( n ，c 一1 ) 。 在样本数目小于样本维数时，散布矩阵的秩分别为 r a n k ( s , ) = m - 1 ，r a n k ( s w ) = m c ，r a n k ( s b ) = c 一1 性质3 描述了散布矩阵的秩。 2 2 线性子空间方法研究 2 2 1 主元分析法 主元分析法实质上是k l 变换一种网络递推实现，k l 变换是图像压缩中均方误差 最小意义下的最佳正交变换。p c a 在人脸识别领域的应用是m a t t h e wt u r k 和a l e x p e n t l a n t 于1 9 9 1 年最初引入的特征脸( e i g e n f a c e ) 方法。这种方法标志着现代人脸识别 8 第= 章于空问人脸识别方法概述 方法的开始”i 。 特征脸方法就是把包含人脸图像的区域看作是缱机向量，因此可以通过k - l 变换 活得正交的k - l 基底。具有较大特征值的k - l 基底具有与人脸相似的形状，故而称作 特征脸方法。利用这些基底的线性组合可以表示和逼近人脸图像，特征脸方法的基本思 路就是通过k l 正交基底将高维的人脸图像映射到低维的特征脸空间，通过比较各张 人脸在地维特征脸空间中的位置关系柬识别人脸。具体的实现步骤是： ( 1 ) 根据式22 计算总体平均脸p ： ( 2 ) 根据式25 计算总体样本矩阵m ，并进而求得总体散布矩阵s ； ( 3 ) 计算特征脸，特征脸是由总体散布矩阵对应于非零特征值的特征向量组成， 对s 进行特征分析。设所得的对应于非零特征值的特征向量组为。= h ，w l ， 各列对应的特征值由大到小排列； ( 4 ) 将每个人的平均人脸图像去均值化曾= w 甲f = 1 2 , ；0 ，将这些去均值化的平 均脸投影到刚刚得到的各个投影方向上去，从而得到作为各个个体信息的系数向量 q ，= ”乞 ( 2 l o ) ( 5 ) 计算新输入人脸中一的系数向量 n 删= 阡m 删= 阡( 中。，一甲) ( 2 1 1 ) ( 6 ) 假设第，个人表达成q ，新输入人脸中肿和g ，之间的距离d ( 中删，g ，) 可以有 多种形式，比如欧式距离、余弦距离、马氏距离等。从而决策结果如下 中一eg = a r g r a i n d ( n 忡，n ，) ( 21 2 ) g ， 特征脸是直接在原始的人脸图像的向量空自j 中采用主元分析的方法降维，然后就在 该低维空间进行决镱，一般前几个特征脸的线性组合就能表示图像的绝大部分能量信 息，图2 1 中给出了o r l 人脸数据库中的总体平均脸和对应于最大的6 个特征值的特 图2 - 1 0 r l 人脸库中的平均脸( 左) 和前6 个特征脸( 右) f i g2 - 1m e a n f a c en e ma n d e i g e n f a c e s ( r i g h t ) c o r r e s p o n d i n g t o t h e 6 l a r g e s te i g e n v a l u e s 0 1o r l d a t a b a s e 征脸。f i s h e r 脸以及线性判别分析方法的其他形式，还有贝叶斯人脸识别方法都在不同 的步骤采用了主元分析的方法。p c a 只是一种统计数学操作，而各种人脸识别方法更 多地是强调由不同的操作步骤构成的一个算法的整体。但许多文章中所提的p c a 人脸 识别方法就是特征脸法。 特征脸方法是一种简单、快速、实用的识别方法，使用人脸图像的灰度信息直接用 江南大学颈士学位论立 来学习和识别，不需要任何的初级和中级的预处理。 2 2 2 线性判别分析 p c a 主要是致力于最大限度地表达出所有个体的全部人脸图像样本的灰度值，可 以确保用最少的特征向量线性表示出图像的绝大部分能量，使得残差虽小，但没有将不 同个体区别对待不具备很好的分类特性。当人脸图像的光照和表情变化十分明显时， p c a 很容易会出现误判的情况。图2 - 2 中给出了示例图像( 从左到右依次编号为图像1 ， 2 ，3 ，4 ) ，图像i 和2 属于同个体a ，图像3 和4 属于个体b ，若采用p c a 进行识别， 由于光照条件的强烈反差，可能会将图像l 和3 归入一个个体，而将图像2 和4 纳入另 外一个个体。 图2 - 2 不同光照条件对人脸识别的影响示倒图像 f i 9 2 - 2s a m p l e f a c e i m a g e s f o rr e c o g n i t i o nu n d e r d i f f e r e n t i l l u m i n a t i o n s 线性判别分析是同样是统计模式识别中的一种基本方法。相比于p c a ，l d a 是一 种监督式学习方法，在处理诸如图2 2 给出的问题时，投影过程中会更多地偏向于类间 不同的信息，而避开光照条件的影响。广义的l d a 是指所有的判别函数为线性函数， 从而使得决策分界是线性的一系列方法，根据优化准则的不同而区分。常见的l d a 有 感知器、f i s h e r sl d a 和支持向量机。 本文主要研究f i s h e r sl d a ，该方法的优化准则是同时最大化类间距和最小化类内 距，最早是由f i s h e r 在1 9 3 6 年提出来的，并且是建立在两个假设条件基础之上嘲；1 、 所有类样本分布函数为高斯分布；2 、所有类的协方差矩阵相等。为了简单和可操作性， 后来人们谈论的线性判决分析往往不涉及训练样本隐含的分布，原先的类协方差矩阵也 由类间和类内散稚矩阵所取代。 人脸识别中普遍存在人脸图像的张数远远小于人脸图像本身的维数问题，即小样本 问题。1 9 9 7 年，b e l h u m e u r v 首次将l d a 应用到人脸识别中，提出了f i s h e r 脸方法，之 后的几年l d a 的方法层出不穷，有零子空间方法、直接l d a 、正则化l d a 等等，但 一直以来都没有很高的方法来解决所谓的小样本问题。但所有这些方法仍然保持着子空 间方法的特点，就是寻找优化某种具体的准则函数下的降维变换矩阵，f i s h e r sl d a 的 常见准则函数有【4 2 l 州耻箸等器 ( 2 1 3 ) 陌1啕j 至三兰王至! 里叁丝望型查鳖塑垄 j 2 ( ) = t r a c e ( ( w7 1 s 。形) 1 ( 缈r s 6 ) ) ( 2 1 4 ) ( ) = 网w r s b w c 2 m ， 其中w 是降维变换矩阵，其往往是选取对应于瓯& 最大的三个广义特征值的广义特征 向量【1 6 1 s b w j = a j s w w j j = 1 , 2 ，l 双叽呤 ： 12 j 其他 ( 2 1 6 ) ( 2 1 7 ) 根据矩阵理论可知，w ，是对应于s ：= 1 s 。的最大特征值的特征向量，但小样本问题的存在， r a n k ( s 。) = m c 1 2 。 1 3 江南大学硕上学位论文 大量的实验表明m a p 准则可以由m l 准则来代替，而识别性能几乎差不多，但具 体的实施过程却简化了许多，在实际应用中，我们主要采用m l 准则的贝叶斯方法。 一当r z j l a s ( ”z ) = 尸( i q ，) 2 南 2 2 4 其中= 卜? o = 1 , 2 ，c ；l ，k k ；j 后) 表示所有的类内差别样本向量，是 对应着差别样本向量的散布矩阵。 在计算相似度p ( a lq ，) 时，可以先对人脸样本向量进行预处理 t ：矿丁 ( 2 ),a a - 1 1 2 2 5 其中，人和巧是对应于，的最大特征值和特征向量矩阵。在经过这样的变换之后，两 个人脸样本在降维空间中的欧式距离是 l 一去h 讫l 以| 吼卜莉 q 2 6 2 3 核子空间方法研究 2 3 i 核方法的基本思想 核方法的基本思想1 4 8 i t 6 0 i 就是寻找一个隐式的非线性映射妒：x xj 缈g ) f ，在输入 空间x 中线性不可分的样本到隐性特征空间f 中，使得样本在特征空间f 拥有更好的 可分性，如图2 5 所示。 图2 5 将非线性可分的数据映射到高维线性可分的特征空间 f i g 2 - 5m a p p i n gf r o mn o n l i n e a rs e p a r a b l es p a c et oh i g hd i m e n s i o n a lf e a t u r es p a c ei nw h i c ha l ld a t a a r el i n e a r l ys e p a r a b l e 在核方法中，并不需要给出显式的非线性映射的函数，而只需要特征空间f 中的样 1 4 第二苹f 。空同入脸识别方法概述 本向量之间的内积( 缈b l 伊b ，于是就直接定义了一个所谓的核函数k b ，勺j 来计算隐特 征空间f 中的样本间的内积( 伊“l 妒b 。即使变化后的空间的维数增加很多，甚至达到 无穷维，问题的计算复杂度并没有增加多