（电路与系统专业论文）人脸识别中的若干关键算法研究[电路与系统专业优秀论文].pdf

中国科学技术大学博士学位论文 摘要 自动入脸识别是模式识别和计算机视觉领域中个十分活跃的研究课题。尽 管经过了3 0 多年的研究，通过人脸图象来进行人脸识别仍然面临巨大的挑战。 本文重点对人脸描述及特征匹配中的若干关键算法进行了研究，主要工作及创新 点包括以下几个方面： 针对线性鉴别分析方法中的小样本问题的困扰，提出了一种鉴别独立分量分 析( d i s c r i m i n a n ti n d e p e n d e n tc o m p o n e n ta n a l y s i s ，d i c a ) 的子空间学习方法。 该方法在解决类内散布矩阵奇异问题的同时，兼顾了图象的高阶统计信息在识别 任务中的重要性，提高了人脸的子空间描述性能。 针对二维主分量分析( 2 d p c a ) 和二维线性鉴别分析( 2 d l d a ) 两种图象 映射方法存在特征数目过大、匹配识别计算复杂度高的缺点，提出了一种基于联 合图象映射的图象特征提取新框架，并在这一框架下将2 d p c a 和2 d l d a 分别 扩展到联合二维主分量分析( j o i n t 2 d p c a ) 和联合二维线性鉴别分析 ( j o i n t 2 d l d a ) 。实验表明新的联合图象映射方法在保证特征提取效率的同时使 得匹配识别速度得到了大幅度的提高。 针对由直接对g a b o r 特征进行下采样造成的有用信息丢失，提出了一种基于 分块统计量的g a b o r 特征表示方法增强了人脸图象的g 矗b o r 特征描述效率。在 此基础上探讨了利用广义鉴别分析( g d a ) 这一统计分析手段从具有不同位蹙、 尺度及方向信息的大量g a b o r 特征中提取出适合于人脸识别的有效鉴别特征的 二次特征提取问题。 考虑到概率子空间分析方法和g a b o r 变换方法都是从不同的角度来降低人脸 识别系统对各种类内变化的敏感程度，因此我们对如何将这两种方法有机集成进 行了探讨，提出了一种基于g a b o r 特征的概率子空间分析方法( g a b o r b a s e d p r o b a b i l i s t i cs u b s p a c ea n a l y s i s ，g p s a ) 。实验表明，该方法的识别性能较现有的 概率子空间分析方法有了较明显的改善。 关键词：人脸识别，人脸描述，子空间学习，联合图象映射，g a b o r 特征描述 中国科学技术大学博士学位论文 a b s t l a e l f a c e r e c o g n i t i o nh a s b e c o m ea na c t i v ea r e ao fr e s e a r c hm p a t t e mr e c o g n i t i o na 1 1 d c o m p u t e rv i s i o n a l t h d u 曲p r o g r e s si nf 她er e c o g n i t i o nh a sb e e ne n c o u r a g i n 岛t l l et a s k h a sa l s ot u f n e do u tt ob ead i 伍c u l t e n d e a v o r ，e s p e c i a l l y i n u n c o n s t r a i n e d e n v i r o n m e n t s t h er e s e a r c hw o r ki n t h i s p 印e rj s f o c u s e do na l g o t h m so ff b e r e p r e s e m a t i o n 甜nf e a t u r em a t c h i n g t h er e s e a r c ht o p i c sa n dt h em a i nc o n t r i b m i o n s a r ea sf o l l o w s ： i ， s u b s p a c el e 跏i n gm e m o d s 盯ev e r yp o p u l 盯i nf 如er e p r e s e n t a t i o n a n d r e c o g n i t i o n p u z z l e db ys m a l ls 锄p l es i z ep r o b l e m ，t l l ew i t l l i n - c l a s ss c 撕m a 埘xi s a l m o s ta l w a y ss i n g u l a ri nf k er e c o g n i t i o n ，鑫i l df i s h e r f k e ss o l v e 虹d sp r o b l e mb y p e r f b m i n gf i s h c rd i s c r i m i n a n t 吼a l y s i si n p c ar e d u c e ds u b s p a c e w bp r o p o s e a n o t h e fl d a b a s e ds u b s p a c el e a m i n ga p p a c hc a l l e dd i s c r i m i n a i l t i n d e p e n d e n t c o m p o n e ma n a l y s i s ( d i c a ) ，w h i c hd o e s d i s c r i m i n a n t a n a l y s i s i ni c ar e d u c e d s u b s p a c e ，a s ar e s u l t ，i 虹巾o r a n ti n f o 衄a t i o no fh i 啦o r d e rs t a t i s t i c sc o n t a i n e di n i m a g e sc a nb e e na d d r e s s e di nt l l ep r o c e s so fs u b s p a c em o d e l 证g t h ee x p e r i m o n t a l r e s u l t ss h o wt h a tt h ep e r f o 珊a n c eo fs u b s p a c er e p r e s e r l 诅矗o no fo u rd i c am e l h o di s s u p e r i o rt ot 王l a to f f i s h e r f a c e sm e t h o d i i i m a g ep r o j e c t i o nt e c h n i q u e s ，s u c ha s2 d p c a a i l d2 d l d a ，d e v e l o p e dr e c e n n y h a v e g r e a ta d v a r i t a g e o v e r 仃a d i t i o n a lp c a 矾dl d ai nt e m l so fn l e s p e e df o r e x 识l c t i o no fi m a g ef e a t u r e s h o w e v e r ，i nt h e s em e 吐l o d s ，t h en u m b e r f b a t u r e sf o r r e p r e s e n t i n g f a c ei st o o h i g h ，c a u s i n g t h e p r o c e s s o ff e a t u r e m a t c h i n g i s t i m e c o n s u r n i n g a g a i n s tt h i sp r o b l e m ，w ep r o p o s ean e wf 锄e w o r k ，c a l l e dj o i n t i m a g ep r o j e c t i o n ，f o ri m a g ef c a t u r ce x t r a c t i o n ，u n d e rw h i c h ，w ee x t e n de x i s t i n g 2 d p c aa n d2 d l d at oj o i n t 一2 d p c aa n dj o i n t 一2 d l d a r e s p e c “v e l y t h e e x p e r i m e m a lr e s u l t ss h o w t 1 1 a tt h ep r o p o s e dr 眦t l l o d s 雒ec o m p u t a t i o n a l l ye m c i e mf o r b o t hf e a t u r ee x t r a c t i o na n df e a t u f e m a t c h i n g i i i f a c er e p r e s e n t a t i o nb a s e do ng a b o rf c a t i l r c sh a sa 协r a c t e dm u c ha t t e n t i o na 1 1 d a c h i e v e dg r e a ts u c c e s si nf a c er e c o g l l i t i o nf o rs o m ef 打o r a b l ea t t r i b u t eo fg a b o r v m 中国科学技术大学博士学位论文 w a v e l e t s al a r g en u m b e ro fg a b o rf e a t u r e sc a nb e p r o d u c e d w i t l lv a r y i n g p a r a r n e t e r s j nt h ep o s j t j d n ，s c a l ea n d 州c n t a t i o no f 五h e r s u s 幽】d j s c r i m i n a t o r yj n f 0 珊a t i o nm a y b el o s td u et o d o w n s a m p i i n gg a b o rf e a t u r e sd i r e c t i ya d o p t e d i ns o m ee x i s t i n g m e t l l o d s t oa v o i dw h i c h ，w ep m p o s eam e t l l o do fg a b o rr e p r e s e m a t i o nw i mt h e b l o c k b a s e ds t a t i s t i c so fg a b o rf b a t l l r e s i na d d i t i o n ，w ei n v e s t i g a t eu s i n gg d at o p e r f o n nd i m e n 萌o n a l i t yr e d u c t j o nt 0 g a b o rf e a t u r e st op i 0 d u c em o r ec o m p a c ta n d d i s c r i m i n a t o r yf 犯ef c a m r er e p r e s e n t a t i o n i vc o n s i d e r i n gt h ef a c tt h a tb o t l lg a b o rt r a i l s f b 肌a n dp m b a b i l i s t i cs u b s p a c e a 1 1 a i y s i s ( p s a ) m e t l o dt r yt 0s u p p r e s sm ei n 仃a p e r s o n a iv a r i a t i o n s i nt w od i 髓r e n t m 咖e r ，w es t u d yh o wt oi n t e g r a t et h et w om e t l l o d se 胞c t i v e l y t oe r 山趴c e 血e r o b u s 协e s so ff k er e c o g n i t i o ns y s t e m w ep r 叩o s eag a b o r _ b a s e dp r o b a b i l i s t i c s u b s p a c ea 1 1 a l y s i s ( g p s a ) m e t h o df o rf a c er e c o g i l i t i o n ，w m c hc o m b i n e s 廿l es 仃e n g t h o fg a b o rr e p r e s e n t a t i o na n dp r o b a b i l i s t i c m a t c h i n gm e 恤o dc l o s e l y e x p e r i m e n t a l r e s u h ss h o wt h a tm e p r o p o s e dg p s a n 蝌血o dh 髂o b v i o u sa d v 锄t 雄r eo v e r 仃& d i t i o n a l p s am e t h o d k e y w o r d s ：f a c er e c o g i l i t i o n ，f 她er c p r e m 砒i o n ，s u b s p a c ea n a l y s i s ，j o i mi m a g e p r o j e c t i o n ，g a _ b o rr e p r e s e m a t i o n x ! 垦壁茎壅查查兰竖主芏鱼笙奎蔓= 童堕堡 1 - l 研究背景及意义 第一章绪论 识别人脸是人类的一项重要能力，也是日常生活中人们用来识别他人身份的 主要手段，在社会活动中扮演着十分重要的角色。不难想象，实现机器自动识别 人脸所产生的影响将是深远的【2 】。虽然人类能够在各种复杂条件下毫不费力地 识别出人脸，然而设计和建立一个完全自动的、具有高鲁捧性的人脸识别系统却 是一件十分困难的事情。 人脸识别技术在国家安全、军事安全和公共安全领域的应用前景十分广阔， 例如智能门卫、智能视频监控、公安布控、出入境管理、司机驾照验证等都是典 型的应用。在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人 的身份验证，社会保险人的身份验证，电子商务和电子政务等方面也具有重要的 应用价值。在家庭娱乐等领域的潜力也相当大，比如能够识别主人身份的智能玩 具、家政机器人、真实感虚拟游戏等。与虹膜、指纹等其它生物识别技术相比， 人脸识别具有一些独特的优势。例如：利用人脸进行身份识别更加自然、直观， 符合人们的习惯：基本无需使用者的配合，人机交互方式更加方便友好；便于隐 蔽，整个过程可以在被识别对象毫不知情的情况下完成，这一特点使得该技术能 够在罪犯追捕、嫌疑犯跟踪、商店扒手跟踪等方面发挥出更加积极的作用。文献 3 对六种生物特征在m r t d 【4 1 ( m a c l l i n e 胁d a b l e n a v e ld o c u m e n t s ) 系统中的兼 容性( c o m p a t i b i l i t y ) 进行了评价，评价标准包括注册、更新、机器要求、公众 感受等几个方面，结果面部特征取得了最高得分，如图1 1 所示。鉴于上述原因， 人脸识别被认为是一种最为理想的生物识别技术。 人脸识别已经历了3 0 多年的研究，特别是近l o 年以来，该课题得到了计算 机视觉、模式识别等领域研究者们的高度关注，并取得了长足的发展。国际上有 很多科研机构从事人脸识别相关的研究工作，比较著名的如麻省理工学院( m r r ) 的媒体实验室和人工智能实验室、卡奈基梅隆大学( c m u ) 的机器人研究所、 中国科学技术大学博士学位论文 第一章绪论 马罩兰大学( u m d ) 、密歇根州立大学( m s u ) 、南加州大学( u s c ) 等。在国 内，这方面的研究工作也开展得如火如荼。人脸识别研究的学术交流十分活跃。 9 0 年代以来，被e i 检索的相关论文数量已达数千篇。一些计算机视觉、模式识 别领域的重要国际学术会议( 如i c c v 、l c p r 、c v p r 等) 都纷纷设有人脸识别 的专题。i e e e 模式分析与机器智能( p 甜e ma i l a l y s i sa n dm a c h i n ei n t e i l i g e n c e ， p a m i ) 和模式识别( p a t t e mr e c o g n i t i o n ) 等国际知名杂志每年都有关于人脸识 别的最新研究成果发表。 跏_r 呻蕾rh 狮矗_ 嘲4 0 勖_ 8 i q n t 憎 图1 1 基于m r t d 系统兼容性的不同生物特征评价 1 2 人脸识别相关研究内容 一般来说，人脸识别技术是指对输入的人脸静态图象或者视频进行处理和分 析，提取出入脸中所蕴含的身份特征，然后与数据库中已存储的模板信息进行匹 配，从而达到识别人脸身份的目的。人脸识别技术具有两种主要工作模式j ：人 脸确认( f l c ev e r m c a t i o n ) 和人脸鉴别( f a c ei d e n t i f i c a t i o n ) ，如图1 - 2 所示。人脸 确认通过一对一的匹配( o n e t o o n em a t c h ) 来完成，即将一个未知人脸图象与一 个身份已被声称的模板人脸图象进行比对，然后通过比对结果以及事先设定的闽 o o 0 0 d o d 8 吲 4 2 &芑2ecl髫董景墨 中国科学技术大学博士学位论文 第一章绪论 值来确定所声称身份是否真实。入脸鉴别，通常就被称作人脸识别，是一个一对 多的匹配( 0 n e t o - m a n y m a t c h e s ) 过程，即将一个未知人脸图象与数据库中的所 有模板人脸图象进行比对，来确定未知人脸图象的身份信息。另外还有一种应用 场景是一对少数的匹配( o n e t o f e wm a t c h e s ) ，即将一个未知人脸图象与少数几 个嫌疑人的人脸图象进行比对。 ( a ) ( b ) 图1 2 人脸确认( a ) 和人脸鉴别( b ) ，摘自【5 人脸识别的研究涉及模式识别、图象处理、计算机视觉、机器学习等多个学 科，并且还与神经生理学、心理学等学科具有紧密的联系1 2 】。广义的人脸议别 研究还包括表情识别( f 如i a le x p r e s s i o nr e c o g n i t i o n ) 、人脸动画( f a c ea n i m a t i o n ) 、 人脸图象压缩等相关的子课题。从实用化的角度，一个自动人脸识别系统应包括 人脸检测( f 2 i c ed e t e c t i o n ) 、人脸校准( f k ea l i g m n e n t ) 、人脸描述( f k e 中国科学技术大学博士学位论文 第一章绪论 r e p r e s e n t a t i o n ) 及特征匹配( f e a t u r em a t c h i n g ) 几个必不可少的组成部分，如图 1 3 所示。 输入图象或视频 0 身份信息 人脸位置 尺寸及姿态 一 经校准的人脸 一人脸特征向量 图1 3 自动人脸识别的流程图 人脸检测是人脸识别系统的前期处理过程。人脸检测就是将人脸区域从背景 中分割出来。在视频情况下，还要利用人脸跟踪( f a c e 虹a c k i n g ) 技术对检测到 的人脸进行跟踪。近几年来，从实用角度考虑，人们更加关注对不受控环境和复 杂背景下人脸识别的研究，于是人脸检测的研究工作得到了进一步的重视，目前 已逐渐成为一个独立和活跃的研究领域。人脸检测中普遍使用的方法如，基于规 则的方法【6 】【7 1 ，基于模板匹配( t e m p l a _ c em a t c l l i n g ) 的方法【8 】【9 1 ，基于人工神经网 络的方法【l o 】，基于b o o s t i n g 学习的方法【1 2 - 1 6 1 等。作为一个功能独立的模块， 人脸检测还可直接应用到人脸跟踪、姿态估计( p o s ee s t i m a t i o n ) 、视觉监控、基 于内容的检索、数字视频处理等其它领域。有关人脸检测算法的详细介绍可参考 苇手 中国科学技术大学博士学位论文 第一章绪论 综述文章 1 7 1 8 1 9 。 人脸检测模块只能提供人脸的粗略位置，如图1 4 ( a ) 所示，在它的基础上 还要进行人脸校准，即人脸的几何归一化( 辨0 m e t r i cn o r r n a l i z a t i o n ) ，这对人脸 特征描述、匹配识别等后续的分析过程具有重要影响。人脸的校准归结为面部关 键特征点( f a c i a l1 a n d m a r k s ) 的提取和定位，如眼睛中心、鼻尖、人脸轮廓等， 如图l - 4 ( b ) 所示。1 9 9 6 年的f e r e t 竞赛【2 0 】表明，需要预先提供眼睛中心位霞 ( 手工标记) 的半自动算法的识别性能明显高于无需提供眼睛中心位置的全自动 算法。面部特征点定位算法主要有：积分投影法| ：2 1 】( i m e g r a lp r 0 _ i e c t i o n ) 、s n a k e s 方法 2 2 】、可变形模板【2 3 】( d e f o m a b l et e r n p l a t e ) 、弹性图匹配( e l a s t i cg r a p h m a t c h i n g ，e o m ) 、主动形状模型( a c t i v es h a p em o d e l ，a s m ) 和主动外观模型 忙5 1 ( a c t i v ea p p e a r a l l c em o d e l ，a a m ) 等。其中a s m 和a a m 是目前解决人 脸校准问题的主流方法。 ( a ) 图1 4 人脸检测与人脸校准示意图 ( b ) 人脸的特征描述及匹配识别是人脸识别系统的核心部分。对于人类而言，人 脸是皮肤、肌肉和器官的组合，而对于计算机而言，人脸表现为象素的灰度值矩 阵，计算机中用什么样的知识来描述人脸是一个很关键的问题。尽管经过了3 0 多年的研究，通过人脸图象来进行人脸识别仍然面临巨大的挑战。人脸识别本质 上是三维非刚性物体二维投影图象的匹配问题，在自然条件下，由于受到光照、 表情、姿态、遮挡、胡须、眼镜、化妆等种种干扰因素的影响，同一人脸的不同 中国科学技术大学博士学位论文 第一章绪论 图象样本之间存在很大的变化，即类内变化，几乎总是要大于由不同个体人脸造 成的类间变化【2 ”，这给人脸的特征描述带来了极大的困难。如果从子空间分析角 度出发，这些变化的存在造成了人脸样本空间实际上是一个高度复杂的非线性流 形【z j ( n o n l i n e a rm a n i f o l d ) ，使得一些简单的模式分类技术难以取得较高的识别精 度。2 0 0 2 年人脸识别产品供应商测试评比【2 8 】( f a c er e c o g n j t i o nv e n d o rt e s t 2 0 0 2 ， f r 、，t 2 0 0 2 ) 的结果显示：在不同姿态、不同光照和不同表情的条件下，人脸识 别系统的识别率还远远不能让人满意。如何从人脸图象中提取出能反映不同人脸 之间微妙差别的人脸特征是解决以上困难的主要途径，同时也是本文要重点研究 的内容。 图l - 5 人脸图片受到光照、表情、眼镜、遮挡干扰时的变化，摘卧2 9 】 1 3 人脸识别算法的研究现状 经过了研究者们多年的探索，各式各样的人脸识别算法层出不穷，比较重要 的综述有【1 3 0 3 l 】【3 2 【3 3 】【3 4 。人脸识别算法涵盖的知识面相当广泛，很难对 它们进行一个完整的归类，或者说从不同的角度可以得到不同的划分结果。如果 从人脸描述方法的角度出发，人脸识别算法一般可分为两大类：基于几何特征的 中国科学技术大学博士学位论文第一章绪论 方法( f a n l r e b a s e da p p r o a c h e s ) 和基于外观的方法( 印p e a r a n c e b a s e d 印p m a c h e s ) 。 近年来，随着人脸识别研究的不断深入，第二类方法的研究已逐渐成为该领域的 主流方向，其中比较有代表性的如e i g e n f k e s 方法【3 5 1 、f i s h e r f a c e s 方法1 3 6 】、弹性 图匹配( e l a s t i cg r a p hm a t c h i n g ，e g m ) 方法【2 4 】【3 ”、以及最近新发展起来的二维 主分量分析方法【3 8 】( 2 d p c a ) 等。 1 3 1 基于几何特征的方法 早期的人脸识别主要集中在几何特征( 鼯o m e 仃i cf b a t u r e ) 方法【3 9 郴】的研究上。 这类方法首先需要定位面部的主要器官，如眉毛、眼睛、鼻子、嘴和下巴等，再 从中选择一组反映它们之间的距离、角度、区域形状等器官的结构配置特征，这 种特征提取方式通常用于侧面和正面的人脸识别中。早在上个世纪7 0 年代， k a n a d e 4 3 】首次设计出了一种基于几何特征的全自动人脸识别系统。该系统利用 积分投影法从单幅人脸图片中定位和提取出面部特征点，使用基于最小欧氏距离 的模式分类技术进行匹配。另一项具有代表性的工作是文献【2 1 】中介绍的几何特 征提取方法，他们利用眉毛厚度、嘴的长宽及位置、鼻宽及位置和下巴形状等特 征参数( 如图1 6 所示) 构成了一个3 5 维的特征向量来描述人脸，然后结合贝 叶斯分类器进行识别。 图1 6 文献 2 1 】中的几何特征提取方法示意图 中国科学技术大学博士学位论文第一章绪论 几何特征方法的优点在于描述人脸图象的特征向量十分简洁，对光照变化不 敏感。然而，这种描述方式仅利用了面部的结构信息，完全抛弃了图象中有用的 纹理信息，是一种比较粗犷的人脸表达，可能无法保证人脸知识表达的完备性。 此外，从人脸图象中自动、精确地检测和提取出这些几何特征相当困难，尤其在 多姿态情况下难度更大。而现有的面部器官检测方法在可靠性和速度方面都无法 满足实际需要。总体来看，虽然几何特征方法在早期的人脸识别领域持续了很长 一段时期，但所取得的识别效果比较不理想。由于这些原因，近年来这类方法的 研究没有得到进一步的发展。 1 3 2 模板匹配方法 与几何特征方法所不同的是，基于外观的方法直接使用人脸图象象素的灰度 值来描述人脸。基于模板匹配【2 1 1 ( t e m p l a _ t em a t c h i n g ) 的人脸识别是这类方法中 最简单的一种，其基本思想是将人脸灰度图象当作数据库中的模板，然后通过计 算未知样本i ，和已知模板i 。之间的归一化相关 c 。= 错 来进行人脸识别。其中i ，i 。表示图象i ，和图象l 。对应象素值相乘，( ) 表示取平 均，盯为图象的标准偏差。b m e l “和p o g g i o 2 l 】对全局模板( 整个人脸) 或局部 模板( 眼睛、鼻子和嘴巴) 都进行了尝试。他们在一个由4 7 个人组成的人脸数 据库上将该方法与基于几何特征的方法进行了比较，实验结果表明，在人脸尺度、 光照、姿态条件稳定的情况下，模板匹配方法取得的识别精度更高。此外，在对 模板性能的评估中他们得出的结论是：眼睛区域模板效果最好，然后依次是鼻子、 嘴巴和整个人脸。 模板匹配方法虽然简单直观，但由于特征向量维数通常就是人脸图象象素个 数，因此两个样本之间的相似性的计算量很大。在实际应用中，当模板数据库中 的人数较多时，该方法的识别速度将是难以忍受的。此外，由于该方法需要将图 象数据作为模板文件存储起来，又造成了存储的不紧凑性问题。 中国科学技术大学博士学位论文第一章绪论 1 3 3e i g e n f a c e s 方法 s i r o v i c h 和k i r b y 4 4 】【4 5 1 最早将k l 变换| ：4 6 应用到人脸图象的最优表示，t u r k 和p e n t l a n d 进而提出了基于主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的特征脸( e i g e n f 她e s ) 方法1 3 5 】。主分量分析【4 6 。5 0 1 是一种应用十分广泛的数据降 维技术，该方法选择与原数据协方差矩阵前几个最大特征值对应的特征向量构成 一组基，以达到最佳表征原数据的目的。 假设m 个人脸图象，将其中每个图象表示成向量形式1 ，构成维样本集合 x ，) ，显然这里的v 就是图象的象素数。可进一步将该集合表示成一个矩阵形式： x = 【x x ：x 。 月”。令m 是所有样本的均值向量( 即平均人脸) ，从x 的 每列中抽取m 得到： = 【x 1 一mx 2 一m x m m 】_ h l 甲2 叩硝】 ( 1 - 2 ) 主分量分析的目标就是寻找一组最小均方误差重建意义下的正交基向量u ，。这组 正交基可通过求解原数据的协方差矩阵 的特征向量得到 村 s ，= 平。q ，7 = m m 7 i = t s ，u 。= u 。，f = l ，2 ，一，d ( 1 3 ) ( 1 4 ) u = f u ，u 。】即为p c a 方法的线性变换矩阵，其中的列向量是s ，的前d ( d ) 个最大特征值对应的特征向量。由于将这些特征向量返回成图象时看上去仍然像 人脸的缘故，t u r k 和p e n t l a i l d 称它们为特征脸，特征脸方法也因此而得名。在 人脸识别中，由一组特征脸基图象张成一个特征脸子空间( e 谵e n s p a c e ) ，任何一 幅人脸图象( 减去平均人脸后) 都可投影到该子空间，如图1 7 所示，得到的投 影系数 ；= 孝。善：善。】。 将图象所有象素按行或列排列而成的向量 ( 1 5 ) 中国科学技术大学博士学位论文 第一章绪论 作为该样本的特征向量。识别人脸时，只需将待识别样本的投影系数与数据库中 目标样本的投影系数进行比对，以确定与哪一类最近。e i g e n f 如e s 方法使用了基 于欧氏距离的最小距离分类器，后来使用较多的还有基于欧氏距离、马氏距离以 及向量夹角的最近邻分类器( n e a r e s t n e i g h b o r ，n n ) 。 输入人脸平均人脸特征脸1 特征脸l o 特征脸d 图1 7 人脸图象的特征脸子空间描述示意图 特征脸方法之所以能在人脸识别领域取得了十分成功的应用在很大程度上 得益于该方法计算上的方便，而这要归功于奇异值分解定理1 5o 】( s i n g u l a rv a l u e d e c o m p o s i t i o n ，s v d ) 的巧妙使用。如前所述，人脸图象样本维数通常就是 图象的象素数，显然要远大于训练样本个数m ，直接求解规模为| 的矩阵s ， 的特征值和特征向量几乎是不可能的。而实际上s ，只有m 一1 个非零的特征值， 这些特征值以及与它们对应的特征向量可以方便地通过奇异值分解定理来进行 求解。考虑一个m m 的矩阵 其特征向量满足 两边同乘以巾得到 s = o 。m 由7 、m v = v ( 1 6 ) ( 1 7 ) o m 7 1 由v ，= 中v ，= 争s 。o v 。= 五f o v ， ( 1 - 8 ) 。 二式表明中v ，就是原协方差矩阵s 。的特征向量，因此s ，的特征向量可以通过先求 解较小矩阵蚕，的特征向量，再将结果左乘中得到。 中国科学技术大学博士学位论文第一章结论 e i g e n f a c e s 方法为人脸识别中子空间分析方法( s u b s p a c ea n a l y s i s ) 这一主流 研究方向开辟了道路，同时也使人脸识别精度提高到了一个新的水平，对人脸识 别技术走向实用化具有很大的推动作用。e i g e n f a c e s 方法的不足之处在于：由主 分量张成的子空间虽然从最小误差重建意义上是最优的，但是与分类任务没有直 接联系；该方法本质上还是利用了象素之间的统计相关性，因此对光照等因素较 为敏感；主分量分析本身是一种二阶的统计分析方法，因此对图象的高阶相关信 息在描述复杂模式中的重要性缺乏考虑。 自e i 鼯n f 犯e s 方法以后，在人脸识别中取得成功应用的子空间分析方法还有： 概率子空间分析方法卧5 4 1 ( p r o b a b i l i s t i cs u b s p a c e a n a l y s i s ，p s a ) 、线性鉴别分析 方法【3 6 】【5 5 5 9 1 ( l i n e 缸d i s c r i m i n 舭ta n a l y s i s ，l d a ) 、独立分量分析方法【6 0 6 2 j ( i n d e p e n d e n t c o m p o n e n t a n a l y s i s ，i c a ) 、基于核的主分量分析方法| _ 6 3 1 【删( k e m e l p c a ) 等等。 1 3 4f i s h e r f a c 船方法 主分量分析是一种无监督学习( u n s u p e r v i s e dl e a r n i n g ) 方法，主分量是指向 数据能量分布最大的轴线方向，因此可以从最小均方误差意义下对数据进行最优 的表达。但是就分类任务而言，由主分量分析得到的特征却不能保证可以将各个 类别壤好地区分开来。线性鉴别分析h 7 】1 6 5 1 ( l d a ) 是一种著名的模式识别方法， 通过将样本线性变换到一个新的空间。目标是使样本的类内散布程度达到最小， 同时类间散布程度达到最大，即著名的f i s h e r 准则【4 7 1 。为了得到满足f i s h e r 准则 的最佳映射方向，线性鉴别分析方法需要先从训练样本估计出类内散布矩阵 ( 、v i t i l i n - c l a s ss c a 睑r m a 仃i x ) s 。和类问散布矩阵( b e t 、v e e n c l a s ss c 甜e r m a 仃i x ) s 6 ， 定义如下： s 。= ( x m ，) ( x i = lx e n c s 。= ( m ，一m ) ( m 。一m ) 7 ，= i ( 1 9 ) ( 1 1 0 ) 其中，d ，表示第f 个人的样本集合，c 为总人数，总样本数m = ：m 。，m 为 中国科学技术大学博士学位论文 第一章绪论 第f 个人的样本数，m 为所有样本的均值，m 为第f 类样本的均值。f i s h e r 鉴别 分析以最大化类间散布程度与类内散布程度的比值为优化目标，最佳变换矩阵求 解归结为下面的优化问题： u w 呼础 可以证明，求解上式等价于下面的广义特征根问题： s 6 u 。= s 。u ，f = 1 ，2 ，n ( 1 1 2 ) 由上式可见，当s 。为非奇异矩阵时，最佳映射方向的求解实际上是矩阵s ：1 s 。的 普通特征根问题。但是对于人脸识别这样的小样本问题( s m a l ls 锄p l es i z e ) 而言， s 。几乎总是奇异矩阵，因此无法直接求解。根据定义可知，矩阵s 。的秩至多是 肘一c ，m 是训练样本个数，c 是类别数。对此，b e m 啪e 0 1 l r 等人【3 6 】的做法是 先用p c a 将原样本降维到m c ，使得类内散布矩阵s 。变得非奇异，再在p c a 降维子空间中作标准的线性鉴别分析得到最佳映射方向。因此，最终的最佳线性 变换矩阵由如下的两部分构成： ( 1 1 3 ) 其中u 。为主分量分析的变换矩阵，u 。为下式的最优解： u 。：盯g m a x 臣! ! 釜! ! ! 墅型 ( 4 ) u 矿哪警而景意赫 “j 4 矩阵u 中的列向量为所寻找的最佳映射方向。沿用e i g e n f 如e s 方法【3 5 】的称法，文 献3 6 1 称该方法为f i s h e r f a c e s 方法。他们在一个光照变化很大的5 人数据库和另 一个光照和表情变化都很大的1 6 人数据库上的实验结果均表明，f i s h e r f a c e s 方 法取得的错误率低于e i g e n f a c e s 方法。 s 、v c t s 酬等人提出的最佳鉴别特征( m o s td i s c r i m i n a t i n gf e a t u r e s ，m d f ) 方 法和l i u 等人提出的增强的f i s h e r 线性鉴别模型方法削( e i l l l a n c e df i s h e rl i n e a r d i s c r i m i n a n tm o d e l ，e f m ) 也都遵循“先作p c a 降维，再在p c a 子空间进行 i ，d a ”这一两步策略。 中国科学技术大学博士学位论文 第一章绪论 除此之外，研究者们也探讨了一些其它的小样本问题解决办法，如z h a o 等 人【57 1 提出的扰动法，即对奇异的类间散布矩阵的对角线元素加上一个很小的f 数：s 。+ 脚。浚方法虽然能使类内散布矩阵变得非奇异，但是由于矩阵本身的 规模很大，难免会造成求解速度过慢的问题。 又如y u 等人【5 8 】提出的d i r e c tl d a 方法，他们认为，抛弃s 的零空间( n u l l s p a c e ) 不会损失任何有用鉴别信息，而s 。的零空间则可能包含丰富的鉴别信息， 因此线性鉴别分析中采用了一种“同步对角化s 。、s 。，”的策略，具体过程为： 对s 。做特征根分析，即找到一个w ，使得： w 7 s 6 w = a 6 ( 1 1 5 ) 从w 中去掉那些0 或接近0 的特征根对应的特征向量，得到葡，( 1 1 5 ) 右端相 应变为天6 ，在此基础上再作白化( w h i t e n ) 处理：v7 s 。v = i ，其中v = 荫( 天。) ， 此时的类内散布矩阵为v 7 s 。v ，将其对角化： z 7 ( v 7 s 。v ) z = a 。 ( 1 1 6 ) 根据前面分析，应该选取a 。中那些最小的特征根对应的特征向量，构成z ，最 后总的线性变换为：u = v z 。该方法虽然表面上没有丢掉s 。的零空间，而实际 上在去掉s 。的零空间的同时也间接丢掉了s 。的零空间中的信息【6 6 i 。另外，c h e n 等人 5 9 提出的零空间法的主要思想是，先将样本投影到类内散布矩阵s 。的零空 间，再在其中寻找最大化类间散布程度的一组基向量。以上这些基于线性鉴别分 析的方法促进了f i s h c r f k e s 人脸识别方法的进一步发展。 正如文献【5 5 】中所描述的那样，p c a 方法提取的是样本的最佳表达特征( m o s t e x p r c s s i v ef ea _ t i l r e s ，m e f ) ，而l d a 方法提取的是样本的最佳鉴别特征( m o s t d i s c r i m i n a t i n ef c a t u r e s ，m d f ) 。因此，从理论上讲l d a 方法更加适合于人脸识 别任务。尽管如此，最近也有一些关于两种方法的争论。如文献 6 7 】中的实验得 出，在每类只有少数训练样本情况下，p c a 方法的识别效果较l d a 方法更好。 我们认为可能的原因是由于每类的训练样本太少而导致无法提供足够的关于类 内变化的散布信息。 中国科学技术大学博士学位论文第一章绪论 1 3 5 基于弹性匹配的方法 l a d e s 等人例针对畸变不变性的物体识别问题提出了一种基于动态连接结构 ( d y n 枷i cl i n ka r c h i t e c t u r e ，d l a ) 的弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方 法，并将其应用到人脸识别。该方法使用稀疏网格的连通图来描述人脸图象，图 的结点用局部能量谱的多分辨率描述标记，称为j e t ，图的边用几何距离向量标 记，人脸识别转化为图的匹配。后来w i s k o t t 等人【2 4 】提出的弹性束图匹配( e l a s t i c b u n c hg r a p hm a t c h i n g ) 方法是对以上弹性图匹配方法的发展，主要包括三个方 面的改进：1 相似性函数中引入了相位信息，使得结点定位更加精确；2 用适 应对象图( o b j e c t a d 叩t e dg r a p h s ) 代替简单的矩形网格图来解决大的深度旋转问 题，即将图的结点对应到面部的关键特征点；3 每个结点用多重j e t 描述，称为 束图( b u n c hg r 印h ) ，作为对人脸的更具普遍性的描述，如图1 8 所示。 图1 人脸弹性柬图示意图，摘卧2 4 】 由于该方法利用g a b o r 小波变换来描述面部特征点的局部信息，因此受光照 影响较小。此外，在弹性匹配的过程中，网格的形状随着特征点的搜索而不断变