（模式识别与智能系统专业论文）人脸识别中鉴别特征抽取若干方法研究.pdf

博士论文人脸识别中鉴别特征抽取若干方法研究 摘要 特征抽取是模式识别中最基本的问题之一在人脸识别中，抽取有效的鉴别特征 是解决问题的关键线性投影分析( 包括主分量分析( 或称k - l 变换) 和f i s h e r 线性鉴 别分析) 与基于核技术的非线性投影分析是特征抽取中最为经典和广泛使用的方 法该文就有关线性投影分析与基于核技术的非线性投影分析的理论与算法进行了深 入的研究，所提出的算法在人脸识别方面得到了较成功的应用 商维小样本情况下如何有效地求得理想的f i s h e r 鉴别矢量是非常困难且急待解 决的问题该文基于广义的f i s h e r 线性判别准则，将投影变换、同构变换和压缩变换 相结合，解决了这个问题，完善了小样本情况下线性鉴别分析理论给出了 p p c a + f d a 有效实用算法利用这个算法，基于广义的f i s h c r 鉴别准则最优鉴别向 量的计算只需要在低维空间里进行，减少了计算量，提高了求解的效率在o r l 人 脸库三种分辨率灰度图像上实验表明，p p c a + f d a 算法抽取的鉴别向量有较强的特 征抽取能力 该文秉承主成分分析的思想，从原始数字图像出发，在模式识别之前，先对图像 进行分块，对分块得到的子图像矩阵使用主成分分析进行鉴别分析一这种特征抽取方 法称为分块主成分分析或单元主成分分析理论上来说，分块主成分分析是主成分分 析的推广基于分块主成分分析，进一步提出了m 2 p c a + f d a 特征抽取方 法m 2 p c a + f d a 大体可分为两个步骤：首先将分块p c a 用于原始图像以便获得与 原始图像对应的低维的模式，然后对低维的模式施行f i s h e f f a e e s 方法实现模式分 类在y a l e 和n u s t 6 0 3 两个人脸库上与o r l 和n u s t 6 0 3 两个人脸库上分别检验了 两种方法的识别性能，实验结果表明两种方法抽取的鉴别特征有较强的鉴别能力 该文对二维主成分分析进行了推广，提出了分块二维主成分分析( m o d u l a rt w o d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ，m 2 d p c a ) ，或简称为分块2 d p c a ，并将其 应用于人脸识别分块2 d p c a 的基本思想与已有的诸如f d a 、p c a 、m o d u l a rp c a 鉴 别方法不同，在鉴别特征提取过程中不需要事先将图像矩阵( 或子图像矩阵) 转化为 图像向量其基本步骤是先对图像矩阵进行分块，然后对分块得到的子图像矩阵施行 2 d p c a 在0 i 也和n u s t 6 0 3 两个人脸库上的实验表明，与基于图像向量的鉴别方法( 比 如p c a ) 相比，该方法不仅有较高的识别性能，而且能够大幅度地提高特征抽取的速 度其次，由于直接基于2 维子图像矩阵，在特征提取过程中可以避免使用矩阵的奇 异值分解，过程简便；在o r l 人脸库上的试验结果表明，在识别性能方面，分块2 d p c a 优于2 d p c a 基于分块2 d p c a ，本文还提出了分块2 d p c a + f i s h e r f a c e s 鉴别分析方 法在n u s t 6 0 3 人脸库实验，该方法可以达到9 9 2 的识别率，这个结果与 摘要 博士论文 m 2 p c a + f d a 方法达到的最高识别率相同，但鉴别特征抽取时间只是后者的三分之 实际问题中原始样本的分布通常是高度复杂和非线性的，利用传统的线性鉴别方 法( 如f d a 和p c a ) 来解决分类问题，一般不能取得令人满意的结果受支持向量机 an e wa l g o r i t h mc a l l e dp p c a + f d ai sd e v e l o p e d , w h i c hi st h o u g h tt ob ee f 岱e c t i v ef o rf e a t u r ee x l r a c c i o n b yt h ep r o p o s e da l g o r i t h m , i nf a c t , t h eo p t i m a ld i s c r i m i n a mv e c t o r sc b ed e r i v e df r o mal o w d i m e n s i o n a l t r a n s f o r m e ds u b s p a c e e x p e r i m e n t sa r ep e r f o r m e do no r lf a c e 蚰a g ed a t a b a w i m r e s p e c tt ot h r e ek i n d so fr e s o l u t i o n , a n dt h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tp p c a + f d ai sr o b u s t , e f f i c i e n t , a n dt h eo p t i m a ld i s c r i m i n a n tv e c t o r se x 廿a c t e db yt h ep r o p o s e da l g o r i t h mh a v ep o w e r f u l a b i l i t yf o rf e a t u r ee x t r a c t i o nb yt h eg e n e r a lm i n i m u md i s t a n c ec l a s s i f i e r b yt h ev i r t u eo fp c a ，m o d u l a rp c a ，ah u m a nf a c er e c o g n i t i o nt e c h n i q u e ，i sp r e s e n t e di nt h i s p a p e r f i r s t , i nt h ep r o p o s e da p p r o a c h 。t h eo r i g i n a li m a g e sa r ed i v i d e di n t om o d u l a ri m a g e s ，w h i c ha e a l s oc a l l e ds u b - i m a g e s t h e n , t h ew e l l - k n o w np c am e t h o dc a nb ed i r e c t l yu s e dt ot h es u b - i m a g e s o b t a i n e df r o mt h ep r e v i o u ss t e p t h e r ee r et w oa d v a n t a g e sf o rt h i sw a y ：1 1 0 c a lf e a t u r eo f t h ei m a g e s c a l lb ee x t r a c t e de f f i c i e n t l y ；2 s i n g u l a rv a l u ed e c o m p o s i t i o no f m a t r i xm a yb ea v o i d e di nt h ep r o c 嚣so f f e a t u r ee x t r a o d o n , w h i c hi ss i m p l e rt h a nt h a to f p r e v i o u st e c h n o l o g i e ss u c ha sp c a m o r e o v e r ) p c ai sa s p e c i a lc a s eo f m o d u l a rp c a f o l l o w i n gt h em o d u l a rp c a , a n o t h e rm e t h o do f f e a t u r ee x t r a c t i o nn a m e d m 2 p c a + f d ai sp r e s e n t e di nt h i sp a p e r t h e r ea r et w o 鲫e p sf o rm 2 p c a + f d a m o d u l a rp c ai sf i r s t l y u s e d0 nt h eo r i g i n a li m a g e st og e tl o w e rd i m e n s i o n a lp a t t e r n sc o r r e s p o n d i n gt ot h eo r i g i n a li m a g e s t h e nt h ew e l l - k n o w nf l s b e r - f a e e sm e t h o di sf o l l o w e do nt h el o w e rd i m e n s i o n a lp a ：旺e r n st of i n i s ht h e p a t t e r nc l a s s i f i c a t i o n t h a ti st os a yt h a tm 2 p c a + f d a i se q u i v a l e n tt om o d u l a rp c ap l u sf i s h e r - f a c e s m e t h o d b o t hm o d u l a rp c aa n dm 2 p c a + f d aa r ct e s t e dw i t hr e c o g n i t i o np e r f o r m a n c eo nt w oh u m a n f a c ei m a g ed a t a b a s e sr e s p e c t i v e l y t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h ep e r f o r m a n c e so ft w o p r o p o s e d m e t h o d s a r e o b v i o u s l ys u p e r i o r t o t h a t o f p c a i nt h i sp a p e r , m o d u l a rt w o - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i ( m 2 d p c a ，o rm o d u l a r 2 d p c a ) , w h i c hi st h eg e n e r a l i z a t i o no ft w o - d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( 2 d p c a ) ，i s i m 2 d p c a + f i s h e 血c 髓c a nr e a c ht h eo o n c g tr e c o g n m o nr a mo f 9 9 2 t h i sr e s u l ti st h es a m ew i t ht h a t o f m 2 p c a + f d a0 1 3t h es a m ed a t a b a s e ，b u tt h et i m eo f e x t r a c t i n gd i s c r i m i n a n tf e a t u r e sf o rt h ef o r m e ri s o n l yt h i r dt ot h a to f t h el a t t e r i nm a n yr e a l - w o r l da p p l i c a t i o n st h ed i s t r i b u t i o n so f o r i g i n a ls a m p l e sa r eu s u a l l yh i g h l yc o m p l e xa n d n o n l i n e a r t h er e s u l to fc l a s s i f y i n gt h e s a m p l e si s n o ts a t i s f y i n g b yu s i n gc o n v e n t i o n a l l i n e a r d i s c r i m i n a n ta n a l y s i ss u c ha sf d aa n dp c a b a s e do i lt h ek e r n e lt d c ki ns u p p o r tv e c t o rm a c h i n e ( s v m ) 。t h eo r t h o g o n a lc o m p l e m e n t a r ys p a c em e t h o db a s e do nk e r n e l 砸c k 笛ak i n do fn o n l i n e a r f e a t u r ee x t r a c t i o nw c h n i q u e i sp r e s e n t e df i n a l l yi nu b i sp a p e r i nt h el a p p r o a c h , t h ek e r n e ll c ki s u s e df i r s t l yt op r o j e c tt h eo r i g i n a ls a m p l e si n t o i m p l i c i ts p a c ec a l l e df e a t u r es p a c eb yn o n l i n e a rk e r n e l m a p p i n g , t h e nt w oe q u i v m e mm o d e l sb a s e do i lg e n e r a l i z e df i s h e rc r i t e r i o nh a v ee s t a b l i s h e db yt h e t h e o r yo fr c p r o d l l c i n gk e r n e li nt h ef e a t u r es p a c e ，a n dt h eo p t i m a ld i s c r i m i n a n tv e c t o r sa r es o l v e d f i n a l l yb yu s i n gt h et e c h n i q u eo fo r t h o g o n a lc o m p l e m e n t a r ys p a c e t h ep m p o da l g o r i t h mw a st e s t e d a n de v a l u a t e do nt h eo r lf a c ed a t a b a s ea n dt h en u s t 6 0 3f a c ed a t a b a s e t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tt h en o v e lm e t h o do u t p e r f o r m sb o t hk p c aa n dk e r n e lf i s h e r f a c e s ，a n di ti st h es a m ew i t ht h e m e t h o di n 【6 0 】i nt e r m so f c o r r e c tr e c o g n i t i o nr a t e k e yw a r d s ：掣蝴r e c o g n i t i o n , f e a t u r ee x t r a c t i o n , l i n e a rd i s c r i m i n a n ta n a l y s i s ，n o n l i n e a rd i s c r i m i n a n t a n a l y s i s ，k e r n e lt r i o k , s m a l ls a m p l es i z ep r o b l e m ，h u m a nf a c er e c o g n i t i o n i 、， 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 2 。6 年1 月 学位论文使用授权声明 南京 号工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的全部或部分内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的全部或部分内容。对于保密 论文，按保密的有关规定和程序处理。 妒6 年月f 日 f 博士论文人脸识别中鉴别特征抽取若千方法研究 第一章绪论 模式识别诞生于2 0 世纪2 0 年代，随着计算机的出现，人工智能的兴起，模式识 另4 在2 0 世纪6 0 年代初迅速发展成一门学科它所研究的理论和方法在很多科学和技 术领域中得到了广泛的重视，推动了人工智能的发展l l j 在人类的模式识别技能中，生物特征识别可能是使用得最多的技能之一我们能 根据以往获取的某个人的脸部信息、声音信息、以及姿态甚至背影信息辨认出这个 人我们希望计算机系统也具有这样的能力现在，全球反恐任务就包含着这方面的 需求常见的需求是要求系统根据虹膜、视网膜、指纹、人脸、语音、步态、掌纹信 息等自动识别人的身份，也有需求要求系统能识别人的表情，甚至有需求要求识别人 是否撒谎等等 1 1 模式识别系统“1 有两种基本的模式识别方法，即统计模式识别方法和结构( 句法) 模式识别方法， 与此相应的模式识别系统都由两个过程所组成，即设计和实现设计是指用一定数量 的样本进行分类器的设计实现是指所设计的分类器对待识别的样本进行分类决 策基于统计方法的模式识别系统主要由4 个部分组成：数据获取，预处理，特征提 取和选择，分类决策图示如下： 训练过程 图1 1 1 模式识别系统的基本构成 1 2 入脸识别介绍及研究概括 人脸识别是当前模式识别和人工智能领域的一个重要研究课题，近l o 多年来已成 为一个非常活跃的研究方向口d 们与指纹虹膜语音等其他人体生物特征相比，人脸识 别更加直接友好，在身份识别、访问控制、视频会议、档案管理、电子相册、基于对 象的图像和视频检索等方面有着广泛的应用人脸识别技术就是以计算机为辅助手 段，从静态图像或动态图像中检测出并识别人脸人脸识别问题可一般地描述为：给 定一个景物的静止或视频图像，利用己存储的人脸数据库确认景物中一个或多个 第一章绪论 博 论文 人虽然人类从复杂背景中识别人脸相当容易，但对计算机自动识别来说，却是一个 相当困难的问题与一般的模式识别类似，人脸识别的一般过程可描述为：从具有复 杂背景中找到人脸、分割人脸，抽取人脸识别特征，然后进行匹配和识别入脸识别 研究跨越了图像处理、模式识别、计算机视觉、人工神经网络以及神经生理学、心理 学等研究领域【l ” 人脸识别具有广泛的应用背景人脸如同人的指纹一样，也具有唯一性，可用来 鉴别一个人的身份，人脸识别技术在商业、法律和其它领域有着广泛的应用人脸识 别首先是法律部门打击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大 的应用价值这些应用包括了从静态的、受控背景的照片到动态的、非控背景的录相 等各个方面，每项应用都有着不同的技术难度、处理方法和分析理解方式它们基本 上可分为两类：静态( 非视频) 匹配和动态( 视频) 匹配近年来对人脸识别原型系统和 商业系统的f e r e t 和f r v t 测试表明【1 2 , t 3 ，对约束环境下采集的图像以及在对象配 合的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质量人脸像片识别率可达 到9 5 以上，但在非约束环境下包括上述光照、姿态等多种变化因素，识别率将急剧 下降，因此非约束环境下的人脸识别也逐渐受到广泛的研究例如，嫌疑犯查找是静 态匹配中最常见的应用显然，在嫌疑犯照片的拍摄过程中，一般来说，可以控制照 相背景、光照条件、摄象机的分辨率以及摄象机与被拍照人之间的距离、角度等，获 得多幅正面人脸图像或多幅侧面人脸图像在这些条件约束下来获取图像，可简化人 脸分割和识别算法公众场合监控是典型的动态匹配应用通过摄象机得到的视频图 像质量一般较差，而且背景比较杂乱，分割人脸就相当困难，但可以利用运动图像分 析来分割运动者的人脸，也可以利用现有的人脸模型，部分薰建人脸图像，这在某种 程度上会比静态匹配更容易解决这方面应用的难点是需要实时处理 早在上世纪六七十年代，人脸识别就引起了广大研究者的强烈兴趣在过去的近 四十年的时间里，心理学家、神经生理学家和工程技术人员对人和机器如何识别人脸 的各个方面进行了广泛的研究1 1 1 , 1 3 - 2 2 1 进入上世纪九十年代，由于各方面对人脸自动 识别系统的迫切要求，特别是美国发生“9 1 l ”恐怖袭击以来，人脸识别的研究变得 十分热门目前，美国等西方国家有许多专门从事人脸识别的研究小组，他们的研究 受到军方、警方及大公司的高度重视和巨额资助近年来，国际、国内的众多高校也 普遍开展了对人脸识别的研究，在人脸识别方面的研究取得了较大的进展，国际国内 发表的有关人脸识别的论文在数量上大幅增长，i e e et a a n s p a m i 还于1 9 9 7 年七月 出版了人脸识别的专辑，每年的国际会议上关于人脸识别的专题也屡屡可见 1 3 入脸识别方法 人脸自动识别系统包括两个主要的技术环节首先是人脸的检测与定位，即从输 博士论文人脸识别中鉴别特征抽取若千方法研究 入图像中找到人脸，即人脸存在的位置，将人脸从背景中分割出来，然后再对标准化 后的人脸图像进行特征提取和识别由于检测与识别两个环节的独立性很强，一般将 二者分离开来，分别加以研究关于人脸检测与定位，目前普遍采用的方法有模板匹 配法 2 3 。7 j ，基于人工神经网络的方法1 2 8 - 3 0 l ，基于规则和知识的方法【3 1 1 ，基于隐马尔科 夫模型( h 】州) 的方法【3 2 】等；特征提取和识别是模式识别系统最重要的步骤之一其 基本任务是如何从许多特征中找出那些最有效的特征某种程度上我们可以说，特征 抽取( 特征提取) 的研究不仅在模式识别学科形成之初就得到发展，而且这方面理论与 技术的发展极大地促进了模式识别学科的发展今天，模式分类方法在很多应用中的 成功得益于特征抽取方面的理论成果特征抽取研究肩负两方面的使命，一是寻找针 对模式的最具鉴别性的描述，以使此类模式的特征能最大程度地区别于彼类；二是在 适当的情况下实现模式数据描述的维数压缩，当描述模式的原始数据空间对应较大维 数时，这一点非常有意义，甚至必不可少l 关于人脸特征提取和识别的方法，现概述 如下： 1 3 1 基于代数特征的方法 将一幅人脸图像看成一个矩阵，通过作矩阵变换或线性投影，可以抽取人脸的代4 一“。 数特征t u r l 【和p e n t l a n d 提出了基于k - l 变换的特征脸方法1 3 3 1 ：h o n ga n dy a n g 提 出了人脸图像的奇异值特征1 3 4 - 3 6 1 ；程永清等 3 7 3 8 1 根据矩阵的相似性鉴别函数来提取图 像的代数特征；程永清等【3 9 l 基于f i s h e r 鉴别准则对矩阵进行秩分解提取图像的代数特 征：黄修武1 4 0 1 提出了基于隶属度的人脸图像特征提取方法；接着l i u t 4 1 l ，g u o l 4 2 4 3 l 等 提出了基于f o l e y s a m m o n 变换的人脸图像的最佳鉴别特征；b e l h u m e u r 等提出了 f i s h e f f a c e s 方法m 】；d l s w e t s 等人f 4 5 1 提出了最具有鉴别能力的特征抽取方法；l i u 【侧 等提出了基于e f m 的特征抽取方法；z j i n a n dj y y a n 9 1 4 7 4 9 1 从统计不相关的角度， 提出了具有统计不相关的有效鉴别特征与f s 鉴别矢量集不同的是，具有统计不相 关性的最优鉴别矢量是满足共轭正交条件的j i na n dy a n g 的方法被称为不相关的鉴 别分析或j i n - y a n g 线性鉴别法；在高维小样本情况下，y a n g 5 0 5 1 】为f o l e y s a m m o n 线 性鉴别分析和j i n 的统计不相关的线性鉴别分析建立了一个统一的理论框架在该框 架下，最佳鉴别矢量集的计算实质上只需要在m ( r a n k ( 只) ) 维空间内进行，从而极 大地提高了求解效率并揭示了用该最佳鉴别矢量集进行特征抽取的本质，即先作 k l 变换，再用f i s l a o r 鉴别变换作二次特征抽取进一步地，y a n g 给出了高维小样 本情况下线性鉴别分析的一个具体实现方法即组合最优的线性鉴别法。有实验表明， 基于代数特征的方法是相对成功的方法【5 2 】 此外，近十年里，核技术1 5 3 在模式识别领域中得到了迅猛的发展，并被应用于人 脸识别基于核技术的原始输入空间的非线性的代数特征抽取方法也成为研究的热点 1 洲0 0 第一童绪论博士论文 1 3 2 基于几何特征的方法 人脸由眼睛、鼻子、嘴、下巴等部件构成，对这些部件和结构关系的几何描述， 可作为识别人脸的重要特征k a n a d e 酊l 用几何量作为人脸的特征，这些几何量包括 眼角、嘴角、鼻孔、下巴这些点之间的距离以及所成的角；b u h r 6 2 i 用图表示法和描述 树法给出了人脸的3 3 个主要特征与1 2 个次要特征，其主要特征包括了2 4 个基于眼 睛、人脸中心、嘴的量测；y u i l l e l 6 3 j 提出了包括头发、鼻子、嘴并用弹簧连接边缘的 全局人脸模板以抽取出眼睛与嘴：c m w 【叫提出了更复杂的入脸模板，包含了头发线 条、眼睛，眉毛、鼻子、嘴和面颊；浏明等抽取人脸的5 个距离量度作为人脸识别 特征人脸的几何特征比较稳定，受人脸的姿态变化与光照条件等因素的影响小，但 弱点是不容易抽取，而且量测精度不高 1 3 3 基于弹性模型的方法 b u h m 锄f 删，l a d e s 6 7 1 等针对畸变不变性的物体识别提出了动态连接结构模型 ( d y n a m i cl i n ka r c h i t e c t u r e 。d l a ) ，将物体的图像用稀疏网格图形来表达，通过局部 能量谱的多分辨率描述来标注图形上的一些端点，用几何距离向量来标注连线目标 识别就是测试样本与训练样本的弹性匹配的过程，即通过匹配代价函数的随机优化来 完成d l a 方法对于8 7 个人的样本集，获得了9 0 以上的识别率，这些样本包含多种 变形，如表情变化、旋转等；w i s k o t t 等 6 s i 将人脸特征上的一些点作为基准点，强调 了人脸特征处的重要性，这个结构称为弹性图他们采用每个基准点存储一串具有代 表性的特征矢量，大大减少了系统的存储量；w i i r t z 等f 删等只使用人脸面部的特征， 进一步消除了结构中的冗余信息和背景信息，并使用一个多层的分级结构；g n t d i n 等 7 0 1 也采用分级结构的弹性图，通过去除了一些冗余节点形成稀疏的人脸描述结构；另 一种方法是n a s t a r 等【7 i 】提出将人脸图像i ( ) 【y ) 表示为可变形的3 d 网格表面( x ，y ， i ( x ，y ) ) ，将人脸匹配问题转换为曲面匹配问题，利用有限元分析的方法进行衄面变 形，根据两幅图像之间变形匹配的程度识别人脸虽然d l a 方法具有较好的识别效果， 但是代价函数最优化的计算量较大 1 3 4 基于神经网络的方法 人工神经网络由于其固有的并行运算机制以及对模式的分布式全局存储，故可用 于模式识别，而且不受模式形变影响用于人脸识别的神经网络方法可训练有较强噪 声和部分缺损的图像，这种非线性方法有时比线性方法更有效最早应用神经网络进 行人脸识别工作的是k o h o n e n p 2 ，利用网络的联想能力回忆人脸，当输入图像噪音很 多或部分图像丢失时，也能回忆出准确的人脸；d e m e r s 等1 7 3 1 提出采用p c a 方法提 取人脸图像特征，用自相关神经网络进一步压缩特征，最后采用一个m l p 来实现人 脸识别；l a u r e n c e 等【7 4 】通过一个多级的s o m ，实现样本的聚类，将卷积神经网络 c n n 用于人脸识别c n n 利用了每个象素及其相邻象素之间的相关性，对图像的平 博士论文 人脸识别中鉴别特征抽取若干方法研究 移旋转和变形具有一定的鲁棒性；r a n g a n a t h 和a n m l 7 5 i 提出了用于人脸识别的径向基 函数网络( r b f n ) ：l i n 【7 6 】等提出了用于人脸检测、眼睛定位与人脸识别的基于概率 决策的神经网络；l e e 等提出了用于人脸识别的模糊b p 网络【7 7 1 ；c r a t t a 等7 8 1 提出了 将r b f 与树分类器结合起来进行人脸识别的混合分类器结构后来，他们基于r b f 神经网络进行了针对部分人脸的识别研究，表明利用部分人脸也可以有效地识别人 脸 1 3 5 形变模型方法 l a n i t i s 等【”j 通过在人脸特征边沿，选择一些稀疏的基准点描述人脸的形状特征， 然后将形状变形到所有人脸图像的平均形状，再根据变形后的形状进行纹理灰度变 形，形成形状无关的人脸图像；类似地，r o m d h a n i 等【3 0 】采用激光扫描仪获得人脸的 3 d 数据，分别对一些基准点构成的形状和基准点的灰度或彩色完成p c a 得到3 d 人 脸形状和灰度彩色基图像通过变化参数就可获得不同的3 d 人脸模型，通过施加一 些先验约束可以避免合成不真实的人脸图像，利用线性形状和纹理误差，通过3 d 模 型向2 d 输入图像的自动匹配实现人脸识别 此外，还有不少的特征抽取方法要素分析( f a c t o ra n a l y s i s ) 也是一种类似p c a 的维数压缩方法它假设我们观察到的数据是某些潜在的未表现出来的要素的某种线 性组合与噪声的叠加，并且噪声与要素都是高斯信号【s 1 1 投影追踪( p r o j e c t i o np u r s u i t ) 也能达到维数压缩的目的：但它的主要出发点是要保留数据中令人感兴趣的特征 i s 2 1 。有研究认为，最令人感兴趣的特征是其数据的高斯分布性最小的特征1 s 3 8 4 1 i c a 方法假设数据由若干独立源信号混合而成，并力求分析出这些独立源信 号在独立分量分析中数据的二阶和高阶统计信息都能得到利用l s s ，而且还能消除高 阶相关性( 8 6 8 7 1 i c a 方法在盲信号分离上得到了成功的应用【8 8 】，在抽取人脸图像特 征与人脸识别上也取得了较好的效梨静删 主曲线方法 9 4 1 最近也在特征抽取中得到应用 总体说来，基于线性投影的代数特征方法及基于核的非线性鉴别分析方法依然是 入脸识别的最具影响力的主流方法到目前为止，在大样本人脸库上( 1 1 9 6 人或更多) 通过测试的三种识别率最高的方法，分别为u s c ( u n i v e r s i t yo fs o u t h e r nc a l i f o r n i a ) 的 方法，u m d c o n i v e r s i t yo f m a r y l a n d ) 的方法，以及m a s s a c h s e t t si n s t i t u t eo f t e c h n o l o g y ( m i d m e d i a l a b 给出的方法除了u s c 的方法外，u m d 和m i t 的方法都是先进行 主分量分析，再作鉴别分析不同的是，u m d 采用的是线性鉴别，而m i t 采用二次 鉴另j j ( q u a d r a t i cd i s c v i m i a a a t ) 1 4 人脸识别方法的评价 第一毒绪论博士论文 表1 4 1 人脸图像库基本情况 人脸图像库人脸图像的描述 1 6 人，每人2 7 幅有光照、尺度的变化和脸部的旋转 m i t 人脸图像库 ( 邱：w h i t e c h a p e l m e d i a m i t e x i u p u b i m a g e s 0 目前来说非常大型的一个权威人脸图像库 f e r e t 人脸图像库 ( h t t p ：w w w n i s t g o v s r d 0 有5 6 4 幅图像有姿态变化，包括了从侧面到正面的2 0 组 u m i s t 人脸图像库 图像( h r c p ：i m a g e s u m i s t u k d a n n y l d a t a b a s e h l m l ) b e r n 大学人脸图像有3 0 0 幅人脸正面图像，每人1 0 幅；1 5 0 幅侧面图像，每人 库 5 幅( 邱 a a m f p u n i b e c h p u b l m a g e s f a c e t m a g e s o 由不同光照条件下，不同表情，和戴眼镜或不戴的人脸图像 y a l e 人脸图像库 构成( h t l p ：c v c y a l e e d u 、 o r l 人脸图像库 4 0 个人，每人l o 幅( h t t p ：l l w w w u k r e s e a r c h a t t c o m ) 由在不同光照条件下，部分有遮挡的人脸图像构成 h a r v a r d 入脸图像库 ( 邱：f t p h r l h a r v a r d e d u p u b f a c e s ) 由多种图像序列构成的人脸图像库 m 2 v t s 人脸图像库 ( h t t p ：p o s e f d o n c s d a u t h g r m 2 v t s i n d e x h l m ) 包括3 2 7 6 幅人脸图像。人脸图像是在不同光照，不同表情。 a r 人脸图像库和不同遮挡的条件下采集的 ( h t r p ：r v l | e c n p u r d u e e d u , - - a l e i x a l e i x f a c e d b h t m l ) 为了获得一个较为客观的人脸识别方法的评价，一个很重要的环节就是所有的实 验是在一个标准的而且有代表性的人脸图像库上进行的虽然在过去的研究工作中有 大量的人脸识别方法产生，但只有很少一部分方法是在相同的人脸图像库上以相同的 条件进行的由于各人脸图像库的建立过程不尽相同，侧重点也各有不同，如有的图 像库突出人脸表情的变化，而有的则是重点突出光照和遮蔽对人脸图像的影响而且 各人脸图像库所包含的人脸图像的数目也大相径庭，从几百到几万不等这都给评价 各种人脸识别方法的实用效果造成了很大的不便表1 4 1 列举了现在经常用到的几 个人脸图像库的情况 另外，人脸识别方法的训练时间和识别时间也是需要考虑的一个因素，很多已有 的人脸识别方法却忽略了这一因素，而这恰恰正是需要实时应用的系统所必须的 1 5 本文研究工作概述 本文对线性与基于核的非线性投影分析的有关理论与算法进行了深入的研究，所 博士论文人脸识别中鉴别特征抽取若干方法研究 做的主要工作概述如下： ( 一) 基于广义的f i s h e r 线性判别准则，将投影变换、同构变换和压缩变换相结 合，解决了小样本情况下广义的f i s h e r 鉴别准则最优鉴别向量的求解问题，完善了小 样本情况下线性鉴别分析理论给出了有效实用算法一p p c a + f d a ( p r o j c c t c dp c a p l u sf d a ) 方法利用这个算法，基于广义的f i s h e r 鉴别准则最优鉴别向量的计算只 需要在低维空间里进行，减少了计算量，提高了求解的效率在o r l 人脸库三种分 辨率灰度图像上实验表明，p p c a + f d a 算法抽取的鉴别向量有较强的特征抽取能力 ( 二二) 秉承主成分分析的思想，从原始数字图像出发，在模式识别之前，先对图 像进行分块，对分块得到的子图像矩阵使用主成分分析方法进行鉴别分析一这种特征 抽取方法称为分块主成分分析或单元主成分分析这样做主要基于下面两点考虑，一 是在人脸识别中当人脸表情和光照条件变化较大的情况时，由于通常的主成分分析方 法抽取的是图像的全局特征，所以其识别效果并不理想而实际上当入脸表情和光照 条件变化时，仅部分人脸区域变化明显，而其它部分变化不大，甚至无变化，对划分 后的子图像进行鉴别分析可以捕捉人脸的局部信息特征，从而有利于识别；二是对原 始数字图像分块，不仅可以方便地以2 的指数次幂降低图像向量的维数，而且可以以 2 的指数次幂增加子图训练样本的数目，将小样本问题转化为大样本问题处理，减少 问题的复杂度理论上来说，分块主成分分析是主成分分析的推广基于分块主成分 分析，进一步提出了m 2 p c a + f d a 特征抽取方法m 2 p c a + f d a 大体可分为两个步 骤：首先将分块p c a 用于原始图像以便获得与原始图像对应的低维的模式，然后对 低维的模式施行f i s h g a f a c e s 方法实现模式分类在y a l e 和n u s t 6 0 3 两个人脸库上与 o r l 和n u s t 6 0 3 两个人脸库上分别检验了两种方法的识别性能，实验结果表明两种方 法抽取的鉴别特征有较强的鉴别能力 ( 三、对二维主成分分析( t w od i m e n s i o np r i n c i p a lc o m p o n e n ta n a l y s i s ， 2 d p c a ) 进行了推广，提出了分块二维主成分分析( m o d u l a rz w od i m e n s i o np r i n c i p a l c o m p o n e n ta n a l y s i s 。m 2 d p c a ) ，或简称为分块2 d p c a ，并将其应用于人脸识别分 块2 d p c a 的基本思想与已有的诸如f d a 、p c a 、m o d u l a rp c a 鉴别方法不同，在鉴别特征 提取过程中不需要事先将图像矩阵( 或子图像矩阵) 转化为图像向量其基本步骤是 先对图像矩阵进行分块，然后对分块得到的子图像矩阵施行2 d p c a 与基于图像向量 的鉴别方法( 比如p c a ) 相比，该方法不仅有较高的识别性能，而且能够大幅度地提 高特征抽取的速度其次，由于直接基于2 维子图像矩阵，在特征提取过程中可以避 免使用矩阵的奇异值分解，过程简便在0 r l 人脸库上的试验结果表明，分块2 d p c a 可以达到9 6 的识别率，这个结果高于2 d p c a 的9 5 5 结果基于分块2 d p c a ，本文还 提出了分块2 d p c a + f i s h e r f a c e s 鉴别分析方法在n u s t 6 0 3 人脸库实验，该方法可以达 到9 9 2 的识别率，这个结果与m 2 p c a + f d a 方法达到的最高识别率相同，但鉴别特 7 第一章绪论 博士论文 征抽取时间只是后者的三分之一 ( 四) 实际问题中原始样本的分布通常是高度复杂和非线性的，利用传统的线性 鉴别方法( 如f d a 和p c a ) 来解决分类问题，一般不能取得令人满意的结果受支持 向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 理论中有关核技术的启发，本文提出了一 种非线性特征抽取方法基于核的正交补空间法核技术的基本思想是通过适当的 非线性映射将非线性可分的原始样本变换到某一线性可分的高维特征空间，而这种非 线性映射是通过定义适当的内积函数实现的基于核的正交补空间法先在原始样本里 利用核技术，在变换后的特征空间里，借鉴l i u 4 1 】的正交补空间思想抽取用于鉴别分 析的特征该方法综合了核技术和f s d a 的优点，利用它来抽取原始样本特征，能够使 得高度复杂和非线性的原始样本线性化和简单化在o r l 和n u s t 6 0 3 两个标准人脸库 上的实验表明，基于核的正交补空间法的识别性能优于k p c a 方法1 5 4 55 】和k r e n e l f i s h e r f a c e s 方法1 5 9 1 。 1 6 本文