（计算机软件与理论专业论文）人脸识别的子空间方法研究与实现.pdf

摘要 摘要 人脸识别技术是目前生物特征识别中最受人们关注的一个分支，是计算机视 觉与模式识别领域非常活跃的一个研究方向。人脸图像的特征提取是人脸识别技 术非常重要的组成部分，对于识别效果起着举足轻重的作用。 子空间分析方法是近年来受到广泛重视的特征提取方法，其思想就是根据一 定的性能目标来寻找一种线性或非线性的空间变换，把原始数据压缩到一个低维 子空间中。数据在子空间中的分布更加紧凑，可分性好，计算复杂度也得到了很 大降低，并为数据的描述提供了更好的手段。本文系统地分析了几种主要的子空 间方法，并将其成功应用到计算智能实验室m u t i b i s 生物特征识别系统的人脸识别 子系统之中。 然而任何子空间方法都可能对人脸特征提取得不够充分。本文模仿人类视觉 系统的特点，提出了融合局部和整体特征子空间的算法。首先通过主元分析算法 f v c a ) 提取全局特征，利用带稀疏限制的非负矩阵分解算法( n m f s ) 提取局部特征。 然后分别在两个子空间上使用线性判决分析算法( l o a ) 以提高算法对人脸光照和 表情的自适应能力。最后在特征提取层和匹配值层设计了融合算法，分别使用了 向量连接法和自适应模糊神经推理系统( a n h s ) 。试验表明，该算法可以较好的解 决人脸识别中的鲁棒性问题，而且可以提高系统的识别率。 本文首先介绍了人脸识别的基本概念、应用范围、存在问题及发展方向。其 次阐述了子空间方法的基本概念、原理及一些常见的算法。之后提出了融合两个 子空间特征的改进算法，并详细讨论了该新算法的设计思路、设计过程及性能试 验。再次介绍了本实验室基于子空间方法的开放人脸识别系统的功能、结构及实 现方法。最后是本文工作的总结和进一步工作的展望。 关键词：人脸识别，子空间，n m f s ，l d a ，p c a ，a n f i s a b s t r a c t a b s t r a c t f a c er e c o g n i t i o n ( f 鼬h a sb e c o m ea ni n c r e a s i n g l yp o p u l a rs u b j e c ti nt h ef i e l do f b i o m e t r i c s m o r ea n dm o r er e s e a r c h e r si n c o m p u t e rv s i o na n d p a t t e r n r e c o g n i t i o np a yt h e i ra t t e n t i o nt ot h i sf i e l d f e a t u r ee x t r a c t i o ni so n eo ft h em o s t i m p o r t a n ts u b j e c t st oa c h i e v eh i g hr e c o g n i t i o np e r f o r m a n c e s u b s p a c em e t h o di s a p o p u l a rf e a t u t e re x t r a c t i nm e t h o di nt h ef rt a s k s u b s p a c em e t h o dw a n t st of i n do u tac o n v e r s i o nw i t ht h ea b i l i t yo fr e p r e s e n t i n gt h e d a t as e tw i t ht h ee f f e c t i v ef e a t u r e si nm i n o rd i m e n s i o ns p a c ew i t h o u td e c r e a s i n g t h ei n h e r e n ti n f o r m a t i o nc o n t a i n e di no r i g i n a ld a t a i nt h i st h e s i ss e v e r a lp o p u l a r s u b s p a c em e t h o d sh a v eb e e na n a l y s e da n ds u c c e s s f u l l yr e a l i z e di nm u t i b i sf r s u b s y s t e m h o w e v e r , e a c hk i n do fs u b s p a c em e t h o dm i 曲tl o s ss o m ei m p o r t a n tf e a t u r e s s oaf ra l g o r i t h mi sd e s i g n e db yf u s i n gh o l i s t i ca n dl o c a lf e a t u r e si ns u b s p a c e s ， w h i c hi si n s p i r e db yh u m a nv i s u a ls y s t e m ( h v s ) t h eh o l i s t i cf e a t u r e sa r e e x t r a c t e db yp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ，a n dt h el o c a lf e a t u r e sa r e e x t r a c t e db yn o n - n e g a t i v em a t r i xf a c t o r i z a t i o nw i t hs p a r s e n e s sc o n s t r a i n t s ( n m f s ) l i n e rd i s c r i m i n a n ta n a l y s i s ( l d a ) i sa p p l i e dt oe n h a n c ea d a p t i v ea b i l i t yt o i l l u m i n a t i o na n de x p r e s s i o n ，f u s i o na l g o r i t h m sa r ed e s i g n e da tf e a t u r ee x t r a c t i o n l e v e la n dm a t c h i n gs c o r el e v e l ，b yc o n c a t e n a t i n gf e a t u r ev e c t o r s ，a n di n t e g r a t i n g t h em a t c h i n gs c o r e su s i n ga na d a p t i v en e u r o f u z z yi n f e r e n c e s y s t e m ( a n f i s ) ， r e s p e c t i v e l y t h ee x p e r i m e n t so nu m i s tf a c ed a t a b a s es h o wt h a tf u s i o ns c h e m e o u t p e f f o r m si n d i v i d u a la l g o r i t h mb a s e do np c a o rn m f s t h i st h e s i si so r g a n i z e da sf o l l o w s i nc h a p t e ro n e ，t h eb a s i cc o n c e p t i o no ff a c e r e c o g n i t i o n ，i t sa p p l i c a t i o na n dr e s e a r c hf i e l d sa r ei n t r o d u c e d t h es u b s p a c em e t h o d a n ds e v e r a li m p o r t a n ta l g o r i t h m sa r ed e s c r i b e di nc h a p t e rt w o i nc h a p e rt h r e e ，t h e f u s i o ns c h e m ei sp r e s e n t e d t h e d e v e l o p m e n to fm u t i b i sf rs u b s y s t e mi s d i s c u s s e di nt h en e x tc h a p t e r c o n c l u s i o n sa r ed r a w ni nt h el a s tc h a p t e r k e y w o r d s ：f a c er e c o g n i t i o n ，s u b s p a c e ，n m f ，l d a ，p c a ，a n f i s i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 塑亟! 蛆日期：z 。6 年占月哆日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：鱼重! 迅导师签著_ 盈 日期：z 。e 年s 月f ) 日 第一章人脸识别技术概述 1 1 课题背景 第一章人脸识别技术概述 人类身份识别技术就是采用某种技术和手段对人的身份进行标识，从而依据 该标识对人进行身份识别，以达到监督、管理和控制目的的一种技术。用于身份 识别和个人信息管理的技术和手段层出不穷，例如个人密码、磁卡、智能卡、r f i d 等。这些技术方便、快捷，但其致命的缺点是安全性差、易伪造、易窃取等。近 年来，随着信息安全技术的不断发展，对于个人安全、方便的身份认证技术变得 越来越紧迫，越来越要求产生一种新的识别与认证技术。随着计算机技术的广泛 应用，使用人类生物特征进行身份识别成为可能【4 j 。 生物特征识别( b i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g y ) 是一项利用人类特有的 生理或行为特征来进行身份识别的技术，它提供了一种高可靠性、高稳定性的身 份鉴别途径。生物特征是唯一的( 与他人不同) ，可以测量或可自动识别和验证 的生理特性或行为方式，分为生理特征和行为特征。生物识别系统对生物特征进 行取样，提取其唯一的特征并且转化成数字代码，并进一步将这些代码组成特征 模板，人们同识别系统交互进行身份认证时，识别系统获取其特征并与数据可中7 的特征模板进行比对，以确定是否匹配，从而决定接受或拒绝该人。因为生物特 征识别是基于个体的生理特征或者行为特征，所以它比传统识别方法具备更强的 防伪能力，而且也方便用户使用。 人脸识别是目前生物特征识别中最受人们关注的一个分支，是计算机视觉与 模式识别领域非常活跃的一个研究方向。它不仅广泛应用于国家安全、公安、司 法、政府、金融、商业、安检、保安等身份鉴别系统，而且还可应用于人机接口、 可视通讯等领域。 人脸识别技术是一个非常活跃的研究领域，它覆盖了数字图像处理、模式识 别、计算机视觉、神经网络、心理学、生理学、数学等诸多学科的内容。如今， 一幅 虽然在这方面的研究已取得了一些可喜的成果，但是人脸识别技术在实屠应用中 仍面临着很严峻的问题。因为人脸五官的分布是非常相似的，而且人脸本身又是 一个柔性物体，表情、姿态或发型、化妆的千变万化都给正确识别带来了相当大 的麻烦。并且识别过程还受到光照、成像角度及成像距离等外部因素的影响。这 电子科技大学硕士学位论文 诸多因素使得人脸识别成为一项极富挑战性的研究课题。如何能正确识别大量的 人脸，并满足实时性要求是迫切需要解决的问题。对这一问题的研究和解决，有 助于对其他对象识别问题的研究分析和解决，人脸识别也因此成为这些基础研究 领域的重要课题之一，具有重要的理论研究价值。 1 2 人脸识别概述 1 2 1 人脸识别的定义 计算机人脸识别技术的核心内容是由已知人脸来确定未知人脸的归属问题， 因此，它更应该认为是模式识别的范畴。它基本上可分为两个方面：一是回答“是 不是某人? ”的问题，它是给定一幅待识别人脸图像，判别它是否是某人的问题， 也就是通常所说的身份验证( a u t h e n t i c a t i o n ) ，它是个“一对一”的两类分类问题； 另一个是回答“是谁? ”的问题，它是给定1 幅待识别人脸图像，判断它是谁的问 题，也就是通常所说的身份识别( r e c o g n i t i o n ) ，它是个“一对多”的多类分类问题。 图l 一1 人脸识别系统框图 从更加广义的角度来讲，人脸识别的研究内容包括了下面的五个方面： ( 1 ) 人脸检测：即从各种不同的场景中检测出所有人脸的存在并确定其具体位 置和主要特征的位置，这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的 影响。 ( 2 1 人脸表征：即确定表示检测出的人脸和数据库中的己知人脸模板的描述方 式。通常的表示方法包括几何特征( 如欧氏距离、曲率、角度等) 、代数特征( 如 矩阵特征矢量) 、固定特征模板、特征脸、云纹图等。 第一章人脸识别技术概述 ( 3 ) 人脸鉴别：即通常所说的人脸识别，就是将待识别的人脸与数据库中的已 知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸表示方式与匹配 策略。 ( 4 ) 表情分析：即对待识别人脸的表情进行分析，并对其加以分类。 ( 5 ) 物理分类：即对识别人脸的物理特征进行分类，得出其年龄、性别、种族 等相关信息。 从狭义方面来说，一个人脸识别系统不涉及表情分析和物理分类，通常所说 的人脸识别是个“一对多”的分类问题。其过程如图卜1 所示。首先是人脸检测和 定位，即检测图像中有没有人脸，若有，将其从背景中分割出来，并确定其在图 像中的位置。 其次是特征提取。特征提取之前一般需要做几何规一化和灰度规一化的工作。 其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是 指对图像进行光照补偿等处理，以克服光照变化的影响。具体的特征形式随识别 方法的不同而不同。比如在基于几何特征的识别方法中，这一步主要是提取特征 点，然后构造特征矢量；在统计识别方法中，特征脸方法是利用图像相关矩阵的 特征矢量构造特征脸；而隐马尔可夫方法则是对多个样本图像的空间序列训练出 一个隐马尔可夫模型，它的参数就是特征值；模板匹配法用相关系数作为特征； 而大部分神经网络方法则是直接用规一化的灰度图像作为输入，网络的输出就是 识别结果，没有专门的特征提取过程。 最后就是人脸识别。数据库中预先存放了已知的人脸图像或有关的特征值， 识别的目的就是将待识别的图像特征与库里的模板进行匹配，确定识别的对象的 相关身份，并做出具体的操作。 从更加狭义的角度来说，计算机人脸识别技术只包括特征提取和分类识别两 个部分，而将人脸检测技术作为一个独立的研究方向。而其中的特征提取部分是 整个技术的核心，也是本文阐述的主题。 1 2 2 人脸识别问题的难点 人脸识别是一个跨学科富挑战性的前沿课题，目前的很多方法仍停留在研究 阶段，其识别效率离大规模的实用系统还有一定的距离。要开发一个在无约束环 境下自动识别人脸的系统面临的最大问题是如何处理光照变化和姿态变化的影 响。高的识别率和高的实时性是人脸识别系统所必须但又难以兼顾的两个方面。 电子科技大学硕士学位论文 总之，人脸识别系统的还有许多的问题亟待解决： 1 、人脸检测与定位 由于人脸模式的多样性和图像获取过程中的不确定性，人脸在图形空间中的 分布非常复杂，建立人脸在高维图像空间中的精确分布模型是一件非常困难的事 情。建立一个统计可靠的估计不仅学要大量的正例样本，而且需要充分多数量的 有效反例样本。目前研究的一个趋势是反例样本的产生和利用问题，这也是最终 提高人脸检测正确率的必然道路。根据具体应用的需要，对检测环境进行合理的 假定( 比如运动、颜色等) ，从而简化问题，提高系统使用性能也是一条可行的 途径。不难预见，知识与统计方法的综合应用是解决实际问题所必须的。 2 、特征选择与提取 识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较 大差异而对一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征 提取十分困难。与刚体不同，人脸是塑性可变的，更适合用弹性模型来描述。因 此，任何基于刚体的特征抽取方法都难达到满意的效果。其次，人脸识别被认为 是人类视觉中独特的过程，因此对生理学和心理学结合是很有帮助的。可以预见， 在人类视觉和非刚体两方面的研究成果将有助于找到抽取和描述人脸特征的最终 解决方案。 3 、人脸识别 在进行识别匹配时，不仅要考虑各种因素所导致的人脸微笑变形，而且在容 忍变形的同时，还不能损害到人脸识别的有效性。另外，实用的识别系统还必须 考虑计算复杂度。由于每种识别方法各有优缺点，将多种方法有效综合将时以后 研究的一个趋势，如何融合其他生物特征的鉴别系统以提高识别效率也是热点研 究方向。 1 2 2 人脸识别系统评价标准 和其他模式识别系统一样，人脸识别系统的性能是很难进行评价的。下面列 出了几个重要的方面。其中系统识别率中错误拒绝率( f a l s ea c c e p t a n c er a t e f r r 、 和错误接受率( f l a s er e j e c tr a t e f a r ) 参数是评价一个人脸识别系统性能的核心。 ( 1 ) 系统识别率 即要求系统的识别率高，主要用错误接受率和错误拒绝率这两个性能指标进 行评价。错误接受率是指一个冒充者并误作一个真实的个体而被接受的概率。错 4 第一章人脸识别技术概述 误拒绝率是指一个真实的个体并错误地拒绝的概率。系统识别率与二者之问的关 系为： 识别率= 1 0 0 一错误接受率一错误拒绝率 ( 2 ) 对样本的约束 在不影响识别性能的情况下，要求训练样本数尽可能少，测试样本应比实际 应用更为复杂，同时要考虑系统的鲁棒广义化问题。 ( 3 ) 速度和硬件要求 希望系统训练速度和识别速度尽可能快，而且对硬件设备要求不是很高。 ( 4 ) 人机界面 希望系统的人机界面友好，并且不影响系统在实际中的应用。 其它评价标准还有：系统识别人数、系统的学习能力以及处理噪声的能力等。 同时，要得到标准的评价必须有标准的样本。所以有必要建立标准的人脸数 据库，以下是一些典型的标准数据库： 1 、英国o r 工单人脸数据库 该数据库包含4 0 个不同人的人，包括不同时段的背景为黑色的人脸脸部表情 和细节均有变化的4 0 0 幅灰度图像组成。该数据库是目前使用最为广泛的人脸数据 库 2 刀。 2 、英国u m l s t 人脸数据库 u m i s t 标准人脸数据库来自m a n c h e s t e r 理工大学的( 2 8 1 。该人脸数据库包含2 0 个人的5 6 4 张既有正面，也有侧面的人脸图象。被试涉及不同种族、性别和外表。 图象尺寸不尽相同，平均约2 2 0 2 2 0 像素左右。 3 、美国f e r e t 人脸数据库 f e r e t 人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提供， 其中每人8 张图像，两张正脸，3 张从右到左不同侧面角度的照片，有些人还提供 了更多不同视点和不同表情的照片。该数据库中不包括戴眼镜的照片，拍摄条件 也有一定的限制，人脸大小约束在规定的范围内。该数据库的图像数目在逐年增 加。 在本文的实验中，主要使用了o r l 齐h u m i s t 数据库。 电子科技大学硕士学位论文 1 3 人脸识别研究与应用 1 3 1 人脸识别的研究 本文1 2 1 节介绍了人脸识别问题的几个难点，它们自然也是研究人员重点 想要攻克的领域。近3 0 年来，人脸自动识别的研究取得了很大的进展，从工程索 引e 1 上检索到的相关文献已达数千篇，包括i e e ep a m i 在内的重要国际期刊也 有专栏甚至专刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会 议，如人脸手势识别国际学术会议。 人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实验室 f m l t m e d i ah b ) 及人工智能实验室( a il a b ) 、南加州大学( u s o 、c m u 卡内基一梅 隆机器人研究及交互系统实验室、马里兰大学( u m d ) 等。研究涉及的领域很广， 其中有从感知和心理学角度探索人类识别人脸机理的，如美国t e x a sa td a l l a s 大学 的a b d i 和t o o l e 小组，由s t i f l i n g 大学的b r u c e 教授和g l a s g o w 大学的b u r t o n 教 授合作领导的小组等；也有从视觉机理角度进行研究的，如英国的g r a w 小组和荷 兰g r o n i n g e n 大学的p e t k o v 小组等。在用静态图像或视频图像做人脸识别的领域 中，比较有影响的有m i t 的m e d i a 实验室的p e n t l a n d 小组，他们主要是用基于k l 变换的特征空间的特征提取法，名为特征脸( e i g e n f a c e ) ；c y o n d e rm a l s b u r g 领导了 美国的s o u t h e r nc a l i f o r n i a 大学和德国的b o c h u m 大学合作，采用动态链接结构和 弹性图像匹配等方法；以及p e r i n c e t o n 大学c o x 领导的n e c 小组等。国内从事人 脸识别研究的有中科院自动化所谭铁牛教授领导的研究小组，上海交通大学的李 介谷等研究基于计算机视觉场模型的人脸识别研究技术，清华大学的边肇祈等从 事基于k l 变换的人脸识别研究，东南大学的程永清等从事基于统计方法，主要是 奇异值分解方法的人脸识别研究，另外哈尔滨工业大学的贾小光和原上海工业大 学的郑坚平等都在正面人像的识别方面做过工作。 另外，还有很多的实验室以成熟的“特征脸”人脸识别技术为基础，对其进 行了很多改进和扩充，尝试了基于人工神经网络( a n n ) 、支持向量机( s v m ) 、线性 判别分析( l d a ) 、基于g a u s s i a nm i x t u r em o d e l s ( g m m ) 的双子空间人脸识别方法， 基于g a b o r 小波变换和弹性图匹配的人脸识别技术，以及基于统计模型的人脸识 别方法等。 第一章人脸识别技术概述 1 3 2 人脸识别的应用 人脸识别技术在安全部门和商贸系统都有很多的应用，主要包括以下几个方 面： 1 、刑侦破案。当公安部门获得案犯的照片后，可以利用人脸识别技术，在存 储罪犯照片的数据库中找出最相象的人为嫌疑犯。还有一种应用就是根据目击证 人的描述，先由警察画家画出草图，然后用这张图到库里去找嫌疑犯。罪犯数据 库往往很大，由几千幅图像组成。如果这项搜索工作由人工完成，不仅效率低， 而且容易出错，因为人在看上了上百幅人脸图像后，记忆力会急剧下降，而由计 算机来完成则不会出现此问题。当然，如果没有正确的特征提取，而盲目的进行 人脸识别，势必将造成误判操作，造成不必要的损失。这就是特征提取的理论意 义和现实意义。 2 、证件验证。身份证、驾驶证以及其他很多证件上都有照片，现在这些证件 多是由人工验证的，如果用了人脸识别技术，这项工作就可以交给机器完成，从 而实现自动化智能管理。当前普通使用的另一类证件是用符号或条形码标记的， 比如信用卡、自动提款机等。这类卡的安全系数比较低，因为卡可能丢失，密码 也可能被遗忘或窃取。如果在这类卡上加上人脸的特征信息，则可以大大改善其 安全性能。 3 、入口控制。入口控制的范围很广，他可以是设在楼宇、单位或私人住宅入 口处的安全检查，也可以是计算机系统或情报系统等的入口控制。在一些保密要 求非常严格的部门，除了用证件，还要加上另外一些识别手段，如指纹识别、手 掌识别、视网膜识别和语音识别等。人脸识别与之相比，具有直接、方别和界面 友好的特点。当前计算机系统的安全管理也备受重视，通常使用由字符和数字组 成的口令可能会被遗忘或破解，但是如果把人脸当作口令则又方便又安全。 4 、视频监视。在许多银行、公司、公共场合等处都设有2 4 小时的视频监视。 另外侦察员在破案时有时也要用摄像机对人进行跟踪。在对图像进行集体分析时， 就要用到人脸的检测、跟踪和识别技术。 除了这几部分的应用外，人脸识别技术还可用在视频会议、机器人的智能化 研究以及医学等方面。 国际上，西方各国政府都在大力推进生物特征识别技术的发展和应用。“9 1 1 ” 之后，美国政府连续签署了3 个国家安全法案，都涉及采用生物特征识别技术。2 0 0 3 年6 月，联合国国际民用航空组织公布了生物技术的应用规划。规划提出，将在个 电子科技大学硕士学位论文 人护照中加入生物特征，并在进入各个国家边境时进行个人身份的确认。目前此 规划已在美国、欧盟、澳大利亚、日本、韩国、南非等地区和国家通过，并将在 近期逐步实施推行。这些法案和规划促进了大量的企业投身于相关产品的开发。 从1 9 9 4 年开始，一些科研单位和公司就开始将人脸识别研究成果转移为实用产品， 女 1 m i r o s 公司的t r u ef a c e ，美国v i s i o n i c s 公司开发的面像局部特征分析法识别系统 f a c e l t ，德国z n 公司的p h a n t o m a s 疑犯图像描绘识别系统。 就国内而言，生物特征识别技术也成为了一个热点，并于2 0 0 3 年成立了生物 特征认证与测评中心。2 0 0 4 年，北京等城市开始发放包含生物特征信息的第二代 身份证，成为“数字奥运”、“科技奥运”的重要内涵之一；而生物识别技术的 运用，在其中起到十分关键的作用。因此在我国，基于生物特征的身份识别实用 系统的研究与开发，同样具有一定的紧迫性和必要性。目前清华大学研制的人脸 识别系统已经处于市场推广阶段。 据国际生物集团f i b g ) 统计，n 2 0 0 5 年底，全球生物特征认证技术的市场已经 达到2 2 亿美元，并以每年超过8 0 的速度增长。业内专家估计，未来5 年，我国将 有近百亿元的相关市场等待企业去开拓。人脸识别技术在其中占据了很大的份量。 1 4 内容组织 本论文按以下顺序组织内容。 第一章：绪论。本章主要介绍了论文所讲述的人脸识别的应用前景、研究意 义、选题意义及课题的任务。介绍了人脸识别的研究内容，基本步骤和性能评价， 人脸识别常用的人脸图像数据库，人脸识别面的研究喝应用，并对论文的整体结 构做一个概括。 第二章：人脸识别的子空间方法概述。本章主要介绍了子空间方法的基本概 念，分类，以及最常见的几种子空间方法。详细阐述了主元分析、线性判决分析、 非负矩阵分解和区位保持映射四种线性子空间方法，以及核主元分析一种非线性 子空间方法。 第三章：基于局部和整体子空间特征的一种融合算法。本章详细分析和讨论 了本人提出的融合局部和整体特征的人脸识别方法的理论基础及具体设计过程。 给出了具体的实验设计，对经典的人脸识别子空间算法，以及本文的算法进行了 对比实验，并给出了实验结果与结论。 第四章：m u t i b i s 人脸识别子系统。本章主要介绍电子科技大学计算智能实验 第一章人脸识别技术概述 室生物特征识另l j 4 组开发的基于多模态融合的生物识别系统。重点阐述了本人实 现的基于子空问方法的人脸识别子系统的技术背景，发计流程和实现方法。 第五章：论文总结。对整篇论文做一个整体总结，并对进一步的工作给予展 望。 电子科技大学硕士学位论文 2 1 前言 第二章人脸识别的子空间方法 人脸识别的特征提取与描述方式可分为基于几何特征和基于统计特征两大 类。早期的人脸识别研究主要是基于几何特征。其基本思想就是利用人脸上的一 些特征点( 例如眼、鼻、嘴等) 的相对位置和相对距离，再辅以人脸轮廓的形状信 息。其最大缺点是识别的准确率完全依赖于几何特征的提取，而这些几何特征的 提取对光照、表情、姿态等变化非常敏感，所以稳定性不高，识别率较低。近年来 提出的方法大多数是基于统计特征的。比如：模板匹配方法就是把数掘库中的人 脸图像当作模板，结果表明性能要明显优越于基于几何特征的方法；在f e r e t 测 试中取得很好效果的弹性图匹配方法实际上是基于局部统计特征的；局部统计特 征和全局统计特征相结合的方法；隐马尔可夫模型的方法；基于形状和表面全局 纹理特征的方法；以及子空间方法等等。其中子空间分析方法由于其具有计算代 价小、描述能力强、可分性好等特点，已经成为了人脸识别中的主流方法之一。 2 2 子空间方法概述 模式类的紧致性是模式识别的一个基本问题【1 。紧致集的定义是集合中的任 何一点可以均匀地过渡到同一集合的另外一点，而在过渡中的所有各点都任然属 于这卜紧致集。为了能在某个空间中分类，通常假设同一类的各个模式在该空间 中组成一个紧致集。假如每个模式类都满足进致性假设，则解决模式识别问题就 不会碰到什么原则上的困难。 但事实上，很多实际模式识别问题，如人脸识别问题，并不满足这个假设。 在原空间中，一张h x k 象素值的人脸图像i 被认为是咒维空问中的一个样本鼍， 其中n = hx k 。因此人脸图像样本的维数通常都是非常高的，而且样本在这样高 维空间中的分布的紧致性很差，因而不利于分类，并且在计算上的复杂度也非常 大。为了得到人脸图像的较紧凑分布，k i r b y 等【6j 和t u r k 首次把主元分析的子空 间思想引入到人脸识别中，并获得了较大的成功【”。随后子空间分析方法就引起 了人们的广泛注意，从而成为了当前人脸识别的主流方法之。子空间分析的思想 就是根据一定的性能目标来寻找一线性或非线性的空间变换，把原始信号数据压 缩到一个低维子空间，使数据在子空间中的分布更加紧凑，为数据的更好描述提供 1 0 第二章人脸识别的子空间方法 了手段，另外计算的复杂度也得到了大大降低。 首先给出子空间，以及基和坐标在线性代数中的一些基本理论。设v 是一个 非空集合，p 是一个数域，o ，p ，+ ，) 是线性空间。集合w v ，如果o 矿，尸，+ ，) 也是线性空间，则称仰7 ，p ，十，) 为( v ，p ，+ ，、的线性子空间，简称子空间，也称 w 为v 的子空间。如果w = v 或者w 只包含零元，则称w 为v 的平凡子空间， 否则称为非平凡子空间。 在线性空间v 中，如果有n 个向量s ，如，s 。线性无关，而v 的任意n + 1 个向量线性相关，则称s ，s ，一，。为v 的一组基，n 称为线性空间v 的维数。 对任一。c v ， 存在唯一的一组数a ，a ，- - ，a 。p ， 使得 a = a 1 1 + a 2 e 2 + + 口。，则有序数组a 1 ，n 2 ，n 。) 称为口在基s l ，s 2 ，。 下的坐标。 从理论上的定义看，子空间和原空间的元素有相同的维数。但就人脸识别问 题而言，往往是需要降维处理的。人脸识别的子空间方法是通过一定的基变换将 样本投影到变换后的空间中，然后选取一定数目的新基，最后求得样本在这组新 基张成的低维空间中的坐标。 2 3 子空间分析算法 针对子空间分析，专家们提出了许多算法，这些算法可以分为线性和非线性 两类。目前在人脸识别中得到成功应用的线性子空间方法有：主元分析( p r i n c i p a l c o m p o n e n ta n a l y s i s p c a ) 、线性判决分析( l i n e a rd i s c r i m i n a n ta n a l y s i s l d a ) 、独立 元分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s i c a ) ，非负矩阵分解( n o n n e g a t i v em a t r i x f a c t o r i z a t i o n n m f ) ，和区位保持映射( l o c a l i t yp r e s e r v i n gp r o j e c t i o n s l p p l 等。 应用到人脸识别的非线性子空问方法主要是基于核技术的，最为典型的是核 主元分析r k e r n e li c a 9 2 c a ) 、核线性判决分析( k e r n e lf i s h e rd i s c r i m i n a n t a n a l y s i s k f d a ) 。以及其它的非线性子空间方法，如近年来提出的局部线性嵌入 f l o c a l l yl i n e re m b e d d i n g l l e ) 等。 子空间分析除了有线性和非线性空间变换之分外，根据不同的性能目标要求， 得到的子空间也是不一样的。 2 3 1 线性子空间方法 一个一般的线性子空间分析算法定义如下为：对于r ”空间中的数据 电子科技大学硕士学位论文 x 。，x ：，x 。，寻找一个矩阵a 将该m 个点投影到r2 空间中( fc c n ) ，得到原数据 的一种表征_ y 。，y ：，y 。，其中y 。= a 7 t 。矩阵a 的每个列向量实际上就是予空问 的一一组基，y 即该样本在子空问的坐标。 本节主要介绍介绍p c a 、l d a 两种经典的线性子空间方法。主元分析( p r i n c i p l e c o m p o n e n t a n a l y s i s p c a ) 在模式识别巾又称为k i _ 度换，其基本思想是提取出空间 原始数据中方差最大的方向( 主元方向) ，减少数据冗余，使得数据在一个低维的 特征空间被处理，同时保持原始数据的绝大部分的信息，从而解决数据空间维数 过高的瓶颈问剐”】。 假设人脸图像样本为h k 象素，则被认为是托维空间中的一个样本x ，其中 n = h k 。那么有n 维空问向量集合缸 ) ，k = 1 , 2 ，对其中每一个向量x 用单位正交向量系u 。f = 1 , 2 ，o 。展开 n z 52 c i u j( 2 1 ) 由于我们想用m 维空间表示向量集，即 所以 础摩 由x 展开式可知c ，= “；z ，因此 乒，娶；e 似7 m ， 令c = e x x 7 ) ，则 亭= y “； ， f 篡1 。 。 。相互正交，即 ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 - 5 ) ( 2 - 6 ) 王 ， = 1 = 。孓芦地、 ； 因1 o x ，r，1 h = 一 “ 扛 广 x x “ e = 亭 差瀑方 均其 第二章人脸识别的子空间方法 由拉格郎日乘子法，可以求出在满足正交条件下，亭取极值的坐标系统，即用 目标函数 咖_ f ) = ，戮c r ，聂， ”1 ) ( 2 _ ) 对“，= m + 1 ，m 求导数，有 ( c a i ，) “，= 0 ，= m + 1 ，o 。( 2 8 ) 因此当“，= 1 , 2 ，m 作为矩阵e 恤7 ) 特征向量展开x 时，其截断均方误差具 有极值性质。对于离散的随机过程x ) ，k = 1 , 2 ，有向量z ) 的关联矩阵 c = e x t ) 2 专荟工( 2 - 9 ) 以矩阵c 的特征向量作为坐标系将矩阵c 对角化，将消除原有向量的相关性， 因此去掉那些带有较少信息的特征向量将降低特征空间的维数。特别地，数据集 在这些特征向量方向上投影的方差为其对应的关联矩阵e x ( k ) x2 ) ) 矩阵的特 征值。图2 1 表示了个二维数据集的分布情况，通过p c a 算法求得的主元方向记 为轴1 和轴2 。由图2 1 ，轴1 作为坐标轴消除了向量的相关性，并且原始数据在这两 个方向上的投影方差最大。因此轴1 的方向适合作为子空间的基，样本投影到它生 成的子空问上可分性较好。 9 8 薅饕， v f 。少一 2 、- 0 图2 - 1 二维平面的一组数据 24 68 它们投影到两个轴1 和2 的密度图 电子科技大学硕士学位论文 p c a 在人脸识别上的应用最早是匪t k i r b y 6 】等提出来，t u r k 等后米把它成功地 发展为特征脸( e i g e n f a c e ) 方法1 8 】，用于正面的人脸识别。特征脸的的思想就是从训 练图像中，通过主元分析得到一组特征脸图像( 即对应的主元) ，那么任意给定的 人脸图像都可以近似为这组特征脸图像的线性组合，用组合的系数作为人脸的特 征向量。经典的特征脸方法是采用基于e u c l i d e a n 距离的最近中心分类器，后来比 较常用的是基于e u c l i d e a n 距离的最近邻，也有采用基于m a h a l a n o b i s 距和余弦角 的。随着特征脸方法的成功之后，随后出现了许多种基于主元分析的人脸识别方 法。p e n t l a n d 等利用对每个视角都作局部主元分析，来实现多视角人脸识别。l i u 等 提出结合主元分析的概率推理模型，假设在主元子空间中每类的类条件概率服从 正态分布。基于分层的主元概率子空间方法的思想是分别用主元分析去提取与描 述人脸的类内变化和类间变化的特征，然后再用贝叶斯决策规则来分类。实验的结 果表明结合贝叶斯分类框架和主元分析的人脸识别方法比经典特征脸方法要优越 些，这说明了贝叶斯决策的优越性。y i l m a z 的e i g e n h i u 方法实际上是先对原始图像 采用边缘滤波和局部平滑的预处理，再利用主元分析提取特征，实验表明可以更有 效地处理人脸图像中的丰富表情变化口】。 主元分析中主元选取的优先级通常是按对应的特征值大小来确定的，特征值 越大，其优先级就越高但是就人脸识别而言，应该选择多少个主元是最佳的，目 前常用的标准有两种： 1 ) 当对应的特征值和最大的特征值相比小于一定值时就不要了； 2 ) 选择的特征值之和与总的特征值之和的比值要大于等于0 9 。 尽管主元分析在人脸识别中取得了不错的效果，但是由于它是以所有样本的 最优重建为目的，因此对于描述不同类样本之间的差异而言，它不一定是最优的描 述。从这个意义上说，用它来描述人脸识别的特征是不充分的i 5 j 。 为了克服p c a 方法的不足，研究人员将目光投向了线性判别分析方法。线性 判别分析( l d a ) 首先由r a f i s h e r 于1 9 3 6 年提出【9 1 ，又称f i s h e r 线性判别f f l d ) ， 它是一种较好的特征提取方法。通过l d a 变换，不仅特征的维数降低了，同时又 能使样本的类间散布最大，类内散布最小，从而改善分类特征 1 9 】。从l d a 变换的 目标可以得知，它需要训练样本的分类标号，这一点和p c a 有本质不同。 对于尺“空间中的数据，屯，z 。，其中h ，个样本属于1 类，n ，个样本属于2 类，h ，个样本属于c 类，其中n ，+ h ，+ + n ，= m 。所有样本的均值为： 第二章人脸识别的子空间方法 2 者酗 ( 2 _ l o ) 类i 中的样本均值为： 肛，一土yx( 2 1 1 ) n 。e 醴s s i 样本类内离散度矩阵s 。和类问离散度矩阵& 定义为： s 。= ，z 如：一肛) 。一“) 7 ( 2 - 1 2 ) 小善。磊t 他) ( 矿7 ( 2 - 1 3 ) 如果s 。是非奇异的，则要获得类间离散度与类内离散度的比值最大的投影方 向的。满足下式： 岭a r g 严矧柏胎川( 2 - 4 ) 其中 mi i = 1 ，2 ，胛 是满足下式的s 。和s 。对应的n 个最大特征值 i i = 1 , 2 ，n 所对应的特征向量： s b w f = a i s w i ( f = 1 , 2 ，一，z ) ( 2 - 1 5 ) 因为s 。矩阵的秩不大于r 1 ，所以忍值的上界c 一1 ，即变换的维数不超过c 1 。 虽然f i s h e r 使“维数灾难”问题压缩在c 1 的范围内，但这也是该方法存在不足的 根本原因。因为s 。，的零空间在变换中被消去了，但其中蕴含了十分重要的鉴别信 息【1 0 】。 如果类内离散度矩阵s 。，是奇异的，有先对角化s 。和先对角化5 。两种算法。 图2 - 2 比较了p c a 和f i s h e r 算法在两种常见情况下的分类效果。图2 - 2 ( a 1 中 l d a 显然比p c a 有更好的分类效果。在2 - 3 ( b 冲，在二维空间中有两类数据样本 n ，和”，分别用圆圈( 代表”，类的数据样本) 和叉号( 代表”，类的数据样本) 来 表示。对于每一类样本的具体分布是未知的，其隐含的类分布如图中的虚椭圆所 描述。考虑所有的数据，则p c a 可以计算出与原始数据相关联的协方差矩阵的特 征值和特征向量，也即可以计算出使变换后的向量的方差最大的变换方向，图中 用标有p c a 的垂直实线来表示：另方面l d a 会计算出一个在两类隐含分布之 电子科技大学硕士学位论文 间具有良好分类的转化方向，图中用标有l d a