（信号与信息处理专业论文）基于大规模数据库的人脸识别研究.pdf

中文摘要 中文摘要 摘要t 经过近四十年的研究发展，人脸识别技术得到了长足的发展并投入到 了商业应用。但实践表明人脸识别技术还远不够成熟，特别是在大规模数据库条 件下，存在识别率较低、识别时间较长等严重问题。 为此，本文主要对大规模数据库下的人脸识别进行研究，重点对大规模数据 库下的人脸识别问题中识别率较低、识别时间较长两个关键性问题进行了研究， 并提出了新的算法。本文的主要工作和创新如下： ( 1 ) 对大规模数据库下子空间分析系列算法的性能进行了系统地研究。在这 一部分，本文首次对在大规模数据库下子空间分析系列算法的性能进行了系统地 研究。通过大量的实验，得出了几点对今后子空间分析算法在大规模数据库上的 性能研究具有参考意义的结论：在大规模数据库的情况下，基于核的非线性子空 间分析算法优于线性子空间分析算法；在基于核的非线性子空间分析系列算法中， 基于核的有监督局部保持投影算法在大规模数据库上的性能最优。 ( 2 ) 在( 1 ) 的基础上，提出了适合于大规模数据库的人脸特征提取算法一 有监督多尺度核局部保持投影算法。该算法首先对人脸图像进行g a b o r 变换，充 分提取原始图像的细节特征。然后采用双向二维主分量分析( 2 d 一2 d p c a ) 进行降 维的同时考虑图像的拓扑信息，保证后续操作能够提取到可分性特征。最后在 g a b o r 特征空间中采用基于核的有监督局部保持投影算法提取人脸非线性局部流 形结构特征，同时利用样本类别信息，获取判别意义上的最优人脸特征。实验证 明了该算法在大规模数据库情况下具有较好的鲁棒性。 ( 3 ) 提出了基于动态聚类的大规模人脸库快速检索算法。本文针对人脸识别 技术的自身特点，提出了基于动态聚类的索引机制，最终提出了一种基于动态聚 类的适合大规模人脸库的快速检索算法。该算法首先利用本文提出的有监督多尺 度核局部保持投影算法对人脸图像库进行离线特征提取和降维，生成人脸特征库， 然后用改进后的k 均值聚类算法对人脸特征库进行离线动态聚类，生成图像索引， 同时提出一种新的搜索模型进行检索。实验证明该算法在保证较高的识别率的同 时，极大地提高了大规模人脸库的检索效率。 ( 4 ) 利用上述成果，设计并实现了基于大规模数据库的人脸识别系统。该系 统可以在视频流图像中实时地进行人脸的检测、定位，再和库中的人脸进行比较 识别，在达到较高的识别率的同时具有较快的识别速度。此外该系统还具有人脸 图像库、人脸特征库、个人基本信息库管理等功能。 关键词：人脸识别；大规模数据库；特征提取；人脸检索；子空间分析；聚类 分类号：t p 3 9 1 4 a b s t r a c t a b s t r a c t ：a f t e rm o r et h a n4 0y e a r s d e v e l o p m e n t , g r e a tp r o g r e s si nf a c er e o - - o g n i t i o nt e c h n o l o g yh a se n a b l e di t sc o m m e r c i a la p p l i c a t i o n h o w e v e r , s e v e r a lp r a c t i c a l p r o b l e m sk e e pf a c er e c o g n i t i o nf a rf r o mm a t u r e , e s p e c i a l l ys e n s i t i v i t yt ol o wf a c er o d - o g n i t i o nr a t ea n dl o n gf a c er e c o g n i t i o nt i m eo nl a r g e - s c a l ed a t a b a s e i nt h i sp a p e r , w eg i v ed e e pa n a l y s i so nf a c er e c o g n i t i o no nl a r g e - s c a l ed a t a b a s e , e s p e c i a l l yf o c u s i n go ns o l v i n gt h ep r o b l e mo fl o wf a c er e c o g n i t i o nr a t ea n dl o n gf a c e r e c o g n i t i o nt i m e w ep r o p o s es e v e r a ln e wa l g o r i t h m s t h em a i nr e s e a r c hw o r k a n dc o n - t r i b u t i o n so ft h ep a p e ra r ea sf o l l o w s ： ( 1 ) t e s t i n ga n de v a l u a t i o no f t h ep e r f o r m a n c eo f c u r r e n ts t a n d a r ds u b s p a c ea n a l y s i s a l g o r i t h m so nl a r g e - s c a l ed a t a b a s e t h ep e r f o r m a n c eo fc u r r e n ts t a n d a r ds u b s p a c e a n a l y s i sa l g o r i t h m so nl a r g e - s c a l ed a t a b a s ei sf i r s t l yd i s c u s s e d b a s e do nt h et h e o r e t i c a n a l y s i sa n de x p e r i m e n t a lr e s u l t si nt h i sp a p e r , w ec o n c l u d et h ef o l l o w i n gc o n c e p t i o n s w h i c h w o u l dp r o v i d er e f e r e n c es i g n i f a n a n c ef o rf u r t h e rr e s e a r c ho ns u b s p a c ea n a l y s i s a l g o r i t h m so nl a r g e - s c a l ed a t a b a s e ：k e r n e lb a s e dn o n l i n e a rs u b s p a c ea n a l y s i sa l g o r i t h m s o u t p e r f o r ml i n e a ro n e so nl a r g e - s c a l ed a t a b a s e a n da m o n ga l lt h ek e r n e lb a s e dn o n l i n - e a rs u b s p a c ea n a l y s i sa l g o r i t h m s , k e r n db a s e ds u p e r v i s e dl o c a l i t yp r e s e r v i n gp r o j e c - t i o n sa l g o r i t h m ( k s l p p ) h a st h eb e s tp e r f o r m a n c e ( 2 ) af e a t u r ee x t r a c t i o na l g o r i t h mw h i c hi ss u i t a b l ef o rl a r g e - s c a l ed a t a b a s ei sp r o - p o s e d - - s u p e r v i s e dm u l t i - s c a l ek e r n e lb a s e dl o c a l i t yp r e s e r v i n gp r o j e c t i o n sa l g o r i t h m i nt h i sp a p e r , f i r s t l y , g a b o rf i l t e ri sd e s i g n e dt oe x t r a c tt h em u l t i s c a l ef e a t u r e sf r o mt h e w h o l ef a c ei m a g e s t h e nat w o - d i r e c t i o n a l2 d p c a a l g o r i t h mi su t i l i z e dt or e d u c et h e d i m e n s i o no ft h eg a b o rf e a t u r ev e c t o r s f i n a l l y , k e r n e lb a s e ds u p e r v i s e dl o c a l i t yp r e - s e r v i n gp r o j e c t i o n sa l g o r i t h m ( k s l p p ) i sa p p l i e dt ot h er e s u l t a n tf e a t u r ev e c t o r st oe x - t r a c tr o b u s ta n dd i s c r i m i n a t i v ef e a t u r e sf o rr e c o g n i t i o n e x p e r i m e n t sa l s od e m o n s t r a t e t h ed i s c r i m i n a t i o np o w e ro ft h en e wa l g o r i t h mo nl a r g e s c a l ed a t a b a s e ( 3 ) c l u s t e rb a s e df a s ts e a r c h i n ga l g o r i t h mo nl a r g e s c a l ef a c ed a t a b a s ei sp r o p o s e d t h ea l g o r i t h mf i r s t l yd o e st h eo f f l i n ep r o c e s s ，i n c l u d i n gt h et r a i n i n gt og e n e r a t eaf e a - t u r es p a c e ，a n dt h e nt h ew h o l ef a c ei m a g ed a t a b a s ei sp r o j e c t e di n t ot h ef e a t u r es p a c et o g e n e r a t ef a c ef e a t u r ed a t a b a s e n e x t ，t h ei m p r o v e dk - m e a n sc l u s t e r i n ga l g o r i t h mi si n - t r o d u c e d ，a n dt h es a m p l e si nt h ef a c ef e a t u r ed a t a b a s ea r eo f f l i n ec l u s t e r e dt os o m es u b - s e t s ，a n da tt h es a m et i m et h ei m a g ei n d e xi sg e n e r a t e d t h e nan e ws e a r c hm o d e li s 北京交通大学硕士论文 p r o p o s e d e x p e r i m e n t ss h o wt h ea l g o r i t h mg r e a t l ye n h a n c e sr e t r i e v a le f f i c i e n c yo n l a r g e - s c a l ef a c ed a t a b a s e ( 4 ) af a c er e c o g n i t i o ns y s t e mo nl a r g e s c a l ed a t a b a s eh a sb e e np r i m a r i l yi m p l e m e n t e d i tc a l la u t o m a t i c a l l yd e t e c tf a c e ，p o s i t i o nf e a t u r e so ft h ef a c e , a n ds e n di tt o c l a s s i f i e rt or e c o g n i z e b e s i d e s ，i tr e a l i z e sf u n c t i o n si n c l u d i n gm a n a g e m e n to ff a c ei m - a g ed a t a b a s e ，f a c ef e a t u r ed a t a b a s e ，p e r s o n a li n f o r m a t i o nd a t a b a s ee ta 1 k e y w o r d s ：f a c er e c o g n i t i o n ；l a r g e - s c a l ed a t a b a s e ；f e a t u r ee x t r a c t i o n ；f a c e s e a r c h ；s u b s p a c ea n a l y s i s ；c l u s t e r i n g c i a s s n o ：t p 3 9 1 4 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名；狱俦袤导师签名： 肛手 签字日期： 卅年月f 7 日 签字日期：卅年6 月夕日 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：础博表签字日期： 加7 年6 月j 罗日 致谢 本论文的工作是在我的导师阮秋琦教授的悉心指导下完成的，阮老师从研究 方向的选择、研究工作的开展、直至论文的完成，都对我进行了悉心的指导和严 格的要求。阮老师渊博的学识、严谨的治学态度和科学的工作方法使我敬佩，同 时使我在学业上受益匪浅。阮老师不仅在学习上给了我极大的帮助，同时在生活 上给予我无微不至的关怀。在此衷心感谢两年来我的导师阮秋琦教授对我的关心 和指导。 同时在攻读硕士学位的两年时间里，信息所裘正定老师、丁晓明老师、倪蓉 蓉老师、朱振峰老师、刘渭滨老师等教授的课程为我的研究工作打下了坚实的理 论基础。同时，安高云老师对我的科研工作给予了较大的帮助。在此对信息所的 所有老师表示衷心的感谢。 在实验室工作及撰写论文期间，金一、郭松、曾祥嫒、张瑾、贾贝贝、朱刻 峰、田文君、严宏君等同学对我论文中的研究工作给予了热情帮助，在此向他们 表达我的感激之情。 另外也感谢在学习、工作和生活中给予我巨大帮助和支持的父母和家人，他 们的关爱和默默支持是我一生前进的动力，感谢他们无私的给予我的一切。 最后向所有在过去的日子里关心我、支持我、帮助我的人致以衷心的感谢。 序 序 在诸多生物特征识别技术中，人脸识别因其特有的主动性、非侵犯性以及用 户友好性等优点，近年来获得了越来越广泛的关注。尽管人脸识别技术经过近几 十年的研究发展，得到了长足的发展并投入到了商业应用，但实践表明人脸识别 技术还远不够成熟，特别是在大规模数据库条件下，存在识别率较低、识别时间 较长等严重问题。为此，大规模数据库下人脸识别问题的研究有利于人脸识别的 进一步实用化。 本文主要针对大规模数据库下人脸识别问题中识别率较低和识别时间较长两 个方面进行研究。通过提出合适的人脸特征提取算法来解决识别率较低的问题， 同时本文通过引入聚类技术，提出基于动态聚类的大规模人脸库快速检索算法来 解决识别速度的问题。实验表明本文所提出的算法具有较高的理论价值和实用价 值。 本课题得到了国家自然科学基金f r o 6 0 6 7 2 0 6 2 ) 、教育部博士点基金资助项目 ( n o 2 0 0 8 0 0 0 4 0 0 0 8 ) 资助。 综述 1 综述 1 1课题的研究背景及意义 身份识别与验证是人们日常生活中的基本活动之一，目前我们大多数情况下 仍然依赖于传统的身份验证手段来完成这些身份识别过程，这些手段包括各类d 卡( 身份证、工作证等) 和密码等，然而这些方式不方便、不安全、不可靠的缺 点不言而喻，而生物特征识别由于具有很强的自身稳定性和个体差异性，因此被 认为是这些需求的完美解决方案【1 1 。 在诸多生物特征识别技术中，人脸识别因其特有的主动性、非侵犯性以及用 户友好性等优点，近年来获得了越来越广泛的关注。人脸识别问题有着重要的研 究意义，突出的表现在其对相关学科发展的贡献和巨大的应用前景两方面。人脸 识别作为一个典型的图像模式分析、理解和分类计算问题，它的深入研究和最终 解决，可以极大地促进模式识别，图像处理、分析与理解，计算机视觉等相关学 科的成熟和发展。从应用前景来看，人脸识别可以应用在区域反恐、社会安防、 电子商务等众多应用场合。 尽管人脸识别技术经过近几十年的研究发展，得到了长足的发展并投入到了 商业应用，但实践表明人脸识别技术还远不够成熟，特别是在大规模数据库条件 下，存在识别率较低、识别时间较长等严重问题。识别率较低主要是由于在大规 模数据库的条件下，现有的识别算法性能还不能满足其要求。同时由于目前的人 脸识别一般采用顺序比较的检索策略，从而需要计算待识别人脸与人脸数据库中 的每一幅人脸图像的相似度。显然在大规模数据库的情况下，人脸识别的速度会 随着数据量的增大而变慢，从而难以达到实时应用的目的。 因此，如何提高人脸识别算法在大规模数据库上的识别率是一个非常重要的 研究课题，同时寻找一种适合大规模人脸库的快速检索方法，能使得人脸识别在 大规模数据库的情况下得到进一步的实用化。人脸识别的巨大应用f j 景和极高的 学术价值正是本论文研究的动力源泉。 1 2国内外研究现状 1 2 1国内外研究进展 北京交通大学硕士论文 人脸识别的研究已经有很长的历史，最早可以追溯到上个世纪法国人g a l t o n 的工作，但当时还不可能涉及到人脸的自动识别问题。最早的自动人脸识别问题 见于1 9 6 5 年c h a n & b l e d s o e 发表的技术报告【2 】到现在已有四十多年的历史。近 年来，尤其是1 9 9 0 年以来，人脸识别研究得到了长足的发展，每年都有大量的学 术论文发表。 一般来说，人脸识别的研究进展大体可以划分为三个阶段。早期阶段的研究 主要是将人脸识别作为一个一般性的模式识别问题，当时的研究主要针对人脸特 征是否可用这个问题进行讨论，基于特征的方法成为早期阶段的主流；中期阶段 则是人脸识别迅速发展的阶段，所提出的算法在较理想图像采集条件、用户配合、 中小规模正面人脸数据库上达到了较好的性能，线性子空间分析算法和统计模式 识别方法是这一时期的主流；进入二十一世纪，人脸识别则迎来了一个至关重要 的攻坚阶段，经过前两个阶段近4 0 年的发展，人脸识别领域已经积累了丰富的理 论和大量成功算法，但是大规模人脸数据库上、非理想成像条件下、用户不配合 情况下的人脸识别则是当前人脸识别攻坚阶段所要完成的巨大任务。 基于大规模数据库的人脸识别问题作为人脸识别攻坚阶段的这些巨大任务之 一，其面临着识别率较低和识别时间较长等严重问题，到目前为止虽然相继有一 些成果被公布，但应当说其所面临的这些难题均未被解决，我们目前仍处在对这 些难题的探索时期。 1 2 2 存在的主要问题及发展趋势 基于大规模数据库的人脸识别问题作为人脸识别攻坚阶段的巨大任务之一， 其存在着诸多的挑战性问题需要解决。 ( 1 ) 大规模人脸库的识别率低的问题：目前的应用研究表明，随着人脸数据 库规模的增大，现有识别算法的识别率呈下降趋势，因此如何维持或提高现有的 人脸识别算法在大规模人脸库上的应用性能是一个非常重要的研究课题。 ( 2 ) 大规模人脸库的识别时间较长的问题：目前的人脸识别一般采用顺序比 较的检索策略，从而需要计算待识别人脸与人脸数据库中的每一幅人脸图像的相 似度。因此在大规模数据库的情况下，人脸识别的速度会随着数据量的增大而变 慢，从而造成人脸的识别时间较长的问题。 ( 3 ) 海量数据的学习问题：传统人脸识别方法如p c a ，l d a 等在小规模数据 中可以很容易进行训练学习。但是对于海量数据，这些方法其训练过程难以进行， 甚至有可能崩溃。如何解决海量数据的学习问题是一个非常重要的问题。 ( 4 ) 大规模人脸库的特征存储空间大的问题：在大规模人脸库上的人脸识别 2 综述 系统还需要面对数据库的管理、特征存储空间大及如何分配等具体的工程问题。 同时基于大规模数据库的人脸识别问题还面临着光照问题、姿态问题、遮挡 问题、图像质量问题、年龄变化问题等问题的挑战。人脸图像的获取过程决定了 人脸识别必须面对不同的光照条件、姿态、距离变化等非常困难的视觉问题。同 时，由于人脸的非刚体性，毛发、饰物以及年龄的变化等会改变人脸的表观信息， 从而影响人脸识别的识别率。 上述问题的解决一个方面有赖于对现有方法的改进，新方法、新模型的发现， 另一方面也有赖于其它学科的发展，将其它学科的新技术引入人脸识别中解决现 有问题。本文认为该领域的发展趋势有以下几个方面： ( 1 ) 适合大规模人脸库的人脸特征提取算法、分类器的提出，解决现有算法 无法解决的问题。 ( 2 ) 针对大规模人脸库的识别时间较长、特征存储空间较大的问题，解决方 案包括新的检索技术的发展、大规模计算机的发展，数据库管理及适合生物特征 存储的数据结构的发展等。 ( 3 ) 大规模全面的公共人脸数据库的建立，为全球研究者建立一个统一的研 究和测试的平台。 ( 4 ) 高精度特殊图像传感器或快速三维扫描设备的研制，保证输入原始人脸 图像的质量，克服图像质量低，光照和姿态等影响。 ( 5 ) 多生物特征的融合，采用特征融合技术，与目前在研究的其它生物特征 识别技术进行融合，克服遮挡等难点。 1 3课题相关的研究方法概述 本文主要针对大规模数据库的人脸识别问题中识别率较低和识别时间较长两 个方面进行研究。通过提出合适的人脸识别算法来解决识别率较低的问题，同时 本文通过引入聚类技术，提出基于动态聚类的大规模人脸库快速检索算法来解决 识别速度的问题。为此本课题相关的现有主要研究方法涉及到两个方面：人脸识 别算法和聚类算法。下面分别概述这两个领域的主要研究方法。 1 3 1人脸识别算法 目前，人脸识别算法大致可以分为基于几何特征的人脸识别、基于弹性图匹 配的人脸识别、基于子空问分析的人脸识别、基于隐马尔科夫模型的人脸识别、 基于神经网络、支持向量机的人脸识别等。 3 北京交通大学硕十论文 1 3 1 1 基于几何特征的人脸识别 常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等局部形状特征，脸型 特征以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先 验知识。基于几何特征的识别本质为特征矢量之间的匹配，基于欧氏距离的判决 是最常用的识别方法。 侧影识别【3 】是最早的基于几何特征的人脸识别方法，主要是从人脸侧面轮廓线 上提取特征点入手。一般将侧影简化为轮廓曲线，从中抽取若干基准点，用这些 点之间的几何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片约 束很多，所以对侧面人脸识别的研究最近已不多见。正面人脸识别最关键的第一 步是合适的归一化，使之不依赖于图像中人脸的位置的尺度和旋转变化。识别所 采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常 包括人脸指定两点间的欧氏距离、曲率、角度等。例如，p o g g i o 和b r u n e l l i 4 】用改 进的积分投影法提取出3 5 维人脸特征矢量用于模式分类。y u i l e 5 】等人使用了另一 种几何特征提取机制，即利用可变形模板( d e f o r m a b l e t e m p l a t e ) 来进行特征提取。 h u a n g 6 】等人进一步提出了用可变形模板模型与活动轮廓模型( a c t i v ec o n t o u r m o d e l s ) 来提取人脸器官的轮廓。另外，l a m e 7 】用基于眼角信息估计可变模板抽取 眼睛边界。而李华胜、杨桦【8 】等利用基于结构的方法在知识层次上进行人脸特征提 取，把h o u g h 变换、模板匹配和方差投影相结合提取出人眼、嘴、鼻等重要特征。 总体来说，人脸的几何特征属于直观性特征，易于理解，简单。该方法的主 要缺点是：从图像中抽取稳定的特征比较困难，特别是在几何特征受到遮挡时； 对强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本 形状和结构关系，忽略了局部细微的特征，造成部分信息丢失，此方法比较适合 粗分类。 1 3 1 2 基于弹性图匹配的人脸识别 弹性图匹配是一种考虑到识别目标特征点之间的拓扑结构、具有适应性的局 部特征匹配方法，其理论基础是图匹配。该方法用图来描述人脸，图的顶点表示 面部特殊的局部特征点，图的边则表示面部特征之间的拓扑关系，匹配测度则同 时考虑顶点和边之间的距离。l a d e s 9 】等人首先采用动态链接模型解决非刚体识别 问题，并将其用于人脸识别问题中。之后对该方法的改进工作大都从特征可分性 和降维等方面进行考虑。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏 感。但是该方法需要对每个存储的人脸计算其模型图，计算量大，存储量大。为 此，w i s k o t t 1 0 】在原有方法的基础上提出聚束图匹配，部分克服了这些缺点。在聚 束图中，所有节点都已经定位在相应目标上。对于大规模数据库，这样可以大大 减少识别时间。l e e 】【1 2 】等提出了一种基于弹性图动态链接模型的方法，既取得较 4 综述 高的识别速度，也获得了较理想的识别率，在一定程度上克服了以往方法总是在 速度与识别率之间进行折中的缺点。 基于弹性图匹配的识别方法对人脸姿态的适应性较好。其存在的缺点是：计 算复杂度高并且训练过程繁琐。 1 3 1 3 基于子空间分析的人脸识别 子空间分析主要是在一定的目标下，寻找某一线性或者非线性的空间变换， 把原始信号压缩到一个低维的子空间，从而使数据在子空间的分布更为紧凑。子 空间分析的方法实现简单且识别效果好，目前是人脸识别中的主流方法。常用的 子空间分析又可以分为线性和非线性子空间分析。 ( 1 ) 线性子空间分析 目前在人脸识别领域得到成功应用的线性子空间分析方法主要包括主分量分 析( p r i n c i p a lc o m p o n e n ta n a l y s i s 。p c a ) 、线性判别分析( l i n e a rd i s c r i m i n a n t a n a l y s i s 。l d a ) 、独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 和局部保 持投影分析( l o c a l i t yp r e s e r v i n gp r o j e c t i o n s ，l p p ) 等。下面分别对这些方法进行概 述。 主分量分析( p c a ) 的理论基础就是数字图像处理领域中著名的k - l 变换 ( k a r h u n e n - l o e v et r a n s f o r m ) 。t u r k 1 3 1 等人将其用于人脸识别，提出特征脸 ( e i g e n f a c e ) 方法。该方法以训练样本集的总体散布矩阵为产生矩阵，经k l 变 换后得到相应的一组特征矢量，因其对应的图像很像人脸，被称为“特征脸 。这 样，就产生了一个由“特征脸 矢量张成的子空间，每一幅人脸图像向其投影都 可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置，实验表明 其具有较强的稳定性，可以作为人脸识别的依据。传统的p c a 算法是一种全局模 型，人脸的二维拓扑信息及局部特征在其目标函数中未被考虑。p u j o l 1 4 】等人较早 地认识到在人脸识别中，变量间的拓扑关系发挥着重要作用，并提出了一种考虑 人脸样本二维拓扑信息的拓扑p c a ( t p c a ) 模型以克服传统p c a 模型泛化能力 低的问题，但t p c a 模型的计算复杂度非常高，直接影响到它的应用。继t p c a 之 后，y a n g t l 5 】等人提出了一种将二维图像矩阵直接映射于p c a 子空间的方法，并将 其称为二维主成分分析( 2 d p c a ) 。2 d p c a 的方法不用将二维图像矩阵事先转换 成一维向量，其计算量和计算的时间大大缩短了。但是二维p c a 只考虑了人脸图 像的行间二维拓扑信息，为此z h a n g 1 6 】等人提出了双向二维p c a ，其兼顾了人脸 图像的行间和列间二维拓扑信息。同二维拓扑信息一样，人脸样本的局部特征同 样也对识别率的提高具有重要意义。为此y a n g 1 7 】等人考虑到这一点，根据l p p 算 法的原理，提出一种局部p c a ( l p c a ) 算法。除此之外，对原始人脸样本分块、 对所提特征加权或两者并用也是考虑局部特征的一种思路，如w a n g 1 8 】，n h a t 【l 川， 5 北京交通大学硕士论文 【2 0 j k u m a r t 2 1 】等人的工作。此外，z h a o 【2 2 1 等人提出一种增量p c a 算法，其目的 是要克服主分量分析算法泛化能力低的缺点，即在离线训练好的投影空间后，人 脸识别系统难以扩充，当有新个体加入时，投影空间往往需要重新训练。 线性判别分析( l d a ) 以样本的可分性为目标，寻找一组线性变换，使得在 变化后的子空间中，训练样本的类内离散度最小，类问离散度最大。从理论上来 说，l d a 比p c a 更适合模式识别问题。由于l d a 是基于f i s h e r 准则来优化其目 标函数的，所以l d a 也被称为f i s h e r 线性判别分析。b e l h u m e u r 【2 3 】等人首先将其 应用在入脸识别。在实际应用当中，传统的线性判别分析算法不能直接应用于人 脸识别中，因为样本空间的维数往往远远大于训练集中样本的数目，即“小样本” 问题，其会造成类内离散度矩阵奇异，从而使得整个优化问题无法求解。针对线 性判别分析所面对的“小样本问题，研究人员已从不同角度提出了大量改进算 法。r a u d y s 【2 4 】等人在优化问题的数值实现过程中利用类内离散度矩阵的广义逆来 替代逆矩阵。相比之下，b e l h u m e u r 2 3 】等人提出首先利用p c a 对原始人脸图像降 维，使类内离散度矩阵非奇异后，再进行通常的线性判别分析，即著名的f i s h e r 脸 方法，则不但可以解决“小样本 问题而且计算量被大幅度降低。近几年，z u o 【2 5 】 等人选用双向二维主分量分析算法取代f i s h e r 脸方法中的一维主分量分析， y a n g t 2 6 】等人则在采用“u 【2 7 】等人的思路选取适合的二维主分量为线性判别分析生 成降维子空间，从而达到提高识别性能的目的。但这些基于主分量分析( 无论一 维的还是二维的) 的方法，为了解决类内离散度矩阵奇异的问题，在主分量分析 阶段未选用小特征值所对应的投影基，这直接导致一些包含判别信息的投影基被 忽略，从而影响到后续线性判别分析算法的性能。为了克服这一点并提取尽量多 的可判别特征，c h e r t 2 8 】等人提出直接线性判别分析( d i r e c t - l i n e a rd i s c r i m i n a n t a n a l y s i s ，d l d a ) 算法。近来s o n g t 2 9 】等人提出参数化d l d a 算法，通过引入 参数来均衡大、小特征值对应投影基在判别特征提取过程中的作用，从而达到不 仅解决“小样本 问题而且提高识别性能的目的。除上述方法之外，q r 分解和 s v d g s v d 分解等其它矩阵分解方法也被用来解决线性判别分析所面对的类内 离散度矩阵奇异的问题，这方面最新的工作及综述可参看y e 3 0 】等人的工作。 独立分量分析( i c a ) 的思想就是通过线性变换，从训练样本中找到一组互相 独立的基来描述样本数据。主分量分析是在二阶统计意义上去相关，而独立分量 分析则是在所有阶统计意义下去相关，从而使信号的二阶统计和高阶统计都得到 了有效的利用。由于i c a 基于所有阶的统计信息，因而其比求解p c a 和l d a 更 复杂，求解的时间更长。b a r t l e t t 3 h 等人首次将独立分量分析作为特征提取模型引 入人脸识别领域，将人脸图像看成是多个独立的基图像的线性叠加。近来，研究 人员提出了多种改进的独立分量分析方法。l i u 【3 2 】，d a g h e r l 3 3 等人先构造一种合适 6 的空间，然后在此空间中实施独立分量分析，从而达到提升算法性能的目的。z h a n g 阱l 等人参考二维主分量分析的思想提出了一种分块独立分量分析算法。k w a k 【3 5 1 等人在利用独立分量分析提取特征之后又将其利用f i s h e r 线性判别分析作进一步 的特征提取并最终利用非线性的支持向量机进行分类。独立分量分析本身就是一 种病态求解问题，其在盲源分离领域仍有许多问题需要解决，如何更好的将其引 入人脸识别或者提出适合人脸识别任务的独立分量分析算法是今后研究的重点。 局部保持投影算法( l p p ) 是继f i s h e r 准则后的又一著名算法，已在人脸识别 领域得到了成功的应用。无论是无监督的主分量分析相关算法、独立分量分析相 关算法还是有监督的线性判别分析算法，这些算法的目的均是提取原始样本的全 局特征。如果样本数据嵌于原始分布空间的某一流形中，那么这些全局特征就不 能准确描述两个样本点之间的真实距离，即无法准确定义两个样本之间的差异性。 所以传统的线性子空间方法不能提取呈非线性分布的样本的内在几何信息。解决 这一问题只能依赖局部线性而全局非线性算法的发展，流形学习相关算法就是其 中代表性的一类算法，具体算法如i s o m e t r i cf e a t u r em a p p i n g ( i s o m a p ) 1 3 6 j 、l o c a l l i n e a re m b e d d i n g ( l l e ) 【3 7 】以及l a p l a c i a ne i g e m m a p t 3 8 】等算法。传统流形学习算 法只定义在训练集上，无法准确估计新样本在特征空间中分布的不足，为此h 9 1 等人尝试将流形学习的思想用于分类问题，提出局部保持投影算法( l p p ) 并将其 用于人脸识别。l p p 算法是一种线性映射逼近子空间的非线性，属于线性的特征 提取方法。其简单，在数学上易于实现，同时，它保留了人脸图像的局部结构， 即在全局结构为非欧氏空间的情况下，局部几何结构接近欧氏空间。随后，一系 列的改进算法随之产生。c a i e 4 0 等人进一步完善了l p p 算法，提出了正交局部保 持投影算法( o r t h o g o n a ll o c a l i t yp r e s e r v i n gp r o j e c t i o n s ，o l p p ) ， o l p p 算法不仅 解决了样本的重建问题，而且在识别性能方面也要优于l p p 算法。此外，y u 4 ， h u l 4 2 】等人采用线性判别分析的思想，考虑训练样本的标号和类别信息等先验知识， 将原始无监督l p p 算法转化为有监督算法。y r 觚一4 3 】等人提出一种非监督判别投 影算法( u n s u p e r v i s e dd i s c r i m i n a n tp r o j e c t i o n ，u d p ) ，该算法定义了非局部离散度 矩阵和局部离散度矩阵以取代传统l p p 算法中单一的相似性矩阵s ，以此来同时 兼顾样本空间中局部和整体的样本分布情况。借鉴以往二维子空间分析算法的思 路，c h e n l 4 4 1 ，h u 4 5 】等人提出二维l p p 相关算法。综上所述，局部保持投影算法的 提出虽然不过五年时间，但其相关的研究目前则是非常热门，主要表现在这种算 法不仅在人脸识别领域被广泛研究，而且掌纹识别、表情识别以及字符识别领域 也十分关注这种算法。 ( 2 ) 基于核的非线性子空间分析 在实际应用当中，很多数据不符合数据变量间线性关系的假设，因此经过线 7 北京交通大学硕士论文 性子空间分析降维后并不能很好的反映原数据的信息。为了解决这个问题，核函 数的方法引入子空间分析，利用非线性函数将原始人脸样本映射到一个高维线性 可分的空间中，然后在这个高维线性可分的空间上进行常规的子空间分析方法。 目前已经应用于人脸识别当中的有核主分量分析( i o c a ) 、核f i s h e r 判别分析 ( k f d a ) 、核局部保持投影算法( k l p p ) 。 k p c a 方法是将核方法和p c a 结合，在高维的线性可分空问内进行p c a 变换。 y a i 讨钓】等人首先将k p c a 用于人脸识别问题。l i u 4 7 】等人将g a b o r 小波变换和 k p c a 结合一起用于人脸识别，并且对多项式核函数对识别效果的影响进行了深入 的研究，发现选用分数幂的多项式核函数识别效果更好。 k f d a 方法是在f i s h e r 线性判别分析中又嵌入了核方法，它既有线性判别分 析以提高可分性为目的的特点，又能有效的描述数据中复杂的非线性关系，因此 比k p c a 更适合于人脸识别问题。y a n g 4 8 j 通过提出核f i s h e r 脸方法成功地将 k f d a 算法用于人脸识别，其基本思路是采用主分量分析对样本进行降维，然后 选用k f d a 算法提取非线性判别特征。“u 【4 9 】【5 0 】【5 1 1 等人通过为核类内散度矩阵添 加扰动项的方式来解决k f d a 算法用于人脸识别时的“小样本”问题，同时通过 引入新的核函数、增加特征选择策略及修改判别式准则等方式进一步完善了k f d a 算法。 同样，k l p p 方法也是将核方法和l p p 结合，c h e n gj i a n 5 2 】，祝磊【5 3 】等人提出 了有监督的k l p p 方法，并将其用于人脸识别之中，金一【矧等人则提出了基于核 的正交局部保持投影的方法，并将其用于人脸识别中。 1 3 1 4 基于隐马尔科夫模型的人脸识别 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特性的 一组统计模型，利用隐马尔科夫模型进行人脸描述和识别时，不是孤立地利用各 个器官的数值特征，而是将这些特征和一个状态转移模型联系起来。 s a m a r i a t 5 5 】最早将隐马尔可夫模型应用与人脸识别任务，n e f i a n 5 6 】等人发展了 s a m a r i a 的方法，提出了基于2 d d c t 隐马尔科夫识别算法，在一定程度上克服 s a m a r i a 所提算法需大量存储空间的不足，l i u 5 7 】等人延续了n e f i a n 的思想，改用 矩形窗内像素的奇异值作为观察序列。早期的隐马尔科夫模型采用一维模型模拟 二维人脸图像，为了进一步考虑人脸的二维结构信息，后来出现了一些二维隐马 尔科夫模型，如嵌入式二维隐马尔科夫模型，o t a n 【5 8 】等人则提出一种所谓真正 的二维隐马尔科夫模型，该模型基于相邻观察块条件独立的假设，并且观察序列 是不重叠的，因此其计算复杂度低且识别率较高。 综上所述，h m m 具有严密和丰富的体系结构，因此具有很好的发展前景，但 是这种方法的有效性仍然依赖于所提取的采样窗口的特征，即这种方法并没有解 综述 决特征提取的问题。此外，与子空间方法相比，该方法计算比较复杂，难于实现。 1 3 1 5 基于神经网络的人脸识别 基于神经网络的人脸识别方法就是利用神经网络的学习能力和分类能力对人 脸进行特征提取和识别。p a u l i s 9 1 率先利用神经网络提取入脸几何特征。v a l e n t i n 6 0 ) 提出一种方法，首先提取人脸的5 0 个主元，然后利用自相关神经网络将它映射到 5 维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较 好。i n t r a t o r l 6 l 】等提出了一种混合型神经网络来进行人