（计算机应用技术专业论文）基于统计的人脸识别方法研究——glram与lpp的子空间法.pdf

摘要 摘要 模式识别的主要任务是利用样本的特征，将样本划分为相应的模式类别。这里特征 提取是人脸识别的关键环节，有效的人脸特征提取方法不仅有助于简化后续的分类器设 计，而且能够提高识别率。人脸识别的特征提取与描述方式可分为基于几何特征和基于 统计特征两大类。早期的人脸识别研究主要是基于几何特征，近年来提出的方法大多数 是基于统计特征的。 人脸识别中基于统计特征的方法主要有模板匹配、子空间法、支持向量机等，本文 重点探讨了子空间法，主要工作为： 1 ) 对基于统计特征的g l r a m ( 矩阵的广义低秩逼近) 和l d a ( 线性判别分析) 方法进行了研究，提出了一种g l r a m 与l d a 相结合的人脸识别方法。该方法首先利 用g l r a m 方法获得人脸图像的有效特征，然后通过l d a 对获得的特征做进一步地降 维并获得最佳分类特征。这样使得抽取特征的判断能力得到了显著增强。实验结果表明， 该算法在较短的时间内取得了较高的识别率，效果优于传统的g l r a m 方法。 2 ) 对二维保局投影方法，提出了一种基于图像分块的分块二维保局投影( 分块 2 d l p p ) 方法，并将其成功用于人脸识别。该方法先对原始图像矩阵进行分块，然后对 分块子图像施行2 d l p p 方法，实现图像降维。该方法能有效地提取图像的局部特征。 实验表明，该方法在识别性能上优于2 d l p p 方法。 关键词：人脸识别；g l r a m ：l d a ；图像分块：特征提取：分块二维保局投影 a b s t r a c t a b s t r a c t t h em a i nt a s ko fp a t t e mr e c o g n i t i o ni s d i v i d i n gt h es a m p l e s i n t oc o r r e s p o n d i n g c a t e g o r i e so fm o d e lw i t ht h ec h a r a c t e r i s t i c so fs a m p l e s f e a t u r ee x t r a c t i o ni st h ek e yt of a c e r e c o g n i t i o n a ne f f e c t i v e f e a t u r ee x t r a c t i o nm e t h o dn o t o n l yh e l p s t o s i m p l i f y 也e c l a s s i f i c a t i o no ff o l l o w u pd e s i g n ，b u ta l s oc a ne n h a n c et h er e c o g n i t i o nr a t e f e a t u r e e x t r a c t i o na n dd e s c r i p t i o nf o r m so ff a c er e c o g n i t i o nc a nb ed i v i d e di n t ot w ob r o a dc a t e g o r i e s ， w h i c ha r et h em e t h o d so fb a s e do nt h eg e o m e t r i c a lf e a t u r e sa n ds t a t i s t i c a lf e a t u r e sb a s e do n e a r l ys t u d i e so ff a c er e c o g n i t i o na r em a i n l yb a s e do nt h eg e o m e t r i cc h a r a c t e r i s t i c s ，a n dt h e m a j o rm e t h o d sp r o p o s e di nr e c e n ty e a r sa g eb a s e do nt h es t a t i s t i c a lc h a r a c t e r i s t i c s f a c er e c o g n i t i o nm e t h o d sb a s e do ns t a t i s t i c a lc h a r a c t e r i s t i c sa r em a i n l yt e m p l a t e m a t c h i n g ，s u b s p a c em e t h o d ，s u p p o r tv e c t o rm a c h i n e ，e t c sa r t i c l ef o c u s e so nt h es u b s p a c e m e t h o da n dt h em a i nc o n t r i b u t i o n s a r eg i v e na sf o l l o w s ： 1 ) t h eg l r a m ( g e n e r a l i z e dl o wr a n km a t r i xa p p r o x i m a t i o n ) a n dl d a ( l i n e a r d i s c r i m i n a n ta n a l y s i s ) m e t h o dt h a tb a s e do ns t a t i s t i c a lc h a r a c t e r i s t i c sw e r es t u d i e d , am e t h o d c o m b i n e dg l r a mw i t ht h el d af o rf a c er e c o g n i t i o nw a sp r o p o s e d f i r s to fa 1 1 e f f e c t i v e f e a t u r ec o u l db eo b t a i n e du s i n gg l r a m a n dt h e nl d aw a su s e dt od e p r e s st h ef e a t u r e d i m e n s i o na n da c q u i r et h eb e s tc l a s s i f i c a t i o nf e a t u r e t i l i se n h a n c et h ed i s c r i m i n a t o r yp o w e r o fe x t r a c t e df e a t u r e s e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a th i g h e rr e c o g n i t i o nr a t ec a nb e a c h i e v e di ns h o r t e rt i m e t h i sp r o p o s e dm e t h o do u t p e r f o r m st h et r a d i t i o n a lg l r a mm e t h o d s 2 ) w 油t h es t u d yo ft h et w o d i m e n s i o n a ll o c a l i t yp r e s e r v i n gp r o j e c t i o n s ( 2 d l p p ) ，a m e t h o do ft w o d i m e n s i o n a ll o c a l i t yp r e s e r v i n gp r o j e c t i o n s ( 2 d l p p ) f o rf a c er e c o g n i t i o ni s p r o p o s e d ，b a s e do nm o d u l a ri m a g e f i r s t l y , t h eo r i g i n a li m a g e sa r ed i v i d e di n t om o d u l a r i m a g e si np r e s e n t e da p p r o a c h s e c o n d l y , t h e2 d l p pm e t h o dc a l lb eu s e dt ot h es u b - i m a g e s 0 b t a i l l e df r o mt h ep r e v i o u ss t e p t h e r e f o r e d i m e n s i o nr e d u c t i o nc o u l db ep e r f o r m e d t i l i s a p p r o a c hc o u l dd i s t i l lt h el o c a lf e a t u r e so ft h ei m a g e se f f e c t i v e l y t h ee x p e r i m e n t a lr e s u l t s i n d i c a t et h a tt h ep r o p o s e dm e t h o di ss u p e r i o rt ot h a to f2 d l p pi nr e c o g n i t i o np e r f o r m a n c e k e y w o r d s ：f a c er e c o g n i t i o n ；g l r a m ；l d a ；m o d u l a ri m a g e ；f e a t u r ee x t r a c t i o n ；2 d l p p ( t w o - d i m e n s i o n a ll o c a l i t yp r e s e r v i n gp r o j e c t i o n s ) b a s e do nm o d u l a ri m a g e 独创陛声明 本人声明所呈交的学位论文是誉人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签名： 盆垒叁 日 期：丛生蛙 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签 名：一丝叁垒 导师签名：早孽过日 期：二竺l 量堡一 第一章绪论 第一章绪论 1 1 人脸识别的研究背景和意义 鉴别人的身份是一个非常困难的问题，传统的身份鉴别方法把这个问题转化为鉴别 一些标识个人身份的事物，这包括两个方面：一是身份标识物品，比如钥匙证件、a t m 卡等；二是身份标识知识，比如用户名和密码。在一些安全性要求严格的系统中，可以 将这两者结合起来，比如a t m 机要求用户同时提供a t m 卡和密码。这些传统的身份 鉴别方法存在明显的缺点：个人拥有的物品容易丢失或被伪造，个人的密码容易遗忘或 记错。更为严重的是这些系统无法区分真正的拥有者和取得身份标识物的冒充者，一旦 他人获得了这些身份标识事物，就可以拥有相同的权力。随着科学技术的不断发展， 社会的信息化程度越来越高，人们对生产和生活水平的要求也越来越高。传统的身份认 证方式的局限性和弊端表现得日益突出，对社会造成的危害越来越大。显然，传统的身 份识别技术和方法已经不能满足社会快速发展的需要，人类社会对高安全性、可靠性的 自动身份识别技术的需求越来越迫切。 社会的迫切需求，带动各种新的自动身份识别技术层出不穷，但是很多新的身份识 别技术并没有从本质上解决传统身份识别技术的局限性和弊端，而仅仅是提高了破解传 统身份识别技术的门槛和难度，不能从本质上达到准确识别个体身份的目的。 悄然兴起的生物特征识别技术可以从本质上解决传统身份识别技术的不足，正逐渐 被认可。生物特征识别技术就是通过计算机与光学、声学、生物传感器和生物统计学原 理等高科技手段密切结合，利用人体固有的生理特性和行为特征来进行个人身份的鉴 定。而之所以能够用于个体身份识别，是因为每个个体都具有自身独特的生物特征，随 着个体的不同这些特征具有唯一性，而且具有不随个体年龄变化的稳定性。在目前的研 究与应用领域中，生物特征识别主要关系到计算机视觉、图象处理与模式识别、计算机 听觉、语音处理、多传感器技术、虚拟现实、计算机图形学、可视化技术、计算机辅助 设计、智能机器人感知系统等其他相关的研究【l 】。已被用于生物识别的生物特征有手形、 指纹、脸形、虹膜、视网膜、脉搏、耳廓等，行为特征有签字、声音、按键力度等。基 于这些特征，生物特征识别技术已经在过去的几年中取得了长足的进展。与传统的身份 识别相比，基于生物特征的生物特征识别技术具有不会遗忘或丢失、不易伪造或被盗、 随身携带随时随地可以使用等优点。基于生物特征的识别方法认定的是人本身，每个人 的生物特征具有与其他人不同的唯一性和在一定时期内不变的稳定性，不易伪造和假 冒，所以基于生物特征的识别方法会更可靠、更准确。此外，基于生物特征的识别方法 均是借助现代计算机技术来实现的，很容易与计算机以及一些监控、管理系统相结合， 实现远程的自动化管理。随着生物特征识别技术的快速发展，生物特征识别将成为未来 身份识别的重要方式。 人脸识别是最为自然的可视化的一种生物身份识别方式，符合人类自身的生理视觉 习惯。利用人脸特征进行身份验证的自动人脸识别技术是利用计算机分析人脸图像，并 江南大学硕士学位论文 从人脸图像中提取有效的识别信息，用来“辨认身份的- f o 技术。与指纹、虹膜、d n a 等其它人体生物特征识别方法相比，自动人脸识别方法具有直接、友好和方便等特点。 比如说，自动人脸识别不需要对被测试的人进行强迫约束，也对被测试人没有任何侵害 性，因而它成为最容易被接受的生物特征识别方法，受到人们越来越多的重视。另外， 系统还可以通过分析用户面部表情，获得一些如心理反应等其它识别系统难以获得的信 息。也正是因为存在这些优势，自动人脸识别技术未来可以广泛的应用于公安系统的罪 犯身份识别、驾驶执照及护照等与持证人身份核实、银行及海关的监控系统及保密部门 的自动门卫系统等领域，帮助相关人员更轻松的完成工作。人脸识别对采集设备没有特 殊的要求，甚至很普通的摄像头都可以实现人脸识别，因此人脸识别的产品成本低，系 统集成方便。 作为生物识别技术的人脸识别的意义不仅在于它巨大的应用前景，人脸识别的研究 还可以极大地促进多门相关学科的发展【i 】。自动人脸识别作为一个典型的图像模式分析、 理解与分类计算问题，它为模式识别、图像处理、计算机视觉、人工智能、人机交互、 计算机图形学、认知科学、神经计算、生理学、心理学等多学科提供了一个良好的具体 问题，有利于构建这些学科领域的基础实验平台用于尝试新方法，验证新理论，解释新 现象。人脸识别问题的深入研究和最终解决可以极大的促进这些学科的成熟和发展。 随着人脸识别技术的发展，其精确度、可靠性都将有很大的提高。人脸识别以其显 著的技术优势必将成为一种极具潜力的生物身份识别方式。 1 2 人脸识别的发展 1 2 1 人脸识别的研究历史 人脸识别的研究历史比较悠久。高尔顿早在1 8 8 8 年和1 9 1 0 年就分别在( n a t u r e ) ) 杂 志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分 析。但当时还不可能涉及到人脸的自动识别问题。当代学者参与自动人脸识别课题的研 究是从二十世纪六十年代开始的。当时很多生理学家、心理学家和神经科学家做了大量 的基础性研究，为人脸识别技术的兴起奠定了基础。二十世纪九十年代，伴随着计算机 技术的飞速发展，许多新的人脸识别方法，极大地促进了人脸识别技术的发展。自动人 脸识别的研究历史按照研究内容、技术方法等方面的特点大体划分为三个时间阶段【l 】： 第一阶段( 1 9 6 4 年1 9 9 0 年) 这一阶段人脸识别通常只是作为一个一般性的模式识别问题来研究，所采用的主要 技术方案是基于人脸几何结构特征的方法。这是人脸识别研究的初级阶段，非常重要的 成果不是很多，也基本没有获得实际应用。 第二阶段( 1 9 9 1 年1 9 9 7 年) 人脸识别技术发展非常迅速，很多重要的人脸识别方法被提出，如特征脸方法、 f i s h e r 脸方法、弹性图匹配技术等。基于结构特征的方法与基于模板匹配的方法识别性 能的对比实验表明，模板匹配的方法优于基于特征的方法。这一导向性的结论与特征脸 共同作用，基本中止了纯粹的基于结构特征的人脸识别方法研究，并在很大程度上促进 2 第一章绪论 了基于表观的线性子空间建模和基于统计模式识别技术的人脸识别方法的发展，使其逐 渐成为主流的人脸识别技术。f e r e t 项目是本阶段一个至关重要的事件。该项目分别于 1 9 9 4 年，1 9 9 5 年和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都参加 了测试，极大地促进了这些算法的改进和实用化。该测试的另一个重要贡献是给出了人 脸识别的进一步发展方向：光照、姿态等非理想采集条件下的人脸识别问题逐渐成为热 点的研究方向。所提出的这些算法在较理想图像采集条件、对象配合、中小规模正面人 脸数据库上达到了非常好的性能，也因此出现了若干知名的人脸识别商业公司。从技术 方案上看，二维人脸图像线性子空间判别分析、统计表观模型、统计模式识别方法是这 一阶段内的主流技术。 第三阶段( 1 9 9 8 年至今) 主流的人脸识别技术对光照、姿态等由于非理想采集条件或者用户不配合造成的变 化鲁棒性比较差。因此，光照、姿态问题逐渐成为研究热点。与此同时，人脸识别的商 业系统进一步发展，为此，美国军方在f e r e t 测试的基础上分别于2 0 0 0 年和2 0 0 2 年 组织了两次商业系统评测。g e o r g h i a d e s 等人提出的基于光照锥模型的多姿态、多光照 条件人脸识别方法是这一时期的重要成果之一。以支持向量机为代表的统计学习理论也 在这一时期内被应用到了人脸识别与确认中来。b l a n z 和v e t t e r 等提出的基于3 d 变形( 3 d m o r p h a b l em o d e l ) 模型的多姿态、多光照条件人脸图像分析与识别方法是这一阶段内一 项开创性的工作。在f e r e t 测试的基础上，美国军方针对人脸识别商业系统进行了三 次评测f r v t 2 0 0 0 、f r v t 2 0 0 2 和f r v t 2 0 0 6 。前两次测试一方面对知名的人脸识别系统 进行了性能比较，另一方面则全面总结了人脸识别技术发展的现状，另外还进一步指出 了目前的人脸识别算法亟待解决的若干问题。人脸识别错误率在f r v t 2 0 0 6 上下降了至 少一个数量级，这种性能的提升在基于图像的人脸识别算法和基于三维的人脸识别算法 上都得到体现。此外，f r v 1 2 0 0 6 还展现了不同光照条件下人脸识别性能的显著提高， 最后，f r v t 2 0 0 6 表明人脸自动识别的性能优于人。目前非理想成像条件下( 尤其是光 照和姿态) 、对象不配合、大规模人脸数据库上的人脸识别问题逐渐成为研究的热点问 题。而非线性建模方法、统计学习理论、基于b o o s t i n g 的学习技术、基于3 d 模型的人 脸建模与识别方法等逐渐成为备受重视的技术发展趋势。 1 2 2 人脸识别的研究现状 目前，很多国家展开了有关人脸识别的研究，主要有美国、欧洲国家、日本等，著 名的研究机构有美国的卡奈基梅隆大学( c m u ) 机器人研究所、麻省理工学院( m i t ) 媒体 实验室和人工智能实验室、英国的s u r e y 大学视觉语音和信号处理研究中心、法国的 i n r i a 研究所、芬兰的赫尔辛基大学c i s 研究所、瑞士i d i a p 研究所和日本a r t 研 究所等 2 】。目前的人脸识别方法主要集中在模板匹配、示例学习、神经网络和基于隐马 尔可夫模型的方法。除此以外，基于a d a b o o s t 的人脸识别算法、基于彩色信息的方法、 基于形状分析的方法以及多模态信息融合的方法，国外都进行了大量的研究与实验。 国内关于人脸自动识别的研究始于二十世纪八十年代，研究工作主要是集中在三大 类方法的研究：基于几何特征的人脸正面自动识别方法、基于代数特征的人脸正面自动 3 江南大学硕士学位论文 识别方法和基于连接机制的人脸正面自动识别方法【l 】。主要的研究单位有清华大学、哈 尔滨工业大学、中科院计算所、中科院自动化所、复旦大学、北京科技大学等，并都取 得了一定的成果。其中中科院自动化研究所和计算机研究所的研究工作处于国内领先水 平【9 1 。这些研究组都在人脸检测、特征提取与识别方面进行了许多有意义的尝试，积累 了宝贵的经验。主要成果有： 在预处理、人脸检测、人脸识别与确认等方面，提出了一系列新算法和改进算法。 在光照可变、多姿态等条件下获得了优于其他系统的性能。 在基础数据建设方面，收集整理了万人以上超过百万幅图像的人脸图像数据库 c a s p e a l ，公布了包含3 万多幅人脸图像的大规模中国人脸图像数据库c a s p e a l r 1 ， 已被国内多, f s o 余单位使用，在国际上率先提供了大规模共享中国人脸图像数据库。 在应用系统和成果转化方面，开发了会议代表身份认证识别系统、银行智能视频监 控系统、嫌疑人面像比对系统、面像识别考勤f - j 禁系统、出入口黑名单监控系统等1 9 种产品；申请各类专利2 6 项( 8 项已获授权) ，软件著作权1 1 项。产品已成功应用于人 民大会堂、天安门广场等重要场所及海南、云南省建行等多处。成果转化的产品在公安、 金融等领域推广，取得了较好的经济和社会效益。这些研究成果结束了国内企业长期依 赖国外技术、只能做二次开发商的历史，从总体上提高了我国相关技术的国际竞争力， 也为我国生物特征识别及其相关产业发展起到了积极的推动作用。 由清华大学电子工程系智能图文信息处理研究室承担完成的“t h i d 多模生物特征 ( 人脸笔迹签字虹膜) 身份识别认证系统，在人脸和笔迹等生物特征身份识别认证及其 融合上取得了重大突破，整体上达到国际领先水平。目前，该系统已成功应用于多个领 域。 1 2 3 人脸识别的发展趋势 人脸自动识别技术经过多年来的研究，已经积累了大量研究成果，但在实际应用中 仍然面临着很多困难，除了要准确、快速的检测并分割出人脸部分，有效的变化补偿、 特征描述、准确的分类等都将成为今后主要研究课题【3 j 。 人脸的局部和整体信息的相互结合能有效地描述人脸的特征，如何更好地提取和组 合局部与整体的特征值得深入研究。研究新的人脸描述方法以获得准确的人脸描述和区 别信息，避免完全不相似的人脸图像被认为是相似的。基于混合模型的方法值得进一步 深入研究，以便能准确描述复杂的人脸模式分布【2 】。不同的人脸描述方式有不同的特点， 不同的分类器产生的分类结果也不一样。因此，多特征融合和多分类器融合的方法也是 改善识别性能的一个手段。由于人脸为非刚体性，人脸之间的相似性以及各种变化因素 的影响，使得准确的人脸识别仍较困难。为了满足自动人脸识别技术具有实时要求，在 必要时需要研究人脸与指纹、虹膜、语音等识别技术的融合方法。3 d 形变模型可以处理 多种变化因素，具有很好的发展前景。已有研究也表明，对各种变化因素采用模拟或补 偿的方法具有较好的效果。三维人脸识别算法的选取还处于探索阶段，需要在原有传统 识别算法的基础上改进和创新。表面纹理识别算法是一种最新的算法，有待于继续学习 和研究出更好的方法1 4 。基于核的非线性子空间分析将倍受关注，但还有待于进一步研 4 第一章绪论 究。大多数自动人脸识别技术具有实时要求，因此，新的算法要快速、有效且易于实现。 随着图像处理、模式识别、人工智能以及生物心理学的研究进展，人脸识别技术也 将会获得更大的发展。在一些高级信息安全的应用中，需要研究人脸与指纹、虹膜、语 音等识别技术的融合方法，以期提高特征表达的鲁棒性和可持续性，进而提高识别率， 这也是生物特征识别技术的发展趋势。 1 3 人脸识别存在的困难 尽管人脸识别技术有着广阔的应用前景，但是它的识别率和防伪性还比较低。人脸 识别技术效果不尽如人意的原因是真人的电视图像与存储在数据库中的照片在布光和 角度方面有差别。影响人脸识别效果的原因主要有以下的几个方面： ( 1 ) 人脸图像获取过程中的不确定性( 如光的方向、光的强度等) 。 ( 2 ) 人脸模式的多样性( 如胡须、眼镜、发型等) 。 ( 3 ) 人脸塑性变形的不确定性( 如表情等) 。 ( 4 ) 所涉及的领域知识的综合性( 如心理学、医学、模式识别、图像处理、数学等) 。 正因为在人脸识别的过程中存在上述各种各样的问题，因此在实际的检测和识别过程 中，当这些因素叠加到一起的时候，情况就变得更加复杂【1 5 1 。 基于几何特征的识别方法，其存在的主要问题在于没有形成一个统一的优秀的特征 提取标准。在描述人脸的时候，受到表情、光照、姿态的影响比较大，无法准确地描述 人脸特征。尽管如此，基于几何特征的方法在处理人脸表情分析时，仍然是一个最有效 的依据。同时，目前已经提出了很多改进的特征提取的算法，使得人脸几何特征的提取 越来越趋于合理，这里面最具代表性的方法就是结合3 d 人脸信息的特征点提取技术。 基于代数特征的识别方法是目前在实际应用中使用得最多的一类方法，其主要原因 是由于代数特征矢量( 即人脸图像在特征空间的投影结果) 对角度、表情等因素都具有 一定的稳定性。但对于光照而言，似乎效果并不太明显。这种代数的特征识别方法无法 应用于人脸的表情识别。 从某种意义上来说，人脸识别的各种方法实际上就是在寻找一种人脸的描述方式， 但是要找到一种能够不受各种因素影响的描述方式非常困难，无论是最早使用的几何描 述方式以及后来比较常用的代数描述方式，都不可避免地存在各种干扰。我们只能是在 以后的研究中，逐渐去完善人脸的描述方式，使之更加有效，更加准确。目前的人脸识 别技术在人处于静止状态或- d , 群人通过检测点时有效，因此不适合在交通流量大的机 场和街道拐角处使用。人脸识别要得到广泛应用，还很有待时日【b j 。 1 4 本文的主要研究内容 ( 1 ) 查阅大量的国内外相关资料，了解了人脸识别的研究背景和意义、研究历史、研 究现状、发展趋势和存在的问题。 ( 2 ) 介绍了人脸识别的主要过程、人脸特征及特征提取，对几种代表性的人脸识别方 法进行了阐述。 ( 3 ) 探讨了一种g l r a m 和l d a 算法相结合的人脸识别方法，并通过相关实验证实 江南大学硕士学位论文 该方法的有效性。 ( 4 ) 对2 d l p p 方法进行研究，得到了分块2 d l p p 方法，并在o r l 人脸库和y a l e 人 脸库上分别进行实验论证。 1 5 本文的章节安排 本文共分为4 章，章节安排如下： 第l 章为绪论部分，介绍了人脸识别的研究背景意义、研究历史、研究现状和发展 趋势，指出本文的主要研究内容。 第2 章介绍人脸识别的主要过程、人脸特征及特征提取，并对几种代表性的人脸识 别方法进行了阐述，了解了弹性图匹配方法、支持向量机算法等的发展及基本思想。 第3 章探讨了基于g l r a m 的人脸识别方法，介绍了本文提出的g l r a m 与l d a 相结合的人脸识别方法，与传统方法进行了对比实验分析。 第4 章对二维保局投影方法进行了深入研究，提出了分块二维保局投影的人脸识别 方法。通过实验证明了该方法的可行性和有效性。 第5 章为全文的总结，对研究中存在的问题和不足加以说明，对本文所取得的研究 成果进行了分析，并对有待进一步研究的方向进行了展望。 6 第二章人脸识别方法简介 第二章人脸识别方法简介 由于人脸识别在身份认证、视觉监控以及人机接口等方面有着广泛的应用前景，从 而成为近年来计算机视觉与模式识别领域的一大研究热点。简单地说，人脸识别技术就 是指利用计算机技术从包含人脸的静止图像或视频序列图像中提取人脸的个性化特征， 并以此自动识别出人的身份。因此，如何有效地从人脸图像中抽取和描述每个个体的特 征，使之区别于其他个体，是人脸识别研究的关键问题之一【5 j 。在实际的人脸识别系统 中，人脸个性化特征的抽取好坏要受表情、姿态、光照等因素的制约，也受人脸检测、 人脸跟踪等相关工作的影响。近年来人们提出了大量的方法。 2 1 人脸识别简介 人脸识别过程包括如图2 1 所示的两个主要环节。一是人脸的检测和定位，即从输 入图像中找到人脸及其位置，并将人脸从中分割出来；二是对标准化的人脸图像进行特 征提取与识别【6 j 。 输入图像人脸检测 人脸图像 特征提取 判别结果 与定位与识别 l l 1 一一一一一 图2 - 1 人脸识别的主要过程 f i 9 2 - 1 t h em a i np r o c e s so f f a c er e c o g n i t i o n 通常，人类进行人脸识别依靠的感觉器官包括视觉、听觉、嗅觉、触觉等，一般人 脸的识别可以用单个感官完成，也可以是多感官相配合来存储和检索人脸，而计算机的 人脸识别所利用的则主要是视觉数据人脸图像。人脸识别的输入图象通常有三种情 况：正面、倾斜、侧面。但由于实际情况的要求，人们对人脸识别技术的研究以正面模 式居多。 人脸检测与定位就是检测一幅图像中是否存在人脸。若有，将其从背景中分割出来， 并确定其在图像中的位置。人脸检测的基本思想是用知识或统计的方法对人脸进行建 模，比较所有可能的待检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。 基于统计的方法将人脸图像视为一个高维向量，从而将人脸检测问题转化为高维空间中 分布信号的检测问题；基于知识的方法则利用人的知识经验建立若干规则，从而将人脸 检测问题转化为假设验证问题【6 】。人脸检测就是从各种不同的场景中检测出人脸的存在。 如果对没有人脸的待识别图像进行人脸识别，后面的工作将变得毫无意义，所以人脸检 测是识别技术中首要而关键的一环。人脸定位就是确定人脸的位置，它是紧跟人脸检测 之后的又一重要环节。其中图像的预处理阶段尤为重要，如果这阶段处理不好，后面的 特征提取、识别根本无法展开【，j 。 7 江南大学硕士学位论文 人脸识别主要依据人脸的生物特征，也就是依据那些在不同个体之间存在较大差异 而对于同一个人则比较稳定的特征。由于人脸变化复杂，因此特征表述和特征提取十分 困难。在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化。人 脸归一化主要是对人脸图像进行预处理并转化成适合计算机处理的格式。几何归一化是 指根据人脸定位结果将图像中的人脸变换到同一位置和大小。灰度归一化是指对图像进 行灰度标准化、光照补偿等处理，以提高识别率【6 1 。人脸的特征提取是对归一化后的人 脸提取若干主要特征，这是进行识别的依据，最后根据不同人脸之间的特征差别进行识 别【8 j 。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的 表征方式密切相关。 人脸检测是一项比较困难的工作，虽然已存在一些检测方法，但是从实用化角度考 虑，需要寻找一种简单快速的检测算法。人脸归一化和特征提取是否有效的最大障碍是 光照和表情的影响，由于目前不能很好地克服这些负面影响，导致不能达到较高的正确 识别率【引。 2 2 人脸特征提取 2 2 1 人脸特征 人脸特征提取利用了人脸稳定的共性特征，人脸的特征大致可分为以下几种【7 】： ( 1 ) 边沿和形状特征 目前用得比较多的是基于人脸五官的空间分布规则。例如，人脸轮廓近似为椭圆， 眉毛边沿、虹膜轮廓、眼睑轮廓、鼻侧线和嘴唇轮廓可以视为圆、圆弧线或线段等。运 用各部件的形状和结构关系进行几何描述建立模型。为了能够较好地抽取人脸的边沿特 征，这些模型需要一个较好的初始化位置。相对于灰度特征，边沿特征对光照变化具有 一定的鲁棒性，但在强光照射下会产生一些伪边沿。 ( 2 ) 灰度特征 人脸的前额、脸颊、鼻梁和下颌等其他区域的灰度值较高，人脸的眉、眼和嘴等区 域的灰度值较低，因而人脸具有明显的灰度分布特征。c r a w 等首先在低分辨率图像中使 用一个轮廓模板匹配出人脸的大致范围，然后在高分辨率图像中使用s o b e l 算子获得边缘 的位置和方向，并连接出完整的人脸轮廓。相应的眼模板和嘴模板等局部模板也常被使 用。 ( 3 ) 结构特征 人脸的对称性也是十分有用的特征。正面人脸是左右对称的，对应边沿和灰度特征 基本相同。各个器官也具有自身的对称性。眉、眼、鼻和嘴等区域是按一定比例关系组 织在一起，各器官按照从上而下的顺序排列，两眼和嘴中心构成一个三角形。每个人的 眉、眼、鼻和嘴的相对位置，眉毛的厚度和弧度，嘴的宽高、脸形等特征各具特点。头 发的灰度和肩宽等也可作为辅助特征。利用人脸的结构信息，较有代表性的是s a k a i ，他 最早提出用椭圆检测人脸图像信息。 ( 4 ) 纹理特征 8 第二章人脸识别方法简介 纹理特征是一种全局特征，它描述了人脸的表面性质。但由于纹理只是一种物体表 面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层 次图像内容的。纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是， 纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的 纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从二维图像中 反映出来的纹理不一定是三维物体表面真实的纹理。人脸具有特定的纹理特征，基于灰 度共生矩阵可计算人脸的一系列纹理特征。 ( 5 ) 变换域特征 基于f f t 变换、d c t 变换、k l 变换和小波变换等，根据能量规则选择一些系数用于 表征人脸图像的特征。 ( 6 ) 统计特征 从大量图像数据中获得某些统计特征。利用正态随机过程、马尔可夫过程、二阶矩 过程、平稳过程的互相关、自相关、高阶矩、不变矩、概率分布。在子空间的投影、空 间距离以及统计学习理论中支持向量机的运用等。 ( 7 ) 肤色特征 肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变化情况都 能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别，因此肤色特征在人脸 检测中是最常用的一种特征。肤色特征主要由肤色模型描述。使用何种形式的肤色模型 与色度空间的选择密切相关。人脸检测常用的色度空间主要有r g b ( 红、绿、蓝三基色) 、 s h i ( 饱和度、色调、亮度) 、y i q ( n t s c 铝t j 的光亮度和色度模型) 、模型、y c b c r 模 型。 ( 8 ) 运动特征 对于视频，运动信息是一个重要特征。人脸运动特征可用于分割快速的人脸检测。 计算相邻帧图像的差分可得到运动区域。采用空间连通区域、多帧差分、差分图像光滑 滤波、时空三维张量等方法能够提高算法对噪声的鲁棒性。局部方差对比度和视频相邻 帧差分对比度构成二维熵分布图也用于分割运动对象。 2 2 2 特征提取 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信 息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不 同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 人脸图像在其原始样本空间中的分布往往并不集中，这就不利于对其进行有效的归 类识别。为了能区分不同的人脸图像，可以把原始的人脸图像通过一些变换( 包括线性 或者非线性变换) 方法转换到另外一个空间中，使得同类( 同一个人) 的人脸图像在此 空间中分布更加紧凑，从而便于归类和识别。人脸特征提取又称为人脸表述，是在低维 特征空间内对原高维空间的人脸模式进行描述、建模，目的是提取出有利于分类的低维 特征。 特征提取是人脸识别的关键环节，有效的人脸特征提取方法不仅有助于简化后续的 9 江南大学硕士学位论文 分类器设计，而且能够提高识别率。但是由于人脸模式的复杂性和多变性，在视角、光 照和表情等条件变化下人脸图像的类内离散度远大于类间离散度，导致很难有效地提取 分类特征。因此，人脸特征提取也是人脸识别的主要难点所在，注重鲁棒性同时兼顾效 率的人脸特征提取技术一直是研究的热剧9 1 。 2 3 人脸识别方法 目前，国内外的研究人员已经提出了多种人脸识别方法，人脸识别的特征提取与描 述方式可分为基于几何特征和基于统计特征两大类。早期的人脸识别研究主要是基于几 何特征。近年来提出的方法大多数是基于统计特征的【5 1 。比如，模板匹配方法就是把数 据库中的人脸图像当作模板，结果表明性能要明显优越于基于几何特征的方法；在 f e r e t 测试中取得很好效果的弹性图匹配方法实际上是基于局部统计特征的；结合隐 马尔可夫模型的方法以及子空间方法等等。 2 3 1 基于几何特征的人脸识别方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构 上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几 何描述，可以作为人脸识别的重要特征。 基于几何特征的人脸识别方法是通过人脸面部拓扑结构几何关系的先验知识，利用 基于结构的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几何特征矢 量表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别。它要求该矢量具 有一定独特性，可以反映不同人面部特征的差别。侧影识别是最早的基于几何特征的人 脸识别方法，主要是从人脸侧面轮廓线上提取特征点入手【l o 】。一般将侧影简化为轮廓曲 线，从中抽取若干基准点，用这些点之间的几何特征来进行识别。由于该方法对脸部朝 向的改变非常敏感，要求有一定的弹性，以消除时间跨度和光照的影响。基于侧面照片 约束很多，所以对侧面人脸的研究己经不多。正面人脸识别第一步是合适的归一化，使 之不依赖于图像中人脸位置的尺度和旋转变化。识别所采用的几何特征是以人脸器官的 形状和几何关系为基础的特征矢量，基分量通常包括人脸指定两点间的欧氏距离、曲率、 角度等【1 1 1 。识别工作的流程大体如下：首先检测出面部特征点，通过测量这些关键点之 间的相对距离，得到描述每个脸的特征矢量，比如眼睛、鼻子和嘴的位置和宽度，眉毛 的厚度和弯曲程度等，以及这些特征之间的关系【1 2 1 。用这些特征来表示人脸。比较未知 脸和库中已知脸的这些特征矢量，来决定最佳匹配。 基于几何特征的识别方法比较简单，容易理解，可以实现对人脸显著特征的一个高 效描述，同时具有存储量小、对光照变化不敏感等优点。这种方法同样存在一些问题： 没有形成统一的特征提取标准；从图像中抽取稳定的特征较困难，特别是特征受到遮挡 时，对较大的表情变化或姿态变化的鲁棒性较差【1 3 】。 基于几何特征的人脸识别方法是最早最传统的方法，通常需要和其他算法结合才能 有比较好的效果。 1 0 第二章人脸识别方法简介 2 3 2 基于统计特征的人脸识别方法 ( 1 ) 基于模板匹配的人脸识别方法 基于模板匹配的方法是一类常用的人脸识别方法。最简单的模板匹配方法是每个人 作为数据库中的一个条目，它的字段包含一个从其正面人脸图像抽取的二维点阵。图像 必须经过归一化。识别时，未分类的图像和数据库中的所有图像数据进行比较，采用相 关作为典型的匹配函数【l4 1 。 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参 考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样 本是否人脸。这种方法比较简单，在早期的系统中采用得比较多。但是由于人脸特征的 变化很大，很难得到有效的模板来表示人脸的共性。变形模板在原理上与固定模板相同， 但其中包含一些非固定的元素，一种方法是手工构造参数化的曲线和曲面以表征人脸中 的某些非固定特征，如眼睛，鼻子和嘴唇等。另一种方法是系统自动生成自适应的曲线 或曲面，以构成变形人脸模板。检测方法是：将模板与测试图像进行弹性匹配，并加入 惩罚机制，利用某种能量函数表示匹配程度【l5 1 。 基于模板匹配方法的缺点是计算复杂。一般意义上讲，基于模板的方法是一个更理 性的途径。问题的关键是如何描述模板。当对图像进行近似分析时，系统应能够容忍模 板和实际图像之间的差别，而这种容忍度往往趋向于抹煞人脸之间的差别。 b r u n e l l i 和p o g g i o 对基于几何特征和基于模板的两种方法进行了比较。他们认为， 基于几何特征的方法在速度和存储量上有更大的优势，但是基于模板的方法在提高识别 率上更有优势。对于基于几何特征的方法，当增加测量量时，识别率只能提高很少。另 外，当出现遮挡或由于比如摄像机对焦不准而造成的图像质量下降时，基于几何特征的 方法的性能下降很大【1 4 j 。 ( 2 ) 子空间方法 人脸图像的维数通常都是非常高的，而实际上人脸图像在这样高维空间中的分布很 不紧凑，因而不利于分类，并且在计算上的复杂度也非常大。为了得到人脸图像的较紧 凑分布，r a r b y 和t u r k 等首次把主元分析的子空间思想引入到人脸识别中，并获得了较大 的成功。随后子空间分析方法就引起了人们的广泛注意，从而成为了当前人脸识别的主 流方法之一【5 1 。 子空间分析的思想就是根据一定的性能目标来寻找一个线性或非线性的空间变换， 把原始信号数据压缩到一个低维子空间，使数据在子空间中的分布更加紧凑，为数据的 更好描述提供了手段，另外计算的复杂度也得到了大大降低。子空间分析除了有线性和 非线性空间变换之分外，根据不同的性能目标要求，得到的子空间也是不一样的【5 】。目 前在人脸识别中得到成功应用的线性子空间方法有：主元分析( p r i n c i p a lc