（模式识别与智能系统专业论文）基于线性子空间方法的人脸识别技术.pdf

摘要 人脸自动识别是近年来模式识别领域的一大研究热点，具有广阔的应用前 景。本文以人脸自动检测与识别系统项目为背景，主要目的是在人脸检测的基础 上完成人脸识别。 本文首先对人脸识别领域的研究背景、研究意义以及研究内容等基本问题进 行综述，对典型的人脸识别方法进行分类介绍和理论分析，并研究了基于线性子 空间的人脸识别方法以及常用的特征分类器。其次，本文着重分析了近期出现的 区域保留映射( l p p ) 算法的基本原理和它与主成分分析( p c a ) 、线性判别分析 ( l d a ) 之间的区别与联系。文中指出了l p p 算法在特征值选择问题上包含非线性 结构而不利于最近邻法分类的缺陷，并综合径向基( r b f ) 网络分类器可以将非线 性可分问题转化为线性可分问题的优势提出了利用l p p 子空间和r b f 网络分类 器相结合进行人脸识别的改进方法。即首先采用l p p 算法根据训练集构造人脸 子空间，然后将待识别的人脸图片投影到子空间上，最后使用r b f 网络进行分 类。文中l p p 算法采用监督模式，r b f 网络的隐层中心采用正交最小平方( o l s ) 算法进行训练。 实验测试了o r l 、y a l e - a 、y a l e - b 和y a l e - be x t e n d e d 、h a r v a r d 、c m u - p i e 以及c a s p e a l 数据库。结果表明，本文提出改进方法的识别率比特征脸、f i s h e r 脸和拉普拉斯脸法有较大提高。 i 关键词：人脸识别线性子空间区域保留映射径向基网络 a bs t r a c t t h ea u t o m a t i cr e c o g n i t i o no fh u m a nf a c e si sa l la c t i v es u b j e c ti nt h ep a t t e r n r e c o g n i t i o na r e ao v e l t h ep a s tf e wy e a r s ，w h i c hh a saw i d er a n g eo fp o t e n t i a l a p p l i c a t i o n s b a c k g r o u n d o ft h ea u t o m a t i cf a c ed e t e c t i o na n dr e c o g n i t i o ns y s t e m p r o j e c t ，t h i sp a p e ra i m st of m i s ht h ef a c er e c o g n i t i o nt a s kb a s e do nt h ef a c ed e t e c t i o n f i r s t l y , t h eb a c k g r o u n d ，s i g n i f i c a n c ea n dc o n t e n to ft h i sr e s e a r c ha r es u m m a r i z e d t h e n ，t y p i c a lm e t h o d so ff a c er e c o g n i t i o na r es t u d i e d ，e s p e c i a l l yt h el i n e a rs u b s p a c e m e t h o d sa n df e a t u r ec l a s s i f i e r s t h ep a p e ra n a l y z e st h eb a s i ct h e o r yo fl o c a l i t y p r e s e r v i n gp r o j e c t i o n ( l p p ) a n di t sr e l a t i o n s h i pw i 也p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) a n dl i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) i nd e t a i l 。t h ep a p e ra l s op o i n t so u t t h en o n - l i n e a rf e a t u r es e l e c t i o np r o b l e mo ft h el p ps u b s p a c ew h i c hc o u l dl e a dt ot h e f a i l u r eo fu s i n gn e a r e s tn e i g h b o rc l a s s i f i e r t h e r e f o r e ，af a c er e c o g n i t i o nm e t h o dw i t h b o t hl p ps u b s p a c ea n dr a d i a lb a s i sf u n c t i o n ( r b f ) c l a s s i f i e ri sp r o p o s e da c c o r d i n g t ot h ea d v a n t a g eo fr b ft h a tc o u l dc o n v e r tn o n - l i n e a rs e p a r a b l ep r o b l e m st oal i n e a r s e p a r a b i l i t y i ns h o r t ，t h ep r o c e s so fo u rm e t h o dh a st h r e es t e p s f i r s t ，c a l c u l a t et h e f a c es u b s p a e ef r o mt h et r a i n i n gs a m p l e sb yu s i n gl p p ；t h e n ，t h en e wf a c ei m a g et ob e i d e n t i f i e di sp r o j e c t e di n t ot h es u b s p a c e ；f m a l l y , t h en e wf a c ei m a g ei si d e n t i f i e db y t h er b fc l a s s i f i e r t h ep a p e ru s e sl p pi ns u p e r v i s e dm o d ea n dt r a i n st h eh i d d e n c e n t e ro fr b fn e t w o r kw i t ho r t h o g o r a ll e a s ts q u a r e s ( o l s ) m e t h o d al o to fe x p e r i m e n t sa r ep e r f o r m e do no r l ，y a l e - a ，y a l e - b & y a l e - be x t e n d e d ， h a r v a r d ，c m u - p i ea n dc a s - p e a lf a c ed a t a b a s e s t h er e s u l t ss h o wt h a tt h e r e c o g n i t i o nr a t eo fo u ri m p r o v e dm e t h o di sb e t t e rt h a ne i g e n f a c e s ，f i s h e r f a c e sa n d l a p l a c i a n f a c e s k e yw o r d s ：f a c er e c o g n i t i o n ，l i n e a r s u b s p a c e ，l o c a l i t yp r e s e r v i n g p r o j e c t i o n ，r a d i a lb a s i sf u n c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗叁堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：锄徊哆 签字日期：如7 年，月3 乡日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权盘盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：翻叼聿移 导师签名：雄亿 签字日期：么唧年，月i 多日 签字口期：刀7 年， 月，牟口 天津大学硕士学位论文第一章绪论 第一章绪论 准确地鉴别个人身份是实现系统安全的必要前提。重要部门( 如机场、银行、 海关、军政机关、重点控制地区) 的进出，计算机网络中重要信息的存储与提取 都需要可靠的人身鉴别。在身份认证中，最理想的辨别依据是生物特征，生物特 征是指人脸面部特征、指纹、虹膜、语音、d n a 等人的内在属性，而生物识别 技术便是利用人体生物特征进行身份认证的一种技术。人体的很多生物特征不但 是唯一的，而且是可测量的，这也使得通过计算机进行生物特征识别成为可能。 1 1 人脸识别概述 在人们平时的交往中，人脸包含的视觉信息占据了主导地位，同时人脸也在 传递感情和身份识别领域扮演了非常重要的角色【l 】。与其它较成熟的人体生物特 征识别方法( 如指纹、视网膜、虹膜、基因检测等) 相比，人脸图像更容易获取， 特别是在非接触环境和不惊动被检测人的情况下，人脸识别的优越性远远超过其 它识别技术。随着社会的发展，各个方面对快速而有效地实现自动身份验证的要 求日益迫切，人脸识别系统也因其具有更加友好和直接、使用者无任何心理障碍 的特点而倍受青眯，不仅如此，通过表情和姿态分析还能获得其它识别系统难以 得到的信息。 计算机人脸识别技术就是利用计算机分析人脸图像，从中提取出有效的识别 信息并用来进行身份辨认的一种技术【2 】，它也是生物测定学研究的内容之一。它 的研究涉及模式识别、图像处理、生理学、认知科学以及神经网络等多种学科， 与其它基于生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联 系。人脸识别研究在二十世纪六七十年代便引起了诸多学科领域研究者的浓厚兴 趣，但由于受技术条件的限制，发展缓慢，也很少有论文出现。进入九十年代后， 在不同学科领域科学家的努力下，人脸识别的研究工作虽然取得了一些可喜的成 果，但是在实际运用中仍面临着许多严峻的问题，如人类在婴幼儿时期已经具有 了识别人脸的能力，但建造一个自动、高识别率的计算机人脸识别系统并非易事。 人脸识别领域的一些难点至今仍然没有得到解决，这些困难主要表现在【3 】： 1 人脸是一个三维非刚性物体，表情、姿态、光源的不同使得同一个 人的图像千变万化，当光照条件和人脸姿态发生变化后( 例如人脸在 天津大学硕士学位论文第一章绪论 深度方向发生偏转) ，人脸识别系统的识别率会出现严重的下降； 2 人脸会随着年龄的增长而变化，眼镜、发型、胡须等对人脸图像存 在影响； 3 虽然人脸识别研究已积累了宝贵的丰富经验，但目前的识别技术仍 然不能对诸如复杂背景中的人脸等进行有效的处理和自动跟踪； 4 从二维图像重建三维人脸是病态过程，目前尚没有很好的描述人脸 的三维模型。 人脸识别是人类视觉最杰出的能力之一，但也必须承认，现阶段人类本身对 人脸的识别能力仍然是计算机所无法比拟的，我们可以总结出诸如认知模型、认 知规律等知识，但我们对人类本身视觉推断力和识别智慧的理解依然模糊不清。 当前世界各国有许多研究机构在从事人脸识别领域的研究，这些研究受到军方、 警方以及大公司的高度重视和资助，美国军方还专门组织了入脸识别竞赛以促进 人脸识别研究的发展。经过三十多年的研究，人脸识别已经成为图像分析与图像 理解领域最成功的应用之一。研究人员提出了很多识别方法，建成了一些实验系 统，也有一些成功的人脸识别商业软件投入市场，例女 1 b i o i d 公司的产品。i e e e 组织了专门的人脸和手势识别的国际会议( i e e ei n t e r n a t i o n a l c o n f e r e n c eo n a u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 。国际模式识别联合会( i n t e r n a t i o n a l a s s o c i a t i o nf o rp a a e mr e c o g n i t i o n ，i a p r ) 也组织了专门的基于生物特征的人类身 份识别和验证的国际会议( a u d i oa n dv i d e ob a s e db i o m e t r i c p e r s o n a u t h e n t i c a t i o n ，a v b p a ) t 4 - 5 1 。 二十世纪九十年代以来，因为人脸识别在安全验证系统、视频会议、人机交 互等方面有巨大的应用前景，使得它得到了广泛的关注和较快的发展，特别是基 于正面静态人脸检测与识别、人脸特征的提取等方面已取得了大量的研究成果。 但是，在较复杂的环境下，诸如对人脸表情的识别、光照补偿与光照模型的建立、 年龄变化的处理、多种检测数据的融合等方面还缺乏着实有效的方法。总之，要 让计算机像人_ 样方便准确地识别出大量的人脸，还需要不同学科研究领域的科 学家共同做出不懈的努力。但也正是上述的这诸多原因使得人脸识别越来越成为 当今模式识别和人工智能领域_ _ 项研究热点和极富挑战性的课题。 虽然关于人脸识别方面的综述文献很多，但大多数侧重于介绍常见的人脸识 别技术与方法，本章后续部分将对人脸识别的研究内容和应用，以及研究状况和 关键因素加以综述。 天津大学硕士学位论文 第一章绪论 1 1 1 人脸识别的研究内容 在过去的四十多年中，心理学家、神经生理学家和工程技术人员分别对人和 计算机如何识别人脸进行了广泛和深入的研究 6 1 。他们主要分析了下列问题： 1 人脸的唯一性 2 识别人脸是在整体特征还是在局部特征下进行i 3 表情分析及其在人脸识别中的应用、婴儿是如何理解人脸的 4 人脸记忆的组织结构 其主要结论是： 1 人脸识别是大脑中一个特有的过程，在人脸感知和识别过程中，局部和 整体特征均起作用。若存在明显的局部特征时，整体特征将不起作用 2 在正面人脸图像中，鼻子对人脸识别不起主要作用 3 低频成分对整体识别有用，高频成分对细节识别起作用 4 人脑的右半球对人脸图像的识别起着重要作用 5 十岁以下的儿童识别人脸较多地采用显著特征，而较少地使用整体分析 6 不同的种族、性别的人脸识别的难易程度不同 神经生理学和心理学的研究结果无疑将非常有益于人脸识别技术的发展，但 是除少数文献外，计算机识别人脸的研究还是独立于心理学和神经生理学忉。用 计算机实现的人脸识别技术是生物识别技术的一种，较一般的表述为：给定一场 景的静止或动态图像，利用已有的人脸数据库，确定场景中的一个或多个人【堋。 人脸识别的研究内容从广义上讲大致包括以下五个方面的内容【8 】： 1 人脸检测：从各种不同的场景中检测出人脸的存在并确定其位置。这一 任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。 2 人脸表征：采取某种表示方式表示检测出的人脸和数据库中的己知人脸。 通常的表示法包括几何特征( 如欧氏距离、曲率、角度) 、代数特征( 如矩 阵特征矢量) 、固定特征模板、统计特征等。 3 人脸鉴别：将待识别的人脸与数据库中的己知人脸比较，得出比对信息。 该过程通常也被称为人脸识别。 4 表情识别：对待识别人脸的表情或姿态信息进行分析，并对其加以归类。 5 生理分类：分析待识别人脸的生理特征，得出其年龄、性别等相关信息。 图像从来源上分类包括静态图像和动态图像、单帧和多帧，以及受控背景和 非受控背景等。人脸识别的技术难度，很大程度上取决于用于识别的图像来源和 质量。一般来说，多帧、受控背景图像的识别要比单帧、非受控背景图像更容易 得到好的识别结果。而目前进入实际应用的人脸识别系统如：银行的a t m 自动 天津大学硕士学位论文 第一章绪论 提款机，各种证件的检验以及车场、仓库的管理等都属于受控背景的一类。所以 确切的讲，人脸识别至少包括两个方面的任务：复杂背景下人脸的定位和分割， 以及人脸的鉴别。 一个狭义的人脸自动识别系统包括三个主要技术环节【9 】，如图1 1 所示： 图1 1 人脸自动识别系统 首先是人脸检测与定位。即检测图像中有没有人脸，若有，则将其从背景中 分割出来，并确定其在图像中的位置。在某些场合，拍摄图像的条件可以控制， 比如警察拍罪犯的照片时要他们将脸的某一部分靠近标尺，这时人脸的定位很简 单。普通证件照片上的头部占据了照片中央的大部分地方，定位也比较容易。在 另一些情况下，人脸在图像中的位置是预先未知的，比如在一些复杂背景下拍摄 的照片，这时人脸的检测与定位将受以下因素的影响：人脸在图像中的位置、 旋转角度和尺度不固定；发型和化妆会遮盖某些特征；图像中出现的噪声。 其次是特征提取。特征提取之前一般需要作几何归一化和灰度归一化的工 作。其中前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后 者是指对图像进行光照补偿等处理，以克服光照变化的影响。具体的特征形式随 识别方法的不同而不同。比如在基于几何特征的识别方法中，这一步主要是提取 特征点，然后构造特征矢量；在统计识别方法中，特征脸法是利用图像相关矩阵 的特征矢量构造特征脸；而隐马尔科夫方法则是对多个样本图像的空间序列训练 出一个隐马尔科夫模型，它的参数就是特征值；模板匹配法用相关系数做特征； 大部分神经网络方法则直接用归一化后的灰度图像作为输入，网络的输出就是输 出结果，没有专门的特征提取过程。这些特征提取方法在第二章都会有详细地介 绍。 最后是人脸比对。数据库里预先存放了己知的人脸图像或有关的特征值，比 对的目的就是将待识别的图像或特征与库中的进行匹配。比对的任务主要有两 个：一是入脸辨认，即确定输入图像为库中的哪一个人，是一对多的匹配过程； 二是人脸证实，即验证某个人的身份是否属实，是一对一的匹配过程。 根据输入图像的性质，可以将人脸识别分为静态图像的人脸识别和动态图像 序列的人脸识别两大类。前者主要是用静态图像如从证件照片、罪犯照片、场景 照片上扫描的图像进行识别；后者则是用摄像机的时间图像序列进行识别。由于 特征提取与人脸比对是人脸识别技术中最为重要的两个环节，这两步效果的好坏 天津大学硕士学位论文 第一章绪论 直接影响到系统的识别率，因此现阶段的各种识别技术都将二者一起研究，这在 一定程度上也促成了人脸检测和人脸识别这两大研究方向的融合。同时各种算法 的检验大都是在已经分离了背景的人脸数据库上完成的，从人脸识别这一课题的 特殊性来看是合理的。本课题的研究内容属于狭义的人脸识别方法，不涉及表情 识别和生理分类方面的内容，最后也是应用标准数据库进行的算法检验。 1 1 2 人脸识别的应用 任何一种技术的发展都是由于受到了实际应用需要的激励，人脸识别技术也 不例外。它最初的发展原因就是公安部门要把它用于犯罪照片的存档管理和刑侦 破案，尤其是嫌疑犯照片的认证，以及身份证、驾驶执照、护照等的识别；商业 和民用方面包括银行卡和信用卡用户的识别，以及仓库、车场、住宅小区的管理 等；其他应用还包括监控系统、性别识别及年龄估算等等。现在这种技术在安全 系统和商贸系统都有很多的应用。主要有以下几类【4 1 ： ( 1 ) 刑侦破案。获得案犯的照片后，可以利用人脸识别技术，在存储罪犯照 片的数据库里找出最相像的人为嫌疑犯。罪犯数据库往往很大，有几千 幅图像组成。如果这项搜索工作由人工完成，不仅效率低，而且容易出 错，而由计算机来完成则不会出现此问题。 ( 2 ) 证件验证。身份证、驾驶执照以及其他很多证件上都有照片，现在这些 证件多是由人工验证的。如果用人脸识别技术，这项工作可以交给机器 完成，从而实现自动化职能管理。而且证件上的照片一般都是受控背景 的，这种情况下，人脸识别的识别率会比较高。 ( 3 ) 门禁系统。门禁系统的范围很广，可以是设在楼宇、单位或私人住宅入 口处的安全检查，也可以是计算机系统或情报系统等的门禁系统。在楼 宇或某些安全部门的入口处，比较常用的检查手段是核查证件。当有人 员频繁出入时，请保安人员再三检查证件是很麻烦的，而且安全系数也 不高。在一些保密要求非常高的部门，除了用证件，还要加上另外一些 识别手段，如指纹识别、手掌识别、虹膜识别和语音识别等。人脸识别 与之相比，具有直接、方便和界面友好的特点。当前计算机系统的安全 管理也倍受重视，通常使用由字符和数字组成的口令可能会被遗忘或破 解，但是如果把人脸当作口令则又方便又安全。 ( 4 ) 视频监视。在许多银行、公司、公共场合等处都设有2 4 小时的视频监 视。另外侦察员在破案时也要用摄像机对人进行跟踪。在对图像进行集 体分析时，就要用到人脸的检测、跟踪和识别技术。 天津大学硕士学位论文第一章绪论 1 1 3 人脸识别的国内外研究状况 计算机人脸识别研究始于1 9 6 6 年p r i 的b l e d s o e 的工作，四十多年以来，科研 工作者在人脸识别方面进行了大量的研究，取得了丰硕的成果。其中m i t 的媒体 实验室、m i t 的a i 实验室、c m u 和m a r y l a n d 大学等的贡献也尤为突出：国内的主 要研究机构有f 3 】：清华大学、南京理工大学、广州中山大学、中科院计算所、哈 尔滨工业大学等。为了更好地对人脸识别研究的历史和现状进行介绍，以下将按 照研究内容、技术方法等方面的特点大体划分为三个时间阶段来作介绍【l o l 。 1 第一阶段( 1 9 6 4 一- 1 9 9 0 年) 这一阶段人脸识别通常只是作为一个一般性的模式识别问题被研究，所采用 的主要技术方案是基于人脸几何特征( g e o m e t r i cf e a t u r eb a s e d ) 的方法，这集 中体现在人们对于剪影( p r o f i l e ) 曲线的结构特征提取与分析方面进行了大量研 究。人工神经网络也一度曾经被研究人员用于人脸识别问题中。较早从事a f r 研究的研究人员除了b l e d s o e 外还有g o l d s t e i n ，h a r m o n 以及k a n a d e 等。b l e d s o e 以人脸特征点的间距、比率等参数为特征，建立一个半自动的人脸识别系统。 k a n a d e 博士于1 9 7 3 年在京都大学完成了第一篇关于a f r 的博士论文，直到现 在，作为卡内基梅隆大学( c m u ) 机器人研究院的一名教授，k a n a d e 博士仍然 是人脸识别领域的活跃人物之一，他所在的研究组也是人脸识别领域的一支重要 力量。总体而言，这一阶段是人脸识别研究的初级阶段，主要有两个研究方向： 一是提取人脸几何特征的方法，二是模板匹配的方法o 非常重要的成果不是很多， 也基本没有获得实际应用。 2 第二阶段( 1 9 9 1 1 9 9 7 年) 这一阶段尽管时间相对短暂，但却是人脸识别研究的高潮期，不但诞生了若 干代表性的人脸识别算法，美国军方还组织了著名的f e r e t 人脸识别算法测试， 并出现了若干商业化运作的人脸识别系统。 麻省理工学院媒体实验室的t u r k 和p e n t l a n d 提出的e i g e n f a c e 方法无疑是这 一时期内最负盛名的人脸识别方法。从某种意义上讲，该方法提取到了有利于分 类的特征，克服了一些因数变化对识别结果的影响，至今为止这种方法是人脸识 别领域中最具代表性和影响力的方法之一，得到了广泛的应用与发展。其后的很 多人脸识别技术都或多或少与e i g e n f a c e 有关系，现在e i g e n f a c e 已经成为人脸识 别的性能测试基准算法。 这一时期的另一个重要工作是麻省理工学院a i 实验室的b n m e l l i 和p o g g i o 于1 9 9 2 年左右做的一个对比实验，他们对比了基于结构特征的方法与基于模板 匹配的方法的识别性能，并给出了一个比较确定的结论：模板匹配的方法优于基 天津大学硕士学位论文 第一章绪论 于特征的方法。这一导向性的结论与e i g e n f a e e 共同作用，基本中止了纯粹的基 于结构特征的人脸识别方法研究，并在很大程度上促进了基于表观 ( a p p e a r a n c e - b a s e d ) 的线性子空间建模和基于统计模式识别技术的人脸识别方 法的发展一它们逐渐成为主流的人脸识别技术。 b e m l l m c w 等提出的f i s h e r f a c e 人脸识别方法是这一时期的另一重要成果。 该方法首先采用主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ，亦即e i g e n f a c e ) 对图像表观特征进行降维，在此基础上，采用线性判别分析( l m e a rd i s c r i m i n a n t a n a l y s i s ，l d a ) 的方法变换降维后的主成分以期获得“尽量大的类间散度和尽量 小的类内散度”。该方法目前仍然是主流的人脸识别方法之一，产生了很多不同 的变种。 由美国国防部反毒品技术发展计划办公室资助的f e r e t ( f a c er e c o g n i t i o n t e c h n o l o g yt e s t ) 项目无疑是该阶段内的一个至关重要的事件。f e r e t 项目的目 标是要开发能够为安全、情报和执法部门使用的a f r 技术。该项目分别于1 9 9 4 年、1 9 9 5 年和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都 参加了测试，极大促进了这些算法的改进和实用化。 3 第三阶段( 1 9 9 8 年现在) f e r e t 9 6 人脸识别算法评估表明：主流的人脸识别技术对光照、姿态等由 于非理想采集条件或者用户不配合造成的变化鲁棒性比较差。因此，光照、姿态 问题逐渐成为研究热点。与此同时，人脸识别的商业系统进一步发展，为此，美 国军方在f e r e t 测试的基础上分别于2 0 0 0 年和2 0 0 2 年组织了两次商业系统评 测。 近年来，随着研究得不断深入，又涌现出了许多新的人脸识别方法。一是弹 性图匹配方法，在该方法中人脸拓扑结构特征由一些关键点组成的2 d 拓扑图形 来描述。能容忍一定光照的变化。弹性图反映人脸的结构和形状，将其结合面部 纹理可以有更精确的表达；奇异值分解( s v d ) 方法，反映了图像的本质，可以用 做人脸的描述；神经网络方法，人工神经网络( a n n ) 被应用于人脸图像的特征提 取中来，但是到目前为止，a n n 所提取特征的物理意义是不明确的；隐马尔可 夫( h m m ) 法，h m m 模型已经成功的应用与语音识别领域，在人脸识别中，其将 人脸的一些特征作为观察序列，通过建立马尔可夫链来描述人脸特征。 3 d 人脸模型( 3 df a c em o d e l ) 方法：从知识表达完备性的角度来看，3 d 人脸 表面模型由于不仅反映了人脸图像平面内的结构信息，同时还保存了人脸的深度 方面的结构信息，因此3 d 人脸模型是人脸的较完备描述。b l a n z 和v e t t e r 等提 出的基于3 d 变形( 3 dm o r p h a b l em o d e l ) 模型的多姿态、多光照条件人脸图像分析 与识别方法是这一阶段内一项开创性的工作。该方法在本质上属于基于合成的分 天津大学硕士学位论文第一章绪论 析技术，可以使得人脸形状和纹理等人脸内部属性与摄像机配置、光照情况等外 部参数完全分开，更加有利于人脸图像的分析与识别。实验表明，该方法在 c m u - p i e 人脸库和f e r e t 多姿态人脸库上都达到了相当高的识别率，证明了该 方法的有效性。 f e r e t 项目之后，涌现了若干人脸识别商业系统，美国国防部有关部门进 一步组织了针对人脸识别商业系统的评测o a c er e c o g n i t i o nv e n d o r t e s t ( f r v t ) ，至今已经举办了两次：f r v t 2 0 0 0 以及f r v t 2 0 0 2 测试。这两次测 试一方面对知名的入脸识别系统进行了性能比较，例如f r v t 2 0 0 2 测试就表明 c o g n i t e e 、i d e n t i x 和e y e m a t i c 三个商业产品遥遥领先于其他系统，而它们之间的 差别不大。另一方面则全面总结了人脸识别技术发展的现状：较理想条件下( 正 面签证照) ，针对3 7 4 3 7 人1 2 1 5 8 9 幅图像的人脸识另 ( i d e n t i f i e a t i o n ) 最高首选识别 率为7 3 ，人脸验证( v e r i f i c a t i o n ) 的等错误率大约为6 。f r v t 测试的另一个重 要贡献是还进一步指出了目前的人脸识别算法亟待解决的若干问题。 总体而言，目前非理想成像条件下的人脸识别问题逐渐成为研究的热点问 题。而非线性建模方法、统计学习理论、基于b o o s t i n g 的学习技术、基于3 d 模 型的人脸建模与识别方法等逐渐成为备受重视的技术发展趋势。 1 2 影响人脸识别的关键因素 当光照、姿态、表情变化时，人脸的表象会产生较大变化，从而造成人脸识 别系统的性能下降。f e i 汪t 测试表明，光照和姿态变化问题是当前人脸识别系统 面临的挑战【1 2 1 。随着入脸识别研究的深入，很多研究者对光照和姿态变化进行了 专门的研究，也取得了一定的进展。 1 光照变化 光照会改变人脸图像灰度的相对分布，所以由光照引起的人脸图像变化甚至 比因个体差异引起的还要大。因此，光照变化会造成人脸识别系统性能的严重下 降对光照变化的处理已经引起了很多研究者的重视，并且取得了较大进展目 前已经出现了很多光照处理方法，这些方法大致可以分为三类。 第一类方法的主要思想是寻找对于光照变化不敏感的人脸图像表示方法。 第二类方法是对原来某些不存在光照变化时人脸识别算法的简单改进和推 广。 第三类方法的主要出发点是构建图像合成( s y n t h e s i z e ) 模型，这些模型可以合 成与测试( p r o b e ) 图像具有相同或相似光照条件的新图像作为数据库中的图像。这 类方法的关键是对光照进行建模。 天津大学硕士学位论文 第一章绪论 光照问题一直是人脸检测和识别中的一个非常重要而又难于解决的问题，目 前许多识别方法对光照条件都有不同程度的依赖，过亮、过暗或偏光现象的存在 都可能导致识别率的急剧下降。虽然目前已提出了一些具体的解决方案，但总的 来说，对于光照问题的研究还相对较少，缺乏高效实用的算法。 2 姿态变化 目前基于姿态变化的人脸识别研究较多，已产生了大量的研究成果，比较典 型的解决思路有：建立多姿态人脸数据库，通过多样本学习方法进行识别；其二 寻求基于姿态不变特征的方法，如前面提到的基于弹性图匹配的识别方法、基于 肤色模型的识别方法等；另外，利用自动生成算法，在单视图基础上自动生成多 角度视图进行识别。 基于视角的特征脸法为每个视角构建一个特征空间，取得了比标准特征脸法 更高的性能，但将光照变化问题与视角变化问题分开来考虑，这些前提条件在很 多场合不能满足。 线性对象类的思想，基于的假设是一个对象的三维形状( 或三维对象的二维 投影) 能够用某些原型对象的线性组合来表示。因此，一个对象的某个视角是原 型对象的多个视角的线性组合。按这种思路，可以从单张样本图像合成多张多个 视角的人脸图像。从而可以实现单张训练样本的多视角人脸识别。 弹性图匹配方法，在二维空间中定义了一种对于通常的人脸变形具有一定不 变性的距离，并采用属性拓扑图来表示人脸，拓扑图的任一顶点( 特征点) 都包含 一个用来记录人脸在该特征点位置附近信息的特征向量。实验结果表明，当人脸 存在一定的姿态变化时，该方法能取得较好的识别性能。缺点是该方法要求对特 征点精确定位，而实现精确定位比较困难。 总的来说，基于单视图或小样本的多姿态人脸识别，已是一个当前急需解决 的关键问题，它直接影响着人脸识别的实用化进程。 概括而言，目前人脸识别领域的主要开放问题包括：鲁棒、准确的特征配准 问题；对各种图像采集条件变化鲁棒的核心识别算法；识别算法的泛化能力和自 适应学习问题；光照变化问题，尤其是室外光照变化；姿态变化的人脸识别算法； 人脸信息采集设备带来的问题；低质量照片的检测识别问题；年龄变化导致的照 片老化问题；墨镜、帽子、口罩等造成的遮挡问题；化妆、整容带来的问题。另 外需要注意的是：上述开放问题大多都是组合性的。 天津大学硕士学位论文第一章绪论 1 3 论文主要工作和各部分内容 人脸识别作为模式识别领域最经典的问题之一，已经有了很多的方法，取得了 较好的实验结果。但是，人脸识别的最终目的当然是走向实际应用，真正能够应用 于任意背景、任意姿态条件的人脸识别系统目前还不成熟。这说明人脸识别如何走 向应用领域依然有待探索和完善，比如如何消除光照和姿态的影响、分类器的优化 等等。 本文的主要工作如下所示： 1 详细讨论了人脸识别技术的研究内容以及人脸识别领域的发展现状等 基本问题，并给出了其发展趋势； 2 深入研究了目前主流的子空间人脸识别算法( p c a 、l d a 和l p p ) 的基本 原理，并综合r b f 网络分类器可以将非线性可分问题转化为线性可分问 题的优势，针对l p p 在特征值选择问题上存在非线性结构不利于最近邻 分类的缺陷，提出了基于l p p 和r b f 相结合的方法进行人脸识别； 3 在多个标准数据库上进行仿真实验，结果表明本文提出的改进方法可以 显著提高系统的识别率，并对姿态有一定的鲁棒性。 本文的组织结构如下所示： 第一章是本文的绪论，讨论了人脸识别领域内的研究现状和发展趋势等基本问 题，最后介绍了本文的主要研究工作与成果及内容安排。 第二章在查阅了相关大量文献的基础上，对于典型的人脸识别方法进行了详细 地分类介绍，并指出了各方法的优缺点。 第三章分别介绍了特征脸和f i s h e r 脸算法的原理，指出了优点和不足之处；针 对最近出现的基于l p p 子空间的拉普拉斯脸法进行了详细的讨论，分析了其与特征 脸和f i s h e r 脸法的联系与区别，并给出它在特征值选择问题上的不足之处，最后结 合径向基神经网络( r b f ) 提出了改进方法。 第四章应用多个标准数据库对第三章提出的改进方法进行详细的仿真实验，并 对比特征脸法和f i s h e r 脸法给出相应的仿真分析。 第五章中，对本文所进行工作进行了总结，对提出的改进方法给出了相应的结 论，阐述了该方法中现存的一些问题，并指出了今后应努力的方向。 天津大学硕士学位论文 第= 章人脸识别方泣 第二章人脸识别方法 人脸识别的研究对象为基本不包含背景的面部图像。根据图像的内容可以分 为正面像和侧面像两类。目前大多数识别算法利用的是人脸正面的亮度图像。众 所周知，人脸识别被认为是计算机视觉领域最困难的问题之一。它的困难主要体 现在三个方面： 1 人脸的3 d 姿势和出于面部肌肉运动造成的塑性变形： 2 人脸模式的多样性，包括胡须、发型、眼镜和化妆等造成的影响； 3 人脸图像获取中的不确定性，包括光照的强度光源的方向和数目等。 人脸识别包括特征提取和分类两个部分，由于分类器的设计相对独立。并 | 理论相对比较成熟，因此本章我们着重讨论特征提取问冠。下面便按照类别分别 对现阶段常用的方法进行分析。 2 1 基于几何特征的方法 八脸由眼睛、鼻子、嘴巴等部件构成，因为这些部件的形状、大小以及结构 上的各种差异使得世界上的每个人脸千差万别。而且人类能够在相距很远的地方 识别出人脸，即使面部的细节( 如眼睛、鼻子、嘴巴等) 并不清楚可见，这表明人 脸特征的整个几何结构足够用于识别。因此我们可以将这些部件的形状、结构关 系的几何描述作为人脸识别的重要特征。这类识别方法首先将人脸片j 一个几何特 征矢靠表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别m j 。 b r u n e l l i 的方法可以看做是几何特征提取方面的经典工作，他利用人脸边缘 图的积分投影提取了3 5 个几何特征，其结果如圈2 - 】中( a ) 所示。其中既有反映 器官形状的特征，如嘴巴中心到下巴边缘的i l 条半径。也有反映位置关系的特 征，如眼睛的位置，鼻子的宽度和长度、嘴巴的位置等。他还提出了利剧灰度模 扳米表示人脸几何特征的方法，如图2 - 1 中的( b 1 。 穹? 圈 圈2 1 人脸几何特征 天津大学硕士学位论文 第二章人脸识别方法 y u i l l e 等提出的可变形模板可以看做是另外一类经典的几何特征提取方法， 它可以给出人脸器官更加精确的描述。可变形模板的基本思想是设计一个参数可 调的器官模型，如图2 - 2 所示，然后利用器官图像的灰度和梯度信息定义一个模 型的能量函数。通过模型和图像的不断相互交互，调整参数使能量函数极小化， 极小化后的模型参数就成为器官的几何特征。在y u i l l e 方法的基础上，不断又有 人提出了改进的可变形模板方法。这种方法的缺点是计算量大，模型的参数需要 经验确定，并且能量函数的收敛性受到函数初值的影响比较大。 b 卜一r l 图2 - 2 人眼可变形模板 基于几何特征的方法虽然比较直观，但在人脸识别应用中的效果不是很理 想。因为人脸能够产生塑性变形，即使几何特征提取得再准确也将产生较大的误 差，而且姿态的变化也会对几何特征的有效性造成影响。基于几何特征的人脸识 别的准确率依赖于脸部特征识别的准确性，然而这种依赖性的程度和细节还不清 楚。基于几何特征的识别总归结为特征矢量之间的匹配。距离矢量是测量两个特 征矢量之间相似性的一种很好的度量，而基于欧氏距离的判决是最常用的方法。 基于几何特征的识别方法是最早用于人脸识别的方法，它具有如下优点： 符合人类识别人脸的机理，易于理解，识别率较高； 对每幅图像只需存储一个特征矢量，存储量小； 对光照变化不太敏感： 特征提取工作只依赖于本幅图像，可用于只有单个样本的识别。 该方法同样存在以下问题： 从图像中抽取比较稳定的特征比较困难； 对强烈的表情变化或姿态变化的鲁棒性较差； 特征点只能从灰度变化剧烈的地方抽取，因此不易考虑人脸的三维结构； 一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特 征，造成了部分信息的丢失，更适合于粗分类。 一卜下一 天津大学硕士学位论文第二章人脸识别方法 2 2 基于模板匹配 模板匹配法是一种经典的模式识别方法，也是模式识别的传统方法。b r u n e l l i 等也对此方法做了大量实验，结果表明在尺度、光照、旋转角度等各种条件稳定 的情况下，模板匹配的效果优于其它方法，但它对光照、旋转和表情变化比较敏 感，这在一定程度上也影响了它的直接使用。由于这种方法要求两幅图像上的目 标要有相同的尺度、取向和光照条件，所以预处理工作要做尺度归一化和灰度归 一化。 最简单的人脸模板是将整个人脸看成一个椭圆，它可以进行不同视点的人脸 识别工作。另一种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模 板、鼻子模板以及眉毛、下巴模板等。这些模板的获得必须利用各个特征的轮廓。 传统的边缘描述子往往很难获得可靠度较高的连续边缘，即使获得了可靠度高的 边缘，也很难从中自动提出所需的特征量。为此，用弹性模板方法提取特征显示 出其独到的优越性。弹性模板由一组根据特征形状的先验知识设计的可调参数所 定义【1 4 1 。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及特 征形状的先验知识设计合适的能量函数。参数向能量减小方向作调整，当能量达 到最小时，这组参数对应的模板形状最符合特征形状。 通常人脸不是一个精确的椭圆，但可看成是一个稍有形变的椭圆。因此，若 想用椭圆模板来检测人脸，必须使椭圆边界的宽度足够包含头部轮廓的形变。根 据人脸的形状可以定义如下人脸椭圆模板： 乙一( r ) = h ，f ( r 一) i = 1 ( 2 - 1 ) 式中r o 为椭圆坐标原点，为椭圆上点，为图像上点的坐标，万( 。) 为d e a t a 函 数，为权值因子。通常情况下。如图2 3 所示是一个像素宽度的人脸椭圆模板。 图2 3 人脸椭圆模板 天津大学硕士学位论文 第二章人脸识别方法 注意到人脸轮廓上下边缘方向是水平的，而左右边缘方向是垂直的，因此用 梯度图像g _ q ，q 】来检测人脸轮廓，其中g x 为水平梯度图像，q 为垂直梯度 图像。为了设计合适的检测人脸的椭圆模板 略 ，最直接的方法是使用包括不同 人脸大小的大容量人脸数据库，将所有图像的人脸轮廓作为训练集，用统计参数 估计或神经网络等学习方法就可得到合适的模板。显然，这种方法需要从每幅图 像中分割出入脸轮廓，而且计算量很大。 其他研究人员设计的模板形状都与此雷同，主要是在某些能量函数的设计或 最小化能量的算法上有些变化。所有这些模板都存在两大问题： 1 模板形状都是为提取内眼睑设计的，强烈依靠图像峰值部分( 眼白) 的信息，当图像对比度低时，下眼睑很模糊，峰值区域可能提取不 出来或不可能被完整提取，边缘也不清楚，导致实验失败； 2 存在为能量函数的收敛或模