（信号与信息处理专业论文）基于外貌图像的统计方法人脸识别研究.pdf

摘要 摘要 人脸识别是一项富有理论和应用价值的研究课题，对它的研究还相当不成 熟。本文回顾了人脸识别的研究历史和发展现状，讨论了人脸识别中的特征提取 与选择的基本原理，然后按照线性$ 1 j t e 线性两种特征提取方法着重对其展开了论 述。在线性特征提取中，主分量分析( p c a ) 是基于数据描述的人脸识别方法， 它是在最小方差意义下的最优变换。线性判别分析( l d a ) 是基于数据分类的人 脸识别方法，它寻找使类问距离最大、类内距离最小的投影方向，最大的保留了 原样本的判别信息。实验对上述两种线性特征提取方法进行了对比，发现在训练 样本数较少时p c a 方法与l d a 方法相比可以具有比较好的人脸识别性能，并解释 了这种现象。研究了人脸识别中的非线性特征提取方法，提出了一种改进的基于 k p c a i c a 特征提取的人脸识别方法，核主分量分析( k p c a ) 是p c a 的非线性推 广，它能够提取人脸图像的非线性信息，独立分量分析( i c a ) 是基于数据高阶 统计的，它可以提取人脸图像像素的高阶统计信息，并对图像的局部进行编码， 本文将这两种方法结合进行特征提取。实验结果表明所提出的改进方法具有良好 的识别性能。 关键词：人脸识别，特征提取与选择，主分量分析，线性判别分析，核主分量 分析，独立分量分析 东南大学硕士学位论文 a b s t r a c t f a c er e c o g n i t i o ni sar e s e a r c ht a s kf u l lo ft h e o r e t i c a la n da p p l i c a t i o nv a l u e a n d s t u d yo f fi tn o w i sq u i t ei m m a t u r e f i r s t l y t h er e s e a r c hh i s t o r ya n dd e v e l o p m e n ts t a t u s o fi tj sr e v i e w e da n ds e v e r a lm a i n s t r e a mf a c er e c o g n i t i o na l g o r i t h m sa r ed i s c u s s e d s e c o n d l y ，t h eb a s i ct h e o r yo ff e a t u r ee x t r a c t i o na n ds e l e c t i o ni sp r e s e n t e d t h i r d l y i t i se m p h a t i c a l l yd i s c u s s e do nb o t hl i n e a ra n dn o n 1 i n e a rf e a t u r ee x t r a c t i o nm e t h o d s a sa1 i n e a rf e a t u r ee x t r a c t i o nm e t h o d ，p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) i s b a s e do nd a t ad e s c r i p t i o n a n di ti st h eo p t i m a lt r a n s f o t i ni nt h es e n s eo fm i n i m u m m e a ns q u a r e de r r o r l i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a li sam e t h o db a s e do nd a t a c l a s s i f i c a t i o n ，w h i c h1 0 0 k sf o rt h em a p p i n gd i r e c t i o nw i t hm a x i m u md i s t a n c e s b e t w e e nc l a s s e sa n dm i n i m u md i s t a n c e sw i t h i nc l a s s ，a n da l s ok e e p sd i f i e r e n t i a t i o n i n f o r m a t i o no ft h eo r i g i n a l s a m p l e s a sm u c ha sp o s s i b l e t h ef a c er e c o g n i t i o n p e r f o r m a n c eo ft w ol i n e a rm e t h o d si sc o m p a r e db ye x p e r i m e n ta n di ti sf o u n dt h a t p c ac a nh a v eab e t t e rf a c er e c o g n i t i o np e r f o r m a n c et h a nl d aw i t has m a l ln u m b e r o fs a m p l e s ，t h ee x p l a n a t i o ni sg i y e n n o f f l i n e a lf e ：a t u r ee x t r a c t i o nm e t h o do ff a c e r e c o g n i t i o ni s a l s os t u d i e d a n da ni m p r o v e dm e t h o db a s e do nk p c a i c af e a t u r e e x t r a c t i o ni sp r o p o s e d k e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i s ( k p c a ) i san o n - l i n e a l g e n e r a l i z a t i o no fp c a w h i c he x t r a c t sn o n l i n e a ri n f o r m a t i o nf r o mh u m a nf a c i a l i m a g e i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) ，ag e n e r a l i z e do fp c a ，i sb a s e do n h i g h o r d e rs t a t i s t i c s w h i c hi sa b l et oe x t r a c th i g h o r d e rs t a t i s t i ci n f o r m a t i o no ft h e h u m a nf a c ei m a g ep i x e l s ，a n dc a nc o d e sp a r t so fi m a g e s c o m b i n a t i o no ft h et w o m e t h o d sm a y b eaf e a s i b l em e t h o dt oe x t r a c tn o n l i n e a rf e a t u r e so fh u m a nf a c e s i m a g e s r e s u l tt u r n so u tt h a tt h ei m p r o v e dm e t h o dw ep r o p o s e dh a sag o o d r e c o g n i t i o nc a p a b i l i t y k e yw o r d s ：h u m a nf a c er e c o g n i t i o n ，f e a t u r ee x t r a c t i o na n ds e l e c t i o n ，p r i n c i p a l c o m p o n e n ta n a l y s i s ，l i n e a ld i s c r i m i n a n ta n a l y s i s ，k e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i s ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：刘土霍 日期：地：生! 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生硌杠聊繇缉日期：硼- p 第1 章绪论 1 1 研究背景和意义 第1 章绪论 人脸识别技术作为一个新兴的研究领域，越来越受到人们的重视。我l f j 女n 道， 人类从外界获取的信息中大约有8 0 是通过视觉得到的，而且，人类先天具备一 种即使利用很有限的信息进行识别不同人脸的功能，这种功能让人觉得是那么的 自然与和谐。随着计算机技术的飞速发展，计算机在科学与生活中的“参与”力 度越来越大，人们的衣食住行无不都有计算机的参与痕迹，或者说我们几乎时刻 与计算机打交道，计算机已经成为了一种“类生命体”，在我们的生活中必不可 少。这就促使人们渴望与计算机进行“自然和谐”地交流。在这种交流当中，自 然人的身份确认是一项很重要的内容。人脸识别技术可定义为：对于输入计算机 的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的 给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息， 进一步提取每张人脸蕴含的身份特征，并将其与已知人脸库中的人脸进行对比， 从而识别人脸身份的技术。1 。人脸识别不仅为机器提供了一种全新的基于生物特 征的身份识别技术，而且也为人类展现了一种自然、和谐、舒适、智能的人机交 互方式”1 。与其它密码，身份证系统或标志系统为核心的鉴别身份技术相比，人脸 识别技术具有不易盗取，无需记忆，很难仿造的优点。与诸如指纹、虹膜等生物 特征识别技术相比，人脸识别技术具有更加自然友好的优势，因为前者采用主动 的方式获取信息，需要被试的积极配合完成，而后者则不需要被试的主动参与， 信息采集具有不侵犯性。从另一方面来说，自然人间的相互识别并不是依靠虹膜、 指纹等生物特征进行的，所以它们从根本意义上来说不是一种自然的身份认证方 式。而人脸显然是区分不同人的重要方式，也是最主要的信息来源之一，是较虹 膜、指纹优越的身份认证方式。 人脸识别技术的应用较为广泛，它的发展将给人类的生活质量带来很大的 改善。人脸识别的研究始于二十世纪六十年代中后期。“，在此之后获得了较大的 发展，近十几年来更获得了迅猛发展，成为一个热门研究领域，国内外各知名理 工科大学、研究机构、i t 公司等都获得了大量的项目资助。人脸识别之所以得到 东南大学硕上学位论文 重视，是因为其所具备的重要研究意义，具体体现在如下两个方面： ( 1 ) 人脸识别技术研究可以极大地促进相关学科的发展 人脸识别技术涉及的学科领域众多，包括模式识别，图像处理、计算机视 觉、图像图形学、生理学、心理学、人工智能、神经计算等学科，具有重要的研 究价值。它的发展得益于这些学科的发展，作为一个具体的问题，其理论基础来 源于以上相关学科；同时，它也为验证相关学科理论的正确性提供了一个良好的 实验平台。因此，这是一个个别和一般的问题，人脸识别技术的成功解决必将极 大的促进相关学科的成熟与发展。作为模式识别技术的一个特例，它一向被认为 是一个巨大的挑战性课题，因为人脸是非刚体，存在表情变化，而且随年龄变化 较大，以及发型、饰物等遮挡的影响，光照等环境因素和数据采集时的噪声影响 等都是必须考虑的因素。从深层意思上讲，人脸识别是人工智能的重要部分，人 工智能研究的是如何用计算机实现人脑的一部分功能，人类的认知过程以及心理 学的研究成果对其具有很大的促进作用，人工神经网络就是模拟人脑构造的神经 元网络，具备类似人脑的学习分类功能，这种研究成果又会加深我们对自身的认 识程度。 ( 2 ) 人脸识别具有巨大的应用前景 人脸识别是属于生物测定学范畴( b i o m e t r i c s ) ，后者即是模拟人类所具有 的、能够唯一标识自然人身份的生理功能的身份确认技术。人脸、指纹、虹膜、 视网膜、掌纹以及d n a 等人体特征都具有不同个体的唯一性，因此可以用来进 行身份鉴别，前已述及，人脸识别具有其它生物特征不可比拟的优越性，自然、 无侵犯性、实用性强，因此可以广泛应用在公共安全、商业、司法、人机交互等 诸多领域： 商业、安全领域的应用。在安全性要求较高的地方如政府部门、某些公 共场所如机场海关的出入等处身份验证尤其重要。2 0 0 1 年9 1 l 恐怖袭击后， 美国在较大机场和重大体育赛事中都采取了更为严厉的安全措施，这其中 就包括人脸识别系统的使用“，但有文章报道说，这些系统的作用并不尽 人意，不能达到1 0 0 的识别精度，以至于安全人员甚至忽略了识别系统的 存在，这也同时说明一个问题，人脸识别系统的性能改善将极大的提高安 全部门的工作效率并带来显著的经济与社会效益。在在线金融、贸易活动 第l 章绪论 中，人脸识别可以用来进行客户的身份认证，确保商业活动良性运行。 犯罪侦破应用。疑犯识别在抓捕逃犯过程中非常重要，犯罪库中的图像 数量一般较为庞大，传统的做法是由公安人员进行手工的调入调出进行目 测，这不仅难保证准确性，效率也较为低下，这在对时间要求较为严格的 犯罪侦破中是不能容忍的，而若运用人脸识别计算机自动系统，身份辨别 即可在几秒之内完成，极大的提高了司法部门的效率，而且犯罪侦破中一 般是一对多识别，图像质量一般较为良好，能够保证识别率，增加了识别 系统运用的可行性。 视频监控。利用人脸识别技术，监控者可以从闹市区或进入大楼、机场 的人群中找到自己要找的人。监控通常是一对多，或多对多的识别。图像质量 一般较为低劣，并且一副图像中可能存在多张人脸，具有视角、姿态、距离、 光照、遮挡等的变化。和人脸识别相比，其它的生物特征识别技术要在视频监 控领域得到应用比较困难。 1 2 人脸识别问题描述 人脸识别中的输入图像一般为静态或视频图像，将他们与图像库中存储的人 脸进行对比，从而确定图像中的各人脸的身份，这是人脸识别要进行的工作。由 于采集条件的限制，输入的图像质量参差不齐，识别之前要进行预处理工作，然 后将图像中的各人脸分割出来( 如果存在) ，再进行分类工作，基于统计方法的 人脸识别一般由五个部分组成：图像输入，预处理，人脸检测分割，特征提取 和选择，分类决策，如图1 1 所示。 图1 1 统计方法人脸识别系统框图 东南大学硕士学位论文 r 面简单对这几部分作些介绍。 1 人脸图像输入 图像在计算机中是以数字矩阵的形式存放的，从分类的角度讲，希望数字图 像尽可能的保留原图像的信息。输入计算机的图像有静态图像和动态图像，为了 满足实时性要求必须是视频流动态地输入计算机，输入设备主要包括c c d 摄像 头，视频采集卡。通过采样、量化，可以将图像以数字矩阵的形式存于计算机硬 盘中。本文由于未涉及图像获取部分，采用的是静态人脸图像库的形式。 2 图像预处理 这项j 作是用来改善图像质量并获得标准图像的。一般改善图像质量的方 法有直方图均衡、图像锐化、平滑、滤波等，笔者认为怎样根据后续的特征提取 和分类方法的不同，采用更加匹配的图像处理技术是比较重要的，因为有些方法 是从图像的表示和描述出发，使图像更符合人的主观感觉，但未必有利于分类识 别，我们应该力求采取能够增强图像分类信息的处理方法。图像的归一化工作一 般包括：图像旋转以获得图像平面的旋转不变性、图像剪裁以获得图像的平移不 变性、图像缩放以获得图像平面内的尺度不变性。经过上述一系列的处理，即获 得了人脸“标准图像”，本文的主要工作都是基于标准图像进行的。 3 人脸检测和分割 人脸检测的基本思想是建立人脸模型，比较所有代检测区域与人脸模型的匹 配程度，从而得到可能的人脸区域。可分为基于几何特征的和基于统计的两大类 方法。目前的主流人脸识别算法大都要求人脸检测是在简单背景下进行的，这就 需要精确定位出脸部的边缘位置，和脸部重要器官如眉毛、眼睛、鼻子、嘴巴、 耳朵等的准确位置。从模式识别角度理解，人脸检测属于人脸和非人脸两类分类 问题。人脸检测是人脸识别系统的重要部分，系统的性能很大程度上依赖于检测 的成功和精确与否。本文假设已检测到人脸，故不涉及人脸检测和分割。 4 特征提取与选择 人脸图像一般是处在高维图像空间的，在这样一个空间内由于人脸的相似 性，代表人脸的各点并不能充满整个高维空间，即人脸数据存在冗余，原始的图 像数据并不是图像的最好表征，并且高维图像数据量巨大，在此空间进行分类容 易陷入所谓的“维数灾难”问题，因此为了有效地实现分类识别，必须对原始的 图像数据进行变换，得到最能反映分类本质的特征，这就是特征提取和选择的过 4 第l 章绪论 程”1 ，经过特征提取与选择，人脸图像从原始高维图像空间映射到低维特征空间。 5 分类决策 分类工作是在特征空间进行的，分类的本质是依据某个判决规则在训练集上 完成对特征空间的某种空间划分，检测样本落入某个区域则对应着这个区域所属 的类别。常见的分类器有最小距离分类器、最近邻分类器、贝叶斯分类器、人工 神经网络和支撑矢量机等。 1 3 人脸识别的性能评价 人脸识别的研究近年见诸报端的文献较多，而且识别率都很高，但一般是在 较强约束条件下获得的，当真正在实际环境中应用时效果并不理想。一个人脸识 别系统的评估参数可包括：1 识别率，即正确识别数目占总识别数目的百分比。 2 错误率，是与正确率相对应的，即错误识别的数目占总识别数目的百分比。3 错误接受率，即不属于样本库中的人脸接受的百分比。4 错误拒绝率，即属丁样 本库中的人脸拒绝的百分比。5 r o c 曲线，即3 和4 随门限变化的函数曲线。6 训练时间，训练时间短的训练算法比较适宜动态建库。7 特征维数，维数越低则 系统运算时间越短，越能满足实时性要求。8 数据存储量，存储量大的算法对人 脸识别系统会造成一定的负担，是必须考虑的因素之一。9 可扩展性，在人脸识 别中，人脸库的动态维护也是重要的工作，经常需要增加或删除某些人脸模式。 以上参数对评价一种人脸识别算法具有参考意义，有助于开发出更为先进有 效的识别算法。但是，如果要全面地评价一个人脸识别系统的性能，必须有一整 套测试标准，包括从操作环境、数据库、操作过程到结果分析等各方面。建立统 一的测试标准，须考虑影响人脸识别系统性能的主要因素：图像质量、光照、遮 蔽物、表情和姿态、类别数、计算复杂度、训练样本数目、训练样本和测试样本 的差异性等。现在国际上已出现了几种评测标准，如f e r e t 。1 、f r v t “。”1 、 m 2 v t s 3 和b a n c a “。等，这些标准的出现有力地推动了人脸识别技术的发展。 1 4 本文主要工作和结构安排 特征提取与选择是人脸识别中的关键环节，因此本文的工作侧重于人脸识别 中的特征提取与选择部分，文章的组织顺序按照作者对人脸识别技术的学习与研 东南大学硕士学位论文 究顺序进行，除本章以外的以下各章节的内容大致如下： 第二章为人脸识别综述。对人脸识别的历史、发展以及现状进行了概括的说 明，并对子空间方法、基于小波的弹性图方法、神经网络方法等进行了较为详细 的论述，以期获得对于人脸识别问题的整体概念，指导作者的研究工作。 第三章为特征提取与选择。特征提取与选择是人脸识别中的最困难的任务之 一，其目的是在尽可能保留分类信息的前提下，降低分类空间的数据维数，以达 到最有效的分类。因此对这部分基本理论的探讨研究，对整个人脸识别问题的解 决起到灵魂支撑的作用。 第四章为基于线性特征提取的人脸识别。p c a 人脸识别方法是基于数据描述 的，而l d a 方法是基于数据分类的，它们都是一种线性变换的方法，研究人员通 常认为后者的性能优于前者，本章对两种方法进行了实验比较，并对结果进行了 合理解释。 第五章为基于非线性特征提取的人脸识别。利用核函数技巧可以将许多线性 特征提取方法推广为非线性特征提取方法，我们将k p c a 与i c a 相结合，提出了 一种改进的人脸识别方法，并与l d a 方法进行了实验比较，分析了新方法取得较 好识别性能的原因与特点。 最后对对全文进行了总结与展望。 6 第2 章人脸识别综述 第2 章人脸识别综述 2 1 研究的历史、发展和现状 人脸识别的研究可追溯到g a l t o n 于1 9 1 0 脸在人脸侧面轮廓图像卜所做的工 作“”，h a r m o n 等运用结构方法用1 7 个几何特征对1 1 2 个人的人脸侧面图像获得 了9 0 的识别精度“。基于二值化的人脸侧面轮廓数据的侧面方法”9 。“”能利用严 格的光照条件，但应用于大量人脸时特征不明显，而且测量精度也很有限。 g l e d s o e 在二十世纪6 0 年代提出了一个以人脸特征点的间距、比率等参数为特 征的半自动人脸识别系统。“。早期的人脸识别研究一般集中于面部的几何特征的 提取，包括人脸面部器官的相对位置、大小、比例，以及人脸的一些特征点，如 眼角、鼻尖、嘴角等部位所构成的二维拓扑结构。然而，几何特征点的准确定位 比较困难，鲁棒性较差，人脸面部的许多底层特征无法利用，难以区分类别的本 质差异，因此这一时期的研究未能取得突破性的进展。 自2 0 世纪8 0 年代起，人脸识别进入一个新的研究阶段，与早期基于几何特 征的方法不同，这个时期的方法是基于人脸的底层特征的，如图像灰度特征、小 波特征、d c t 特征等，因而利用了更多的低层信息，鲁棒性较高，分类能力强。 模板匹配是一种较简单的方法。这种方法，直接计算两幅图像的灰度匹配相似度， 不仅计算量大，而且由于对噪声和信号不加区分，容易受光照、表情、姿态等的 影响，p o g g i ot 和b r u n e l l ir 在1 9 9 3 年对模板匹配法和基于几何特征的方法 进行了比较认为，前者在性能上优于后者。“。此间，人工神经网络的应用是一个 重要的研究方向。1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 合作提出了形 式神经元的数学模型，成为人工神经网络研究的开端”1 。1 9 4 9 年，心理学家 d 0 h e b b 提出神经元之间联系强度可变的假设，并据此提出神经元的学习规则， 为神经网络的学习算法奠定了基础4 1 。t e u v ok o h o n e n 的自联想存储记忆网络 。3 2 、f l e m i n g 和c o t t e l 严。采用b p 网络实现人脸识别、l a w r e n c e 的卷积神经刚 络。、l i u & w e c h s l e r 的e v o l u t i o np u r s u i t 等。这些方法一般是利用神经网络 对样本库进行学习，以获得基于样本的最优网络权值，然后对待测样本进行判别。 利用神经网络进行人脸识别的优点是，具备较强的样本学习能力，能够提取人脸 东南大学硕上学位论文 模式的非线性特征，因此在许多人脸识别案例中取得了不错的性能。但另一方面， 它也有许多问题，像如何选择网络模式、初值的选定、局部极小点问题、过学习 和欠学习问题等，这些问题也是制约神经网络理论和应用发展的因素。 进入2 0 世纪9 0 年代，出现了以特征脸方法为代表的子空间方法，在人脸识别 中占有重要地位。人脸图像的维数通常是很高的，但人脸在高维空间中的分布并 不紧凑，因而不利于分类，而且在计算上复杂度很大，m t u r k a p e n t l a n d ”“”3 等首先提出，识别人脸，应该从信息论的角度出发，提取人脸数据的最重要的信 息，将人脸特征进行压缩至低维空问，再进行分类。他们据此思想提出了著名的 特征脸( e i g e n f a c e ) 方法，又称主分量分析方法( p r i n c i p a lc o m p o n e n ta n a l y s is ， p c a ) 。在此之后，人们又对特征脸方法进行了各种改进，发展出了特征1 1 t l 鼻 嘴( e i g e n e y e e i g e n n o s e e i g e n m o u t h ) 、f i s h e r f a e e 、c a s c a d el d a 。、 k e r n e lp c a l d a “3 、s v d ( s i n g u l a rv a l u ed e c o m p o s i t i o n ) 、l f a “3 8 1 ( l o c a l f e a t u r ea n a l y s i s ) 、p r m 。”1 ( p r o b a b i l i s t i cr e a s o n i n gm o d e l s ) 等算法。其中 的f i s h e r 脸方法是一种较好的方法，文献 4 0 对k l 变换和f i s h e r 判别求得的特征 脸进行了比较，得出了结论认为，特征脸在很大程度上反映了光照等的变化，而 f i s h e r 脸则能压制图像之间与识别无关的信息。子空间方法旨在寻求一种映射变 换，将人脸从原始图像空间降至特征空间，在此空间中图像信息更加集中，使分 类更易进行。 与此同时，人脸识别领域另一大类算法弹性图匹配( e l a s t i cg r a p h m a t c h i n g ) ，这一算法是一种基于动态链接结构( d y n a m i cl i n ka r c h i t e c t u r e ) 的方法“。它将人脸用格状的稀疏图表示，图中的节点用图像位置的g a b o r d 、波 分解得到的特征向量标记，匹配时，首先寻找与输入图像最相似的模型图，再对 图中的每个节点位置进行最佳匹配，这样产生一个变型图，其中的节点逼近模型 图的对应节点位胃。w i s k o t t 等人使用弹性图匹配方法，以f e r e t 图像库作实验， 获得了9 7 3 的识别率”。弹性图匹配方法对光照、位移、旋转及尺度变化都不 敏感，是一种优于特征脸方法的人脸识别方法。此方法的缺点是对每个存储的人 脸都要计算模型图，因此存储和计算量都比较大。在此基础上，w i s k o t t 等又提 出了弹性束图匹配方法，部分克服了上述缺点。在该方法中，所有节点都已经定 位在相应目标上，这样就大大减少了识别时间，另外它还能匹配不同人的最相似 第2 章人脸识别综述 特征，因此可以获得不同人的性别、眼睛、胡须等相关信息。k o t r o p o u l o s 等“” 提出了形态弹性图匹配( m o r p h o l o g i c a le l a s t i cg r a p hm a t c h i n g ) 算法。这类 算法在提取局部多分辨率特征的同时，保留二维图像的空间拓扑信息，并且允许 一定的变形因而取得了不错的性能。然而弹性变形有限，只适用于变形较小的情 形。另外，由于能量函数与分类错误率之问不存在直接的必然联系，所以能量函 数的定义和搜索逼近比较困难。l e e 等“”提出了一种基于弹性图动态链接模型的 方法，既取得较高的识别速度，也获得了较理想的识别率，在一定程度上克服了以 往方法总是在速度与识别率之间进行折中的缺点。 9 0 年代期间，人们还提出了各种隐马尔可夫模型”4 ”( h i d d e nm a r k o vm o d e l ) 算法和模型参数法。h m m 是用描述信号统计特性的一组统计模型，使用马尔可夫 链来模拟信号统计变化，而这种变化又是间接地通过观察序列来描述的，因此， 是一个双重的随机过程。采用隐含马尔可夫模型描述人脸图像，认为人脸图像各 部分之间也存在隐性的状态转移。例如，一幅正面直立人脸图像从上之下总是依 次经历额头、眼睛、鼻部、嘴唇和下颌。这种隐性的状态转移关系用h m m 模型参 数描述，通过样本训练获得，最后依据最大似然函数进行识别。由于h m m 在人脸 识别中难以定义具有明确物理意义的状态，对于状态的转移及状态数目的确定等 关键环节缺乏统的指导方法，且至今尚未找到有效的观测向量，故而难以获得 很高的识别率。模型参数法则采用一些模型的参数描述人脸，如a a m “7 1 ( a c t i v e a p p e a r a n c em o d e l ) 、f a m “( f l e x i b l ea p p e a r a n c em o d e l ) 等。与前面各种方 法显著不同的是，这里的模型参数法中的特征为模型参数，且一般结合灰度与外 形轮廓信息。h m m 有三个主要的问题：评估、估计、解码。人脸识别中关心的是 前两个问题，评估用于解决识别问题，一般采取比较有效的“向前一向后法”， 估计用来产生用于识别的各个单元的h m m ，采取b a u m w e l c h 方法。 支撑矢量机( s v m ) 与核函数方法。支撑矢量机起初也被称作支持向量网络”3 ， 因为在某种意义上它可以表示成类似神经网络的形式。前已述及，神经网络有很 多重要的问题尚没有从理论上得到解决，这在一定程度上限制了它的应用与发 展。v a p n i e 等人早在2 0 世纪6 0 年代就开始研究有限样本情况下的机器学习问题， 并最终建立了一个比较完善的理论体系统计学习理论，这一理论不仅圆满回 答了人工神经网络研究与应用中提出的一系列理论性问题，而且在1 9 9 2 年一1 9 9 5 东南大学硕士学位论文 年问，发展出了实现其理论思想的方法支撑矢量机方法。支持向量机的基本 思想可概括为：首先通过非线性变换将输入空间变换至一个高维空间，然后在这 个高维空间中求取最优线性分类面“1 。这一非线性变换通过定义合适的内积函数 实现，而所谓最优分类面则是使分类间隔最大，从而达到结构风险最小化。通常， s v m 在人脸识别的应用中往往与树分类器相结合，树的节点处采用s v m 完成两类的 分类；或者，建立多个s v m 分类器，每个s v m 均完成某类与所有其他类的区分“”3 。 由于s v m 的分类界面仅取决于支持向量，因此可看作是从全体样本中选择最关键 样本设计分类器。支撑矢量机的成功应用引起了人们对核函数方法的兴趣，核函 数方法主要有：核主分量分析、核判别分析以及核典型相关分析等算法。这些方 法，同支撑矢量机一样只涉及内积运算，不会大幅增加算法的计算复杂度，而且 推广能力也并不会随着维数的增加有着较明显的退化。核函数方法是一种值得关 注的应用前景良好的技术。 上述各种算法均是基于二维人脸图像的，是2 0 世纪9 0 年代至今的主流算法。 除此之外，人脸识别发展至9 0 年代后期，人们开始探索3 d 人脸识别，已取得了一 些初步的成就。一种方法是由二维到三维的方法“”，由于这本身是一种病态问题， 3 d 模型难以准确建立，但在理想条件下取得了不错的实验结果。另外，一些算法 本身采用三维描述，如变形亮度曲面“”采用水平位置、垂直位置、亮度构成三维 空间中的网格曲面来构建3 d 人脸模型。3 d 人脸识别代表了一个新兴研究方向，它 的困难主要有：信息来源及如何获取完整的三维信息、海量存储和计算困难、对 人的生理认识如肌肉运动理论、环境因素影响等。3 d 人脸是很具挑战性的课题， 但如在技术上有所突破，将具有很强的创新性和应用价值。 从早期的基于脸部几何特征的方法，历经基于二维图像的识别方法，再l t j 3 d 人脸识别方法，随着人们对相关学科诸如模式识别、图像处理技术、小波变换、 认知心理学等认识的不断加深，人脸识别已先后取得了一系列成功，不仅在算法 上不断取得突破，而且还出现了一些商用系统，这些商业系统基本都依托了一些 著名研究机构的多年研究成果。表2 1 和表2 2 分别列出了人脸识别的国内外主要 研究机构和一些商用系统的简要情况。 1 0 第2 章人脸识别综述 m i tm e d i al a b c a r n e g i em e l i o nu n i v p u r d u eu n i v r o b o tv is i o nl a b m a r y l a n du n i v c o m p h e ls i n k iu n i v g e o r g em a s o nu n iv e r s it y u n i v o fs o u t h e r nc a l i f o r n i a u n i v ，o fs u r r e y h t t p ：w w m e d i a m it e d u h t t p ：h i d r i e m u e d u h t t p ：r v l w w w e c n p u r d u e e d u r v l h t t p i | | 目。e f a r 。u m d ? e d u h t t p ： 7 c i s 。h u t f i h t t p ：c s g m u e d u h t t p l | jc s e i s e e d u h t t p ：w w w e e s u r r e y a c u k c a m b r i d g eu n i v a t & th t t p ：w w w u k r e s e a r c h a t t c o m 先进人机通信技术联合实验室h t t p ：w w j d l a c c n p r o j e c t f a c e i d i n d e x ，h t m 表2 2 人脸识别主要商用系统简表 系统名称提供商和网址简要说明 f a c e i t i d e n t i x ( 其前身为v is i o n i c s )基于r o c k f e l l e r 大学开发的 h t t p ：f f f a c e i t e o m l f a 算法。 v i is a g e v i i s a g e 基于m i t 的特征脸算法，后来 h t t p ：f | v i i s a g e e o m 提出了i c a 人脸识别算法。 t r u e f a e e e t r u e基于人工神经网络技术 h t t p ：f ? m i r o s c o m b i o i db i o i d 采取了包括人脸、语音和唇 h t t p ：? 目b i o i d e o m 动的数据融合技术。 p e r s o ns p o t t e rn e v e nv is i o n基于g a b o r 特征的人脸识别 h t t p ：f w e y e m a t i c c o m p a c e s n a p c v i s 基于弹性图匹配技术 h t t p ： f a c e s n a p d e f a c e v a c sp 1 e t t a c特征提取采用多阶高斯导数 h t t p ：| f 目p l e t t a c e l e c t r o n i c s c o m滤波，并对其判别进行识别。 东南大学硕士学位论文 9 2 常用人脸识别算法简介 2 2 1 子空间分析方法 子空间分析方法是人脸识别中的重要的一类方法。1 9 9 0 年前后，m t u r k a p e n t l a n d 提出了特征脸算法( 又称主分量分析方法，p c a ) ，开始了子空间方 法在人脸识别中的应用。该算法基于k l ( k a r h u n e n l o e v e ) 变换，这是一种特 殊的难交变换。它寻求一种变换，使变换后的数据二阶统计不相关，原始数据在 样本具有最大方差的基向量方向上展开，变换后的数据能量主要集中在几个变换 系数上，因此可以对变换后的向量截短，并作为特征向量在特征空间中代替原始 数据。k l 变换是在最小均方误差意义下的最优变换。它可以大大降低原始人脸 数据的维数，是一种有效的降维方法。m t u r k a p e n t l a n d 也因此实现了第一个 全自动的人脸识别系统。从压缩能量的角度来看，k l 变换是最优的，使变换前 后的均方误差最小，而且变换后的低维空间有很好的人脸表达能力。但是主分量 方法是从图像重建角度出发对数据降维，在分类意义上并不是最优的。文献 5 3 1 的改进是将人脸图像进行差异分类，即分为脸间差异和脸内差异，其中脸内差异 属于同一人脸的各种可能变形，而脸间差异则表示不同人的本质差异，两者之和 为实际人脸差异。通过分析人脸差异图，如果脸内差异比脸问差异大，则认为两 人脸属于同人的可能大，否则属于不同人的可能大。这种方法可视为对解决人 脸表情差异的一种初步探索。在1 9 9 6 年进行的r e r e t 人脸识别测试中，该算法 取得了最好的识别效果，其综合识别能力优于其它参加测试的算法拍踟。 另种较好的对主分量分析改进的方法是f i s h e r 脸方法( l d a 方法) ”0 1 ，众所 周知，f i s h e r 线性判别是模式判别中的经典方法，其应用前提是假设模式类在原 始空间是线性可分的，通过寻找依据f i s h e r 准则最优的投影方向，将图像数据从 高维降到一维空间，在一维空间中样本类内尽量密集，类问尽量分开。b e l h u m e u r 的实验”0 1 ，通过对1 6 0 幅人脸图像( 一共1 6 个人，每人1 0 幅不同条件下的图像) 进行识别。该算法中，数据在线性鉴别分析之前，预先经过p c a 降维处理。p e a 将数据从原始的高维空间降至低维子空间，以消除平均类内散度矩阵的奇异性。 同时，p c a 降维可部分地缓解维数危机，并对噪声予以一定的抑制。采用p c a 着n f i s h e r 方法的识别率分别为8 1 和9 9 4 ，后者的优势是明显的。c h e n g j u nl i u 提 1 2 第2 章人脸识别综述 出了p r m ( p r o b a b i l i s t i cr e a s o n i n gm o d e l s ) 模型”，并在p r m 中采用贝叶斯 分类器，马氏距离作为距离度量，特征脸和f i s h e r 脸均可看成p r m 的特殊情况。 相关的算法还有d i r e c tl d a 。、p a i r w i s el d a “”* 口c a s c a d el d a ”2 等。d i r e c t l d a 通过对l d a 两步“白化”过程先后顺序的巧妙对换，采用去除类问散度矩阵 零空间的方法实现降维，从而避免鉴别主分量分析中p c a 降维所带来的鉴别信息 的部分损失。p a i r w i s el d a 则将类间散度矩阵分解成两两类问散度形式 ( p a i rw i s ef i s h e rc r i t e r i a ) 的过程中发现，在原有f i s h e r 准则下，类问散 度矩阵过分倚重于距离较大的两类之问的散度。于是，该算法在f i s h e r 准则中加 入权值，对于不同的两两类间散度( p a i r ) 赋予不同的权重：对于距离较大的两 类，其两类问散度权值较小：反之，则权值较大。这样，分类将更有利于本来难 以区分的两类。c a s c a d el d a 则首先采用c o m p o n e n t b a s e dl d a 的方法，将已 经校准的人脸分成若干个局部区域并对每个区域采用l d a 进行特征变换和选择， 然后针对各区域的l d a 特征再次采用l d a 进行特征变换和选择。该算法在灵活处理 各局部区域的同时，部分地保留了各区域之间的相互联系。 以上各种算法，都是基于信号的二阶统计性质的。为了描述数据的高阶统计 特性，人们引入了独立分量分析”1 ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 。 i c a 最早是作为一种新的盲源分离技术而出现的，目前已被引入到模式识别领域。 i c a 也是一种建立子空间的方法，由它建立的子空间基向量之间相互独立。 2 2 2 基于弹性图匹配的方法 另一类重要的子空间方法就是弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法， 由l a d e s “”等于1 9 9 3 年提出。这种方法采用属性拓扑图来描述人脸，在一般情 况下，属性拓扑图为二维稀疏网格，如图2 1 所示。属性拓扑图上的任一顶点都 包含了一个特征矢量，它汜录了该顶点的人脸局部信息，如图2 2 所示，特征矢 量可以采用各种描述局部信息的特征，如g a b o r 小波特征、形态特征等。 在识别阶段，采用弹性匹配的方式进行分类。在弹性匹配过程中，未知人脸 图像和已知人脸模板之间的相似度量采用由两