（计算机软件与理论专业论文）基于核的人脸识别算法研究.pdf

硕十学位论文 摘要 人脸是人们社会交流中所关注的焦点，在辨别身份和传递感情方面起着重要 的作用。由于人脸识别技术在视频监控、访问控制、信用卡验证、多媒体数据库 检索以及安全等领域有着广阔的发展前景，因而在过去的2 0 多年里，它一直是 模式识别和计算机视觉领域的研究热点。本论文针对人脸识别中的两个关键问 题：人脸特征提取和分类器设计，尝试将近年来模式识别领域中的新方法一核典 型相关分析( k e r n e lc a n o n i c a lc o r r e l a t i o na n a l y s i s ，k c c a ) 以及支持向量数据 描述应用于该问题的研究中。 本文的主要工作包括： 1 基于核的线性投影分析法，提出一种基于k c c a 及支持向量数据描述的人 脸识别算法。 2 提出两种提升k c c a 特征提取的方法。基于特征向量选择( f e a t u r ev e c t o r s e l e c t i o n ，f v s ) 的k c c a 方法能够选择部分图像在高维空间的映射组成一组基， 利用这组基的线性组合表示任一样本和投影算子，从而生成阶数大幅降低的核矩 阵；f a s tk c c a 特征提取算法能快速提取对分类最重要的特征，称为“重要”特 征。数据量的压缩使基于改进k c c a 的特征提取效率得到了显著提升。 3 建立了一种基于支持向量数据描述的多分类器。在此基础上，根据支持向 量数据描述分类器与最近邻关系的分类结果，提出了一种基于支持向量数据描述 分类器与最近邻分类器相结合的层次型人脸识别算法。实验结果表明，该算法能 够提高支持向量数据描述分类器的分类性能。 关键词：人脸识别；支持向量机；支持向量数据描述；典型相关分析；核函数； 判别分析 a b s t r a c t h u m a nf 犯ei so u rp r i m a 巧f o c u so f 甜e n t i o ni ns o c i a ji n t e r c o u r s e ，p l a y i n ga m a j o rr o l e m c o n v e y m gl d e n t l 够a n de h l o t i o n o nt h eo t h e rh a n d ，d u et om ef a c er e c o g i l i t i o nt e c h n o l o g y h a sab r o a dr a n g eo fp o t e n t i a lp l i c a t i o n si i lv i d e os u r v e i l l a n c e ，a c c e s sc o n t r o l ，p e r s o n a lc a r d i d e n t i f i c a t i o n ，m u l t i m e d i ad a t a b a s er e t r i e v a la n ds e c 嘶够，e t c ；f a c er e c o 嘶t i o ni so n eo ft h e m o s ta c t i v er e s e a r c hs u b j e c t si nt h e a r e ao fp a n e mr e c o g n i t i o na n d c o m p u t e rv i s i o ni nt h ep a s t 2 0y e a r s f a c er e p r e s e m a t i o n ( o rf a c i a lf e a n 聆e x t r a c t i o n ) a i l dc l a s s i f i e ra r e 撕o k e yp r o b l e m s mf a c er e c o g l l i t i o n w ea p p l i e dt h ek e m e l m e t l l o d s k c c aa n ds v d d ，w l l i c hp r o p o s e di n p a n e mr e c o g n i t i o nr e c e n t l yt 0d e a l 、析ma b o v e p r o b l e i i l s 。i k sp a p e r1 1 1 a i l l l ys 砌yf a c ee x 咖t i o na n dc l a s sm e t l l o d ，w h i c h c o n c e p tc a nb e s u m m a r i z e da sf o l l o w s ： 1 t h el a t e s tf e a n 鹏e x 仃a c t i o nm e t l l o d b a s e do nk c c ai si n 们d u c e d a n d f r 锄e w o r ko fk c c a p l u ss v d d - b a s e dc l a s s i f i e ru s e di nf a c er e c o g n i t i o ni sa l s op r o p o s e d z j no r d e rt oe n h a n c et h ee x t r a c t i o ne 墒c i e n c y ，t h i sp a p e r p r o p o s e st o “l i z eaf e a n l r e v e c t o rs e l e c t i o n ( f v s ) s c h e m eb a s e do n g e o m e t r i c a lc o n s i d e 删o n ，n l ea l g o r i t h mc a i ls e i e c ta s u b s e to fs a m p l e sw h o s e m a p p i n g si nf e a t u r es p a c ea r es u f h c i e n tt or e p r e s e n ta l lo ft h ed a t ai n f e a t u r e s p a c e a sal i n e a rc o m b i n a t i o no ft h e m h e n c e ， t h i sw i l ll a r g e l yr e d u c et h e c o m p u t a t i o n a lc o m p l e x i 哆o fk c c a m o r e o v e r ，a ni m p r o v e da l g o r i 恤ni n s p i r e db yp r i n c i p a l c o m p o n e n ta n a l y s i s ( p c a ) i sd e v e l o p e d t h ea l g o r i t h mc a ns e l e c tt h em o s tc o n t r i b u t i v e e l g e n v e c t o r sf i o rt r a i n i n ga n dc l a s s i f i c a t i o ni n s t e a do fc o n s i d e r i n ga l lt h eo n e s 3 af a c er e c o g i l i t i o nm e t h o db a s e do ns u p p o nv e c t o rd a t ad e s c r i p t i o n ( s v d d ) i s p r e s e n t e d a c c o r d l n gt ot l l er e s u l t so fs v d da n dn e a r e s tn e i g h b o rc l a s s i f i e r ( n n c ) a t 也e d l n e r e n tt a c ed a 组b a s e ，w ep r o p o s eaf a c er e c o g n i t i o nm e t h o db a s e d o nt h ec o m b i n a t i o no f s v d da i l dn n c t h ee x p e r i m e n t sr e s u l t ss h o wt l l e p r o p o s e dm e t l l o d sa c h i e v e dl o 、v e re r r o r r a t et 1 1 a ns v d do r n n c k 州o r d s ：f a c er e c o g n i t i o n ；s u p p o r tv e c t o rm a c h i n e s ；s u p p o r tv e c t o rd a t a d e s c r i p t i o n ( s v d d ) ；c a n o n i c a lc o r r e l a t j o na n a l y s i s ( c c a ) ；k e r n e l f u n c t i o n ； d i s c r i m i n a n ta n a l y s i s i l 硕十学位论文 插图索引 图1 1 人脸识别系统框图2 图2 1 模板匹配法1 2 图3 1 一个两类问题映射到高维特征空间的例子一2 2 图3 2 每类取不同样本数时各方法的识别率3 1 图4 1s v d d 中的超球边界与支持向量3 4 图4 2 相交的超球体3 8 图4 3 在o r l 人脸库上的识别率比较3 9 图4 4 在a r 人脸库上的识别率比较3 9 i i l 基于核的人脸识别算法研究 附表索引 表3 1 特征向量选择算法( f e a t u r ev e c t o r ss e l e c t i o n ，f v s ) 2 8 表3 2 不同特征提取方法的性能比较3 0 i v 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：落 移纭 日期：劢哆年f 月砧日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务。 作者签名：却丞易 刷磴名名今7 日期：研年厂月2 日 日期：叫年彳月日 硕+ 学位论文 1 1 课题研究背景 第1 章绪论 在我们日常的交往中，人脸无疑传达着丰富而细腻的情感和心理信息，因此， 以人脸识别为代表的面部感知计算从8 0 年代末开始逐渐成为热门的研究方向之 一。近3 0 年来，大量的国内外研究人员从各种角度对这一问题进行了研究，尤 其是人脸识别技术更是引起了越来越多的关注。 人脸识别技术就是指利用计算机技术从包含人脸的静止图像或视频序列图 像中提取人脸的个性化特征，并以此自动识别出人的身份。因此，如何有效地从 人脸图像中提取和描述每个个体的特征，以及为每个类别设计分类器，是人脸识 别研究的关键问题。 核机器学习方法( 简称“核方法”) 是当前人脸识别领域中一个迅猛发展的新 方向。它的主要思想最初是由v v a p n i k 【1 l 提出并应用于支持向量机( s v m ) 中的。 之后，s c h o l k o p f 等人【2 】将核机器学习方法应用于特征提取中，提出了核主元分析 ( k p c a ) ，试验结果表明k p c a 不仅能够提取非线性特征，而且具有更优的识别结 果。尽管核方法在人脸识别等模式识别领域应用的非常广泛和成功，但是，在现 有的核机器学习方法中，构造特征空间f 中的核矩阵k 所耗费的计算复杂度非常 高。因为核函数后( 墨，x ，) 需要计算两个向量间的内积，当向量的维数很高时( 如人 脸识别中的训练样本的维数普遍高达上万维) ，计算k 所需的计算量为d ( 槲2 ) p 】， 当训练样本数很大时，一方面会使得核矩阵的存储空间急剧增加；另一方面 造成核矩阵的不可逆。因此，当采用核方法对人脸进行表征与分类时，随着训练 样本集的增大，相应计算量也增加，效率也随之降低，而很多实际的模式分类任 务要求系统具有较高的效率。从应用角度分析，有必要对核方法进行改进，以提 高其效率。 。 研究基于核的人脸识别算法，设计对其改进的方案或算法以克服由核函数引 发的计算代价大、特征提取和识别速度缓慢的缺陷，进而提升人脸识别的效率、 满足实际应用对实时性的要求，有重要的实际意义。 1 2 人脸识别技术问题描述 人脸识别技术问题一般可描述为：给定一个静止或动态人脸图像，利用某种 方法对其进行处理，并和已存储的人脸数据库中图像进行检索和匹配，从而确定 给定图像中的人是不是指定的库里面的那个人( 人脸确认f a c ea u t h e n t i c a t i o n ) 或 甚于核的人脸识别竹；土研究 者是判断给定图像是库里面的哪个人( 人脸辨认或人脸识别f a c er e c o g n i t i o n ) 。 其基本识别过程如图1 - 1 所示。 图1 1 人脸识别系统框图 图1 1 给出了人脸识别系统框图。人脸识别系统主要由4 个功能模块组成，各 模块所发挥的作用如下： 1 预处理模块： 通过对训练图像或测试图像进行几何归一化和灰度归一化等方法处理，消除 或减小光照强度和方向、成像系统本身性能以及外部环境等因素对待处理图像质 量产生的干扰，使不同图像中人脸大小和亮度尽量统一，以便在相同的条件下完 成训练和识别。该模块的作用是为后续处理提供高质量的图像。 2 特征提取模块： 采用某种策略，对经过预处理后的人脸图像进行表征，从而将原始空间中的 数据映像到了特征空间，所提取特征的稳定性和有效性直接关系到识别效果的成 败。在提取特征的过程中，应根据不同的识别方法选取相应的特征形式： 基于知识的提取方法：这一步主要是提取特征点，然后构造特征向量； 模板匹配方法：用相关系数作为特征； 子空间变换方法：将图像相关矩阵的特征向量在一定方向向量上投影， 将得到的系数组成向量作为人脸特征，该方法有线性子空间及基于核函 数的非线性子空间方法两种。 3 人脸图像训练模块： 对己有人脸图像库中人脸图像进行训练以便得到供识别模块完成判别的参 数。该模块作为人脸识别研究的核心，与所采用的算法关系极大。 4 人脸识别模块： 根据训练所得的参数完成人脸的最后判别，得出判别结果。 人脸识别技术中的特征提取及分类器设计部分是本文的研究重点。 1 3 核方法研究现状 在实际应用中有的识别问题复杂度较高，以至于使用线性方法难以取得较好 的分类效果，而非线性方法则可以得到更好的分类效果，但是非线性方法不易用 2 帧十学位论文 数学进行描述。支持向量机( s v m ) 方法，特别是核方法的出现，给非线性投影方 法带来生机。最早将核方法思想应用于特征提取中的是s c h o l k o p 肖人【2 1 ，于1 9 9 9 年借鉴s v m 的核方法( k e m e lm e t h o d ) 思想，将p c a 拓展到非线性情形，提出了核 主分量分析( k p c a ) 。y a n g 等人【4 j 利用k p c a 提取人脸非线性特征并提取了 c o m b i n e df i s h e rf r a m e w o r k 。k i m 【5 】等人把k p c a 用于提取人脸的非线性特征，在 o r l 人脸库上的试验表明采用四阶多项式核函数、1 2 0 个主分量其结果远远优于 e i g e n f a c e s 方法。m i k a 等人【6 j 7 】提出了核f i s h e r 鉴别分析( k e r n e lf i s h e rd i s c r i m i n a n t a n a l y s i s ，k f d a ) 。y a n g 【8 ，9 】把k p c a 、k f d a 用于人脸识别中，提出了k e r n e l e i g e n f a c e s 、k e r n e lf i s h e r f a c e s 方法，在o r l 和y a l e 人脸库上的试验结果都说明了 它们的有效性。我国学者刘青山等【1 0 】提出了采用基于核的f i s h e r 鉴别分析进行人 脸识别，在此基础上他又给出了一种改进的核f i s h e r 鉴别分析方法【1 1 】，在o r l 和 f e r e t 人脸库的子库上实验结果验证了其有效性。其他核方法，如核典型相关分 析( k e r n e lc a n o n i c a lc o r r e l a t i o na n a l y s i s 、k c c a ) 【1 2 ，1 3 】以及核k 均值聚类算法等 等分别是c c a 以及k 均值聚类的核推广。 在应用方面，各种核学习算法也取得了辉煌成果，几乎所有标准数据集的最 好结果都被核学习算法占据。迄今为止，核学习算法己被成功地应用于手写体字 符识别、人脸识别、视频场景分析、语音识别、入侵检测、信号处理、商业智能 等广阔领域。核学习算法已成为机器学习、人工智能、数据挖掘界及各种工程领 域的一个研究热点。 利用核学习方法所训练的学习机器具有非常好的推广能力，因为它遵守了结 构风险最小化原则。然而，非线性的核方法也有一些弱点：几何意义不明确，无 法知道样本在非显式映射后变成了什么分布模式；核函数中参数的选取没有相应 选择标准，大多数时候只能凭经验选取参数；所有基于核的特征提取方法( k p c a 、 k f d a ，k c c a 等) 以及核聚类算法对某样本进行特征提取以及样本聚类时，需计 算该样本与所有训练样本间的核函数；经过核映射以后，样本的维数等于训练样 本的个数，如果训练样本数很大，核映射后的向量维数很高，训练样本集越大， 相应计算量也越大，效率也越低14 1 。针对核方法的这些缺点，c h i n 等人【1 5 】提出 一种提升k p c a 特征提取的速度的方法，该方法滤除掉了对分类贡献不大的特 征向量，最终的试验表明其有效性。随后c h i n 与s u t e r 等人【1 6 】又提出了核化的 奇异值分解( k s v d ) ，将其用于基于k p c a 的特征提取过程中，实现了k p c a 特 征提取效率的提升。徐勇等人【1 7 】根据特征空间中不同样本的重要性不相同的思 想设计了提升k p c a 特征提取效率的算法。赵峰等人【1 8 】针对训练样本多时核 f i s h e r 判别分析( k f d a ) 的计算代价大，特征提取速度慢问题，基于线性相关性 理论，设计出一种优化方法改进k f d a 特征提取方法。该方法快速寻找训练样 本在特征空间所张成的子空间的一组基，然后用这组基线性表示最佳投影方向， 3 联r 俊的人舱谚 别并法研究 结合特征空间中的f i s h e r 准则函数，推导出求解最佳投影方向的新公式，其求 解过程只需对一个阶数等于基的个数的矩阵特征值分解，同时提取某样本特征时 只需计算该样本与这组基之间的核函数。 1 4 人脸识别研究现状及进展 1 4 1 国内外研究现状 国外对于人脸识别的研究起步较早，到现在为止，已经有多所大学或研究机 构研制一些较好的人脸识别原型系统。己经有商用的人脸识别系统，如：德国的 c o g n i t e c ，美国的e y e m a t i c 和i n d e n t i x 投入了实际应用。此外，d c sa g 公司的b i o i d 系统，通过数字摄像头和麦克风，采集一个人的面貌、声音以及嘴唇运动等三种 生物特征，利用生物特征融合技术，在一秒钟内快速完成身份识别，可以满足更 高的安全性要求。最主要的美国国防部发起的f e r e t ( f a c er e c o n g n i t i o n t e c h n o l o g y ) 和f r v t ( f a c er e c o g n i t i o nv e n d o rt e s t ) 人脸识别测试活动，也大大 推动了人脸识别技术的应用和研究。 由美国国防部资助的f e r e t 项目无疑是人脸识别研究领域中的一个至关 重要的事件。f e r e t 项目的目标是要开发能够为安全、情报和执法部门使用的 自动人脸识别技术。该项目包括三部分内容：资助若干项人脸识别研究、创建 f e r e t 人脸图像数据库、组织f e r e t 人脸识别性能评测。该项目分别于l9 9 4 年，1 9 9 5 年和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都 参加了测试，极大的促进了这些算法的改进和实用化。该测试的另一个重要贡献 是给出了人脸识别的进一步发展方向：光照、姿态等非理想采集条件下的人脸识 别问题逐渐成为热点的研究方向。f e r e t 9 6 人脸识别算法评估表明：主流的人 脸识别技术对光照、姿态等由于非理想采集条件或者用户不配合造成的变化鲁棒 性比较差。因此，光照、姿态问题逐渐成为研究热点。 与此同时，f e r e t 项目之后，涌现了若干人脸识别商业系统，美国国防部 有关部门进一步组织了针对人脸识别商业系统的评测一f a c er e c o g n i t i o nv e n d o r t e s t ( f r v t ) ，至今已经举办了三次：f r v t2 0 0 0 、 f r v t2 0 0 2 以及f r v t2 0 0 6 测试。f r v t2 0 0 2 测试表明：目前的人脸识别商业系统的性能仍然对于室内外 光照变化、姿态、时间跨度等变化条件非常敏感，大规模人脸库上的有效识别问 题也很严重，这些问题都仍然需要进一步的努力f 1 9 1 【2 0 1 。f r v t 2 0 0 6 共有来自1 0 个国家的2 2 个单位参加，国际上最著名的人脸识别公司，例如：德国的c o g n i t e c s y s t e mg m b h 、美国的i d e n t i xi n c 、美国的v i i s a g e 以及近来被g o o g l e 收购的n e v e n v i s o n 等都参加了该次测试。另外，国际上的一些知名公司，例如：韩国的三星 公司、日本的东芝公司等也参加了该测试。在2 2 个参加测试的单位中有6 个是学 4 帧十学1 眵论文 术研究机构，包括了美国的卡耐基梅隆大学大学、新泽西理工学院和休斯顿大 学等。清华大学和北京大学参加了该测试。f r v t 2 0 0 6 的测试结果表明【2 ，在可 控环境下，虹膜、静态人脸和三维人脸识别技术的性能是相当的。此外，f r v t 2 0 0 6 还展现了不同光照条件下人脸识别性能的显著提高，最后，f l w t 2 0 0 6 表明人脸 自动识别的性能优于人。值得一提的是，清华大学电子工程系作为国内唯一参加 f i w t 2 0 0 6 的评测的学术机构，其人脸自动识别性能优于人类。 国内对于人脸识别的研究起步较晚，始于上个世纪的8 0 年代，在二十多年 的研究中，也取得了一系列的研究成果。国内自上世纪9 0 年代以来，在国家自 然科学基金和8 6 3 计划等资助下，清华大学( 电子系、自动化系和计算机系) 、哈 尔滨工业大学计算机系、中科院( 计算所、自动化所) 、南京理工大学、上海交通 大学等很多单位展开了人脸识别技术研究，北京工业大学( 信号与信息处理研究 室) 也在人脸检测方面取得了较好的研究成果，其和澳大利亚的新南威尔士大学 联合提出的人脸检测技术己被国际m p e g 7 接受作为标准。为了推动人脸识别 研究的发展，国内已经举行过数届生物识别学术会议。中国科学院自动化研究所 还发起成立了一个中国生物认证产业联盟，2 0 0 8 年由该所生物识别与安全技术 研究中心研制的，具有完全自主知识产权的人脸识别系统成功地应用在奥运会开 幕式的入口检验上。值得关注的是，国内已经出现了不少推广人脸识别技术的厂 商，如国内的北京海鑫科金高科技股份有限公司，上海银晨智能识别科技有限公 司等。据国际生物识别产业协会估计，我国生物识别技术的软件和硬件市场，有 望在1o 年内达到每年2 0 亿美元的规模。但从总体上讲，目前国内的研究水平仍 低于国际水平，许多核心技术被国外大公司掌握。因此，研究开发具有自主知识 产权的人脸识别技术是一个新的挑战。 1 4 2 人脸识别最新进展 1 4 2 1 二维人脸识别 1 ) 针对小样本问题的人脸识别研究 在过去的2 0 多年里，人脸识别研究领域出现了许许多多令人鼓舞的成果。 然而，仍然有一个问题困扰着研究人员，即高维小样本问题( s m a ns a m p l es i z e ， s s s ) 。这主要是由于2 d 图像表征的人脸会由于光照、姿态、表情以及年龄等因 素的变化而呈现多变的特性【2 2 1 。总的来说，高维小样本问题可以分为两类情形： 第一种情形是各类训练样本数量小于特征子空间的维数；第二种情形是训练样本 数大于子空间维数。第一种情况会造成类内以及各类协方差矩阵不可逆。第二种 情况会造成协方差矩阵的逆矩阵不稳定，这就导致不能直接使用二次判别分析法 ( q u a d r a t i cd i s c r i m i n a n ta n a l y s i s ，q d a ) 。为了解决各类协方差奇异问题， f r i e d m a n 【2 3 l 提出一种正则化判别分析的方法( r e g u l a r i z e dd i s c r i m i n a n ta n a l y s i s ， 5 犟】恢的人腧以；川算法研冗 r d a ) ，该方法是线性判别分析与二次判别分析的折中。r d a 通过对各类协方差 与总体协方差之间的插值运算，解决各类协方差矩阵的奇异问题。然而r d a 方 法中的参数选取具有盲目性，未能实现优化选取【2 4 1 。针对r d a 参数选择方面的 缺陷，y e f 2 5 l 等人提出一种r d a 模型参数的加速选择算法，他们将r d a 计算过 程分解为两步进行，实验结果验证了该方法的有效性。 解决小样本问题的一种有效方法是生成虚拟训练样本，近几年针对此类方法 研究发展较快。w a n g 【2 6 】等将人脸图像分解为几何特征和纹理特征，随后利用几 何特征进行变换产生了虚拟样本。l i u 【2 7 1 采用加权的方法生成虚拟样本，将具有 不同权重的训练样本看作训练样本。文献1 2 4 】提出一种在特征子空间中通过对训 练样本的扰动来生成虚拟样本的方法。 2 ) 针对光照和姿态变化的人脸识别研究 f r v t 2 0 0 2 的测试结果表明【2 0 1 ，光照的变化使人脸识别正确率从9 0 下降到 5 0 ，因此，光照问题成为人脸识别技术发展的瓶颈。截至目前，针对此类问题 最常用的方法有光照锥方法( i l l u m i n a t i o nc o n e ) 【2 8 1 、球谱分析法( s p h e r i c a l h a r m o n i c s ) 【2 9 儿3 0 1 、明暗恢复形状法( s h a p ef r o ms h a d i n g ，s f s ) 【3 1 1 以及商图像 法( q u o t i e n ti m a g e ，q i ) 【3 2 1 。 光照锥理论由光线方向的变化生成人脸图像的光照锥模型，理论上，该方法 能获得完美的识别率，然而在光线任意变化的情形下，该方法需要至少7 个不同 的光照图像来建立光照锥模型，这一条件往往很难满足。r a m a m o o o r t h i 与b a s r i l j ” 开发的球谱分析法给出了不同光照条件下的目标图像可以描述为低维子空间中 的图像的原因。如果在每种姿态和不同光照下都有足够多的训练样本，球谱分析 在理论上在某些人脸库上【2 8 】能达到完美的识别效果。然而对于训练样本数目的 要求限制了该方法的应用。明暗恢复形状法( s f s ) 能够从一副或者多幅二维输入 图像汇总挖掘出三维人脸图像的深层次信息。z h a o 【3 1 1 等人开发了一个与光照无 关的s f s 识别系统。然而，存储二维图像的深度信息是较为复杂的过程，从而 限制了该系统的推广。由s h a s h u a 等人开发的商图像法【3 4 】是个能够抽取光照不变 量特征的简单却又有效的方法。所谓熵图像是指一幅测试图像与三个非共面的光 照图像之比，其中非共面光照图依赖于漫反射系数( a l b e d o ) ，该系数是光照不 变量。商图像法能够避免复杂的人脸建模并且达到较高的识别率，但它也存在一 定的缺陷f 3 5 】：( 1 ) 该方法仅仅采用3 个不同的人脸光照图来合成所有的光照条 件下的结果，有时候不能满足极端的情形；( 2 ) 忽略了可能影响合成图像的面部 阴影；( 3 ) 虽然该方法在理论上可以合成任意光照条件下的样本，然而缺乏理论 证明。总体来讲，在商图像方法中，不同人脸反射率之间的比率是个常数，该常 数具有对变化光源的不敏感性，很适合用于人脸识别研究。 3 ) 多模式( 光谱) 的人脸识别( 红外图像、红外与可见光图像融合) 6 帧十学何论文 为了克服可见光人脸识别技术的不足( 如光照变化引起的图像质量不高) ， 目前有很多学者与组织对红外人脸识别技术展开了研究3 6 】【3 7 1 【3 3 1 ，在所有的红外 谱方法中，长波红外( l w i r ) 图像显现出很多优良特性，从而补充了可见光人脸 识别。l w i r 或者热红外图像在光谱中占有8 12 “的区段。出于这部分区段的 图像能够表征目标的热模式并且对于光照和表情变化是不变的。如果能将l w i r 的特性与可见光结合，将有助于提高人脸识别的效率。 目前已有很多文献比较了热红外图像与可见光图像在人脸识别中的性能。结 果表明，在表情和光照变化的情况下，而红外图像比可见光图像有更高的识别性 能【3 6 】【3 9 1 。而且，很多融合可见光和l w i r 人脸图像的算法被提出：文献 4 0 】提出 了一种在像素层融合的方法，文献【4 l 】则在特征层实现了可见光与l w i r 图像的 融合，文献【4 2 】在分数匹配层以及决策层实现了融合。基于多光谱的信息融合技 术在人脸识别中较任何单一的方法而言( 如可见光或者红外光) ，均展现出了更 高的性能。 1 4 2 2 三维人脸识别 就目前来说，人脸识别主要的进展还是局限于二维图像识别方面。因为人脸 识别问题的复杂性，目前仍然很难建立一个具有鲁棒性的自动人脸识别系统。根 据f r v t 2 0 0 6 提供的信息表明【2 ，在无约束的情况下，人脸识别的性能仍很难 满足商业需求。而三维人脸识别在表情变化方面体现出来的鲁棒性使得该方法得 到越来越多的关注。实际上，人脸图像不仅仅包括二维的纹理信息，更包括一些 三维的形状信息。如果单单采用二维的方法进行人脸识别，势必丢失许多重要的 信息。一个可取的方法是将人脸或者头部描述成一个现实的三维模型，从而不仅 仅包括了纹理信息与形状信息，甚至还能模拟人脸的表情所包含的结构信息。再 者，已经出现了很多计算机图形学方面的技术，用于模拟表情变化，年龄及发型 的不同，从而提供了识别变化个体的有效途径。 随着三维图像获取技术的迅速发展，基于三维图像的入脸识别越来越引起人 们的兴趣【4 3 1 。在三维人脸识别技术中，图像的深度信息以及表面特征被用来刻 画样本，该思想是一种在三维空间中刻画人脸面部特征的非常有效的方法，对于 提高当前人脸识别的性能非常有实际意义。此外，已经出现了能够同时捕获纹理 和深度信息的三维图像传感器，从而导致多模态人脸识别技术的诞生1 4 4 】1 4 ”。 已经出现一些克服三维人脸识别中表情变化的方法。当表情变化时，人脸表 面发生不同的变化：有些地方扭曲严重，而有些地方变化不大。c h a n g 等人【4 6 】【4 7 】 将整个面部分解为若干子区域，鼻子周围的刚性区域用来匹配与组合，从而实现 分类识别。然而，当表情变化时，他们的方法很难确定哪些是刚性区域，哪些不 是。 7 基于饮的人脸谚5 别算法研究 建立可变形三维人脸模型是模拟人脸表情的另一个方法。l u 等人【4 8 】从人脸 数据中的某种可控部分提取了可变形信息。从而产生人脸表情的可变形模板。识 别的过程是比较测试样本与可变形模板的过程。p a s s a l i s 等人【4 9 】以及k a k a d i a r i s 【5 0 】 等人分别采用一种带注释的人脸模型去拟合变化的人脸表面，然后通过拟合模型 得到变形图像。一个多阶段配准算法以及后期小波分析使得算法鲁棒性得到提 升。在这些研究中，主要的问题是如何从视觉图像中建立一个参数化的三维模型， 这一点不容易实现。人脸表情变化使人脸表面以某种方式发生变形，这一点可以 在人脸识别中加以利用。b r o n s t e i n 等人【5 1 】基于几何不变量方式将人脸表面表征 为等比例的变形，并且通过综合散碎的纹理以及典型图像实现了多模态的人脸识 别，而这些纹理与典型图像对表情变化而言是鲁棒的。m p i p e r i s 等人1 5 2 】提出一 种人脸表面的测地学两极表示法，这种表征方法试图在人脸表面等比例变形的情 形下描述人脸的不变特征，匹配时需要定义在测地学平面上的表面属性。 1 4 2 3 视频人脸识别 视频序列的特点是：人脸图像分辨率较低，光照和姿态等变化较大。然而， 相对于单个静止图像，视频序列能提供更多的信息，如：同一人拥有更多的图像； 可以根据运动变化估计三维人脸结构；视频序列的时间连续性和识别对象身份的 一致性为人脸识别提供信息：可以从低分辨率图像恢复出高分辨率图像；可以根 据眼球的运动、姿态的变化等进行身份识别以防止基于静态图像的欺骗等。 迄今为止，提出了许多基于视频的人脸识别方法。通过对m p e g 视频流的 研究，李甚阳【5 3 】提出一种基于m p e g 流的复杂背景无限制人脸跟踪系统，该系 统首先利用直方图实现镜头分割，然后利用m p e g 编码特性对在i 帧中检测出 来的人脸进行自动跟踪，实验表明该算法对遮挡和转动有一定鲁棒性。b i u k 等 人【“l 根据每人的序列在人脸本征空间中形成一个不同的特定轨迹，然后根据轨 迹之间的梯度和距离的累积值的大小进行人脸识别。l i 等f 5 5 】采用序列后验估计 同时完成对象的跟踪和验证。对库中每个人的模板，首先将它匹配到输入视频的 第一帧上，并用一个参数模型模拟相邻帧之间的仿射跟踪状态。应用s i s ( s e q u e n t i a l i m p o r t a n c es a m p l i n g ) 方法逼近并传播人脸的仿射跟踪状态，基于 最大概率完成身份验证。k r n g e r 等【5 6 】提出基于典型样本的概率方法识别视频序 列中的人脸。该方法从每人的训练视频中自动地抽取一些典型样本，使其涵盖了 视频序列的信息，对于后续的跟踪和识别处理，这些典型样本用作概率混合分布 的中心，最后采用凝聚法( c o n d e n s a t i o n ) 求解概率模型并完成人脸识别。 1 5 本文的主要工作及内容结构安排 近年来，已有若干国内外科研机构、院校实验室以及众多研究学者对人脸识 8 硕十学位论文 别技术的各个层次进行了广泛的研究，取得了较好的研究成果，可以说人脸识别 技术已经进入实用阶段，但仍然不能得到广泛应用，其中一个重要原因就是训练 速度、识别速度以及识别效果不能同时满足实时要求，因此如何在不影响识别率 的情况下，提高训练、识别速度，成为本领域的研究热点，本文在这一方向做了 一些工作。 本文主要工作有以下几个方面： 1 将基于核函数的机器学习方法应用于人脸识别中，这里我们主要考虑核 典型相关分析、支持向量数据描述在人脸识别中的具体应用。提出一种基于核典 型相关分析( k e r n e lc a n o n i c a lc o r r e l a t i o na n a l y s i s ，k c c a ) 及支持向量数据描述 的人脸识别算法。 2 为了压缩核矩阵的阶数，进而减少计算量，提出一种基于特征向量选择 法( f e a t u r ev e c t o rs e l e c t i o n ，f v s ) 的k c c a 特征提取算法。算法能够选择部分 图像在高维空间的映射组成一组基，利用这组基的线性组合表示任一样本和投影 算子，从而生成阶数大幅降低的核矩阵。提出了一种快速k c c a 的特征提取方 法，该方法从所有特征向量中找出对分类最重要的样本，从而提高k c c a 的特 征提取效率。 3 根据支持向量数据描述与最近邻分类器的分类性能，提出了一种基于支 持向量数据描述与最近邻分类器相结合的层次型人脸分类算法。实验结果表明， 该算法能够提高支持向量数据描述的分类性能。 本论文组织结构如下： 第1 章主要介绍人脸识别的研究内容、背景及意义、国内外研究现状和最 新进展、归纳了人脸识别的应用前景。 第2 章对人脸识别常用的特征提取和分类方法做了综述，并简单比较了各 种方法的优缺点。 第3 章分别提出了两种提升核典型相关分析特征提取效率的算法。 第4 章主要研究基于支持向量数据描述的人脸分类。针对两种人脸特征， 将支持向量数据描述分类器与常规的分类器进行了比较。最后提出了一种基于支 持向量数据描述与最近邻分类器相结合的人脸分类方法。 最后，对前面的工作进行总结分析，找到不足之处，指出下一步改进的目标， 展望今后的研究方向。 9 基于仫的人脸谚 别算法研究 第2 章人脸识别方法 人脸识别主要依据那些在不同个体之间存在较大差异而对于同一个人则比 较稳定的特征来进行有效识别，具体的特征形式随识别方法的不同而不同。对于 静止人脸图像的特征提取和识别的各种方法机理各不相同，主要可分为三种情 况：正面、侧面、倾斜。由于实际情况的要求，对于正面人脸模式的研究最多。 人脸的本质是一个三维塑性物体二维投影图像的匹配问题，它的困难在于：( 1 ) 人脸塑性变形( 如表情等) 的不确定性；( 2 ) 人脸模式的多样性( 如胡须、发型、 眼睛、化妆等) ；( 3 ) 图像获取过程中的不确定性( 如光照的强度、光源方向等) 。 由于人脸变化复杂，特征表征和特征提取都比较困难。 人脸识别技术的综述性文献很多。根据识别中所采用的人脸特征的表征方法 或者图像间相似度计算方法的不同，目前主要人脸特征抽取方法分为基于知识的 方法、统计的方法、线性或非线性的代数特征方法；人脸分类方法主要分为基于 机器学习的方法、基于统计的方法等。 2 1 人脸图像预处理 人脸归一化作为预处理最重要的部分，其目标是要排除两类图像差异：由于 输入设备成像机理不同带来的差异；由于拍摄形式和环境不同带来的差异。 2 1 1 尺寸归一化 经研究发现，图像预处理可显著提高特征脸人脸识别效果。人脸的归一化作 为图像预处理中最重要的内容被广泛地应用于各种应用系统。人脸图像归一化由 尺寸归一化和光照归一化组成。人脸图像的尺寸归一化包括图像的平移、旋转、 缩放和标准切割等处理过程，这里不一一赘述。 2 1 2 光照归一化 目前，光照变化是制约人脸识别系统性能的瓶颈。原因主要有两个p7 1 ：一 方面是因为光照变化造成了人脸的类内差异甚至大于类间差异。a d i n i 等研究表 明，同一个人在不同的光照条件下得到的图像之间的差异，往往比不同人在同一 成像条件下得到的图像之间的差异还要大；另一方面是光照变化本质上是一个无 限维的，光照变化对人脸图像的影响，除了光源本身的因素外，还跟人脸表面的 几何特征、反射率等诸多因素有关，其因素往往是非常复杂的。a d i n i 等人考察 1 0 硕士学何论文 了边缘图、2 d g a b o r 滤波图、灰度微分和l o g 变换等方法。针对光照因素的研究， 出现了很多优秀算法，总体来讲有3 种思路【5 7 l ：1 ) 基于传统的图像预处理方法， 如直方图均衡、g a m m a 变换等，此类算法简单，但在性能上往往难以达到理想 的效果；2 ) 提取对光照不敏感特征，如g a b o r 特征、边缘图e d g e m a p 等，其中 g a b o r 特征的确能在一定程度上抑止光照变化的影响，被广泛应用于人脸识别系 统的特征提取模块，而边缘图会造成一定程度的信息损失，难以取得理想的效果； 3 ) 基于光照的模型，典型的方法有光照锥( i l l u m i n a t i o nc o n e ) 、球谐函数 ( s p h e “c a lh a r i l l o n i c ) 、商图像( q u o t i e n ti m a g e ) 等模型，此类方法理论性较强， 试图通过数学理论结合光度学理论，给光照变化建立统一的模型，其假设过多、 过强，有较大的局限性，在实际场景中往往难以满足其条件，因而在实际中难以 应用。 2 2 特征提取方法 人脸识别是当前图像工程领域的研究热点之一，它属于生物鉴别技