（信号与信息处理专业论文）基于子空间和局部特征的人脸识别研究.pdf

摘要 摘要 珊，手 过去十几年里，随着国家和社会生活对安全要求的日益紧迫，人脸识别逐渐成 为计算机视觉和模式识别领域中最热门的课题之一。陆续出现了很多优秀的识别算法 和商业产品。尽管如此，人脸识别技术要达到实用水平，尚有许多问题亟待解决。总 的说来，人脸识别的难点在于存在诸多内部因素( 如表情、种族) 和外部因素( 如光 照、姿态) ，使高维的人脸向量的变化十分剧烈和复杂，需要大量的样本才能涵盖这些 变化。然而，现实中几乎不可能获取如 严重的维数危机。本文所提出的方法也 了 基于子空间的方法是最重要的人脸识别方法之一。它有较好的识别性能同时又有 较低的计算复杂度和存储代价：在特定准则下，最优地降低了样本的维数，直接缓解 了维数危机。子空间方法中最典型的是线性鉴别分析( l d a ) 。然而，子空间方法把每个 像素看作高维空间中的一个坐标，其识别性能受几何变换( 定位不精确所致) 的影响 很大。为了减少几何变换对l d a 子空间方法的影响，本文提出了奇异值分解( s v d ) 和 l d a 相结合的人脸方法( 简称”l d a + s v d ”) 。s v d 提取的特征具有良好的几何变换不 变特性，减少了模式变化的自由度，能够部分地缓解维数危机。 然而，在有些情况下，无法应用上述l d a 方法。例如，在公安侦察中，数据库中 每人只有一幅图像。在这种最极端的维数危机情况( 每个类只有单个样本) 下。由于不存 在类内散布矩阵，因此无法应用l d a ( l d a 退化为主分量分析口c a ) ) 。本文提出了混 合高斯模型聚类的l d a 方法( 简称“g m m”) ，能够在单样本情况下_ c l u s t e rl d a 应用l d a ，提高识别性能。 上述的改进方法都是基于全局特征的。但是，全局特征较局部特征更容易受光照、 姿态和表情等因素的影响。为了应用基于局部特征匹配的人脸识别方法进一步缓解维 数危机，本文提出了一个重要的概念：“重要特征图”。它反映了人脸各部分对识别所 做贡献的大小。“重要特征图”的概念对研究局部特征匹配的人脸识别方法有一定的指 导意义。 在“重要特征图”的基础上，提出了一种局部特征加权的人脸识别方法。该方法 按照重要性的大小，赋予各局部区域以相应的权重。 然而上述局部特征加权的方法在区别对待各局部特征时还不够灵活，且特征单 一。于是，在“重要特征图”的基础上进一步提出了一种基于多类型局部特征设计和 选择的人脸识别方法。它利用了上述研究成果。并a d a b o o s t 学习算法的框架下实现了 特征的选择和融合。试验中发现的一些新的现象，对研究局部特征匹配的人脸识别方 法有积极的意义。 关键词：人脸识别，维数危机，重要特征图，子空间，全局特征，局部特征 b s l r c ，l a b s t r a c t o v e rt h ep a s td e c a d e t h es e c u r i t yd e m a n d so f s o c i a la n dn a t i o nb e c a m en l o r ea n dr n ( ) r c u r g e n t f a c e r e c o g n i t i o nh a sb e e na e t i v e l ) 7s t u d i e di nt h ef i e l d so fc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o na i m i n gt os a t i s f yt h e s ed e m a n d s m a n ye x c e l l e n tf a c er e c o g n i t i o n m e t h o d sa n dc o m m e r c i a ls y s t e m sa p p e a r e d i t o w e v e r , r o b u s tf a c er e c o g n i t i o ni ss t i l la c h a l l e n g et a s k 1 、h ed i f f i c u l t yo ff a c er e c o g n i t i o nl i e si nt h ec o m p l e xv a r i a t i o n s ( b o t hi n t c r n a l a n de x t e r n a l ) o fat h c cq oc o v e rs u c hc o m p l e xv a r i a t i o n s ，h u g en u m b e ro f s a m p l e si sn e e d e d t h a ti sn e a r l yi m p o s s i b l ei np r a c t i c e t h e r e f o r e s e v e rc u r s eo fd i m e n s i o n a l i t yo c c u r sa l lo l 、 t h ep r o p o s e dm e t h o d si nt h i sp a p e ra i mt oa l l e v i a t et h ec u r s e a m o n gv a r i o u sm e t h o d s ，s u b s p a c eb a s e dm e t h o d i st h em o s t p o p u l a ro n e i t s r e c o g n i t i o np e r f o r l n a n c ei sh i g h m e a n w h i l e ，i t sc o m p u t a t i o na n ds t o r a g ec o s ti sv e r y e c o n o m i c a lb a s e do nc e r t a i nc r i t e r i o n s u b s p a c e b a s e dm e t h o dr e d u c e st h ed i m e n s i o n o p t i m a l l y i tt h u sa l l e xi a t e st h ec u r s eo l d i m e n s i o n a l i t ye f f e c t i v e l y o n eo ft h em o s tt y p i c a l s u b s p a c em e t h o d si s f i s h e rl i n e a rd i s e r i m i n a n ta n a l y s i s ( l d a ) h o w e v e r ，t h e p e r l b r n l a n c eo ft h es u b s p a c eb a s e dm e t h o dd e g r a d e ss e v e r e l yb yg e o m e t r i ct r a n s f o r n m t i o n s 、 w h i c ha r eu s u a l l ) 7d u et oi m p r e c i s el o c a l i z a t i o n t od e a lw i t ht i f f sp r o b l e m ，w ep l o p o s ca n o t , c if a c er e c o g n i t i o nm e t h o dt h a tc o m b i n e sl d aw i t hs i n g l ev a l u ed e c o m p o s i t i o n ( s v d l ( b r i e f l yc a l l e d “l d a + s v d ”) t h ee x t r a c t e df e a t u r e sb ys v da r ei n v a r i a n tt og e o m e t r i c t r a n s f o r m a t i o n s t h e r e f o r e ，t h ef r e e d o mo ft h ep a t t e r nv a r i a t i o n si sc o n s t r a i n e d t h u s ，o u r m e t h o dc a l la l l e v i a t et h ec u r s eo f d i m e n s i o n a l i t 弘 f h ee x t r e m ec a s eo ft h ec u r s eo fd i m e n s i o n a l i t yi st h a to n l ys i n g l es a m p l ee x i s t sf o r e a c hp e r s o n i nt h i ss i t u a t i o n ，l d ac a nn o tb ea p p l i e db e c a u s et h ew i t h i nc l a s ss c a t t e r d i s a p p e a r sa n dl d ad e g e n e r a t e si n t op r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) 7 r ou t i l i z e l d ai nt h i se x t r e m es i t u a t i o n ，w ep r o p o s e dt oc l u s t e rt h es a m p l e su s i n gg a u s s i a nm i x t u r e m o d e l ( g m m ) b e f o r el d a i sa p p l i e d a l l t h ea f o r e m e n t i o n e dm e t h o d sa r eg l o b a lf e a t u r eb a s e d g l o b a lf e a t u r e s ，h o w e v e r , a r em o r es e n s i t i v et h a nl o c a lf e a t u r e st oi l l u m i n a t i o n ，e x p r e s s i o na n do t h e rv a r i a t i o n s t o u t i l i z el o c a lf e a t u r eb a s e dm a t c h i n gm e t h o dt or e d u c et h ec u r s eo fd i m e n s i o n a l i t yf u r t h e r , w ep r o p o s ea ni m p o r t a n tc o n c e p t ：s a l i e n t f e a t u r em a p t h es a l i e n t - f e a t u r em a pr e f l e c t s h o wm u c he a c hf a c i a lp a r tc o n t r i b u t e st of a c er e c o g n i t i o n t h i ss a l i e n t f e a t u r em a pc a n p r o v i d eag u i d ef o rd e s i g n i n gl o c a lf e a t u r eb a s e df a c er e c o g n i t i o nm e t h o d b a s e do nt h i ss a l i e n t - f e a t u r em a p ，w ep r o p o s e dan o v e ll o c a lf e a t u r eb a s e df a c e - i i i r e c o g n i t i o nt h a ta s s i g n sd i f f e r e n tw e i g h t st od i f f e r e n tr e g i o n s b u tt h ea b o v em e t h o di sn o tf l e x i b l ei na d j u s t i n gd i f f e r e n tl o c a lf e a t u r e sa n dt h e e x t r a c t e df e a t u r e sa r en o tr i c he n o u g h b a s e do nt h es a l i e n t f e a t u r em a pt o o ，w ep r o p o s e t or e c o g n i z ei h c c sb ym u l t i t y p el o c a lf e a t u r ed e s i g na n ds e l e c t i o nu n d e rt h ef r a m e o r ko l t h ea d a b o o s tl e ar n i n ga l g o r i t h m t h es e l e c t e dl o c a lf e a t u r e sa n do b s e r v a t i o n si nt h e e x p e r i m e n t sa r ee n l i g h t e n i n gt or e s e a r c h e r si nl o c a lf e a t u r ed e s i g ni nf a c er e c o g n i t i o n k e yw o r d s ：f a c er e c o g n i t i o n ，c u r s eo fd i m e n s i o n a l i t y , s a l i e n t f e a t u r em a p ，s u b s p a c e ， o t o b a if e a t u r e ，l o c a lf e a t u r e i v 第一章绪论 第一章绪论 1 1 研究背景 本文中的人脸识别指：给定场景的一幅静态或视频序列图像，机器( 计算机) 用 已有的数据库来确认( 或者称为认证，英文是i d e n t i f y ) 、辨认( 英文是v e r i f y ) 、 w a t c h l i s t ( i d e n t i f y 、v e r i f y 和w a t c h l i s t 的概念在2 2 节有介绍) 一个或多个人。人 脸识别是生物特征识别( 认证) 技术中一种。用于识别的生物特征( 包括物理特征和 行为特征) 包括人脸、虹膜、指纹、掌纹、步态、笔迹、耳朵、体味、语音等。下面 从生物特征认证的角度阐述包含人脸识别的生物特征认证的应用背景和学术价值。 以信息化、数字化、网络化为特点的社会发展对国家以及社会生活的安全性提出 了全新的要求，在这种环境下，传统的安全技术呈现出无法解决的重大缺陷。“9 l l ” 事件以后，全球性的反恐活动对如何保证区域安全提出了严重挑战，传统物理安防技 术无法满足提高安全性的等级要求。网络技术的发展，对涉及国家安全的信息安全领 域提出了严重挑战，传统以密码学为基础的保护体系无法防范各种层出不穷的信息窃 取技术。网络经济带来的电子商务中，未来的国家经济安全面临严重挑战。传统密码 技术无法保证电子商务安全。随着个人移动通信终端的发展，未来的社会各种经济、 政治、商务活动必然以个人移动通信终端为核心，如何对个人身份进行精确认证成为 必须要解决的国家重大基础技术问题。生物认证技术是解决信息化、数字化、网络化 社会安全问题的重要办法。 幽际上，蚀方各国政府都在大力推进生物特征识别技术的发展和应用。1 9 9 8 年5 月，美国举行了题为“b i o m e t r j c sa n df u t u r eo fm o n e y ”的听证会，讨沧了关j ：生 物特征身份认证技术应用于银行、金融以及个人信息安全领域的情况，致认为该技 术将影响到人们现有的生活方式和商业模式。“9 儿”之后，美国政府又连续签署了3 个国家安全法案，要求采用生物识别技术。2 0 0 3 年6 爿，联合同困际民用航空组织公 布了生物技术的应用规划。规划提出，将在个人护照中加入生物特征( 指纹、虹膜和 脸像) ，并在进入各个国家边境时进行个人身份的确认。目前此规划已在美国、欧盟、 澳大利弧、同本、韩国、南非等地区和国家通过，并将在近期逐步实施推行。我国第 二代身份证也将携带人脸、指纹和虹膜等生物特征。我国正积极酝酿制定的国家中长 第一章绪论 期科技发展规划己设有“公共安全”专项。中国将以生物特征识别技术为切入点，在 此基础上逐步建立和完善公共安全科研平台。近年来，以生物特征识别为核心的技术 和产品发腱很快。1 9 9 7 年后，开始出现商业入脸识别系统。2 0 0 0 年后商业人脸识别产 品变得丰富和成熟了。例如，i d e n t i x 公司的低端产品的价格为1 4 4 8 7 美元，高端产品 售价高达1 2 3 4 7 9 美元。据崮际生物集团i b g ) 统计。到2 0 0 5 年底，全球生物特征认 证技术的市场将达到2 2 亿美元，并以每年超过8 0 的速度增长。业内专家估汁，未来 5 年，我国将有近百亿元的市场前景。 生物特征可分为生理特征和行为特征。虹膜、指纹、掌纹、耳朵、体味等都是生 理特征。步态、笔迹、声音等则可归类为行为特征。人脸则是其中最特殊的一种生物 特征，它既是生理特征又是行为特征( 但很少有人研究人脸的行为特征) 。而且与其他 生物特征相比，人脸识别具有主动性、非侵犯性和用户友好等许多优点，多年来一直 受到许多研究者的关注。因此人脸识别就成为生物特征识别中最有魅力的一个课题。 人脸识别属于模式识别的范畴，著名的计算机视觉和模式识别国际会议( c v p r ) 、模 式分析和机器智能( p a m i ) 和模式识别期刊都有很多人脸识别的文章。尽管如此， 还成立了一些国际会议专门讨论人脸识别的学术问题，足见人脸识别的学术价值。从 1 9 9 4 年国际电气电子协会每两年召开一次自动人脸和姿态识别国际会议( i e e ea f g r ) 。 国际模式识别协会从1 9 9 7 年就开始组织基于音频和视频的个人生物认证国际会议 ( a v b p a ) ，至今已召开四次。1 9 9 6 年和1 9 9 7 年的f e r e t 人脸识别评测中，参赛单位 几乎都是大学等学术机构，如m i t 、m a r l a n d 等。到2 0 0 0 年和2 0 0 2 年的f r v t “1 人脸评测 时，全是专门从事人脸等生物特征识别的公司，女h c o g n i t e c 、i d e n t i x 和v i i s a g e 等公 司都开展了人脸识别的研究。但涉及到商业秘密，他们的识别算法细节一般都不公开。 2 0 0 4 年的国际模式识别会汶( i c p r ) 举办了入脸认证竞赛( 清华大学获第一) 。2 0 0 4 年第 一届生物特征国际会议在香港举行( i c b a ) 并组织了人脸认证竞赛。2 0 0 4 年的c v p r 会议上，还单独开了视频人脸处理研讨会( f p i v ) 。从2 0 0 0 年开始我国就组织了中国生 物识别学术会议，并将在2 0 0 4 年l z 月举行第五届会议。2 0 0 3 年1 0 月，我国召开了中 国生物认证技术发展战略研讨会。2 0 0 4 年6 月，成立中国信息安全产品测评认证中心 身份认证产品与技术测评中心。 人脸识别可以应用在公安布控监控、监狱监控、司法认证、民航安检、口岸出入 控制、海关身份验证、银行密押、智能身份证、智能门禁、智能视频监控、智能出入 控制、司机驾照验证、各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证。 第一章绪论 社会保险身份验证等众多场合。下面举几个人脸识别的典型应用。 微软皿洲研究院研制的家庭相册系统。图1 1 ( a ) ，使用人脸识别、图像检索技术 来管理说量日益增大的数字家庭相册。索尼公司的a i b o 机器( 图1 1 ( b ) ) 狗借助人脸 识别技术，能够识别它的主人。s y d n e y 国际机场上安装了智能门( 见图1 1 ( c ) ) ，通 过识别人脸来控制门的开关，该产品由c o g n i t e c 公司研制。中科院自动化所研制出了人 脸、指纹和虹膜识别系统( 图i i ( d ) ) 。m o t o r o l a 公司计划把人脸识别技术应用到基 于j a v a 的移动手机上。中科院计算所一银晨面像识别联合研究开发实验室研制的人脸识 别系统在2 0 0 2 年底和2 0 0 3 年初在人民大会堂的国家最重要的会议代表身份认证与识 别中得到了成功的应用。南京大学等研制人脸自动识别系统己在江苏省公安厅刑警总 队和南京火车站公安派出所等单位试用。 总之，人脸识别的研究有着潜力巨大的应用背景和极高的学术价值。 人脸识别的研究可以追溯到1 9 世纪。但从2 0 世纪9 0 年代初开始至今是人脸识别 图1 1 人脸识别应用举例 理论研究最活跃的时代。虽然，期间有许多理论和算法出现，在室内环境可控的条件 下，识别性能可以接受。但是，正如2 0 0 2 年f r v t “的评测结论叙述的那样，对室外光 照变化或其它环境不可控的情况，识别性能还远达不到实用的要求，特别是对安全性 第一章绪论 要求较高的场合。影响识别效果的因素十分复杂。例如造成人脸图像之间差别的内因 有：表情( 喜、怒、哀、乐等) ) 、年龄( 幼、中、老等) 、种族( 黄种人、白种人、黑种 人等) 、性别等。造成人脸图像之间差别的外因有：光照( 顶光、侧光、逆光、亮、暗 等) 态、姿态遮挡( 正面、侧面、面内旋转、面外旋转等) 、噪声( 传感器噪声、图像质 量) 、化妆( 如戴或不戴眼睛、修眼眉或不修眼眉等) 等。因此，人脸识别这一课题尚有 许多地方值得深入研究。人脸识别的巨大应用前景和极高的科学价值，是我们继续深 入研究它的强大动力。 1 2 论文的出发点和主要工作 1 2 1 论文的出发点 在第二章分析了人脸识别的关键问题。人脸变化的内因和外因加深了维数危机。 围绕如何克服这一问题，本文的工作从子空间和局部特征匹配两个途径展开研究。子 空间方法和局部特征匹配方法是相互联系的，而不是互斥的两类的方法。在提出的改 进的局部特征匹配方法中也使用了本文提出的改进的子空间方法的研究成果。子空间 方法主要是一种降维方法，而局部匹配方法侧重于匹配时使用的特征的性质。实际上 局部特征的方法中大量使用了子空间方法。子空间方法是一种直接的降维方法，所以 它能较好地缓解维数危机，有利于分类器的设计：局部特征方法则强调从人脸的局部 区域上提取特征。研究表明，从局部区域上提取的特征对导致人脸变化的些因素如 光照、表情和姿态较鲁棒，所以局部特征匹配方法也可以从一定程度上克服或缓解维 数危机。 1 2 2 论文的主要工作 一、作者在2 5 节的分析表明人脸识别的困难归根于维数危机。子空间方法是克服维 数危机的一种有效方法。而当前的基于子空间的方法尚有待改善，以增强其对上述不 利因素的抑制能力。例如，p c a 和l d a 等子空间方法对人脸特征定位误差很敏感，图像 平移、旋转和镜像变换等都明显导致这些方法的性能下降。为了在一定程度上克服这 一问题，本文在第四章提出了l d a 和s v d 相结合的方法。s v d 提取的特征具有良好的 几何变换不变特性，可以减少模式变化的自由度，能够部分缓解维数危机。 二、维数危机或小样本危机的极端情况是，每个类只有一个样本。这时由于不存在类 第一章绪论 内散布矩阵，因此无法应用l d a 。或者说l d a 退化为主分量分析( p c a ) 。本质上，l d a 利用了类别信息，属于有监督的学习方法，而p c a 则是无监督的方法。从而p c a 通 常比l d a 的识别性能要差。本文提出了采用混合高斯模型聚类的方法，能够在单样本 情况下应用l d a 的方法，达到了提高识别率的目的。 三、基于局部特征匹配方法的关键问题是，如何选择重要的局部区域? 重要性的大小 如何衡量? 从这些局部区域提取怎样的特征? 如何有效地把这些局部区域上的特征结 合起来? 现存的方法几乎都不能很好的解决这些关键问题。 本文对解决上述问题作了尝试。几乎所有的学者都把l d a 得到鉴别向量当作子空 间的基使用，把人脸向量投影到该子空间。而本文则使用鉴别向量生成了张“重要 特征图”。在“重要特征图”的基础上提出了两种基于局部特征匹配的人脸识别方法： 1 ) 局部特征加权的人脸识别新方法： 2 ) 基于多类型局部特征设计和选择的人脸识别新方法。 发现的一些新特征，对局部特征匹配的人脸识别方法有一定的指导意义。 1 3 论文的结构安排 本文从第四章到第六章先后提出了四种人脸识别方法。它们不是孤立的，而都是 闱绕着解决维数危机从不同角度来考虑的。这些方法的提出是个由简单到复杂、由 分析到综合的过程。特别地，在第六章同时综合了第四章和第五章的的研究成果。 首先在第一章分析了研究人脸识别的价值和挑战之所在，并指出了解决问题的方 案。 在第二章首先介绍了人脸识别的一般过程，使读者对人脸识别有一个大概的了解； 在这一章还解释了人脸识别中经常涉及的一些概念：然后对人脸识别作了较全面的文 献综述：在最后指出了人脸识别关键问题之所在。 第三章介绍了几种常见的子空间方法，为后续章节的工作奠定了理论基础。 第四章提出了两种改进的基于全局特征匹配的子空间人脸识别方法。第一种方法 是l d a + s v d 的方法，它解决的是定位误差造成识别性能下降的问题：第二种是基于 g m m 聚类的单样本l d a 人脸识别方法，在性能上它对单样本场合下的子空间方法有 较大的改进。 第一章绪论 第五章和第六章提出的方法是对基于局部特征匹配的方法的改进。这两种方法都 使用了本文提出的“重要特征图”。第五章所提的方法是一种直接为局部特征加权的方 法：而第六章综合了多种类型的局部特征，并通过a d a b o o s t 学习算法选择和融合它们。 第五章是结束语部分。在这一章，总结了本文的研究成果和创新点。 第二章人脸i 5 剐综述 第二章人脸识别综述 2 1 自动人脸识别的一般过程 本文中的人脸识别指：给定场景的一幅静态或视频序列图像，机器( 计算机) 用 已有的数据库来确认( v e r i f i f y ) 、辨认( i d e n t i f i y ) g w a t c h l i s t 一个或多个人“1 。人脸 识别属于模式识别和机器学习的范畴。同时它又与图像处理、计算视觉等领域密切相 关。自动人脸识别的过程可用图2 1 来表示。给定一幅图像或段视频，第一步就是 人脸检测，即检测人脸是否存在及其粗略位置。然后，定位出人脸的某些重要器官( 本 文也用部件表示器官) 的位置，这一步称为特征定位( f e a t u r el o c a l i z a t i o n ) 。人脸检测可以 不考虑人脸内眼睛、鼻子等特征的具体位置。但是，若没有特征的精确位置，人脸识 别算法的性能就会很差。因此，特征定位至关重要。基于特征的识别算法直接依赖于 特征定位的精度。即使是基于全局匹配的算法也需要眼睛等重要特征来来归一化人脸 图像。完成了这两步就进入识别阶段了。与自动人脸识别相比，非自动人脸识别假定 检测出人脸并且知道人脸各部件的精确位嚣。它把人脸识别同人脸的检测和定位分离 开来，单独研究。根据应用场景的不同，人脸识别的任务可细分为三种： 第二章人脸识别综述 i n d e t i t l e a t i o n , v e r i f i c a t i o n 1 1 w a t t h l i s t 2 1 。在后面会阐述这三种任务的概念。 第三步人脸识别本身又可以分三个步骤完成，如图2 2o 首先，对输入的二维人脸 区域做预处理，以消弱光照变化、噪声等因素的影响。然后，提取有利于分类的特征。 最后，对提取的特征设计分类器并完成最后的识别任务。每个步骤都直接影响着最后 的识别性能，都需要深入研究。特征提取和分类器设计的方法将在文献综述部分介绍。 这里先说明一下预处理部分的的流程( 见图2 3 ) 。最简单的尺寸归一化是，把所有人脸 样本的两只眼睛的中心都对齐到预先指定的位置上，然后以对齐后眼睛中心的位置剪 切成同样的尺寸。尺寸归一化后所有的样本就可以在维数相等的空间里进行比较。尺 寸归一化后的结果是个矩形，里面会包含头发、背景等无关部分。可以用一个椭圆模 板屏蔽掉这些像素，从而保留人脸的最主要的部分。直方图均衡和均值- 方差归一化是 为了缓解光照变化对识别的不利影响。直方图均衡是一种很基本的图像对比度增强技 术【5 1 。设归一化前人脸向量x 的均值和方差分别为肌西归一化后的新向量的均值和方 差分别为矿、矿。变换关系是： x ：坚二型口+ + “+( 2 1 ) 盯 一般取f l * = o ，矿= l 。 如前所述，根据应用场景的不同。人脸识别的任务可细分为三种：辨认 ( i d e n t i f i c a t i o n ) 、确认( v e r i 丘c a t i o n ) 和w a t c h l i s t 【2 】。下面分别阐述这三种任务的概念。 确认的典型应用是，携带智能卡的人把卡插入机器，机器判断卡和人是否一致。 确认是个两类问题。它是开集( o p e n u n i v e r s e ) 测试。测试图像的类别可以属于也可以 不属- 于g a l l e r y 数据库中的类别。若已知一蝠人脸图像x 的真实类别为i ，某个人，给出这 样的论断：“图像x 类别是，”。根据这个论断，机器比较图像x 与数据库中类别动的人脸 图像y o 之间的相似度s ( x ，y ) 。若相似度大于给定预值f ，即双x ，y q 则机器接受这 个人的论断。若相似度小于给定预值，目o s ( x ，y “) s 2 ( x 。，y 2 ) s 弋x ，y 。理想情况下，数据库中相似度最大的那 幅图像的类别就是识别结果。用最大相似度作判别，得到的正确匹配的数目与测试图 像数目之比称为最大匹配分( t o p m a t c hs c o r e ) ，可以用公式( 2 4 ) 定量表示： 啾x ) ，埘1 ) 】 f r a n k ( i ) = 1 ， ( 2 4 ) 其中，( x ) 表示样奉x 的真实类标签；而 s ，= 怯襄三； 另外，也有必要考察前k 个( 如5 ) 最大匹配中是否有正确的匹配。 为r a n k ks c o r e ： “6 ( 1 ( x ，) ，( y 协】 ( ”2 1 “ ，l 一 k 一 l 。 w a t c hl i s t 包含了辨认和确认的成分。可以不严格的说，w a t c hl i s t 先做辨认再作确 认。它是开集测试。测试图像的类别可以属于也可以不j 禹= = g a l l e r y 数据库中的类别。一 第二章人脸识别综述 个测试图像与数据库中的所有图像逐一比较，每次比较都得出一个相似度。把这些相 似度从大到小排序。若最高相似度大于给定预值，则认为这个图像的类别是最大相似 度对应的g a l l e r y 图像的类别。x , j t w a t c hl i s t 有两项指标。第一个是检测和辨认率 ( d e t e c t i o na n di d e n t i f i c a t i o nr a t e ) ：第二个是虚警率( f a l s ea l a r mr a t e ) 。详见参考文献【2 】。 本文限于研究i d e n t i f i c a t i o n 问题，识别率指h 。k ( 1 ) 。 2 2 训练集、测试集和人脸库 为了研究人脸识别的理论和评估各方法的性能，人们构建了许多人脸库。使用时， 通常用一部分图像做训练用，另一部分用来测试。测试时，比较测试集( p r o b es e t ) 中的 图像和g a l l e r y 集中的图像之问的相似度。g a l l e r y 集合可以和训练集相同，也可以完全 不同。训练图像和g a l l e r ys e t 中的图像类别相同，称为基于特定人的人脸识别。通常， 基于特定人的人脸识别中的训练集能相对较好的刻画g a l l e r ys e t 和t e s t i n gs e t 的概率分 布。而基于非特定入的人脸识别方法中，训练图像的类别既与g a l l e r y 图像的类别不同 也与测试图像的类别不相同。训练集的图像只在训练时使用，在测试时被测图像只和 g a l l e r y 集中的图像相比较。例如，在机场过关时，需要确认持卡的乘客和卡上的人脸 是否属于同一个人。只有两幅图像输入给机器，一幅是卡上的照片，另一幅就是过关 这一刻实时获取的图像。这种情况下，机器不能事先收集乘客的人脸图像做训练，也 不能针对这个入训练分类器，只能事先在一个不相关的数据集合上训练。 试验中的训练集和测试集都是从公共人脸数据库中构建的。常用的人脸数据库有： 剑桥大学的o r l 库、耶鲁大学的y a l ea 人脸库和y a l eb 人脸库、麻省理工大学的m i t 库、伯尔尼大学的b e r n 库、卡内基梅隆大学的p i e 库、普度大学的a r 库以及著名的 f e t e t 库。另外，还有韩国p o h a n g 科技大学的亚洲人脸库p f o l ( p o s t e c hf a c e 0 1 ) 库台北的i i s 库。表2 1 列出各库的基本情况。本文的所有试验都是在上述部分入 脸库上完成的。 从2 1 节知道，人脸识别的任务不同，使用的训练集和测试集就可能不同。而且 同一任务，为了研究算法对不同人脸变化因素的鲁棒性，也有可能采用不同的数据集。 第二章人胎识别综述 名称 o r l y a l e a y a l eb b e r n p i e a r f o l l 、_ l l t l l s 人数 4 0 15 1 0 3 0 6 8 1 3 3 1 0 7 1 6 图像数目姿态光照变化其它 4 0 x 1 0 正面略有倾斜较均匀 h t t p ：h w w w u k r e s e a r c h a t t c o m f a c e d a t a b a s e h t m l 1 5 x 1 1正面剧烈 h t t p ：c v c y a l e e d u p r o j e c t s y a l e f a c e s y a l e f a c e sh t m l 5 8 5 0 正面 h t t p ：e v e y a l e e d u p r o j e c t s b a l e f a c e s b 如a l e f a e e s bh t m l 3 0 x 15正面+ 侧面 h t t p ：w w w p h 恤，t u d e l f f n i p r l n f o m a t a j m s 9 0 0 0 1 0 h t m l 4 l ，3 6 8正面+ 侧面剧烈 h t t p ：w w w r i e m h e d u p r o j e c t s p r o j e c t _ 4 1 8 h t m l 1 3 3 x 2 6正面剧烈有遮挡 h t t p ：r v l l c e l l p u r d u e 。e d u 一a l e l ：a l e i xf a c ed 1 3 h t m l 1 0 3 x 1 7亚洲人 h t t p ：h n o v ap o s t e c h a c k r a r c h i v e s i m d b h u n 1 6 x 2 7 r p ：，w h i e c h a p e l m e d i am i t ，e d u p u b i m a g e s 0 01 0 0 x 3 0 正面+ 侧面不大! j 巨洲人 h t t p ：s m a r t i i s s i a i c ae d u t w h t m v f a e e h t m l x m 2 v t s 2 9 5 2 9 5 x 1 2 正面+ 侧面均匀收费 f e r e t h t t p ：w w w e e s u r r e y a t u k r e s e a r c h v s s p x m 2 v l s d b l1 9 91 4 1 2 6 正面+ 侧面有变化权威 h t t o ：w w w i f l n i s t g o v i a d h u m a n i d f e r e t 2 3 文献综述 2 3 1 简述 与人脸识别密切相关的人脸检测方法以2 0 0 1 年的v i o l a l 6 】等提出的基于a d a b o o s t 和 h a a r 特征的方法最为经典。在此基础上又出现了f l o a 认d a b 0 0 s 4 7 1 承q b o o s t i n g c h a i n 棚等 方法。人脸特征定位方法中，1 9 9 5 年和2 0 0 1 年g o o t e s 等提出的主动形状模型( a s m ) 1 9 】和 a a m 模型f 1 川已经成为很多研究人员研究的方向。2 0 0 3 年z h o u “l 等提出的b t s m 模型性 能比传统的a s m 和a a m 有较大的提高。2 0 0 4 年c h e n 等提出了用b o o s tc h a i n 的概率 输出来定位人脸关键特征的方法。 第二章人脸识别综述 w 牲s w t i 舢岫时u m 洲喀- 柚丑_ 厦忡n ，c i t h 呻 i | 愀h 出r ，棚 b m 删 - w h i 蚋幡- 取岫日翻鲥r ，7 图2 4 人脸识别研究的发展历程 图2 4 粗略说明了人脸识别的研究历程i i3 1 。最初的人脸识别研究可以追溯到1 8 7 2 年，但从2 0 世纪中期开始，才有了较系统得研究。2 0 世纪9 0 年代以前的算法主要是 基于特征的方法和简单的模板匹配方法。从1 9 8 7 年和1 9 9 1 年k i r b y “ f f 阳t u r k t ”1 等提出 特征脸方法开始，进入了子空间人脸识别的时代。在1 9 9 7 年前后涌现出很多经典的理 论，女l p e n s e v 1 6 等的l f a 方法、b e l h u m e u r 17 1 等的f i s h e r f a c e 法、w i s k o t t 1 8 】等的弹性图匹 配法、m o g h a d d a m f l 9 - 2 0 肄提出的b a y e s i a n 方法。这些方法的相继问世，掀起了人脸识别 的个高潮。从此每年都有大量的文章发表，呈现出百家争鸣的局面。1 9 9 6 年和1 9 9 7 年的f e r e t 人脸识别评测中，参赛单位几乎都是大学等学术机构，如m i t 、m a r l a n d 等 等。从1 9 9 7 年开始就陆续有一些商业人脸识别系统问世，使人脸识别从试验和文章中 走到市场上，并开始为人们的生活和安全服务。到2 0 0 0 年和2 0 0 2 年的f r v t 人脸评测 时，全是专门从事人脸等生物特征识别的公司，如c o g n i t e c 、i d e n t i x 和v i i s a g e 等高科技 公司都开展了人脸识别的研究。但涉及到商业秘密，他们的识别算法细节一般都不公 开。 对浩瀚的人脸识别方法进行精细的分类是很困难的。但可以从不同角度来粗略的 分类。例如可以分为基于静态图像的方法和基于视频的方法；基于二维的方法和基于 三维的方法。按照图像的获取来源的不同，还可以分为基于可见光图像的方法、基 于红外图像的方法”1 、基于多光谱的方法2 3 1 、基于深度图像 2 4 - 2 5 1 和基于画像的方法口7 】 等。心理学家围绕着人类本身是如何用全局特征和局部特征来识别人脸展开很多研究。 第二章人脸识别综述 计算机人脸识别算法据此可以分为如下三大类：全局匹配的方法；局部匹配的方法和 混合匹配的方法【4 】。 基于视频的方法相比基于静态图像的方法有以下优点【4 】：视频提供了冗余信息， 可以选择质量好的f l a m e 实现分类；视频提供了时间信息，可以利用以前的分类信息帮 助当前的分类：视频的运动信息，可以提高人脸检测和定位的精度。但基于视频的方 法受如下因素的限制：视频的质量较低；人脸图像尺寸小( 如2 0 * 2 0 ) 。基于视频的方法 是人脸识别研究的一个新热点。例如文献 2 8 2 9 】和都提出了结合时间信息和空间信息的 识别方法。下面将重点介绍全局匹配、局部匹配和混合匹配的方法。 全局匹配方法把整个人脸区域作为人脸识别系统的输入。局部匹配方法首先提取 诸如眼睛、鼻子和嘴等局部特征的位置或纹理输入给分类器。混合匹配方法：正如人 类的感知系统同时使用全局特征和局部特征来识别人脸一样，机器识别也可以把全局 特征和局部特征结合起来。 2 3 2 全局匹配的方法 早期的全局方法直接用两幅灰度