（计算机应用技术专业论文）基于统计特征的人脸识别技术研究.pdf

西北d 她大学博卜学位论史 摘要 由于住安全验证方面，视频监控方面，甚至家庭娱乐等方面潜在的巨大成用 前景，人脸识别技术近年来已经受到许多学者、政府部门、企业界的普遍关注， 并已成为生物特征识别领域的一个研究热点。实际上，在身份验证中，相对于 其他生物特征识别而言，人脸特征识别是最直接，最方便友好的手段。本文的 主要研究内容是人脸识别技术，重点研究了利用统计特征进行人脸识别的方法。 本文的主要创新点有： ( 1 ) 提出了两种基于小波变换和多特征的人脸识别方法：一种是将多特征和 多分类器结合的识别方法：另一种方法则是利用多特征组成混合特征，并引入 了“支持向量机”( s u p p o r t v e c t o r m a c h i n e ) 进行分类的方法。两种方法均取得 了满意的识别结果。 ( 2 ) 提出了基于人脸局部特征融合的识别方法。首先根据人脸的分布知识对 人脸特征进行分割，提取各局部特征的特征脸特征，再分别利用支持向量机和 b o o s t i n g 算法进行融合和分类。实验证明这种方法的识别率高于传统的直接利用 整幅人脸图像的特征的方法。 f 3 ) 结合了小波变换和图像频谱的频谱脸，在人脸识别方面具有相当高的应 崩价值本文进一步提取了频谱脸的特征脸和线性鉴别特征作为分类特征，并 利用了不同的分类方法进行识别，这种基于频谱的方法可以有效提高识别率， 我们称之为频谱特征脸法。同时在这种特征提取基础上，还提出了种利用多 特征和径向基函数网络进行人脸识别的算法，并将该算法应用到了单训练样本 情况，获得了较好的识别结果。 ( 4 ) 为了克服人脸识别中由于小幅度的姿态、表情，光照变化所带来的困难， 本文提出了一种利用“互信息”( m u t u a li n f o r m a t i o n ) 和混合特征的两步人脸识 别算法，并在几个不同的人脸库上进行了实验，证明了该算法可以在人脸图像 存在小幅度的姿态、表情，光照变化的情况下可以保证较高的识别率。 ( 5 ) 在人脸识别研究中，由于获得的人脸图像常常是不同视角，不同光照方 向的，因此会给识别带来较大的困难，我们提出了两个针对不同具体情况的解 决光照变化情况下的人脸识别方法，第一种是光照子空间法，第二种是利用径 向基函数网络产生虚拟光照条件下的人脸图像或特征来增加训练样本的方法， 称为虚拟脸方法。两利一方法都可以在一定程度上解决识别中光照问题所带来的 摘要 泪扰。 关键词：人脸识别 预处理 小波变换 特征脸线性鉴别分析 分类器神经网络 多特征频谱特征脸 人脸检测 支持向量机 虚拟脸 两北t 、人学博【学位论文 a b s t r a c t b e c a u s et h e r ei sag r e a ta p p l i c a t i o nf o r e g r o u n di nm a n yf i e l d s ，s u c ha ss e c u r i t y v e r i f i c a t i o n ，v i d e os u r v e i l l a n c ea n dh o m ee n t e r t a i n m e n t ，f a c er e c o g n i t i o nh a v eg o t t e n al o to fc o n c e r nf r o mr e s e a r c h e r si nr e c e n ty e a r s a n d i th a sb e c o m eap o p u l a r r e s e a r c h t o p i c i nt h ef i e l do fb i o l o g yf e a t u r ei d e n t i f i c a t i o n i n f a c t ，d u r i n g i d e n t i f i c a t i o n ，c o m p a r e dw i t ho t h e rw a y so fb i o l o g yf e a t u r ei d e n t i f i c a t i o n 、f a c e r e c o g n i t i o ni st h em o s tc o n v e n i e n ta n dd i r e c tm e a n s i nt h ep a p e r ew em a i n l ys t u d y f a e er e c o g n i t i o nt e c h n o l o g y , a n df o c n so nt h ew a yf o rf a c er e c o g n i t i o nb ys t a t i s t i c f e a t u r e s f h ei n n o v a t i o n so ft h i sp a p e ra r ea sf o l l o w s ： 1 、t w of a c er e c o g n i t i o nm e t h o d sb a s e do nw a v e l e tt r a n s f o r ma n dm u l t i - f e a t u r e a r ep r o p o s e d t h ef i r s to n ec o m b i n e st h em u l t i f e a t u r ew i t ht h em u l t i c l a s s i f i e r + f h e s e c o n di su s i n gm u l t i f e a t u r et oc o n s t r u c th y b r i df e a t u r e ，a n dt h e ni n t r o d u c es v mt o c l a s s i f yt h e s eh y b r i df e a t u r e s b o t ht h e s et w om e t h o d sp e r f o r m e dv e r yw e l li no u r e x p e r i m e n t s 2 、an e wf a c ar e c o g n i t i o na p p r o a c hb a s e do nf a c i a li o c a lc o n s t i t u e n tf e a t u r e f u s i o ni sp r e s e n t e d f i r s t l yt h ef a c ei m a g ei ss e g m e n t e da c c o r d i n gt ot h et h c i a lp r i o r k n o w l e d g e ，a n dt h ee i g e n f a c ef e a t u r eo fe a c hc o n s t i t u e n tf e a t u r ei se x t r a c t e d t h e l lt h e m s i o na n dc l a s s i f i c a t i o na r ei m p l e m e n t e db ys v ma n db o o s t i n ga l g o r i t h m t h e e x p e r i m e n tr e s u l t sp r o v e dt h a tt h ep e r f o r m a n c eo ft h i sm e t h o dw a sb e t c e rt h a nt h a to f t r a d i t i o n a lm e t h o d s ，w h i c hu s et h ef e a t u r eo f w h o l ei m a g ed i r e c t l y 3 、t h es p e c t r u mf a c ea c q u i r e db yc o m b i n i n gt h ew a v e l e ta n d 矗e q u e n c y s p e c t r u mh a sg r e a tm e r i ti nf a c er e c o g n i t i o n af a c er e c o g n i t i o nm e t h o db a s e d0 1 1 s p e c t r u mf a c ei sp r o p o s e di nt h i sp a p e r t h es p e c t r u mf a c eo fo r i g i n a li m a g ei s c o m p u t e dv i aw a v e l e tt r a n s f o t i na n df o u r i e rt r a n s f o r r n ，t h e nt h ee i g e n f a c ea n dl d a f e a t u r e so fs p e c t r u mf a c ea r ee x t r a c t e da sc l a s s i f i c a t i o nf e a t u r e ，a n ds e v e r a l c l a s s i f i c a t i o nm e t h o d sa r ea d o p t e dt og e tt h er e c o g n i t i o nr e s u l t t h ee x p e r i m e n tr e s u l t p r o v e dt h a t t h em e t h o db a s e do ns p e c t r u mf a c ec o u l de f f e c t i v e l yi m p r o v et h e r e c o g n i t i o np e r f o r m a n c ec o m p a r i n gt ot h em e t h o du s i n go r i g i n a li m a g ei ns p a t i a l f i e l d t h i sm e t h o dw a sc a l l e d s p e c t r u mf e a t u r ef a c em e t h o d b e s i d e s ，af a c e r e c o g n i t i o na l g o r i t h mu s i n gm u l t i f e a t u r ea n dr a d i a lb a s i sf u n c t i o nn e t w o r k ( r b f n l b a s e do nt h i sf e a t u r ee x t r a c t i o ni sp r o p o s e d ，a n di tw a su s e dt ot a c k l et h ep r o b l e mo f s i n g l et r a i n i n gs a m p l e 4 、i no r d e rt oo v e r c o m et h ep r o b l e m sc a u s e db ys m a l l s c a l ev a r i a t i o n so fp o s e f a c i a le x p r e s s i o na n di l l u m i n a t i o ni nh u m a nf a c e sa n di m p r o v et h ep e r f o r m a n c eo f f a c er e c o g n i t i o ns y s t e m s ，at w o - s t a g ef a c er e c o g n i t i o na l g o r i t h mu s i n gm u t u a l 摘受 i n f o r m a t i o na n dh y b r i df e a t u r ei sp r o p o s e d ，a n dt h ea p p r o a c hi st e s t e do ns e v e r a lf a c e d a t a b a s e s t h ee x p e r i m e n tr e s u l t sd e m o n s t r a t e dt h a tt h em e t h o dc o u l dk e e pg o o d r e c o g n i t i o np e r f o r m a n c ee v e ni ft h e r ea r es o m es m a l l s c a l ev a r i a t i o n so fp o s e f a c i a l e x p r e s s i o na n d i l l u m i n a t i o ni nh u m a nf a c e s 5 、t h ev a r i a t i o no fi l l u m i n a t i o ni nf a c ei m a g ea l w a y sb r i n g sd i f f i c u l t i e st of a c e r e c o g n i t i o n t ot a c k l et h i sp r o b l e m ，t w of a c er e c o g n i t i o nm e t h o d sa i mt od i f f e r e n t i l l u m i n a t i o nv a r i a t i o nc o n d i t i o n sa r ep r e s e n t e d t h ef i r s ti si l l u m i n a t i o ns u b s p a c e m e t h o d ；t h es e c o n di sa na p p r o a c ht oi n c r e a s et r a i n i n gs a m p l e sb yu s i n gr b f nt o p r o d u c ef a c ei m a g e so rf e a t u r e su n d e rv i r t u a l i l l u m i n a t i o n a n dw ec a l li tv i r t u a lf a c e m e t h o d t h em e t h o d sc a l lb o t hs o l v et h ep r o b l e m sc a u s e db yi l l u m i n a t i o ni nf a c e r e c o g n i t i o n k e y w o r d s ：f a c er e c o g n i t i o n l i n e a r d i s c r i m i n a n ta n a l y s i s p r e - p r o c e s s i n g n e u r a ln e t w o r k w a v e l e tt r a n s f o r r n s p e c t r u mf e a t u r ef a c e e i g e n f a c e f a c ed e t e c t i o n c l a s s i f i e r s u p p o r tv e c t o rm a c h i n e m u m f e a t t i r e v i r t u a lf a c e 1 1 人脸识别技术概论 第一章绪论 作为生物特征识别的一个重要方面，人脸识别在近几年随着它在安全验证系 统，信用卡验证，自动门卫系统，医学，档案管理系统，人机交互系统，公安 工作，视频会议，图像检索以及银行，海关等领域和场所的巨大应用前景，已经 成为一个研究热点。比起如指纹识别，视网膜识别，虹膜识别等技术来说，人 脸识别相对更加直接，友好，使用者更容易接受。事实上，不管是对人也好， 还是对于计算机也好，要实现对人的检测识别，最优先考虑，最直接，也最有 意义的特征就是人脸了，而且如果做更深入的分析，还可以从人脸获取更多的 信息，如表情，姿态，年龄等。 1 1 1 人脸识别技术的研究内容 一个基本的人脸检测识别系统应该包括以下几个方面，人脸检测，人脸表 示和人脸鉴别( f a c ei d e n t i f i c a t i 0 1 1 ) ，其中后两步也就是通常所说的人脸识 别，在后文中我们也将沿用这个概念。图1 1 是一个最基本的人腧识别系统的 构成，它的基本任务是对待检测图像进行检测，分割，然后在所分割出来的相 关人脸区域进行识别，并与数据库中的标准人脸数据进行匹配，以确定该人脸 是甭已有记录。在基本的人脸识别研究基础上可以进行更深层次的研究。 堂叫堕田坐骂匝互p 巫丑攀 图1 1 基本人脸识别系统 人脸检测是人脸识别系统的第一步工作，它是指从不同条件下获取的图像中 根掘一定的规则和先验知识，利用选择的特征进行检测。先确定有无人脸，若检 测到有人脸存在，则对人脸进行定位并获取其尺度姿态等信息，将图像分割成 人脸区域和非人脸区域，这一步预处理的工作直接影响着后面的特征提取和i ： 别工作，所以是极其重要的。但是，由于各种因素的影响导致人脸检测成为一 第一苹靖伦 个极用难的问题。因为在许多实际应用中，人们对于场景，光照，成像系统， 人脸方向等是不作限制的，也没有有关人脸的尺度姿态，位置的先验知识， 而 ；i 在多人存在时还可能出现相互遮挡问题，这些都会给检测带来困难，可能 造成漏检或虚检的情况。总体来说，对于人脸检测，要求简单，快速，高效， 否则u ，能难以满足实时性的要求。对于人脸检测可以针对不同的应用场合，选 用不同的检测手段以便尽量减少不可控制的外界因素影响。 人脸表示是指采取某种表示方式表征检测出的人脸和数据库中的人脸，也可 以把它看作一个特征提取的过程。这些特征可以是较直观的人脸器官的几何特 征，如眼，耳，口，鼻的位置，形状，距离等，也可以是比较抽象的代数特征， 如k1 变换所得的主成分特征，奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ， 简称s v d ) 得到的s v 特征等，还可以是模板特征，颜色特征，纹理特征等。 人腧鉴别这一步的主要工作，是把待识别人脸数据和数据库中的已知入脸数 据进行匹配，以得到相关信息，实际上可以看作是一个分类过程，关键在于选 择适当的分类器和分类策略，对表示人脸的特征进行分类。根据对人脸的不同 的特征表示，分类器选择也不同，可以是传统的最小距离法，最近邻法等，也 可以是较新的神经网络，支持矢量机等，而且利用多特征和多分类器组合来改 善识别效果也是近年来的一个研究方向。 1 1 2 人脸检测和识别的主要方法 人脸识别并不同于一般的目标识别，文献【1 9 2 】中从神经计算的角度出发， 详细比较了人脸识别与目标识别之间的异同。对人脸的检测，识别一直足人工 智能和计算机视觉方面的一个难题，这是人脸的特点决定的，人脸是非刚体的， 随着表情变化会产生许多变形，同时由于人身体的运动，会造成人脸不同角度 的旋转，倾斜，再加上获取图像时光照变化的影响或者些遮掩( 如戴眼镜， 化妆，胡须等) ，就更增加了识别的难度。但是这些年来，在许多学者的努力下 人脸检测和识别还是取得了不少进展。 1 1 2 ，1 人脸检测方法 人脸的检测的基本思想是，首先基于知识和统计的方法对人脸建模，并比较 所有待检区域与人脸模型间的匹配程度，从而得到可能存在人脸的区域。其基 本方法可分为两类，基于特征的和基于图像的人脸检测方法。前者始于二十世 2 堕些，生些墨兰堕! 兰丝堡塞 纪七十_ 年代，是人脸检测的主要研究方向。它是先利用人脸的有关先验知t 5 和 经典的检测方法得到脸部特征及皮肤颜色等低层特征，然后通过对这些视觉特 征之间的距离，角度或者区域的度量来完成检测。很显然这种方法中视觉特征 是关键，因此这类方法称为基于特征的检测。后者则利用现有的模式 = 别理论， 把人脸检测问题看作一个更一般的识别问题，这种方法不需要进行脸部特征检 测和分析，它是通过学习算法隐含利用人脸的知识进行分类，以达到检测的目 的。图1 2 给出了一些主要的人脸检测方法【1 】。 1 1 2 。1 1 基于特征的人脸检测方法 基于特征的人脸检测可以进一步分为三个方面，低层分析，特征分析和 a c t i v es h a p em o d e l 。 图1 2 人脸检测的主要方法 笫，一章绪论 低层分析足利用象素的些属性如次度值或颜色分割视觉特征，在最早的人 脸检测中，s a k a i 等人【4 7 】就引入了边缘表示，通过分析图像中人脸的线条定 位人脸部特征。c r a w 等【8 】在在此基础上提出了一种分层框架异j 于跟踪人的头 部轮廓。在文献【1 1 ，1 5 ，1 9 】中还有这方面一些更新的工作。另外基于边缘 的技术还被用于检测人脸图像中的眼镜【2 3 ，2 4 】。除了边缘细节外，人脸的灰 度信息也可以作为特征，脸部的一些特征如眉毛，瞳孑l ，嘴唇等通常在图像中 要比周用区域暗一些，这一性质可用于区分出不同的脸部器官特征。文献【3 ， 1 7 ，2 9 】中提出了一些通过在分割后的人脸区域中搜索局部灰度最小来提取面 部特征的新方法。w o n g 【j 7 】等还完成了一个机器人，它就是通过在候选人脸 区域中选择较暗的区域来确定特征的。虽然灰度信息可以提供基本的图像特征， 但是相对来说颜色则是一种更为有效的表示方式。虽然人的种族不同但是不 同肤色的人的面部特征仍然可以在颜色空间形成相当紧密的聚类，文献【2 2 ， 3 6 】均提到了这方面的工作，但是这也同时意味着对于个体而言，皮肤颜色组 成l 日】的差异很小，很难进行比较精确的识别工作。如果有序列图像可用，那么 运动信息也是一种定位运动目标的便利方式，一种最直接的方法就是通过帧差 分分析来完成运动分割，这种方法尽管简单，但可以在不受背景干扰的情况下 有效地分离出运动场景。在文献【3 ，1 7 ，4 2 ，5 6 ，5 9 】中通过对帧问差分的闽 值化提出了包括脸部和身体的运动轮廓，l u t h o n 和l i e v ir l 【3 5 】，c r o w l e y 和 b e r a r d1 9 1 ，l o w 【3 4 等还利用帧问差定位人脸特征。另一种度量视觉特征运 动的方式是通过对运动图像轮廓的估计来完成的，它比帧差分方法更为可信， 特别是当运动量较小时【3 7 】。利用广义图像性质进行检测的工作始于r e i s f e ld 和y e s h u r u n 4 3 】，他们引入了一种建立在边缘象素操作基础上的广义对称算子， 利用这种方法他们在检测眼睛和嘴部时达到了9 5 的正确率，l i n 等【3 2 】又进 一步发展了人脸的广义对称性，他们提出一种双遮掩( d u a l m a s k ) 算子，它利 用的是腧部暗处和亮处的径向对称性。 由于本身固有的特点，由低层处理得到的这些基本特征可能比较含糊，不够 明确，而在特征分析中可以利用人脸的几何分布特性把这些视觉特征组织成人 脸和面部特征的更具全局概念的表示。通过特征分析减少特征的含糊性后，人 联合面部特征的位置可以得以确定。目前主要有两种应用人脸几何分布进i 升寺 征分析的方法，第种是利用人脸部特征问的相对位置进行顺序特征搜索，第 二种是利用不同的人脸模型将特征组合成一个弹性人脸却局。特征搜索技术先 确定重要的面部特征，在检测到这些特征后，再利用人脸的几何分何只是预测 4 丽北t 业人学博l j 学位融义 其他的次要特征的存在和位置。比如在头和肩部这块较大的区域的上 f j 的一块 小区域暗示了脸部是位于肩部上面的。文献中最常见的参考特征是双限【3 ，g ， j6 】，这是因为它的较明显的分布特征使得它容易检测得到。其他特征还包括人 脸主轴【8 ，4 9 】，头部轮廓【8 ，1 1 】等。 上面提到的许多算法都在很大程度上依赖于固定条件下从不同人脸得到的 启发式信息，但对于更一般的任务，如在复杂背景中定位不同姿态的人脸，这 些算法就无能为力了。为解决这个问题，近来提出的算法试图利用更鲁棒的建 模方法把面部特征组合成f a c e li k e ( 类人脸) 的分布，这方面的工作主要呵以在 文献【2 ，6 ，2 l ，6 0 】中看到。 主动外形模型( a c t iv es h a p em o d e l ) 是另外一种人脸模型，它描述特征对 应的高级的，实际生理外观表现，目前主要有三种a s m ，第一种是由k a s s 等人 1 9 8 7 年【2 6 】提出的一般活动轮廓( g e n e r i ca c t i v ec o n t o u r ) ，又称s h a k e s ， 它通常用于定位头部边界【1 8 ，2 0 】。第二种是可变形模板( d e f o r m a b le t e m p l a t e ) ，y u i l l e 等人【6 1 】进一步深化了s n a k e s 的概念，加入了人眼的总 体概念以提高人跟提取的可信度，此后，在文献【4 ，1 2 ，2 7 ，5 0 ，5 4 】中分别 针对减少计算时间，模板修正，能量函数等各方面进行了改进。第三种是点分 斫i 模型( p d m s ) 。p d m 【7 】是对基于统计的形状的紧凑的参数化表示。人脸p d m 是l a n i t i s 等人【3 l 】首先提出的，这种模型描述了包括眼，鼻，眉等面部特 征的人脸的全局外观。在后续工作中l a n i t i e s 【3 0 1 有对这种算法进行了改进， 加入了遗传算法和多分辨率分析以解决多个候选人脸的问题。 1 1 2 1 2 基于图像的人脸检测方法 与基于特征的检测不同的是，基于图像的方法无需检测各个面部特征，事实 上基于图像的检测方法的最简单的形式就是模板匹配，但是它不如下面提到的 算法的效果理想。总体上来说这类方法又分成三小类，线性子空间方法，神经 网络方法和统计方法。 第一类是线性子空间方法。人脸图像是位于所有图像空闯中的一个子空间， 为了表示这个子空间，有许多方法可供选择，如主元分析法( p c a ) ，线性鉴别 分析( l d a ) ，f a c t o ra n a l y s i s ( f a ) 等，其中p c a 和l d a 将在后文中详细叙述， 这方面的工作可以参看文献【5 5 ，5 6 ，3 8 ，4 0 ，1 4 ，5 3 ，4 8 ，5 8 ，6 2 】等。 第二类是神经网络方法。目前神经网络已经成为模式识别问题中常用的方 法，用于人脸检测的第一种神经网络是以m l p 为基础的【5 ，2 5 】，在简单数据 e 第一币绪论 集上的到了令人鼓舞的结果。r o w l e y 等人【4 5 】在较大的，比较复杂的数据集 上使用了第一个高级神经网络方法，其后，经过改进的算法又被用于人体跟踪 【1 0 】及头部跟踪【2 8 】，最近r o t h 等人【4 4 】又提出一种新的学习体系，称 为s n o w ( s p a r s en e t w o r ko fw in n o w s ) ，用于人脸检测，这方面工作可以在文献 【4 6 ，l3 ，3 3 】中看到。 第三类是统计方法，典型的如基于信息理论( 如s v m ，贝h - 斯决策) 的系统 均可归入此类，其中o s u n a 等【3 9 】把s v m 用于人脸检测，而s c h n e jd e rm a n 和k a n a d e 等【5 1 ，5 2 】则描述了两种基于贝叶斯决策法则的人脸检测器。此外 q i a n 和h u a n g 等【4 l 】还将贝叶斯决策法则应用于人脸检测。 1 1 2 2 人脸识别方法 实际上，人脸检测与人脸识别的关系非常密切，许多人脸检测的手段都可以 运用到人脸识别中去，下面我们对主要的人脸识别技术也做一个简单介绍。 文献中人脸识别最早的工作是由b 1 e d s o e 【6 3 】完成的，他以面部特征点之 间的距离和比率作为特征，建立了个人脸识别系统，在这个系统中人脸图像 卜的特征点是由人手工定位的，然后将特征点的位置信息输入计算机，计算各 特征点阳j 的距离，再通过最近邻法和其他分类方法来识别人脸。正是由于有人 l 参与，所以该系统对光照变化和角度变化都具有良好的稳健性。早期的人脸 识别研究都是比较直观的，可以分为两个方向，第一是提取人脸几何特征的方 法，第二是模板匹配的方法，是利用计算模板和测试图象的灰度之间的自相关 性来完成的。b e r t o 在1 9 9 3 年【6 4 】对这两类方法作了一个全面的介绍和比较， 指出模板匹配的方法优于几何特征方法。在近些年来人脸识别的工作更是受到 广泛关注，提出了不少新算法。目前的人脸识别算法可以分为四大类，基于几 何特征的方法，基于弹性模型的方法，基于统计的方法和神经网络方法。 1 1 2 2 1 基于几何特征的方法 正如前面所提到的，基于几何特征的方法是最直观的人脸识别方法，事实上 正是由于脸部各个器官的差异才使得人脸可以加以区分，因而对于这些面部器 官的形状和结构关系的几何描述无疑是极重要的识别特征。除了b 1 e d s o e 的早 期工作外，b r u n e l n ，c o x 等 6 5 ，6 6 】也进行了这方面的研究，提取人眼， 鼻，口等重要器官的位曼和几何形状作为分类特征。这种算法速度较快，但是 6 堕! ! 王些查兰竖主! ：! 兰堡苎 它很显然严重依赖于几何特征提取的准确性和精确度，而几何特征本身义容易 受到图像的噪声，变形的影响，尤其利于人脸这种非刚体的，又易产生变形的 图像束说，人的面部器官的形状和位置是随着表情变化而变化的，同时重要器 官的轮廓也不一定清晰到足以准确提取，所以在实际应用中这种方法仅适合于 对实时性要求较高，但精度要求不高的有限场合。人脸检测中用到的可变形模 板法可以看作几何特征法的个重要改进，它的基本思想是设计一个参数可调 的器官模型，也就是可变形模板，定义一个能量函数，通过调整模型的参数使 得能量函数最小化，这时的模型参数就可以作为浚器官的几何特征，这种方法 可以较好地解决人脸器官的变形问题，但是在实际应用中也存在两个问题，一 是能量函数中各项代价的权值系数只能由经验确定，并没有可以加以推广的理 论指导；二是计算量过火，非常耗时。 1 1 2 2 2 基于弹性模型的方法 基于弹性模型的方法的基本思想是这样的，在二维空间中定义这样种距 离，它对通常的人脸变形具有一定的不变性，用属性拓扑图来表示人脸，拓扑 图的任一顶点均包含一个特征向量，它记录了人脸在该顶点位置的分布信息。 i ，a d e s 等人【6 7 ，6 8 】针对畸变不变性的物体识别提出了动态连接模型( d l a ) ， 将f 1 标用稀疏图形表示，其中文中介绍的二维拓扑图的顶点矢量就是人脸经过 小波变换后的特征向量，在图象的敏感位置，如轮廓线，突出点处等，小波变 换后生成的特征向量的模较大。用拓扑图分别代表已知和待识别人脸，同时还 可以根据匹配拓扑图计算出它们的“距离”作为人脸的相似度。小波特征属于 低层特征，没有线，面，模式等概念，由于低层特征中信息的冗余不仅使得计 算复杂，而且由于大量与识别无关信息未被消除，因而会影响识别效果。为解 决这些问题，可以从两个方面加以改进，第一是降低计算复杂度，即对表示人 脸的二维矢量场进行特征压缩和提取，第二是减少冗余信息，将所提取的低层 特征和高层特征结合起来以突出关键点的识别地位。文献【6 9 】中提出一种弹 性匹配的改进方法，文中把k l 变换应用n d , 波变挟中来生成二维网格中顶点的 矢量串，以减少其维数，从而大大减少了表示一幅人脸图象所需要的特征数量， 而且并没有降低识别率。文献【7 0 1 中采用人脸基准点而不是二维网格作为拓 扑图的节点，同时节点特征也是小波变换特征，也就是说它忽略了除重要人脸 器官之外的特征数据，直接对感兴趣区域进行研究，从而减少了与识别无关的 信息。 7 第币绪沦 此外n a s t a r 【7 1 ，7 2 】把人脸图象i ( x ，y ) 映射成一个三维网格表面 ( x ，? ，i ( x ，y ) ) ，从而将人脸匹配的问题转化成可变形曲面的弹性匹配问题，然 后利用有限元分析的方法进行曲面变形，并根据变形情况判断两幅图像是否对 应于同一个人脸。总体束说这种方法对于小的形变，旋转及局部e l 标的改变等 干扰均具有良好的稳健性，可以在一定程度上不受光照的影响对细微的表情 变化不敏感，所以精度相当高，但是它的识别是建立在模板的精确匹配的基础 上的，因此计算量很大，速度相当慢，所以影响了它的实用性。 1 1 2 2 3 基于神经网络的方法 神经网络方法已经成为人脸识别研究中的一个重要方向，已经有多种神经网 络被崩于这一任务，这种方法是将人脸检测视为从非人脸样本中识别人脸样本 的模式识别问题，通过对人脸样本集和非人脸样本集的学习产生神经网络分类 器。v a l e n t i n 【7 3 提出了一种方法，首先利用p c a 方法提取人脸的5 0 个主元， 再刷白相关神经网络把它映射到5 维空间，最后用一个普通的多层感知器进行 削别，这一方法对简单的测试图象有较好的效果。i n t r a t o r 等【7 4 提出了 种混和神经网络进行人脸识别，其中非监督神经网络用于特征提取，监督神经 网络用于分类。l a u r e n c e 等【9 1 】采用卷积神经网络进行人脸识别，山于卷积 神经网络中隐含了图象中相邻象素问的相关性知识，从而在定程度具有了对 图像平移，旋转和局部变形的不变性，得到了很理想的识别效果。k o h o n e n 【7 j 】 率先用自相关记忆( 全互联神经网络) 存储和重建人脸图象，在噪声存在，甚 至部分人脸被遮挡的情况下该网络仍能有效重建人脸图象，这也证明了该酬络 具有对人脸图象的识别能力。c o t t r e l l 等和f 1 e m i n g 【7 6 】采用了不同的网络 拓扑结构一非线性前馈神经网络，该网络经b p 算法训练后用于人脸识别，并具 有较高的识别率。d aj 等人【7 7 】提出用t l o p f i e l d 网络进行低分辨率人脸检测 和识别。g u t t a 等 7 8 j 提出将r b f 与树型分类器结合起来进行人脸识别的混台 分类器模型。g u o 等【7 9 】则利用支持向量机进行人脸识别。 神经网络方法比起前面的方法具有一定的优势，因为它可以通过学习把一些 人脸识别中的规律，规则隐性的表达出来，而这些规律和规则实际上往往又很 难显性描述，因此神经网络方法的适应性更强，也较容易实现，但是它要求训 练样本比较充分才有可能得到较好的识别效果，否则对于形变，尺度改变，光 照改变等干扰不能很好的识别，并且神经网络本身的设计被称为艺术而不是科 学，它的有关参数常常只能依靠经验选取，因此很难得到推广。 r 阿北r 业人学博 坞位论殳 1 1 2 2 4 基于统计的方法 基于统计的方法通常包括以下几种，基于相关的方法，基于k l 变换的特征 脸方法，基于线性鉴别分析的f i s h e r 脸方法，基于奇异值分解的s v d 方法等。 基于相关的方法是最直接的方法，是通过度量测试图象与各训练图象的相关性 进行匹配的【8 0 】。在实际计算中常用的是归一化的互相关系数。b r u n e l i 和 p o g g in 等【8 1 】提出了种基于相关的正面人脸的识别方法，识别率高于9 6 。 b e y m e r 【8 2 】继续发展了基于相关的方法，他提出了利用相关识别具有不同角 度的非l 卜面人脸图像的基于视角的新方法，其中人脸允许有深度旋转，但是这 种方法计算相当耗时。总的来说基于相关的方法易受光照，旋转和图像尺寸的 影响，同时计算量也较大。基于k l 变换的特征脸法的早期j ：作是由k i r b y 8 3 ，8 4 完成的，而特征脸这个概念则是由t u r k 和p e n t l a n d 8 5 ，8 6 】提出的，它认为 所有人脸在相同分辨率图像所构成的空间中组成一个人脸子空间，目标图像与 其在了空阃的投影之间的距离可作为检测测度，它通过求取人脸图象分南的主 元，也就是一系列人脸图象矩阵的协方差矩阵的特征向量( 也就是主成分分析) 先对陶像进行了降维操作，因此特征脸方法速度快，实现方便，对正面图像谚 别率很高，一度是人脸识别中最为看好的方法，但是它同样易受光照，人脸旋 转和小形变，光照改变及位移改变的影响，因此有许多学者在此基础j 二义作了 不少改进。这种方法将在第二章详述。 为了克服人脸识别中的光照影响，b e l h u m e u r ，e t e m a d 【8 7 ，8 8 】等提出了 利用f i s h e r 线性鉴别( f i s h e rl i n e a rd js c r i m i n a n t ，简称f l d ) 减少特征空 问维数的人脸识别新方法，f 【d 利用了类属信息，得到了系列特征矢量，这些 特征矢量淡化了同一人脸由于光照条件，表情及方向造成的变化，而强调了不 同人脸问的差别，在文献【8 9 ，9 0 】中也做这方面的工作。 此外，h o n g 在文献 9 0 1 中提出了利用人脸图像矩阵的奇异值矢量进行人 脸识别的方法，这种方法也将在后文中详述。 1 1 2 2 5 其他方法 除了这四大类外，还有一些其他的人脸识别方法，如s a m a r i a 把隐马尔可夫 模型( h i d d e nm a r k o vm o d e l ，简称h m m ) 引入了人脸识别。h m m 原来应用丁语 音识别领域，并取得了相当的成功，但是出于语音信号是一维信号，而图像则 9 第一荦舛 论 是二维信号，因此要直接把h m m 应用于图像是有困难的。为解决这个问题，需 要在图像上取一个采样窗口，该窗口的宽度就是图像的宽度，高度呵能只有几 个像素，然后使它在图像上由e 至f 滑动，槲邻窗口之间允许重叠，这样把人 脸可以垂直分成五个区域，前额，眼睛，鼻子，嘴巴，下颌，然后可以用个 五状态的h m m 模型来表达人脸了。这种方法鲁棒性较好，可以对不同角度和不 同光照条件的人脸图像都取得较好的识别效果。在这之后还有不少学者进行r 这方丽的工作【9 2 】还有等密度线法是从二维的人脸图像中抽取等密度线( 其 实是等灰度线) 来反映人脸的三维信息，与地图中用等高线反应地形特征一样， 不同人脸的等密度线也可用于比较人脸间的相似性。 另外还有一些方法，如基于图像代数特征的识别，基于彩色信息的检测等， 但是与上述方法相比也并不具有明显优势。 1 2 人脸识别发展现状及应用前景 表1 1 是c h e l l a p p a 等人总结的人脸识别技术的一些应用及各自可能的优 缺点。国内外对于人脸识别的研究已经作了比较多的工作。国外的研究单位育 美国的麻省理工媒体实验室( m i tm e d i a1 a b ) 、卡耐基梅隆大学的人机交互 学院( u m a nc o m p u t e ri n t e r f a c ei n s t i t u t e ) 、微软研究院的视觉技术研究 组( v is i o nt e c h n o l o g yg r o u p ) 、英国剑桥大学的工程系( d e p a r t m e n to f e n g i n e e r j n g ) 等，国内的研究单位有中科院控制所、中科院计算所、哈尔滨 工业大学、清华大学、浙江大学等。 表11 人脸识别技术的应用 应用优点缺点 1 信用 ，驾驶执照，护控制条件r 的图像，容易分没有现存的数据库或者潜在 照及个人身份识别割图像质量较好的数据库很大 2 面部照片匹配各种图像质量，有多幅图像没有现存的数据库或者潜在 可用的数据库很人 3 冈特网应j 刳视频信息，应 j 价值赢 潜在的数据库很大，需要对 图像的极简洁的表示 4 银 ? ，商店保安应增价值高，对丁局部区域 非控制条件下的分割，图像 搜索质量较低 两北t 业人学博卜学位i 仑殳 5 人群监视麻i l | j 价值高，处理的文件较控制条件_ 的分割，幽像 小有视频信息可埘 质量较低要求实时 6 专家识j j j应州价值高，图像可能可以 幽像质量较低，婴得剑食 去 进行增强的许可 7 日击脸部的重建有目击线索作为限制条件相似性未知 8f n 子人像登记 有描述的条件作为限制观察者疲劳 9 电子人像排列有描述的条件作为限制观察者疲劳 1 0 残缺人脸重建 应川价值高 需要生理学指导输入 1 1 利用计算机的年龄估应用价值高需要实例输入 整体来看，这一方向涉及到数字图像处理，计算机视觉，人工智能等多个学 科领域，同时这一方向适应了现代计算机网络发展和通讯发展的需要，无论从 学术性还是从实用性来看均具有极高的价值。从已有的研究来看，要完仝实现 一个仝自动的人脸检测跟踪识别系统难度是相当大的，但是要实现特定环境f 的自动人脸检测和识别还是有可能的，而且随着计算机和网络的普及，图像， 视频内容在计算机网络中比重的加大，这一研究方向必然会得到更快的发展。 1 3 论文题目来源 本课题研究得到了我校和澳大利亚墨尔本大学共同承担的中澳政府间合作 项目“保证网上金融交易安全的面貌识别技术”，以及西北工业大学博士论文 创新基会项目“运动人脸检测、识别与跟踪”的支持。 1 4 本文的工作和创新点 本文比较深入地分析研究了自动人脸识别及相关技术，主要的创新点包括： 1 提出了两种基于小波变换和多特征的人脸识别方法，一种是将多特征和 多分类