（模式识别与智能系统专业论文）人脸变换与识别：从近红外到可见光图像.pdf

摘要 摘要 人脸识别技术是模式识别和计算机视觉等领域的一个热门话题，近年来已 经取得了很多成功应用的案例。大多人脸图像采自可见光，而环境中可见光条件 是多变且复杂的，因此人脸识别的性能很容易受到可见光源变化的影响。获取光 照不变的人脸表达，一直以来是人脸识别的重要研究课题之一。近红外成像技术 的应用在一定程度上解决了光照不变性的问题。传统的近红外人脸识别要求用 于注册和认证的人脸图像必须都采自于近红外光条件，而实际应用中大量人脸 图像采白可见光条件，例如监控视频，身份证照片。如何实现可见光与近红外光 人脸的交叉注册与认证成为了一个急待解决的问题。由于成像方式不同，同一个 人的近红外和可见光人脸图像在表观上存在着显著差异。但是从认知的角度讲， 它们仍然可以被识别成为同一个人。这就意味着，1 ) 近红外和可见光图像存在 某种形式的关联，并且2 ) 存在可识别的不变特征。本文将从这两个角度出发，探 讨如何实现近红外和可见光人脸图像的变换与识别。 本文的主要贡献和工作有： 基于流形映射的人脸变换。首先，本文引入了连续映射的概念，建立近红 外和可见光人脸图像局部表观之间的关联，然后从近红外与可见光人脸图 像对构成的训练集分别学习隐式和显式的流形映射，实现了从近红外到可 见光人脸的变换。变换实验使用峰值信噪比来评估合成人脸图像的质量。 最后合成的可见光人脸图像与真实的可见光人脸图像的的识别实验验证了 该方法的有效性。 基于不变特征的人脸识别。首先通过对成像模型的分析，探索了近红外和 可见光人脸的不变特征，然后使用了三种局部模式的直方图特征进行人脸 表达。对于产生的高维特征向量，使用f i s h e r 准则选择有判别能力的特征， 最终实现了在不变特征域的人脸识别。比较实验表明了这种方法的有效 性。 最后总结了全文并讨论了未来可能的研究方向。 关键词：人脸变换，人脸识别，近红外，可见光，流形映射，不变特征 a b s t r a c t a b s t r a c t f a c er e c o g n i t i o ni sah o tt o p i ci nt h ef i e l d so f p a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n r e c e n ty e a r sh a v ew i t n e s s e dm a n ys u c c e s s f u la p p l i c a t i o n so ff a c er e c o g n i t i o ni n k i n d so fs i t u a t i o n s i np r a c t i c e ，m o s to ff a c ei m a g e sa r e c a p t u r e du n d e rv i s i b l el i g h t i n g a n dt h u sc o m p l e xa n dv a r i e dv i s i b l el i g h t i n gc o n d i t i o n sg r e a t l yi n f l u e n c et h ep e r f o r - m a n c eo ff a c er e c o g n i t i o n l i g h t i n gi n v a r i a n tf a c er e p r e s e n t a t i o ni sa l w a y so n eo ft h e k e yi s s u e so ff a c er e c o g n i t i o n n e a ri n f r a r e di m a g i n gt e c h n i q u eh a sb e e na p p l i e dt oa c c o m p l i s ht h el i g h t i n gi n v a r i a n tf a c er e c o g n i t i o nt os o m ee x t e n t i nn e a ri n f r a r e df a c er e c o g n i t i o ns y s t e m ，a n a t u r a lr e q u i r e m e n ti st h a tb o t he n r o l l e df a c ei m a g e sa n d q u e r yf a c ei m a g e ss h o u l db e c a p t u r e du n d e rn e a ri n f r a r e dl i g h t i n g h o w e v e hi nm a n yi m p o r t a n ts i t u a t i o n sw h e r e f a c er e c o g n i t i o nw o r k s ，f a c ei m a g e sc a no n l yb ec a p t u r e du n d e rv i s i b l el i g h t i n g ，s u c h a sv i d e os u r v e i l l a n c e ，p h o t o b a s e di d e n t i f i c a t i o n t h e r e f o r e ，an e w p r o b l e me m e r g e s t h a to fc r o s sr e c o g n i t i o nb e t w e e nn e a ri n f r a r e da n dv i s i b l el i g h t i n gf a c e i m a g e s d u e t ot h e i rd i f f e r e n ti m a g i n g m e t h o d s ，n e a ri n f r a r e da n dv i s i b l el i g h t i n gf a c ei m a g e sf r o m s a m ep e r s o nc a nb es i g n i f i c a n t l yd i f f e r e n ti na p p e a r a n c e b u ti nt h ev i e wo fh u m a n c o g n i t i o n ，t h e ys t i l lc a nb er e c o g n i z e da ss a m ep e r s o n t h a tm e a n st w ot h i n g s ：1 ) t h e r e e x i s t ss o m eu n d e r l y i n gc o r r e s p o n d e n c e sb e t w e e nn e a ri n f r a r e da n dv i s i b l e l i g h t i n gf a c e i m a g e sa n d2 ) s o m ei n v a r i a n tf e a t u r e sc a nb ee x t r a c t e db e t w e e nt h e m f r o ma b o v et w o p o i n t so fv i e w , t h i sp a p e rp r e s e n t st w ok i n d so fm e t h o d st oa c h i e v et h ef a c et r a n s f o r - m a t i o na n dr e c o g n i t i o nf r o mn e a ri n f r a r e dt ov i s i b l el i g h t i n gi m a g e s m a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： m a n i f o l dm a p p i n gb a s e df a c et r a n s f o r m a t i o n ah y p o t h e s i so fc o n t i n u o u sm a p p i n gi si n t r o d u c e dt ob u i l dt h ec o r r e s p o n d e n c eb e t w e e nl o c a la p p e a r a n c em a n i f o l d so fn e a ri n f r a r e da n dv i s i b l el i g h t i n gf a c e s b a s e do nt h i sh y p o t h e s i s ，b o t h i m p l i c i ta n de x p l i c i tm a p p i n gc a nb el e a r n e df r o mt r a i n i n gd a t a b a s ec o n s i s t i n g o fs i m u l t a n e o u s l yc a p t u r e dn e a ri n f r a r e da n dv i s i b l el i g h t i n gf a c ei m a g e s s o f a c et r a n s f o r m a f i o nc a nb ea c h i e v e db yt h e s em a p p i n g s i nt r a n s f o r m a t i o ne x p e r i m e n t s ，p e a ks i g n a ln o i s er a t i o ( p s n r ) i su s e da sc r i t e r i o nt om e a s u r et h e q u a l i t yo ff a c et r a n s f o r m a t i o n f i n a l l y , r e c o g n i t i o ne x p e r i m e n t sa r ec o n d u c e do n s y n t h e s i z e da n dr e a lv i s i b l el i g h t i n gf a c ei m a g e s l n v a r i a n tf e a t u r e sb a s e df a c er e c o g n i t i o n f i r s t l y , i n v a r i a n tf e a t u r e sb e t w e e n n e a r 1 n f r a r e da n dv i s i b l el i g h t i n ga r e e x p l o r e dt h r o u g ht h ea n a l y s i so f i m a g i n gm o d e l 1n r e ei o c a lp a t t e r n sa r e p r o p o s e dt oe x t r a c th i s t o g r a mf e a t u r e ss oa st of o 咖f a c e r e p r e s e n t a t i o n f u r t h e r , d i s c r i m i n a t i v ef e a t u r e sa r es e l e c t e db yf i s h e rc r i t c r i o n f i n a l l y , f a c er e c o g n i t i o na r ea c c o m p l i s h e db ym a t c h i n g 证v a r i a n tf e a t u r e s e x - p e r i m e n t a lr e s u l t ss h o wt h ee f f e c t i v e n e s so f p r o p o s e dm e t h o d s a tt h ee n do ft h i sp a p e ga s u m m a r y i sp r e s e n t e da n ds o m ef u t u r ew o r k sa r ei n d i c a t e d k e y w o r d s ：f a c et r a n s f o r m a t i o n ，f a c er e c o g n i t i o n ，n e a r i n f r a r e d ，v i s i b l el i g h t i n g ， m a n i f o l dm a p p i n g ，i n v a r i a n tf e a t u r e s i u 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的贡献均己在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 储签名楸 1 ，u 飞年月z 日 i 、砒瓶 第1 章绪论 第1 章绪论 1 1研究背景及意义 1 1 1人脸识别 人脸，是人体独一无二的生物特征，是身份认证的重要视觉线索。最近几 十年来，来自模式识别、计算机视觉和机器学习等领域的学者们一直致力于人 脸识别算法的研究。随着研究的深入和技术的进步，尤其是从( t u r k 和p e n t l a n d ， 1 9 9 1 a ) 提出“特征脸”( e i g e n f a c e ) 的方法以后，人脸识别的计算实现取得了一系 列重大的进展( z h a o 等人，2 0 0 3 ) 。另一方面，认知领域的科学家同样以人脸为对 象开展视觉认知的研究，探索人类感知的视觉过程和神经处理过程。他们的工作 不仅促进了人类对自身的了解，也为人脸识别提供理论基础并且为人脸识别的 算法设计提供灵感( s i n h a 等人，2 0 0 6 ) 。直到今天，人脸识别已经成为主流的生物 认证技术，开始活跃在实际生活的各个场合，例如安全控制、智能监控、日常考 勤、人机交互等。 然而，人脸识别的性能仍然受到用户因素和环境因素的影响。用户因素包括 人脸的姿态、表情、眼镜和发型等，而环境因素主要指环境光照。现存的人脸识 别应用系统大多需要用户配合( 保证人脸姿态和表情的稳定) ，并且在可控的室 内环境中工作( 保证光照的稳定) 。这显然限制了人脸识别的应用范围。从人脸 识别系统设计者的角度出发，人脸识别最好在用户无意识的状态下完成，例如在 安全控制和智能监控的应用中；而从人脸识别系统的被试着或者用户的角度出 发，人脸识别最好不需要努力去配合完成，例如在日常考勤和人机交互的应用 中。这些用户因素，如果能被很好的建模，仍然可以产生稳定的，可信赖的人脸 识别性能。但是外部因素却没有包含可供识别的人脸信息和特征，只会伤害人脸 识别的性能。在构建一个可信赖的人脸识别系统的过程中，首要的一步就是要消 除外部因素，即环境光照的影响。 然而，由于大多数现存的人脸识别系统的成像是在可见光下完成的，而环境 中的可见光源，无论是自然的还是人造的，是极其复杂多变的，因此，对光照影 响的抑制一直以来是人脸识别的主要挑战之一。( a d i n i 等人，1 9 9 7 ) 深入研究了环 境光照方向对人脸识别的影响，并提供了一些有意义的结论，其中包括： 一、光照条件，尤其是光照角度，极大的改变了人脸的表观； 二，在未经任何处理的前提下，来自同一人的不同光照方向下的人脸图像表观差 第l 章绪论 图1 1 ：光谱范围示意图 异甚至大于来自不同人的相同光照方向下的人脸图像表观差异。 为了实现光照不变的人脸识别，研究人员作出了大量的努力。( n a v a r 和b o l l e ， 1 9 9 6 ) 和0 a c o b s 等人，1 9 9 8 ) 通过假设人脸为朗伯表面而提出了抽取人脸内蕴属性 的算法。( s h a s h u a 和r a v i v 2 0 0 1 ) 提出使用商图像的方法来实现人脸光照不变的表 达。( g e o r g h i a d e s 等人，2 0 0 1 ) 证明了相同姿态的人脸在不同光照条件下所有图像 构成了一个凸锥体，叫做光锥。( r a m a m o o 眦，2 0 0 2 ) 和( b a s r i 和j a c o b s ，2 0 0 3 ) 独立 的使用了球谐函数的表达来解释不同光照下人脸图像的低维属性。( j o b s o n 等人， 1 9 9 7 ) 、( x i e 和l a m ，2 0 0 6 ) 和( t a n 和t r i g g s 2 0 0 7 ) 都提出了“中心，围绕”类型的滤波 算法去除光照的影响。 1 1 2 近红外人脸识别 另一方面，研究人员开始探索利用其它光谱成像来解决人脸识别的光照问 题。图ll 为光潜范围示意图。其中，紫外部分是对人体有害的，不能用来人脸成 像。因此，研究集中在红外光谱区。热红外成像在军事领域已经被广泛研究和应 用，因此也直接用来进行人脸识g u ( k o n g 等人2 0 0 5 ) 。虽然热红外人脸识别对环 境光照有较强的适应能力，但是由于热红外波长较长导致了相对低的空间分辨 率，使人脸的配准变得困难，更为重要的是，热红外成像很容易受到环境温度变 化的影响，甚至人脸识别用户的情绪和健康状态导致的人脸温度变化也会给热 红外成像带来不利的影响。近红外成像在抑制环境光照影响的同时，也不易受到 环境温度的影响，因此成为了一种理想的人脸图像成像光谱。( l i 等人，2 0 0 7 ) 通过 使用近红外主动光源成像设备，配合以相应的识别算法，构建了光照不变的人脸 识别系统并取得了很好的识别效果。 1 1 3 交叉注册与验证 这种近红外人脸识别系统有一个自然的要求，就是用来注册的人脸图像和 用来验证的人脸图像都要采自近红外光照条件下。而现实中，根据可见光图像 采集的自然性和方便性，绝大多数人脸图像都来可见光，例如生活照片、证件照 第l 章绪论 片、新闻照片和影视传媒等。尤其是证件照片，可见光下的采集已经成为既定规 则。因此，在基于驾驶执照、电子护照和身份证等证件照片进行身份验证的场合， 用来注册的人脸图像只可能采自可见光条件下。这样一来，在基于环境光照复杂 的身份验证的工作现场，为了实现光照不变的人脸识别而采用近红外成像技术， 就产生了可见光注册，近红外验证的实际需求。当然，也存在近红外注册，可见 光验证的场合，作为一个问题的两个方面。另外，在用户没有条件或不方便到现 场进行人脸注册的情况下，近红外和可见光人脸图像的交叉注册和验证，也会给 用户带来极大的方便，从而拓展人脸识别技术的应用空间。 最近，美国国家标准与技术研究所提出并组织了“多生物特征识别重大挑 战”( m u l t i p l eb i o m e t r i cg r a n dc h a l l e n g e ) 的测试( n i s t ，2 0 0 8 ) ，其中近红外和可 见光人脸图像的交叉识别也成为其中重要的实验之一，用来评估近红外和可见 光人脸图像交叉识别身份验证的性能以及与可见光融合以提高识别性能的潜 力。 1 2 研究内容与技术路线 1 2 1人脸表面光谱成像学 这一节介绍人脸在不同光谱分布光照下的成像模型，以揭示不同光谱成像 下人脸图像异质性的来源，这将为近红外和可见光人脸图像的变换和识别奠定 基础。首先，人脸可以假设为朗伯表面，表面反射函数记为s ( a ，z ，) ，如果一个 。光谱分布为e ( a ，z ，y ) 的光照射到人脸上，那么图像传感器的响应可以被表达成， ， ( z ，y ) = i p ( z ，可) s ( 入，z ，秒) e ( 入，z ，y ) q k ( a ) d a ， ( 1 1 ) ， 其中，p ( x ，y ) 是朗伯反射项，即表面法向亢( z ，y ) 与光照方向文g ，) 的内积，q 七( a ) 是 图像传感器第忌个分量的光谱响应函数，七= 1 ，2 ，3 ，4 分别代表蓝光、绿光、红光 和近红外光分量( f i n l a y s o n 等人，2 0 0 6 ) 。 下面给出两个假设简化这个模型。首先，在实际的图像采集过程中，近 红外和可见光都可以近似的看做是正面光( y 潜人，2 0 0 7 ) ，即亨= ( 0 ，0 ，1 ) ，因 此p ( z ，可) 只和表面法向的z 分量有关， p ( x ，y ) = n ：( z ，y ) ；( 1 2 ) 其次，光源的光谱分布是和位置无关的，最o e ( a ，z ，y ) = e ( a ) ，如果假设图像传 感器是冲激响应，那么q 七( 入) = q k 6 ( a k ) ，于是积分项变成了， ，i s ( 入，z ，y ) e ( 入，z ，y ) q k ( a ) d a = s ( a k ，z ，y ) e ( a k ) q k ( 1 3 ) - ， 3 第l 章绪论 漫反射 - - - - - - 。 、- - - 一 入射光 表面反射表皮漫反射真皮漫反射 7 脂肪层 ：表皮层 芦专。其皮层 图l2 ：人脸表面皮肤的光谱辐射属性 综合以上两个假设l2 和1 3 ，原成像模型i 1 变为 ( z ，g ) = n ：( z ，”) s ( h ，# ，) e ( 女) “，( 1 4 ) 其中，吼( q ”) 代表了人脸的深度信息，s ( k ，t ，f ) 代表了人脸表面的光谱辐射属 性而e ( h ) 虬是人脸无关项。 利用人脸的深度信息( z ，) 可以实现光谱不变的人脸识别。这种方法需要 两步的计算：一是从图像恢复人脸深度信息，这本身是一个病态的问题，需要先 验知识和大量的计算工作：二是基于人脸深度信息的识别，由于损失了人脸表面 的反射属性这一重要信息且在深度恢复过程中引入的噪声，使得识别工作本身 变得困难。 本文的重点在于人脸表面的光谱反射属性：s ( k ，z ，y ) ，亦即在正面近红 外= 4 和可见光= 1 ，2 ，3 照射下人脸表观差异的来源，见图1 5 。当一束光照射 到人脸表面首先一部分光在表面脂肪层发生直接的反射，另一部分折射进入皮 肤表皮层，进入表皮层的光在黑色素的影响下一部分发生漫射效应，另一部分进 入真皮层，在真皮层主要是血红素影响入射光的漫射，最终人脸皮肤表面的辐射 光由反射光和漫射光两部分组成。如图l2 所示。其中漫射分量直接和入射光的 光谱分布相关。一方面，入射光的波长越长，被皮肤吸收的越少，导致漫射光越 强；另一方面，漫射受人脸不同组织黑色素和血红素分布的影响，而不同人脸表 面的黑色素和血红素的分布也不同，这就导致了不同光谱分布的光成像的人脸 ，f ? ， ， _ 7 ， 第1 章绪论 图l3 ：人脸在四种不同光谱分布光照下的图像，从左到右分别为：蓝光图像、绿 光图像、红光圈像和近红外光图像。从蓝光到近红外光，人脸图像逐渐平滑，这 验证了波长对漫射光的影响；另外，从蓝光到近红外光，人脸运渐变亮，但是亮 度的变化是非齐次的，比如人眼虹膜区域的亮度在近红外光照射下显著的增强 了，这验证了人脸组织色素分布对漫射光的影响。 图14 ：近红外和可见光人脸图像双摄像头采集设备 图像的显著的表观差异，图13 列出了三种典型的可见光人脸图像和近红外光人 脸图像。 1 2 2 数据采集 在本文中，蓝光图像、绿光图像和红光图像构成的彩色人脸图像通常转化为 灰度图像，作为可见光人脸图像，和近红外光人脸图像进行比较研究。为了研究 近红外和可见光人脸识别研发了专门的双摄像头成像设各，如图14 近红外和可 见光摄像头固定在同一个平面上的相邻位置，用来减少近红外和可见光人脸图 像的姿态差异。为了模拟可见光注册的效果，采集在室内正面光照下进行。在摄 像头周围分布了4 2 颗8 5 0 n m 波长的l e d ，该l e d 发射角是5 0 度，使得近红外人脸 成像近似符合远点光源模型，减小与可见光人脸图像光照方向的差异。采集过程 中，用户到设备的距离为8 0 c m 左右。 使用该设备同时采集了2 0 0 个人的近红外和可见光人脸图像共1 6 0 0 张，其 第1 章绪论 i 剽孥隧隧麟 图1 5 ：上面红色框内的是同时采集的5 对图像，下面蓝色框内的是分开采集 的5 对图像。 中每人近红外图像4 张，可见光图像4 张。原始图像的分辨率是6 4 0 4 8 0 ，使 用人工的方法切出图像的人脸部分，并统一归一化l u 2 5 6 x 2 5 6 尺度上，构 成了近红外与可见光人脸识别的数据库a 。另外还分别采集了2 0 0 人近红外 图像共2 1 8 0 张，2 0 0 人可见光图像共1 2 9 5 张，同样人工切出人脸部分，归一化 到2 5 6 2 5 6 尺度上，构成了近红外与可见光人脸识别的数据库b 。图15 中红色 框内是5 对数据库a 中人脸图像的例子，上面一行是近红外光人脸图像，下面一 行是其相应的可见光人脸图像。图15 中蓝色框内是5 对数据库b 中人脸图像的例 子，上面一行是近红外光人脸图像，下面一行是其相应的可见光人脸图像。从 图15 可以看出同时采集的近红外和可见光人脸在姿态方面差距很小，而分开 采集的近红外和可见光人脸有着不同姿态或表情。 12 3 异质人脸生物特征识别方法论 多种类型的人脸生物特征己经被用于人脸识别，例如，可见光图像、近红 外图像、热红外图像、三维深度图像和素描肖像画等。这些不同类型的人脸生 物特征反映了人脸不同方面的信息，它们之间的关系一直吸引着研究人员的 6 第1 章绪论 兴趣。由于生成方式不同，不同类型人脸生物特征存在着显著的异质性，它们 之间的交叉识别叫做异质人脸生物特征识另u ( l i ，2 0 0 9 ) 。除了近红外和可见光人 脸图像这对典型的异质人脸生物特征( y i 等人，2 0 0 7 ) ( w a n g 等人，2 0 0 9 ) ( l i a o 等人， 2 0 0 9 ) ( l e i 和l i ，2 0 0 9 ) ( c h e n 等人，2 0 0 9 ) 之外，还有其他异质人脸生物特征识别的 问题见诸报道，例如，可见光人脸图像与素描肖像画( t a n g 和w a n g ，2 0 0 4 ) 、近红 外人脸图像与三维人脸深度图像( y a n g 等人，2 0 0 8 ) 等。 处理异质人脸生物特征识别的主要方法可以归为两类： 一、基于图像变换的方法。这种方法认为异质图像来自不同的空间，通过学 习空间变换将一种类型的图像变换成另一种类型，使得识别可以在变换空间进 行；或者将两种类型的图像变换到一个统一的空间，使得识别在同一空间中进 行。 二、基于不变特征的方法。这种方法设计合理的滤波器抽取异质图像的共同 不变特征，然后通过统计学习的方法挑选有判别能力的特征，在不变特征域进行 识别。 本文将从这两种思路研究近红外和可见光人脸图像的变换和识别。 1 3 论文结构 本文下面章节安排如下： 第二章回顾了人脸识别技术的主要算法模块，包括人脸检测、人脸配准和人 脸识别。它们将成为本文的工作基础。 第三章从图像变换的角度出发，探索了近红外和可见光人脸图像的变换与 识别。人脸图像的变换分为整体变换和分块变换再合成两种方式，本章的开头介 绍相关的研究工作以及发展现状，然后提出了基于流形映射的分块人脸变换的 方法。假设在近红外和可见光人脸图像局部表观流形之间存在连续映射，数值实 验验证了假设的合理性。根据以上假设，本章分别提出了隐式和显式的方法学习 表观流形变换。最后，变换实验和识别实验显示了算法的有效性。 第四章从不变特征的角度出发，讨论了近红外和可见光人脸图像不变特征 的抽取、描述、选择和匹配等问题。首先是回顾相关文献，然后提出了使用边缘 和梯度做为近红外和可见光人脸图像的不变特征，进一步提出局部边缘模式和 局部梯度模式进行特征描述。通过选择有判别能力的特征，将近红外和可见光人 脸识别问题变成特征匹配问题。识别实验中，比较了相关的方法，显示了提出的 方法的有效性。 第五章总结了全文，并展望了未来可能的研究工作。 7 第2 章人脸识别综述 第2 章人脸识别综述 本文提出的近红外对可见光人脸变换和识别是人脸识别领域的一个特殊的 问题。人脸识别技术的基本框架是本文的研究基础，因此在本章将介绍人脸识别 技术的主要算法模块和问题。人脸识别技术一般分为如下几个算法模块：人脸检 测、人脸配准和人脸识别算法。接下来按分别介绍国内外的一些常用算法。 2 1人脸检测 人脸检测的目的是，判断任意给定的一张图像中是否存在入脸，如果存在人 脸，需要得到人脸的个数和每个人脸的坐标信息。作为人脸识别的第一步，人脸 检测问题会受到很多因素的影响：姿态、表情、遮挡、图像质量等。一般来说，人 脸检测问题可以看作一个两类的分类问题，需要训练一个分类器用于区分人脸 和非人脸。到目前为止，有效的人脸检测算法可以分为三类：不变特征方法、模 板匹配方法、基于表观的统计学习方法( y a n g 等人，2 0 0 2 ) 。 基于不变特征的方法主要是通过寻找人脸的不变特征来实现的。其中“不 变”是指这些特征不会随人脸的姿态、视角和光线的变化而变化。这些特征主要 包括这样几类： 1 脸部边缘特征。边缘特征一般采用常用的图像处理算法获得。( s i r o h e y ， 1 9 9 3 ) 采用 c a n n y 算子提取整副图像的边缘信息，然后根据人脸轮廓的特 点剔除背景，最后可以得到剩下的人脸。( g r a f 等人，1 9 9 5 ) 通过带通滤波、形 态学操作和直方图统计等步骤，可以获得人脸和双眼的位置。虽然这类方 法简单有效，但是很容易受复杂背景的影响，而且对遮挡很不稳定； 2 脸部纹理特征。( d a i 和n a k a n o ，1 9 9 6 ) 提取了皮肤和头发部位纹理的一种二 阶统计特征，然后利用级联的神经网络和自组织映射网络训练了一个人脸 检测器。这种方法的优点在于可以检测带有姿态的人脸，但是分类器相对 比较复杂，运算量较大； 3 脸部皮肤颜色。这种方法主要是针对彩色人脸图像的。一些研究表明， 由于人脸皮肤颜色的独特性，使得皮肤颜色是适合用于人脸检测的一 种有效特征。尽管直观上，不同人脸的皮肤颜色相差较大，但在一些 颜色空间中，可以建立统一的皮肤颜色模型，如：r g b ( j e b a r a 和p e n t l a n d ， 8 第2 章人脸识别综述 1 9 9 7 ) 、h s v ( k j e l d s e n 和k e n d e r ，1 9 9 6 ) 、y c r c b ( w a n g 和c h a n g ，1 9 9 7 ) 、y i q ( d a i 和n a k a n o ，1 9 9 6 ) 等。基于皮肤颜色模型可以有效的描述人脸区域，但是 也存在很大的缺陷，首先是对环境光线的变化非常敏感，其次是容易与人 体其他部分皮肤相混淆； 4 多种特征融合的方法。上述各种特征各有优缺点，因此也有人综合多种特 征来取得更好的检测效果( k j e l d s e n 和k e n d e r ，1 9 9 6 ) ，当然这样的检测器也 更复杂。 模板匹配方法是利用一个人脸模型在目标图像中进行搜索，能够正确匹配的 区域即为人脸。模板可以是预先定义好的模型，称为固定模板，也可以是可以随 时变化的模板，称为可变模板。固定模板一般由专家根据经验制定，算法一般比 较简单。( c r a w 等人，1 9 8 7 ) 就采用了一个正面的人脸模板，固定模板的缺点是，当 目标图像与模板差别较大时检测性能下降较大。可变模板的典型代表是s n a k e s 模 型( k a s s 等人，1 9 8 7 ) 、主动形状模型( a c t i v es h a p em o d e l ，a s m ) ( c o o t e s 等人， 1 9 9 5 ) 和主动表观模型( a c t i v ea p p e a r a n c em o d e l ，a a m ) ( c o o t e s 等人，1 9 9 8 ) 。这 类方法将人脸形状看作一组可变的随机变量，首根据一系列训练样本得到人脸 形状的先验概率模型，然后求目标图像似然概率，最后根据最大后验概率输出检 测结果。相对于固定模板，可变模板的性能更加鲁棒，能够适用于多种条件下的 人脸图像。 与模板匹配相比，基于表观的统计学习方法充分利用了人脸的表观，根据一 组包括人脸图像和非人脸图像的训练样本得到脸部表观的判别式模型，这个模 型能充分的描述人脸与非人脸的区别。这个模型可以是概率模型，也可以是某种 判别函数。而且此类方法一般会首先对原始图像数据进行降维，低的维度可以有 效的降低计算量和提高检测性能。目前此类方法已经成为人脸检测的主流方法， 主要可以分为如下几类： 1 基于多层神经网络的方法。神经网络的优点是可以学习出描述人脸模式复 杂的类条件密度，避免人为假设类条件密度所带来的问题。( r o w l e y 等人， 1 9 9 8 ) 利用人脸和非人脸训练图像训练多层的神经网络，最后通过组合多个 神经网络输出结果的方法来改进效果； 2 基于支持向量机的方法。( a l v i r a 和r i f k i n ，2 0 0 1 ) 首先在训练样本集上求解支 持向量机优化问题，然后将此用于人脸检测，并与多层神经网络的方法进 行了比较； 9 第2 章人脸识别综述 3 基于a d a b o o s t 的方法。( v i o l a $ 1 j o n e s ，2 0 0 1 ) 借助于积分图像来快速计算h a a r 特征，利用a d a b o o s t 统计学习方法来训练和构造分类器。并用分类器的级 联结构来降低计算量，构建了第一个实时的正面人脸检测系统，成为了引 领人脸检测研究趋势的主流算法。( l i 和z h a n g ，2 0 0 4 ) 又在这个算法的基础 上提出t f l o a t b o o s t 统计学习算法，并实现了第一个实时的多角度人脸检测 系统。 本文数据库中的人脸数据都是通过一种改进的m b l b p + a d a b o o s t 人脸检 测器获得( z h a n g 等人，2 0 0 7 ) 。此方法首先将局部二元模式( l o c a lb i n a r yp a t t e r n ，l b p ) 扩展为m b l b p ( m u l t i b l o c kl b p ) ，然后将此特征引入至l j a d a b o o s t 人 脸检测框架中，由于m b l b p 比h a a r 特征具有更强的表达能力，因此能够在选取 较少特征的情况下达到同样的、甚至更好的检测性能。 2 2 人脸配准 人脸检测算法输出的人脸坐标一般不会太稳定，容易受姿态、光照、采集设 备等多种因素的影响，因此直接基于人脸检测的结果进行人脸识别会有较大误 差。在进行后续步骤之前，一般需要对人脸图像进行归一化，使每张人脸图像中 脸部区域的比例、位置和大小尽量一致，这个过程称为人脸配准。人脸配准一般 分为两步：1 ) 特征点定位；2 ) 特征点配准。 特征点定位与人脸检测类似，都是要在一张人脸图像中得到某个特镇点的 坐标，只是特征点定位要求的精确度更高。与人脸检测的方法类似，也分为三种： 特征不变量方法、模板匹配方法、基于表观的统计学习方法。同样，基于表观的 统计学习方法是目前的主流算法，其中最典型的两个代表是：a d a b o o s t 和主动 表观模型( a c t i v ea p p e a r a n c em o d e l ，a a m ) ( c o o t e s 等人，1 9 9 8 ) 。a d a b o o s t 对脸 部的关键点分别训练检测器，然后逐个定位关键点的位置，如：眼睛、鼻子、嘴 巴等。a d a b o o s t 定位精确度高，其缺点是对每个关键点需要分别训练，耗费时间 长。而a a m 则同时利用表观信息和关键点之间的约束关系，同时定位所有关键 点。对l 匕a d a b o o s t ，a a m 显得更方便，但是其受训练集影响大，定位精度较差， 而且速度较慢。在实际系统中，由于速度快而且精度高，a d a b o o s t 成为关键点定 位的主流算法( l i 等人，2 0 0 7 ) 。 特征点配准的目的是将每张人脸图像中的关键点变换到指定的坐标，这样 所有人脸图像的比例、位置、大小才会一致。特征点配准的方法根据关键点的多 少可以大致分为三类： l o 第2 章人脸识别综述 1 两只眼睛作为关键点。这种配准最为简单，根据两只眼睛坐标计算得到旋 转参数和水平拉伸参数即可。一般旋转中心选在两眼中间，因此离两眼较 远的部位有较大的误差； 2 两只眼睛+ 嘴巴( 或鼻子) 作为关键点。三点配准比前一种更为精确，但是 水平拉伸和竖直拉伸参数会不一致，导致人脸比例失真； 3 大于3 个关键点。由于关键点数较多，可以通过最小二乘来求解变换参数， 也可以根据关键点将脸部三角化，然后利用变形算法( w a r p ) 进行配准。为 了达到实时的要求，一般应用中都会采用前两种方式。 与人脸检测类似，本文数据库的人脸图像都使用m b l b p + a d a b o o s t 方 法( z h a n g 等人，2 0 0 7 ) 进行眼睛检测，然后根据双眼坐标进行人脸配准的。 2 3人脸识别 人脸识别算法是人脸识别技术中最核心的部分，它直接影响人脸识别的性 能。经过几十年的发展，有效的人脸识别算法数目繁多。下面介绍各种人脸识别 技术的发展历程和优缺点。 早期的人脸识别算法主要基于几何特征或模板匹配。基于几何特征的 人脸识别的特征提取以人脸面部特征点( 如：眼睛、眉毛、鼻子和嘴) 的形 状和几何关系为基础。( k a n a d e ，1 9 7 4 ) 提出了基于距离比例进行特征提取的方 法。( b r u n e l l i 和p o g g i o ，1 9 9 3 ) 通过测量眼睛和鼻子的长和宽、嘴的位置以及下颚的 形状提取特征。基于几何特征的人脸识别算法的显著优点是简单、快速，缺点是 可靠性不足。基于模板匹配的人脸识别的代表工作是( b r u n e l l i 和p o g g i o ，1 9 9 3 ) 所 提出的基于局部特征模板匹配的算法。他们首先利用积分投影法确定面部特征 点，提取局部特征的模板，然后进行局部模板匹配，计算相关系数进行分类。模 板匹配方法利用了相关性信息，对光照、旋转和表情变化比较敏感。 基于统计模型的方法是近年来人脸识别研究工作的主流。其中主成份分 析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 方法、线性判别分析( l i n e a rd i s c r i m i n a t i v ea n a l y s i s 。l d a ) 方法、贝叶斯( b a y e s i a n ) 方法、独立元分析( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ，i c a ) 方法、弹性图匹配技术( e l a s t i cb u n c hg r a p hm a t c h i n g ，e b g m ) 、局部特征分析( l o c a lf e a t u r ea n a l y s i s ，l f a ) 、a d a b o o s t 组合分类 器、m o r p h a b l em o d e l 方法是最具代表性的几类方法： 1 主成份分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 。( t u r k 和p e n t l a n d ，1 9 9 1 b ) 首先把p c a 用于人脸识别，并且引入了“e i g e nf a c e ”的概念。p c a 在低维子 第2 章人脸识别综述 空间内最优地表示了高维样本数据集。( s c h 6 1 k o p f 等人，1 9 9 9 ) $ l j 用k e r n e l 方 法对p c a 进行了扩展，h i j k e r n e lp c a ( k p c a ) ； 2 线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 。由于p c a 没有考虑 数据的类别信息，而l d a 以f i s h e r 准则的为理论基础，使样本在所生成 的子空间中类间散度最大同时类内散度最小。( b e l h u m e u r 等人，1 9 9 6 ) 使 用p c a + l d a 的方法得到f i s h e r 脸，成为了人脸识别早期的标志性算法。 3 贝叶斯( b a y e s i a n ) 方法。( m o g h a d d a m 等人，2 0 0 0 ) 提出了一个人脸识别贝叶 斯框架，把相同人多幅图像之间的差别视为类内差，把不同人的人脸图像 的差别视为类间差别，两张图象的相似度可以表示为它们之间的差属于类 内差别的概率。 4 独立主元分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 。i c a 的思