（信息与通信工程专业论文）统计人脸识别及脸部特征检测.pdf

摘要 人脸识别是模式识别与人工智能的研究热点之一。在生物特征识别中，人脸识别占有 极为重要的地位。它在访问控制、司法应用、电子商务和视频监控等领域都有广泛的应用。 人脸识别的过程主要分为三个阶段，即预处理、特征提取、分类。随具体应用的不同，预处 理的方法和难度也会有所不同，特征提取是识月、l 过程的核g ，特征的有效性直接影响到分类 的速度和识别的性能。本文主要从统计模式识别的角度出发，来研究人脸图像的特征提取问 题。它可以分为4 部分：基于统计表征的特征提取；基于统计辨别的特征提取：非线性特征 提取；芟换域特征提取。论文的最后还研究了简单背景、突出人脸的脸部特征检测问题。 在基于统计表征的人脸识别方西，本文骤确研究了类均值脸的识别性能，无论是数值 计算还是识别性能，都具有较好的稳定性。并且发现均值p c a 可以用较少的特征达到传统 p c a 的水平。在图像的傅立叶变换域，我们也进一步发现对于姿态变化，幅值谱可以改进识 别性能；而对于光照变化，则无此效果。训练样本的缺乏可以通过内插操作部分地解决，我 们提出一种简单的内插方法，在扩展训练集下，识别性能有所改进。我们还研究了均值p c a 和n f l 结合的情况，一般情况下，均值p c a 可以获得与传统p c a 类似的性能。p c a 是基于二 阶统计的，是一种解相关操作，而i c a 进一步去除了像素的高阶相关。在特征脸空间上的 1 e a 可以得到更优的识剐性能，但由于算法的原因，又带来了计算的不稳定性。 p c a 、i c a 算法并不是面向识别分粪的，l d a 是在类内散布s 。最小、而类间散布s 最大 原则下建立起来的基于统计辨别的方法。小训练集问题是l d a 算法的根本弱点。我们发展了 现有的解决方法，发现不但瓯的零空问对辨别有用，其非零空间也有辨别信息，咒亦然。 辨别空翔的获得由同步对角化完成，其顺序决定着s 。、最辨别信息的保留程度。另一个解 决方案就是数据先在p c a 空阃降维后，再进行辨别分析。线性辨别空问是非正交的，特征之 间有信息冗余，事实证明，正交空阅更有利于识别。本文提出一个简捷的正交空间计算方法 一一正交分量辨别分析( o c d a ) ，它没有增加特征维数，也没有明显增加计算量，却提高了 识别率。另外，我们也率先研究了独立分量空间l d a 的识别性能。 在核函数的辅助下，p c a 和l d a 都可以扩展到非线性领域。本文采用多项式核函数。非 线性特征一般可以获得更优的识别性能我们研究了核p c a 和核辨别分析在s 州分类器下的 识别问题，获得了很好的识别效果。s v m 的性能一般优于最近邻分类器。 g a b o r 小波变换可以提供图像的冗余表示。本文首先回顾了g a b o r 小波编码的一些问题， 然后探讨了空频域采样的情况。针对g f c 方法的均匀下采样模式，我们认为不同频带的辨别 信息是不同的，低频分量中较丰富，而高频分量中较少。基于这种考虑，提出一种非均匀采 样模式，其优越性为识别结果所证明。传统的e g m 算法基于整张脸，我们提出一种基于局部 特征( 包括眼、鼻、嘴、内脸) 的联合e g m 算法，既避免了e b g m 的特征点定位问题，又为 不同的特征提供了不同的权重，同时基本没有增加运算量。 虽然很多单一分类器可蚍取碍不错的识剐性能，但还没有哪个分类器具有明显的优势， 这就为分类器组合提供了潜在的可能。我们选用了4 种单一分类器进行组合实验，在多数投 票和b o r d a 计教规则下，识别率明显提高。 人脸辁疆q 是人脸识剐的首要任务。本文初步研究了简单背景的单人硷检湔问题。这种 检测要求定位出脸部特征的准确位置扫脸部边缘，为归一化配准和人脸识剥做准备。我们提 出了一种基于f r a b o r 变卓是的多分辨人眼检测方法。另外，用g a b o r 变换加速概率视觉学习 ( p v l ) 算法进行左眼检测，利用先验知识和p v l 算法定位出右眼和鼻子，利用几何拓扑关 系和灰度投影得到嘴的位置。然后由这些脸部特征的位置给出a c m 模型的初始位置，并在人 脸边缘形状的限制下定位出有意义的边缘，这种方法称为统计限制的a c m 算法( s c a c m ) 。实 验表明，s c a c m 的结果要比a c m 的更容易为人接受。 关键词：模式识别人脸识别统计表征统计辨别核函数g a b o r 变换分类器组合 人脸检测与定位统计限制a c m 模型 i l a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g y ( f r t ) i se m e r g i n ga sa t a c t i v er e s e a r c ha r e ai nt h ef i e l do f p a l _ t e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e a sab i o m e t r i ct e c h n o l o g y , f r th a sn u m e r o u s a p p l i c a t i o n ss u c ha sa c c e s sc o n t r o l ，1 a we n f o r c e m e n t ，e - c o m m e r c e ，v i d e os u r v e i l l a n c ea n ds oo n t h ep r o c e s so ff a c e r e c o g n i t i o n c a nb ed i v i d e di n t ot h r e e s t e p s ，i e ，p r e p r o c e s s i n g ，f e a t u r e e x t r a c t i o n , a n dc l a s s i f i c a t i o n w i t hd i f f e r e n ta p p l i c a t i o ne n v i r o n m e n t ，d i f f e r e n t p r e p r o c e s s i n g m e t h o ds h o u l db ea d o p t e d ，t h ec o r r e s p o n d i n ga l g o r i t h m i cd i f f i c u l t i e s w i l l c h a n g ea c c o r d i n g l y f e a t u r ee x t r a c t i o ni st h ec o r eo f r e c o g n i t i o nt a s k ，w h i c hd i r e c t l yi m p a c to nc l a s s i f i c a t i o nv e l o c i t y a n dr e c o g n i t i o na b i l i t y i nt h i st h e s i s ，o nt h ev i e w p o i n to fs t a t i s t i c a lp a t t e r nr e c o g n i t i o n 。t h ef a c e i m a g e s f e a t u r ee x t r a c t i o np r o b l e mi sm a i n l ys t u d i e d ，w h i c ht a i lb ed i v i d e di n t of o u rp a r t s ；i e ， f e a t u r ee x t r a c t i o nb a s e do ns t a t i s t i c a lr e p r e s e n t a t i o n ，o ns t a t i s t i c a ld i s c r i m i n a t i o n ，o nn o n l i n e a r m e t h o d s ，a n do nt r a n s f o r m e dd o r a a i n s i nt h el a s t ，w eh a v ea l s os t u d i e df a c i a if e a t u r ed e t e c t i o n u n d e rs i m p l eb a c k g r o u n d i nt h ep a r to fs t a t i s t i c a l r e p r e s e n t a t i o n ，t h er e c o g n i t i o na b i l i t y o fc l a s s - m e a n v a l u ef a c ei s r e s e a r c h e d d e f i n i t e l y , w h i c h h a sag o o dc o m p u t a t i o n a l s t a b i l i t y w e a l s o f i n dt h a t p r i n c i p a l c o m p o n e n ta n a l y s i s ( p c a ) o nc l a s s - m e a n v a l u e ( m p c a ) c a l lg e tc o m p a r a b l ep e r f o r m a n c ew i t h t r a d i t i o n a lp c a i nf o u r i e rd o m a i n ，a m p l i t u d es p e c t r u mc a n i m p r o v er e c o g n i t i o np e r f o r m a n c e f o r p o s ev a r i e t yb u ti l i n m i n a f i o n t h ed e f i c i e n c yo ft r a i ns a m p l ec a nb ep a r t l ys o l v e db yp i x e l i n t e r p o l a t i o n w ep u tf o r w a r d as a m p l ei n t e r p o l a t i o nm e t h o d ，w h i c hc a ni m p r o v er e c o g n i t i o nr a t e w ea l s op e r f o r mn f lm e t h o do nm p c ae i g e n s p a c e ，a n do b t a i nt h es a m ep e r f o r m a n c eu n d e r m u c hl e s sf e a t u r e s p c ar e m o v e st h es e c o n do r d e rc o r r e l a t i o n sw i t h i n p i x e l s ，f u r t h e r m o r e ， i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) r e m o v e st h eh i g h e ro r d e rc o r r e l a t i o n s t h ei c ao f e i g e n f a c ec a na c h i e v eb e t t e re f f e c t ，b u tb r i n gi n t ot h ec o m p u t a t i o n a li n s t a b i l i t ya g a i n n e i t h e rp c an o ri c ai sf o rt h ep u r p o s eo fc l a s s i f i c a t i o n l i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) i s e s t a b l i s h e d b ym i n i m i z i n g w i t h i n - c l a s s s c a r e rm a t r i x s 。a n dm a x i m i z i n g b e t w e e n - c l a s ss c a t t e rm a t r i x s 6 t h es m a l ls a m p l es i z ep r o b l e mi st h eu n d e r l y i n gw e a k n e s so f l d a sw eh a v es t u d i e dt h ec u r r e n tr e s o l v i n gs t r a t e g yd e e p l y , a n df i n dt h a t , n o to n l yt h e s 。a n d s 6 sn u l ls p a c e ，b u ta l s oi t sc o m p l e m e n t a r ys p a c ei su s e f u l t h eo r t h o n o r m a le i g e n s p a c e sa r ei n f a v o ro ff e a t u r ee x t r a c t i o nc o m p a r i n gw i t hn o n o r t h n o r m a lo n e s w jh a v ed e v e l o p e dac o n c i s e c o m p u t a t i o nm e t h o d o r t h o n o r m a lc o m p o n e n td i s c r i m i n a n ta n a l y s i s ( o c d a ) ，w h i c hd o e s n o tj n c r e a s et h ed i m e n s i o no ff e a t u r ea n dc o m p u t a t i o n a lc o s t 。b u ti m p r o v er e c o g n i t i o nr a t e o b v i o u s l y i na d d i t i o n w eh a v ef i r s t l y s t u d i e dt h er e c o g n i t i o np e r f o r m a n c eo fl d ai nt h e i n d e p e n d e n tc o m p o n e n ts u b s p a c e w i t ht h eh e l po fk e m e lf u n o t i o n a 1 1t h ep c aa n dl d ac a r lb ee x p a n d e dt on o n l i n e a rf i e l d i n t h i st h e s i s p o l y n o m i a lf u n c t i o ni s a d o p t e d t h ee x p e r i m e n ts h o w st h a tk e r n e lp c aa n dk e r n e l l d ac a no b t a i nb e t t e rp e r f o r m a n c ew i t l ls u p p o r tv e c t o rm a c h i n et h a nn e a r e s tn e i g h b o rc l a s s i f i e r g a b o rw a v e l e t sc a ng i v ei m a g er e d u n d a n t r e p r e s e n t a t i o nw eh a v er e v i e w e d g a b o rw a v e l e t s a p p l i c a t i o no ni m a g ec o d i n g ，t h e nd i s c u s s e dt h es a m p l i n gq u e s t i o ni ns p a c e - 丹e q u e n c yd o m a i n i n a l l u s i o nt ot h eu n i f o r md o w n - s a m p l i n gm o d eo fo a b o rf e a t u r ec l a s s i f i e r ( g f c ) m e t h o d ，w ep u t i f o r w a r dan o n u n i f o r mm o d e 。w h i c hc a l le n h a n t ec o r r e c tr a t eo p p o s i t et ou n i f o mo n e t r a d i t i o n a l e g m a l g o r i t h mi so n l yb a s e do nw h o l ef a c e ，s ow ec a na m e l i o r a t ei tw i t hl o c a lf a c i a lf e a t u r e s s u c ha se y e ，n o s e ，m o u t h ，i n t e r n a lf a c e ，a n dd e v e l o pau n i t e da l g o r i t h m ，w h i c hn o to n l ya v o i d l o c a l i z i n gf e a t u r ep o i n ti ns o m e o t h e rm e t h o d ( e g e b g m ) ，b u ta l s of u r n i s hd i f f e r e n tw e i g h tv a l u e f o re a c hf e a t u r e t h ei m p r o v e de g m ( f e a t u r ee g m ，o rf e g m ) d o e s n o ti n c r e a s ec o m p u t a t i o n a l c o s to b v i o u s l y a l t h o u 9 1 1m a n ys i n g l ec l a s s i f i e r sh a v eg o o dr e c o g n i t i o np e r f o r m a n c e ，n o n eo ft h e mh a sa n o b v i o u s a d v a n t a g eo v e ro t h e r s ，w h i c hp r o v i d e st h ep o s s i b i l i t yo f c l a s s i f i e rc o m b i n a t i o n w es e l e c t f o u rs i n g l ec l a s s i f i e r st oi m p l e m e n tc o m b i n a t i o n e x p e r i m e n t u n d e rt h ep l u r a l i t yr u l ea n db o r d a r u l e ，c o r r e c tr e c o g n i t i o nr a t eh a sb e e ni m p r o v e do b v i o u s l y f a c ed e t e c t i o ni sp r i m a r ya n dn e c e s s a r yb e f o r ef a c er e c o g n i t i o n f o rt h es a k eo ff a c ei m a g e n o r m a l i z a t i o n ，t h i st h e s i sh a sm a i n l ys t u d i e ds i n g l ef a c ed e t e c t i o np r o b l e mo ns i m p l eb a c k g r o u n d am u l t i r e s o l u t i o ne y ed e t e c t i o nm e t l l o di s p r o p o s e d f u r t h e r m o r e w ep u tf o r w a r dah i e r a r c h i c a l f a c i a lf e a t u r ed e t e c t i o nm e t h o d f i r s t l y , w ea c c e l e r a t ep v l a l g o r i t h mt od e t e c tl e f te y eb yg a b o r t r a n s f o r m s s e c o n d l y , w e l o c a l i z er i g h te y ea n dn o s ew i t hap r i o r k n o w l e d g e a n d p v l t h i r d l y , w e g e tm o u t hp o s i t i o nb yu s eo fg e o m e t r i ct o p o l o g ya n dg r a yl e v e lp r o j e c t i n g c o n s e q u e n t l yw ec a n g i v et h ei n i t i a lp o s i t i o no fa c m s ，a n df i n ds i g n i f i c a t i v ei n t e r n a lf a c eb o u n d a r yo nt h er e s t r i c to f b o u n d a r ys h a p e ，w h i c hi sn a m e ds t a t i s t i c a lc o n s t r a i n ta c m s ( s c a c m ) e x p e r i m e n ts h o w st h a t ， t h er e s u l tf r o ms c a c mi sm o r ef a m i l i a rt h a nf r o ma c m 。 k e yw o r d s ：p a t t e r nr e c o g n i t i o n f a c er e c o g n i t i o ns t a t i s t i c a lr e p r e s e n t a t i o ns t a t i s t i c a l d i s c r i m i n a t i o nk e r n e lf u n c t i o ng a b o rt r a n s f o r mc ：l a s s i f i e rc o m b i n a t i o n f a c ed e t e c t i o ns t a t i s t i c a lc o n s t r a i n ta c m s i v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 髋蝼轹埠日期：型 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：二警导师签名：拗日期： 第一章绪论 1 ，1 研究背景和意义 日常生活中，人类每时每刻都通过感官自然而然地从外界获取想要的信息。这些信息中 有大约8 0 是通过视觉得到的，因此，视觉信息处理在现代人工智能技术中占有极为重要 的地位 7 】。d m a r r 在2 0 世纪8 0 年代初提出的视觉计算理论认为，视觉信息处理必须在不 同层面上a n 以理解，并且每层可以分解成一组相对独立的功能模块 8 】。从工程的角度，计 算机视觉可以分为六个部分，即感觉、预处理、分割、描述、识别、理解 7 】 6 】 9 】，识别属 于中层视觉。生物特征识别( b i o m e t r i c s ) 是模式识别中非常活跃的部分，其含义就是根据 不同人之间身体的( p h y s i c a l ) 或行为的( b e h a v i o r a l ) 特征的独特性，来唯一地把未知身份 识别出来。身体特征包括指纹、手、视网膜、虹膜、人脸等；行为特征包括签名( s i g n a t u r e ) 、 声音、步态( g a i t ) 等 i o 。有的识别应用是几种特征的结合，如说话人识别可以结合语音 和人脸两个特征。如果仅从正确性考虑，视网膜和虹膜的性能最好，但数据提取的限制影响 了它们的应用范围。人脸数据的提取方式多种多样，既可取静态图像，也可取视频序列背 景还可以变化。人脸数据的提取对设备也没有特殊要求，既可对真人拍照或摄像，也可从照 片扫描。更为重要的是人脸识g u 和人类通常的识别相一致，更易被接受。因此，人脸识别及 其相关技术的应用前景是最被看好的。生物特征识别在国外发展很快 1 3 1 5 】，我国截止2 0 0 2 年也已举行了三届生物特征识别研讨会( 1 8 j 。 人脸识别是生物特征识别的重要组成部分。】9 9 2 年，s a m a l 总结了早期的人脸识别方法 1 9 。后来，v a l e n t i n 讨论了人脸识别的神经网络模型1 2 0 。c h e l l a p p a 主要从工程应用方面 对人脸识别进行了评述 2 1 1 ，而从不同角度出发的综述文章还有 2 2 2 4 。两个有关人脸识别 的国际会议a f g r 和a v b p a 的出现，充分说明了人脸识别的重要性。t e e e 模式分析与机 器智能( p a m i ) 协会在1 9 9 7 年7 月出版了有关人脸和手势识别的专刊，d a u g m a n 这样写道 “在未来的机器智能领域。我们将发现一个有趣的现象，即为建立具有类似人类外貌、表情、 手势等特征的人机界面所作出的努力，将最终导致我们可以和机器随心所欲地交流”【2 5 。 人脸识别技术的发展，将给人类的生活质量带来很大的改善。无论是a t m 取款，还是 计算机登录，或者进出机场、车站、海关等，都无须输入密码或出示票据。因为每个人的人 脸图像都被拍摄下来作为唯一性的身份判据，这样就省去了记忆无聊的字符密码和携带各种 第一章绪论 烦琐的车票、证件等。从目前来看，人脸识别的应用可分为如下几类： 访问控制。在安全性要求较高的地方如政府、医院，或某些公共场所，可以建立 无门卫的门禁系统。对于来访者，可以通过人脸识别系统进行验证。在登录网 络或计算机时，可以用人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ，f r t ) 代替 口令的输入，这样就不用担心口令的丢失、忘记或被窃取，从而可以增加重要 文件的安全性。访问控制通常是一对一的验证，图像质量可控。 司法应用。最常见的是嫌犯( m u gs h o t ) 识别，基本方法是对比目标特征和数据 库存贮特征的相似性。目标图像的自然属性是关键的，且决定着整个过程的困 难程度。比如，有时候目标图像仅是通过目击证人的口头描述而勾勒出来的， 这显然不能和实拍照片相比。其他类似的应用有驾照、护照等的识别。人脸识 别可以大大提高司法部门的效率。司法应用通常是一对多的识别，图像质量 般情况下较好。 电子商务。人脸识别在电子商务中也有重要的应用。在在线金融、贸易活动中， 人脸识别可以提供客户的身份认证，并保证商业活动无拒付地良性运转。这对 于交易双方、银行都是很方便的，因为“n op i nt om m e m b e r n op i nt of o r g e t ”。 电子商务通常是一对一验证，图像质量较好。 视频监控。监控一般是在当事入不知道的情况下进行的。利用人脸识别技术，监 控者可以从大街上或进入大楼、机场的人群中找到自己要找的人。监控通常是 一对多，或多对多的识别。图像质量是不可控的，并且一副图像中存在多个人 脸，具有姿态、视角、尺度、光照、遮挡等宽范围的变化。对比人脸识别，其 他的生物特征识别技术很难在监控领域得到应用。 人脸识别的研究已有二、三十年了，人们已提出了很多成熟、高效的识别算法。这就为 其工程应用提供了强有力的后盾。2 0 0 0 年，全球人脸识别系统的销售额只有1 亿美元【2 6 】， 自从“9 1 1 ”事件以来。世界上对人脸识别系统的需求有了明显的增长。目前世界上最有名 的识别系统为v i s i o n i c s 公司的“f a c e i t ”系统 2 7 ，在活动场景( 人和照相机都是活动的) 下，该系统的识别率仅为5 0 ，可控条件下，识别率可达8 0 以上。在中国，中科院计算 所高文教授主持的8 6 3 项目“面像检测与识别核心技术”通过鉴定。该系统会自动在人脸上 选取1 0 3 个点，然后通过分析面部皮肤反射属性、三维结构等特征进行识别，静态场景下识 别准确率达到9 6 5 2 5 0 】。中科院自动化所和微软亚洲研究院也在进行这方面的研究 【2 4 2 2 5 1 。 2 东南大学博士学位论文 1 2 人脸识别的生理物理学提示 人自身进行人脸识别是简单而又自然的，但计算机识别就困难得多。对比于人类识别， 机器识别的优点是可以处理大量的人脸图像。研究人脸识别的生理物理学特性可以为f r t 的发展提供帮助。人类的识别能力有一些有意思的特点，如人类对不熟悉的人脸识别能力较 f k i 2 8 ；婴儿的识别主要是利用衣着、姿态等，长大后则转化为从入脸来识别。运动信息在 人脸识别中是关键的，但在空间反向的视频序列中，人类对性别、身份的判断力降低；在时 间反向时，性别判断就会出现问题 2 9 。 从生理物理学中的一些现象和实验结果来看，人脸识别和普通的目标识别( o b j e c t r e c o g n i t i o n ) 不n 2 u 2 a ，具体表现在：1 构造效应( c o n f i g u r ee f f e c t ) 的影响。每一个 人脸的空间构造都具有某种和谐性，其中的任何变化都可以感受到，面目标识别不存在这种 情况。2 识别的信息。人脸识别采用全局表示，或全局与局部的联合表示。目标识别则基 于局部差异的位置和自然属性。3 描述的不同。通常对人脸进行准确的语言描述是非常困 难的，而描述某个物体，就可以较容易地抓住本质特征。4 光照方向的敏感性。比如，对 于下方光照，人脸识别变得很难。光照变化对其他物体识别影响不明显。5 测量( m e t r i c ) 变化。比如拉远人跟和鼻子的距离会影响人脸识别的正确性，而物体的测量变化基本不影响 分类。6 面内和面外旋转。人脸识别较明显地受到面内、面外旋转的影响，而目标识别则 无此限制。总之，人脸识别是不同于目标识别的一个专门的过程。 生理物理学和神经生理学可以给机器人脸识别提供有益的启示： 人脸识别是全局特征和局部特征相结合的结果。由全局到局部相当于一个由粗 到精的过程。脸部特征对识别的重要程度是不同的，眼睛、人脸轮廓最具有辨 剐能力。某些审美观点如美丽、魅力等也会对识别产生影响【2 1 】。 空间频率分析。有研究表明，针对不同的识别任务，低频和高频分量有不同的 作用。低频分量主要提供图像的全局描述，高频分量主要编码图像的细节。 光照( i l l u m i n a t i o n ) 、姿态( p o s e ) 的变化是人脸识别的两大难点。 1 3 人脸处理的范畴 在早期的人脸识别研究中，基于曲线( c u r v e b a s e d ) 的侧影( p r o f i l e ) 图像处理比较多 3 0 1 9 。目前，主流的研究方式是基于图像( i m a g e - b a s e d ) 的。人脸处理的研究主要可分 3 第一章绪论 为以下几个领域。 人脸识别。所谓识别( r e c o g n i t i o n i d e n t i f i c a t i o n ) 就是，对于检测脸，通过某种 规则计算模板库中所有脸与之的相似性。相似性最高的模板即为其身份。这是 典型的一对多比较。 士 人脸验证。所谓验证( a u t h e n t i c a t i o n v e r i f i c a t i o n ) 就是，检测脸事先给定一个 身份，只需将相应身份的模板和检测脸比较。如果相似度在接受范围内，则验 证通过，否则拒绝 3 1 】。这是典型的一对一比较。 士 性别、年龄、种族等识别。 士 人脸跟踪。它包括头部跟踪和脸部特征跟踪。头部具有相对于背景的运动，而 脸部特征如眨眼、唇动等是相对于头部的运动。在实时人脸系统中，人脸的正 确跟踪是前提 3 2 】。 z - 人脸表情分析。脸部表情( e x p r e s s i o n ) 反映的不仅是情感，还包括内心活动、 社会影响和生理信号 3 3 。情感识别( e m o t i o nr e c o g n i t i o n ) 只是表情识别的一 部分目前大部分的表情分析方法属于情感分类 3 4 1 8 8 。一种真正描述脸部 表情的系统是f a c s ( f a c i a l a c t i o nc o d i n gs y s t e m ) 【3 5 3 6 。 - a - 人脸动画。人脸动画( a n i m a t i o n ) 就是通过视频、音频的手段模拟人脸肌肉 的运动和脸部表情的变化。m p e g - 4 中定义了6 8 个人脸动画参数( f a p ) ，每 一个参数表征了特征点的归一化运动，所有6 8 个参数就制造出一个有意义的 表情 3 8 。人脸动画技术的一个目标就是在网络用户之间或人机之间建立一个 虚拟现实的交流环境 3 9 1 1 4 0 1 。 1 4 如何进行人脸识别? c h e l l a p p a 给出的人脸识别定义是，给定静态或视频图像，将图像中的一个或多个人脸 和存贮的人脸模板库进行比对，以确定出图像中各个人脸的身份 2 1 。输入图像的质量千差 万别，识别之前一般都需进行预处理，然后将人脸从背景中分割出来，否则背景的差异对识 别效果影响很大。一般地，一个人脸识别系统包括图像输入、预处理、人脸检测分割、特 征提取、分类等五部分。 4 东南大学博士学位论文 1 4 1 人脸的图像表示 计算机处理的图像是以数字形式表示的。如果仅从识别的角度出发，我们1 希望数字图像 能够尽可能地保留原图像的信息，但在实践中，由于场合的不同，输入图像保留的信息是不 一样的。灰度图像失去了颜色信息；二维图像则失去了深度等三维信息；红外图像仅和热辐 射有关，分辨率太低；s k e t c h 图像则失去了纹理信息；上述几种图像都没有运动信息。除了 图像形态，输入设备也不尽相同，有的图像是由c c d 摄像头拍摄的，有的则是照片扫描或 报纸扫描，还有可能是在w e b 上下载的压缩图像，等等。由于应用环境的不同，所得图像 的性质也是不同的，这实际上会影响到以后提取的特征也有所不同。本论文主要是在二维灰 度( 2 di n t e n s i t y ) 静态图像上进行人脸识别的研究。 1 4 2 预处理 预处理的执行与否完全决定于图像的质量和研究的问题。如果图像不清晰，一般改善的 方法有直方图均衡、图像锐化等。如果需要提取不同的频带信息，则进行相应的低通、带通 或高通滤波。图像的边缘、梯度信息的提取，消除照相机位置、方向的影响和相机抖动，某 些背景的去除等也属于预处理操作。背景的去除是必要的，否则人脸识g q 将不是“p u r e ”人 脸识别 4 l 】。 有时候，由于研究的需要，还对图像进行人为处理，如剪切、配准( r e g i s t r a t i o n ) 、对 齐( a l i g n m e n t ) 等。 1 4 3 人脸检测与分割 人脸检测是人脸识别系统的关键部分，检测的成功与否或检测的准确性将直接影响系统 的性能。人脸检测一股可分为复杂背景和简单背景两类。监控、跟踪等主要在复杂背景下， 而访问控制、证照管理等是在简单背景下。人脸检测的研究方兴未艾 1 9 9 1 1 2 0 0 。 由于复杂背景下的人脸检测是粗糙的，并且合适的人脸模板库是很难建立的，因此目前 大多数的人脸识别算法要求的人脸检测是在简单背景下，这样当然要求定位出人脸边缘的精 确位置，定位出脸部特征如眼睛、眉毛、鼻子、嘴巴、耳朵等的准确位置或轮廓。人脸检测 的结果要受到人脸尺度( s c a l e ) 、方向( o r i e n t a t i o n ) 、姿态、表情、遮挡( o c c l u s i o n ) 、光照 条件等情况的影响。人脸检测可以看成人脸( f a c e ) 和非人脸( n o n f a c e ) 两类分类问题。非 5 第一章绪论 人脸类由于太复杂，以致很难用某种具体分布加以描述，一个解决的方法就是只取部分非人 脸( 如误检区域) ，采用多模高斯分布近似 2 0 1 】。本论文第七章将讨论简单背景突出单人 脸特征检测问题。 1 4 4 特征提取 一般情况下，人脸图像包括头发、肩、脖子和部分背景，这些非人脸的部分使得人脸识 别并不是严格意义上的“脸”识别 4 l 】，并且会对人脸识别的性能产生明显的影响。尽管如 此，区分人脸的“纯”度不是人脸识别的主要问题。人脸识别重在分类特征的提取，那么如 何表征人脸呢? 有人将入脸图像分为纹理( s h a p e f r e e ) 和形状( s h a p e ) 两部分，c r a w 认为 特征脸编码的纹理脸性能优于形状脸 4 2 ，l i u 则将纹理和形状作为两种特征进行联合辨别 4 3 。其难点在于纹理和形状的分离、归一化，c r a w 和l i u 采用人工的方式对齐特征点， l a n i t i s 则用a s m 模型半自动地搜索 2 1 l 】。 在特征提取之前，一个重要的问题就是尽可能地消除姿态、光照变化的影响。b e y m e r 提出用多子空间法表征姿态的变化 1 0 7 。b e n a r i e 采用三维频域表示v f r 模拟姿态变化 4 4 】，g a o 提出三维姿态复原技术 4 5 和线边缘映射( l e m ) 表示 4 q 。v e i 则采n - - 维图像 的直线分割降低姿态变化的影响【4 7 】。a d i r g 研究了几种表示的抗光照性能，认为g a b o r 变 换性能较优 4 8 。k e e 则用光度立体( p h o t o m e t r i cs t e r e o ) 模型来消除光照变化对识别的影响 4 9 。k o u z a n i 用e m b o s s i n g 算子去除光照变化，从多姿态图像中重建前向图像来消除姿态 变化 5 0 】。关于光照、姿态更多的讨论见于参考文献 3 】。特征提取主要可分为如下四类，除 此之外，其他的方法散见于文献5 1 - 5 4 等。 1 4 4 1 基于测量的特征提取 b r u n e l l i 总结了早期的基于测量( m e a s u r e m e n t ) 特征的识别方法 5 5 ，他从给定的人脸 图像中提取了3 5 个几何特征，包括：眼眉厚度和眼中心的垂直位置。左眼眉轮廓描 述子( 1 1 个数据) 。鼻子的垂直位置和宽度。嘴的垂直位置，宽、高及上、下唇的位 置。下巴形状( 1 1 个半径值) 。鼻子位置的人脸宽度。颧骨位置的人脸宽度。这 种方法的优点是识另速度非常快，但特征提取一般需人的参与。x j j a 的特征矢量包括几何 特征、眼域特征、脸轮廓和脸侧影四部分。侧影、轮廓和眼域分别由w a l s h 功率谱，归一化 傅立叶描述子和归一化矩来描述 5 6 】。虽然性能有所提高，但仍难真正做到自动特征提取。 6 东南大学博士学位论文 在主流的人脸识别算法中，基于测量的特征提取方法较少。 1 4 4 2 子空间法特征提取 基于主分量分析( p c a ) 的特征脸( e i g e n f a c e s ) 算法被认为是最为成功的人脸识别方 法之一 1 1 0 l l 1 1 】。输入样本的协方差矩阵的特征向量构成脸空间( f a c es p a c e ) ，