（计算机软件与理论专业论文）人脸验证算法的改进与研究.pdf

摘要 摘要 人脸验证是计算机识别领域非常活跃的研究课题，它包括三个主要技术环节，即预 处理、人脸特征提取和分类器设计。人脸特征提取又称为人脸表述，是在低维特征空间 内对原高维空间的人脸模式进行描述、建模，从而提取出有利于分类的低维特征。特征 提取是人脸验证的关键环节，也是主要难点所在，因此人脸特征提取技术一直是研究的 热点。 本文主要针对人脸特征提取技术进行研究，以基于客户相关的判别分析方法为主， 系统地研究了人脸验证算法，主要内容为： ( 1 ) 在基于客户相关的线性判别分析( c s l d a ) 方法的基础上进行改进，提出了一 种模块化2 d p c a 和c s l d a 方法相结合的人脸验证方法。c s l d a 方法将图像矩阵转化 为向量进行处理，数据维数很大，计算复杂，对图像整体处理没有考虑到图像的局部特 征。针对这些缺点，新方法从原始数据出发，对二维数据进行分块后采用2 d p c a 进行 特征抽取，能有效提取图像的局部特征，得到替代原始图像的低维的新模式。然后对新 模式施行c s l d a ，不仅考虑到了类内、类间的差异，弥补了p c a 的缺陷；还利用客户 相关子空间可以较好的描述不同个体人脸之间的差异性的优点，比传统的个体特征脸方 法有更好的判别能力。在人脸库上的实验结果表明，新方法在验证效果上优于c s l d a 方法。 ( 2 ) 在( 1 ) 基础的引导下，继续对引入核运算后的基于客户相关的非线性判别分析 ( c s k d a ) 方法进行改进，和模块化2 d p c a 相结合，提出了基于模块化2 d p c a 和c s k d a 的人脸验证方法，在人脸库上的实验结果表明新方法可以取得更好的验证结果。 ( 3 ) 研究核自适应算法。核运算的引入使得我们可以解决非线性的模式识别问题， 从而取得更好的效果，但核方法的优势往往取决于选取一个合适的核函数，一种可行的 办法就是根据数据自动的学习得到最合适的核函数。早期的核函数学习方法往往有一定 的局限性，比如对于确定的核函数，只能通过不断学习确定其参数得到最好的结果。本 文提出了基于核矩阵学习的人脸验证非线性算法，为了进一步减少计算量，使用改进的 准则函数，从而避免了对类内散布矩阵求逆。在人脸库上进行评价和测试的结果表明，经 过核矩阵学习算法后的人脸验证方法和原有非线性方法相比，在效果上有了提高至少是 不低于原有方法的验证率，可见使用核矩阵学习的人脸验证算法具有其可行性，即使使 用不同的参数也可以通过学习算法调整得到一个稳定的验证效果，大大节省了在原有非 线性方法中通过反复实验来选取参数的时间。 关键词：模式识别；人脸验证；特征提取；客户相关线性判别分析；客户相关核判别分 析；模块化2 d p c a ：核运算；核矩阵学习 a b s t r a c t a b s t r a c t 1 1 1 et e c h n o l o g yo ff a c ev e r i f i c a t i o ni sah o tt o p i ci nt h ea r e ao fp a t t e mr e c o g n i t i o n i t c o n t a i n st h r e em a i ns t e p s ：f a c ei m a g ep r e p r o c e s s i n g , f e a t u r ee x t r a c t i o na n dc l a s s i f i e rd e s i g n f a c ef e a t u r ee x t r a c t i o ni sa l s or e f e r r e dt o 嬲f a c er e p r e s e n t a t i o n t h eg o a li st om o d e lo r r e p r e s e n th i 曲d i m e n s i o nf a c ep a t t e r n si nl o wd i m e n s i o nf e a t u r es p a c es o 嬲t oe x t r a c tf a c e f e a t u r ew i t l ld i s c r i m i n a n tp o w e rf o rc l a s s i f i c a t i o n f e a t u r ee x t r a c t i o ni sak e ys t e pf o rf a c e v e r i f i c a t i o na n da l s oa st h ep r i m a r yd i f f i c u l t yi nf a c ev e r i f i c a t i o n ，s oi ti sah o t s p o ti nr e c e n t s t u d i e s t h et h e s i ss t u d i e st h et h e o r i e sa n dm e t h o d so ff e a t u r ee x t r a c t i o ni nf a c ev e r i f i c 撕o n f o c u s i n go nt h ec l i e n ts p e c i f i cd i s c r i m i n a n ta n a l y s i s n em a i np o i n t sa r e 舔f o l l o w s ： ( 1 ) a ni m p r o v e df a c ev e r i f c a t i o na l g o r i t h mi sp r o p o s e db a s e do nt h ec o m b i n a t i o no f m o d u l a r2 d p c aa n dc s l d ai n t h i sp a p e r f e a t u r ee x t r a c t i o no fc l i e n ts p e c i f i cl i n e a r d i s o r i m i n a n ta n a l y s i s ( c s l d a ) t r a n s f o r m sa l li m a g em a t r i xt oav e c t o rw h i c hc a u s e dg r e a t d i m e n s i o n a l i t ya n dc o m p u t a t i o n a lc o m p l e x i t y f u r t h e r m o r e ，t h el o c a lf e a t u r ei sn o tc o n s i d e r e d i i lc s l d a t h e nt h en e wm e t h o di ss t u d i e dt oa v o i dt h ed e f i c i e n c y t h ei n i t i a lf e a t u r e sa r e e x t r a c t e dw i t ht h eo r i g i n a li m a g e sw h i c ha r ed i v i d e di n t om o d u l a rs u b i m a g e s 1 1 l e2 d p c ai s p e r f o r m e dt og e tt h el o wd i m e n s i o n a lf e a t u r e sw h i c hc a nb ec o m p u t e dc o n v e n i e n t l y t h el o c a l f e a t u r e sa r ee x t r a c t e de f f i c i e n t l yu s i n gt h ep r o p o s e dn e wm e t h o d t h e nc s l d ai su t i l i z e do n t h en e wp a t t e mw h i c hi so b t a i n e dt h r o u g ht h em o d u l a r2 d p c at oe x t r a c tt h ef i n a lf e a t u r e s c o n t r a s t i n gw i t hp c a ，t h ed i s c r i m i n a n ti n f o r m a t i o no b t a i n e df r o mt h eb e t w e e n c l a s ss c a t t e r m a t r i xa n dw i t h i n c l a s ss c a t t e rm a t r i xa r ei n c l u d e du s i n gc s l d a m o r e o v e r , c l i e n ts p e c i f i c s u b s p a c ec o u l dd e s c r i b et h ed i v e r s i t yo ft h ed i f f e r e n tf a c eb e t t e ra n dh a sm o r er o b u s t d i s c r i m i n a n ti n f o r m a t i o nt h a nt h et r a d i t i o n a ll d a t h ee x p e r i m e n t a lr e s u l t so b t a i n e do nt h e f a c i a ld a t a b a s es h o wt h a tt h ev e r i f i c a t i o np e r f o r m a n c eo ft h en e wm e t h o di ss u p e r i o rt ot h a to f t h ep r i m a r ym e t h o dc s l d a ( 2 ) b yt h ei n d u c t i o no ft h e ( 1 ) ，a ni m p r o v e df a c ev e r i f i c a t i o na l g o r i t h mi sp r o p o s e db a s e d o nt h em o d u l a r2 d p c aa n dc s k d aw h i e hi n t r o d u c ek e m e lo p e r a t i o ni n t ot h e1 i n e a r d i s c r i m i n a n ta n a l y s i sm e t h o d t h ee x p e r i m e n t a lr e s u l t so b t a i n e do nt h ed a t a b a s es h o wt h e e f f e c t i v e n e s so ft h ep r o p o s e dm e t h o d ( 3 ) t h i sp a p e rr e s e a r c h e dt h ek e m e la d a p t i v el e a r n i n ga l g o r i t h m t h ek e m e lf u n c t i o ni s i n t r o d u c e dt os o l v et h en o n l i n e a rp a t t e r nr e c o g n i t i o np r o b l e mt h ea d v a n t a g eo fak e r n e l m e t h o do f t e nd e p e n d sc r i t i c a l l yo nap r o p e rc h o i c eo ft h ek e m e lf u n c t i o n ap r o m i s i n g a p p r o a c hi s t ol e a r nt h ek e m e lf r o md a t aa u t o m a t i c a l l y o v e rt h ep a s tf e wy e a r s ，s o m e m e t h o d sw h i c hh a v eb e e np r o p o s e dt ol e a r nt h ek e m e lh a v es o m el i m i t a t i o n s ：l e a r n i n gt h e p a r a m e t e r so fs o m ep r e s p e c i f i e dk e m e lf u n c t i o na n ds oo n i nt h i sp a p e r , t h en o n l i n e a rf a c e v e r i f i c a t i o nu s i n gl e a r n i n gt h ek e m e lm a t r i xi sp r o p o s e d an e wc r i t e r i o ni su s e di nt h en e w a l g o r i t h mt oa v o i di n v e r t i n gt h ep o s s i b l y s i n g u l a rw i t h i n - c l a s sw h i c hi sac o m p u t a t i o n a l p r o b l e mt h ee x p e r i m e n t a lr e s u l t so b t a i n e do nt h ef a c i a ld a t a b a s es h o wt h a tt h ev e r i f i c 撕o n p e r f o r m a n c eo ft h en e wm e t h o di ss u p e r i o rt ot h a to ft h ep r i m a r ym e t h o dc l i e n ts p e c i f i c k e m e ld i s c r i m i n a n ta n a l y s i s ( c s k d a ) t h em e t h o dc s k d an e e dt oc h o o s ea p r o p e rk e m e l f u n c t i o nt h r o u g hm a n ye x p e r i m e n t s ，w h i l et h en e wm e t h o dc o u l dl e a r nt h ek e r n e lf r o md a t a h a b s t r a c t a u t o m a t i c a l l vw h i c hc o u l ds a v eal o to f t i m ea n dh a v et h er o b u s tp e r f o r m a n c e k e y w o r d s ：p a t t e r nr e c o g n i t i o n ；f a c ev e r i f i c a t i o n ；f e a t u r ee x t r a c t i o n ；c l i e n ts p e c i f i cl i n e a r d i s c r i m i n a n ta n a l y s i s ；c l i e n ts p e c f i ck e r n e ld i s c r i m i n a n ta n a l y s i s ；m o d u l a r2 d p c a ；k e r n e l o p e r a t i o n ；l e a r n i n gt h ek e m e lm a t r i x i i i 独创性：声明 本人声明所呈交的学位论文是拳人在导师指导下进行的研究工 作及取得的研究成果尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签 名： 盘豆 日 期：o s 6 fg 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留，使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签 名： 导师签名： 第一章绪论 第一章绪论 这一章里，我们先介绍人脸识别技术的大致概况，包括由来、发展、现状，还介 绍了几个常用的人脸数据库，然后给出本文工作的内容，最后安排本文的后续章节。 1 1 引言 生物特征技术是为了进行身份验证而采用自动技术测量其身体的特征或是个人 的行为特点，并将这些特征点与数据库的模板数据进行比较，完成认证的一种解决方 案。人的生物特征是惟一的，生物特征识别技术的基本工作就是对这些基本的、可测 量或可自动识别和验证的生理特征进行统计分析。所有的工作大多进行了这样四个步 骤：图像获取、提取特征、比较和匹配。生物特征识别系统捕捉到生物特征的样品， 惟一的特征将会被提取并且被转化成数字的符号，接着这些符号被存成个人的特征模 板，这种模板可能会在识别系统中，也可能在各种各样的存储器中，人们同识别系统 进行交互，认证其身份，以确定匹配或不匹配i i j 。 指纹、人脸、声音、虹膜、视网膜、签名、掌纹、步态等特征都可被用来尝试进 行身份的鉴定研究。近年来随着人类社会对安全可靠性的需求的增加，对生物识别技 术的研究越来越受到广泛的关注。人脸识别是生物识别技术的重要课题，目前是一个 非常活跃的研究方向。由于每个人的生物特征具有其他人不同的唯一性和在一定时期 内不变韵稳定性，所以它相对传统的身份鉴别手段( 钥匙、证件、密码、智能卡等) 具有简便、经济、可靠、安全等优点1 2 1 。 人脸识别可以说是人们日常生活中最常用的身份认证手段，也是当前最热门的模 式识别研究课题之一。人脸识别就是通过与计算机相连的摄像头动态捕捉人的面部， 同时把捕捉到的人脸与预先录用的人员库存中的人脸进行比较识别。其他生物特征识 别方法都需要人的行为配合，而人脸识别不需要被动配合，可以用在某些隐蔽的场合。 因为人们对这种技术没有任何的排斥心理，所以从理论上讲，人脸识别可以称为一种 最友好的生物特征身份认证技术。但是人脸识别也有它的缺点：人脸的差异性并不是 很明显，识别率可能较低；对于双胞胎，人脸识别技术不能区分：人脸特征的持久性 差，如长胖、变瘦、长出胡须等；人脸的表情也是丰富多彩的；人脸识别受周围环境 影响较大。 当前，人脸识别技术被广泛的应用于公安( 罪犯识别等) 、安全验证系统、信用 卡系统、医学、档案管理、视频会议、人机交互系统等领域。除了应用意义外，人脸 识别技术还具有极其重要的理论研究价值。虽然人类在表情、年龄或发型等发生巨大 变化的情况下，可以毫不困难地由人脸检测识别出一个人来，但人脸是特殊的非刚体， 由于表情( 喜怒哀乐) 、位置、姿态( 正倦i 脸) 、光照、遮挡( 如眼睛、胡子) 等的复杂情 况，给人脸机器自动识别带来很大难度，要建立一个完全自动进行人脸识别技术的系 统非常困难，它涉及到计算机视觉和机器学习等领域的诸多知识，并与基于其它生物 江南大学硕士学位论文 特征的身份识别和计算机人机感知交互领域都有密切的联系。对人脸识别技术的研究 能够验证这些领域的研究成果，促进这些领域的发展。因此人脸识别技术对于其它相 关领域内的研究工作有重要的影响和意义l l 】。 从应用的角度来分，人脸识别包括两类：人脸身份识别：根据人脸图像识别人 物的身份，解决是谁的问题，是个一对多的匹配过程：人脸验证：判断图像中的人 脸是否是指定的人，解决是不是某人的问题，是一对一的匹配过程( 引。 特征提取是人脸身份识别和人脸验证的一个关键问题1 4 ，基本任务是如何从许多 特征中找出那些最有效的特征。人脸特征提取又称为人脸表述，是在低维特征空间内 对原高维人脸模式进行描述、建模的过程，目的是提取出有利于分类的低维特征。由 于在很多实际问题中常常不容易找到那些最重要的特征，或受条件限制不能对它们进 行测量，导致特征提取的任务复杂化而成为构造模式识别系统最困难的任务之一。 分类器设计是人脸识别的另一重要环节。在人脸识别中，使用最多的是最近邻分 类器和支持向量机，其他的还有贝叶斯分类器和神经网络分类器等。目前一般认为基 于统计的贝叶斯决策是评价特征描述的最好手段之一，而最近邻分类只是根据简单的 距离大小来决策的，不符合贝叶斯分类规则1 1 1 。 本文研究的是人脸验证中的特征提取，研究的意义主要体现在以下几个方面：人 脸特征提取技术是人脸验证的关键技术，直接影响验证系统的性能：人脸验证在安全 监控、视频会议、智能人机接口等方面有着广泛的应用前景；本文针对的虽然是人脸 验证中的特征提取问题，但是文中的特征提取方法和思路也可以推广应用于其他目标 识别问题。 随着模式识别、认知科学和计算机视觉理论的不断发展，众多学者对其进行了深 入的研究，提出了很多思路和算法，但仍然存在很多问题。如何结合现状系统地研究 这些问题，从而迸一步提高人脸验证特征提取算法的鲁棒性、有效性是本文的研究目 的。 1 2 人脸识别技术概述 1 2 1 人脸识别的发展 人脸识别的研究已经有很长的历史，早在1 9 世纪后期法国人g a l t o n 就曾对此问题 进行了研究p 】，他用一组数字代表不同的人脸侧面特征来实现对人脸侧面图像( p r o f i l e ) 的识别。一直到2 0 世纪9 0 年代以前，典型的人脸识别技术始终是用人脸t 面( f r o n t a l s i d e ) 或者侧面的特征点之间距离度量，而且早期的人脸识别多集中在对侧影图像的研 究。 h a r m o n 等人利用与g a h o n 类似的方法识别人脸【“】，他采用9 个基准点表征侧影并 在此基准点上导出一组特征，如基准点之间的距离和角度，由基准点形成的三角区域 的面积等，然后利用特征之间的归一化欧式距离进行识别。其后期的工作又增加了两 个基准点和一些新的特征，而且人脸侧影轮廓曲线可从侧影图像中的自动提取得到。 2 第一章绪论 k a u f m a n 和b r e e d i n g 也设计了一个对人脸侧影进行识别的系统，他们采用基于特征的 方法，其中特征为极坐标形式的自然相关函数的系数，同时对动量不变性特征也进行 了实验m 。b a y l o u 等人选择了1 0 个特征点对人脸侧影进行识别。w u 和h u a n g 则采用三 次b 样条函数抽取进行匹配识别悼j 。 由于侧影识别对获取图像的约束较多，人们逐渐转向对正面人脸的识别研究，人 脸正面图像包含了人脸更明显的特征。基于人脸拓扑的几何关系知识，可提取人脸的 直观特征：眼睛、眉毛、鼻子、嘴以及它们之间的关系。b l e d s o e 在六十年代最早提出 了一个基于人脸直观特征的半自动系统【9 l ，将一幅人脸图像看成一个矩阵，通过作矩 阵变换，可以提取人脸的全局识别特征。t u r k 和p e n t l a n d 提出了基于k l 变换的特征脸 方法b o - n 】，洪子泉和杨静宇认为图像的代数特征反映了图像的内在属性，提出了人脸 图像的奇异值特钳1 2 d q ，接着c h e n g 等提出了基于相似鉴别函数的人脸图像的特征提 取方法 1 5 - 1 6 ，l i u 等提出了基于最优鉴别准则抽取人脸图像的最优鉴别投影特征矢量 【1 7 1 。基于代数特征的人脸识别方法研究是人脸识别研究的主流1 1 8 - 3 0 。 近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法与代数特 征方法取得了新进展外，人工神经网络 3 1 - 3 3 】、小波变换1 3 4 - 3 6 1 在人脸识别研究中都得到 了很广泛的应用，出现了不少人脸识别的新方法【3 7 枷】。 1 2 2 人脸验证技术的现状 经过多年的研究，形成了人脸识别的几个主流研究方向：基于主元分析的特征脸 ( e i g e n f a e e ) 方法，基：于二f i s h e r 线性判别分析的f i s h e r 脸( f i s h e r f a c e ) 方法、弹性图匹配法 ( e l a s t i cg r a p hm a t c h i n g ) 及局部特征分析法( l f a ，l o c a lf e a t u r ea n a l y s i s ) 。特征脸方法 作为一种比较成功的人脸识别技术掀起了人脸识别研究的第二次高潮。f i s h e r 脸方法 在特征脸方法的基础上，引入类内共性和类间差异的分类信息，使得投影子空间适用 于分类问题。弹性图匹配法是一种解决脸像多姿态变化问题的基于局部信息的人脸识 别方法。局部特征分析方法考虑了面部局部特征的信息和它们之间的拓扑关系。 主成分分析方法( p c a , p r i n c i p a lc o m p o n e n ta n a l y s i s ) ，或者说k - l 变换( k a r h u n a n l o e v et r a n s f o r m ) 通过求解训练样本散布矩阵的特征值，给出一组数量远远小于样本空 间维数的正交基来表示训练样本张成的子空间。它没有考虑到类内、类间的差异，不 能获得很好的结果。l d a 方法的提出弥补了这个缺点，其子空间生成以基于f i s h e r 准 则的线性判别分析( f l d a , f i s h e r sl i n e a rd i s c r i m i n a t ea n a l y s i s ) 为理论基础，使样本 在所生成的子空间上类间散度最大，类内散度最小。b e l h u m e u r 等进一步发展了这种 算法，称为f i s h e r 脸方法。一些后续工作推进了f i s h e r 脸算法，如d i r e c tl d a ( d l d a ) 方法i 4 1 1 ，零空间法【4 2 1 等。近年来f i s h e r 脸又有了新的发展 4 3 4 5 1 ，这对模式识别有十分 重要的意义。开始非线性方法的研究后，引入了核运算，s c h o l k o p f t 4 6 l 和枷k a 【明分别 提出了基于核运算的核主成分分析和核线性判别分析( p c a 和l d a 的非线性推广) 。 以上介绍的方法在处理识别问题时，首先将图像矩阵转化为向量，然后进行线性 鉴别分析。由于图像向量维数较高，不仅会遇到小样本问题，耗费大量的时间，而且高维 3 江南大学硕士学位论文 特征向量会引起类内散布矩阵奇异性，从而导致计算最优鉴别矢量集困难。针对这一 问题，1 9 9 3 年l i u 等提出了一种新思路【1 7 】，基本思想是直接利用图像矩阵构造散布矩 阵，即引入2 d 方法；2 0 0 3 年y a n g 重新审视并改进了l i u 的方法【4 射，将该方法称为2 d p c a 方法，应用于重构取得了很好的效果。2 0 0 5 年c h e n 等对2 d p c a 推广提出了模块化 2 d p c a 方法 4 9 1 ，基本思想是对图像矩阵分块得到的子图像进行分析。 在人脸验证的应用中，为了取得更好的验证效果，1 9 9 9 年酗t t l e l 在f l d a 的基 础上引进了客户相关子空f 司( c l i e n ts p e c i f i c ) 的验证方法【弛5 4 1 ，不同类别得到不同的特 征投影向量，后来w h 和k i t t l e r 在此基础上引入等价的f i s h e r 准则，提出了一种改进 的方法p ，降低了计算复杂性，提高了验证性能。 1 3 人脸数据库 人脸识别的研究工作自2 0 世纪6 0 年代开始以来，经历了数十年的发展，已成为图 像分析和理解领域最热门的研究内容之一。目前，人脸识别技术已经从实验室中的原 型系统逐渐走向了商用，出现了大量的识别算法和若干商业系统。然而，人脸识别的研 究仍旧面临着巨大的挑战，人脸图像中姿态、光照、表情、饰物、背景、时间跨度等 因素的变化对人脸识别算法的鲁棒性有着负面的影响，一直是影响人脸识别技术进一 步实用化的主要障碍。多数人脸识别算法的研究、开发和测试需要更多的人脸图像来 克服上述障碍，主要包括两方面：人脸库所包含的人数，人脸库中每个人所具有的在 不同条件下的人脸图像数。 人脸识别和人脸验证的研究和开发需要建立人脸图像数据库，而且识别系统的性 能和人脸数据库的设计密切相关。开发一个在任意环境条件下都能够适用的人脸识别 系统是非常困难的，因此几乎所有的人脸识别技术研究都是在一定的人脸数据库上进 行瞪4 1 。 1 3 1 常用 睑数据库 自上世纪9 0 年代以来，研究人员针对不同的情况，建立了多个用于人脸识别研究 的人脸数据库。最常见的有以下几种： f e r e t 人脸数据库 f e r e t 人脸数据库是目前世界上最大的人脸数据库，它是美国国防部为了促进人 脸识别技术的研究和实用化，发起人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y , f e r e t ) 工程而建立的。f e a e t a 脸库包括一个通用的人脸库及一整套测试标准。该数据库中 人脸图像具有不同的视角( 姿态) 、光照和表情的变化，目前每两年一度的人脸识别竞 赛主要就是采用f e r e t 人脸库作为评测标准。与其他人脸数据库不同的是，该数据库 中每个人的人脸图像不仅包括视角、表情和光照的变化，而且还包括时间间隔的变化， 最长的时间间隔达三年之久。f e r e t 人脸库包括数千人的几万幅人脸图像，而且还在 不断扩充。由于f e r e t 人脸库中包含军人的照片，因而北美以外的国家很难获得1 5 ”。 o r l ( o l i v e t t ir e s c a r c hl a b o r a t o r y ) 人脸数据库 4 第一章绪论 o r l 人脸数据库是当前人脸识别研究中使用最多的人脸数据库之，可以从互联 网上免费获得0 a t t p ：w w w u kr e s e a r c ha r tc o m f a c e d a t a b a s eh n n l ) 。该数据库由4 0 个人的 4 0 0 幅人脸图像构成，图像的分辨率为9 2 1 1 2 ，2 5 6 灰度级。图卜1 是o r l 数据库中的 一些人脸图像： 人脸图像的面部 表情和细节均有 很大的变化，如 笑，不笑，睁眼， 闭眼，带眼镜不 带眼镜等：人脸 的姿态视角也有 很大的变化，其 深度旋转和平面 旋转最大选2 0 度i 人脸尺度晟 图卜10 r l 数据库中的圈像 f i g i - 1 i r m , g e s i n o r ld m a 多也有j 0 的变化川。 y a l e 人脸数据库 y a l e 人脸数据库也是人脸识别研究中常用的数据库，可以从互联网上免费获得 ( h t l v c v e y a l ee d u p r o j e “y a l e f a e e s ) 。图卜2 是y 龃e 数据库中的些人脸图像： y a l e 人脸 库主要是针对 光照和表情变 化的研究而建 立的。图像分辨 率为1 6 0 1 2 i ， 2 5 6 灰度级。图 像包括光照、表 情和细节的变 化，但视角和尺 度没有变化。 y 甜e 人脸库容 q 雪璺 6 食皇 圉卜2y a l e 数据库中的图像 f i g i - 2 i m a g e s i n y a l e d a t a b a s e 量较小，只包括1 1 人共1 6 5 幅人脸图像1 5 ”。 x m 2 v t s 人脸数据库 x m 2 v t s 人脸数据库是人脸验证常用的数据库图l 一3 是x m 2 v t s 数据库中的 些 脸图像； 江南大学硕士学位论文 该数据库包括2 9 5 人在4 个月时 间：j 4 次录制的人脸和语音数据。 每次采集都包括2 个头部旋转视频片 断和6 种不同语音视频片断。另外， 其中2 9 3 人的3 d 模型也是可以得到 的。该数据库主要针对人脸验证问题 定义了评价协议，因此更适合人脸验 证问题。 b a n c a 人脸数据库 图卜3 删2 v t s 数据库中的人脸图像 f i 9 1 - 3 i m a g e s i n x m 2 v t s d a t a b a s e 该数据库是欧洲b a n c a 计划的一部分，这个数据库包含j 4 种不同语言的人脸图 像，每种语言5 2 人( 2 6 男，2 6 女) ，对于每种语言的不同性别又分为两组，9 1 和窟2 。 在这个数据库中，每个人都是分1 2 次记录数据的，每次记录该人的1 0 幅图像，包含两 种类别的信息：一种是真正的客户信息，另一种是冒充他人的冒充者信息”q 。 b a n c a 数据库是一个可咀实现多模态识别的人脸库，需要定义3 个集合；评价集、 发展集和调谐集。当然也可只使用库中的人脸图像实现单模态的人脸验证，此时定义 两个几何评价集和发展集且这两个集台必须相互独立。 b a n c a 数据库定义了7 个人脸验证实验协议可是和x m 2 v t s 不同：b a n c a 数 据库定义了一个开集的验证协议，加入新的客户不需重新设计验证系统，而且使用相 同的特征空间和设计参数；而x m 2 v t s 数据库的验证协议是一个闭集的协议即不在 训练集中的人均为冒充者，客户者是固定的。 可见这个数据库无论是在人脸数目、规模还是协议方面都是比以上数据库都复杂 的一个数据库。 1 3 2 本文采用的人脸数据库 本文主要研究的是人脸验证中的特征提取问题所以主要选用x m 2 v t s 数据库 和b a n c a 数据库，这两个库均定义了验证协议：此外为了验证算法在人脸识别库上 的验证效果，还采用了用于人脸识别的o r l 数据库在此人脸库上需要自己定义 脸验证协议。 1 4 本文研究i 作概述 特征提取是人脸验证中一个至关重要的环节，一个人脸验证系统的识别准确率在 很大程度上取决于特征提取部分本文主要讨论人脸特征的提取与验证，主要的工作 可概括为如下几个方面： ( 1 ) 系统的总结了常用的人脸特征提取方法，井介绍了目前技术发展的现状和趋 势。 ( 2 ) 介绍了应用于人脸验证方面的基于客户相关的线性g i j s u 分析和非线性判别分 析并在多个数据库上进行实验，实验结果表明引入核技术后的验证效果优于线性方 第一章绪论 法。 ( 3 ) 详细叙述了作者提出的模块化2 d p c a 和客户相关方法相结合的人脸验证方 法，在人脸数据库上取得了良好的验证效果，并对实验结果进行分析。 ( 4 ) 通过学习核自适应算法，提出了人脸验证中的核矩阵学习算法，将核自适应 算法应用到了人脸验证算法中，并在人脸数据库上进行实验、分析和讨论。 1 5 本文内容安排 该论文分为如下几个部分 第一章：绪论。主要介绍人脸识别问题的提出、发展和技术现状，并简要介绍了 本文所使用的人脸数据库。 第二章：人脸特征提取方法综述。本章介绍了人脸识别中一些比较典型的特征提 取方法，全局特征提取采用了主成分分析、线性判别分析、独立元分析、核主成分分 析和核线性判别分析、二维子空间等方法。另外，还介绍了基于面部几何特征、基于 模板匹配、基于小波包分解、基于弹性图匹配等局部特征分析方法。 第三章：研究基于客户相关的人脸验证方法。这部分内容详细介绍了适用于人脸 验证问题的基于客户相关的线性判别分析和非线性判别分析方法。 第四章：研究二维方法和客户相关相结合的人脸验证新算法。 第五章：研究人脸验证中的核自适应学习算法，将核矩阵学习算法引入到人脸验 证中，并提出了人脸验证中的核矩阵学习算法。 第六章：对整个论文的研究和工作进行了总结，并指出了进一步的研究方向。 7 江南大学硕士学位论文 第二章人脸特征提取方法综述 2 1 引言 由图像或波形所获得的数据量是相当大的，为了有效地实现分类识别，就要对原 始数据进行变换，得到最能反映分类本质地特征，这就是特征提取的过程。 特征提取是模式识别中的一个关键问题，由于在很多实际问题中常常不容易找到 那些最重要的特征，或受条件限制不能对它们进行测量，这就使特征提取的任务复杂 化而成为构造模式识别系统最困难的任务之一。这个问题已经越来越受到人们的重 视。 特征提取的基本任务是如何从许多特征中找出那些最有效的特征1 4 1 。在样本数不 是很多的情况下，用很多特征进行分类器设计，无论从计算的复杂程度还是分类器性 能来看都是不适宜的。因此，如何把高维特征空间压缩到低维特征空间以便有效地设 计分类器就成为一个重要的课题。任何识别过程的第一步，不论由计算机还是由人去 识别，都要首先分析各种特征的有效性并选出最具代表性的特征。 人脸特征提取起源于人脸识别的研究，由于受到技术水平的限制，早期人们用人 脸的几何特征来描述人脸模式并进行分类。但是人脸几何特征表述的主要是人脸部件 之间的关系，实际上更适用于人脸检测任务。近十几年来，由于安全、监控等需要， 人脸特征提取与识别研究得到了更多的重视。人们在该领域已经做了大量的工作，涌 现了很多新的思路和方法。 2 2 基于局部特征的人脸特征提取方法 2 2 1 基于面部几何特征的方法 基于面部几何特征的人脸识别算法是最早被提出的方法之一【5 7 l ，其特征提取以人 脸面部特征点( 如眼睛、眉毛、鼻子和嘴) 的形状和几何关系为基础。对于不同的人 来说，面部特征点和轮廓的形状、大小、相对位置和分布的情况各不相同，基于几何 特征方法通过计算面部特征点形状、分布的几何参数来区分不同人脸。它所采用的几 何参数一般包括特征点之间的距离、边缘曲率、角度等。特征提取后，往往采用欧式 距离分类器进行匹配，采用最近邻法输出识别结果。 k a n a d e 早在2 0 世纪7 0 年代就提出了基于距离比例进行特征提取的方法，并且 在2 0 个人的人脸图像库上进行了测试1 5 7 1 0 另一个有代表性的工作是b r u n e l l i 和p o g g i o 的工作f 5 舯。 基于几何特征的人脸识别算法的显著优点是简单、快速，识别过程仅仅依据几何 特征间距和相应参数辨别待识别目标。但同时这种方法的简单性也导致了其有效性、 可靠性较低，分析如下： 基于几何特征的人脸识别算法需要通过大量精细的预处理确定几何特征的位 置。目前，自动定位面部特征点仍然是一个研究难点，现有算法的精确度尚不能满足 8 第二章人脸特征提取方法综述 几何特征提取的需要。 面部几何特征仅仅能在局限范围内提供可用于人脸识别的信息。这是因为， 仅仅利用面部特征的形状和结构关系会忽略面部细节特征和全局特征，造成信息丢 失。 人类人脸识别机制获得的是对面部特征的模糊描述。在此意义上，精确度量 面部特征几何参数的人脸识别方法是难以接受的。 这类方法在近年里没有得到更进一步的发展。应当指出，几何特征之间的距离和 结构关系在人脸识别的分类问题中仍然有潜在价值。例如，在一个大数据库中进行人 脸检索时，可以利用面部几何特征进行粗分类以缩小匹配范围。 2 2 2 基于梗叛匹配的方法 模板匹配方法是模式识别中所采用的最传统的方法之一。基于模板匹配的识别算 法研究的代表工作是p o g g i o 和b r t m e l l i 所提出的基于局部特征模板匹配的算法 5 8 1 他 们首先利用积分投影法确定面部特征点，提取局部特征的模板( 如眼睛模板和嘴巴模 板等) ，然后进行局部模板匹配，计算相关系数进行分类。p o g g i o 和b r u n e l l i 比较了 基于几何特征和基于模板匹配的人脸识别方法。实验结果表明，在人脸尺度、光照、 姿态稳定的情况下，后者优于前者。 模板匹配方法利用了相关性信息，因此对光照、旋转和表情变化比较敏感，仅当 比对对象之间比例、旋转和光照等因素一致时，才可能取得比较好的效果。另外，模 板匹配的计算量比较大，多尺度、多模板的使用会增加计算和存储的复杂度。 最新的人脸识别算法中，基于静态图像的人脸识别算法多数属于基于表象的算法 ( a p p e a r a n c eb a s e ds c h e m e s ) 。这些方法往往仅依赖于目标的单视图像或者多视图 像，而不需要按照m a r r 理论重建物体的三维模型【5 9 1 ，因此成为了近年人脸识别研究 工作的主流。特征脸方法、f i s h e r 脸方法、弹性图匹配方法和局部特征分析方法是其 中的代表性算法。 2 2 3 基于小波包分解的局部特征方法 眼睛、鼻子和嘴往往是个人最具有可区分性的面部特征点，然而使计算机获得类 似人对面部特征的稳定几何描述是非常困难的。针对局部特征提取，除上述几种方法 外，还可以采用二维小波包分析的方法。 在小波包分解中，上一级分解后的高频图像和低频图像在高一阶分析中都会被进 一步分解。因而与小波分析相比，小波包分解可以获得对图像更为丰富的编码表示， 每个小波包基保留了全局能量并提取了重建特征。 算法中采用h a a r 小波作为基函数i 1 1 ，这种小波具有正则性、正交性和对称性等多 种性质。由于在实验中所采用的面部特征区域比较小( 为2 1 2 1 ) ，因此二级的分解 就能获得丰富的细节。利用二级分解得到的各个系数矩阵，可以重建出1 6 个图像 i o i