（信号与信息处理专业论文）基于gabor像素模式纹理特征的人脸识别.pdf

大连理工大学硕士学位论文 摘要 由于人脸识别技术在安全、金融、法律实施和军事上有广阔的潜在应用前景，近二 十年来，人脸识别已经成为计算机视觉领域的研究热门之一并且促进了多门相关学科的 发展。随着入脸识别技术的不断发展，更大的图像库，更高的识别率，更快的识别速度 成为人脸识别技术新的发展方向，目前已经有相当成熟的人脸识别技术应用于实际生活 当中。 鉴于基于像素模式的纹理特征( p p b t f ) 已经_ 成功地应用于人脸表情识别，本文将它 应用于人脸识别，并在此基础上提出了一种新的人脸特征表示方法基于g a b o r 像素 模式的纹理特征( g p p b t f ) 。g a b o r 特征能够精确的提取图像的局部特征，且对位移、形 变、旋转、尺度变化和光照变化都具有一定的鲁棒性。p p b t f 特征能够有效的描述图像 的纹理特征，对光照影响不敏感，计算速度快，耗时少。本文把g a b o r 特征和p p b t f 特征的优点相结合，得到基于g a b o r 像素模式的纹理特征( g p p b t f ) 。 基于核函数零空间f i s h e r 判决分析( n k f d a ) 的分类方法已经成功地应用于人脸识 别。该方法能够把特征向量映射到核函数零空间，在得到更具判别力的判别向量的同时 减小了特征向量的维数。本文提出了一种基于多n k f d a 分类器相结合的分类方法，有 效地解决了超高维向量向低维空间投影丢失判决信息的难题，提高了分类的准确性。 本文将g a b o r 像素模式的纹理特征( g p p b t f ) 和多n k f d a 分类器相结合的分类方法 应用于f e r e t 人脸识别测评，取得了较高的识别率。 关键词：人脸识别；纹理特征；小波变换；n k f d a ；多分类器 基于g a b o r 像素模式纹理特征的人脸识别 f a c er e c o g n i t i o nb a s e do ng a b o r p i x e l - p a t t e r n - b a s e dt e x t u r e f e a t u r e a b s t ra c t f a c er e c o g n i t i o nh a sb e e no n eo ft h eh o t t e s tr e s e a r c ht o p i c si nc o m p u t e rv i s i o nf o rr e c e n t t w od e c a d e sd u et ow i d ep o t e n t i a la p p l i c a t i o n si ns e c u r i t y ，f i n a n c e ，l a we n f o r c e m e n ta n d m i l i t a r y i t sr e s e a r c ha c h i e v e m e n t sp r o m o t et h ed e v e l o p m e n to fc o r r e l a t i v ed i s c i p l i n e s w i t h t h ec o n t i n u o u sd e v e l o p m e n to ff a c er e c o g n i t i o nt e c h n o l o g y ，t h el a r g e ri m a g el i b r a r y ，t h e h i g h e rr e c o g n i t i o nr a t e ，t h ef a s t e rt h er a t eo fi d e n t i f i c a t i o nh a sb e c o m et h en e wd i r e c t i o no f f a c er e c o g n i t i o nt e c h n o l o g y a tp r e s e n t , t h e r ea r ea l r e a d yq u i t em a t u r ef a c er e c o g n i t i o n t e c h n o l o g i e su s i n gi nr e a ll i f e s i n c ep i x e l - p a t t e m - b a s e dt e x t u r ef e a t u r e ( p p b t f ) h a sb e e na p p l i e dt or e a l - t i m ef a c i a l e x p r e s s i o nr e c o g n i t i o ns y s t e ms u c c e s s f u l l y , w eu s e i ti nf a c er e c o g n i t i o na n dp r o p o s ean o v e l f a c er e p r e s e n t a t i o na p p r o a c h , g a b o rp i x e l - p a t t e m - b a s e dt e x t u r ef e a t u r e ( g p p b t f ) g a b o r w a v e l e t sc a l le x 扛a c ti m a g e sl o c a li n f o r m a t i o ne x a c t l ya n di sr o b u s t n e s st od i s p l a c e m e n t , d e f o r m a t i o n , r o t a t i o n , s c a l i n ga n di l l u m i n a t i o nv a r i a n c e s p p b t f c a l ld e s c r i b ei m a g e s t e x t u r ei n f o r m a t i o na n di si n s e n s i t i v et oi l l u m i n a t i o na n dt i m es a v i n g ，n l i sp a p e rc o m b i n e s g a b o rw a v e l e t sa n dp p b t f sa d v a n t a g e st or e p r e s e n tf a c ei m a g e t h ec o m b i n i n go p e r a t o ri s t e r m e da sg a b o rp i x e l - p a t t e m - b a s e dt e x t u r ef e a t u r e ( g p p b t f ) n m ls p a c e b a s e dk e m e lf i s h e rd i s c n m i n a n ta n a l y s i s ( n k f d a ) h a sb e e n u s e di nf a c e r e c o g n i t i o ns u c c e s s f u l l y n k f d ac a nm a pt h e f e a t u r ev e c t o ri n t on u l ls p a c eo fk e r n e l f u n c t i o nt og e tm o r ee f f e c t i v ed i s c r i m i n a n tf e a t u r e sa n dr e d u c et h ed i m e n s i o no ff e a t u r e v e c t o r 嘶sp a p e rp r o p o s e dam e t h o db a s e do nm u l t i p l en 妞d a st oc l a s s i f yt h ef a c ei m a g e s w h i c hs o l v et h ep r o b l e mo fl o s i n gu s e f u li n f o r m a t i o nw h e nm a p p i n gt h eh i 曲d i m e n s i o n v e c t o ri n t ol o wd i m e n s i o ns p a c e t l l i sp a p e rp r o p o s e sam e t h o dw h i c hc o m b i n e sg p p b t fa n dm u l t i p l en k f d a st o e l a s s i f yt h ef a c ei m a g e so i lf e r e td a t a b a s e t k sm e t h o da c h i e v e sh i g h e rr e c o g n i t i o n a c c u r a c y k e yw o r d s ：f a c er e c o g n i t i o n ；t e x t u r ef e a t u r e ；g a b o rw a v e l e t ；n k f d a ；m u l t i c l a s s i f i e r 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：篡盆舀厶芝区逮攫盔么盟鹭钮殴厶瞧这到 善嘉篓耄i 一 导师签名：堑燃：坚1 日期：争薄锰月早日 日期： 鲨量年旦月e l 日 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题霉：勘鱼益益燃毖翌毖纽盛鼗垒兰壶一 作者签名：j 蹲g “聋。一 目期：。雄年互月乙嚣 大连理工大学硕士学位论文 1 绪论 1 1研究背景和意义 自身安全和个人隐私保护成为这个时代的热门话题。基于密码、个人识别码、磁卡 和钥匙等传统的安全措施己不能完全满足社会要求。在这样一个背景下，人们把目光投 向了生物特征识别技术利用人体固有的生理特征或行为特征来进行身份的鉴别或 确认。人脸识别技术作为生物识别技术的一种，以其特有的稳定性、方便性、唯一性等 特点被愈来愈多地应用于各种身份识别领域。随着人脸识别技术的不断发展和计算机性 能的不断提高，应用计算机进行人脸识别的领域不断扩大。计算机人脸识别的领域主要 包括以下几个方面： ( 1 ) 个人身份识别。在信用卡、驾驶证、护照、身份证等个人身份证明中，进行自 动个人身份辨识。 ( 2 ) 公安系统。在刑侦中的尸体辨认、罪犯辨认、搜救中寻找失踪人员以及公共安 全保障等方面有重要应用。 ( 3 ) 政府部门。在档案管理、海关、机场和交通部门对身份证或驾驶执照等证件查 验方面有广泛应用。 ( 4 ) 商业领域。a t m 机、智能卡、电子商务、门禁系统、监控系统、互联网接入验 证、用户终端接人、视频会议、计算机动画等方面对人脸识别技术有大量需求。 人脸识别同样具有重要的理论价值。人脸识别是一个典型的交叉学科研究课题，涉 及人工智能、模式识别、计算机视觉、计算机图形学、统计学、认知科学、生理学等多 门学科的知识。人脸识别已经与这些学科形成了相互影响与促进、共同进步与发展的局 面。人脸识别也是智能人机交互领域的重要研究内容之一，人脸识别的深人研究可以促 进人机交互方式诸如手势人机交互和情感人机交互的发展。目前对计算机人脸识别的研 究仍有很多需要解决的问题，因此无论在理论上还是在实践中，对该课题的研究已经变 得越来越重要和迫切。 1 2 人脸识别的发展历史及分类 人脸识别的研究已经有相当长的历史，可以追溯到2 0 世纪6 0 7 0 年代，它的发展 大致可以分为四个阶段： 第一阶段：二十世纪五十年代在心理学方面的研究和六十年代在工程学方面的研 究。 基于g a b o r 像素模式纹理特征的人脸识别 1 9 5 4 年，j s b r u n e r 用心理学的观点写了一篇关于人脸识别的文章【l 】，1 9 6 4 年， b l e d s o e 以工程学的观点提出人脸识别的模型1 2 。同年代，国外有许多学校也在研究人脸 识别技术，其中有从感知和心理学角度探索人类识别人脸机理的，如美国t e x a sa td a l l a s 大学的a b d i 和t o o l 小组，由s t i f l i n g 大学的b r u c e 教授和g l a s g o w 大学的b u r t o n 教授 合作领导的小组等；也有从视觉机理角度进行研究的，如英国的g - r a w 小组和荷兰 g r o n i n g e n 大学的p e t k o v 小组等。 第二阶段：二十世纪七十年代开始的人脸的机器识别研究。 a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现 了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员， 不是一种可以完成自动识别的系统。 第三阶段：八十年代的人机交互式识别阶段。 h a r m o n 和l e s k 用几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示 人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了 统计识别方法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知 识，仍然摆脱不了人的干预。 第四阶段：2 0 世纪9 0 年代以来，随着高性能计算机的出现，人脸识别方法有了重 大突破，才进入了真正的机器自动识别阶段。在用静态图像或视频图像做人脸识别的领 域中，国际上形成了以下几类主要的人脸识别方法： ( 1 ) 基于几何特征的人脸识别方法 基于几何特征的方法是早期的人脸识别方法之一，常采用的几何特征有人脸脸型特 征、人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征以及五官在脸上分布的几何特征。 1 9 9 3 年，b r t m e l l i 和p o g g i o 3 j 用改进的积分投影法提取出用欧氏距离表征的3 5 维人脸脸 型特征矢量，1 9 9 7 年，k a n a d e d i 以眼角、嘴角、鼻孔、下巴这些点之间的距离以及所形 成的夹角等几何量作为人脸的特征，1 9 9 9 年，s t a r o v o i t o v 等【5 】提出以人脸的3 7 个基准 点为基础的人脸几何特征。以上方法提取特征时往往要用到人脸结构的一些先验知识， 识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特 征矢量之间的匹配，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。 基于几何特征的识别方法比较简单、容易理解，但没有形成统一的特征提取标准； 从图像中抽取稳定的特征较困难，特别是特征受到遮挡时；对较大的表情变化或姿态变 化的鲁棒性较差。 ( 2 ) 基于相关匹配的方法 基于相关匹配的方法包括模板匹配法和等强度线方法。 大连理工大学硕士学位论文 模板匹配法：1 9 9 3 年，b r t m e l l i 和p o g g i o t 3 专f - j 比较了基于几何特征的人脸识别 方法和基于模板匹配的人脸识别方法，并得出结论：基于几何特征的人脸识别方法具有 识别速度快和内存要求小的优点，但在识别率上模板匹配要优于基于几何特征的识别方 法。 等强度线法：等强度线利用灰度图像的多级灰度值的等强度线作为特征进行两 幅人脸图像的匹配识别。等强度曲线反映了人脸的凸凹信息。这些等强度线法必须在背 景与头发均为黑色，表面光照均匀的前提下才能求出符合人脸真实形状的等强度线。 ( 3 ) 基于子空间方法 常用的线性子空间方法有：特征子空间、判决子空间、独立分量子空间等。此外， 还有局部特征分析法、因子分析法等。这些方法也分别被扩展到混合线性子空间和非线 性子空间。 1 9 9 1 年，t u r k 等嘲采用特征脸i g e i 舭e s ) 方法实现人脸识别。由于每个特征矢量的 图像形式类似于人脸，所以称之为特征脸。1 9 9 4 年，p e n t l a n d 等1 7 提出对于眼、鼻和嘴 等特征分别建立一个特征子空间，并联合特征脸子空间的方法获得了好的识别结果。 2 0 0 1 年，a l b e r t 等【8 】提出了t p c a ( t o p o l o g i c a lp c a ) 方法，识别率有所提高。1 9 9 6 年， p e n e v 等【9 】提出的局部特征分析( l f al o c a lf e a t u r ea n a l y s i s ) 法的识别效果好于特征脸方 法。当每个人有多个样本图像时，特征空间法没有考虑样本类别间的信息，因此，基于 线性判决分析( l d al i n e a rd i s c r i m i n a n ta n a l y s i s ) ，b e l h u m e u r 等i l o j 提出了f i s h e r f a c e s 方 法，获得了较好的识别结果。b a r t l e t t 等i l l j 采用独立分量分析( i c a ，i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 的方法识别人脸，获得了比p c a 方法更好的识别效果。 ( 4 ) 基于统计的识别方法 该类方法包括有：k l 算法、奇异值分解( s v d ) 、隐马尔可夫( h m m ) 法。 k l 变换：将人脸图像按行( 列) 展开所形成的一个高维向量看作是一种随机向 量，因此采用k - l 变换获得其正交k l 基底，对应其中较大特征值基底具有与人脸相 似的形状。1 9 9 1 年，t u r k 等1 6 j 提取基于k l 变换的特征空间的主要成分得到特征脸，这 种方法又称为主成份分析( p c a ，p r i n c i p l ec o m p o n e n ta n a l y s i s ) 。 隐马尔可夫模型：1 9 8 7 年，俄国有机化学家m a r k o v n i k o v 第一次提出马尔可夫 模型；1 9 9 3 年，剑桥大学的s a m a r i a 和f a l l s i d e 1 2 j 对多个样本图像的空间序列训练出一 个h m m 模型，它的参数就是特征值；基于人脸从上到下、从左到右的结构特征，1 9 9 4 年s a m a r i a 等i l 副首先将1 dh m m 和2 dp s e u d oh m m 用于人脸识别。2 0 0 0 年k o h i r 等1 1 4 j 采用低频d c t 系数作为观察矢量获得了好的识别效果。2 0 0 2 年，e i c k e l e r 等【1 5 】采 用2 dp s e u d oh m m 识别d c t 压缩的j p e g 图像中的人脸图像；1 9 9 9 年，n e f i a n 等【1 6 1 基于g a b o r 像素模式纹理特征的人脸识别 采用嵌入式h m m 识别人脸，后来集成c o u p l e dh m m 和h m m 通过对超状态和各嵌入 状态采用不同的模型来构成混合系统结构【r 7 1 。2 0 0 2 年，o t h m a n 等【1 8 】提出采用半连续的 2 dh m m 来解决每类训练样本不足的问题。 基于h m m 的人脸识别方法具有以下优点：第一，能够允许人脸有表情变化，较大 的头部转动；第二，扩容性好，即增加新样本不需要对所有的样本进行训练；第三，识 别率较高。 ( 5 ) 基于神经网络的方法 1 9 9 3 年，d e m e r s 等【1 9 】提出采用p c a 方法提取人脸图像特征，用自相关神经网络进 一步压缩特征，最后采用一个m l p 来实现人脸识别。1 9 9 7 年，l a u r e n c e 等 2 0 1 通过一个 多级的s o m 实现样本的聚类，将卷积神经网络c n n 用于人脸识别。c n n 利用了每个 象素及其相邻象素之间的相关性，对图像的平移、旋转和变形具有一定的鲁棒性。同年， l i n 等【2 l 】采用基于概率决策的神经网络( p d b n n ，p r o b a b i l i s t i cd e c i s i o n b a s e dn e u r a l n e t w o r k ) 方法。最近，径向基函数r b f 神经网络因具有逼近性好、空间描述紧凑和训练 速度快等特点而被用于人脸识别。1 9 9 7 年，g u t t a 等瞄】提出了将r b f 与树分类器结合起 来进行人脸识别的混合分类器结构，2 0 0 2 年，他们基于r b f 神经网络进行了针对部分 人脸的识别研究 2 3 1 ，表明利用部分人脸也可以有效地识别人脸。2 0 0 2 年，e r 等【2 4 1 采用 p c a 进行维数压缩，再用l d a 抽取特征，然后基于r b f 进行人脸识别。同年，h a d d a d n i a 等【2 5 】基于p z m i ( p s e u d oz e m i k em o m e mi n v a r i a n t ) 特征，并采用混合学习算法的r b f 神 经网络进行人脸识别。此外，1 9 9 8 年l u c a s 等【2 6 】采用连续的n - t u p l e 网络识别人脸。神 经网络的优势是通过学习的过程获得对这些规律和规则的隐性表达，它具有较强的适应 性。 ( 6 ) 弹性图匹配方法 1 9 9 3 年，l a d e s 等【2 刀提出采用动态链接结构( d l a ，d y n a m i cl i n ka r c h i t e c t u r e ) 的方 法识别人脸。它将人脸用格状的稀疏图表示。节点用图像位置的g a b o r 小波分解得到的 特征向量标记，图的边用连接节点的距离向量标记。1 9 9 7 年，w i s k o t t 等【2 8 】将人脸特征 上的一些点作为基准点，构成弹性图。采用每个基准点存储一串具有代表性的特征矢量， 减少了系统的存储量。同年，w u r t z 等【2 9 j 只使用人脸i c i 部的特征，进一步消除了结构 中的冗余信息和背景信息，并使用一个多层的分级结构。同年，g r u d i n 等【3 0 】也采用分级 结构的弹性图，通过去除了一些冗余节点，形成稀疏的人脸描述结构。另一种方法是 n a s t a r 等1 3 l j 于1 9 9 7 年提出将人脸图像i ( x ，y ) 表示为可变形的3 d 网格表( x ，y ，i ( x ，y ) ) ， 将人脸匹配问题转换为曲面匹配问题，利用有限分析的方法进行曲面变形，根据两幅图 像之间变形匹配的程度识别人脸。 大连理工大学硕士学位论文 ( 7 ) 基于图像局部纹理的方法 图像的纹理特征是表征人脸的一种有效的方法，通过对图像纹理的描述可以得到不 同人的特征向量。其中局部纹理特征能够克服一定的变化，最大限度的保持有用的分类 信息。1 9 9 6 年，o j a l a 等1 3 2 j 提出一种可用于特征分割的纹理算子l b p ( l o c a lb i n a r y p a t t e r n ) ，2 0 0 2 年，o j a l a 等1 3 3 j 又提出了一种具有多分辨率和旋转不变形的l b p 算子。2 0 0 4 年，f e n g 等【3 4 】和a h o n e n 等【3 5 】分别将l b p 算法应用于人脸表情识别和人脸识别。 ( 8 ) 基于三维模型的方法 人脸三维数据能直接给出人脸曲面的真实三维形状，利用人脸三维数据进行人脸识 别，可以避免姿态、光照、表情、化妆等的影响，有望突破二维人脸识别的瓶颈。用3 d 数据进行人脸特征检测比较容易，可以利用曲率信息，且不受姿态的影响。三维人脸识 别是极具挑战性的课题，但如果在技术上有所突破将具有很强的创新性和应用价值。 1 3 人脸识别技术的研究现状 人脸识别技术是模式识别领域的研究热点，吸引了大量的研究人员和基金支持。国 外许多大学和研究机构包括麻省理工学院、卡耐基梅隆大学、耶鲁大学、南加州大学、 马里兰大学及东京大学等都有专门从事人脸识别的研究小组。近年来国内的人脸识别研 究也取得了长足的进步，国内很多大学和研究机构包括中科院、清华大学、北京大学、 北方交通大学、中国科技大学、上海交通大学等也有专门的从事人脸识别的研究小组。 自动人脸识别系统的基本框架可以用图1 1 表示。 图1 1 人脸识别框图 f i g 1 1 t h ef r a m e w o r ko ff a c er e c o g n i t i o n 基于g a b o r 像素模式纹理特征的人脸识别 从框架图中可以看出，人脸识别研究的重点有：人脸图像的采集、人脸检测、人脸 图像的预处理、特征的提取和选择、分类器的设计。其中最重要的部分为特征提取、特 征选择和分类器的设计。 随着人们对人脸识别的不断了解，人们对人脸识别技术的发展及其应用越来越关 心。媒体对人脸识别技术不断取得高识别率的报道，让人们了解人脸识别技术的同时， 也使人们陷入了一个误区，认为人脸识别技术已经很先进，完全可以应用于各种实际情 况。其实这些报道片面的关注了识别率，没有关注到识别方法用到的人脸数据库的大小、 数据库图片是否考虑到影响识别结果的各方面因素；没有关注到识别方法是否经过标准 的人脸测评协议的检验，能否取得广泛的认可。那么人脸识别技术的真实研究现状是什 么样的呢? 本文根据近几年的国内外在人脸识别方面的研究成果，探讨了人脸识别技术 的研究现状。 国内的中科院计算所和中科院自动化所不但提出了有较高识别率的人脸识别算法， 而且他们的算法能够经过大型人脸数据库和标准的测评方法的验证，识别结果被广泛认 可。中科院计算机所的山世光、高文等对人脸识别的研究主要集中在g a b o r 小波及其扩 展上，主要方法有g a b o rf i s h e rc l a s s i f i e r ( g f c ) 1 3 6 、p a t c h b a s e dg a b o rf i s h e r c l a s s i f i e r ( p g f c ) t a r l 、基于局部g a b o r 变化直方图序y i j ( l g b p h s ) t 3 s 、g a b o r 相位信息识 别【3 9 ，4 0 等。2 0 0 5 年，山世光等提出利用f i s h e r 分类器对g a b o r 特征进行分类的g f c 方 法，f i s h e r 分类器的应用减小了g a b o r 特征的特征维数，找到了一个更有利的判决空间。 2 0 0 6 年，提出用p g f c 方法，通过对g a b o r 特征的重新分段，利用多个f i s h e r 分类器结 合得到最终分类结果，分段分类有利于找到最具代表性的分类信息，降低特征维数。2 0 0 6 年又提出基于局部g a b o r 变化直方图序列的方法，该方法是人脸识别方法的创新，它首 次将局部纹理信息应用到g a b o r 幅度图上，得到了多方向、多尺度的纹理信息，l g b p h s 方法即考虑到了图像整体多方向、多尺度的信息，又考虑到了局部信息，使g a b o r 小波 的优点和l b p 纹理信息的优点有效的结合。在以前的研究只注重g a b o r 幅度信息的基 础上，2 0 0 7 年，山世光等提出g a b o r 相位信息同样具有分类能力，利用g a b o r 小波特征 进行分类的时候，要注意到相位信息的作用，最好能把幅度信息和相位信息结合到一起 来用。 国外人脸识别机构最具代表性的是芬兰o u l u 大学o ja l a 教授的团队和美国r p i 大学 q i a n gj i 副教授的团队。因为他们不但能够提出自己的算法，而且还能应用大型测评系 统对算法进行验证。2 0 0 4 年o u l u 大学的l b p 算法【n 5 j 不但提出纹理特征也可以应用于人 脸识别，而且在f e r e t 图像库上的测评过程广泛的被人脸识别领域参考，其实验结果 已经成为评价一个算法的坐标点。2 0 0 7 年q i a n gj i 等 4 1 1 把人脸识别分为整体匹配方法和 大连理工大学硕士学位论文 局部匹配方法，整体匹配的方法已经从多个角度被认真的比较过了，但是对局部匹配方 法的比较还没有系统的进行。q i a n gj i 等利用局部g a b o r 特征进行人脸识别并把局部匹 配方法进行了系统的比较，利用在f e r e t 图像库的实验证明了自己算法的优点。当然， 国外的其他研究机构的人脸识别研究也取得了不错的效果，但是总体来说还缺乏被广泛 认可的测评实验。 这些国内外的人脸识别方法在f e r e t 图像库【4 2 均测评结果如表1 1 所示，分别从 表情、光照、时间变化角度描述人脸识别算法的性能。 表1 1f e r e t 图像库的一些人脸识别结果 t a b 1 1s o m er e s u l t so ff a c er e c o g n i t i o no nf e r e td a t a b a s e 从表1 1 中我们可以看出，虽然人脸识别在表情变化的测试集上取得较好的效果， 但是在光照、时间和姿态等测试集上效果还不是很理想，距离实际应用还有很大的距离。 表1 2 一些比较著名的商业人脸识别系统 t a b 1 2s o m ef a m o u sc o m m e r c i a lf a c er e c o g n i t i o ns y s t e m s 基于g a b o r 像素模式纹理特征的人脸识别 虽然人脸识别技术对有些实际问题无法解决，但是从二十世纪九十年代中期开始， 还是陆续出现了一些人脸识别商业系统，这些商业系统基本都依托于知名研究机构多年 的研究成果。虽然这些人脸识别系统还不能完全解决现实世界的问题，但是它们的出现 使得理论向实际的应用迈进了一大步。表1 2 列出了一些比较著名的商业人脸识别系统。 1 4 人脸作为生物特征识别方法的优势与不足 1 4 1人脸识别的技术优势 与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术优势，这主 要体现在： ( 1 ) 可以隐蔽操作，尤其适用于安全监控 这一点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用，这是指纹、 虹膜、视网膜等其他人体生物特征识别技术不能比拟的。 ( 2 ) 非接触式采集，没有侵犯性，容易被接受 因此，不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯，容易被大 多数的用户接受。 ( 3 ) 具有方便、快捷、强大的事后追踪能力 基于面像的身份认证系统可以在事件发生的同时记录并保存当事人的面像，从而可 以确保系统具有良好的事后追踪能力。例如，用于考勤系统时候，管理人员就可以方便 的对代打卡现象进行事后监控和追踪，这是指纹、虹膜等生物特征所不具有的性质( 一 般人不具备指纹、虹膜鉴别能力) 。 ( 4 ) 图像采集设备成本低 目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成为标准的外设， 极大的扩展了其实用空间；另外，数码相机、数码摄像机和照片扫描仪等摄像设备在普 通家庭的日益普及进一步增加了其可用性。 ( 5 ) 更符合人类的识别习惯，可交互性强 例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的，而对人脸 来说，授权用户的人机交互和配合可以大大提高系统的可靠性和可用性。 1 4 2 人脸识别存在的问题 有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结 果。但是，如果对于用户不配合，采集条件不理想( 如光照恶劣，有遮挡，图像分辨率 低等) 的情况下，现有系统的识别率将陡然下降。人脸识别技术远未达到实用水平，还 存在着诸多的挑战性问题需要解决。 大连理工大学硕士学位论立 ( 1 ) 复杂条件下人脸的检测和关键点定位问题 人脸的检测和关键点定位是一个人脸识别系统的前端处理环节，此环节效果好坏直 接影响着人脸识别系统的识别性能。而现有的多数特征定位算法的定位精度都随着光 照、姿态等外界条件变化而快速下降，因此研究复杂条件下人脸的检测和关键点定位算 法是日前人脸识别研究中的当务之急。 ( 2 ) 光照变化问题 光照问题是机器视觉中的老问题，在人脸识别中的表现尤为明显，如图12 所示。 根据f e r e t 测试和f r v t 测试的结果可以看出，目前即使最好的人脸识别系统在室外 光照环境下其识别率也会急剧下降。尽管研究人员针对光照问题提出了一些解决方案， 但是目前的光照处理方法远未达到实用的程度，还需要进一步地研究解决。 ( 3 ) 表情和姿态 罔13 不同表情和姿态的圉片 f i g i3p h o t o sw i t hd i f f e r e n te x p r e s s i o na n dp o s e 与光照问题炎似，表隋和姿态问题也是e 1 前人脸识别研究中需要解决的个技术难 点。针对姿态的研究州对比较少，目前多数的人脸识别算法1 一要针对【l j 【f j i 、准i f 面人脸 固k 漕遗e 裟数盥哗鳖 基于g a b o r 像素模式纹理特征的人脸识别 图像，当发生俯仰或者左右侧面比较厉害的情况下，人脸识别算法的识别率也将会急剧 下降。因此，如何提高系统对姿态的鲁棒性也是人脸识别研究中个极具挑战件的问题。 r 4 ) 遮挡问题 对于非配合情况下的人腧图像采集，遮挡问题是个非常严重的问题。特别是在龄 控环境下，往往被监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人腧图像有 可能不完整，从而影响了后面的特征提取与识别，其至会导致人脸检测算法的失效，如 图14 所示。如何有效地去除遮挡物的影响是个非常有意义的研究课题。 ( 5 ) 年龄变化问题 随着年龄的变化，面部外观也会变化，特别是对于青少年，这种变化更加的明显。 对于不同的年龄段，人脸识别算法的识别率也不同。如何解决年龄变化对人脸识别算法 的影响也是许多人脸识别系统的必须面对的一个问题。 念盆酾l 勰黝勘 图14 遮挡的图片 f i g 14 p h o t o s w l t h p a r t i a lo c c l u s i o n ( 6 ) 低质量照片问题 目前的多数人脸识别系统在算法设计和模型训练方面都往往只针对图像质量很好 的情况，但对智能监控、公安系统犯罪嫌疑人照片比对等应用而占，由丁其米源不， 照片的质量有可能非常差，比如模糊、高噪声、分辨卒低等。如何提高系统对这些低质 量照片的识别能力也是人脸识别暖待解决的关键问题之。 f 7 ) 人规模人脸识别问题 大连理工大学硕士学位论文 随着人脸数据库规模的增长，人脸识别算法的性能将下降，如何维持或提高大规模 应用环境下的人脸识别算法的识别率是一个非常重要的问题。同时，大规模人脸数据库 的建立、维护、编码和检索也是非常值得研究的问题。 ( 8 ) 样本缺乏问题 基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方 法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得 到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习 问题有待进一步的研究。 ( 9 ) 海量数据的学习问题 传统人脸识别方法在小规模数据中可以很容易进行训练学习。但是对于海量数据， 这些方法的计算复杂度太高，训练过程难以进行，甚至有可能导致系统崩溃。如何解决 海量数据的学习问题是一个非常重要的问题。 ( 1 0 ) 人脸信息采集设备带来的问题 摄像头是目前主流的人脸信息采集设备，它们的种类、型号、传感方式( 比如c c d 或者c m o s ) 、采样和量化精度等各不相同，采集时刻的焦距、光圈、增益、白平衡等 参数设置区别也很大。这些变化因素使得获取的人脸图像数据的变化更大。如何解决这 些问题也是值得关注的。 另外，需要注意的是：上述问题并不是单独作用的，很多都是组合性的，例如姿态 和光照问题同时出现，会更进一步的增加问题的难度。而目前出现的主要研究论文，往 往都是试图孤立地解决其中一个问题，而没有考虑它们同时出现情况下的解决方案，这 也是值得关注的一个问题。 1 5 大型人脸测评的发展状况 尽管各个研究机构在开发新的算法和系统的时候无时不在对自己的算法和系统进 行测试，以找到与其他算法和系统的差距，但是这些由各个研究机构甚至研究者自己进 行的测试往往具有以下几个缺陷： ( 1 ) 片面性。研究机构的测试通常侧重于新算法在某一方面的性能，得出的结果往 往显示算法在某种条件下的识别性能高于同类算法，而实际上测试结果却没有显示在其 他条件下的该算法的识别性能比其他算法落后的可能性。 ( 2 ) 规模小。研究机构受研究时间和规模所限，一般只使用自己创建的人脸数据库 或者其他人脸数据库的一部分进行算法测试，某些时候测试结果的统计效果并不明显， 测试结果不足以说明问题。 基于g a b o r 像素模式纹理特征的人脸识别 ( 3 ) 缺乏完整的评测协议。某些研究机构和研究者进行的算法测试在数据选择、测 试的方法和评价的标准等方面不够全面和系统，这容易导致测试所用的数据不准确，测 试方法不严谨等问题，而使得测试结果缺乏意义。 ( 4 ) 测试结果不具备权威性。大型的测试应由第三方机构或者政府机构监督进行， 这样的测试结果具有权成性，能够让人信服。而开发识别算法的研究机构对自己开发的 算法进行的测试，这种来自于开发者自己对自己的评价结果不足以让人信服。 在人脸识别领域，f e r e t 测评解决了这些问题。自1 9 9 4 年到2 0 0 6 年，进行了数 次大型的综合人脸识别系统的评测，参测对象几乎涵盖了当时全世界最为领先的人脸识 别系统和算法，评测结果给后来的人脸识别技术的发展起到了极大的鼓励和指导作用。 1 5 1f e r e t 人脸识别测试 f e r e t 项目由美国国防部反毒品技术发展计划资助，其初衷是为了开发并提高自 动人脸识别技术的能力，使之能在安全、智能以及法律等领域得到应用 4 3 - 4 s l 。f e r e t 项目主要包括了三个部分的内容：第一个部分内容是由政府投资，资助一些研究机构开 发人脸识别技术，为人脸识别创建一个技术基础；第二部分的内容则贯穿整个f e r e t 项目，目的是创建一个大型的综合人脸图像数据库，为人脸识别技术提供一个数据基础： 第三部分的内容则是由政府监督，进行对已经开发出来的人脸识别算法和系统进行大型 的综合标准评测，为人脸识别技术提供一个评测标准基础。从1 9 9 4 年8 月到1 9 9 6 年9 月，前后共进行了3 次对人脸识别算法和系统的综合评测，共有来自9 个研究机构的识 别系统被开发出来并参加到了评测中，在3 次评测间隔中，各个研究机构又进一步完善 了自身的技术，提高了识别能力。f e r e t 首次给人脸识别算法设置了性能基准，定义 了一系列的评测标准，极大地推进了人脸识别技术的发展，其制定的评测标准和评测协 议一直影响至今，为以后人脸识别技术的发展带来了深远的影响。为进行f e r e t 测试 而创建的f e r e t 人脸数据库，数据量较大、图像质量高、变化比较丰富，是人脸识别 领域最著名的人脸数据库之一。 f e r e t 在人脸识别领域具有里程碑的作用，评测表明采用包含11 9 6 个人的f a 图像 集作为库藏集，用有表情变化的包含11 9 5 个人的f b 图像集作为探测集的最高识别率为 9 6 ；当采用有光照变化的包含1 9 4 个人的f c 图像集作为探测集时的最高识别率下降为 8 2 ；当采用相对于f a 有1 8 个月以上的时间间隔包含2 3 4 个人的d u pi i 图像集作为探 测集时的最高识别率仅为5 2 。f e r e t 的测试结果表明：姿态、光照和时间间隔是人 脸识别的主要影响因素。 大连理工大学硕士学位论文 1 5 2f r w 人脸识别测试 自f e r e t 以后，人脸识别技术得到了长足的发展，很快出现了实用的商业人脸识 别系统和专门从事人脸识别系统开发的公司，人脸识别技术的产品在各个领域展开了激 烈的竞争。为了评价各个商用系统的识别性能和实际的应用潜力，f r v t 应运而生。2 0 0 0 年，美国国防部反毒品技术发展项目、国家司法部和国防高级研究项目中心联合资助了 f r v t 2 0 0 0 测试l 4 0 j 。 f r v t 2 0 0 0 测试是基于f e r e t 的评价方法和标准，其主要目的有两个：评价系统 的识别性能以及产品的可用性。识别性能测试实验了图像压缩、采集距离、表情、光照、 姿态、图像载体、图像分辨率、时间间隔的影响；产品可用性测试为入口控制实验。识 别性能测试采用1 3 ，8 7 2 幅人脸图像，共有五家公司参加了这次测试，其中c - v i s ，l a u t e c h n o l o g i e s 和v i s i o n i c s ( 后改名i d e n t i x ) 完成了所有的测试，而b a n q u e t e e 和m j l o $ i n e ( e t r u e ) 公司的产品分别只完成约