（计算机软件与理论专业论文）融合整体与局部特征的人脸识别方法研究.pdf

融合整体与局部特征的人脸识别方法研究 摘要 入脸识别技术尽管取得了较好的发展，并在安全访问控制、基于内容的检索和新 一代人机界面等领域中有了初步应用。但现阶段算法在速度，准确性，鲁棒性等方面 尚不能满足实际需求。近年来，在基于局部建模的方法取得了较大的成功的同时，基 于全局建模的方法也迅速发展，然而这两类方法在速度、准确性、鲁棒性方面各有优 缺点。为更有效的利用这两种方法的优点，在人脸识别中引入融合整体与局部特征的 人脸识别方法。该方法作为一种新的人脸识别方法引起了学术界和人脸识别应用开发 领域的极大兴趣，成为新的研究热点。 本文主要围绕整体与局部特征的提取以及整体与局部特征的融合等关键技术展 开讨论，主要工作包括以下几方面内容： ( 1 ) 在人脸检测方面，本文提出了一种结合s v m 和a d a b o o s t 的人脸检测算法。并 基于该算法检测并分割出人脸样本中的人脸区域，为人脸识别中的特征提取做好充分 准备。 ( 2 ) 在人脸整体特征提取方面，运用核主成分分析的方法提取出人脸区域的整体 识别特征。在分割出的人脸区域的基础上，运用核主成分分析的方法提取出人脸区域 的整体识别特征。该方法不仅避免了在高维特征空间h f 中计算内积的不便，并且与其 他非线性特征抽取方法相比，由于k p c a 方法不需要解决非线性优化问题，只涉及到矩 阵的特征值分解计算，因而可以有效提高特征抽取的效率与速度。 ( 3 ) 在人脸局部特征提取方面，采用了核独立主成分分析的方法提取局部特征， 该方法首先将人脸划分成均匀小块作为局部区域，并分别提取这些局部区域的识别特 征；然后提出了一种根据局部特征个性化程度的自适应加权策略来融合各局部特征。 该方法有效地减轻少样本问题的不利影响，同时也降低了样本空间的维数及白化过程 的复杂度程度。 ( 4 ) 在人脸整体与局部特征的融合方面，提出了一种基于改进后的d - s 证据理论 的融合整体与局部特征的人脸识别方法。该方法主要是针对光照、表情、遮挡物( 眼 睛、围巾) 等因素的影响，而提出的一种融合整体与局部特征的人脸识别方法。即在 对整个人脸图像进行整体识别特征提取的同时，提取局部区域的识别特征，然后基于 改进后的d - s 证据理论原理融合整体识别出的相似性信息和部分识别出的相似性信 息得出综合的相似性信息，从而得出最终识别结果。 通过在j d l 人脸库与a r 人脸数据库上的实验结果表明，与基于核主成分分析的 整体特征识别方法及基于核独立成分分析的局部特征识别方法相比较，本算法具有更 好的适应性和更高的识别率。 关键词：人脸检测；s v m ；a d a b o o s t ；整体特征；局部特征；d - s 证据理论 i i r e s e a r c ho nf a c er e c o g n i t i o nm e t h o db a s e d o ng l o b a la n dl o c a l f e a t u r ef u s i o n a b s t r a c t f a c e r e c o g n i t i o nt e c h n o l o g ym a k e sar e l a t i v e l yg o o dp r o g r e s sa n dh a si n i t i a l a p p l i c a t i o n si n c w ea c c e s sc o n t r o l ，v i d e os u r v e i l l a n c e ，c o n t e n t b a s e dr e t r i e v a la n d n e x t g e n e r a t i o nm a c h i n ei n t e r f a c ea r e a sa n ds oo n b u tt h ec u r r e n ta l g o r i t h mc a nn o tm e e t t h ea c t u a ld e m a n d so fv a r i e t yo f a p p l i c a t i o n si ns p e e d ，a c c u r a c y , r o b u s t n e s s i nr e c e n ty e a r s ， t h em e t h o db a s e do nl o c a lm o d e l i n gh a sm a d eg r e a ts u c c e s s a tt h es a m et i m et h e m o d e l i n gm e t h o d o l o g yb a s e do nt h eo v e r a l ls i t u a t i o ni sd e v e l o p i n gr a p i d l y b u tt h et w o m e t h o d si nt e r m so fs p e e d , a c c u r a c y , r o b u s t n e s sh a v et h e i r o w na d v a n t a g e sa n d d i s a d v a n t a g e s i no r d e rt om a k eg o o do fu s et h ee f f e c t i v ea s p e c to ft h e s et w om e t h o d s ，t h e f a c er e c o g n i t i o nm e t h o do ff u s i o ng l o b a la n dl o c a lc h a r a c t e r i s t i c si si n t r o d u c e db ys o m e s c h o l a r s a san o v e lf a c er e c o g n i t i o nm e t h o dh a si n s p i r e dg r e a ti n t e r e s ti nt h ea c a d e m i c c i r c l ea n dt h ef i e l do fa p p l i c a t i o ni nf a c er e c o g n i t i o n t h ep r e s e n t s t u d y w i l l m a i n l yf o c u so nt h e e x t r a c t i o no f g l o b a la n d l o c a l i d e n t i f i c a t i o nf e a t u r ea n dt h ef u s i o no fg l o b a la n dl o c a li d e n t i f i c a t i o n , t h em a i nw o r ko f t h i sp a p e ri sa sf o l l o w i n g ( 1 ) c o n s i d e r i n gt h ef a c ed e t e c t i o n ，p r o p o s e saf a c ed e t e c t i o na l g o r i t h mb a s e do na c o m b i n a t i o no fs v ma n da d a b o o s t t h e nd e t e c tt h ef a c ea r e ai nt h es a m p l ea n ds p l i to u t f a c eb a s e do nt h ea l g o r i t h mo fd e t e c t i n g ，w h i c hw a su s e db yf e a t u r ee x t r a c t i o no ff a c e r e c o g n i t i o n ( 2 ) c o n s i d e r i n gt h ee x t r a c t i o no fg l o b a li d e n t i f i c a t i o nf e a t u r e ，e x t r a c tt h eo v e r a l l i d e n t i f i c a t i o nc h a r a c t e r i s t i c so ff a c er e g i o nu s et h em e t h o db a s e do nk e r n e lp r i n c i p a l c o m p o n e n ta n a l y s i s ( k p c a ) f i r s to fa l l ，e x t r a c tg l o b a li d e n t i f i c a t i o nf e a t u r eo ft h ef a c e r e g i o ns p l i tb yt h ea b o v em e t h o d t h i sm e t h o da v o i d si n c o n v e n i e n c ei nt h ec a l c u l a t i o no f i n n e rp r o d u c ti nh i g hd i m e n s i o n a lh i g hf e a t u r e ，a n dd o e sn o tn e e dt os o l v en o n l i n e a r i i i o p t i m i z a t i o np r o b l e m ，c o m p a r e dw i t ht h eo t h e rm e t h o d s ，c a ni m p r o v ef e a t u r ee x t r a c t i o n e f f i c i e n c ya n ds p e e df o ro n l yi n v o l v e sd e c o m p o s i t i o nm a t r i xe i g e n v a l u ec a l c u l a t i o n ( 3 ) c o n s i d e r i n gt h ee x t r a c to fl o c a li d e n t i f i c a t i o n ，e x t r a c tl o c a lf e a t u r eo ff a c er e g i o n u s et h em e t h o do fb l o c kk e r n e li m p e n d e n c yp r i n c i p a lc o m p o n e n ta n a l y s i s ( b k i c a ) t h e m e t h o dw i l lb ed i v i d e di n t ou n i f o r ms m a l lb l o c ka sal o c a la r e af i r s t l y , e x t r a c ti d e n t i f y i n g c h a r a c t e r i s t i c so ft h el o c a la r e a s e c o n d l y ；t h e np r o p o s e s t h es t r a t e g yo ff u s et h i s c h a r a c t e r i s t i cw i ma d a p t i v ew e i g h t e da l g o r i t h ma c c o r d i n gt ot h ed e g r e eo fp e r s o n a l i z a t i o n o fl o c a lf e a t u r e s t h i sm e t h o de f f e c t i v e l yr e d u c e st h es m a l ls a m p l eo ft h ep r o b l e mo f a d v e r s ee f f e c t ，b u ta l s or e d u c e st h es a m p l es p a c eo fd i m e n s i o na n ds i n c et h ep r o c e s so ft h e c o m p l e x i t yo fm o r er e c o g n i t i o nr a t e ( 4 ) c o n s i d e r i n gt h ef u s i o no fg l o b a li d e n t i f i c a t i o na n dl o c a li d e n t i f i c a t i o n ，p r o p o s e sa n o v e lf a c er e c o g n i t i o nm e t h o do ff u s i o ng l o b a la n dl o c a lc h a r a c t e r i s t i c so ff a c eb a s e do n i m p r o v e dd s ( i d s ) c o n s i d e r i n gf a c t o r so fl i g h t ，e x p r e s s i o n ( e y e s ，s h i e l d i n g ，s c a r f ) a n ds o o n ，am e t h o do ff a c er e c o g n i t i o no ff u s i o no fg l o b a la n dl o c a li sp r o p o s e d w h i l e e x t r a c t i n gg l o b a li d e n t i f i c a t i o nf e a t u r eo ft h ew h o l ef a c ei m a g e ，a tt h es a m et i m ee x t r a c t i n g l o c a la r e ai d e n t i f i c a t i o nc h a r a c t e r i s t i c s ，c o n c l u d eu l t i m a t er e c o g n i t i o nr e s u l tb yt h ef u s i o n g l o b a li d e n t i f i c a t i o ns i m i l a r i t ya n dl o c a li d e n t i f i c a t i o ns i m i l a r i t yb a s e do nt h ep r i n c i p l eo f i m p r o v e dd - se v i d e n c et h e o r yf i n a l l y s o m ee x p e r i m e n t a lr e s u l t so nj d la n da rf a c ed a t a b a s e ss h o wt h a tt h em e t h o d si n t h i st h e s i sh a v eh i g h e ra d a p t a b i l i t ya n dr e c o g n i t i o nr a t ec o m p a r e d 、历t 1 1t h eg l o b a lf e a t u r e i d e n t i f i c a t i o nm e t h o db a s e do nk p c aa n dt h el o c a lf e a t u r ei d e n t i f i c a t i o nm e t h o db a s e do n k i c a k e yw o r d s ：f a c ed e t e c t i o n ；s v m ：a d a b o o s t ；g l o b a lf e a t u r e ；l o c a lf e a t u r e ： d - se v i d e n c et h e o r y i v 浙江师范大学学位论文独创性声明 夯久膨w l l l i 譬交的擘毹逊寝憝我个入谯婷师搬谤下避f 于仞毳 l 究+ ( 撵髓敬绷 l i 勺鳞究域激。沦文p 豫r 特溺撅以杯 l = 零l 致澍的地方辨不貔台疑饱人媛疑他帆 拘c 野发菠戏攒乍；过豹甥究成凝。其 龟同惑对本研究的躬发彝l 鳜徽的囊l l i j i 均c 建 沦交t p 终r 嗍确的嗍黪凌艰了溺露。本入究垒忽主；：绷奉声明的泼耄 结聚l l l 誊入 承毒。， 蝴：诼镟魏j 莠麓张；弦哆队 列期劲r 学位论文使用授权声明 攀久诧拿r 辩锺蓦汀孵泡欠7 纷致缎灏，缝i i i 学拇沦z 豹燧；霹，疆j ；学浚n 数缫绷 ；# 日；缸l 袈fj 发移l 友戒魄物j 曩它 象z 豹砭t lj 终爨j 毡f ，乏獭，免i l 沦囊渡办燃和瓒 蠲，l 巧 以激| l ；彩谨，缫l | i 遥 l 彩麓乏豫纷，；l 编学 沦窆。纠繇灞绷惹气誓；t ；l 叠 j ， 办j 办- ， t 朔嫒 参 ：蕴六。 冬臻l 象殳幻审籍缓寮；：分；弩露。 笔崭霸j ：f li 龟乏囊冬筝鬻，i 缓。乏；0 j 珏e 臻为 z ，每敞 5 8 气 掺 浙江师范大学学位论文诚信承诺书 我承诺f i 鼗遵守浙童l 娜范入学研究生学沭邀德规范管理条 例。我的学徽论文t p 凡f ；| 用他入已经发表戏术发表的成粜，数据、 观点笛均l 三明确汽嘴劳详细列 l i 钉笑文l l 爰的彩称、佟者、f 份、 嗣物私称霸i i t l 版文献的m 舨移l 构、n j 舨地羽l 版次锋内容。论义中采 注谬j 的内容为本人的硪究成聚。 如订造坟，本入接馁处譬1 并承秘l 切责任。 承诺人( 影 究，k ) ：础 桁谤教忽囔形础 5 9 1 绪论 1 1 人脸识别技术的研究背景和意义 随着计算机和网络信息技术的发展，人们对于身份鉴别的准确性、安全性与实用 性提出了更高的要求；传统的身份识别方法已经不能满足这种要求，而人体丰富的生 理和行为特征为此提供了一个可靠的解决方案，已经引起了国际学术界和企业晃的广 泛关注。生物识别就是一种根据人体自身的生理特征和行为特征来识别身份的技术 u 1 。人脸图像作为一种高普遍性的、可非接触式采集的重要生物特征，能更好的应用 在多种不同的安全领域，如公安刑侦、司法鉴定、访问控制、金融支付、医学应用、 视觉监控和视频会议等场合，因此人脸识别正成为当前人们关注和投入较大研究力量 的重点。人脸识别领域的研究【l 】主要包括人脸检测，人脸跟踪，人脸识别，以及衍生 出来的姿态和表情分析等。入脸检测( f a c ed e t e c t i o n ) 是指在输入图像中确定是否存在 人脸，如果存在，则需要确定所有人脸的位置、大小和数量，并将人脸部分从背景图 像中分离出来。根据应用场合的不同，人脸检测可分为约束背景下的人脸检测和复杂 背景下的人脸检测，如计算机前的人脸检测是约束背景下的人脸检测；而机场，海关 等入口处的人脸检测是复杂背景下的人脸检测。人脸跟踪( f a c et r a c k i n g ) ，就是在视 频流中实时地、连续地估计人脸位置和可能的方向，主要用于需要连续探测和识别人 脸的场所，如计算机前、可视电话、视频会议等。人脸识别( f a c er e c o g n i t i o n ) 是指将 检测到的人脸图像的特征信息，与已知的人脸特征信息进行比较，从而判断待识别人 脸是否为一个已知入脸的过程，其目的是检验输入图像中的个体的身份。姿态和表情 2 1 分析则用于对检测到的人脸特征进行分析，从而判断一个人的喜怒哀乐、性格及心 理分析等。随着社会的发展，身份识别鉴定将会越来越重要，这预示着作为生物特征 识别的人脸识别技术具有广阔的发展前景。 l 绪论 1 2 人脸自动识别技术综述 1 2 1 自动人脸识别的一般过程 通常的自动人脸识别f 3 1 指：对于给定场景的一幅静态或视频序列图像，识别系统 利用己有的数据库来确认或辨认一个或多个人。自动人脸识别属于模式识别和机器学 习的范畴，同时它又与图像处理、计算视觉等领域密切相关。自动人脸识别的基本过 程可用图1 1 来表示。 自学习 分类规则卜 i i瓈硛襽眬i 硛 待识人脸h 人脸检测h 人脸区域定位h 图像预处理h 特征提取h 模式分类h 识别结果 脸数据库卜jf 特征向量集合 1 1 一般人脸识别系统框图 于待识别的一幅静态图像，我们首先要做的就是进行人脸检测，即检测是否存 人脸，如果存在有的话就确定其大致区域。然后，在此基础上定位出人脸的具有重 识别特征的区域，这一阶段称为特征定位。人脸检测可以不用考虑人脸的眼睛、鼻 等区域的具体位置，但是，如果对具有重要识别特征的区域定位不够精确，将会导 人脸识别算法性能的低下。因此，特征定位精确与否对基于特征的识别算法至关重 ，即使是基于全局特征匹配的算法也需要眼睛、鼻子、嘴巴及其相对位置等重要特 来归一化人脸图像。在人脸检测和特征点定位这两步完成后就可以进入自动识别阶 了。与自动人脸识别相比，非自动人脸识别都是假定已经检测出了人脸并且知道人 各局部区域的精确位置。人脸识别可以分四个步骤【4 】完成，如图1 1 所示，首先， 测并分割出人脸区域，然后对输入的二维人脸区域做预处理，以削弱光照变化、噪 等整体因素对特征提取的影响。再通过合适的算法提取出最有利于分类的特征。最 ，对提取的特征设计分类器并完成最后的识别任务，每个步骤都直接影响着最后的 别性能，都需要深入研究。 前文所述，我们可以根据应用场景的不同，将人脸识别的任务主要分为两种： l 绪论 身份确认和身份辨认。下面将分别阐述这两种任务的基本概念及其应用： ( 1 ) 身份确认 身份确认的典型应用是携带智能卡的人把卡插入机器，识别系统根据卡内所存储 的信息判断卡和持卡人是否一致【5 】o 确认是个两类问题，它属于开集测试，即测试图 像的类别可以属于也可以不属于数据库中的类别。 ( 2 ) 身份辨认 身份辨认与身份确认相比，其不需要用户携带标志身份的智能卡。测试图像 厶( i = 1 ，2 ，3 ，n ) 与数据库中的所有图像d ，( = 1 ，2 ，3 ，m ) 逐一进行比较，每次比较 都可以得出一个相似度s ( l ，d ，) 。用最大相似度作判别，得到的正确匹配的数目与测 试图像数目之比称为最大匹配分f 6 】( t o pm a t c hs c o r e ) ，可以用公式( 1 1 ) 定量表示： ， 研( ) ，( p ) 】 。 其中：三( ，) 表示样本，的真实类标签。 身份确认和身份辨认是人脸识别中两种不同的应用，本文研究的重点为身份辨认。 1 2 2 人脸识别技术发展简述 最初的人脸识别研究可以追溯到1 8 7 2 年，但直到2 0 世纪中期，人脸识别技术才 有了较系统的研究。2 0 世纪9 0 年代以前的算法主要是基于特征的方法和简单的模板 匹配方法。r b 和t u r k 等在1 9 9 1 年开发出了一种最小均方误差意义下描述人脸图像 的最优技术，即“特征脸”方法，从此人脸识别进入了子空间的时代。在1 9 9 7 年前 后涌现出很多经典的理论，如p e n s e v 等的l f a 方法、b e l h u m e u r 7 1 等的f i s h e r f a c e 法、 w i s k o t t 8 】等的弹性图匹配法、m o g h a d d 锄【9 】等提出的b a y e s i a n 方法。这些方法的相继 问世，掀起了人脸识别的一个新高潮。与人脸识别密切相关的人脸检测方法中，在 2 0 0 1 年的由v i o l a 1 0 】等提出的基于a d a b o o s t 和h a a r 征的方法最为经典，在此基础上 又出现了f l o a t a d a b o o s t 和b o o s t i n g c h a i n 等方法【l l 】。人脸特征定位方法中，1 9 9 5 年 和2 0 0 1 年g o o t e s 等提出的主动形状模型( a s m ) 和a a m 模型已经成为很多研究人员 研究的方向【1 2 】。2 0 0 3 年z h o u 1 3 1 等提出的b t s m 模型性能比传统的a s m 和a a m 有 较大的提高。2 0 0 4 年c h e n 1 4 】等提出了用b o o s tc h a i n 的概率输出来定位人脸关键特 3 i 绪论 征的方法。总体而言，目前非理想成像条件下、用户不配合、大规模人脸数据库上的 人脸识别问题逐渐成为研究的热点问题。而非线性建模方法、统计学习理论、基于 b o o s t i n g 的学习技术、基于3 d 模型的人脸建模与识别方法等逐渐成为备受重视的技 术发展趋势【1 5 1 。我们从认知学的角度出发，围绕着人类本身是如何通过整体特征和局 部特征来识别人脸的，可以将现有的人脸识别算法分为如下三大类：整体特征识别的 方法；局部特征识别的方法和混合特征识别的方法l l 引。 下面将简单介绍整体特征识别、局部特征识别和混合特征识别的方法。整体特征 识别的方法是把人脸区域的整体识别特征输入，而局部特征识别方法是把人脸区域的 局部特征输入给分类器。混合匹配方法：正如人类的感知系统同时使用整体特征和局 部特征来识别人脸一样，机器识别也可以把整体特征和局部特征结合起来。 1 2 2 1 整体特征识别的方法 早期的整体特征识别方法，直接用两幅灰度图像的相关系数大小来分类。在1 9 8 7 年和1 9 9 0 年k i r b y 和s i r o v i c h 利用k l 变换表示人脸【l7 1 ，但没有应用在人脸识别中。 1 9 9 1 年t u r k 1 8 】等提出特征脸的概念，并成功地应用地在人脸识别中，后来特征脸方 法就成了评测各种新算法的基准。2 0 0 2 年y a n g 冯】等提出了对称特征脸方法( s p c a ) ， 充分利用了人脸的对称性，在2 0 0 4 年提出了二维p c a 的方法，这种方法不需要把图 像表示成高维向量。尽管p c a 在人脸识别领域取得了巨大成功，但作为非监督的学 习方法，它没有利用类别信息。因此1 9 9 6 年s w e t s 2 0 l 等提出了使用线性鉴别分析检 索图像的方法，能较好地利用了类别信息。次年，b e l h u m e u r 2 l 】等就提出了f i s h e r f a c e 的概念，并成功的应用在人脸识别中。m a r t i n e z 等和z h a o 等分别在2 0 0 1 年和1 9 9 8 年强调了l d a 方法的过拟合问题f 2 2 1 。为了解决多峰高斯分布情况下性能下降的比较 厉害的问题， z h o u 在2 0 0 4 年提出了m u l t i e x e m p l a rl d a 算法 2 3 1 。2 0 0 4 年w a n g 等 充分利用了主空间和零空间的信息，提出了d u a l s p a c el d a 方法 2 4 1 0 7 1 ，此方法后来 发展成为联合子空间方法。另一种子空间方法是独立主分量分析( i c a ) 【2 5 】，i c a 最初 用来解决盲源信号分离问题，在1 9 9 1 年形成了它的理论体系。上述方法都是线性变 换技术，为了使它们能够适用于非线性问题。人们提出了许多基于核( k e r n e l ) 子空间 方法，隐式地在高维空间中完成降维。这类方法首先起源于1 9 9 8 年的k e r n e lp c a ( k p c a ) 2 6 1 。2 0 0 0 年b a u d a t 等提出了k e r n e l 鉴别分析方法( k d a ) 。2 0 0 4 年z h o u 提出 4 l 绪论 了k e r n e l 化的p p c a 方法，称为p k p c a 。 上述方法主要是从降维角度考虑的，而从分类器角度考虑，最出色的工作莫过于 s v m 了。s v m 的优化目标是结构风险最小，是一种基于m a r g i n 的方法。即使样本 很少，它也有很强的推广能力。另外一种简单有效的分类器是l i 等在1 9 9 9 年提出的 最近邻特征线法( n f l ) ，这种方法也有很好的推广特性。2 0 0 2 年c h i e n 等进一步把 n f l 推广为最近邻特征面( n f p ) 和最近邻特征空间( n f s ) 【2 7 1 。近年来，许多学者专家 在这些算法的基础上，衍生出来了许多的改进算法，有效的提高了识别正确率和速度。 1 2 2 2 局部特征识别的方法 全局匹配的方法把人脸图像的整体特征作为输入，而局部匹配方法则是利用人脸 中某些局部特征信息来识别人脸。基于局部特征的方法对光照、表情、遮挡、姿态变 化等不利因素有较好的抵抗力，而基于全局的方法由于涵盖了人脸整体的信息，上述 不利因素都会直接导致这类方法的性能下降。1 9 9 3 年b r u n e l l i 用四个人脸部件区域做 模板匹配，而隐马尔科夫模型h m m 与上述方法不刚5 4 1 ，它只需按从左到右、从上到 下的顺序相互重叠的构成h m m 的观测向量。其它基于局部特征识别的方法中，有 1 9 9 6 年p e n e v 2 8 】提出的局部特征分析( l f a ) 和1 9 9 7 年w i s k o t t 提出的弹性图匹配法 ( e b g m ) 。2 0 0 1 年h e i s e l e 3 3 】等的方法选取了1 4 个重要的人脸区域，并用s v m 作为 分类器。2 0 0 3 年h e i s e l e 等把他们提出的局部方法和全局方法进行了比较，发现局部 方法对姿态等变化有着很强的鲁棒性【3 0 1 。2 0 0 4 年，l u c e y 选用了6 个椭圆区域，并用 混合高斯模型来表示它们的概率分布。 1 2 2 - 3 混合特征识别的方法 混合特征识别方法就是把局部特征和全局特征结合起来的方法。1 9 9 4 年p e n t l a n d 等把全局的特征脸同局部的特征眼、特征鼻等结合起来，使识别率有所提高。1 9 9 5 年l a n i t i s 等在a s m 的基础上，同时使用形状信息、局部特征点和形状无关的全局纹 理信息【3 i 】。1 9 9 6 年p e n e v 等提出了p c a 和l f a 相结合的方法。尽管有众多的人脸识 别方法存在，但是还没有哪种普适的方法在任何情况下都比其它方法好，只能说一种 方法比另一种方法在某些条件下要好。 1 2 3 训练集、测试集和人脸库 为了研究人脸识别的理论和评估各方法的性能，一些知名的研究机构构建了许多 5 i 绪论 标准人脸库【3 2 】。常用的人脸数据库有：剑桥大学的o r l 库、耶鲁大学的y a l ea 人 脸库和y a l eb 人脸库、麻省理工大学的m i t 库、伯尔尼大学的b e r n 库、卡内基梅隆 大学的p i e 库、普度大学的a r 3 4 1 库以及著名的f e r e t 3 3 1 库。另外，还有韩国p o h a n g 科技大学的亚洲人脸库p f 0 1 ( p o s t e c hf a c e0 1 ) 库，台北的i i s 库，中国科学院研究生 院网络多媒体研究中心的j d l t ”1 库等。表1 1 列出各库的基本情况。本文的所有实验 中的训练集和测试集都是从公共人脸数据库中构建的。 表1 1 常用人脸识别库及介绍 人脸数据库名称网址基本信息介绍 h t t p ：r v l l e c n p u r d e e d u 、a l e i x a包括不同面部表情、遮挡和不同光照条 p u r d u ed a t a b a s e 1i e x f a c e 件下的3 2 7 6 张人脸图像 包括f i 同人脸表情、光照条件以及戴眼 y a l ed a t a b a s e h t t p ： c v c 。y a l e e d u 镜的人脸图像 m i tm e d i al a b s f t p ：w h i t e c h a p e l m e d i a m i t e d u p u1 6 人，没人2 7 张人脸图像，包括不同 d a t a b a s e b i m a g e s 的光照、缩放比例和旋转角度 由1 0 0 0 人的9 0 0 0 幅包含不同的表情和 j d lf a c ed a t a b a s eh t t p ：w w w j d a c c n 姿态的正面彩色人脸图片组成 包括4 0 个人的4 0 0 人脸图像，没人l o a t & t d a t a b a s e h t t p ：i l 礓秣u k r e s e a r c h a t t c o m 张 训练集包括6 9 7 7 个样本，2 4 2 9 张裁剪 h t t p ：w w w a i m i t e d u p r o j e c t s c b c 的人脸和4 5 4 8 张非人脸。测试集包括 m i tc b c l f a c ed a t as e t 1 s o f t w a r e - d a t a s e t s f a c e d a t a 2 h t m l 2 4 0 4 5 张图像，4 7 2 张人脸和2 3 5 7 3 张非 人脸 h t t p ：c v c y a l e e d u p e o p l e f a c u l t y经过裁剪的不同光照条件下的正面人脸 h a r v a r dd a t a b a s e b e l h u m e u r h t m l 图像 一个比较全面的人脸库，包括各种不同 f e r e td a t a b a s e h t t p ：w w w n i s t g o v s r d 用途的人脸图像 1 3 论文的出发点和主要工作 对人脸识别技术的研究，主要是围绕人脸检测和定位、人脸表征和特征提取以及 人脸分类展开的。除了以身份识别为目的的研究外，通过对人脸图像的分析，还可以 进行表情和姿态分析以及生理分析等3 6 1 。人脸检测和定位主要是指从各种不同的场景 与复杂的背景中检测出人脸的存在并且确定其位置，然后分离出来；人脸表征和特征 6 l 绪论 抽取是指采用某种高效且判别性好的表示方法来表示检测出的人脸以及数据库中所 存储的人脸信息；人脸分类是指采用一定的分类方法，将待识别的人脸与数据库中已 知人脸比较，得出识别结果：表情和姿态分析则是对待识别人脸的表情或姿态信息进 行分析，并对其加以归类，结果可以用于人机交互系统中；生理分析是通过对待识别 人脸的生理特征进行分析，得出其年龄、性别甚至健康状况等相关信息【3 6 1 。 本文的研究工作主要包括以下几个方面： ( 1 ) 本文首先对人脸识别研究的历史和发展现状作了粗略回顾，然后对人脸识别 中的一些主要算法作了比较简单地介绍。最后还介绍了目前人脸识别系统的评测情况 及国内外主要的公用人脸数据库，在此基础上分析了当前人脸识别研究面临的挑战及 可能的技术发展趋势。 ( 2 ) 提出了一种结合s v m 和a d a b o o s t 的人脸检测算法。该算法先根据训练样本 中的人脸和非人脸区域训练作为分量分类器的s 形核函数支持向量机( s k s v m ) ，然后 通过a d a b o o s t 算法把这些分量分类器组合成一个总体分类器；再利用该总体分类器 来区分测试样本中的人脸和非人脸区域，得到人脸区域的新位置。实验结果表明，该 算法不但提高了识别的正确率，而且大大提高了检测速度。 ( 3 ) 对通过人脸检测所提取的人脸区域进行图像预处理，然后运用核主成分分析 方法提取人脸图像的整体特征。同时再通过简单的图像划分方法将人脸区域划为成均 匀小块，并用k i c a 方法提取每一小块的识别特征矩阵，然后在此基础上基于模糊融 合的原理得出所有小块的总体识别特征。 ( 4 ) 针对光照、表情、遮挡物( 眼睛、围巾) 等因素的影响，提出了一种融合整 体和局部特征的人脸识别算法。基于改进后的d s 证据理论原理对全局与局部特征所 得到的识别结果进行决策级融合得出最终识别结果。由a r 和j d l 标准人脸图像库的 实验仿真及对比结果表明，本文算法对于光照、表情变化及遮挡物具有良好的适应性， 获得了较高的识别率。 1 4 论文的结构安排 论文的结构安排如下： 第一章绪论，介绍了本课题的背景及意义，对与本课题有关的研究现状做 7 1 绪论 了一个简要的介绍。 第二章基于s v m 和h d a b o o s t 的人脸检测，提出了一种基于s v m 和a d a b o o s t 人 脸检测算法，检测到人脸的位置，并分割出人脸区域。 第三章核主成分分析与全局特征提取，先对所提取的人脸区域进行预处理，并 运用核k p c a 算法提取分割后的人脸区域的整体识别特征。 第四章局部特征的提取与融合，运用简单的图像划分方法将人脸区域划为成均 匀小块，并用k i c a 方法提取每一小块的识别特征矩阵，然后在此基础上基于模糊融 合的原理得出所有小块的总体识别特征。 第五章基于d s 证据理论的整体与局部特征的融合，运用改进后的d s 证 据理论对全局与局部特征所得到的识别结果进行决策级融合得出最终识别结果。 第六章总结和展望，对全文进行概括性总结，并指出进一步研究方向。 1 5 本章小结 简单介绍了人脸识别的一般过程，以及人脸识别的一些重要概念、评测标准等。 同时对当前国内外人脸识别的研究现状做了简单的回顾，并把现有的人脸识别方法分 为整体特征识别方法、局部特征识别方法和混合匹配方法。最后还介绍了目前人脸识 别系统的评测情况及国内外主要的公用人脸数据库，在此基础上分析了当前人脸识别 研究面临的挑战及可能的技术发展趋势。 8 2 基于s v m 和a d a b o o s t 的人脸检测算法 人脸检澳l j ( f a c ed e t e c t i o n ) 是指对于任意给定的一幅图像，通过一定的搜索算法， 判断其中是否包含人脸，如果存在则给出人脸的位置、大小。近年来，人脸检测在视 频监控、人脸识别、人机交互以及人脸数据库的管理应用中扮演着越来越重要的角色， 它已经成为模式识别、计算机视觉与人机交互等研究领域的热点之一【3 8 】。在人脸检测 问题中，代表人脸的正样本和代表非人脸的负样本在概率分布上是极度不均衡的，在 重要性上也存在差异，因此我们可以把人脸检测问题看作是一个非对称的两类分类问 题。我们容易得到足够的代表人脸的正训练样本，但却难以得到用于训练和测试的非 人脸的负样本集合，非人脸样本的匮乏增加了分类器学习和训练的困难。针对人脸检 测问题的特点，研究者们采用多种学习算法进行了尝试。p a p a g e o r g i o u 3 9 采用基于冗 余小波特征的支持向量机( s v m ) 来构建检测算法。v i o l a 和j o n e s 则提出了一个基于级 联结构的a d a b o o s t 分类器【4 0 】，级联结构由多级分类器组成，每一级的分类器都采用 a d a b o o s t 算法进行训练。该方法采用了的a d a b o o s t 算法，其训练过程中参数的选择 准则是训练集错误率上界的最小化，但是错误率上界的最小化并不能保证错误率的最 小化，因而a d a b o o s t 分类器实际上并不是最小错误率的分类器。此外，a d a b o o s t 算 法是基于对称的两类分类问题的，正样本的错误率f r r 和负样本的错误率f a r 在训练 过程中处于平等的地位，然而在人脸检测问题中的级联结构中，这样的假设不再成立。 因此本文提出了一种将s v m 和a d a b o o s t 相结合的新算法，该算法把人脸检测看作 是一个两类的分类问题，并在线训练分量分类器来区分入脸和非人脸区域。 2 1 支持向量机 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 的基本思想删是：定义最优线性超平 面，并把寻找最优线性超平面的算法归结为求解一个凸规划问题；进而基于m e r c e r 核展开定理，通过非线性映射妒把样本空间映射到一个高维乃至于无穷维的特征空 9 2 基于s v m 和a d a b o o s t 的人脸榆测算法 间，使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和 回归等问题。 设给定训练样本( x l ，y 1 ) ，( 勃，y 疗) ，y i ( - i ，1 ) ，超平面方程为( 国0 ) + b = 0 ，则 分类函数就是g ( 工) = ( x i ) + 6 。将分类函数归一化，使两类样本都满足i g ( x ) i o ，江1 ，2 ，刀 ( 2 1 ) m a 咖彳。 图2 1 最优分类面示意图 如图2 1 所示，此时分类间隔等于2 h i ，使间隔最大等价于使忪| | 2 最小，满足公 式( 2 1 ) 式圭忪1 1 2 = 互1 沏国) 的最小分类面h 叫做最优分类面，q ，马上的训练样本 点就称作支持向量。对于线形不可分的情况可以通过构造新的特征向量，将问题转化 到一个新的空间，也就是利用内积函数的非线性映射将输入向量投影到一高维空间， s v m 能在