（计算机应用技术专业论文）鲁棒性多生物特征身份识别中若干关键问题的研究.pdf

摘要 摘要 生物特征识别认证技术可分为单模式( u n i m o d a l ) 生物特征识别认证和多模 式( m u l t i m o d a l ) 生物特征识别认证技术。目前的每种单模式生物识别认证技术在准 确率、用户接受程度、成本等方面都有一定的限制。相对单模式生物特征认证技 术，多模式生物特征认证技术利用了多个生物特征，结合了数据融合技术，进一 步提高了认证的准确率，有效的解决了单模式生物特征识别认证技术的限制和缺 点。但是多生物特征识别技术均受到单生物特征识别技术成熟度的影响。目前， 由于单生物特征识别技术还不完善，因而目前的多生物特征识别技术的系统鲁棒 性不尽人意。同时系统在处理样本维数高和训练数据量少的情况下的识别任务时 还存在很多问题。针对以上问题，本文以人脸与语音为生物识别认证特征体，研 究了多模式生物特征的鲁棒快速身份识别认证问题。本论文的主要贡献总结如下： 1 ) 在通过对目前人脸识别算法的研究与总结的基础上，本文首先基于二分类 高斯过程分类器与人脸小波特征提出了一种新的人脸识别算法。该算法首先用小 波变换特征提取人脸图像特征，并用二分类的高斯过程分类器作为基本的分类器， 为了实现多分类任务，该方法采用了二叉树结构来扩展了两分类的高斯过程分类 器为多分类器实现了多类人脸图像识别新模型j 实验表明新算法对理想情况的人 脸图像具有很高的识别率。但是由于人脸旋转角度、光线条件、环境因素变化的 影响，该算法和传统识别系统一样，对非可控情况下的人脸图像识别率并不理想， 并且也缺乏对人脸图像局部扭曲和遮盖污染方面的鲁棒性。 2 ) 为了解决在环境因素变化情况下的鲁棒人脸识别问题，本文提出了一种基 于联想记忆模型的模型自适应更新算法，并将该算法与对亮度和表情变化不敏感 的g a b o r 特征相结合构建了一种新的鲁棒人脸识别方法。该方法采用所提出的模 型自适应更新方法在真实识别前用模型自适应阶段获得的人脸图像数据对模型进 行自适应补偿，从而减小了模型和识别数据间的失配，提高了识别率。 3 ) 针对人脸图像局部扭曲与遮盖人脸识别问题，本文提出了一种后验联合决 策神经网络新模型( p o s t e r i o ru n i o nd e c i s i o n - b a s e dn e u r a ln e t w o r k , p u d b n n ) 。该 模型为概率判别神经网络( p r o b a b i l i s t i cd e c i s i o nb a s e dn e u r a ln e t w o r k ，p d b n n ) 的 改进模型。不同的是新模型中，后验联合模型( p o s t c r i 0 1 u n i o nm o d e l ，p u m ) 被 摘要 作为隐层有机的结合进p d b n n 模型中，形成了一种新型的三层神经网络模型。 该模型在对局部图像污染的先验知识未知情况下，自动的选择了最优的局部特征 子集进行识别，减少了被污染的局部特征子集对识别的影响，因此提高了识别率。 在x m 2 v t s ，a t & t 和a r 数据库上的测试结果表明了新算法的优越性。 钔但是p u d b n n 模型是基于高斯混合模型作为其基函数。同其他采用高斯混 合模型的识别系统一样。p u d b n n 模型遭受了特征维数与训练样本数量的限n - 1 ) 在人脸特征维数很高时，高维高斯概率计算很容易产生下溢错误；2 ) 由于在 小训练样本情况下无法精确的估计高斯混合模型参数，因而对于小训练样本的情 况，识别率不是很理想。为了解决p u d b n n 模型的缺点，本文提出了一种改进 型的p u d b n n 方法。该算法采用了两种方案来对p u d b n n 模型进行算法改进。 其一采用图像补偿技术增加了训练样本。其二采用了一种概率分布估计算法来代 替了传统的高斯分布计算，计算了似然值。改进后的算法在d , i ) l l 练样本和特征维 数较大的情况下在局部图像污染时能达到较好的识别率。 5 ) 进一步，为了解决在d , i ) l l 练样本与高维人脸特征情况下，对光线变化和人 脸图像局部污染两种污染情况鲁棒的入脸识别问题。结合对光线变化和图像旋转 不敏感的分块g a b o r 特征，本文提出了一种基于相似度的新m e x p o n e n t 模型。新 模型用一种新的m e x p o n e n t 相似度代替了概率计算，来实现了后验联合模型。由 于新的m e x p o n e n t 相似性计算并不受特征维数和训练样本数目的限制，因此新模 型不仅对光线变化、人脸图像局部扭曲和遮盖鲁棒，而且还具有，能够处理t j , i j l i 练样本、高维人脸特征和不需要模型训练等优点。 6 ) 对于鲁棒说话人识别问题，本文采用了双麦克风语音信号采集方案，并在 传统抗干扰噪声消除器( c r o s s t a l kr e s i s t a n t a d a p t i v en o i s ec a n c e l l e r ，c t r a n c ) 的基础上提出了一种改进的c t r a n c 算法。采用该算法在识别前进行语音增强 处理，并结合了p u m 的h m m 识别模型，本文构建了新的说话人识别系统。 7 ) 本文最后基于文中提出的新算法和新模型，构建了一套双生物特征的身份 识别系统。本论文的研究内容不但在人脸识别和说话人识别理论层面具有一定的 参考价值，更关键的是本文的研究结果对于设计开发鲁棒、适用的身份识别系统 具有一定的借鉴意义，所提出的若干关键技术已经获得了实际的应用。 关键词：多生物特征识别认证，鲁棒人脸识别，鲁棒说话人识别，p u d b n n ，局 部图像污染扭曲 a b s t r a c t a b s t r a c t p e r s o ni d e n t i c i f a t i o no rr e c o g n i t i o nb yb i o m e t r i c - c h a r a c t e r si sap r a c t i c a lp r o b l e m ， a n dh a saw i d er a n g eo fa p p l i c a t i o n si ns e c u r i t y t h eb i o m e t r i c si d e n t i c i c a t i o n t e c h n o l o g ye a r lb ec l a s s i f i e di n t ot w oc l a s s e s ，1 ) u n i m o d a lb i o m e t r i cs y s t e m sa n d2 ) m u l t i m o d a lb i o m e t r i cs y s t e m s t h es y s t e m sr e l i e do nu n i m o d a lb i o m e t r i ch a v et o c o n t e n dw i t hav a r i e t yo fp r o b l e m ss u c ha sn i c e t ya n dc o s t s o m eo ft h e s el i m i t a t i o n s c a l lb ea d d r e s s e db ym u l t i m o d a lb i o m e t r i cs y s t e m s h o w e v e r , t h em u l t i m o d a lb i o m e t r i c s y s t e m sa l la r eb a s e do nu n i m o d a lb i o m e t r i cr e c o g n i t i o nt e c h n o l o g y , a n dt h u ss u b j e c tt o t h es a m ep r o b l e m sa su n i m o d a lr e c o g n i t i o na p p r o a c h e s ，s p e c i a lf o rr o b u s t e n e s sa n d r e c o g n i t i o nu n d e rs m a l ln u m b e ro ft r a i n i n gs a m p l e sf o re a c hc l a s st ob ei d e n t i f i e d i nt h i st h e s i s ，0 1 1 1 r e s e a r c hf o c u s e so no v e r c o m i n ga b o v ep r o b l e m sa n dp r o p o s e sa r o b u s tu l t i m o d a lb i o m e t r i cs y s t e mb a s e do nf a c ea n ds p e e c hh u m a nf e a t u r e s t h em a i n c o n t r i b u t i o n so ft 1 1 i st h e s i si n c l u d e s ： 1 ) b yt h er e s e a r c hw o r k so nc u r r e n tf a c er e c o g n i t i o nm e t h o d s ，i nt h i st h e s i s ，a n e wf a c er e c o g n i t i o na p p r o a c hb a s e do nw a v e l e tf a c ef e a t u r e sa n db i n a r yg a u s s i a n p r o c e s sc l a s s i f i e r si sp r o p o s e d t h i sm e t h o de m p l o y sab i n a r yt r e em e t h o dt oe x t e n dt h e a b i l i t yo fb i n a r yg a u s s i a np r o c e s sc l a s s i f i e r sf o rd e a l i n gw i t hm u l t i - c l a s sp r o b l e m e x p e r i m e n t su n d e rc o n t r o l l e dc o n d i t i o n ss h o wt h ee f f e c t i v e n e s so ft h i sn e wa l g o r i t h m h o w e v e r , t h es a m ea so t h e rs y s t e m sd e s i g n e dt od a t ew o r km a i n l yf o ri m a g e st h a ta r e c a p t u r e du n d e rc o n t r o l l e dc o n d i t i o n s t h e yu s u a l l yl a c kr o b u s t n e s sw h e nd e a l i n gw i t h i m a g e si n v o l v i n gu n e x p e c t e dm i s m a t c h e s ，i n c l u d i n g , f o re x a m p l e ，m i s m a t c h e dp o s e , f a c i a le x p r e s s i o na n di l l u m i n a t i o n t h e ya lea l s os e n s i t i v et op a r t i a ld i s t o r t i o na n d o c c l u s i o n 2 ) f o rd e a l i n gw i t ht h er e c o g n i t i o np r o b l e mu n d e rv a r i o u sc o n d i t i o n s ，w ep r o p o s e ar o b u s tf a c er e c o g n i t i o na l g o r i t h mb a s e do ng a b o rw a v e l e tr e p r e s e n t a t i o n sa n dm o d e l a d a p t a t i o n t h em o d e l su s e di nt h i sw o r ka r ef r o ml i n e a ra s s o c i a t i v em e m o r ym e t h o d a n df a s tc o m p e n s a t e db ya d a p t i v e l yl e a r n i n gf r o mt h eg i v e nf a c i a ld a t a , w h i c ha l e o b t a i n e di ns a m ec o n d i t i o na st e s t i n g t h ep r o p o s e da d a p t a t i o na l g o r i t h mi si n c r e m e n t a l n i a b s t r a c t i th a sl o wt i m ea n ds p a c ec o m p l e x i t y b yc o m p e n s a t i n gm o d e l s ，t h i sm e t h o dc a l l e f f i c i e n t l yr e d u c e t h em i s m a t c hb e t w e e nm o d e l sa n d t e s t i n gd a t a , s u b s t a n t i a l l y i m p r o v i n gt h ep e r f o r m a n c eo f c l a s s i f i e r 3 ) f o c u s i n go nt h ep r o b l e mo fi m p r o v i n gt h er o b u s t n e s sa g a i n s tl o c a ld i s t o r t i o n a n do c c l u s i o n ，w ep r e s e n tan e wa p p r o a c ht of a c er e c o g n i t i o ns u b j e c tt ou n k n o 呱 p a r t i a l d i s t o r t i o na n do c c l u s i o n 1 1 1 en e wa p p r o a c hi sb a s e d0 1 1ap r o b a b i l i s t i c d e c i s i o n - b a s e dn e u r a ln e t w o r k ( p d b n n ) ，e n h a n c e db yas t a t i s t i c a lm e t h o dc a l l e dt h e p o s t e r i o ru n i o nm o d e l ( p u m ) p u mi sa na p p r o a c hf o ri g n o r i n gs e v e r e l ym i s m a t c h e d l o c a lf e a t u r e sa n df o c u s i n gt h er e c o g n i t i o nm a i n l yo nt h er e l i a b l el o c a lf e a t u r e s i t t h e r e b yi m p r o v e st h er o b u s t n e s sw h i l ea s s u m i n gn op r i o ri n f o r m a t i o na b o u tt h e c o r r u p t i o n w bc a l lt h en e wa p p r o a c ht h ep o s t e r i o ru n i o nd e c i s i o n - b a s e dn e u r a ln 咖o r k ( p u d b n n ) t h en e wp u d b n nm o d e lh a sb e e ne v a l u a t e do nt h r e ef a c ei m a g e d a t a b a s e s ( x m 2 v t s ，a t ta n da r ) u s i n gt e s t i n gi m a g e ss u b j e c t e dt ov a r i o u st y p e so f s i m u l a t e da n dr e a l i s t i cp a r t i a ld i s t o r t i o na n do c c l u s i o n t h en e ws y s t e mh a sb e e n c o m p a r e dt oo t h e ra p p r o a c h e sa n d h a sd e m o n s t r a t e di m p r o v e dp e r f o r m a n c e 4 ) h o w e v e r , l i k eo t h e rs t a t i s t i c a la p p r o a c h e s ，o n ed i f f i c u l to fp u d b n ni s i n a c c u r a t et om o d e lc l a s s e sw i t ho n l yas i n g l e ，o ras m a l ln u m b e ro ft r a i n i n gs a m p l e s i n t h i st h e s i s ，w ef u r t h e rp r o p o s e da l le x t e r na p p r o a c ht ot a c k l ea b o v ep r o b l e mb yt w o s t r a t e g i e s f i r s t l y , t h en e wa p p r o a c ha r t i f i c i a l l yc o n s t r u c t ss o m en e wt r a i n i n gd a t a 谢t l l o r i g i n a lt r a i n i n gi m a g e sf o rc o m p l e m e n t i n gt r a i n i n gd a t a m o r e o v e r , a l le f f i c i e n td e n s i t y e s t i m a t i o nm e t h o di su s e di n t op u d b n nt ot a c k l et h er e l i a b l el i k e l i h o o dd e n s i t i e s e s t i m a t i o nw i t hi n s u f f i c i e n tt r a i n i n gs a m p l e s 5 ) f u r t h e r , i nt h i st h e s i s ，w ep r e s e n tan o v e lr o b u s tf a c er e c o g n i t i o na p p r o a c h u n d e rp a r t i a lo c c l u s i o na n dv a r i a n ti l l u m i n a t i o n ，、7 l r i ms m a l ln u m b e ro ft r a i n i n gs a m p l e s 硼1 i sm e t h o di sa ne x t e n s i o no fo u rp r e v i o u sp o s t e r i o ru n i o nm o d e l t h en e wa p p r o a c h i sf o r m u l a t e db yu s i n gas i m i l a r i t ym g a s u r e ，c a l l e dm e x p o n e n ts i m i l a r i t y , i np l a c eo f t h ep r o b a b i l i t ym e a s u r e ，t h e r e b ya l l o w i n gt h eu s eo fas i n g l et r a i n i n gi m a g et or e p r e s e n t ac l a s s 1 1 1 en e wa p p r o a c ha c h i e v e si m p r o v e dr o b u s t n e s st op a r t i a lo c c l u s i o nb y f o c u s i n gt h er e c o g n i t i o nm a i n l yo nt h em a t c h e dl o c a lr e g i o n s ，w h i c ha r es e l e c t e d a u t o m a t i c a l l ys u b j e c tt oa no p t i m a l i t yc r i t e r i o nt om a x i m i z et h es i m i l a r i t yo ft h ec o r r e c t c l a s s 6 ) t 0i m p l e m e n tar o b u s ts p e a k e rr e c o g n i t i o ns y s t e m ，i nt h i st h e s i s ，am o d i f i e d a b s t r a c t e r o s s t a l kr e s i s t a n ta d a p t i v en o i s ec a n c e l l e ri sp r e s e n t e d a n db a s e do nt h i ss p e e c h e n h a n m e n ta l g o r i t h m ；w ep r o p o s ean e w a p p r o a c hf o rr o b u s ts p e a k e rr e c o g n i t i o n t h i s n e w a p p r o a c hc o n s i s t so ft w os t a g e s ：f i r s y ，t h em o d i f i e dc t r a n ca l g o r i t h mi su s e dt o s u p p r e s sn o i s e s ，w h i c hi ss u p p l i e dw i t l ln o i s ys p e e c ha n dp r o d u c e se n h a n c e ds p e e c ho f w h i c ho n l ys o m ep o r t i o n sr e m a i nc o r r u p t e db yn o i s e s u b s e q u e n t l yt h es e c o n ds t e pi st o u s ep o s t e r i o ru n i o nm o d e lt od e a l 、i mt h er e m a i n i n gu n k n o w n p a r t i a ln o i s ec o r r u p t i o n 7 ) f i n a l l y , am u t i l m o d a lb i o m e t r i cs y s t e mb a s e do nf a c ea n ds p e e c hc h a r a c t e r si s c o n s t r u c t e dr e l i e d0 1 1a b o v ep r o p o s e dn e wm e t h o d sa n dm o d e l s t h er e s e a r c ha c h i e v e m e n t so ft h i st h e s i sw o u l dn o to n l yc o n t r i b u t et ot h ep e r s o n i d e n t i t yt h e o r y , b u ta l s of a c i l i t a t et h ed e v e l o p m e n to fr o b u s ta n dp a r a c t i c a lp e r s o n i d e n t i t ya n dr e c o g n i t i o na p p l i c a t i o n s s o m eo ft h e s et e c h n o l o g i e sp r o p o s e di nt h i st h e s i s h a v eb e e ns u c c e s s f u l l ya p p l i e di n t op r a c t i c e k e y w o r d s ：m u l t i - b i o l o g i c a lf e a t u r e sr e c o g n i t i o n ，r o b u s tf a c er e c o g n i t i o n , r o b u s t s p e a k e rr e c o g n i t i o n ，p u d b n n ，p a r t i a lo c c l u s i o na n dd i s t o r t i o n v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：立逊日期：1 6 。7 年1 2 - b 3 1 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：越彰 第一章绪论 第一章绪论 1 1 多生物特征人物识别的应用领域与研究意义 随着信息化、数字化、网络化的发展，以及国家及社会生活在安全方面需求 的不断提高，传统的安全技术呈现出许多弊端和缺陷。生物特征认证技术成为解 决信息化、数字化、网络化社会安全问题的较好办法之一。生物特征认证又名生 物特征识别，是指通过计算机利用人体固有的生理特征或行为特征鉴别个人身份 的认证方法。生物特征认证与传统的密码、证件等认证方式相比，具有依附于人 体、不易伪造、不易模仿等优势，己经成为发达国家普遍重视并大力发展的关键 技术和产业。常用的生物特征包括脸像、虹膜、指纹、声音、笔迹等。 现代生物识别技术始于7 0 年代中期，由于早期的识别设备比较昂贵，因而仅 限于安全级别要求较高的部门或设施。现在由于微处理器及各种电子元器件成本 不断下降，精度逐渐提高，生物识别系统逐渐被应用于人们生活当中。在国家安 全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份 验证、司机驾照验证等是典型的应用。在民事和经济领域，各类银行卡、金融卡、 信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要的应用 价值。在计算机应用领域，生物特征识别将有助于建立友好的人机界面，增加系 统的安全性，在互联网的资料检索、数据挖掘等等方面也有着广泛的应用。将来 在家庭娱乐领域也具有些有趣有益的应用，比如能够识别主人身份的智能玩具、 家政机器人等。这些广泛的应用需求，有力地推动着生物识别技术的发展。 生物特征识别认证技术可分为单模式生物特征识别认证和多模式生物特征识 别认证技术。目前的每种单模式生物识别认证技术在准确率、用户接受程度、成 本等方面都有一定的限制，而且都有自己的缺点，仅适应于各自的应用场合。相对 单模式生物特征认证技术，多模式生物特征认证技术利用了多个生物特征，结合 了数据融合技术，进一步提高了认证的准确率，有效的解决了单模式生物特征识别 认证技术的限制和缺点。但是目前的多模式生物特征认证技术存在以下两大缺点： 鲁棒性较差和计算复杂度较高。如何提高系统鲁棒性和效率是目前多生物识别技 术要解决的技术难点。因此研究鲁棒和高效的多生物识别算法具有其重大的意义。 电子科技大学博士学位论文 1 2 基于人脸与语音的身份识别 基于生物特征的身份认证研究的基础是生物特征识别认证技术，它受到现有 生物特征识别认证技术成熟度的影响。在众多的生物特征中，人脸特征与语音特 征与其他生物特征识别技术相比，具有以下优势： 1 可以在隐蔽环境下采集生物特征数据，尤其适用于安全监控 人脸图像和语音数据的采集可以远距离和隐蔽的采集，这一点特别适用于解 决重要的安全问题、罪犯监控与网上抓逃等应用，这是指纹、虹膜、视网膜等其 他人体生物特征识别技术不能比拟的。 2 非接触式采集方式，容易让人们接受 不像指纹和虹膜的采集过程，人脸和语音数据采集不要求用户接触，避免了 用户的抵触情绪，比较符合一般用户的习惯，容易被大多数的用户接受。 3 图像与声音采集设备成本低 目前，中低档的u s b 、c c d c m o s 摄像头与麦克风价格已经非常低廉，基本 成为标准的外设，极大地扩展了人脸与说话人识别技术的实用空间；另外，数码 相机、数码摄像机和照片扫描仪，麦克风等摄像与语音采集设备在普通家庭的日 益普及进一步增加了其可用性。 因而人脸与说话人识别作为两种典型生物特征识别技术，以其自然性、高可 接受性等优点受到了人们的青睐。本文将以人脸和语音特征作为生物识别认证特 征体，研究基于多模式生物特征的鲁棒性身份识别认证技术。 1 2 1 人脸识别现状 人脸识别技术早在六七十年代就引起了研究者的强烈兴趣。最早的自动人脸 识别研究论文发表于19 6 5 年c h a r t & b l e d s o e 在p a n o r a m i cr e s e a r c hi n c 发表的技 术报告，到现在已有四十多年的历史。7 0 年代，美、英等发达国家开始重视人脸 识别的研究工作并取得进展。1 9 7 2 年，h a r m o n 用交互人脸识别方法在理论上与 实践上进行了详细的论述。同年，s a k a i 设计了人脸图像自动识别系统。8 0 年代 初t m i n a m i 研究出了优于s a k a i 的人脸图像自动识别系统。但早期的人脸识别一 般都需要人的某些先验知识，无法摆脱人的干预。 进入9 0 年代，由于高速度高性能计算机的出现，人脸识别技术有了重大突 破，进入了真正的机器自动识别阶段。1 9 9 0 年，b u h m a n n 和l a d e s 提出了弹性图 匹配技术( e l a s t i cg r a p hm a t c h i n g , e g m ) 【l 】，既保留了面部的全局结构特征，也 2 第一章绪论 对人脸的关键局部特征进行了建模。1 9 9 1 年，麻省理工学院的t u r k 提出的 e i g e n f a c e 方法【2 】目前已成为人脸识别的性能测试基准算法。b e l h u m e u r 等人于 1 9 9 6 年提出的f i s h e r f a c e 人脸识别方法【4 】目前仍然是主流的人脸识别方法之一。 同年，洛克菲勒大学( r o c k e f e l l e ru n i v e r s i t y ) 的a t i c k 等人提出局部特征分析技术 ( l o c a lf e a t u r ea n a l y s i s ，l f a ) 【研，目前该技术已商业化为著名的f a c e r 系统。 n e f i a n l 6 等人提出了一种基于h m m 的人脸识别方法。1 9 9 8 年“u 在基于贝叶斯 判别方法实现了人脸识别【3 1 。1 9 9 9 年b l a n z 叼等人提出了基于3 维的人脸模型为 人脸识别算法和人脸建模做出了重大贡献。 2 0 0 0 年后，人脸识别研究得到了前所未有的重视，人脸识别的研究变得非常 的热门，吸引了大量研究团体和研究人员的关注，人脸识别己成为了模式识别， 图像处理和人工智能领域最成功的应用之一。目前，世界范围内有很多的科研机 构设立了专门的研究组进行人脸检测和识别的研究。国外著名的人脸识别的研究 机构主要有英国的s u r r e y 大学视觉、语音和信号处理研究中心( c e n t e rf o rv i s i o n , s p e e c ha n ds i g n a lp r o c e s s i n g ) 、美国麻省理工学院( m i t ) 媒体实验室和人工智能实 验室、美国卡耐基梅隆大学( c m u ) 机器人研究所、美国i u n o i s 大学b e c k m a n 研 究所等。一些模式识别、计算机视觉领域的著名的国际会议( 如国际计算机视觉会 议i c c v ，国际计算机视觉和模式识别会议c v p r 、国际模式识别会议i c p r 等) 、 国际信号处理与语音信号处理会议( i c a s s p ) 和知名国际期刊( 如i e e e t r a n s a c t i o n s o l lp a t t e r n a n a l y s i s a n dm a c h i n e i n t e l l i g e n c e ，p a t t e r n r e c o g n i t i o n , i m a g ea n dv i s i o nc o m p u t i n g ，c o m p u t e r gv i s i o n 等) 都设立了专门的人 脸识别专题。 我国的人脸识别技术的研究起步较国际要晚，但发展较快。9 0 年代中后期以 来，国内的一些科研机构和高校在自然科学基金、8 6 3 计划、攀登计划等资助下， 开始对人脸识别的研究，主要有清华大学、北京大学、中国科学技术大学、大连 理工大学、东南大学、上海交通大学和哈尔滨工业大学等高校，中国科学院计算 技术研究所、中国科学院自动化研究所、中国科学院声学所等科研所。中国科学 院计算技术研究所开发的人脸识别系统曾在党的十六大会场试用，该所还建立了 一个联合实验室继续开发和推进人脸识别的应用，该所在b v c 2 0 0 4 的竞赛中获 第一名。清华大学电子工程系丁晓青教授研究组在i c p r 2 0 0 4 的竞赛以全部测试 指标均第一而获得人脸认证竞赛“全面性能最佳成就奖 ，清华大学电子工程系 承担的十五攻关课题“人脸识别查询技术已通过公安部的验收和鉴定。2 0 0 8 年 北京奥运会，我国已采用公安部研制的“人脸识别系统为奥运会保驾护航。 3 电子科技大学博士学位论文 然而目前的人脸识别技术还只是研究课题，尚不是实用化领域的活跃课题， 利用计算机进行完全自动的人脸识别还存在许多困难。 1 2 2 说话人识别现状 对说话人识别的研究始于2 0 世纪3 0 年代，早期的工作主要集中在人耳听辨实 验和探讨听音识别的可能性方面。随着研究手段和工具的改进，研究工作逐渐脱 离了单纯的人耳听辨。b e l l 实验室的l g k e s t a 等用目视观语谱图的方法进行识别， 提出了“声纹 ( v o i c e p r i n t ) 的概念之后，随着电了技术和计算机技术的展，使通 过机器自动识别人的声音成为可能。b e l l 实验室的s p r u z a n s k y 等提出了基于模式匹 配和概率统计方差分析的说话人识别方法，引起信号处理领域许多学者的注意， 形成了说话人识别研究的一个高潮，其间的工作主要集中在各种识别参数的提取、 选择和实验上，并将倒谱和线性预测分析等方法应用于说话人识别。现在，说话 人识别的研究重点转向语音中说话人个性特征的分离提取、个性特征的增强、对 各种反映说话人特征的声学参数的线性或非线性处理以及新的说话人识别模式匹 配方法上，如动态时间规整( d t w ) 【8 1 、主分量分析( p c a ) 【9 1 、矢量量化( v q ) b o ， 隐马尔可夫模型( h m m ) 1z 】和人工神经元网络方法( m 州) 【1 2 j 以及这些方法的组合 技术等。 近年来，随着数字滤波、快速傅立叶变换、线性预测编码、同态信号处理、 等算法的不断出现和完善，加上微电子技术的发展和计算机的普及，在这一领域 的研究取得了很大进展，商业系统也逐渐开始在一些领域得到应用，a t & t 应用声 纹识别技术研制出了智慧卡( s m a r tc a r d ) ，己应用于自动提款机。欧洲电信联盟在 电信与金融结合领域应用声纹识别技术，1 9 9 8 年完成了c a v e ( c a l l e rv e r i f i c a t i o n i nb a n k i n ga n dt e l e c o m m u n i c a t i o n ) 计划，并同年又启动tc a s s o ( p i o n e e r i n gc a l l a u t h e n t i c a t i o nf o rs e c u r es e r v i c eo p e r a t i o n ) 计划，在电信网上完成了声纹识别。同 时，m o t o r o l a 和v i s a 等公司成立了v - c o m m e r c e 联盟，希望实现电子交易的自助化， 其中通过声音确定人的身份是此项目的重要组成部分。其它的一些商用系统还包 括r r r 公司的p e a k e r k e y , k e y w a r e 二公司的v o i c e g u a r - d i a n ，t n e t i x 公司的 s p e a k e z 等t 1 3 - 1 5 1 。 国内有关说话人识别的研究相对较少，各大科研机构和高校的主要研究对象 是连续自然语言识别。我国自执行8 6 3 计划以来，语音识别和说话人识别技术不断 发展，研究水平已经基本跟上国外。国内开展声纹识别研究比较早的机构有北京 4 第一章绪论 大学、中科院声学所、中科院自动化所、清华大学等，并先后得到了国家自然科 学基金重大和重点项目、攀登计划等基金的支持，取得了丰硕的研究成果。国内 比较成功的商用系统主要有：中国科学院自动化所模识科技公司推出的 p a t t e k s v 声纹识别产品和电话身份认证系统，集成了基于声纹的身份认证技术 和语音识别技术，可以通过一个电话语音对话系统与用户交流，在人机语音对答 的过程中在后台进行用户的身份认证。另外，还有北京得意音通技术有限责任公 司开发的“得意 身份证开发工具和“声纹锁 等。 总之，说话人识别技术目前己经取得了很大的进步，但总是在各种限定的条 件下才能获得满意的效果，在实际使用环境下，系统性能总是要受到很多因素的 影响。这些因素包括说话者自身心理或生理因素的变化、采集环境的变化、通道 传输特性的变化，以及训练和测试的数据量等都会造成说话人识别系统识别率的 下降。此外，开集说话者识别时，拒识方法的鲁棒性也影响系统的识别率。尽管 说话人识别的研究己有半个世纪了，但现有的说话人识别系统仍存在许多困难， 还远远达不到社会对其实用化的普及要求。 1 3 本论文主要工作和创新 本论文将以人脸、语音为生物识别认证特征体，研究基于多模式生物特征的 鲁棒性身份识别认证技术，研究内容包括高效和鲁棒型人脸识别算法、高效和鲁 棒的说话人识别认证模型和方法、信息融合模型。重点研究人脸图像存在局部扭 曲和遮盖情况下的鲁棒性人脸识别认证新技术和新模型、在复杂的光线变化情况 下的人脸识别问题、小训练样本和高特征维数情况下的鲁棒人脸识别算法、在复 杂背景噪声情况下的鲁棒性说话人识别新技术与新模型，以及如何构建选举空间 来最有效的融合人脸与说话人识别信息。本论文的主要工作分为两部分，第一部 分工作对人脸识别技术进行研究。通过对传统的人脸识别系统进行研究，提出新 颖的人脸识别方法。并且在分析人脸图像局部污染和光线等环境因素变化对人脸 识别系统的影响的基础上，进一步研究解决d , i j i i 练样本、高维特征情况下的对人 脸图像局部污染和光线变化鲁棒的人脸识别新算法和模型。第二部分工作为对双 麦克风语音增强算法进行研究，并提出噪声环境下的鲁棒性说话人