（计算机软件与理论专业论文）自适应pso融合的多模态生物特征识别方法.pdf

摘要 摘要 生物特征识别技术是利用个体所固有的生理和行为特征来进行身份鉴定的技 术。与传统的身份验证手段相比，生物特征识别技术具有防伪性好、便于携带、 不易丢失、不易遗忘的优点。虽然单一的生物特征识别技术( 单模态) 具有众多 优点，但是每种单模态识别的准确率是有限的，都存在各自的缺点，适合应用于 不同的场合。多模态生物特征识别是融合多种生物特征对个体进行身份验证的技 术。通过多生物特征融合的方法，可以提高生物特征识别系统的准确率等性能， 因此具有广阔的应用前景，是当前生物特征识别领域研究的热点。 本文提出了自适应p s o 融合算法，在决策层上解决多生物特征融合的问题。 在本文提出的方法中，多模态的融合被构造成贝叶斯决策融合的形式，自适应p s o 融合算法可以最小化融合系统的贝叶斯风险，搜索得到最优的多模态融合决策规 则，从而构造出一个最优的多模态融合系统。为了提高融合算法的性能，本文进 一步提出了最小速率限制的二进制p s o 算法a i s m v l b p s o ，该算法采用最小速 率阈值对p s o 颗粒的搜索速率进行限制，从而可以有效改进算法的收敛能力。 为了验证自适应p s o 融合算法的有效性，本文使用自适应p s o 融合算法融合 人脸和指纹两种单模态的生物特征识别方法，并在o r l 、u m i s t 人脸数据库以及 m c y t 指纹数据库上设计实现了对比实验。实验表明，多模态生物特征识别系统 的性能要优于人脸、指纹两种单模态识别系统的性能。自适应p s o 融合算法可以 根据单模态识别方法的性能差异，自动选择最优的融合决策规则来最优化多模态 系统的识别结果。根据自适应p s o 融合算法，本人设计实现了多模态生物特征识 别系统m u l t i b i s ，本文对m u l t i b i s 系统的设计框架、系统实现、系统性能等作了 详细介绍。 关键词；颗粒集群算法，融合，多模态，人脸识别，指纹识别 a b s t r a c t b i o m e t r i c si st h et e c h n o l o g yw h i c hr e f e r st oi d e n t i f y i n ga ni n d i v i d u a lb a s e do nh i s o rh e rp h y s i o l o g i c a lo rb e h a v i o r a lc h a r a c t e r i s t i c s c o m p a r e dt ot r a d i t i o n a li d e n t i f i c a t i o n a n dv e r i f i c a t i o nm e t h o d s ，b i o m e t r i c si sm o r ec o n v e n i e n tf o ru s e l s ，r e d u c e sf r a u d ，a n d c a nn o tb ef o r g o t t e no rr e p l a c e d b i o m e t r i c sh a sb e e np r o v e nt ob es u c c e s s f u la n dh a s b e e na p p l i e di ns o m ef i e l d s ，h o w e v e r , e a c hs i n g l eb i o m e t r i cm o d a l i t y ( u n i m o d a l ) h a si t s a d v a n t a g e sa sw e l la sd r a w b a c k s a n dt h ec i t e rr a t e sa s s o c i a t e dw i t hu n i m o d a lb i o m e t r i c s y s t e ma r eq u i t eh i g hw h i c hm a k e st h e mu n a c c e p t a b l ef o rd e p l o y m e n ti ns e c u r i t y c r i t i c a la p p l i c a t i o n s s o m eo ft h e p r o b l e m st h a ta f f e c tu n i m o d a lb i o m e t r i cs y s t e mc a n b e a l l e v i a t e db yu s i n gm u l t i m o d a lb i o m e t r i ct r a i t s s y s t e m st h a tf u s em u l t i p l eg a l e s o b t a i n e df r o mt w oo rm o r eb i o m e t r i ci n d i c a t o r sf o rt h ep u r p o s eo fp e r s o nr e c o g n i t i o n a l ec a l l e dm u l t i m o d a lb i o m e t r i cs y s t e m s m u l t i m o d a ls t r a t e g ya n df u s i o ns c h e m ec a l l s i g n i f i c a n t l yi m p r o v e t h eo v e r a l l a c c u r a c y o ft h eb i o m e t r i cs y s t e m m u l t i m o d a l b i o m e t r i c sh a sb e e nr e c e i v i n gal o to fa t t e n t i o ni nt h er e c e n ty e a r s t h i sd i s s e r t a t i o np r e s e n t sa na d a p t i v ep a r t i c l es w a r mo p t i m i z a t i o nf u s i o n ( a f s o f ) a l g o r i t h mw h i c hc a nf u s em u l t i p l eb i o m e t r i cm o d a l i t i e sa tt h ed e c i s i o nl e v e l t h ef u s i o np r o b l e mi sd e s i g n e da sab a y e s i a nd e c i s i o nf r a m e w o r ka n dt h ea p s o f a l g o r i t h mc a na u t o m a t i c a l l ya d j u s tt h eo p t i m u md e c i s i o nf u s i o nr u l e st om i n i m i z et h e b a y e s i a ne i r o rc o s tf o rt h ef u s i o ns y s t e m t oi m p r o v et h ep e r f o r m a n c eo ft h ef u s i o n a l g o r i t h m , t h i st h e s i sa l s op r o p o s e san o v e lm i n i n l u mv e l o c i t yl i m i t e df s o t h e m i n i m u mv e l o c i t ys t r a t e g ya p p l i e sat h r e s h o l dt oc o n t r o lt h ef l y i n gv e l o c i t i e so fp s o p a r t i c l e s , t h u si m p r o v e st h ec o n v e r g e n c ea b i l i t ya n ds t a b i l i t yo ft h ea l g o r i t h m t od e m o n s t r a t et h ep e r f o r m a n c eo fa p s o fa l g o r i t h m ，t h i sd i s s e r t a t i o nu s e st h i s f u s i o ns c h e m et of u s et w ob i o m e t r i cm o d a l i t i e sf a c ea n df i n g e r p r i n t t h ee x p e r i m e n t s a r ed e s i g n e da n dc a r r i e do u to nt h eo r l , u m i s tf a c ed a t a b a s ea n dm c y t f i n g e r p r i n t d a t a b a s e e x p e r i m e n t a l r e s u l t ss h o wt h a tm u l t i m o d a lf u s i o ns c h e m eo u t p e r f o r m s u n i m o d a ls y s t e mb a s e do nf a c eo rf i n g e r p r i n t i ti sp r o v e nt h a ta p s o fa l g o r i t h mc a n s e l e c tt h eo p t i m u md e c i s i o nf u s i o nr o l e sa d a p t i v e l ya c c o r d i n gt ot h ev a r i a t i o no ft h e a c c u r a c yo fu n i m o d a ls y s t e m b a s e do na p s o fa l g o r i t h m ，id e v e l o p e dam u l t i m o d a l b i o m e t r i ci d e n t i f i c a t i o n s y s t e m ( m u l t i b l s ) t h i s t h e s i sd e s c r i b e st h e d e s i g n ， i m p l e m e n t a t i o na n d f u n c t i o n so fm u l t i b i s k e y w o r d s ：p a r t i c l es w a r mo p t i m i z a t i o n ，f u s i o n ，m u l t i m o d a l ，f a c er e c o g n i t i o n ， f m g e r p d n tr e c o g n i t i o n m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名超嘞d 钾溯勿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 层期：妒擗l 矽易日 第一章绪论 1 1 课题背景和研究意义 第一章绪论 随着信息技术的发展，身份识别正在受到越来越多的重视。传统的身份识别 方法( 如密码、身份证等) 由于其自身的局限性( 易丢失、易被伪造、易被破解 等) 己不满足当代社会的需要。以生物特征识别为主的身份鉴别技术因此得到广 泛而深入的研究和应用。 生物特征识别( b i o m e t r i c s ) 是利用个体特有的生理和行为特征来进行身份识别 和个体验证的一门科学。生物特征识别技术一般分为基于生理特征的生物识别技 术和基于行为特征的生物识别技术。指纹、眼虹膜、手形、脸相、d n a 等与生俱 来的终身难以改变的生理特征，以及笔迹、声音、步态等后天形成的行为特征， 都可以作为生物特征应用于个体的身份鉴别。 与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有多方面 的优点。人体特征具有人体所固有的不可复制的唯一性，不能被丢失、遗忘或转 让；而常见的口令、i c 卡、条纹码、磁卡或钥匙则存在着丢失、遗忘、复制及被 盗用诸多不利因素。因此，利用生物识别技术进行身份认定，具有安全、可靠、 准确等优点。生物识别技术不需要记住复杂的密码，也不需随身携带钥匙、智能 卡之类的东西，其鉴定的依据是个体本身的特征。而每个人的生物特征具有与其他 人不同的唯一性和在一定时期内不变的稳定性，不易伪造和假冒。 生物特征识别技术作为一种快速发展的技术己经被广泛应用于罪犯鉴别、监 狱安全等法律实施领域。在国内，2 0 0 2 年1 0 月2 5 日，我国公民身份证法草案首 次提交最高立法机关审议，草案规定第二代公民身份证中应包含公民的指纹信息； 香港政府也在2 0 0 2 年至2 0 0 3 年耗资2 9 亿港币为香港市民更换智能指纹身份证， 并且这种新身份证技术已经支持香港和深圳之间的“自动通关”系统。 由于电子交易的蓬勃发展，电子商务和电子银行业也成为生物特征识别技术 两个最重要的新兴应用领域。这些应用包括电子存款转账、自动柜员机皿田安全、 支票兑现、信用卡安全、智能卡安全、在线交易等。 信息系统和计算机网络安全( 比如用户授权和通过远程登录访问数据库) 则是 生物特征识别技术的另一个重要的潜在市场。随着国际互联网和企业内部网的迅 电子科技大学硕士学位论文 速扩展，网络黑客的破坏活动也会层出不穷，因此将有越来越多的信息系统和计 算机网络使用基于生物特征识别技术的安全系统。 随着人类社会逐渐迈入数字时代，基于生物特征的身份识别技术愈加显示出 它的价值。以美国为例，基于这项技术的产业规模已经达到数十亿美元。目前， 国内外许多高技术公司正试图用基于眼睛虹膜、指纹、面貌等生物特征的技术取 代人们手中的各种卡片和密码，并且己经开始在机场、银行和各种电子器具上进 行实际运用，结果备受青睐。据国际生物识别产业协会估计，生物识别技术的软 件和硬件市场有望在1 0 年内达到每年2 0 亿美元的规模。 研究表明【1 h 1 1 】，利用生物特征进行识别确实提高了识别系统的认证率。不过， 单个生物特征有其固有的局限性。在实际应用过程当中，一个基于生物特征的身 份识别系统应该具备下面的要求： ( 1 ) 性能的要求：所选择的生物特征能够达到多高的识别率，对于资源的要求 如何，识别的效率如何； ( 2 ) 可接受性：使用者在多大程度上愿意接受基于某种生物特征的识别系统： ( 3 ) 安全性能：系统是否能够防止被攻击； ( 4 ) 是否具有相关的、可信的研究背景作为技术支持； ( 5 ) 提取的特征模板是否占有较小的存储空间； ( 6 ) 价格：是否控制在用户可以接受的价格以内； 是否具有较高的注册和识别速度； ( 8 ) 是否具有非侵犯性。 在上面的几个要求当中，识别率、安全性、价格、非侵犯性是一个生物特征 识别系统中比较关键的几个参数。单一的生物特征鉴别系统可能在某一方面具有 优势，但也可能在某些方面存在缺陷：例如指纹的识别率较高，但是用户接受程 度不高，价格相对来说也比较昂贵；人脸识别技术识别率不高，但是用户界面比 较友好，还可以用于监控。说话人识别技术识别率较高，价格也比较低廉，但是 受噪声的影响比较大。 由于单一的生物特征识别系统( 单模态) 存在不可避免的缺陷，很难满足实 际应用的要求。通过多生物特征融合的方法，可以在提高准确率和扩大应用范围 两方面改进生物特征身份鉴别系统的性能，使之更接近使用。因此将多个生物特 征结合起来( 多模态) 进行认证就非常迫切和必要。 多生物特征识别系统需要将单一的生物特征识别方法进行数据融合从而得到 最终的身份识别结果。a n i lkj a i n 将生物特征中的信息融合分为三个层次1 4 】：特 2 第一章绪论 征提取层( f e a t u r ee x t r a c t i o nl e v e l ) 、匹配值层( m a t c h i n gs c o r el e v e l ) 和决策层 ( d e d s i o nl e v e l ) 。当前很多生物特征融合的研究工作是在匹配值层上完成的。在 匹配值层面上，生物特征融合的问题往往可以转化为数据分类问题，当前常用的 匹配值层上的融合方法有：叠加规则、带权值的叠加规则、f i s h e r 线性分类判别、 支持向量机、最小风险贝叶斯分类器1 1 l 、c 4 5 决策树和多层感知器等。研究表明， 使用特征提取层和匹配值层的融合往往可以获得较高的融合系统性能，但是这两 个层次上实现的多模态系统比较复杂，不易扩展。本文基于融合的可行性、可扩 展性的考虑，设计实现了决策层上的贝叶斯决策融合算法，来满足多模态生物特 征识别的需要。 研究多模态生物特征识别技术，其意义不仅仅在于满足身份验证、基于内容 的检索等实际需求，还可以推动图像处理、模式识别理论的发展与应用；同时由 于多模态生物特征识别的特殊性，对多模态融合识别进行研究，对于推动认知科 学、生理学等相关学科的研究也有积极意义。 本文主要讨论多模态生物特征融合算法的设计与实现。本文提出的自适应 p s o 融合算法，在决策层上融合多种单模态生物特征识别方法，可以有效提高生 物特征识别系统的性能。根据自适应p s o 融合算法，本人设计实现了一个多模态 生物特征识别系统m u l t i b i s 。本文详细介绍了m u l t i b i s 系统的设计框架、系统实 现以及系统性能。 1 2 课题任务 多模态生物特征识别技术是身份验证领域的研究热点，目前很多方法还停留 于研究阶段，其识别性能离实际应用还有较大的距离。 本文从基于主元成分分析和线性判别( p c a + l d a ) 的人脸识别方法和基于 g a b o r 滤波的指纹识别方法着手，通过理论分析，提出了自适应p s o 融合算法， 在决策层上融合人脸和指纹两种单模态的生物特征。根据该融合算法，本文实现 了多模态的生物特征识别系统m u l t i b i s 。下面是本篇论文的主要工作内容： ( 1 惭究主元成分分析( p c a ) 和线性判别( l d a ) 在人脸识别中的应用并实 现相关的人脸识别方法。 ( 2 ) 设计实现基于g a b o r 滤波的指纹识别方法。 ( 3 ) 研究多模态生物特征识别系统的贝叶斯风险的构造方法，以及影响贝叶斯 风险的因素。 3 电子科技大学硕士学位论文 h ) 研究了如何将颗粒集群算法( p s o ) 应用到生物特征识融合工作中。本文 对经典p s o 算法提出改进方案：使用最小速率阈值限制p s o 颗粒的运动速率，从 而提高融合算法的收敛能力。 ( 5 ) 自适应p s o 融合算法的设计与实现：主要内容包括单模态识别系统错误接 受率( f a r ) 、错误拒绝率( f r r ) 的计算，融合系统全局错误接受率、全局错误 拒绝率的计算，以及p s o 算法在融合框架中的使用。 ( 6 ) 根据自适应p s o 融合算法，本文在o r l 7 0 、u m i s 一7 1 】人脸库和m c y 一7 2 指纹库上设计实现了对比实验，验证融合算法的有效性。本文使用自适应p s o 融 合算法，在决策层上融合人脸和指纹两种生物特征，最终设计实现了一个多模态 生物特征识别系统m u l t i b i s 。本文对m u l t i b i s 系统框架、系统实现以及系统性能 进行了详细描述。 1 3 内容组织 本文共分七章，按以下顺序组织内容： 第一章：绪论。该章主要介绍论文所讲述的多模态生物特征识别方法的应用 前景、研究意义、选题意义及课题的任务，并对论文的整体结构作一个概括。 第二章：人脸识别技术。该章介绍人脸识别的研究内容、基本识别流程、人 脸识别相关的理论研究方法，重点讲述本文所使用的基于主元成分分析( p c a ) 和线性判别分析( l d a ) 的人脸识别方法。 第三章：指纹识别技术。该章介绍指纹识别的研究内容、基本识别流程、指 纹识别相关的理论研究方法，重点讲述本文使用的基于g a b o r 滤波的指纹识别方 法的一些关键技术。 第四章：贝叶斯决策融合。该章介绍多模态融合的三个层次，然后提出本文 的工作重点：自适应融合框架的构造，以及影响贝叶斯融合决策的一些因素。 第五章：颗粒集群算法。该章介绍自适应融合决策中的关键部分：颗粒集群 算法( p s o ) ，讲述了p s o 算法的基本形式、应用领域、参数设置。本文为了提高 融合算法的收敛性能，提出了最小速率限制的二进制p s o 算法。 第六章：自适应p s o 融合算法。根据第四、五章的内容，本章提出了自适应 p s o 融合算法。根据自适应p s o 融算法，本文在o r l 、u m i s t 人脸库和m c y t 指纹库上设计实现了对比实验，验证融合算法的有效性。最后本文详细介绍了基 于多模态生物特征融合的身份识别软件m u l t i b i s 。m u l t i b i s 系统使用自适应p s o 4 第一章绪论 融合算法融合了人脸、指纹两种单模态生物特征，文中详细描述了m u l t i b i s 系统 的功能特点、设计框架、系统实现以及系统性能。 第七章：结论与展望。该章对整篇论文作一个整体总结，并对后面的工作给 予展望。 5 电子科技大学硕士学位论文 第二章人脸识别技术 本章介绍人脸识别相关的理论研究方法，重点讲述主元成分分析( p c a ) 和线 性判别分析( l d a ) 两种常用的人脸识别算法。本文设计实现了一个p c a + l d a 人脸识别系统，并把该系统用于多生物特征融合工作。 2 1 人脸识别简介 人脸识别就是对于输入的图像或者视频，首先判断其中是否存在人脸，如果 存在人脸，则进一步的给出每个人脸的位置、大小，并依据这些人脸图像的局部 信息或者人脸图像的整体信息，进一步提取每张人脸所蕴含的特征，并将其与人 脸库中已存储的特征模板进行对比，从而识别每个人脸的身份，达到身份鉴别的 目的。 从广义上讲，人脸识别的研究内容主要包括以下五个方面： ( 1 ) 人脸检测：即从各种不同的场景与复杂的背景中检测出所有人脸的存在， 确定其具体位置，这一任务主要会受到光照、噪声、头部倾斜度以及各种遮挡的 影响。 ( 2 ) 人脸特征提取：即从已检测得到的人脸中，使用某种人脸特征表示方法提 取得到人脸的身份特征。常用的表示方法包括几何特征( 如欧氏距离、曲率、角 度等) 、代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸等。 ( 3 ) 人脸特征匹配：就是将待识别人脸特征与数据库中的已保存的人脸特征进 行比较，确定待验证个体的身份。这一过程的核心是选择适当的人脸特征匹配策 略。 ( 4 ) 表情分析：即对待识别人脸的表情进行分析，并对其加以分类。 ( 5 ) 物理分类：即对识别人脸物理特征进行分类，得出其年龄、性别等相关信 息。 从狭义方面来说，一个人脸识别系统不涉及表情分析和物理分类，基于这种观 点，一个典型的人脸识别系统由以下几个主要部分组成( 如图2 1 所示) 。 首先是在图片或视频流中进行人脸检测工作，如果存在人脸图像，将其从背景 中分割出来，并确定其在图片中的位置。人脸检测效果的好坏直接关系到人脸识 6 第二章人脸识别技术 别成功与否，这方面的研究已经进行了二十多年，并取得了很多成果。常见的人 脸检测方法有：镶嵌图方法【1 3 】，基于模板匹配方法【1 4 1 ，人工神经网络( a r t i f i c i a l n e u r a ln e t w o r k , a n n ) 1 5 1 ，隐马尔可夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 1 1 6 1 1 7 1 ， 小波变换( w a v e l e t t r a n s f o r m ) 1 1 8 】【1 9 1 2 0 1 ，支持向量机( s u p p o r t v e c t o r m a c h i n e s ，s v m ) 方法【2 l 】【2 2 1 等。 图2 - 1 人脸识别系统主要组成模块 其次是从人脸图像中提取人脸特征。在进行特征提取之前一般需要作几何规一 化和灰度规一化工作，其中前者是指根据人脸检测结果将图像中的人脸位移到同 一位置，并将图像调整到同一大小；后者是指对图像进行光照补偿等处理，以抑 制图像中光照变化的影响。本文实验使用的是标准人脸数据库o r l t t 0 和 u m i s t 7 1 1 ，数据库中的人脸图片已经进行了几何规一化操作，因此本文只进行灰 度规一化处理。， 最后就是人脸特征的匹配工作。将待验证的人脸特征与数据库中存放的人脸特 征模板进行匹配，确定待识别个体的身份，并作出一些相关的操作。 本文中使用的人脸识别方法侧重于后两个环节的设计与实现，即人脸特征的提 取与匹配。 2 2 人脸识别算法 人脸识别的研究始于6 0 年代末。早期人脸识别研究主要有两大方向： 第一类是提取人脸几何特征的方法瞄】，由于人脸由眼睛、鼻子、嘴巴、下巴 等部分组成，正是由于这些组成部分的形状、大小、结构等方面的差异才使得人 7 电子科技大学硕士学位论文 脸千差万别，因此对人脸关键部位的形状和结构关系的几何描述，可以作为人脸 的特征。这类方法的最大缺点是识别的准确率完全依赖于几何特征的提取，而这 些几何特征的提取对光照，表情，姿态等变化非常敏感，所以稳定性不高，识别 率较低； 第二类是模板匹配的方法，这种方法主要利用计算模板和图像灰度的相关性 来实现人脸特征匹配的功能俐。 b e r t o 在1 9 9 3 年对上述的两类方法作了较全面的介绍和比较后认为，模板匹 配的方法要优于几何特征的方法阁。 目前人脸识别常用的方法有：基于几何特征的方法，基于p c a 特征脸的方法， 奇异值( s v d ) 分解的方法1 2 6 1 ，人脸等密度线分析匹配方法吲，弹性图匹配( e l a s t i e g r a p hm a b c h i n g ) 方法【2 s 】，独立元分析( i c a ) 方法【2 9 l1 3 0 1 ，基于小波分析的方法【捌 3 t l 3 2 1 ，基于神经网络识别方法【2 “1 3 3 11 3 4 1 ，隐马尔可夫模型( h i d d e nm a r k o vm o d e l ) 方法 【1 6 l 【1 7 】等。 本文的人脸识别系统使用的是基于主元成分分析( p c a ) 和线性判别( l d a ) 的人脸识别方法。后面几节将对本文所使用的人脸识别相关理论方法进行简要介 绍。 2 2 1 主元成分分析 主元成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，即p c a ，也称为k - l 变换) 的 基本思想是提取出空间原始数据中方差最大的方向( 主元方向) ，将原始数据投影 到主元方向上，从而减少数据冗余，使得数据在一个低维的特征空间上被处理， 同时保留原始数据中的绝大部分信息。主元成分分析可以解决数据空间维数过高， 处理起来代价高昂的问题【3 0 j 。 假设人脸图像大小为h x k ，一张人脸图像被人为是 l 维空间中的一个样本 x ，其中n = h x k 。这样有，l 维空间向量集合 x ) ，k * 1 2 ，对其中每一 个向量r 用单位正交向量系“，= 1 ，2 ，n 展开 矗 x 三c 严， ( 2 - 1 ) j - 基于降维和减少数据冗余的想法，将样本x 在m 沏t n ) 维空间上表示出来： 动 g ， “ 勺 。x 白 兰 8 x 第二章人脸识别技术 其均方误差毒一e o 一曼) 7 g i ) ，因为“j ( j = 1 ，2 ，n ) 相互正交，即 咖，。嚣嚣 ， 所以 即鬻口2 由x 展开式可知c j ；“，因此。 弘，量“；e 矽扣， 令c ；e 肼7 ，则 扣，蠹；血， ( 2 4 ) ( 2 - 5 ) ( 2 - 6 ) 由拉格朗日乘子法，可以求出在满足正交条件下，鲁取极值的坐标系统，即用 目标函数 g ，) _ ，毛，t 劬，- ；u j - 1 ) ( 2 忉 对球，( ，一m + 1 ，万) 求导数，有 ( c a ，) “，1 0 ，( ，；m + 1 ，m ) ( 2 - 8 ) 因此当“。，= l 2 ，m 作为矩阵e 耽7 特征向量展开z 时，其截断均方误差具 有极值性质。对于离散的随机过程工( p ( k 一1 ，2 ，n ) ，向量工的关联矩阵为： c = e 缸 矿( 七) ) 。专荟， ) ( 2 - 9 ) 以矩阵c 的特征向量作为坐标系将矩阵c 对角化，将消除原有向量的相关性， 因此去掉那些带有较少信息的特征向量将降低特征空间的维数。特别地，数据集 在这些特征向量方向上投影的方差为其对应的关联矩阵e 缸 p 7 ) ) 矩阵的特 征值。图2 2 表示了一个二维的数据集的分布情况，通过p c a 算法求得的主元方向 记为轴1 和轴2 。由图2 - 2 ，轴1 作为坐标轴消除了向量的相关性，并且原始数据在这 9 电子科技大学硕士学位论文 两个方向上的投影方差最大。因此，轴1 的方向适合作为子空间的基，样本投影到 这个方向上可以获得较好的可分性。 2 8 籀辫： k 6 翠 f少l l 02 4 68 圈2 - 2 二维平面的一组数据投影到轴1 和轴2 上的密度图 p c a 在人脸识别上的应用最早是由k i r b y 等人提出来的【3 1 1 ，t u r k 等人后来把 它成功地发展为特征脸( e i g e n f a c e ) 方法幽，用于正面的人脸识别。特征脸的的思 想就是从训练图像中，通过主元分析得到一组特征脸图像( 即对应的主元) ，那么任 意给定的人脸图像都可以近似为这组特征脸图像的线性组合，用组合的系数向量 作为入脸的特征。 主元分析中主元选取的优先级通常按对应的特征值的大小来确定，特征值越 大，其优先级就越高。另外，在人脸识别应用中，最佳的主元个数可以有两种方 法来确定： 。 ( 1 ) 当待选择的特征值和最大的特征值的比值过小时，可以将该特征值舍弃； ( 2 ) 已选择的特征值之和与所有的特征值之和的比值要大于某个阕值( 如0 9 ) 。 在p c a 算法中，最重要的是求出使得方差最大的投影方向，其具体的求解步骤 如下： ( 1 ) 构建关联矩阵e - 研就7 】，e e r ，在实际的应用中，由于原始数据的数 学期望不容易求解，可以利用下式来近似构造关联矩阵： c 。- x ，x a r + x ：+ + x h x 0 n ( 2 - 1 0 ) 其中，毛( f - 1 , 2 , ) 是一张人脸图像的所有像素点组成的列向量，是人脸图像 第二章人脸识别技术 的数目。 ( 2 ) 计算得到c 。的各个特征值 。 ( 3 ) 把特征值按大小排序 苫屯：九苫0 ，选择m 个最大的特征值对应的特 征向量构成主元投影方向w ；k 屯】。在本文实现的人脸识别系统中，p c a 的主元个数被设置为5 0 ( 册一5 0 ) 。 ( 4 ) 将原始数据投影到方向形上，即可获得原始图像的特征数据。 2 2 2 线性判别分析 线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 首先由r af i s h e r 于1 9 3 6 年提出【3 2 】，又称f i s h e r 线性判别( f l d ) ，它是一种较好的特征提取方法。u ) a 变换 的基本思想是将高维空间中线性不可分的数据投影到一个方向上，使投影后的数 据近似线性可分。通过l d a 变换，可以进一步降低人脸特征的维数，同时可以使 样本在投影后的类间散布最大，类内散布最小，从而改善分类效果【3 3 1 。从i d a 变 换的目标可以得知，它需要训练样本的分类标号，这一点和p c a 有本质不同。 对于r ”空间中的数据毛，工：，石。，其中理，个样本属于i 类，n ：个样本属于2 类，雄。个样本属于c 类，其中咒lj e l l 2 + + 弗。t m 。所有样本的均值为： 1 品 一 ：鼍 ( 2 - 1 1 ) ，行舒 第f 类中的样本均值为： 样本类内离散度矩阵s 。和类间离散度矩阵定义为： & 2 荟h 互璺叫) 瓴叫) r 。( 驴肛) z h ) 一 ( 2 1 2 ) ( 2 1 3 ) ( 2 - 1 4 ) 如果s 。是非奇异的，为了使类间离散度与类内离散度的比值最大，原始数据的 投影方向的f ，应满足下式： 1 1 电子科技大学硕士学位论文 = a r g 尹a x 而 w 丽t s b w _ 【w 1 ，m ，】( 2 - 1 5 ) 其中 ml i = 1 ，2 ，l 是满足下式的s 。和s 。对应的n 个最大特征值 仇i i = 1 ，2 ，咒】所对应的特征向量： s 口嵋= s 矿m ( i = 1 ，2 ，栉)( 2 - 1 6 ) 因为s 。矩阵的秩不大于c 一1 ，所以珂值的上界c 一1 ，即变换的维数不超过c 一1 。 如果类内离散度矩阵s 。是奇异的，有先对角化s 。和先对角化s 。两种算法。 l d a 方法和p c a 方法的思路是不同的。图2 3 是一个二维空间中的一个例子， 图中有两类数据样本，l d a 方法将样本投影到直线f l d 上，使得在这条直线上， 不同类样本的投影分得尽量开，而同一类的样本尽量相互靠近；而p c a 方法将数 据样本投影到直线p c a 上，使得样本在这个投影方向上保存尽量多的信息，并没 有考虑到样本分类的要求。 + 十”+ - + 。“ ；+ + ，7 弩 一_ 一j 一。j 一 i ! ：一o o - 、 囊分“一。 乌 ， 、二、圆| + 二日2 | ： ， ” 4“ 、f 壕l 二_ j 0 钿d m 怕 图2 - 3l d a 和p c 的比较 2 2 3p c a + l d a 人脸识别算法 b e l h u m e u r 等人在文献【3 4 】中提出了经典的p c a + l d a , ) k 脸识别算法，使用该方法 1 2 第二章人脸识别技术 提取得到的特征脸被称为f i s h e r 脸( f i s h e f f a c e ) 。使用这种人脸识别方法时，首先 使用p c a 算法对人脸数据进行降维处理，提取得至u e i g e n f a c e ，然后再使用l d a 方 法将e i g e n f a c e 投影到方向上，从而获得较好的分类效果。假设共有m 个样本， 分别属于c 类，则在p c a 变换的过程中将人脸数据降为m c 维，然后通过l d a 变 换将人脸数据降为c 1 维例。 f i s h e r f a c e 方法所求的投影方向h 么满足下式： 1 = 吆 ( 2 1 7 ) 其中 一g a 妒7 s r 叫 i 7 吃s 届w i 一g 矿m 积劳焉荔豺 ( 2 1 8 ) ( 2 q 9 、 s r ；e ( x k 一“) 也- u ) r ( 2 - 2 0 ) 七d 这里f 是一个珏( 一张人脸图片总的像素数目) 行m c 列的矩阵 ( e r “扣。) ；矸么是一个m c 行c 一1 列的矩阵( 矸么e r 扣。卜扣- 1 ) ) 假设一张人脸图片各个像素点的灰度值组成的列向量为掣，使用p c a + l d a 的 人脸识别方法，人脸特征m 的计算方法如公式2 2 1 所示，图2 4 中是一组人脸图像 和从这些图像中提取到的人脸特征。 中一吆掣( 2 - 2 1 ) 电子科技大学硕士学位论文 图2 - 4 一组原始人脸图像及其相应的人脸特征 f i s h e r f a c e 方法和e i g e n f a c e 方法一样都是利用人脸图像的全局结构信息作为识 别的手段，使用特征信息能够以较少的数据量表征原始图像数据中尽可能多的信 息量。e i g e n f a c e 方法的一个最主要的缺点是在样本类间的离散度增大的同时，也 使得样本的类内的离散度增大，从而造成投影空间的数据不能很好的聚类，甚至 类间相互混杂，不利于为识别阶段提供可靠的可供分类的数据。而f i s h e f f a c e 方法 则是在特征脸方法基础上的改进，其目标在于：试图建立一个更小维数的、只包 含最基本元素的空间，也就是能更好描述一组人脸的特征空间。f i s h e r f a c e 解决了 特征脸法的不足，该投影使得在扩大类间离散度的同时，使得类内离散度减小， 从而为识别阶段提供高质量的可供分类的数据。同时f i s h e f f a c e 人脸识别可以对于 遮掩物和光照具有很好的容错性，从而也较好的克服了e i g e n f a c e 方法对遮掩物和 光照较敏感的缺点i 删。 2 3 本章小结 本章介绍人脸识别的研究内容，重点讲述本文工作中涉及的人脸识别方法相 关的理论研究方法。主元成分分析( p c a ) 和线性判别分析( l d a ) 是常用的非 常有效的人脸识别方法。p c a 的目标是样本在空间变换后协方差最大，l d a 的目 标是样本在变换后类间距离最大，类内距离最小。组合p c a 和l d a 的人脸识别 算法被称为f i s h e r f a c e 方法，f i s h e r f a c e 方法在降低数据维数，剪除冗余信息的同 时，增大了数据的类间距离，减小了类内距离，从而改善了分类效果。研究表明， f i s h e r f a c e 方法对光照、脸部表情、遮挡物等有非常好的抗干扰能力。 1 4 第二章人脸识别技术 根据本章的内容，本人设计实现了一个p c a + l d a 人脸识别系统，用于多模 态融合工作。 电子科技大学硕士学位论文 第三章指纹识别技术 本章介绍指纹识别的相关理论研究方法，重点讲述基于g a b o r 滤波的指纹识别 算法。本文设计实现了一个基于g a b o r 滤波的指纹识别系统，并把该系统用于多 模态融合工作。 3 1 指纹识别简介 指纹是指尖表面的纹路，其中突起的纹线称为脊，脊之间的部分称为谷。指纹 识别是指尖表面纹路的脊线、谷线的分布模式的识别。科学研究发现指纹存在两 个重要特征，一是两个不同指纹的指纹纹路的式样不同，另外一个是指纹纹路的 式样终身不变( 即指纹的唯一性和不变性) 。这些结论为指纹识别的实际应用提供 了理论依据。 使用计算机进行自动指纹识别时，计算机并不直接存储指纹的图像( 考虑到隐 私和存储空间方面的一些限制) ，而是记录从图像上提取到的特征，指纹识别算法 最终归结为在图像上找到并比对指纹的特征。 自动指纹识别系统主要由图像输入、预处理、特征提取、分类和匹配等五部分 组成，其中预处理部分又可分为图像分割、图像增强、二值化和细化等几个步骤 ( 如图3 1 所示) ： ( 1 ) 图像输入：即使用指纹采集设备抓取指纹图像的点位图。指纹采集器的精 度使用分辨率来评估，分辨率是每单位长度内的点数，一般用每英寸点数叫p i ( d o t s p e r i n c h ) 表示。为了满足指纹自动识别系统分析指纹的脊和谷的精度要求， 分辨率应为5 0 0 d p i 。当前指纹采集器主要分为光学、硅晶体传感器等类型，其中 光学指纹采集设备因为技术比较成熟、性价比比较高而得到广泛应用。 ( 2 ) 预处理：经指纹扫描器采集的原始指纹图像不可避免地具有对比度不统一、 含有大量噪声等缺点，为了降低后续特征提取算法的复杂度、提高特征提取的效 果和效率，预处理过程必不可少。 根据指纹特征提取方法的不同，系统对预处理的步骤和要求也不一样。目前主 要有两类特征提取方法：一类直接从原始指纹图像中提取统计性特征；一类从预 处理得到的指纹骨架图像中提取细节点特征。前一类方法对预处理要求比较少， 第三章指纹识别技术 只要将图像增强一下就可以满足要求。后一类方法要求预处理部分作大量的工作， 一般包括图像增强、分割、二值化、细化等步骤，最后得到一幅纹线宽度为单像 素的二值图像。在当前的应用系统中，后一类方法要比前一类应用的多一些，因 为后一类方法把工作的难度分解到两步操作中，简化了特征提取算法，且处理结 果容易控制。 图3 - 1 指纹识别系统主要组成模块 ( 3 ) 1 寺征提取：把指纹图像的纹线走向、纹线端点、交叉点等能够充分表示该指 纹唯一性的特征用数值的形式表示出来。为了比对的准确性，要求特征提取算法 尽可能多地提取有效特征，同时滤除由各种原因造成的虚假特征。指纹图像中存 在两类重要特征：一类是指纹的结构特征，或称全局特征，指纹的全局特征能够 反映指纹整体形状，通常用于指纹的分类；另一类是表征指纹唯一性的细节特征， 它是由指纹脊线上的细节点位置及其相互关系构成，通常用于指纹的比对。 指纹纹线经常出