（计算机软件与理论专业论文）基于图象质量判别的三模态生物特征识别.pdf

基于图象质量判别的三模态生物特征识别 摘要 生物特征识别技术是利用人类自身生理或行为特征进行身份鉴别的 一种技术。人的生理特征包括指纹、手形、掌纹等，行为特征包括签名、 语音等。与基于i d 卡、口令和密码的传统身份鉴别相比，这些生理或行 为特征很难被摹仿，使用起来无需记忆，也不必担心丢失或被盗。因此， 生物特征识别技术有望在越来越多的场合获得实际应用。然而，实际的应 用给鉴别系统提出了很多要求，如：识别率、可接受性、安全性、存储空 间、识别速度等，为了突破上述单模生物特征识别技术本身的缺陷，许多 科研人员都把注意力投向多模态生物特征识别的信息融合技术研究。 选择指纹、掌纹和手形三种生理特征作为信息融合对象。这三者存在 着固有的生理上的紧密关联性并能进行更深层次的融合，而且可以通过一 幅图像同时获取指纹、掌纹和手形的图像数据，这样就减少了融合系统设 计和系统管理的复杂性，具有其它生物特征融合所不具备的独特优势。 本文研究了指纹、掌型、手形三模态融合的相关理论。将图像质量判 别引入到多个模态生物特征识别中，提出的基于图像质量判别的串联融合 模型和并联融合模型，进一步提高身份鉴别的准确性和鲁棒性。 本文的主要研究工作可分为以下两个方面： 。 ( 1 ) 、对信息融合理论、融合层次、融合方法做了概要的描述。通过 空域和频域两种方法对指纹图像质量判别，采用s v m 将指纹纹型分为五 类( 分别为弓形、左旋、右旋、斗形、帐形) ，实验效果可行。最后建立 浙江师范大学硕士学位论文 了三模态数据库。 ( 2 ) 、在多模态的识别过程中，归一化非常重要，通过归一化算法将 不同空间的度量尺度映射到一个统一的可信区间上。本文提出了f s l 和 l t l 两种归一化算法，分别将匹配数值映射n o ，a l 和【o ，1 】；提出了基于图 像质量判别的u w q 和m w q 融合算法。在融合模型研究过程中，提出了 基于j f v 融合模型、基于指纹纹型的匹配层融合模型、和基于图像质量 判别的m w q 和m w q 融合模型。 关键词：多模态生物特征识别，信息融合，图像质量，指纹识别，掌 纹识别，手形识别 u t h r e em u l 月i m o d a lb i o m e t r i c sr e c o g n i t i o n b a s e do ni m a g e q u a l i t y a b s t r a c t b i o m e t r i c sc a l lb ed e f i n e dt h a ti tc a na u t o m a t i c a l l yr e c o g n i z eo n e p e r s o n b a s e do ni t sp h y s i o l o g i c a la n d o rb e h a v i o r a lc h a r a c t e r i s t i c s t h ep h y s i o l o g i c a l c h a r a c t e r sc o n t a i nf i n g e r p r i n t ，h a n d g e o m e t r y , p a l m p r i n te t c ；w h i l es i g n a t u r e a n dv o i c eb e l o n gt ob e h a v i o r a lc h a r a c t e r i s t i c s c o m p a r e dw i t ht h et r a d i t i o n a l p e r s o n a li d e n t i f i c a t i o n ，s u c ha s ：i dc a r d ，k e y , p a s s w o r d ，t h eb i o m e t r i ci sh a r d t ob ec o p i e d ，m i s s e d ，a n ds t o l e n t h e r e f o r e ，b i o m e t r i ct e c h n o l o g yw i l lb eu s e d i nm o s td i f f e r e n tf i e l d si nt h ef u t u r e ；n e v e r t h e l e s s ，t h ea c t u a l a p p l i c a t i o n r e q u i r e sm o r er i g i dd e m a n d ss u c ha sr e c o g n i t i o nr a t e ，a c c e p t a b i l i t y , s a f e t y , s t o r a g es p a c e ，i d e n t i f i c a t i o ns p e e d i no r d e rt ob r e a k t h r o u g ht h ed r a w b a c k so f u n i m o d a lb i o m e t r i c ，m o s tr e s e a r c h e r sp a ym u c ha t t e n t i o nt ot h em u l f i m o d a l b i o m e t r i cf u s i o n t h r e e m o d a lb i o m e t r i cf u s i o nb a s e do nf i n g e r p r i n t , p a l m - p r i n t ，a n dh a n d g e o m e t r yi sc h o s e n ，b e c a u s et h e yh a v et h ei n t r i n s i cr e l a t i o n ，m o f er e l a t i v e c h a r a c t e r sc a l lb eo b t a i n e dt om a k e d e e pl e v e l si n f o r m a t i o nf u s i o na n dc a nb e c a p t u r e di no n ep i c t u r e i tc a nr e d u c et h ec o m p l e x i t yo ff u s i o nd e s i g n i n ga n d s y s t e mm a n a g e m e n ta n dh a ss p e c i a la d v a n t a g e t h r e em o d a lb i o m e t r i cf u s i o na l g o r i t h m sb a s e do nf i n g e r p r i n t ，p a l m p r i n t ， 1 1 1 ：塑望塑垫查堂堡主堂垡堡壅 a n dh a n dg e o m e t r yi s d e e p l ys t u d i e d t h ei m a g eq u a l i t ye s t i m a t i o ni s i n n o v a t e dt om u h i m o d a lb i o m e t r i cf u s i o n s e r i e sc o n n e c t e df u s i o nm o d a la n d p a r a l l e lc o n n e c t e df u s i o nm o d a la r ep r o p o s e db a s e do ni m a g eq u a l i t yt or a i s e t h ea c c u r a c ya n dr o b u s t n e s s t h em a i nw o r ko f t h i sp a p e ri sc o m p o s e do f t h e f o l l o w i n gt w op a r t s ： i n f o r m a t i o nf u s i o nt h e o r y , l e v e l sa n dm e t h o d sa r ea d d r e s s e di nd e t a i l ；t h e f u s i o nl e v e lc a nb ec l a s s e di n t of o u rl e v e l s ：d a t af u s i o nl e v e l ，f e a t u r ef u s i o n l e v e l ，m a t c h i n gs c o r el e v e l ，a n dd e c i s i o nl e v e l a sf o rt h ef i n g e r p r i n tq u a l i t y , i t c a nb ed i s t i n g u i s h e di nb o t hs p a c ed o m a i na n d f r e q u e n c yd o m a i na n dt h e nt h e s v mi se m p l o y e dt oc l a s s i f yt h ef i n g e r p r i n t t y p e ，i tc a nb ed i v i d et of i v et y p e s ， n a m e l y , a r c h ，l e f tl o o p ，r i g h tl o o p ，w h d r la n dt e n t e d t h ec l a s s i f i e dr e s u l ti s r e a s o n a b l e i nt h ee n d ，t h r e em o d a lb i o m e t r i cd a t a b a s e si sb u i l tf o rt e s t s e c o n d l y , t h en o r m a l i z a t i o n sp l a yav e r yi m p o r tr o l ei nt h ep r o c e s s i n go f m u l t i m o d a lf u s i o n ，i tc a nm a pv a r i e dm e a s u r es c a l e si nd i f f e r e n ts p a c e si n t oa c o m m o nt r u s td o m a i n t w on o r m a l i z a t i o nm e t h o d ss u c ha sf o u rs e g m e n t s l i n e a r ( f s l ) a n dl i n e a r - t a n h - l i n e a r ( l t l ) a r ep r o p o s e d ，t h es c o r e sc a l l s e p a r a t e l yb em a p p e di n t oi n t e r v a l s 【0 ，2 】a n d 【o ，l 】t w of u s i o na l g o r i t h m a s e r w e i g h t i n g b a s e d q u a l i t y ( u w q ) a n dm a t c h e r w e i g h t i n g b a s e d q u a l i t y ( m w q ) a r ep u ti n ，a tl o s t , t h ej f vf u s i o nm o d e l ，f i n g e r p r i n tt y p e s f u s i o nm o d e lb a s e di ns c o r el e v e l ，m w qa n dm w q f u s i o nm o d e l sb a s e di n i m a g eq u a l i t ya r ei n t r o d u c e d i v k e yw o r d s ：m u l t i m o d a lb i o m e t r i c s ，i n f o r m a t i o nf u s i o n ，i m a g eq u a l i t y , f i n g e r p r i n tr e c o g n i t i o n ，p a l m - p r i n tr e c o g n i t i o n ，h a n d g e o m e t r yr e c o g n i t i o n v 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其他机构已经 发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作 了明确的声明并表示了谢意。 研究生签名：眵饼噼日期：? 7 ，o 矽 学位论文使用授权声明 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和电子文档，允许论文被查阅和借阅，可以采用影印、缩印或扫 描等手段保存、汇编学位论文。同意浙江师范大学可以用不同方式在不同媒体上发 表、传播论文的全部或部分内容。保密的学位论文在解密后遵守此协议。 一繇马嘴摊名彩砂嗍洲附 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数据、 观点等，均已明确注明并详细列出有关文献的名称、作者、年份、 刊物名称和出版文献的出版机构、出版地和版次等内容。论文中 未注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担一切责任。 承诺人( 研究生) ：当杉釉摹 指导教师：彩o 第一章绪论 1 1 课题背景 随着全球电子商务的迅速兴起，人们在通过互联网进行在线电子交易等商务 活动的同时，由于网络上存在着大量敏感的个人、军队、政府的信息，这些信息 只有在授权的情况下进行数据信息地访问，因此网络安全成为网络发展的关键问 题，而传统身份认证方式已经不能满足人们对安全的需求。常见的身份认证事实 如下三种： 持有物，如各种证件，身份证等； 所了解的信息，如口令或密码； 生理或行为特征，如指纹、掌纹、手形、人脸、语音、签名、步态等； 身份认证起码要满足不容易丢失和遗忘两个特点。就目前人们对人类自身的 认识而言，只有生理、行为等特征才能反映人的真实身份，因此第三种方法引起 人们广泛关注。生物特征识另l j ( b i o m e t r i c s ) 技术，就是结合计算机科学、光学、声 学、生物传感器、生物统计学原理、认知学等学科，并基于个人独特的生理特征 ( 指纹、手形、掌纹、人脸、虹膜等) 或行为特征( 声音、步态、笔迹等) 进行 自动身份鉴别的技术。因为生物特征不会像密码那样容易被忘记和破解，也不会 像持有物那样容易被窃取或转移，因此人们认为生物特征识别将是一种更加可 靠、方便、快捷的大众化身份识别手段。 要满足以下原则才能用于身份识别： 普遍性和广泛性：人人都具有； 唯一性：任何两个人的生物特征都不相同； 稳定性：该特征应该在较长的时间内，或者终生变化不大或者根本就不 变化： 可采集性：该生物测定可较为方便地采集并可定性或者定量分析； 可接受性：用户能从心理和生理上接受该身份识别系统； 识别率：所选择的生物测定能够达到较高的正确鉴渤率； 时问效率：生物特征应在较少的时间内完成识别； 安全性：该生物特征要防止被攻击或者被欺骗，抗伪装和抗攻击性要强； 价格因素：采集设备的投入，识别软件的开发费用不应太高。 例如指纹和虹膜的唯一性比较好，但是指纹的可接受性较差，并且容易受图 像质量的影响；而虹膜，受性较好，但是采集设备的成本较高。人脸( 受光照、 采集和识别间隔的时间、脸部姿态、表情、眼镜、毛发的形态和图像的噪声的影 响) 、步态、笔迹、手形、掌纹、耳型等特征由于数据受环境因素影响较大，从 浙江师范大学硕士学位论文 而影响识别的效率和鲁棒性。许多研究成果也只是停滞在实验室研究和验证阶 段，而没有形成较大的商业运作，没有形成批量的工业化生产。 每一种生物特征识别都有其自身的优缺点，从而决定了单一生物特征的局限 性，比如有一部分人( 尤其是从事体力劳动的劳动者) 的指纹特征难以提取，出 现纹型模糊等现象；掌纹识别进而受到采集设备，和识别率的影响较大；手形识 别本身受识别算法的影响，识别的效率并不是特别理想；人脸受表情变化和外部 光照等因素影响较大，虹膜特征具有极低的错误识别率和较高的识别效率，但是 在大规模的应用中，会暴露出较高的采集失败率( f c t ：f a i l e d t o c a p t u r e ) 、注册 失败率( f i e ：f a i l e dt oe n r o l l m e n t ) 、或者是错误拒绝率( f r r ：f a l s er e j e c t e dr a t e ) 所以单生物特征所能达到的身份鉴别准确率是相对有限，使得多模态的生物特征 识别技术迅速发展，并且由于图像质量的影响，基于图像质量判别的信息融合也 引起了国内外研究学者的关注。 1 2 生物识别技术系统框架和模式 生物识别系统结构框图如图1 - l 所示，可分为如下模块：( 1 ) 数据采集；( 2 ) 信号处理；( 3 ) 决策单元。数据采集单元负责将模拟信号转化为数字信号；信号 处理模块负责预处理，图像质量的判别，特征提取，特征库的存储，以及完成与 特征数据库模板的匹配，得出匹配数值；决策单元对得出的匹配数值进行评估， 进行决策，完成识别或者验证。也可将系统分为两个模块，一个是登记单元；另 外一个是识别或者验证单元。在登记( e n r o l l m e n t ) 单元，个体生物特征经过采 集，预处理，特征提取后，制成模板，存储在硬盘上或者磁卡上。而验证或者识 别单元，采集器采集待验证的活体个体的生物特征，处理并提取特征后，之后这 些信息通过类似的处理单元，抽取特征数据，并将之与原先保存的模板相比对， 从而得出鉴定结果。 一般而言，生物识别系统可以分为两种工作模式：验证( v e r i f i c a t i o n ) 和识 别( i d e n t i f i c a t i o n ) 。验证指的是验证用户是否为他所声明的身份( a r ey o uw h o m y o uc l a i m ? ) ，也可称为“1 ：1 ”比对，多数系统使用这种工作模式，如网络接入、 门禁系统等识别指的是确定用户的身份( w h o a l ey o u ? ) 。在识别( i d e n t i f i c a t i o n ) 系统中，用户直接输入自身的生物特征，由系统将输入的特征与系统数据库中保 存的模板一一比对，最后系统鉴定出输入的特征对应的身份。这种模式可以说是 “i ：n ”比对。验证系统相对简单，而识别系统相对复杂，保存着众多的特征 数据，如有可能，可以对特征数据进行分类，以加速识别过程，如指纹数据库。 2 第一章绪论 图i - 1 生物特征识别框架图 f i g u r ei - 1b l o c ko f b i o m e t r i c sr e c o g n i t i o n 1 3 生物识别系统的性能指标 生物特征识别输出下面四种的一种：( 1 ) 真实身份被接受；( 2 ) 真实身份被 拒绝；( 3 ) 假冒者被接受；( 4 ) 假冒者被拒绝。其中( 1 ) 和( 4 ) 是正确输出， ( 1 ) 和( 3 ) 是错误。由此也引出了衡量生物鉴定系统的两个性能指标：错误拒 绝率( f a l s er e j e c tr a t e ，简称f r r ) 和错误接收率( f a l a c c e p t a n c ar a t e ，简 称f a r ) 。f r r 指的是真实用户被拒绝的概率，而f a r 指的是假冒者被鉴定为 真实用户的概率。f r r 和f a r 是相关的一对量。较低的f r r 对应较高的 f a r ，反之较低的f a r 对应较高的f r r 。另外还包括鲁棒性和识别速度两个重 要的元素。 1 4 多模态生物特征识别综述 融合多种生物特征的方式有很多，本文所提及的多模态生物特征融合是通过 人的多种生物模态别来进行身份识别，各个模态之问是相互独立的，从而较大程 度地改善系统的抗噪性、容错性、多样性、普适性，安全性。主要研究在于如何 更有效的利用多种生物特征信息，采用何种融合层次，融合算法，实现更具有鲁 棒性的系统。 。在单种生物认证( 如人脸识别、说话人识别、指纹识别) 发展的同时，国际 上很多知名的学者开始致力于多生物特征识别的研究，并且取得了一定的发展。 浙江师范大学硕士学位论文 r o b e n ob r u n e l l i 【l 】最早提出了利用多个特征来进行个人身份认证的方法，并在匹 配层次上整合了人脸识别和语音识别，取得了较好的效果；b i g u n 【2 疑出多模态 的概念( m u l t i m o d a l ) ，并用贝叶斯在决策层次上整合人脸和语音两种不同的生 物特征，并取得了较好的效果。 m a e s 【3 l 第一次实现了一个结合了生物特征( 指纹) 和非生物特征( 密码) 的 系统；j a i l l i + 叫等人于1 9 9 7 提出融合人脸和指纹的构想，并于1 9 9 8 年发表论文将 指纹和人脸识别的结果融合，人脸识别快速但缺少可靠性，同时指纹识别可靠但 是在查找指纹数据库时候的效率欠佳，并提出了合适的多生物特征识别系统，很 好的整合了人脸识别和指纹识别，该系统克服了人脸识别和指纹识别系统的局限 性，而且这个整合后的系统具有一个可以接受的反应时间。除此之外，这篇文章 中提出的决策层融合使集成了各种生物特征的系统的性能的提高成为可能，在反 应时间和准确性方面都得到了满足。并给出了多生物特征识别系统的一个例子， 科学系统的说明基于指纹和人脸的在决策层融合的多生物特征系统的构架和原 理，并且他们在1 9 9 9 年从理论上证明了多生物特征融合可提高认证率，在这篇 文章中列出了多生物特征识别融合的各种问题，并且检验了是否可以通过融合多 生物特征来提高生物特征识别系统的整体性能，2 0 0 2 年提出确定每个用户的特 定参数的方法将指纹、脸相和手型的识别结果融合 7 1 ，分别于2 0 0 1 年和2 0 0 3 年 对多生物特征识别作了概述i s , 9 ) 。在这两篇文章中系统的分析了多生物特征融合 的各个层面，以及各种类型的融合，并且以人脸，指纹和手势相结合为例给以说 明；b e r l i n e r l l 0 】等于1 9 9 7 年提出用k - n n 方法融合声纹和视觉特征；k i t t l e r 1 1 1 等人提出了融合理论框架，并将其分为三层，研究的领域也突破了决策层的信息 融合与分类器的集成，同时给出了加法准则和乘法准则在融合中优缺点的分析 s y a c o u b t l 2 等对支持向量机，最小风险贝叶斯分类器、c 4 5 决策树、多层感 知器进行融合。vc h a t z i s 【1 3 】运用模糊c 一均值、模糊矢量量化和中值径向基神经 网络等实现多模验证，并取得了较好的效果，并且2 0 0 6 年推出了多模态融合的 新著作，“h a n d b o o ko f m u l t i b i o m e t r i e s 。 此同时，国内的诸多研究人员也在致力于多生物特征识别的研究，d a v i d z h a n g 和荆晓远提出基于d c t 和线性分类的人脸和掌纹融合识别系统【1 4 1 。在这 篇文章中，作者融合了在图像处理和识别领域广泛应用的两种方法d c t 和线性 分类，将其用于人脸和掌纹的识别系统，并且获得了较好的性能，该方法明显的 提高了系统的识别率而且大大减少了特征空间的维数；中科院自动化所的刘红 毅、谭铁牛等人提出基于改进的e n n 算法多生物特征融合的身份鉴别i 嘲，文中 分析了各种生物特征的自身特点，然后根据声纹和指纹比较容易提取的特点，从 传统的k - n n 算法入手，做出一定的改进，提出了基于e n n 改进算法的多生物 4 第一章绪论 特征识别系统，经过试验，取得了比较好的性能。北京交通大学的学者t 1 6 7 1 专 注掌纹，手形的研究，并取得较大的突破。 同时，许多商用产品也陆续推向市场，如p r e c i s eb i o m e t r i c s 公司推出的人脸、 指纹、虹膜融合认证的电子护照；国际知名的b i o l d 公司，设计了基于决策层进 行多模态的生物特征融合，识别效率已经达到较高的水平；美 i m a g ew a r e 开 发的基于人脸、指纹、笔迹、d n a 的认证系统；m a r k e t 公司也开始在全球范围内 进行多模态生物特征研究。 中国也涌现了如北京中科模识科技有限公司、北京中控自动化系统有限公司 和北大高科指纹公司等，其中清华自主研究制的t h i d 多模式生物特征身份认证 系统包括两大部分内容：人脸、笔迹、签字和虹膜四种生物特征的身份认证( 识 别和验证) 的四个子系统和利用多种生物特征的多模生物特征融合的身份认证系 统。他们构建了基于统一数据库的人脸、笔迹、签字、虹膜四种生物特征的多模 生物特征身份识别认证系统，可以进行融合模式的选择，进行各种可能的模式融 合。例如，人脸与签字融合的身份识别，验证系统，人脸与虹膜融合的身份识别 验证系统等，可以有效克服单一生物特征常有的缺陷，极大地提高了身份认证的 准确度，从而也为生物特征身份认证的实际应用打下了坚实的基础。中科院自动 化研究所建立了世界上第一个4 5 0 人共5 0 0 0 大小的真正的多模态生物特征数据 库( 人脸、指纹、虹膜) ，其中包括数据和图像序列，可用于质量评价、序列研 究。 1 5 论文组织 论文结合信息融合理论相关理论和手的相关特征( 指纹、掌纹、手形) 识别。 将图像质量判别融入到三模态生物特征识别上，尤其是指纹图像质量的判别，创 新地将指纹、掌纹、手形融合到一起进行人身份的认证，并且突破原有的认证方 式，提出了混合认证，首次将指纹分类应用在多模态生物特征识别上，并且提出 两种新的融合算法来进行多模态的处理，实验证明该方法是可行的。论文共分为 章，具体的安排如下 第一章绪论，主要介绍多模态生物特征识别产生的背景，生物特征识别框架 模式，介绍了评价生物特征识别系统的性能指标的，以及多模态生物特征识别的 发展历史。 第二章主要对信息融合的相关理论，信息融合层次进行较为明确的阐述，并 且分析在该层融合的优缺点。同时对信息融合的联接方式和方法做了一般性的介 绍。 第三章主要论证指纹、掌纹、手形子系统。在指纹认证子系统中，完成了指 纹的采集，指纹的分类，指纹图像质量的判断，为以后的三模态融合提供理论和 浙江师范大学硕士学位论文 技术支持。在掌纹子系统模块，在介绍一般掌纹识别算法的同时，并将指纹图像 判定的相关理论引入到掌纹质量判断。在手形识别子系统中，采集手形的几何特 征进行识别。 第四章将图像质量判别引入到串并联而并形成新的融合模型，提出了两种归 一化算法，并改进了u m 和m w 融合算法。 第五章总结，主要介绍了本文的主要工作和存在的问题，以及对未来的展望。 6 第二章融合理论 信息融合的前提是信息，信息是事物的特征，是事物发展变化的反映，通常 具有以下六个性质：依存性和能动性：信息依存于事物的发展及事物的特征， 所以信息具有依存性；信息的变化又影响事物的特征选取及事物的客观发展，所 以信息又具有能动性。时间性：信息价值在于能及时为决策提供依据，所以信 息的及时性会直接影响到信息的价值。真实性：信息是客观实际情况的反映， 反映真实情况、表明事物的真实特征，是信息的首要性质。不完全性( 不确定 性) ：由于客观事实的全部信息是不可能都得到的，因此客观造成了信息的不完 全性。可融合性：人们从不同侧面的信息中浓缩和分析而得出一个结论，显然 是所融合的结果；可以将多个信息合成一体，称之为可融合性。可共享性：信 息的共享性是信息交换中的固有特点。 2 1 信息融合认知学原理 自然界中人和动物感知客观对象，不是单靠某一种器官，而是多个器官的融 合。实际上，人本身就是一个高级的信息融合系统，大脑这个融合中心去协同眼 ( 视觉) 。耳( 听觉) 、口( 味觉) 、鼻( 嗅觉) 、手( 触觉) 等多类“传感器”去感觉事物 各个侧面的信息，并根据人脑的经验与知识进行相关分析、去粗取精，从而综合 评判，获得对周围事物本质的全面认识。其实大脑对这些信息进行融合的过程， 把多个感观信息进行融合的过程就叫多源信息融合，也称之为数据融合。 信息融合实际上是对人脑综合处理复杂问题功能的一种具体模拟，就像人脑 综合处理各种信息的过程一样，充分利用多个信息源提供的信息，并合理利用， 把冗余或者互补的信息依据某种法则来进行组合、分离、对检测对象的一致性评 估，整体所获得的性能比组成部分的子系统优越许多。 从人工智能和仿生学的角度考虑，多生物特征识别在理论上具有可行性。从 生物识别本身来看，不同的生物识别，所利用的生物特征、采用的具体的模型和 方法可能大不相同，但是基本过程是一致的。生物识别的过程就是对所处理的生 物特征进行图像处理与模式识别的过程。多生物特征识别技术利用了多个生物特 征，结合了数据融合的技术，可以使得进一步提高识别准确率和扩大应用范围。 因此具有非常有价值的现实意义。 2 2 信息融合的概念 信息融合技术涉及到很多领域，确切地讲信息融合技术是随着信息处理和指 挥自动化系统的发展而形成的，涉及数学、军事科学、计算机科学、自动控制理 论、人工智能、通信技术、管理科学等多学科的交叉和具体应用。对信息融合的 理解并不困难，通俗地说，它是关于如何协同利用多源信息，以获得对同一事物 浙江师范大学硕士学位论文 或目标更客观、更本质认识的综合信息处理技术【l 研。 信息融合( i n f o r m a t i o nf u s i o n ) 就是指采集并集成各种信息源、多媒体和多 格式信息，从而生成完整、准确、及时和有效的综合信息过程。信息融合技术综 合了多学科，包括：信号处理、模式识别、图像处理、统计估算、控制理论、人 工智能以及经典数学方法等。 信息融合技术为分析、估计和校准不同形式的信息，适应大量数据处理的需 要，同时充分利用这些信息正确反映实际情况提供了可能。其技术优势表现为： 可增加系统的信息利用率； 可提高经融合的信息的可信度和精度； 可增强对目标物的检测与识别能力： 可降低系统的投资； 可以利用互补的信息以降低错误率； 可以利用多种来源的信息以增加稳定性； 可以从不同角度来获得信息； 2 3 信息融合的层次 基于多模态生物测定的身份鉴别方法就是要从不同的生物测定角度来进行 观察，对每一种生物测定检测局部化，提取特征并进行鉴别。所以采用多模态生 物测定进行身份鉴别时，利用信息融合技术，综合利用各种生物测定信息，通过 在不同层次将各种特征信息进行融合，最终得到综合推断结果，达到提高鉴别率 的要求。 多模态信息融合是一个比较新的概念，但是早在8 0 年代初就有学者对此进 行了研究。多模式信息融合应用于身份认证的最早描述可见【1 9 1 。信息融合可以在 不同的信息层次上实现。现在没有统一的定论，根据a j a i n 【2 0 一”的分类，分为 下面四种：传感器层( 或称为数据层、象素级) 的融合，特征层的融合， 匹配层的融合，决策层的融合。信息融合不仅是一个信息处理的理论概念，同 时也是一个系统概念无论是单层融合还是多层融合，信息融合系统都必须具有 以下的一些主要模块； 2 3 1 传感器层( 数据层、或象素层) 融合 在传感器数据层( s e n s o rl e v e lf u s i o n ) 的融合中，它是直接在采集到的原始 数据层上进行的融合，从各个信息源得到的数据在未经预处理之前或者只进行适 当的预处理之后就立即进行数据的综合和分析。但要求各个传感器信息来自同质 传感器。该融合模式不适合相互独立模态之间的融合，是低层次的融合，有以下 两种方式融合： ( 1 ) 加权 第二章信息融合理论 假设x = b ，x ：，h ) r 为不同的数据源采集的数据，形= 锄，国：，) 为 其对应的权值系数，其中为总的数据源个数，则加权融合后数据为 f ( ) = 旷彳。前提条件是不同的数据必须同质，而且维度和大小必须一致，否 则，则通过一定手段将数据源归一化到相同的尺寸维度。 ( 2 ) 合成 把来自不同传感器的不同图像融合成一个图像。该方法主要用于地球信息系 统中。 该层次的融合虽然能尽可能多地保持原始的数据，提供较多的细节信息，但 是数据处理代价高、实时性差、抗干扰能力较差，并且该层融合具有较大的盲目 性。 2 3 2 特征层融合 特征层的融合( f e a t u r el e v e lf u s i o n ) 是把从传感器数据提取后的特征向量进 行融合。从不同传感器或不同方法提取后的特征大小和维度不同在这种情况下。 需要用一种特定的算法把两个特征进行关联，形成一个新的向量或者矩阵。由于 从一个生物测定性状提取的特征相互独立的，所以将这两个向量串联起来成为一 个单独的向量是可行的，就是以后要介绍的联合特征向量j f v ( j o i n tf e a t u r e v e c t o r ) ，新的特征向量拥有更高的维数，所以属性约减( r e d u c t i o n ) 用以特征 向量的处理。 特征层融合的策略通常是通过来自不同数据源特征抽取的特征向量组合而 成。这将对应一个比较大的特征向量集。并且由于不同数据源的特征向量维数的 差异，需用特定的算法把两个特征进行关联，形成一个新的向量或矩阵，从而增 加了融合的复杂性和局限性： ( 1 ) 融合后的维数过高，会造成维数“灾难”，并造成后续分类器设计的 复杂，需要大量的训练样本和测试样本 ( 2 ) 单个特征向量对最后决策结果的贡献无法控制，可以考虑引用图像质 量和认证准确度来做贡献系数。 ( 3 ) 两个来自不同的传感器的特征在时间上必须保持同步，这是由系统的 实时性要求决定的。 ( 4 ) 特征提取的方法直接关系到后继的关联的方法，使得没有固定的模式， 必须根据不同的系统需求来设计分类器和关联策略。 ( 5 ) 对特征融合的性能评价较难，进而难以直接评价融合效果。 2 3 3 匹配分数层融合 匹配层的融合被使用最多的一种多生物特征信息融合方法，近几年有多篇文 献对这个主题进行了阐述。在匹配层的融合中，各个不同的专家( e x p o r t e r m a t c h e r ) 9 浙江师范大学硕士学位论文 对各自的通道评价用匹配分数来表示，这是分类器给予该生物特征提供的一种度 量信息( 距离、相似度、可信度、置信区间信息等) ，在某些系统中，该评价值 反映了输入测试样本信息与训练样本信息之间的某种度量，一般该匹配分数在 【0 , 1 】区间，如果该度量不在【o ，1 】范围之内，则可以通过归一化的方式使其范围限 制在之内，因此在匹配层融合之前，必须首先完成归一化。包括度量转化和区间 的转化两种方式：相似性度量、距离度量、可信度量、模糊度之间完成转化， 但是度量一定要统一。单一分类器的相似性度量必须归一化到同一个范围内， 一般为【o ，1 】的区间。归一化之后，将应用不同的融合方法进行特征层融合。 匹配层的优点显而易见，具有灵活性高、传输数据量低、融合的目标的侧面 较为全面、容错性强、抗干扰能力强等。同时对传感器的依赖性小，同质或者异 质都可行，使系统可扩展性较大地提高。 匹配层融合度比特征层融合小，没有充分利用多个信息源得到的信息来提高 鉴别的效率。但是在单种生物测定鉴别的效率已经比较高的条件下，这种方法比 较有效，所以匹配得分层融合是最为流行的融合层次，如图2 2 所示。 2 3 4 决策层融合 决策层进行融合相对来说比较简单，可以利用的信息量最较小。在决策层融 合上，每一个分类器给出一个决策，即决策层融合的输入已是单个生物特征的逻 辑输出。在身份验证系统中，给出接受、拒绝两种结果。在身份识别系统中，往 往给出一个样本属于每类的列表，按照可能性大小顺序给出此列表的次序。在这 种情况下，常用的方法有是b o r d a c o u n t 2 2 1 和投票算法。用该方法来综合各个分 类器的输出。这个层面的融合方法克服了在匹配层融合中必须归一化各分类器输 出结果的强制要求。决策层融合有极高的灵活性、要求融合数据最少、算法简单 有效等优点。 2 3 5 信息融合的联接方式 ( 1 ) 串联融合方式：优点是融合效果较好，缺点是对线路的故障非常敏感， 若中间的某一级融合发生了故障，整个融合都将终止。 ( 2 ) 并联融合方式：在并联融合方式中，所有传感器都把各自的信息数据 传输给融合中心，融合中心按一定准则综合各传感器的信息，然后才进行融合， 做出最终的决策。其优点是对线路不敏感，缺点是速度较慢。 ( 3 ) 混合融合方式：混联融合方式是串联和并联两种数据融合方式的结合， 有多种形式，例如总体是并联的，局部是串联的：或者总体是串联的，局部是并 联的。 2 4 信息融合方法 信息融合作为一种数据综合和处理技术，实际上是许多传统学科和新技术的 1 0 第二章信息融合理论 集成和应用。从信息融合的功能模型可以看到，融合的基本功能是相关、估计和 识别，重点是估计和识别。相关处理要求对多传感器或多源测量信息的相关性进 行定量分析，按照一定的判别原则，将信息分为不同的集合，每个集合中的信息 都与同一源( 目标或事件) 关联。解决相关问题的技术和算法，如，最近邻法则、 最大似然法、最优差别、统计关联和联合统计关联等。常用的估计方法有卡尔曼 滤波、最大似然和最小均方估计等。所示现存的一些融合方法，如图2 4 所示。 识 别 算 法 图2 - 1 信息融合方法 f i g u r e2 - 1i n f o r m a t i o nf u s i o nm e t h o d s 2 5 本章小结 本章较为详细地介绍了信息融合的渊源，同时对融合层次的界定更加明确， 同时对融合的两种联接方式做了简单地介绍，最后对不同层次所涉及到的理论方 法做了概述。 物理模型 特征的推理模型认知模型 第三章三模态的相关理论 本章主要介绍指纹、掌纹、手形相关理论，为以后的多模融合提供理论支 持，并且根据不同的融合算法来选取不同的特征来进行信息融合。多生物特征 识别不仅仅能弥补单生物特征识别的局限性，提高系统的鲁棒性，而且多个生 物特征相结合能够更好更充分的提供一个人的身份识别信息，往往不同的生物 特征提供的信息有一定的互补性，可以弥补各自在身份识别中的缺陷。 3 1 指纹识别子系统 指纹识别是最古老的生物特征识别技术，在很多领域中都得到了成功的运 用。指纹指的是指尖表面的纹路，其中突起的纹线称为脊，脊之间的部分称为 谷。指纹的纹路并不是连续、平滑流畅的，而是经常出现中断、分叉或转，些 断点、分叉和转折点，称为细节( m i n u t i a e ) ，就是这些细节提供了指纹唯一性的 识别信息。 特征提取：从输入的指纹图像中提取出细节，包括，方向场估计嘲、脊线 抽取及细化【2 叭、细节抽取。指纹分类：在身份识别中，为了提高识别速度，通 常先将指纹图像分类1 2 5 。分类算法可采用：利用奇异点等标志信息，利用脊线 的方向和结构信息，应用句法模式识别方法。匹配决策：决定两个指纹是否来 自同一手指。 匹配方法有：基于串的匹配【冽将2 d 的细节特征转换成1 d 的串，应用 串匹配算法计算两个串的距离；基于h o u g h 变换的匹配，首先估计变换的参 数，然后对准细节点，在一个边界框内计算匹配的点数：基于2 d 动态规整 的匹配，将被测指纹的细节进行规整来对准参考指纹，以获得最大的匹配细节 的数目。 3 1 ，l 指纹的采集 指纹采集仪很多，由于本研究所得天独厚的实验条件，从而警用指纹采集 仪( c a i f s j h ) 进行指纹的采集，每人采集十枚指纹，采集得到5 0 0 d p i 的2 5 6 位灰度指纹，图像较为清晰，满足该实验条件的需要。采集图像如图所示：同 时本文也采用一些现有的指纹库，比如n i s l q ，f v c 2 0 0 6 等进行指纹特征的提 取和操作。 1 4 第三章三模态的相关理论 图3 1 指纹采集仪采集的指纹 f i g u r e3 - 1f i n g e r p r i n t sa c q u i r e dt l i r o u g hf i n g e r p i n td e v i c e 3 1 2 指纹识别 对采集得到的图像要进行必要的预处理，主要包括指纹图像的灰度规范化 处理、指纹图像模式域的分割、方向场与频率场的计算、指纹图像滤波增强及 二值化处理，后继有细化，消除下次点，特征提取等图像增强技术基本上可分 为两大类：频域处理法和空域处理法。由于指纹其自身的特性如周期性和方向 住，而g a b o r 滤波器是具有良好的方向选择和频率选择特性的带通滤波器，且 在时域和频域都具有最优联合分辨率。g a b o r 滤波器已被广泛用于纹理分割、 图像增强，特征提取等模式识别领域。并且可以应用在指纹基于细节点和基于 结构识别上的应用，应用较为广泛。 ( 1 ) 图像的规格化 主要是降低脊谷线灰度变化程度，使得文理更加清晰，现在假设，为采集 的指纹图像，为大小，f ( i ，j ) 为象素( f ，力的灰度值，用肘和v a r 表示灰 度均值和方差，g o ，) 代表规格化的灰度值。 l- 1 - l 。时( ，) = 寺厂( f ，) ( 3 1 ) 1一l 一l 胁= - 万z x ( f