（计算机应用技术专业论文）基于人脸和掌纹的多模态生物认证方法研究.pdf

摘要 生物认证技术是利用人体固有的生理特征，如人脸、虹膜、指纹、以及行为 特征，如步态等对个体进行识别的身份认证技术。近几年来，由于对安全问题的 重视，生物认证技术得到了长足的发展，引起了人们越来越多的关注，公安、海 关、金融等各个领域都有生物认证技术的应用。已经结束的北京2 0 0 8 年奥运会 就在各个奥运场馆的安全通道里安装了虹膜、声纹、步态、掌纹、面部识别系统 等各种生物认证系统。但是，由于单一模态身份认证存在着非普遍性、欺诈行为、 无效性和不准确性等问题，近几年，多模态生物认证成为生物认证技术的研究热 点之一。多模态生物特征认证技术，是综合利用人的多种生物特征进行身份识别 的新兴的生物特征认证技术。由于多模态特征组合的多样性以及融合策略的丰富 性，多模态生物特征认证技术从本质上克服了单模态技术的诸多不足，从而能够 实现更为鲁棒的身份认证系统。目前，多模态生物特征认证技术的有效性已经得 到了人们的关注和认可。 本文致力于多模态生物认证系统的研究，采用了人脸和掌纹两种生物特征， 在融合的特征级对这两种生物模态进行融合。针对人脸和掌纹两种模态，本文采 用了不同的特征提取方法，而后设计了两种不同的加权方式对之进行融合，最后 分类识别。通过对两种不同的加权融合方式的实验对比，旨在找出使识别率更高， 稳定性更好的多模态生物认证系统。本文研究的主要内容有对人脸和掌纹的特征 提取方法的研究、加权融合方式的研究，具体内容如下： 首先，本文研究了人脸和掌纹的特征提取方法，针对这两种模态的不同特征， 分别采取对之有效的特征提取方法。 其次，融合的有效性是识别的关键，本文分别用遍历加权的方式和基于不同 用户的特异性加权的方式对人脸和掌纹的特征进行了加权融合。 实验表明，本文采用的多模态的生物认证技术的识别效果好于单模态认证， 鲁棒性也更强。本文提出的特异性加权方式是一种有效的多模态融合方法。 关键词：生物认证；人脸识别；掌纹识别；特征级融合 a b s t r a c t b i o m e t r i ca u t h e n t i c a t i o nt e c h n o l o g yi s 粕i d e n t i t ya u t h e n t i c a t i o nt e c h n o l o g y w h i c hm a k e su s eo fp h y s i o l o g yc h a r a c t e r i s t i c sl i k ef a c e ，i r i s ，f i n g e r p r i n ta n db e h a v i o r c h a r a c t e r i s t i c sl i k eg a i tt o i d e n t i f yi n d i v i d u a l s i nr e c e n ty e a r s ，o w n i n gt o t h e e m p h a s i z i n gt os e c u r i t y , b i o m e t r i ca u t h e n t i c a t i o nt e c h n o l o g yo b t a i n e df u l l g r o w n d e v e l o p m e n t p e o p l ep a ym o r ea n dm o r ea t t e n t i o nt oi ta n di tg o i n gd e e p l yi n t oo u r d a i l yl i f e d o m a i n s ，l i k ep u b l i cs e c u r i t y , c u s t o m s ，f i n a n c i a la r ea l la p p l i e dw i t h b i o m e t r i ca u t h e n t i c a t i o nt e c h n o l o g y b u ts i n g l em o d a la u t h e n t i c a t i o nt e c h n o l o g yh a s p r o b l e m sl i k en o n - u n i v e r s a l i t y , i n v a l i d i t ya n di n a c c u r a c y , m u i t i m o d a lb i o m e t r i c a u t h e n t i c a t i o nt e c h n o l o g yg r a d u a l l yb e c o m e so n eo fb i o m e t r i ca u t h e n t i c a t i o nr e s e a r c h f o c u s e s m u l t i m o d a lb i o m e t r i ca u t h e n t i c a t i o nt e c h n o l o g yi san e wt e c h n o l o g yw h i c h u s e sm a n yk i n d so fb i o m e t r i cc h a r a c t e r i s t i c st o i d e n t i f yi n d i v i d u a l b e c a u s eo f c o m b i n a t i o n d i v e r s i t y a n df u s i o nt a c t i c s r i c h n e s s ，m u l t i m o d a ib i o m e t r i c a u t h e n t i c a t i o nt e c h n o l o g yo v e r c o m e ss h o r t a g e so fs i n g l eb i o m e 吐r i ca u t h e n t i c a t i o ni n e s s e n c et h e ni ti m p l e m e n t sm o r er o b u s ti d e n t i t ya u t h e n t i c a t i o ns y s t e m c u r r e n t l y , t h e e f f e c t i v e n e s so fm u l t i m o d a lb i o m e t r i ca u t h e n t i c a t i o nt e c h n o l o g yr e c e i v e da t t e n t i o n a n da c c e p t a n c e t h i sw o r ki n v e s t i g a t e sm u l t i m o d a lb i o m e t r i ca u t h e n t i c a t i o ns y s t e ma n dm a k e s u s eo ff a c ea n dp a l m p r i n tb i o m e t r i cc h a r a c t e r i s t i c st of u s et h e s eb i o m e t r i cm o d a l si n f e a t u r el e v e l 1u s ed i f f e r e n tf e a t u r ee x t r a c t i n gm e t h o d sf o rf a c ea n dp a l m p r i n tm o d a l s ， t h e nf u s et h e mb yt w od i f f e r e n tw e i g h tm e t h o d s b yd o i n ge x p e r i m e n t a lc o m p a r i s o n t ot w od i f f e r e n tw e i g h tf u s i n gm e t h o d s ，ii n t e n dt of i n dam u l t i m o d a lb i o m e t r i c a u t h e n t i c a t i o n s y s t e m w h i c hc a l l g e th i g h e rr e c o g n i t i o n r a t ea n dm o r es t a b l e p e r f o r m a n c e t h em a i nc o n t e n to ft h i sw o r ki sf a c ea n dp a l m p r i n tf e a t u r ee x t r a c t i n gm e t h o d s a n dd i f f e r e n tw e i g h tm e t h o d s t h ed e f i n i t ec o n t e n t sa r ea sf o l l o w s ， f i r s t ，t h i sw o r kd i s c u s s e sf a c ea n dp a l m p r i n tf e a t u r ee x t r a c t i n gm e t h o d sa n d a d o p t sd i f f e r e n tm e t h o d s f o rt h e m s e c o n d ，t h ee f f e c t i v e n e s so ff u s ei st h ek e yf o rr e c o g n i t i o n t h i sw o r k r e s p e c t i v e l yu s e st r a v e r s a lw e i g h t i n gm e t h o da n du s e r - s p e c i f i cw e i g h t i n gm e t h o dt o f u s ef a c ea n dp a l m p r i n tf e a t u r e s e x p e r i m e n t ss h o wt h a tm u l t i m o d a lb i o m e t r i ca u t h e n t i c a t i o nla d o p t e di sb e t t e r t h a ns i n g l em o d a la u t h e n t i c a t i o n t h eu s e rs p e c i f i cw e i g h t i n gm e t h o di sa l le f f e c t i v e m u l t i m o d a lf u s i o nm e t h o d k e yw o r d s ：b i o m e t r i ca u t h e n t i c a t i o n ；f a c er e c o g n i t i o n ；p a l m p r i n tr e c o g n i t i o n ； f e a t u r el e v e lf u s i o n 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取 得的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文 中作了明确的说明。本声明的法律结果由本人承担。 学位论文作者签名：4 鳌盘 日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规 定，即：东北师范大学有权保留并向国家有关部门或机构送交学位论文的 复印件和电子版，允许论文被查阅和借阅。本人授权东北师范大学可以将 学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其它复制手段保存、汇编本学位论文。 ( 保密的学位论文在解密后适用本授权书) ， 学位论文作者签名：越指导教师签名：趁 日 期：趟： 日期： 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 东北师范大学硕士学位论文 第一章引言 1 1 生物识别的发展现状及意义 现实生活中，经常需要对人的身份进行认证和识别，而传统的身份认证方法， 如钥匙、磁卡、用户和密码等，容易丢失、被盗和遗忘，这就需要一种更加方便、 安全的身份认证方法。生物识别就是在这种情况下应运而生的，它具有不易遗忘、 防伪性能好、不易伪造或被盗、随身“携带”和随时随地可用等优点。 1 1 1 生物识别技术简介 生物识别技术，就是通过计算机，利用人体固有的生物特征，如人脸、虹膜、 指纹、掌纹，以及行为特征，如步态、笔迹、声音等进行个人身份的鉴定。常见 的生物特征识别技术有：虹膜识别、指纹识别、掌纹识别、手形识别、耳形识别、 入脸识别、语音识别、手背静脉识别等；常用的个体行为特征识别技术有：签名 识别、步态识别、敲击键识别等。 一个典型的生物识别过程n ：通常包括图像采集、预处理、特征提取、匹配决 策等步骤，其基本流程如图1 1 所示： 识别结果 图1 1 基本生物认证流程图 1 信号获取 生物识别系统的信号( 一维波形或二维图像等) 是由一个采集设备来获取的。 所获取的原始信号的质量非常重要，它是后续处理的输入数据。 2 预处理 在这个阶段，对信号图像进行优化，包括分割、去噪、消除旋转和平移等 操作。 3 特征提取 提取稳定的、区分能力强的特征，即要求所提取的这些特征能使类内距离d ! ， 类间距离大。 4 特征匹配 东北师范大学硕士学位论文 将待识别的特征与模板库中的模板进行匹配，从而得到识别结果。 1 1 2 生物识别发展现状 近年来，基于静脉、指纹和虹膜等方式的生物特征识别技术不断深入到各种 应用领域。在诸如计算机系统或业务应用系统的登录、a t m 取款机的身份认证 以及门禁系统等领域里的应用日益普及。 生物特征识别系统中，目前分布状况是指纹识别系统占4 8 、人脸识别系 统占1 4 、虹膜识别系统占l o 、声音识别系统占7 、掌纹识别系统占6 。 已经结束的北京2 0 0 8 年奥运会就应用了掌纹静脉、指纹等多种生物特征识别技 术，并首次启用了由中科院自动化所生物识别与安全技术研究中心【2 】研制的具有 完全自主知识产权的人脸识别系统，开创了人脸识别技术在奥运会上应用的先 河。 北京奥运场馆的人脸识别系统数据库收入包括中国公民和国际人士在内的 共计1 3 多亿人的面部信息。门禁系统是奥运会场馆建设的重要组成部分，其中 包括安全系统和出入口控制系统。它既能保证观众顺畅地出入比赛场馆，同时又 能保证奥运场馆的安全，拒绝不安全人员和因素的进入。在2 0 0 8 北京奥运会的 门禁系统中，探头可将走到门前的人脸信息迅速传递到中央处理器，经过大型计 算机的比对，进而辨别出来人的身份。“最快识别速度可达0 0 1 秒”，如果是 “自己人”，门会自动打开，如果是“可疑人物”，门不但不会打开，还会发出 报警。该人脸识别快速身份验证系统事先对入场券持有者提交的人脸身份照片进 行扫描，提取人脸特征，并录入信息数据库。在进入现场时，利用视频摄像头对 入场券持有者进行人脸图像采集，并与数据库中的数据进行对比，从而实现人脸 身份识别。 同时，在奥运比赛现场，也采用了手背式静脉门禁系统以及发展的较为成熟 的指纹识别系统。其中，指纹识别是一门比较成熟的生物认证技术，我国的指纹 识别技术基本与国外同步，研究开始于8 0 年代，并己掌握了核心技术。在奥运 村，运动员的指纹事先都输入到了指纹门锁的智能系统，若想打开房门，只需要 用手碰一下门锁，不但省去了携带钥匙的麻烦，也更加安全可靠。手背式静脉门 禁系统的工作原理首先是检测入场者手背上静脉的形状和走向，其次测量每条静 脉的宽度，三是检测血管内血流的速度。该系统只能识别活体，如果是用其他材 料仿造的，系统会禁止入内。 目前笔记本产品中比较常见的一种安全系统就是指纹识别系统，而富士通的 掌纹识别系统的出现将成为种更安全高效的生物特征认证技术。f u j i t s u ( 富 士通) 于2 0 0 9 年初宣布其手掌静脉认证装置p a l m s e c u r e 已获得i t 安全国际标 准规格c o m m o nc r i t e r i a ( i s 0 15 4 0 8 ) e a l 2 的认证。这是世界上通过该国际标准规 2 东北师范大学硕士学位论文 格的首个静脉认证装置和第三个生物认证装置。该国际标准规格目前已被2 5 个 国家认可，并成为各政府和金融机构的采购标准。 2 0 0 8 年年初，一套具有高精度、高可靠性的生物特征识别技术“自动掌纹 识别技术与系统研究”通过了由教育部，中科院院士及来自中、美、德等国教授 组成的专家委员会的鉴定。专家认为，该项研究提出了与掌纹识别相关的图像处 理、模式识别等领域具有国际影响的理论、模型和算法，丰富了生物特征识别理 论，具有重要的理论价值。这套系统是由哈尔滨工业大学、香港理工大学等单位 联合的团队历时1 0 年完成。他们在研究中积累了1 5 万多幅的掌纹图像数据资源， 建立了目前国际上规模最大、覆盖面最广、具有权威性的多种掌纹图像数据。据 不完全统计，该项目组发布的掌纹图像公开库已经被全世界3 1 个国家和地区的 2 3 1 个研究单位申请使用，是目前国际掌纹识别研究领域最重要、最权威的数据 资源。 生物特征识别技术克服了传统的身份认证技术所无法解决的缺陷，近些年， 在各个领域都获得了长足的发展，其在安全防务、司法、海关、边境、保险及民 用等领域的应用具有极广阔的前景。随着信息化的进程，生物识别在现代社会将 扮演着越来越重要的角色。 1 2 多模态生物认证的研究现状及意义 在实际应用中，单一的生物认证技术经常遇到各种问题，比如指纹特征极易 被伪造；由于外伤、年龄等原因，指纹、掌纹等特征存在获取困难；有少量的人 由于遗传等原因，脸部特征很相近，很难区分：语音信息容易被窃取等等。由于 这些原因，单一的生物特征识别技术存在其局限性，而多模态生物认证技术由于 充分结合了多种生物特征，弥补了单一模态生物认证的不足，提高了识别系统的 性能，逐渐成为生物特征识别领域中的一个研究热点。随着信息化进程的发展， 多模态生物识别技术也将成为生物特征识别领域未来发展的主流。 1 2 1 多模态生物识别技术简介 多模态生物特征识别技术就是结合人体的多个生物特征或行为特征进行身 份识别的生物特征识别技术。同一个人的多个相同生物特征的结合或同一个人的 多个不同生物特征的结合都属于多模态生物特征识别。比如同一个人的多个指纹 特征的结合以及同一个人的指纹和人脸特征的结合都属于多模态生物特征识别 的范畴。 多模态生物特征识别可以提高系统的识别率，增强系统的安全性。与基于单 一特征模态的识别技术相比，多模态生物识别技术更容易克服外界因素的干扰， 而且即使不改进算法，整个识别系统的性能也能获得明显提升，因而具有良好的 3 东北师范大学硕士学位论文 应用前景。 1 - 2 2 信息融合在多模态生物识别中的应用 信息融合就是指采集并集成各种信息源、多媒体和多格式的信息，从而生成 完整、准确、及时和有效的综合信息，以获得对同一事物或目标的更客观、更本 质的认识。信息融合在不同领域有不同的实现形式，多数融合问题针对同一层次 上的信息形式来开展研究。在生物特征识别中应用信息融合技术可以利用多种来 源的信息以增加稳定性；可以利用互补信息以降低错误率；还可以从不同角度来 获得信息。多生物特征的数据融合可以在四个层次进行：数据层的融合，特征层 的融合、匹配层的融合和决策层的融合。信息融合的应用层次如图j 2 所示。下 面本文对信息融合在生物认证中各个层次的应用一一进行介绍。 ：訇7 ，7 ( ：章7 ，。i ：审7 ，7 ：鞫 ：，7 ：，7 ： ，： 【鍪堑釜坚户刊竺笙兰坚f 刊苎苎垩堡户刊竺竺j 图1 2 信息融合应用的层次 识别结果 ， 1 数据级融合 又称像素级融合，是最低层次的融合。在这一层次对采集到的原始图像不经 预处理或只做很小处理后就进行信息的综合和分析。其优点是保持了尽可能多的 信息，能够提供其它融合层次不能提供的细微信息，缺点是处理的数据量大，所 需时间长，实时性差。在多模态识别任务中，由于多模态信息往往是由不同类型 的采集设备获取的，多个模态间不能形成数据级融合要求的“同类型传感器”下 的目标，因此很多情况下很难在该级别讨论融合方法。也正是出于这样的考虑， r o s s 与j a i n 没有将数据级融合方法归纳到多模态识别的结构中隐3 。 2 特征级融合 该融合方式处于整个系统的中间层次，兼顾了像素级和决策级融合的优点， 是对不同的相互独立的特征信息进行综合分析，进而融合成一个唯一的特征的处 理方法。特征级融合的输入是从不同的生物特征提取的特征向量集。不同的特征 向量用不同的方法来构成新的高维特征向量，用这个高维特征向量来代表多个生 物特征的融合。 特征级融合的优点在于实现了可观的信息压缩，有利于实时处理，由于所提 4 东北师范大学硕士学位论文 取的特征直接与决策分析相关，融合结果能最大限度地给出决策分析所需的特征 信息。由于不同类型的生物特征向量相互独立，所以，可以将两个或多个生物特 征向量连接成一个向量。新特征向量的维数将大大增加，并在一个不同的多维空 间中表示一个人的身份。但由于多特征直接拼接会造成新特征空间不完备、融合 特征维数大幅增高的缺陷，相关研究较少。当前，这一领域的潜力己引起各国学 者的关注与思考。 3 匹配级融合 匹配级融合模块的输入是若干个生物认证系统的匹配模块输出的分数，匹配 分数也叫匹配值，用于描述获得的生物特征与存储的模板之间的相似程度。对不 同特征向量的多个匹配值进行组合，进而进行识别的方式就是匹配级融合。在四 种融合方式中，匹配级的融合是最常见的。 这种融合方式需要将匹配值进行标准化处理，以保证融合以前，匹配值拥有 相同的数量级。一般经过两个步骤t 匹配值分布的统计估计和公共域的转换。 4 决策级融合 对决策层进行整合相对来说比较简单，可以利用的信息量也比较小，多模态 识别的研究就是从这个层次开始的。这一层次的融合建立在对各传感器数据进行 匹配得到的匹配结果基础之上，用投票表决等技术形成最终决策结果。根据分类 器输出数据的不同解释，决策级的算法有多种选择，其中最为普遍的方法是，将 分类器输出结果解释为贝叶斯框架下的后验概率或最大似然，然后采用如投票、 最大最小、加权平均等算子进行融合。另外，基于聚类- j 及神经网络哺。的决策融 合也有相关研究。 决策级融合的优缺点正好与像素级融合相反，该方法处于模式匹配之后，是 在最高层次上进行的融合。其优点是：具有很强的容错性，鲁棒性较好，算法复 杂度较低。 多模态生物认证的研究大体有两个阶段，第一个阶段的研究集中于融合的较 高层次，即决策级、匹配级的融合，是基于单模态多分类器，第二个阶段主要研 究多模式的多模态识别的研究，研究开始向特征级甚至像素级集中。 2 0 0 0 年以前，多模态的生物认证研究还处于起步阶段，使用的方法一般是决 策级的分类器集成。国际指纹研究权威a k j a i n 于1 9 9 8 年左右起对多模态识别进 行研究。h o n g 等人m 。提出了基于决策级的人脸与指纹相结合的识别系统。j k i t t l e r 等人 3 针对不同模式的分类器结合问题，提出了一个通用的理论框架，表明许多 现存的方案可以考虑成混合分类器的特殊案例。b e n y a e o u b 等人哺3 研究了基于人 脸和声音的生物识别方法，考虑了几种融合策略，如支持向量机、树分类器和多 层感知器等。p v e r l i n d e 等人旧3 针对决策融合问题，比较了参数与非参数技术的两 个范例。a n i lk j a i n 等人n 0 、提出了特定人特定参数的识别方法。s p r a b h a k a r 等人 5 东北师范大学硕士学位论文 u 1 。提出的方法结合了四种不同的指纹匹配方法来提高指纹系统的识别率。 2 0 0 0 年至今，多模态识别技术进入快速发展期，随着生物特征识别技术的发 展，由分类器集成的应用背景分离出来，成为模式识别的一个重要研究领域，在 理论与应用方面有了很大的发展，并逐步走向实用化。ar o s s 等人n 町直接将各特 征向量连接，再进行特征选择或变换。y u n h o n gw a n g 和t i e n i ut a n n 副等人提出了 基于f i s h e r 判别和神经网络的人脸和虹膜识别。n r a t h a 等人n 乃研究了人脸和指 纹拼接方法。a a r o s s 等人n 断直接将各特征向量连接，再进行特征选择或变换。 a k o n g 等人n 吼采用若干不同方向的椭圆g a b o r 滤波器提取掌纹特征，利用融合规 则将滤波后的图像融合成一幅图像作为特征进行身份识别。x i a o y u a nj i n g 等人 提出了基于像素的人脸和掌纹识别方法。a f z e ! n o o r e 等人但1 篮提出了基于小波分 解的融合方法。j i a n g a n gw a n g 箸j e 人怛3 。提出了将掌纹与掌纹静脉图融合成一幅图 像的识别方法。 基于多模态或多生物特征融合的解决方案代表了一个新兴趋势，某些应 用会比单一方法的识别系统具有更好的技术性能。国际标准化组织( i s o ) 和国 际电工委员会( i e c ) 已经联合公布了信息技术一生物特征一多模态和其他多 生物特征融合( i s o i e c t r 2 4 7 2 2 ：2 0 0 7 ) ，该方案能融合多种生物指令，以保 证在一种生物特征失真的情况下，仍能顺利识别。新的i s o i e c t r 2 4 7 2 2 ：2 0 0 7 不但包含了目前就多模态和多生物特征融合做法的描述和分析，它还研讨了 需求、可能的路径和标准化来支持多生物特征识别系统，以提高其通用性和 实用性。这项最新的i s o i e c 技术报告提供了多模态和其他多生物识别系统 的总的概述，并给出了关于多生物特征融合的一个参考一生物特征识别系统 需要一种以上的生物模态。 国外对多模态生物特征识别进行理论研究的代表人物有美国的j a i l 教授m 3 ， 所研究的范围包括了多模态识别的各个领域，综合了指纹，人脸，手掌等多种模 态。主要研究机构有i b m 公司、d c s a g 公司、德国的法兰富尔协会，美国的密 歇根州立大学等。主要成型产品有美国的u 洲l s i t 系统，现用在美入境管理处。 德国的法兰富尔协会也研发出一种多重模板识别系统，据此身份识别系统 ( b i o l d 卜- b i o l d 将一个人的面貌、声音以及嘴唇运动3 种特征相结合，在一秒钟内 快速完成识别。由于在识别过程中同时采用了动静态这两种特征，当其中的一种 生物特征变动时，多重模板识别系统还可根据其他两项生物特征进行识别。 d c s a g 公司将这一专利开发成了产品。 在国内，许多科研机构如中科院自动化所n 、清华大学、北京交通大学“3 3 等也开始相关研究。由清华大学丁晓青教授组研制的t h i d 系统多模式生物 特征( 人脸、笔迹、签字，虹膜) 身份认证识别系统已通过教育部组织的专 家鉴定。该系统能够实现在复杂背景下的图像和视频人脸自动检测、识别和 6 东北师范大学硕士学位论文 认证，在人脸、笔迹、签字、虹膜的识别认证技术上取得了重要进展，在整 体上达到了国际领先水平。 1 3 本文主要工作 通过广泛阅读中外文文献，在总结和验证现有的多模态生物认证方法的基础 上，本文提出了一种基于用户特异性的多模态加权算法，实现了一个多模态生物 认证系统。具体工作如下： 在特征提取阶段，分别针对人脸和掌纹模态的不同特点，采用不同的特征提 取方法。 在融合阶段，提出了一种基于用户特异性的多模态加权算法，并与遍历式加 权方法进行了比较，实验结果验证了基于用户特异性的加权方法的有效性。 在识别阶段，采用性能较好的b p 神经网络方法进行分类识别。 在实验阶段，主要从识别率上比较了不同的特征提取方法和不同的加权融合 方法的优劣，验证了特异性加权方法的有效性。 大量实验表明本文提出的融合方法是一种有效的多模态特征级融合方法，本 文的多模态生物认证系统具有好的鲁棒性。 。 1 4 论文结构 本文针对人体的人脸和掌纹两种生物模态，进行特征提取和特征级的融合， 实现了一个多模态生物认证系统。基本组织结构如下： 第一章引言。本章主要对本课题的意义、研究背景、国内外的研究现状进 行介绍。首先介绍了生物认证的定义，过程以及其研究现状，以及多模态生物认 证的研究现状和信息融合在多模态生物认证中的应用，最后介绍了本文结构。 第二章本章主要介绍人脸及掌纹认证的定义及研究现状，并介绍了本文采 用的人脸和掌纹的特征提取方法。 第三章本章主要介绍了一个特异性加权特征融合系统。着重介绍了人脸和 掌纹模态的特征提取方法和特异性加权融合的具体实现过程。 第四章实验结果。本章通过大量实验对人脸和掌纹的不同的特征提取方法 以及特异性加权方法和遍历式加权方法分别进行了比较，并分析了各种方法的优 劣。 第五章总结与展望。本章回顾了本文所做的工作，并指出了今后工作的方 向。 7 东北师范大学硕士学位论文 第二章人脸识别及掌纹识别介绍 2 1 人脸识别的现状和研究意义 在各种生物识别技术中，由于人脸识别对人体的友好性、非打扰性以及其良 好的交互性，使之成为了最容易被接受的生物特征识别技术，一直都是生物识别 研究和应用的热点。不同形式的人脸识别产品在各行各业都有着广泛的应用，如 保安系统、罪犯识别以及身份证明、视频监控、访问控制等领域。人脸识别的目 的是从人脸图像中提取人的个性化特征，并将其与已知人脸库中的模板信息进行 对比，从而识别每个人的身份，达到身份识别的目的。 计算机人脸识别技术是近2 0 年来发展起来的。它的发展大致可以分为四个阶 段。2 副： 第一阶段：人类最早的关于人脸识别的研究工作至少可追溯到2 0 世纪5 0 年代 在心理学方面的研究和6 0 年代在工程学方面的研究。j s b r u n e r 于1 9 5 4 年写下了 关于心理学的1 1 1 ep e r c e p t i o no fp e o p l e ，b l e d s o e 在1 9 6 4 年就工程学写了f a c i a l r e c o g n i t i o np r o j e c tr e p o r t ，国外有许多学校在研究入脸识别技术。，其中有从感 知和心理学角度探索人类识别人脸机理的，如t e x a sa td a l l a s 大学的a b d i 和t o o l 小组幢引，由s t i r l i n g 大学的b r u c e 教授和g i a s g o w 大学的b u r t o n 教授合作领导的小组 等3 ；也有从视觉机理角度进行研究的，如英国的g r a w 小组幢螂j 和荷兰g r o n i n g e n 大学的p e t k o v d , 组曙u 等。 第二阶段：关于人脸的机器识别研究开始于2 0 世纪7 0 年代。以a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。研究者用计算机实现了较高质量 的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，不是 一种可以完成自动识别的系统。 第三阶段：人机交互式识别阶段。h a r m o n 和l e s k 用几何特征参数来表示人 脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计了基于这一特征 表示法的识别系统。勋v a 和k o b a v a s h i 则采用了统计识别方法，用欧氏距离来表 征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干 预。 第四阶段：2 0 世纪9 0 年代以来，随着高性能计算机的出现，人脸识别方法有 了重大突破，才进入了真正的机器自动识别阶段。 2 2 人脸识别特征提取方法 1 基于几何的人脸识别 8 东北师范大学硕士学位论文 这类识别方法是早期的人脸识别方法m ：。通常采用人脸的五官如眼睛、鼻子、 嘴巴等局部形状特征，脸型特征以及五官在脸上分布的几何特征。这类识别方法 般首先将人脸用一个几何特征矢量表示，用模式识别中的层次聚类思想设计分类 器来对人脸进行识别。它要求该矢量具有一定独特性，可以反映不同人面部特征 的差别。由于该方法对脸部朝向的改变非常敏感，要求有一定的弹性，以消除时 间跨度和光照的影响。识别工作的流程大体如下：首先检测出面部特征点，通过 测量这些关键点之间的相对距离，得到描述每个脸的特征矢量，比如眼睛、鼻子 和嘴的位置和宽度，眉毛的厚度和弯曲程度等，以及这些特征之间的关系，用这 些特征来表示人脸。最后通过比较未知脸和库中已知脸中的这些特征矢量，来决 定最佳匹配。基于几何特征的方法内存要求少，识别速度较快，它的缺点是这些 特征的准确提取较难实现。 2 基于统计的人脸识别 基于统计的方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸 模式，这类方法有着完备的统计学理论支持，得到了较好的发展，出现了一些较 成功的算法。主要有隐马尔可夫模型的方法、子空间的方法等。 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是一种常用的模型，基于 h m m 的方法首先被用于声音识别和手势识别等身份识别上，之后被n e f i a n 和 h a y e s 等人m 3 引入到人脸识别领域。它是用于描述信号统计特性的一组统计模 型。h m m 用马尔可夫链来模拟信号统计特性的变化，而这种变化又是间接通过 观察序列来描述的，因此马尔可夫过程是一个双重的随机过程。在h m m 中节点 表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特 征，对同一特征，不同形态表现出这一特征的概率不同。 子空间分析的思想就是根据一定的性能目标来寻找一个线性或非线性的空 间变换，把原始信号数据压缩到一个低维子空间，使数据在子空间中分布更加紧 凑，为数据的更好描述提供了手段，另外计算的复杂度也得到了大大降低。其中 比较成功的就是特征脸( e i g e nf a c e ) 的方法。特征脸( e i g e nf a c e ) 方法协5 = 是从主成 分分析( p c a ) 方法导出的一种人脸识别和描述技术。它是将人脸的图像区域视作 随机向量，然后采用k l 变换获得正交l n 基底。由于对应其中较大特征值的基 底具有与人脸相似的形状，因此我们又称之为特征脸。我们利用这些基底的加权 线性组合来描述、表达和逼近人脸图像。利用这种方法我们就可以进行人脸合成 和识别。因此识别过程实际上就是将人脸图像映射到由特征脸构成的子空间上， 然后比较其与己知人脸在特征脸空间中的位置来进行人脸的识别。 3 基于神经网络的人脸识别 神经网络是仿照动物神经系统，利用简单处理单元互联构成的复杂系统，用 以解决行为控制与复杂模式识别问题。神经网络方法被用于正面人脸识别与人脸 9 东北师范大学硕士学位论文 检测并取得了较好的效果。目前常用的人工神经网络方法是b p 神经网络、自组 织神经网络、径向基函数神经网络等。神经网络方法在人脸识别上的应用比其他 类方法有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当 困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表 达，它的适用性更强，一般也比较容易实现。应用神经网络进行人脸的特征提取 和分类器的设计3 ，有比较成熟的人脸特征提取方法，如多主分量提取算法( 自 适应主分量神经网络提取算法) 。研究人员还应用传统方法和神经网络设计了组 合分类器，取得了比较满意的效果，识别率和特征脸方法相当。 4 基于弹性图匹配的人脸识别 l a d e s 等人针对畸变不变性的物体识别问题提出了一种基于动态连接结构的 弹性图匹配方法，并将其应用于人脸识别。所有人脸图像都有相似的拓扑结构。 人脸都可表示成图，图中的节点是一些基准点( 如眼睛，鼻尖等) ，图中的边是 这些基准点之间的连线。 每个节点包含4 0 个g a b o r 小波( 一种数字信号变换方法) 系数，包括相位 和幅度，这些系数合起来称为一个j e t ，这些小波系数是原始图像和一组具有5 个频率、8 个方向的g a b o r 小波卷积( 一种数字信号处理算子) 得到的。这样每 幅图就像被贴了标签一样，其中的点被j e t s 标定，边被点之间的距离标定。所以 一张人脸的几何形状就被编码为图中的边，而灰度值的分布被编码为图中的节 点。为了识别一张新的人脸，需要从该人脸中找到基准点，提取出一个人脸图， 这可用弹性图匹配得到。弹性图匹配的目的是在新的人脸中找到基准点，并且提 取出一幅图，这幅图和现有的人脸束图之间的相似度最大。经过弹性图匹配后， 新的人脸的图就被提取出来了，此图就表征了新的人脸，用它作为特征进行识别。 进行识别时，计算测试人脸和现有人脸束图中的所有人脸之间的相似度，相似度 最大的人脸的身份即为测试人脸的身份。 2 3 掌纹识别的现状及研究意义 目前，对掌纹识别系统的研究主要分为两个领域：刑侦领域和民用领域。尽 管掌纹图像早已应用于刑侦领域，但自动掌纹识别作为一种生物识别技术则是近 年来发展起来的。总的来说，自动掌纹识别研究的发展主要经历了三个阶段“j 1 l 产生阶段( 1 9 9 7 年一1 9 9 9 年) ，香港理工大学与清华大学率先提出了用掌 纹进行自动识别身份的思想口卜剐，全面总结了掌纹的基本特征和特点，在国际期 刊上发表了第一篇关于自动掌纹识别的文章并申请了若干国际专利，从而开辟了 掌纹识别研究领域。 2 发展阶段( 1 9 9 9 年2 0 0 3 年) ，国内外多所高校与研究机构纷纷进入该研 究领域，其中包括美国的密西根州立大学、台湾中华大学、香港科技大学“、 l o 东北师范大学硕士学位论文 马来西亚多媒体大学3 、哈尔滨工业大学、清华大学h 洲3 、北京大学h 懿、南昌航 空工业学院和广东工业大学等。在该阶段取得了大量的掌纹识别研究成果， 其标志是香港理工大学h 轧的联机掌纹采集系统的建立及高水平论文的发表。 3 成熟阶段( 2 0 0 3 年至今) ，香港理工大学生物识别研究中心根据其在前面 两个阶段的研究成果，设计和开发了世界上第一套民用联机掌纹识别系统，建立 了世界上最大的掌纹图像数据库( 大于1 0 万样本) ，并于2 0 0 3 年在网上发布了首 个掌纹图像标准库h 9 j 。2 0 0 4 年，张大鹏。教授总结了他所领导的团队对掌纹识别 的研究成果，出版了世界上第一部掌纹识别专著。 2 4 掌纹识别方法 在一个生物认证系统中，特征提取是至关重要的一步，特征提取的好坏对整 个系统的性能有着重要的影响。而掌纹的特征提取方法主要分为如下四类：基于 结构的特征提取、基于统计的特征提取、基于空域频域变换的特征提取和基于 子空间方法的特征提取。下面分别进行介绍。 1 基于结构的特征提取 。 基于结构的特征提取方法是早期的掌纹特征提取方法之一，可分为点特征提 取方法和线特征提取方法两大类。掌纹的结构信息包括其主线、褶皱、三角点、 细节点等，也包括掌纹纹线的起止点和交点等。而由于线特征多数是由点组合后 形成的，因此点特征的检测不仅可以看作是以点作为模式进行特征提取的过程， 也可以看作是以线模式为特征的提取过程的一部分，许多算法可同时用于点特征 和线特征的提取。 ( 1 ) 点特征 点特征指的是掌纹乳突纹在局部形成的奇异点、三角点及纹型，也包括纹线 的起止点和一些间接特征点。常用的点特征提取方法有m o r a v e c 算子强如和方向投 影算法嘞。等。提取点特征并不意味着一定以点作为特征完成分类和匹配工作，也 可以通过所提取点的辅助，间接形成其他特征的提取( 如线特征) 。点特征的提 取只能在高分辨率图像中实现，并且使用点特征的匹配准确率较低，计算复杂度 相对较高，如何有效地实现点特征的匹配始终是难点所在，因此点特征提取方法 是掌纹识别中极少采用的方法。 ( 2 ) 线特征 线特征可以看作是掌纹三大主线和脊线及皱纹线的组合，它是各种特征中最 显著、最稳定的特征，但较难提取。其检测算法主要有基于空域的边缘检测法悔3 3 和基于堆栈滤波m j 的方法等。线特征可在低分辨率的图像中获取，可以克服乳突 纹由于年龄、劳动等因素的影响，表示方法简单，特征空间小。除此之外，和基 于统计特性提取的特征相比，结构特征无法表示纹线的深浅和力度。 东北师范大学硕士学位论文 2 基于统计的特征提取 基于统计的方法用统计特征组成的随机模型来重新定义和衡量原始图像，常 见统计特征包含各阶矩：均值( 一阶原点矩) ；方差( 二阶中心矩) ：斜态( 三 阶中心矩) ，也称偏离度，是图像离对称均值的偏差程度的度量，在统计上表示 灰度直方图的不对称性程度；峰态( 四阶中心矩) ，表示灰度直方图的分布在均 值周围的集中程度；还包括熵，能量等。基于统计的方法重点在于计算随机模型 中的统计特征，这些特征和基于结构的特征相比更易于提取和表示，但基于统计 的特征提取方法几乎不包含结构信息，识别掌纹的能力比结构特征要差。 基于统计的特征提取普遍是引入各阶矩作为特征，在矩的诸性质中，几何不 变矩对图像识别最为有用。不变矩算法是一种通过提取具有平移、旋转和比例不 变性的数学特征进行图像识别的方法。其中比较常用的是h u s 矩、z e m i k e 矩、小 波矩等等。1 9 6 2 年，h u 首先提出了连续函数矩的定义和关于矩的基本性质，证 明了关于矩的平移、旋转和平移不变性等性质，并给出了不变矩的算法。但是， 由于h u ，s 矩是非正交的，图像复原比较困难，而且矩特征包含大量冗余信息； z e m i k e 矩不变量是一种正交矩的不变量，它能构造任意的高阶矩，而且能够比 较容易地从矩特征中构造原图。由于z e m i k e 矩的计算是一种积分计算，对噪声 不太敏感，主要体现的是躯