（通信与信息系统专业论文）人脸与指纹综合识别系统——特征提取的研究.pdf

人脸和指纹综合识别系统 特征提取的研究摘要 人脸和指纹综合识别系统特征提取的研究 摘要 随着网络及社会信息化的发展 准确的身份识别方法成为一个必须解决的问题 基于生物特征的身份识别方法以人体特征为身份识别依据 相对于传统身份识别方法 具有更好的安全性 可靠性和有效性 人脸和指纹识别是最为常用的生物特征身份识 别方法 人脸识别系统具有友好 设备通用的优点 但其识别率较低 指纹识别识别 率较高 但图像采集需要专用设备 而且指纹识别速度较慢 尤其是对于大型数据库 这些单一的生物特征身份识别系统在实际应用中各有局限性 往往只能够满足一部分 要求 因此 基于多种生物特征的身份识别技术正成为新的研究热点 本文对多种生物特征综合识别系统的特征提取算法进行研究 即人脸和指纹综合 识别系统 首先对人脸图像进行预处理 定位人眼位置 进而根据人眼位置进行人脸 图像的几何归一化 对归一化后的人脸图像本文提出了i c a 与p c a 相结合的方法提 取人脸图像的特征 首先 利用主元分析法口c a 对人脸图像数据进行降维 然后采 用独立分量分析 i c a 算法提取人脸整体特征 从而得到较准确的人脸特征 指纹特 征提取采用基于脊线跟踪的从灰度图像中直接提取特征的算法 避免了传统算法中因 二值化 细化等繁琐的中间步骤而引入伪特征点的问题 并对算法中的指纹图像增强 方向值计算 脊线终止判断条件等进行了改进 实验表明 本文算法得到的人脸特征 更有利于人脸分类且计算量大大减小 指纹特征更为准确且提高了特征提取速度 同 时有利于提高综合识别系统的准确度和速度 关键词 多生物特征综合识别特征提取独立分量分析脊线跟踪 作者 徐俊 指导老师 黄贤武 t h ef e a t h e re x t r a c t i o nr e s e a r c ho f i d e n t i t yr e c o g n i t i o n b a s e do nf a c ea n d f i n g e r p r i n t a b s t r a c t a st h ed e v e l o p m e mo fi n t e r n e ta n di n f o r m a t i o n b a s e dt e c h n o l o g i e s r e c o g n i z ea p e r s o n si d e n t i t ya c c u r a t e l yi san e c e s s a r yp r o b l e m t e c h n o l o g i e so fi d e n t i t yr e c o g n i t i o n b a s e do nb i o m e t r i c ss u c ha sp e o p l e sc h a r a c t e r sh a v em o r es e c u r i t y r e l i a b i l i t ya n dv a l i d i t y e o m p a r e dw i t ht h ei r a d i t i o n a li d e n t i t yr e c o g n i t i o nm e t h o d f a c er e c o g n i t i o ns y s t e mi s f r i e n d l ya n dh a st h ec u r r e n c yd e v i c e b u tt h er e c o g n i z i n gr a t ei sr e l a t i v e l yl o w t l l e r e c o g n i z i n gr a t eo ff i n g e r p r i n tr e c o g n i t i o ni sr e l a t i v e l yh i g h b u tt h ed e v i c ef o rc a t c h i n gt h e f m g e r p r i n ti m a g ei ss p e c i a l a n dt h ew o r k i n gs p e e di ss l o we s p e c i a l l yf o rt h eb i gd a t a b a s e i d e n t i t yr e c o g n i t i o ns y s t e mb a s e do ns i n g l eb i o m e t r i c sh a sd i s a d v a n t a g ei np r a c t i c e a n d j u s ts a t i s f i e ss o m ef a c t s s ot e c h n o l o g i e so fi d e n t i t yr e c o g n i t i o nb a s e do nm u l t i b i o m e t r i c s t h a tc o m b i n ek i n d so f h u m a nd h a 矗l c t e 档h a v eb e e ng o tac e r t a i ne x t e n tr e s e a r c h t h i sd i s s e r t a t i o nr e s e a r c ho bt h ef e a t h e re x t r a c t i n ga l g o r i t h mo ft h et e c h n o l o g i e so f i d e n t i t yr e c o g n i t i o nb a s e do nm u l t i b i o m e t r i c sw h i c hi sf a c er e c o g n i t i o nc o m b i n e dw i t h f i n g e r p r i n tr e c o g n i t i o n f i r s tp r e p r o c 船st h ef a c ei m a g ea n dl o c a l i z et h ee y e s t h e n n o r m a l i z et h ef a c ei l n a g eb a s e do i lt h el o c a t i o no fe y e s a n de x l l i mt h ef a c ef e a t h e ru s i n g t h ei n d e p e n d e n tc o m p o n e n ta n a l y s i sa l g o r i t h mc o m b i n e dw i t ht h ep r i n c i p a lc o m p o n e n t a n a l y s i sa l g o r i t h mt or e d u c ct h ef a c ei m a g ed i m e n s i o n a t t e m p tad i r e c tg r a ys c a l e m i n u t i a ed e t e c t i o na p p r o a c hb a s e do nr i d g e l i n ef o l l o w i n gt oc x u a c tf i n g e r p r i n tf e a t h e r i t w i l lo v e r c o m et h es h o r t c o m i n go ft r a d i t i o n a lm e t h o dw h i c h w o u l db r i n gi nf a l s ef e a t h e r s d u r i n gt h eb i n a r i z a t i o na n dt h i n n i n g a n dm a k es o m ei m p r o v e m e n ts u c ha st h ef i n g e r p r i n t i m a g ec n h a n c e m e n t d i r e c t i o nf i e l d s t o pc r i t e r i ao fe n d i n gp o i n t e x p e r i m e n t ss h o wt h a t t h ef a c ef e a t h e ra n dt h ef i n g e r p r i n tf e a t h e ri sm o r ea c c u r a t e m o r es u i t a b l ef o rc l a s s i f y a n d d e c r e a s e st h ec o m p l e x i t yo ft h ea l g o r i t h m a n di m p r o v et h ea c c u r a c ya n dt h eo p e r a t i n g s p e e do f t h em u l t i b i o m e t d e ss y s t e m k e yw o r d s m u l t i b i o m e t r i c sr e c o g n i t i o n f e a t h e ri a x t l a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s r i d g e l i n ef o l l o w i n g w r i t t e nb y x uj u n s u p e r v i s e db y h u a n gx i a n w u 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明 所提交的学位论文是本人在导师的指导下 独立进 行研究工作所取得的成果 除文中已经注明引用的内容外 本论文不含 其他个人或集体己经发表或撰写过的研究成果 也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料 对本文的研究作出重要贡 献的个人和集体 均已在文中以明确方式标明 本人承担本声明的法律 责任 研究生签名 象建 日期 脯 学位论文使用授权声明 苏州大学 中国科学技术信息研究所 国家图书馆 清华大学论文 合作部 中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档 可以采用影印 缩印或其他复制手段保存论文 本 人电子文档的内容和纸质论文的内容相一致 除在保密期内的保密论文 外 允许论文被查阅和借阅 可以公布 包括刊登 论文的全部或部分 内容 论文的公布 包括刊登 授权苏州大学学位办办理 研究生签名 导师签名 a 期 塑垡 日期 连丛 二f 一一 望 人脸和指纹综合识别系统 特征提取的研究 第一章绪论 第一章绪论 1 1 课题研究的目的和意义 随着社会数字化以及信息技术的发展 身份识别成为人们日常生活中经常遇到的 一个基本问题 尤其是对高准确率身份识别的需要日益增加 例如金融系统中的证券 交易 期货交易 电子商务和资讯等方面 证件管理系统中的身份证 信用卡认证的 应用 公安系统中刑侦工作过程中确认犯罪嫌疑人的工作 保安工作中的政府机要部 门 国家重点实验室 军事要地等的通行管理等 都需要高度准确的身份认证 传统身份认证方式包括标识号码 身份卡等 这些方式的优点是技术已经成熟 并可以采用各种加密手段加以保护 但缺陷较大 已经面临严竣考验 例如 密码可 能被窃取 忘记 身份卡可能丢失 被盗等 所以安全性很低 可靠性较差 从根本 上讲 原因是这些标识验证手段所依赖的都是后天赋予人的信息 不是人所固有的内 在信息 基于人体生物特征的身份认证方式可以解决上述缺点 由于人体特征具有不 可复制的优点 具有更好的安全性 可靠性和有效性 所以目前生物识别已经成为安 全技术研究的热点 目前广泛使用的生物识别技术有 人脸识别 指纹识别 虹膜识 别 面部热像图识别 语音识别等 在日常生活中 人们主要通过人脸来认识周围的人 人脸的自动机器识别就是利 用计算机对人脸进行特征提取和识别的模式识别技术 人脸识别系统具有直观 友好 方便等优点 在用户中的接受程度也较高 而且具有非接触性 即用户不需要和设备 直接的接触就可以进行识别 随着现代照相设备向小型化 微型化的发展 人脸图像 取样设备日益简单 普遍 使得人脸识别系统的图像取样更为方便 而且可以自动用 在隐蔽的场合 如公安部门的监控行动 而且与指纹识别系统相比较 人脸识别的速 度相对较快 虽然人类能毫不费力地识别出人脸及其表情 能够记住并且识别上千个不同的人 脸 但人脸的自动机器识另4 却是一个难度极大的课题 人脸表情丰富 而且人脸图像 随着年龄增长而变化 以及受光照 成像角度以及成像距离等因素的影响 所得到的 第一章绪论人脸和指纹综合识别系统 特征提取的研究 人脸图像也会有很大变化 此外 所有人脸都具有相似的结构特征 而同一人的不同 面部图像由于采集条件的变化会发生较大的变化 例如眼镜 发型的变化等等 所以 人脸识别不仅要求解决同一个人同一图像中噪音 旋转 畸变的问题 还要求解决同 一个人不同时期 如跨度时间长达数十年 不同环境下摄取的人脸图像的识别问题 诸如上述因素极大地增加了人脸识别算法设计的难度 就算法准确度而言 人脸识别 尚未取得类似于指纹识别和虹膜识别的满意结果 也远远没有达到人类人脸识别水 平 大部分研究生物识别的人都公认人脸识别是最不准确的 也是最容易被欺骗的 2 指纹识别是最古老的生物特征识别技术 经科学家研究发现 l l 指纹具有两大特 性 一是唯一性 即每个人的指纹都不同 世界上两枚指纹相同的几率小于1 1 0 9 二 是终身不变性 指纹图像不会随着人的年龄的变化而变化 而且只要不伤及真皮组织 即使指纹被磨掉 也会很快长出来和原来一样的指纹 因而在身份验证和身份识别中 指纹识别具有重要的地位 指纹识别主要依据指纹图像中的特征点进行识别的 所以指纹识别系统中所需存 储的数据量较小 但指纹的采集需要专用的指纹采集仪 设备普遍性较低 指纹图像 的获取主要采用按压式的方式得到 因此 油墨不均匀 纸张不均匀 按压力度不均 匀以及按压的方向不同等都会对指纹图像产生不同程度的影响 这些因素都是指纹识 别中需要解决的问题 指纹图像的复杂度足以提供用于鉴别身份的特征 所以指纹识 别的准确度高 但指纹识别也有一个很大的缺点 指纹图像的识别速度慢 尤其是 在大型数据库中 单一的指纹识别较人脸识别的速度要慢 单一的生物特征身份识别系统往往只能够满足一部分要求 而在其他方面则存在 缺陷 指纹识别有悠久的历史 识别率较高 但图像采集的普遍性较低 需要用户的 配合 而且识别速度慢 人脸识别系统相对比较友好 能得到用户的广泛接受 但其 识别率不是很高 容易受外界以及个人自身变化的影响 这些单一的生物特征身份识 别系统在实际应用中显现出各自的局限性 难以满足人们对高性能的身份识别系统的 要求 所以基于多种生物特征的身份认证技术正成为新的研究热点 多种生物特征综合识别技术就是结合多种生理或行为特征进行人的身份识别 充 分利用各个生物特征提供的信息 发挥各自的优点 从而提高识别系统的性能 目前 2 人脸和指纹综合识别系统 特征提取的研究第一章绪论 还没有基于多种生物特征的识别产品问世 在与本实验室苟博同学的合作下 我们研 究和实现了基于人脸和指纹的综合身份识别系统 本文主要对多种生物特征综合识别 系统的特征提取算法方面进行探索和研究 包括人脸的特征提取和指纹的特征提取 1 2 国内外研究概况 人脸识别的研究始于本世纪6 0 年代末 经过几十年来科研工作者的大量研究 在 人脸识别方面取得了丰硕的成果 包括全世界相当数量的科研机构都提出了各自的识 别算法 同时也有公司提供了人脸识别的相关产品 在算法方面 早期基于人脸识别的研究主要是几何特征方法和模板匹配方法两大 方向 几何特征法 2 的基本思想是提取人脸面部具有代表性的部位 例如眉毛 眼睛 鼻子 嘴巴等 的相对位置 相对大小等作为特征 再辅以人脸轮廓的形状信息 来 对人脸进行分类和识别 这种方法的主要缺陷在于没有形成统一的 优秀的特征提取 标准 即使是同一个人的人脸图像 由于时间 光照 拍摄角度不同等 也很难用一 个统一的标准来表示各个人脸特征 造成特征提取的困难 目前几乎已没有人单纯利 用几何特征来研究人脸识别 有时可能将它作为辅助性的特征 模板匹配法 3 是把数 据库的人脸图像看成是已知的模板 然后根据待识别图像和己知模板间的相关性大小 进行分类 可变形模板是模板匹配法的一种变形方法 4 该方法首先设计一个可变参 数的器官模型或曲线模型 并定义一个能量函数 通过调整模型参数使能量函数最优 化 从而得到相应的最优化模板参数 与传统方法相比该方法得到的结果更准确 但 是优化过程比较耗时 从9 0 年代开始基于代数特征的统计方法日益成为人脸识别的主要方法之一 其中 子空间分析方法的发展最为迅速 由于原始人脸图像的维数通常比较高 而人脸在高 维空间的分布不是很紧凑 所以不利于分类 子空间分析法的主要思想就是把高维空 间中松散分布的人脸图像 通过线性或非线性变换压缩到一个低维的子空间中去 在 低维的子空间中使人脸图像的分布更紧凑 更有利于分类 也使高维的计算变换为低 维计算 减小计算的复杂度 子空间分析方法具有描述性强 以及计算代价低等优点 主元分析法 p r i n c i p a lc o m p o n e n t a n a l y s i s p c a 是最早被引入到人脸识别的子空 间方法 它利用图形处理中的k l 变换将人脸图像由高维空间变换到低维子空间 k l 3 第一章绪论人脸和指纹综合识别系统 特征提取的研究 变换就是寻找一组正交的向量基来重建原始数据 从而使得重建后的数据与原数据的 最小均方误差最小 主元分析法首先根据一组人脸训练图像构造主元子空间 即由正 交向量基构造而成的子空间 由于主元具有脸的形状 也称为特征脸 进行人脸识别 时将一幅测试图像投影到主元子空间中 就可以用一系列特征脸的加权和来表示一幅 测试图像 将得到的一组投影系数和各个已知人脸图像比较进行识别 主元分析法具 有简单 快速 实用的优点 但随着光照 角度等的变化 主元分析法的准确率会有 所降低 p r o g r e s s i v ep c a 法嘲是一种改进的p c a 方法 该方法能够更有效地处理高维数的 情况 其实现过程是 首先把原始样本划分为均等的 无重叠的子模式 子模式的划 分是纵向的 如图l 所示 然后依次对每一个子模式进行p c a 计算 由此避免了高维 数据的p c a 算法的复杂度 x 1 x 2 x n s p l s p 2s p k 图1p r p c a 算法子模式分割示意图 在传统的主元分析法的基础上 研究人员发现大的特征值对应的特征向量虽然可 以很好的重建原图像 但并不一定是分类性能好的方向 因此又发展了多种子空间选 择方法 例如 b e l h u m e u re t 所提出的f i s h e r f a c e 法嘲 这种方法基于模式识别中的 f i s h e r 线性判别分析理论 线性判别分析能够使得不同类别样本之间的距离尽可能地 增大 而同一类别样本之间的距离尽可能地缩小 所以人脸的分类相对更为准确 另 外将核方法应用到人脸识别中也是近几年的热点阴 其主要思想是将输入变量通过一 个非线性映射 即核函数 投影到高维空间中 再进行主元分析或判决分析 例如核主 元分析 核判别分析等 其主要优点是可以提取图像中的高阶统计量和一些非线性特 征 且比直接计算高阶统计量更为简便 堇 独立分量分析 i n d e p e n d e n tc o m p o n e n t a n a l y s i s i c a 也是主元分量分析的手个推 广 p c a 得到的各个特征分量是互不相关的 也就是只去除了信号之间的二阶冗余信 4 人脸和指纹综合识剐系统 特征提取的研究第一章绪论 息 i c a 分析法是通过一个线性变换使测试信号相互统计独立 统计独立要求高阶统 计不相关 与p c a 算法的二阶不相关相比是一个更加苛刻的要求 i c a 分析法是用一 系列相互独立的基向量来表示人脸图像 常用的基于整体特征的人脸识别方法还包括神经网络方法 小波变换法 隐马尔 科夫方法等 神经网络方法 8 通常把未经处理的灰度人脸图像作为输入 利用神经网 络的学习能力和分类能力进行识别 具有很强的自适应性和鲁棒性 基于小波变换的 方法 9 则是利用小波变换的时频特性和多分辨特性 在小波变换域中提取人脸特征 既可以得到高压缩比的低频人脸图像 又可以较好的表征人脸图像的特征 隐马尔科 夫模型法 1 0 l 是一种成功应用在语音处理中的统计方法 近年来很多学者将其应用到文 字识别和人脸识别中 并获得较高的识别率 该方法将人脸图像转化成一维的灰度值 向量用来训练隐马尔科夫模型 一个训练好的隐马尔科夫模型序列含有人脸图像不同 部位的信息 通过这些信息进行人脸判别 应用方面 国内外很多相关产品已投入使用 国外研究机构和公司从事自动人脸 识别的研究与实践较早 1 9 9 8 年西门子公司的f a c e v a c s 系统 人脸及视觉访问控制系 统 用于保安系统的访问控制 通过摄像机摄取人脸 对几十人的人脸库进行识别检 索 识别率接近1 0 0 2 0 0 1 年东芝公司f l 自f a c e p a s s 系统 面孔验证安全系统 最多可容 纳1 0 0 0 人登录 国内关于人脸自动识别的研究始于8 0 年代 虽然起步较晚 但近年来 发展很快 国内可以查询到的生产人脸识别应用产品的企业主要有银晨公司和当代公 司 主要应用于安全防范 访问控制 治安管理和信息安全等领域 例如面像考勤系 统 人脸门禁系统 指纹识别是最古老的一种身份认证手段之一 具有相当长的研究和应用历史 早 在古代中国 就有在重要文书上按 手印 的法律制度 1 6 8 4 年 英国人n e h e m i a h c a e 4 n 发表了一篇系统的研究指纹图像中脊线 谷线和毛孔结构的报告 被认为是 指纹研究领域最早的科学文献 1 9 0 1 年 e d w a r dh e n r y 和他的助手建立了著名的 h e n r y 法则 用于指纹的分类 从此以后指纹成为一种合法的身份识别手段破应用 早期的指纹识别完全是手工进行的 由经过专f f i sg l 练的指纹识别专家利用放大镜 根据 h e n r y 法则 来鉴定 2 0 世纪6 0 年代 计算机开始用来处理指纹 实现了指纹 蔓二童塑造人脸和指纹综合识别系统 特征提取的研究 自动识别系统 a u t o m a t i cf i n g e r p r i n ti d e n t i f i c a t i o ns y s t e m s a f i s 9 0 年代后期 随着 计算机技术的飞速发展 低价位指纹采集仪的出现和商可靠算法的实现 使得自动指 纹识别系统越来越深入到人们的生活和工作当中 银行 证券交易 医疗 社会保险 公共安全等各个领域正大量应用自动指纹识别系统 指纹识别的主要依据就是指纹图像中的特征点 指纹的特征点可分为全局特征和 局部特征 全局特征包括基本纹型 脊线频率 中心点等宏观特征 主要用于对指纹 的分类和检索 局部特征又称指纹细节点 细节从本质上讲就是指纹脊线的突变 例 如指纹脊线的突然停止所形成的端点 指纹脊线的突然分叉所形成的分支点等等 如 图2 所示 一个指纹的唯一性并不是基于它的全局特征 具有同一全局特征的指纹可 以有无数多个 但不同的指纹其局部特征是各不相同的 因此 自动指纹识别算法通 常用的是指纹的局部特征 最常用的细节点特征是美国联邦调查局提出的端点和分叉 点 纹线的端点和分叉点是两种基本的特征 在指纹图像中数耳较多 其他的特征可 以看作是由其组合而成的 而且这两种特征点相对来说不易受噪声的破坏i 对于由 于噪声产生的虚假分叉点和端点也比较容易删除 最重要的是这两类特征点足以描述 指纹的唯一性 所以我们取脊线的端点和分叉点作为指纹的细节特征 分叉点 勿 端点 图2 指纹特征点示意图 指纹的特征提取算法有两大方向 对指纹图像先进行二值化 纹线细化 接着 在细化的图像中提取特征点 也称之为传统特征点提取算法 直接在指纹灰度图像 中进行脊线跟踪提取特征点 传统特征点提取要经过多个处理过程 包括指纹图像分割 图像二值化 图像细 化 去噪 细节点检测 后处理等 指纹图像分割是指纹图像处理的第一步 目的是 分割指纹部分与背景区域 提高特征提取准确度且减小后续步骤的计算量 二值化就 是将2 5 6 灰度级的指纹图像转化成为只有0 和l 两个灰度级的二值图像 常用的二值化 6 人脸和指纹综合识别系统 特征提取的研究第一章绪论 方法有基于灰度的固定阈值 动态阈值二值化方法1 1 2 1 和基于方向图的动态阈值二值化 方法1 1 3 喀 二值化后指纹纹线仍然具有一定的宽度 而指纹识别只对纹线的走向感兴 趣 不关心它的粗细 且在二值化后的图像中难以准确的定位特征点 所以进一步对 指纹纹线进行细化 即将所有纹线都严格的细化成为单像素宽 常用的细化方法主要 是应用细化模板采用串行或并行算法对指纹图像进行重复的扫描 直到指纹纹线只剩 单像素宽为止 并行算法具有快速而准确的特性 例如r w h a l l 算法i l 细化不可避 免的造成纹线扭曲 引进毛刺等噪声 去噪 对纹线进行有效的修复是必需的 如连 接纹线间断 分离纹线叉连和去除毛刺等操作 传统特征点提取算法一般采用8 邻域 模板检测指纹细节点 该算法需要准确的指纹细化结果 没有纹线间断 叉连等 否 则极易产生大量的伪细节点 基于脊线跟踪的直接从指纹灰度图像中提取特征点方法l 调的主要步骤为 指纹图 像分割 脊线跟踪且同时标记特征点 后处理 该算法直接从灰度指纹图像中提取特 征点 避免了传统算法中繁琐的计算步骤 从而避免二值化 细化步骤中引入虚假特 征点的问题 该算法主要依据指纹线的灰度信息和脊线的方向信息进行脊线跟踪 且 在脊线跟踪的过程中直接标记指纹特征点 计算速度快且准确度高 把指纹识别技术同i c 卡结合起来 是目前最有前景的应用方向之一 该技术把卡 的主人的指纹加密后存储在i c 卡上 并在i c 卡的读卡机上加装指纹识别系统 当读卡 机阅读卡上的信息时 一并读入持卡者的指纹 通过比对卡上的指纹与持卡者的指纹 就可以确认持卡者是否卡的真正主人 从而进行下一步的交易 指纹i c 卡可以取代现 行的a t m 卡 制造防伪证件 例如签证 护照 公费医疗卡 会员卡 借书卡等 目 前加装指纹识别功能的a t m 提款机在美国已经开始使用 持卡人可以取消密码或者仍 旧保留密码 在操作上按照指纹与密码的操作时间差不多 此外 基于嵌入式系统的指纹锁 指纹考勤仪等也是自动指纹识别技术的重要应 用之一 嵌入式系统不需要连接其他设备或者计算机就可以独立的完成其设计的功 能 但是缺点是功能单一 应用于完成特定的功能 目前国外著名的指纹识别公司有美国的p r i n t f r a k c o g e n t d i t i a l p e r s o n b i o m e t r i c a c e s s h d c n t i x v e r i d i c o a n 法国的m o r p h o 日本的n e c 等 主要产品为 7 第一章绪论人脸和指纹综合识别系统 特征提取的研究 指纹采集仪 自动指纹识别系统等 我国也有数家单位进行指纹识别研究 清华大学 自动化系 北京大学信息中心 中科院自动化研究所等单位和学校的指纹自动识别系 统都处于国内领先地位 分别有成功的自动指纹识别系统用于实用 而且2 0 0 4 年中科 院自动化研究所在国际指纹识别大赛 f i n g e r p r i n tv e r i f i c a t i o nc o m p e t i t i o n v v c q 口多 项指标获得第一名 也有部分厂家推出了指纹门锁 指纹考勤系统 指纹采集仪等产 品 但总的来说指纹自动识别技术在国内还没有广泛使用 指纹识别的主要依据是指纹图像的细节点 实际应用中每一幅指纹图像的细节点 数目不是一定的值 多则上百个 少则十几个 另外公安刑侦系统中大都是大型的数 据库 十几万甚至上百万的指纹图像 在整个数据库中查找指纹图像 并进行比对 其运算量是非常大的 必然降低了系统识别的速度 人脸识别虽然速度较快 但人脸 图像随着光照 表情 成像条件的变化而变化 而且随着年龄的变化也会发生变化 识别的准确度受其影响而下降 单一的生物特征身份识别系统往往只能够满足一部分 要求 而在另外一些方面则有缺陷 无法满足现在身份认证的需要 所以基于多种生 物特征的身份认证技术正成为新的研究热点 1 9 9 8 年 l i nh o n g 和a n i lj a i n g 寸人脸和指纹的综合识别进行了研究 峋 引进了一 种新的信息融合方式 在识别的过程中将两者的比对结果有机地结合起来 该方法在 给定f a r 误判率 值下使f r r 误拒率 的值最小 提高了系统的准确率 1 9 9 9 年 l i n h o n 亭1 7 1 经多方证明 多模式的生物特征识别系统具有更好的可靠性 2 0 0 2 年 清华 大学实现了在海量数据库上的人脸和指纹综合识别系纠1 s l 在识别的过程采用的融合 策略是先用人脸特征进行比对得到前n 个候选 然后在这个范围内用指纹特征再进行 比对 迄今为止 还没有综合生物特征的识别系统的产品问世 综合身份识别系统的研 究有待于进一步发展 1 3 论文的主要内容 针对单一人脸和指纹识别系统各自的优缺点 采用人脸识别与指纹识别相结合的 综合识别系统 充分利用人脸识别鲍速度优势和指纹识别的精度优势 提高整个系统 f 的识别速度和准确度 本系统在与苟博同学的合作下实现 本文主要研究综合识别系 人脸和指纹综合识别系统 特征提取的研究 第一章绪论 统的特征提取算法 包括人脸特征提取和指纹特征提取 本文深入研究了人脸图像的预处理与特征提取方法 实现了较为精确的人跟定 位 改进后的人眼定位算法对大角度倾斜的人脸图像定位人眼更为准确 并依据人眼 位置对人脸图像进行几何归一化 去除掉图像背景 头发等的影响 然后对归一化的 人脸图像进行独立分量分析 提取人脸整体特征 深入研究了指纹图像的分割和特征 提取方法 实现了基于脊线跟踪的直接从灰度指纹图像提取特征点的方法 并对算法 中的图像增强 方向值计算 脊线终止判断条件进行改进 经过反复实验 得到了高 速的人脸特征提取和准确的指纹特征提取算法 本论文的主要内容及安排如下 第一章 简要介绍了本课题的研究目的 意义 人脸识别和指纹识别国内外的研 究现状 通过分析单一生物特征身份识别系统的优缺点 指出了综合生物特征身份识 别系统的巨大应用前景 第二章 主要讨论了人脸的检测与特征提取 首先对人脸图像进行灰度归一化 消除了原始图像亮度不同的影响 然后进行人脸检测 利用图像的灰度信息和人脸的 先验知识进行人眼定位 并根据人眼的位置进行图像的几何归一化 将人脸分割成人 脸和背景两个部分 降低了后续处理的数据量 且去除掉图像背景 发型等的影响 采用i c a 结合p c a 的人脸特征提取方法 首先利用p c a 方法对图像进行降维和白化 处理 然后采用i c a 算法提取独立分量 最后采用基于聚类分析的比例因子方法选 择独立分量来构造特征子空间 使得到的独立分量子空间更有利于人脸图像的分类 第三章 阐述了改进的基于脊线跟踪的直接从灰度指纹图像提取特征点的方法 该方法省略了指纹图像的二值化和细化过程 直接从灰度图像中提取指纹特征点 操 作简单且减少了虚假特征点的产生 提高了指纹特征提取的准确度 本文将传统指纹 特征提取算法的g a b o r 滤波进行改进 代替原算法中的类高斯滤波 对局部指纹脊线 进行滤波 在方向图计算中采用局部的方向值计算方法 避免了传统算法中全局方向 值计算的准确度受图像分块大小和起始位置的影响 并加强了脊线跟踪的终止判断条 件 实验结果表明 该算法提高了指纹特征点提取的准确度 多 第四章 对实验结果进行讨论 给出了人脸和指纹处理过程的实验结果图 并分 9 童二童 e l l 厶墼塑堂墼堡垒塑型墨笪 壁笙堡塑盟堕塞 析了本文方法的优缺点 第五章 阐述了人脸与指纹识别算法的发展 介绍了本系统采用的综合识别算法 并给出了综合识别的结果 第六章 总结全文并提出了进一步的研究方向 1 0 人脸和指纹综合识别系统 特征提取的研究第二章人脸的检测与特征提取 2 1 引言 第二章人脸的检测与特征提取 完整的人脸识别系统包括三个部分 人脸检测 人脸特征提取和人脸的识别与匹 配 本章主要研究人脸的检测与特征提取方法 人脸识别与匹配由苟博同学实现 人脸检测是人脸识别的第一步 它的任务是对输入的图像进行分析 从复杂背景 中检测出人脸 把图像分割为两部分 即人脸部分和背景部分 从而完成图像中人脸 定位的工作 常用的人脸检测方法有 基于面部特征的人脸检测 基于统计的人脸检 测 基于模板的人脸检测 基于人脸彩色信息的人脸检测等 基于面部特征的人脸检测算法的主要思想是 人的五官具有独立而相似的分布特 征 特别是具有对称性 这些器官的分布特征总是在人脸图像上形成按一定规则排列 的灰度不同的图像块 通过检测图像中是否含有满足人脸器官分布特征的图像块 就 可以进行人脸检测 本文主要是以人眼为主要特征进行人脸检测 本文首先对原始人脸图像进行预处理 去除掉不同光照对特征提取算法的影响 然后利用人脸图像的灰度信息和人脸器官分布特征的先验知识来检测人眼 进一步根 据人眼的位置对人脸图像进行几何归一化 本文的人眼定位算法分为粗定位和精确定 位两部分 首先根据灰度信息和人眼的先验特征确定人眼块的范围 即人眼的粗定位 然后测量一对人眼块的相似度 根据相似度的大小来判定是否有必要利用方差投影函 数进行人眼眼球中心的精确定位 如果相似度足够大 则直接进行几何归一化 否则 进一步利用方差投影函数确定精确的人眼位置 得到的人眼位置 两眼之间的距离也 可以作为人脸的特征之一 实验表明 该方法速度快 精度高 具有较强的鲁棒性 特征提取是模式识别的关键 它直接影响到识别结果的好坏 特征提取就是利用 特征向量来表示目标 有效的特征向量将有助于分类 同时也可以降低数据库的存贮 量 原始测量数据中相关性较强的特征并没有增加更多的分类信息 实质上只是重复 所以模式识别中特征提取的原则是提取的特征之间的相关性越小越好 最好是提取不 相关的特征 蔓 兰 堕竺竺翌皇笪堡堡壁 璧塑塑竺堡鱼望型墨竺 二笪笙墨里塑里茎 人脸特征提取是在基于人脸定位的基础上对人脸进行特征建模 使建立的特征模 型能够最好的反应各个人脸之间的差异 且缩小同一人脸之间的差别 为人脸识别打 下基础 因为人脸图像具有非常相似的特性 所以寻找稳定和有效的识别特征是解决 人脸识别问题的关键 人脸特征提取的方法可以分为两大类 1 基于整体思想 整体特征提取是指提取的特征与整幅人脸甚至整个样本群相 关 这种特征未必有明确的含义 但在某种意义上是易于分类的特征 主要利用数理 统计的方法 对人脸图像进行代数变换 提取反应人脸内在属性的特征 该方法计算 简单 快速且实用 且能够体现人脸图像的整体特征 缺点在于对光照 表情 姿态 等变化非常敏感 要求有效的图像预处理过程 基于k l 变换的主元分析法 p c a 独立分量分析法 i c a f i s h 曲c e 法等都是基于整体思想的特征提取方法 2 基于局部思想 其基本思想就是利用人脸的一些关键部件 如眼 嘴 鼻等 这些部件的形状 大小以及各部件之间的相互关系 再辅以人脸轮廓的形状信息来表 征人脸图像 其中眼睛是最重要的人脸脸部特征 眼睛的距离不随脸部表情的变化而 变化 而且可以用来标准化人脸部分 人脸关键部位的提取主要依赖于人脸的先验几 何特征等通用规则 一旦规则确定后 检测速度相对较快 缺点在于通用规则的鲁棒 性不高 不同的人脸其关键部位不容易提取 测量精度不高 基于整体和局部的特征提取方法各有优缺点 本文采用两种方法相结合来提取 人脸特征 将基于独立分量分析得到的整体信息结合以人眼为主的局部信息来表示人 脸图像 既利用了人眼相对距离不变的特性 同时又可以体现人脸的整体特征 基于独立分量分析 i c a 的人脸特征提取方法是主元分析法 p c a 的一个推广 p c a 得到的各个分量是互不相关的 也就是只去除了信号之间的二阶相关性 i c a 分析法构造特征子空间的各个向量是相互统计独立的 统计独立要求高阶统计不相 关 与p c a 算法的二阶不相关相比是一个更加苛刻的要求 人脸识别中许多重要的 信息都包含在高阶统计量中 而p c a 只考虑了二阶统计信息 它是一种主要面向图 像重建而不是图像分类的方法 独立分量分析是一种基于高阶统计量的去相关多元数 据处理方法 是用一组各成分之间都是统计独立的基函数来表示随机变量 提取图像 人脸和指纹综台识别系统 特征提取的研究第二章人脸的检测与特征提取 在分类意义上的主要特征 得到的人脸特征更利于人脸的分类和识别 本文在i c a 的基础上 综合p c a 算法进行特征提取 既去除了向量的二阶相关 性又利用了它的高阶统计量 首先利用p c a 算法将原始人脸图像进行降维和自化处 理 大大减小了i c a 计算的运算量 然后运用i c a 算法得到相互独立的特征向量 最后采用基于聚类分析的比例因子方法选择独立分量来构造特征子空间 使得到的特 征子空间更有利于人脸图像的分类 2 2 图像预处理与人眼定位 2 2 1 图像预处理 人脸图像的预处理是人脸识别系统必不可少的部分 预处理的主要目的是为了保 证提取的特征对人脸在图像中的大小 位置和偏斜具有不变性 以及对光照条件具有 不敏感性 我们采用i c a 算法提取人脸特征 对输入图像的预处理尤为重要 该算 法将图像中的每个像素都赋予了同等的地位 因此同一人脸的光照 人脸的大小 位 置 倾斜角度等的变化都可能造成在特征空间中较大的差异 比如同一人脸在不同光 照强度下的成像的差异反映到特征空间中可能会大于不同人脸在相同光照下的差异 从而导致误判 本节中我们首先解决不同光照对输入人脸图像的影响 对人脸图像进行光照补偿处理 能拉开眼球与其周围的灰度差别 提高人眼定位 的准确度 同时也能消除部分不同光照强度的影响从而改进图像质量 考虑到算法复 杂度和执行速度问题 本文采用灰度值修正的方法进行光照补偿处理 图像的光照强 度越强 图像的均值越大 图像的对比度越大 其方差越大 所以统一所有图像的均 值和方差 也就等于统一了所有图像的光照强度和对比度 可以有效的避免人脸图像 的光照敏感性 基于灰度修正的光照补偿是根据事先规定的图像的均值和方差 修正 原图像中的每 个象素的灰度值 处理方法如 1 式所示 季 m 1 兰 g 埘 n u o 1 仃0 其中 g 巩 1 为原图像中 d 点处的灰度值 季 肼 行 为该点光照补偿后的灰度值 蜘和o 0 为变换前原图像的均值和方差 和盯为变换后的均值和方差 是由反复实验 得到的经验值 第二章人脸的检测与特征提取 人脸和指纹综合识别系统 特征提取的研究 a1 a2 b1 b2 e 1 c 2 图3 图像光照补偿结果 a l b l c l 为原始图像 a 2 b 2 c 2 为变换后图像 其中 u 取1 3 0 o 取8 0 实验结果如图3 所示 光照补偿前 图像中人眼与其周围区域的灰度差别小 在 经过光照补偿之后 拉开了眼球与其周围的灰度差别 可以提高人眼定位的准确度 同时比较a b c 三幅人脸图像可以发现 原先亮度差异较大的同一个人的图像 光 照补偿缩小了不同光照条件下的差异 因此可以避免同一人脸因光照差异过大而引起 识别错误的问题 2 2 2 人眼定位 人眼是人脸面部最为显著的特征之一 且两眼之间的距离不随表情的变化而变 化 所以人眼定位是人脸检测的关键步骤 一旦人眼的位置确定下来 人脸所在的位 置也基本确定了 根据两眼之问连线的长度和与水平方向的夹角 人脸区域的大小和 人脸的倾斜方向也可以大致估计出来 从而可以对人脸图像进行几何归一化处理 本文首先根据灰度信息和人脸器官分布的的先验知识 2 3 1 确定人眼块的大概范 围 然后利用方差投影函数进行人眼眼球中心点的精确定位 其中提出了一种将对称 相似性测度计算与几何归一化相结合的方法 实现了高准确度的人服定位算法 该方 法在提高定位准确度的同时保证了系统运算速度 尤其是对一些大角度倾斜的人脸图 像的预处理问题特别有效 算法流程图如图4 所示 1 4 人脸和指纹综合识别系统 特征提取的研究第二章人脸的检测与特征提取 图4 人脸图像预处理流程图 首先 进行人眼的粗定位 在确定人眼大体位置后计算两眼的对称相似度 如 果相似度存在大于阈值 如o 8 的值 则看相似度是否足够大 如果足够大 则选取 相似度最大的块作为人眼块 否则进行方差投影函数定位 如果相似度都小于阈值 则说明检测出的人眼区域与实际情况不吻合 需要调整粗定位时的参数 如假定的人 眼大小 剔除人眼点时的阂值以及连接相邻人眼点时的阈值 根据新的参数重新进行 人眼粗定位 直到得到较理想的人眼区域 最后对原图像进行几何归一化处理 完成 人脸图像的预处理 人眼定位的算法共包括三个部分 基于灰度信息的人眼粗定位 相似度测度计 算及基于方差投影函数的人眼精确定位 1 基于灰度信息的人眼粗定位 基于灰度比对的人眼租定位算法 伸1 的理论依据是人脸的灰度信息和人脸的先验 几何特征信息 即人眼区域象素的灰度值比其邻域的灰度值低 而且人眼块的大小 长宽比例 位置等都符合一定的规则 其算法的主要步骤为 1 标注人眼待测点 人眼区域像素的灰度值比其邻域的灰度值低 且人眼块的大小和实际人眼块不会 第二章人脸的检测与特征提取 人脸和指纹综合识别系统 特征提取的研究 相差太大 以该准则为依据 检测整幅人脸图像的每一个像素 标注人眼待测点 即 将以某象素 图5 中黑色中心点 为中心 以假定的眼睛大小 c y e 谢d l l l 木e y e h e l g h t 为长 宽的矩形区域划分为8 个相邻区域 见图5 对人脸图像中的每个象素的灰度 值与它的8 个邻域的灰度平均值进行比较 若某象素灰度值低于其他多数邻域 6 个或 更多 的灰度平均值 则认为该点为待测眼睛点 将其标注为待测人眼点 e y ew i d t h 卜卜 二 叫 辽圈 图5 某一像素的相邻区域划分示意图 2 剔除稀疏人眼点 几乎所有位于上下眼皮之间的像东都可以看作可疑人眼像素 所以如果一个可疑