（计算机应用技术专业论文）基于弹性图匹配的正面人脸识别技术研究.pdf

中义摘要 摘要 人脸识别技术作为一项应用前景广泛的生物识别技术，受到了广泛的关注。 人脸识别需要涉及数字图像处理、模式识别、人工智能等多方面的知识和技术， 具有很强的挑战性，已成为计算机科学的研究热点之一。 本文主要的工作是在人脸检测的基础上对正面人脸图像进行特征提取和识 别的研究。在分析和比较的基础上，在人脸上选择了3 0 个点作为特征点，并选 定内外眼角点、嘴角点、鼻唇中心点作为人脸关键特征点。通过手动标定训练 集人脸特征点并提取小波系数特征建立人脸弹性图。对于输入人脸，在人脸图 像预处理基础上。利用h o u g h 变换、灰度积分投影、s u s a n 算子和角点检测算 法定位关键特征点。在此基础上根据人脸弹性图确定人脸其余特征点并进行特 征点的调整，获得输入人脸拓扑图，并与库中人脸的拓扑图逐一进行比较，在 比较时，首先进行关键点相似度匹配，将通过关键点相似度匹配的人脸作为候 选人脸并进一步计算拓扑图相似度，将相似度最高的候选人脸认定为输入人脸， 完成人脸识别。 本文提出的方法，将关键特征点的自动定位引入正面人脸图像的弹性图匹 配，通过改进了特征点定位的方法实现了特征点的自动定位并提升了算法速度。 另外，为进一步提升了算法速度还对匹配过程进行了改进。通过在o r l 人脸数 据库上进行实验，表明了这种方法能够提高弹性图匹配人脸识别的速度。 关键词：模式识别人脸识别弹性图特征提取小波变换s u s a n 算子人脸 拓扑图 1 i i 英文摘要 a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g yi sa t t r a c t i n gm o r ea n dm o r ea t t e n t i o nr e c e n t l ya sa b i o l o g yr e c o g n i t i o nt e c h n o l o g y w i t hab r o a da p p l i c a t i o n f a c er e c o g n i t i o ni sa c h a l l e n g et e c h n o l o g yt h a ti s r e l a t et om a n yt h e o r ya n dt e c h n o l o g y ，s u c ha sd i g i t a l i m a g ep r o c e s s ，p a t t e r nr e c o g n i t i o n ，a r t i f i c i a li n t e l l i g e n c e ，a n ds oo n a n dn o w ，i t i s o n eo ft h er e s e a r c h i n gf o c u so f c o m p u t e rs c i e n c e i nt h i sp a p e r , w ed om a i n l yf r o n t a lf a c i a lf e a t u r ee x t r a c t i o na n df r o n t a lf a c e r e c o g n i t i o nb a s e d o nf a c ed e t e c t i o n f o ra p p r o a c h i n gt h i st a s k ，w es e l e c t3 0p o i n t sa s e i g e n p o i n t ，s e l e c tt h ec o r n e r so f t h ee y e s ，t h ec e n t e ro fn o s e - m o u t h ，t h ec o m e r so f t h em o u t ha sk e ye i g e n p o i n t w eg e tf a c ee l a s t i cg r a p ha c c o r d i n gt ot h el a b e l i n g e i g e n p o i n tb yh a n di ns a m p l ec o l l e c t i o n ，a n de x t r a c te i g e n v e c t o rb yd o i n gw a v e l e t t r a n s f o r mi naa r e an e a rt h ee i g e n p o i n t f o rai n p u tf a c e ，w eg e tk e ye i g e n p o i n tb y u s e i n gh o u g ht r a n s f o r m ，s u s a no p e r a t o r , c o r n e rd e t e c t i o n ，a n ds oo n w ec a ng e t t h eo t h e re i g e n p o i n tb a s e do nt h ek e ye i g e n p o i n ta n df a c ee l a s t i c g r a p h ，a n dt h e n a d j u s tt h ep o s i t i o no ft h ee i g e n p o i n tb a s e do nf a c ee l a s t i cg r a p h w ec a ng e tt h e t o p o l o g yg r a p ho f t h ei n p u tf a c e ，a n dc o m p a r et h i st o p o l o g yg r a p hw i t ht h et o p o l o g y g r a p h t h a ti si nt h ef a c ed a t a b a s e ，m a k ec e r t a i nt h ei d e n t i t yo f t h ei n p u tf a c e i nt h i sp a p e r , i no r d e rt oa c c e l e r a t et h e r e c o g n i t i o ns p e e dw ei m p r o v e o nf r o n t a l f a c er e c o g n i t i o nm e t h o db a s e do ne l a s t i cg r a p hm a t c h i n gi nt w oa s p e c t ，o n ei s a u t o - o r i e n t a t i o no f k e ye i g e n p o i n t ，t h eo t h e ri sm a t c h i n gm e t h o d t h ee x p e r i m e n to n o r lf a c ed a t a b a s et e s t i f yt h ev a l i d i t yo ft h i sm e t h o d k e y w o r d s ：p a t t e r nr e c o g n i t i o n ，f a c er e c o g n i t i o n ，e l a s t i cg r a p h ，f e a t u r ee x t r a c t i o n w a v e l e tt r a n s f o r m ，s u s a n o p e r a t o r 原创性声明 y 7 3 2 2 1 5 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进 行研究所取得的成果。学位论文中凡引用他人已经发表或未发表的成 果、数据、观点等，均已明确注明出处。除文中已经注明引用的内容外， 不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究成果做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：翟皇： 日期：煎：璺。 关于学位沦文使用授权的声明 本人在导帅指导下所完成的沦文及相关的职务作品，知识产权归 属兰州人学。小人完全了解兰州火学有关保存、使用学位论文的规定， i 司意学校保存或向国家有关部门或机构送交论文的纸质版和电子版， 允许论文被查阅和借阅：本人授权兰州大学可以将本学位论文的全部 或部分i 、j 尜编入订灭数撕j 1 ：进行榆索，可以采j 1 1 仃f l i f 复制下段保存和 汇编本学位论文。本人离校后发褒、使用学位沦文或与该论文直接相 关的学术沦文或成果时，第一署名单位仍然为兰州大学。 侏密沦义在解密后戍遵；川e 规定。 沦文作者然名毪呈! 铮问i 签名： 沦文作者然名工錾三筻堑! 铮师签名： 第一章绪论 第一章绪论 本章主要介绍了人脸识别研究的背景和意义、国外和国内研究的现状以及主 要研究方法和本文研究的出发点。 1 1 人脸识别研究的背景和意义 1 1 1 人脸识别的研究背景 随着计算机科学的迅速发展，基于计算机技术的人类生物识别技术【1 1 也逐渐被 作为一项研究课题提了出来。人类生物识别技术具有安全可靠、特征唯一、不易 伪造、不可窃取等优点，因而被作为未来的个人身份识别技术加以研究。人类生 物识别技术就是通过个人自身所具有的外貌及其他各种内在特征来确定个人或群 体身份的一门技术。人类生物识别技术包括广泛的内容和众多的子课题，如d n a 识别技术、指纹识别技术、虹膜识别技术、语音识别技术、人脸识别技术。相比 较而言，人脸图像具有与其他生物特征截然不同的特点，如：人脸表情丰富；人 脸随年龄增长而变化；人脸所成图像受光照、成像角度及成像距离等影响；而且 从二维图像重建三维人脸是病态( i l l - p o s e d ) 过程【2 l ，目前尚没有很好的描述人脸的 三维模型。另外，人脸识别还涉及到模式识别、图像处理、生理学、心理学、认 知科学，且与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都 有密切联系，这诸多因素使得人脸识别成为一项极富挑战性的课题。尽管众多机 构和组织投入了大量的人力和物力对其进行了研究，也取得了很大的进展，但距 离应用还有相当长的路要走。 1 1 2 人脸识别的应用前景 随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。由 l 第章绪论 于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性：因此，生物 特征是身份验证的最理想依据。与其它人体生物识别技术相比较而言，利用人脸 特征进行身份验证具有直接、友好、方便的特点，更易于为用户所接受，所以人 脸识别技术具有更广泛的应用前景和更大的潜在价值，其研究成果可用于以下领 域【3 】： l 、身份验证和访问控制。比如在a t m 上无须插卡就能通过图像处理进行验 证和鉴别，提供最优的服务，并提高了密码的安全性。 2 、在公安系统的应用。既可以应用于犯罪分子身份鉴定，也可以应用于公共 场合，如机场、火车站等人员流动比较大的地方的实时监控。 3 、人机交互( h c i ) 。随着计算机的普及，人机交互将逐渐成为人们日常生活 的一部分。现在最流行的人机交互的工具就是鼠标和键盘，但是这些机械设备即 限制了速度，也使人机交互缺乏自然性。随着技术的不断进步，实现人机交互的 完全人性化是人机交互技术的必然结果。如虚拟现实就需要先进的人机交互技术， 人脸识别就是其中的一项重要技术。 3 、基于内容的检索。i n t e r a c t 在人类的日常生活中扮演了越来越重要的角色， 当前的检索方法都是基于文本标记的，基于内容的图像检索是i n t e r n e t 技术发展的 一个方向。基于内容的图像检索技术可以不需要文本标记，而直接用图像作为检 索关键项。人们可以在w e b 上或指定数据库上检索图像，而不是文本标记。比如 可以在i n t e r n e t 或指定数据库上查找所有的指定人的图像。它可以应用到公安等部 门的人员管理数据库中。 1 2 人脸识别的研究内容 计算机人脸识别技术也就是利用计算机分析人脸图像，进而从中提取出有效 的识别信息，用来“辨认”身份的一门技术。让完成计算机人脸识别工作是一件很 2 第一章绪论 困难的事情，但是让人做就很容易，因此，有必要研究一下人脑到底是如何完成 识别人脸这个任务的。这里主要介绍一下人脑识别人脸时的一些总结性的规律和 实验研究结论。 1 2 1 人脸识别的认知模型和规律 虽然在计算机中图像被表示成由孤立象素点组成的矩阵排列，处理也主要是 针对矩阵及像素点的数学运算。但人脑对图像的处理却要复杂得多，人脑对图像 的处理是与人类的认知、思维、以及根据已有的知识库进行推理等活动相关。因 此，人脑对图像的识别实际是人脑对图像进行分析、理解并最终做出某种判断的 过程。从某种意义上讲，图像识别是利用已有的知识来对目前图像的意义做出判 断。 研究表明【3 1 ，人脑对人脸识别是一个整体识别和局部特征识别共同作用的结 果。对于远处的人，一眼先看到的是全貌，获得的是他的整体信息，主要是整体 识别：而对近距离的人，能够观察到人脸部的细节，部件特征则对人脸识别更重 要。另外，人脸各部件在人脸识别中的重要性也不相同，如眼睛和嘴巴的重要程 度大于人的鼻子，人脸上半部分重要性大于人脸下半部分，其中有明显特点的人 脸更容易被识别和记住，比如说歪嘴等人脸就更容易为人记起，而缺乏个性特征 的人脸则不容易引起人的注意，记忆和辨识需要更长的时间。 人脑对人脸的识别是一个分层次的过程钔，是通过对视网膜细胞获得的信息逐 步分析和概括，并结合人脑已有的先验知识完成人脸识别的。生理学的研究表明， 人眼视网膜上存在着低层次和高层次的细胞。其中，低层次的细胞对空间的响应 和小波变换的结果相似；而高层次的细胞则依据一群低层次细胞的响应，而做出 具体的线面乃至物体模式的响应。在计算机人脸识别中，图像的k l 变换后的系 数特征、小波变换特征及一些统计特征均属低层次特征的范畴，而人脸部件形状 第一章绪论 分析的结果则为高层次特征。另外，人脑对人脸的识别还依赖于人脑中早期形成 的先验知识，需要与人脑中已经存储的人脸进行比对，才能确定是不是人脸，及 人脸对应人的身份。 所有的这些人脸视觉认知方面的知识和结论对于设计一个有效的人脸自动识 别系统显然是很有启发意义的。 1 2 2 人脸识别的研究内容 人脸识别的概念有狭义和广义之分。从广义上讲，人脸识别技术就是利用计算 机分析人脸图像，进而从中提取出有效的识别信息，用来“辨认”身份的一门技 术。研究内容包括以下五个方面【5 】： ( 1 ) 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测出人脸的存在并确 定其位置。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：即是对检测出的人脸进行特征提取，使之 能够区分出不同人的人脸。 ( 3 ) 人u ( f a c ei d e n t i f i c a t i o n ) ：即是通常所说的人脸识别。本文主要的工作 是对这一部分进行了较全面的研究。 ( 4 ) 表情分析( f a c i a le x p r e s s i o na n a l y s i s ) ：对待识别人脸的表情进行分析，并 对其加以分类。 ( 5 ) 物理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：对待识别人脸的物理特征进行分类，得 出其年龄，性别，种族等相关信息。 狭义的讲，人脸识别单指人脸鉴别，即将待识别人脸与已保存的人脸相比对， 依据匹配度确定待识别人身份的技术。 1 2 3 人脸识别技术各方面之间的内在联系 人脸识别技术包括五个方面的内容，五个方面的内容相互区别而又紧密联系。 4 第一章绪论 人脸检测是进行人脸识别的第一步，在这一步主要完成从图像中查找并确定人脸 的数量、位置和大小。人脸表征是人脸识别的第二步，主要完成人脸特征提取工 作，即分析人脸相互区别的本质差异，并用数学方式表示人脸。第三步是人脸鉴 别，就是在特征提取的基础上将待识别人脸与已保存的人脸相比对，依据匹配度 确定待识别人身份。人脸表征和人脸识别紧密联系，一般进行人脸鉴别的数据就 是人脸表征阶段提取的人脸特征及其组合、分解的数据。因此也有人将人脸表征 和人脸鉴别看成一个步骤。相对而言，人脸检测具有一定的独立性。人脸检测对 由摄像机输入的图像进行分割，即把整幅图像分割成两部分：一部分为“人脸” 区域；另一部分为“非人脸”区域，从而完成在图像中的人脸定位工作。 表情分析通过分析不同人在相同情绪状态下表情的共同特征，提取出喜、怒、 哀、乐等情绪表现在人脸上的表情特征，进行表情鉴别。物理分类是对不同种族、 不同民族、不同年龄，不同性别等具有不同分类的人群进行计算机自动分类，由 于人类自身进行上述分类也常出错误，所以这是一个非常具有挑战性的研究方向。 表情分析和物理分类都是在人脸检测和提取特征的基础上进行的，是与人脸鉴别 平行的处理过程。 人脸识别系统示意图如下： 图1 - 1 人脸识别系统示意图 第一章绪论 1 3 人脸识别方法 国内外研究人脸识别的方法层出不穷，根据人脸表征方式的不同，常用的方 法总体可分为以下三种川6 j ：基于几何特征的识别方法、基于统计特征的识别方法 和基于连接机制的识别方法。 1 3 1 基于几何特征的识别方法 基于几何特征的识别方法【7 】根据人脸面部拓扑结构几何关系的先验知识，利 用基于结构的方法在知识的层次上提取人脸面部主要器官特征，将人脸用一组几 何特征矢量表示。识别归结为特征矢量之问的匹配，识别所采用的几何特征是以 人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点问 的欧氏距离、曲率、角度等。其中比较好的方法是变形模板方法。几何特征由于 反应了人脸的几何形状，意义明确，属于一种高层次的特征，因此能比较好的代 表一个人的本质。但是求取几何特征要求图像比较清晰，分辨率要比较高，并且 几何特征受人脸表情和姿态影响很大，因此，一般都要求是清晰、正面、无表情 变化的人脸图像，实际应用中局限较大。 1 3 2 基于统计特征的识别方法 基于统计特征的识别方法【7 1 将人脸用代数特征矢量来表示。代数特征是由图像 本身的灰度分布决定，它是通过对图像灰度进行各种代数变换和矩阵分解提出的。 将人脸看作一个二维的灰度变化的模板，从整体上捕捉和描述人脸的特征，运用 数据统计的方法找到人脸图像的各种的统计关系，进而找到能代表各类人脸图像 且在统计意义上具有稳定性和差异性的特征，运算比较复杂。这类方法中比较有 代表性的有特征脸方法【6 1 ，f i s h e r 脸方法鸭隐马尔可夫模型( h m m ) 1 9 1 等。 6 第一章绪论 1 3 3 基于连接机制的识别方法 基于连接机制的识别方法包括一般的神经网络方法( n n ) 和弹性图匹配方法 ( d l a ) 。基于神经网络的方法1 0 i 是最近几年比较活跃的一个研究方向。应用神经 网络进行人脸的特征提取和分类器的设计( 神经网络分类器如图1 2 ) ，有比较成熟 的人脸特征提取算法自适应主分量神经网络算法。研究人员还应用传统方法 和神经网络设计了组合分类器，在识别效果的准确率、容错性、鲁棒性等方面取 得了一定的进展。神经网络方法在人脸识别上比其他类别的方法有独到的优势， 它避免了复杂的特征提取工作，可以通过学习的过程获得其他方法难以实现的关 于人脸识别的规律和规则的隐性表达。但应用该方法神经元数日多，训练时间长。 y i x ： 图l 一2 神经网络分类器图l 一3 人脸弹性图 弹性图匹配方法是一种基于动态链接结构的方法】。该方法在人脸图像中定 义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代 表人脸，拓扑图的任一顶点均包含一个特征向量，用来记录人脸在该顶点位置附 近的信息( 如图l 一3 ) 。拓扑图的顶点采用了小波变换特征，它对于光线、尺寸、角 度具有一定的不变性。弹性图匹配能够容忍表情的变化，并在一定程度上能够容 忍视角的变化。因此，是人脸识别方法中识别率最高的一种方法。关于弹性图方 法将在本文的后续章节作详细介绍和分析。 第一章绪论 1 4 计算机人脸识别方法评价指标 作为一项实用技术，计算机人脸识别方法的性能要从实用角度出发进行评 价。计算机人脸识别方法评价指标主要应包括以下几个方面【1 3 1 ：1 、识别率， 即分类的正确程度；2 、计算时间，即算法的实时性指标；3 、数据存储量，即算 法对计算机存储空间的占用情况；4 、可扩展性，算法的对人脸库的扩充能力。本 节将对这些性能指标分别进行介绍。 1 4 1 识别率 与计算机人脸识别方法的识别率相关概念有两个：一个是正识率，即对属于 人脸库中待识别人脸图像的人脸模式，识别系统能正确识别出该人脸模式概率， 正识率用正确识别的人脸图像的总数占测试人脸图像总数的百分表示；另一个是 拒识率，即对非人脸库中的人脸，识别系统能识别出该人脸图像不属于人脸库的 比率，拒识率用拒识人脸图像的总数占测试人脸图像总数的百分比表示。以上两 种情况均为正确识别，识别率由这两部分构成。在计算机人脸识别的实际应用中， 人们往往更关注正识率，而忽视了拒识率，将拒识门限设为无穷大，即给定一待 识别人脸，在已知人脸库中找到和该人脸最相近的人脸，而不考虑该人脸是否应 该是人脸库中的已知人脸。 1 4 2 计算时间 计算机人脸识别技术的的实时性要求比较强，因此计算时间是计算机人脸识 别技术中的一个重要的指标。由于计算机人脸识别技术和人工智能密切相关，目 前比较好的人脸识别方法往往都需要采用遗传神经网络或支持向量机等方法加以 训i 练以提高识别率，因此计算时间要考虑两个方面的时间耗费：一是训练人脸识 别系统需要的时间；另一个是人脸识别系统进行识别所需要的时间。通常情况下， 8 第一章绪论 由于人脸识别系统的训练为离线训练，因此，人脸识别系统设计阶段需要的训练 时间可以不考虑。但识别时间却相当重要，它直接影响人脸识别系统的实时性， 对人脸识别系统是否可以应用于实践，起着决定性作用。 1 4 3 数据存储量 在计算机人脸识别系统中，人脸库的存储也是个不能不考虑的问题。存储大 量的人脸数据将会给人脸识别系统造成一定的负担，因此，在开展计算机人脸识 别算法研究时，往往也要考虑数据存储量的大小。 1 4 4 可扩展性 在计算机人脸识别系统的实际应用中，往往需要不断对己知人脸库进行修改， 或删除某些人脸模式，或添加某些人脸模式。因此，对已知人脸库的动态维护也 是在研究人脸识别技术中要考虑的一个问题。 1 5 人脸识别技术的发展与现状 计算机人脸识别技术【1 4 1 的研究起始于2 0 世纪6 0 年代末，b l e d s o e 建成了一 个半自动的人脸识别系统，该系统首先由操作员定出面部特征点并将其位置输入 到计算机，以人脸特征点的间距、比率等参数为特征，采用最近邻原则识别出待 测试的人脸。此后，在六七十年代人脸识别即引起了研究者的强烈兴趣。 进入九十年代，由于各方面对人脸识别系统的迫切需求，人脸识别的研究重 新变得非常热门。同时随着高速度高性能计算机的出现，人脸识别方法有了重大 的突破，进入了真正的机器自动识别阶段，人脸识别研究也得到了前所束有的重 视。仅1 9 9 4 年到2 0 0 4 年之间，e l 可检索到的相关文献就多达数干篇。国外有很 多大学在此方面进行了研究并取得了很大的进展其中影响较大的有h a r v a r d 大 学、y a l e 大学、c a m b r i d g e 大学、英国s u s s e x 大学、德国b o c h u m 大学、c a r n e g i e 9 第一章绪论 m e l l o n 大学、s t a n f o r d 大学、m a r y l a n d 大学等。 一些公司看准了人脸识别系统在商贸和保安等方面的广阔应用前景，也纷纷 投身于人脸识别技术的研究，从1 9 9 5 年后陆续推出了数个人脸识别系统的产品。 如m i r i o 公司丌发的t r u e f a c eg a t e w a t c h 系统、f a c e k e y 公司开发的f a c e k e y 系 统、德国的z nb o c h u mg m b h 公司用基于神经信息处理的方法开发了三套人脸识 别系统、美国v i s i o n i c s 公司开发的f a c e l t 系统等。 国内对人脸识别的研究开始的要晚一些，但发展很快，目前国内的研究水平 已和国际水平不相上下。国内比较著名的研究机构有中科院计算所、清华大学、 南京大学、中山大学等。清华大学的“人脸识别查询技术”、中科院计算所的“面 像检测与识别核心技术”都已达到或超过了国外水平。 1 6 本文主要的研究工作及创新 本文是在人脸检测的基础上对正面人脸图像进行特征提取和匹配研究。通过 实验和分析，首先选择人脸库中有代表性的人脸建立人脸训练集，手工标定训练 集人脸特征点并对特征点提取小波系数作为特征点的特征向量，以特征点的连线 为边并计算点之间的欧式距离，生成人脸弹性图。 对于i l l 练集以外的库中其他人脸，首先利用灰度积分投影法、h o u g h 变换、 s u s a n 算子定位眼球并提取内外眼角，然后根据人脸结构及灰度特征，利用积分 投影法确定出鼻子和嘴巴区域，在此基础上结合s u s a n 算子和角点检测提取嘴 角、唇鼻中心点，并与眼角一起作为关键特征点，然后利用人脸弹性图和已知关 键点信息在眼睛、鼻子、嘴巴、眉毛、脸轮廓上进行特征点的粗定位，利用人脸 弹性图模板对特征点进行调整，精确定位特征点，建立人脸拓扑图。 对于输入人脸首先利用上述方法获得人脸拓扑图，然后与库内人脸逐进行 比较，计算人脸数据库内当前人脸的人脸拓扑图与输入人脸拓扑图的关键特征点 1 0 第一章绪论 相似度，若相似度达到给定值，则继续计算其余特征点的相似度，并获得人脸拓 扑图的整体相似度，对整体相似度达到给定值的人脸进行相似度排序，并依据整 体相似度的高低确定输入人脸的身份。 本文的创新之处在于在弹性图匹配的正面人脸识别方法中引入关键特征点的 自动定位，并对匹配过程进行了改进。利用关键特征点和人脸弹性图进行人脸特 征点粗定位，然后再利用弹性图进行特征点的精确调整，大大提高了特征点的定 位速度。在计算人脸相似度时分两步进行，提前终止了明显不匹配情况，进一步 提高了算法速度。与以往弹性图匹配算法相比较，在保持识别率没有明显变化的 前提下，识别速度获得了大幅提高。因此本文提出算法比以往的弹性图匹配方法 在识别速度方面具有更优越的性能。 第二二章人脸图像预处理 第二章人脸图像预处理 在图像的采集、传输、保存过程中，由于受到采集设备性能、光照、环境、 传输过程中的干扰等因素的影响，输入图像可能会出现颜色分布不均衡、亮度 过高或过低、图像的分辨率不能满足系统的需要或者噪声过大的情况，影响对 图像有用信息的处理；因此将图像输入到处理系统之前必须预先对图像进行一 些处理，这些预先处理环节就被称为图像的预处理过程【2 1 。图像的预处理在计算 机视觉、图像识别中得到了广泛的应用，这主要是因为图像预处理实际上也是 一个去除无用信息、提升有用信息、提高算法效率和速度的过程。预处理做得 好可以减少后面核心算法中的工作量，相反如果缺少必要的预处理过程，则会 对后面系统的结果产生较大的影响，有可能造成工作量的增大和效率的降低， 甚至使算法失效。在很多视觉系统中，预处理都占有很大的比重。 在人脸识别中，由于人脸图像可能在大小、尺寸、色彩方面存在差异，同 时人脸图像也会在采集、传输、压缩、存储过程中受到不同程度的噪声干扰， 这些因素都会对人脸识别带来不利影响。另外，对某一个具体的人脸识别系统 而言，需要对所有人脸采用一个统一识别规则，也就是况所有的人脸需要以统 一的尺寸和色彩输入核心识别系统。因此，特征提取及识别之前需要对人脸图 像进行必要的预处理。在本文中，将在三个方面对人脸图像进行预处理：尺度 归一化、灰度归一化和滤波。 2 1 滤波 噪声污染会破坏数据的准确性，增加干扰信息，当噪声污染严重时甚至会 盖过有用信息，造成有用信息的提取失败。因此，对受到噪声污染的图像常需 要进行滤波处理，滤波的方法很多，如各种线性滤波方法、中值滤波方法、均 2 第二章人脸幽像顶处理 值滤波方法、卷积滤波方法等。最常用的滤波方法主要有中值滤波和均值滤波。 2 1 1 均值滤波 均值滤波的基本原理是把数字图像中一点的值用该点一个邻域的均值代 替。均值的定义如下： 设某一点一个邻域内点的灰度值为一组数x t ，砭，x 3 ，吒， 那么，序列的均值即为： y = a v e r a g e ( x i ，恐，弓，靠) ：i n t ( 互二兰立! d 二当) ( 2 1 ) 玎 用y 代替该点的灰度值就完成了该点的均值滤波。 2 1 2 中值滤波 中值滤波是由团基( t m r k y ) 在l9 7 1 年提出的。中值滤波最初用于时间序列 分析，后来被用于图像处理，在去噪复原中得到了较好的效果。中值滤波的基 本原理是把数字图像中一点的值用该点一个邻域的中值代替。中值的定义如下： 设某一点一个邻域内点的灰度值为一组数一，x 2 ，_ ，把n 个数按值的 大小排列如下： 薯l 2 t 3 那么，序列的中值： f t 。掣，刀为奇数 y 2 庇d 一，屯，屯，。一，5 1 三c l 。：，+ l 。孚，玎为偶数 。：一：， 即为该点的灰度值。 中值滤波方法在某些条件下可以作到既去除噪声又保护图像边缘的较满意 的复原。在这里，我们选用中值滤波方法。 1 3 第二章人脸图像预处理 2 2 尺度归一 尺度归一化完成图像的放大或缩小操作，使所有图像变换为统一的尺度大 小，尺度归一化包括两个独立的算法。首先，需要一个算法来定义空间变换本 身，即按所需图像的大小完成像素点的增删和移动。同时，还需要个个灰度 级插值的算法，以保持图像尽量不失真。归一化运算的定义为： g = ，( x 7 ，y ) = ，【口( x ，_ ) ，) ，6 ( x ，y ) 】 ( 2 - 3 ) ，( x ，y ) 表示输入图像，g ( x ，y ) 表示输出图像。函数a ( x ，y ) 和b ( x ，y ) 唯一地描 述了空间变换。根据灰度插值的方法不同，归一化方法不少，这里介绍两种： 2 2 1 最近邻法( 零阶内插法) 最近邻法也称零阶内插法，它是直接用最临近点的灰度值代替插值点的灰 度值。设原始图像大小为z y ，变换后的大小要求为m n ，则变换后图像内的 一点( “，v ) 在原图中的对应位置为( ，v ) ：( x u ，上v ) ，n 燃( n e a r e s tn e i g h b o r ) m行 就是比较( 材，v ) 和( “，v ) 周围( f ，) ，( f ，+ 1 ) ，( i + 1 ，j ) ，( i + 1 ，+ 1 ) 四个点之间的距 离，取距离最小的那个点的灰度作为变换后的点( t f , v ) 的灰度( 如图2 - 1 所示) 。 最近邻法具有运算简单、计算量小的特点，但却容易产生马赛克现象，当图像 放大幅值较大时马赛克现象会很严重，因此在变换前后图像大小变化不大，图 像质量要求不高的情况下，也可用此方法进行图像的归一化。 ( i ，j )( i ，j + 1 ) ( u jv ) ( i + l ，j )( i + 1 ，j + 1 ) 图2 1 最近邻法插值 笫二章人脸图像预处理 2 2 2 双线性插值( 一阶插值法) 双线性插值也称一阶插值法。双线性插值法充分利用了插值点与其周围四点 之间在纵向和横向上的线性位置关系进行插值。可产生比最近邻法更令人满意 的效果，大多数情况下都可满足插值的需要。 设变换后图像内的一点( “，v ) 在原图中的对应位置为( ”，v ) ，( “，v ) 周围的四 个点( f ，j ) ，( f ，j + 1 ) ，( f + l ，j ) ，( f + l ，_ ，+ 1 ) 的值已知，( “，v ) 与点( f ) 的横坐标距离为 a ，纵坐标距离为b ，如图2 2 所示。 f ( i j ) 图2 2 双线性插值 首先，我们对上端进行线性插值可得 f ( u ，) = f ( i ，_ ，) + 日【厂( f + l ，j ) - f ( i ，川 类似地，对于低端两个顶点进行线性插值有 f ( i + l j + 1 ) i + 1 j + 1 ( 2 4 ) f ( u ，+ i ) - - - f ( i ，j + 1 ) + 口【，( f + 1 ，j 十1 ) 一f ( i ，+ 1 ) 】 ( 2 5 ) 最后，我们做垂直方向的线性插值，以确定 f ( u ，v ) = ，( “，) + 6 ，( “，j + 1 ) - f ( u ，) 】 将等式( 2 - 4 ) 、( 2 - 5 ) 代入( 2 - 6 ) ，展开等式并合并同类项可得 ( 2 6 ) 第一章人脸图像预处理 f ( u ，v ) = 厂( f + 1 ，) 一f ( i ，) 】口+ 【厂( f ，j + 1 ) - f ( i ，) 】6 + ，( f + l ，- ，+ 1 ) + ，( f ，j ) - f ( i ，+ 1 ) 一f ( i + l ，j ) a b + f ( i ，) ( 2 7 ) 从而变换后图像内对应于原图像内点( “，v ) 的点( 1 9 t , v ) 的灰度值为 g ( u ，v ) = f ( u ，v ) ( 2 - 8 ) 显然，点( h ，v ) 的灰度值是通过原图像内点( “，v ) 的相邻四点在横向和纵向 分别进行线性插值获得的，因此，这种方法也被称为双线性插值法。 双线性插值可直接通过等式( 2 - 7 ) 来实现，也可通过( 2 - 4 ) 、( 2 - 5 ) 、( 2 - 6 ) 这三个线性插值等式来完成。因为等式( 2 - 7 ) 需用到四次乘法、八次加( 或减) 法运算，而第二种方法只需要三次乘法和六次加( 或减) 法，所以双线性插值 程序一般选择后者。在这里，我们采用双线性插值方法对图像进行尺度归一化， 归一化为2 5 6 2 5 6 大小的图像。 2 3 灰度归一 由于一些因素的影响，输入图像可能会出现灰度太集中，图像太暗或太亮等 一些问题，这些情况的出现，一方面会影响到通用一致分类方法的选择和分类 规则的制定，另一方面也会对人脸的识别效果带来影响，降低识别率。因此， 在进行识别之前，往往都需要调整人脸图像的灰度分布，对人脸图像的灰度进 行归一化处理。 调整图像灰度分布的方法有很多种，大致可以分为以下三类：( 1 ) 线性灰度 变换，即调整前和调整后图像的灰度构成恒定的线性关系( 如图2 3 ) ，这种变 换一般用于因成像设备的非线性或图像汜录设备动态范围小等而使得灰度对比 度不足、图像的细节分辨不清等缺点出现的情况；( 2 ) 分段线性灰度变换，指 调整前和调整后图像的灰度在不同的灰度范围呈现不同的线性关系( 如图2 - 4 ) ， 这种变换的目的主要是为了突出图像中感兴趣的灰度区问或目标，而相对抑制 塑= 兰堕望堡堡竺些 按 变 换 后 灰 度 卜) 按 变 换 后 灰 度 0 原图灰度2 5 50 原图灰度 2 5 5 图2 - 3 线性变换函数 图2 - 4 分段线性变换函数 不感兴趣的区域：( 3 ) 非线性欢度变换，则是指调整后图像的灰度分布是由调 整前图像灰度分布的非线性变换( 如对数变换、指数变换等) 得出。现在应用 的比较多是利用图像的灰度直方图进行图像的灰度进行归一化，也称为直方图 均衡化。 2 3 1 直方图均衡化 所谓的灰度直方图，就是以横轴为灰度值，纵轴为像素数的直方图，它不 考虑像素的位置信息，只考虑不同灰度级上像素点的数量情况，灰度直方图表 示的是图像整体( 或是部分图像) 的亮度特征。 频 度 p ( 工) j ， 灰度x i x o 图2 - 5 灰度直方图均衡化处理及其变换公式 设某个图像的灰度直方图分布p ( x ) ( 如图2 - 5 所示) ，其灰度分布在某个范 围内偏多，对于这种灰度分布集中在很窄范围内的图像，不容易分辨其细微的 1 7 第一章人脸图像预处理 狄度级变化。为了获得比较好的观察效果，就需要将分布比较集中的区间进行 扩大，若采用直方图均衡化的方法进行处理。 参照图2 5 ，则应有下式成立 所以 p ( x ) d x = p ( ，) 咖= 砸y j ib ( x ) a x = f p ( y ) d y = c y 这个变换公式把原图像的灰度x 变为 y = ) =! rj p ( x ) 出 cj - x o ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) 式( 2 - 1 1 ) 表示处理后的图像的灰度分布p ( y ) 为原图像灰度分布p ( x ) 的积分。 对任意灰度分布的原图像，在经过直方图均衡化处理后，图像的灰度分布p ( y ) 均 为均匀分布。 对于一分辨率为m x n ，灰度级为三的图像，常数c 都可由下式计算得到： c ：丝! 型 三一l 式( 2 - 1 1 ) 的离散化表达式就为 ( 2 1 2 ) ，。( 上一1 ) p ( 石) y 2 胛( 三c x np ( x ) ) = 胛( 寺) 2 1 1 3 ) 利用式( 2 - 1 3 ) 就可以进行图像的直方图均衡化，其中，i n t o 表示取整， j p ( x ) 表示灰度值在五与x 之间的像素点的数目。 图像内的像素所具有的平均信息量( 熵) h 由下式给出： 日= 一f ：p ( y ) l g p ( y ) d y r 2 1 4 1 ，一1 d 、 我们知道，当分布函数p ( y ) 为均匀分布时，所包含的信息量最大，从这个 角度也就可以理解灰度直方图均衡化的意义了。 第一二章人脸龆像预处理 ( a ) 原图像( b ) 均衡化后图像 ( c ) 原图像直方图( d ) 图像均衡化后直方图 图2 - 6 灰度直方图的均衡化 如图2 - 6 所示，经过直方图均衡化的点运算处理后，图像的视觉效果得到改 善，原本灰暗的图像的亮度得到提升，图像中被背景掩蔽的部分得到还原。由 于灰度级数有限，均衡化后直方图将呈现参差不齐的外形，在一些灰度级处可 能没有像素，在另外一些灰度级处则像素很拥挤。 在本文中，我们采用直方图均衡化对图像进行灰度归一，图像灰度级选定为 2 5 6 。 第三章人脸关键特征点的选择与自动定位 第三章人脸关键特征点的选择与自动定位 提取人脸的合适特征是进行正确识别的关键，在人脸识别的各类方法中，对基 本部件如眼、鼻和嘴等的准确定位都是必不可少的步骤【1 5 】。近年来在人脸图像特 征提取方面进行了大量的研究工作，这些工作主要集中在3 个方面：面部几何特 征点的提取【16 1 ，变换域中的面部特征提取1 1 7 】，利用变形模板进行特征提取【1 引。另 外，还有利用s n a k e 以及a s m 等方法来定位特征。 本章提出一种基于人类视觉特性原理，利用人脸的几何特征，提取具有尺寸、 旋转和位移不变性的人脸特征点方法，可以快速、有效地确定出人脸主要器官一 一眼、鼻和嘴的关键特征点位置。且该方法在进行处理前可不对样本进行尺寸的 规范化，有助于提高对人脸正面像识别的准确度和增强抗干扰能力。 3 1 人脸的生理结构 人类不同个体的外貌虽然有很大的 差异，但人类脸部具有相同的生理结构， 眼睛、鼻子、嘴等脸部器官的排列和相对 位置不因个体差异和外界因素而改变。即 具有结构上的恒常性。概括起来，人脸部 的器官分布大致符合“三停五眼”的规律。 所谓“三停”是指眉线、鼻底和下颌的垂 第二章人脸关键特征点的选择与自动定位 3 2s u s a n 算子 s u s a n ( s m a l l e s t u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ) 算子1 9 1 是由英国牛津大 学的s m t s m i t h ，j - m b r a d y 首先提出的，具有以下特点：( 1 ) 对角点的检测比对 边缘检测的效果要好，适用于基于角点匹配的图像配准；( 2 ) 无需梯度运算，保 证了算法的效率：( 3 ) 具有积分特性( 在一个模板内计算s u s a n 面积) ，从而使得 s u s a n 算子在抗噪和计算速度方面有较大的改进。s u s a n 算子的原理为：以半 径为，个像素的圆形区域( 面积覆盖，r r 2 像素位置) 为掩模，考察图像中的每个点在 该区域范围内的所有点的像素值与当前点的值的一致程度，即有： c c ，一，2 ：) 矿f i l ，i 。( r r ，) 一- ，i 。( r o ，) l i ，t 。， 其中：r o 表示当前像素点；，表示区域范围的其它点；，( ，) 代表该像素的灰度 值；c ( r ，r o ) 是2 个像素灰度值的相关性度量；t 为像素间差异阈值，表明2 个像素 灰度值相差多少被判作不同，它控制生成角点的数量。通常对于式( 3 - 1 ) 可采用 更稳定可靠的形式： 一口! ! = ! f c ( r ，) = p 。 ( 3 2 ) 模板内所有点( 共n 个) 与核亮度之差的和为： ，? ( ) = c ( ，) r ( 3 3 ) n ( r o ) 代表s u s a n 面积，s u s a n 面积越小，则边缘强度越大。然后门( ) 与一 个给定阈值g 比较，得到图像的边缘响应： 弛) = 伊骧m 瓴卜g o ( 3 4 ) 第三章人脸关键特征点的选择与自动定位 g 为几何闽值，可以理解为s u s a n 面积的最大值，超过这个值就认为该点不 是边缘。为了消除噪声的影响，通常用几何阈值g 控制角点的生成质量，通常可 以设定为( 3 1 4 ) x n ( r o ) 。，这样就可以确定边缘的位置。 当区域边界模糊时，s u s a n 算子会产生虚假的