（计算机应用技术专业论文）基于弹性模板匹配的人脸识别.pdf

摘要 摘要 人脸识别技术是模式识别和机器视觉领域最富挑战性的研究课题之一，它在 刑侦破案、证件验证、门禁系统、视频监视等领域中都有广泛的应用前景。 本文主要研究静止图像的人脸识别。首先说明了人脸识别系统的组成和人脸 认知模型，并研究、比较主要的人脸识别方法。然后，阐述了动态连接匹配和弹 性匹配算法的原理。在研究实现基于弹性模板匹配的人脸识别时，针对传统弹性 模板匹配法存在的缺点，本文提出了如下改进的办法： ( 1 ) 在人脸图像处理阶段，传统方法中图像与g a b o r 函数是卷积运算，即 使采用快速傅立时交换，速度仍很慢。本文采用基于d a u b e c h i e s 小波分解提取 特征。由于小波运算采用提升方案实现，远比卷积运算快。 ( 2 ) 在人脸特征点表示方面，针对小波分解后的人脸图像，提出了一种新 的特征量来表示人脸特征点，并以此定义新的特征相似度函数。实验证明，与原 相似度函数相比，新的特征相识度函数具有较好的收敛性，因而在匹配时效果 更好。 ( 3 ) 在人脸弹性模板与人脸匹配时，传统的弹性模板方法在匹配时采用粗 匹配和细匹配两个步骤。考虑到人脸图像经过归一化处理后，人脸图像结构具有 很强的相似性，因此在细匹配时采用了遗传算法。实验表明，遗传算法能准确地 进行特征定位。 实验中采用o r l 人脸数据库，该数据库类别数为4 0 个人，每人l o 幅图像， 具备不同的表情和姿态。在实验中通过选择不同的条件进行测试，结果表明：改 进的弹性模板人脸识别法在人脸表情变化和光照等外界条件的影响下具有较强 的鲁棒性。与p c a 等人脸识别方法的实验数据相比较，得出了改进的弹性模板识 别法是一个比较理性的人脸识别方法。 关键词：人脸识别；弹性模板；动态连接： 小波 a b s t r a c t f a c er e c o g n i t i o ni no n eo fm o s tc h a l l e n g i n gp r o b l e m si nt h ef i e l d s o fp a t t e r n r e e o g n i t i o n a n dm a c h i n ev i s i o n i th a saw i d er a n g eo f p o t e n t i a l a p p l i c a t i o n i nt h ea r e a so f p u b l i cs e c u r i t y ， i d e n t i f i c a t i o no f c e r t i f i c a t e ，e n t r a n c ec o n t r o la n dv i d e os u r v e i l l a n c e t h i sp a p e ri sas t u d yo ft h er e c o g n i t i o no fs t a r i ch u m a nf a c ei m a g e s f i r s t l y ，t h es y s t e mo ff a c er e c o g n i t i o na n df a c i a lc o g n i t i v em o d e l sa n d r u l e sa r ei l l u m i n a t e d s e c o n d l y ，t h e m a i nm e t h o d so fh u m a nf a c e r e c o g n i t i o na r es t u d i e dp a r t i c u l a r l y s p e c i a l l yt h em e t h o d so fd y n 锄i c s l i n k m a t c h i n g a n de l a s t i c t e m p l a t em a t c h i n g a r es t u d i e d i nt h e r e a l i z a t i o no fe l a s t i ct e m p l a t em a t c h i n g ，t h ei m p r o v e m e n to ft h i sm e t h o d i sp r e s e n t e d ： ( 1 ) i nt h ep r o c e s so ff a c ei m a g e ，t h et r a d i t i o n a lm e t h o da d o p t s t h e c o n v o l u t i o no ff a c ei m a g ea n daf a m i l yo fg a b o rk e r n e l s t h o u g hf f ti s u s e d ，t h es p e e do ft h ep r o c e s si sl o w i nt h ep a p e rd a u b e c h i e sw a v e l e t r e p l a c eg a b o r t h ew a v e l e td e c o m p o s eo ff a c ei m a g ei sr e a l i z e db ys h i f t s c h e m e ，s ot h es p e e d isi m p r o v e d ( 2 ) i nt h ee x p r e s s i o no ff a c ec h a r a c t e r i s t i c ，t h ep a p e rp r e s e n t san e w e i g e n v a l u e 0 nt h eb a s eo ft h i s ac h a r a c t e r i s t i cs i m i l a r i t yf u n c t i o ni s d e f i n e d t h e e x p e r i m e n tp r o v e s t h a tt h en e wf u n c t i o nh a s b e t t e r c o n v e r g e n c e t h ee f f e c t o fm a t c h i n g i sb e t t e r ( 3 ) d u r i n gt h em a t c h i n go ft e s tf a c ei m a g ea n df a c ee l a s t i ct e m p l a t e ， t h e p a p e r u s e sg e n e t i ca l g o r i t h m so w i n g t ot h es i m i l i t u d eo ff a c e c h a r a c t e r i s t i cn o d e t h ee x p e r i m e n tp r o v e s t h a tt h ec h a r a c t e r i s t i o n o d e sp o s i t i o no ft e s tf a c ei m a g ei sl a b e l e dw e l l t h e r ea r et e nd i f f e r e n ti m a g e so fe a c ho f4 0d i s t i n c ts u b j e c t si no r l f a c ed a t a b a s ew h i c hw e r et a k e na t d i f f e r e n tt i m e s ，v a r y i n gl i g h t i n g ， f a c i a le x p r e s s i o n sa n dh e a dp o s e t h ee x p e r i m e n t so nt h eo r ld a t a b a s e i m p r o v et h a tt h em e t h o do fi m p r o v e de l a s t i ct e m p l a t e m a t c h i n gg a i n sb e t t e r r e c o g n i t i o nr a t et h a np c a s ，e s p e c i a l l y f o rh u m a nf a c e so fh e a dp o s e v a r i e da n df a c ei m a g e st a k e ni nt h ec o n d i t i o no fi l l u m i n a t i o nv a r i e t y k e y w o r d s ：f a c er e c o g n i t i o n ；e l a s t i ct e m p l a t e ：d y n a m i cl i n k ；w a v e l e t i l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签名：日期：1 , o 午占) 。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：雌导师签名：埤日期：一 第1 章绪论 第1 章绪论 1 1 人脸识别的意义 随着社会的发展，各个方面如视觉监控、远程医疗、人机交互技术等对快 速有效的自动身份验证的要求日益迫切。特别是计算机网络技术的发展导致电子 商务、电子政务的新起，而这一切又必须以安全的身份验证为前提。生物特征作 为人的内在属性，具有很强的自身稳定性和个体差异性，因此成为了身份验证的 首选。这其中，人脸识别是利用人脸特征进行身份验证又是最自然直接的手段， 它作为一种被动的无侵害的识别方法，相比其它人体生物特征它具有直接、友 好、方便的特点，易于为用户所接受。 如今，人脸识别技术在如下领域极有着光明的应用前景： 身份验证。利用人脸识别技术可以确认身份证、工作证、信用卡、护照等众 多证件的真假。同时可以鉴别某人是否是合法人员。较为常见的有在重要场 所装有摄像头，对进入人员进行人脸摄影验证以确认其身份。 场景监控。在一些敏感重要场所如银行、车站、机场进行监控，搜索可疑人 群，做到提前预警。 嫌疑犯识别。利用现场的照片，进行嫌疑犯的识别确认。 无线接触人机交互。利用人脸特征点和成像几何计算凝视点的位置，用视点 的移动控制光标。 可视通信。用特征描述人脸，得到大比例的压缩图像，从而降低数码率，实 现低速的实时可视通信。 1 2 人脸识别研究的内容 人脸检测与识别技术的研究最早可追溯到十九世纪法国人g a l t o n 的工作 f 1 1 ，现代的研究始于6 0 年代末7 0 年代初 2 】，并随着科学的发展在9 0 年代以来 成为了研究的热点，国内外研究人脸检测与识别的算法层出不穷，相关的论文举 不胜数。我国的人脸识别技术起步较晚但发展迅速，并列为8 6 3 计划大力支持。 现在人脸识别研究主要侧重于人脸检测和人脸识别这两方面。在这里我们进 行简要的介绍，在下一章将进行较为系统的阐述。 人脸检测研究的就是如何从静态图片或者视频序列中找出人脸，如果存在人 北京工业大学硕士论文 脸，则输出人脸的数目、每个人脸的位置及其大小。人脸检测是人脸身份识别的 前期工作。同时，人脸检测作为完整的单独功能模块，在智能视频监控、视频检 索和视频内容组织等方面有直接的应用。 如今在复杂背景下的人脸检测，可采用模板匹配、特征子脸、彩色信息等检 测技术，能够检测平面内旋转的人脸，并可以跟踪任意姿态的运动的人脸。在人 脸检测的基础上，面部关键特征检测试图检测人脸上的主要的面部特征点的位置 和眼睛和嘴巴等主要器官的形状信息。灰度积分投影曲线分析、模板匹配、可变 形模板、h o u g h 变换、s n a k e 算子、主动性状模型和主动外观模型是常用的方法。 在人脸识别研究中，现在主要集中在三类方法上：基于几何特征的方法、基 于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的方法， 通常需要和其他算法结合才能有t e 较好的效果：基于模板的方法可以分为基于相 关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方 法、动态连接匹配方法等。基于模型的方法则有基于隐马尔可夫模型、主动形状 模型和主动外观模型的方法等。特征脸方法是目前最流行的算法之一，具有简单 有效的特点，现在特征脸算法已经与经典的模板匹配算法一起成为测试人脸识别 系统性能的基准算法，改进的特征脸算法是主流的人脸识别技术，也是具有最好 性能的识别方法之一。 近年来，国内学者在对特征脸技术进行认真研究的基础上，尝试了基于特征 脸特征提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进版本 或扩展算法，主要的研究内容包括线性非线性判别分析( l d a k d a ) 、b a y e s i a n 概率模型、支持矢量机( s w ) 、人工神经网络( n n ) 以及类内和类间双子空间 ( i n t e r i n t r a c l a s sd u a ls u b s p a c e ) 分析方法等等。 现在人脸识别研究的课题主要包括： 人脸区域检测； 人脸特征检测； 头部姿态估计； 自动人像识别； 面部表情分析和合成； 性另1 丰口种族识另q ； 2 第1 章绪论 现在的人脸识别研究中主要解决如下问题：( 1 ) 头部姿态变化对人脸识别的 影响；( 2 ) 光照变化对人脸识别的影响。 1 3 本文研究的主要内容 本文研究的课题主要解决在头部姿态和光照变化影响下，如何保持较高的人 脸识别率。 首先熟悉人脸识别系统的组成和人脸识别的主要算法。针对课题中需要解决 的问题，选择对光照和头部姿态变化具有较好鲁棒性的动态连接匹配、弹性模板 匹配的算法进行研究，并通过实验实现，同时针对弹性模板方法存在的缺点，提 出改进的办法。 1 4 本章小结 在本章中，对人脸识别的意义和人脸识别的研究内容进行了介绍。并对本文 的工作进行了说明。随着社会的发展，各个方面对人脸识别技术产生了巨大的需 求。但是由于人脸识别的复杂性，真正完善的人脸识别解决方案还未形成。本文 从当前在人脸识别中急需解决的问题出发，选择动态连接算法和弹性模板匹配法 进行研究并提出改进的办法。具有很强的现实意义。 北京工业大学硕士论文 第2 章人脸识别的研究 2 1 人脸识别系统 在一个人脸识别系统中，当把一个未知的人脸送给人脸系统时，系统将这 个新人脸与数据库中的人脸进行比较，在此基础上，系统将确定此人的身份。 人脸识别包含三部分： 人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位 置，大小； 面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信 息； 人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的 身份信息； f i g u r e2 1f l o wc h a a o ff a c er e c o g n i t i o ns y s t e m 评价一个人脸自动识别系统的标准：一个是误识率即将某人错识别为其他 人，另一个是虚警率即将其他人识别为这个人。这二者之间是存在矛盾的，在实 际问题中需要某种折衷。 人体识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在： 人脸塑性变形( 如表情丰富与人脸随年龄增长变换等) 的不确定性； 人脸模式的多样性( 胡须、发型、眼镜、化妆等) ； 4 第2 章人脸识别的研究 图像获取过程中的不确定性( 如光照强度、光源方向、成像角度及成像 距离等) ； 二维图像重建三维人脸是病态的。而且目前缺少描述人脸的三维模型： 人脸识别还涉及到图像处理、计算机视觉、模式识别以及神经网络等学 科，也和人脑的认识程度密切相关； 下面，我们进行人脸图像的频谱分析，来看看人脸识别的难度所在。 图2 - 2 人脸图像图2 - 3 人脸图像的傅立叶频谱 f i g u r e2 - 2af a c ei m a g ef i g a r e2 3f o u r i e rs p e c t r u mo f l e f tf a c ei m a g e 通过以上图像说明：人脸图像能量大部分集中在低频部分，而高频部分能 量极少。由于高频部分反映是图像的快变化量，这表明人脸图像的灰度变化不是 很明显，这也说明了人脸高度相似性，而这正是人脸识别的困难所在。 2 2 人脸认知理论 2 2 1 人脸认知模型 夺人脸认知功能模型 人脸识别的功能模型强调了对面孔的表情分析、面部讲话和面孔语义身份特 征加工等过程的相互独立性和序列性，其模型由八大部分组成，他们是结构编码、 面部识别单元、人的辨认节点、人名产生、表情分析、面部讲话分析、直接视觉 处理和认知系统。 结构编码产生面部的描述。结构编码由两部分组成：一部分是以观察点为中 心的描述：另一部分是与表情无关的描述。以观察点为中心的描述将对面部的整 体结构和特征进行抽象的描述，描述的结果送表情分析和面部讲话分析功能块做 进以一步处理。更加抽象的与面部表情无关的描述送面部识别单元。嘴与舌的可 北京工业大掌硕士论文 见运动描述将送面部讲话分析功能块处理，面部的表情客观描述送表情分析功能 块。面部识别单元存储着己知人员的面部结构码。当看见一个人的面部时，一串 识别单元的信号会送入认知系统，认知系统将根据已存储的面部结构码与刚送入 的面部结构码的匹配度进行识别。根据面部识别单元与认知系统送入的信号，人 的辨认节点会对刚输入的面部进行辨认。面部识别单元与人的辨认节点之间的区 别在于：面部识别单元只能对人的面部进行辨认，而人的辨认节点不仅可以辨认 人的面部，而且还能辨认人的声音和表情。表情功能分析块与面部讲话分析功能 块与认知相连，且通过人的认知系统将信息送入人的辨认节点。人的辨认节点的 辨认信息送人名产生模块，产生相应的人名。由此，人脸认知的主要结果是完成 对人员的辨认。通过面部产生一个人名，是人脸认知系统的主要功能。功能模型 成功地解释人脸过程中的一些现象，如人脸识别与目标识别的异同。但是，功能 模型仍有许多不足，如它不能清楚地解释姓名提取困难等现象，其各功能模块还 需迸一步精细，各功能模块之间的关系还需进一步说明，信息流也有进一步研究。 夺相互激活竞争模型 为克服功能模型的不足人们提出了i a c 模型，它是功能模型理论研究继续发 展的结果。这种模型主要包括三个单元：人脸识别单元、个人身份结和语义信息。 三类单元之间存在双向兴奋性联系，同一类单元之间存在相互抑止关系。由此可 见，这种模型吸收了当代人工神经网络的理论概念和多层网络的模型特点，弥补 了功能模型的不足之处。根据这一模型，f r u s 既可以从现实外界人们认知过程 中获得信息，也可以从其余p i n s 或s i 相互兴奋性联系中获得信息。当f r u s 从 大量p i n s 和s i 单元中提取内部信息时，这些p i n s 和s i 就出现了与f r u s 的竞 争性相互激活的关系。p i n s 之间相互抑止，大量f r u s 之间也是相互抑止的。 i a c 模型将人类感知( 基于视觉的) 和认知( 基于记忆的) 两方面很好的结 合起来，而且b u r t o n 等人根据i a c 模型对提取比其他语义提取更困难的现象也 进行了成功的解释。他们没有将姓名单元与语义信息单元相分离，而是将姓名置 于语义信息单元之中。所不同的是每个姓名只对应一个个体身份结，而语义信息 单元之中的其他语义信息，则可能和多个个体身分相联系。作为与个体身分有单 一联系的姓名码，在被激活的过程中，比被多个身份结所共有的其他语义信息的 激活数度慢，激活值也最小，因此姓名的提取较其他语义信息的提取更困难。而 6 第2 覃人脸识别的研究 且，由于姓名也处于语义信息单元之中，单元内的项目之间存在相互抑制关系， 姓名的提取也必须与其他语义信息相互竞争，由于其他语义信息被激活的快且激 活值大，所以造成姓名较难提取。 目前，人脸认知模型仍在不断发展之中，借助于越来越完善的人脸认知模 型，人们可以成功地解释大量观察和实验发现的人脸认知方面的规律，另一方面， 这些规律的发现也促进了人脸认知模型的不断发展完善。 2 2 2 人脸认知规律 夺人脸识别有一个专门的处理过程 神经心理学观察及实验表明，人类大脑通过一组功能独立的信息渠道处理 人脸识别问题 3 4 】。有以下事实证明： 人类识别物体与识别别人脸使用不同的策略。 人脸失患者能够识别出给定目标是否为人脸，却不能通过人脸辨认出具 体的人。 处理熟悉的人脸与陌生的人脸也是两个独立的过程。 表情识别与人脸识别分别属于不同的处理过程。 夺全局特征和局部特征在人脸识别中作用 一般认为，人脸识别是整体特征和局部特征综合作用的结果，人类首先利 用全局特征来检测出人脸，在利用局部特征识别出人脸。当从很远的地方识别人 脸时，脸部突出的特征远不如特征间的几何关系重要【5 】。一些研究表明，脸部 特征的重要性是从上到下依次递减的，头发和眼睛等特征在识别时比嘴和下巴更 重要。 夺空间频域分析在人脸识别中作用 根据不同的任务，低通、带通和高通空间频率起着不同的作用。对于人脸检 测，仅有低通频率成分起作用，而在人脸鉴别时，则是高通频率成分起作用。低 通空间频率成分用于全局描述而高通空间频率成分则用于描述脸部细节。 夺光照变化对人脸识别的影响 研究者发现，当光照方向不同时，即使从同一视点拍摄的同一个人的两幅图 像看起来也会有很大的差别。特别是当光线从下照射时，即使是熟悉的人脸也难 北泵工业大学坝士论文 以准确识别。倒置图像或底片较难识别的原因之一就是由于这些图像颠n t 光线 的方向。 夺运动和人脸识别 运动的图像序列有助于识别熟悉的人脸，而且即使画面不变或图像质量不 好，运动的图像序列仍比静止图像识别率高，但是对于陌生的人脸运动却并不 能提供有用的识别信息。 总之，人类是最优秀的人脸识别系统，人类识别系统具有最高的鲁棒性，人 能在很宽广的光照变化范围内识别人脸，当人脸部分遮挡，或发生一定形变，或 经过一段相当长的时间后，还能对其正确识别。 2 3 人脸检测方法综述 人脸检测就是从输入的图像中检测出一个或几个人脸图像，并检测出关键特 征如眼等。人脸检测受如下因素的影响较大：获取图像的条件、检测算法的复杂 度、单视角等。人脸检测决定了一个人脸识别系统的鲁棒性。现在人脸检测的基 本思想是用知识或统计的方法对人脸建模，比较所有可能的代检测区域与人脸模 型的匹配度，从而得到可能存在人脸的区域。其方法大致可分为基于统计和基于 知识两类。前者将人脸图像视为一个高维向量，从而将人脸检测问题转化为高维 空间中分布信号的检测问题；而后者则利用人的知识建立若干规则，从而将人脸 检测问题转化为假设，验证问题。 2 3 1 基于统计的人脸检测方法 常用的基于统计有下列方法： 事例学习。将人脸检测视为区分非人脸样本与人脸样本的两类模式分类 问题，通过对人脸样本集和非人脸样本集进行学习以产生分类器。目前 国际上普遍采用人工神经网络。 子空间方法。p e n t l a n d 等将k l 变换引入了人脸检n i 1 6 ，在人脸识别中 利用的是主元子空间( 特征脸) ，而人脸检测利用的是次元子空间( 特 征脸空间的补空间) 。用待检测区域在次元子空间上的投影能量，也即 待检测区域到特征脸子空间的距离作为检测统计量，距离越小，表明越 第2 覃人脸识别的研究 像人脸。子空间方法的特点在于简便易行，但由于没有利用反例样本信 息，对于人脸类似的物体辨别能力不足。 空间匹配滤波器 7 】方法。这一类方法包括各种模板匹配方法、合成辨 别函数方法等。 2 3 2 基于知识建模的人脸检测方法 用于入脸检测的规则： 器官分布规则。虽然人脸在外观上变化很大，但遵循一些几乎是普遍适 用的规则，如五官的空间位置分布大致符合“三停五眼”等，检测图像 中是否有人脸即是测试该图像中是否存在满足这些规则的图像块。这种 方法一般有两种思路：一种是“从上到下”，其中最为简单有效的是y a n g 等人提出的m o s a i c 方法 8 ，它给出了基于人脸区域灰度分布的规则， 依据这些规则对图像从粗分辨率到高分辨率进行筛选，以样本满足这些 规则的程度作为检测的判据。另一种思路则是从下至上，先直接检测几 个器官可能分布的位置，然后将这些位置点分别组合，用器官分布的几 何关系准则进行筛选，找到可能存在的入脸 9 。 轮廓规则。人脸的轮廓可以简单的看成一个近似椭圆，而人脸检测可以 通过椭圆检测来完成 1 0 。 颜色、纹理规则 1 1 。同民族人的面部肤色在颜色空间中的分布相对比 较集中，颜色信息在一定程度上可以将人脸同大部分背景区分开来 1 2 。 d a i 1 3 利用了s g l d ( 空间灰度共生矩阵) 纹理图信息作为特征进行低 分辨率的人脸检测。 运动规则。通常相对背景人总是在运动的，利用运动信息可以简单有效 的将人从任意复杂背景中分割出来。其中包括利用瞬眼、说话等方法的 活体人脸检测方法。 对称性。人脸具有一定的轴对称性，各器官也具有一定的对称性 1 4 a 2 4 人脸识别方法综述 人脸识另u 本质上是三维塑性物体二维投影图像的匹配问题。它的过程是从 图像中人脸所处的位置抽取各种信息，而这些信息称之为特征向量，它们决定了 i l g , 工业大学硕士论文 人脸识别系统的准确度 1 5 。它的困难体现在：( 1 ) 人脸塑性变形( 如表情等) 的不确定性；( 2 ) 人脸模式的多样性( 如胡须、发型、眼镜、化妆等) ；( 3 ) 图 像获取过程中的不确定性( 如光照的强度、光源方向等) 。识别人脸主要依据人 脸上的特征，也就是说依据那些不同个体之间存在较大差异而对于同一个人则比 较稳定的度量。由于人脸变化复杂，因此特征表述和特征提取十分困难。 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一 化。几何归一化是指根据人脸定位结果将图像进行光照补偿等处理。光照补偿能 够一定程度的克服光照变化的影响而提高识别率。 我们将人脸特征提取与识别方法分为下述几类： 第一，基于几何特征的方法。这是一种通过提取人眼、口、鼻等重要特征点的位 置以及其几何形状进行正面人脸识别的方法。 第二，基于k l 变换的特征脸识别方法。它的基本思想是根据一组人脸训练图像 构造主元子空间，识别时将测试图像投影到主元子空间上，得到一组投 影系数，和各个已知人的人脸图像进行识别。 第三，传统的部件建模的方法。这是利用曲线去拟合部件、分析部件的形状进行 人脸识别的一种方法。由于其比较传统，所以在下文中不做重点的介绍。 第四，神经网络方法。 第五，隐马尔可夫的方法。 第六，基于模板的方法。 2 4 1 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小 和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和 结构关系的几何描述，可以作为人脸识别的重要特征 1 7 1 8 。基于几何特征的 方法是在抽取人脸图像上显著特征的相对位置及其参数的基础上进行识别， b i e d s o 1 9 1 是最早研究人脸识别的学者之一。他手工的方法确定人脸特征点的位 置并将其输入计算机中，在给定待识别的人脸的特征点距离后，用最近邻方法或 其他分类方法来识别人脸。由于特征点是人工抽取的，因此系统允许较大范围的 头部转动、倾斜以及图像的质量和对比度变换。k e l l y 2 0 的i 作在b l e d s o 的框 1 0 第2 苹人脸识别的研究 架之上，但一个明显的进步是它不需要人的干预。k e l l y 的方法利用了人的身体 和头部图像。其中脸部的测量量包括头部的宽度、眼睛、之间的距离，头顶到眼 睛的距离，眼睛到鼻子的距离，以及眼睛到嘴巴的距离，同样采用了最近邻分类 法。 后来有很多学者对这一方法进行发展研究 2 1 2 2 ，他们指出：基于特征的人 类识别的准确率依赖与脸部特征识别的准确性。然而，这种依赖性的程度和细节 还不知道。他们对眼睛、嘴巴、面颊和下巴等定义了1 2 个测量量，通过实验来 发现测量的准确率度识别的影响。同时，他们提出的框架对于后来者发展基于特 证的识别方法具有重要的意义下面，对这一方法进行简要的描述。他们选择的 1 2 个测量量是： ( 1 ) 左眼的宽度 ( 2 ) 右眼的宽度 ( 3 ) 左眼睁开的量 ( 4 ) 右眼睁开的量 ( 5 ) 嘴的宽度 ( 6 ) 左眼右侧到嘴的左侧 ( 7 ) 右眼左侧到醉的右侧 ( 8 ) 左眼左侧到左脸颊 ( 9 ) 嘴的左侧到左脸颊 ( 1 0 ) 右眼右侧到右脸颊 ( 1 1 ) 嘴的右侧到右脸颊 ( 1 2 ) 嘴的中间到下巴 另外，所有的测量量都用两眼虹膜中心的距离进行归一化，例如测量量( 8 ) 的计算如下： p 半 ( 2 1 ) 其中，x 和y 是左眼角的坐标，r 是从原点到脸颊线的垂直距离，e 是脸颊 线的垂线和x 轴之间的夹角，g 两眼虹膜中心的距离。 不过，即使对同一个人的多幅照片，这些测量量也有一些变化，而当人 脸不是正对摄像机时，( 8 ) 、( 9 ) 、( 1 0 ) 和( 1 1 ) 的变化量最大。当发生表情变 换时，对测量量( 5 ) 的影响较大，当然，使用多一些的测量量，小的波动对测 每一幅人脸图像被看作包含上述测量量的一个样本，采用误差平方和准则进 行聚类，设p 时一个类中的样本数，m 是每个样本的测量量数。设c 是p 行m 列的矩阵，两个样本p i 和p j 之间的高维e u c l i d e a n 的距离为 d ( p l , p 1 ) 2 1 荟( p j ( 卅卜蹦帕) 2 ( 2 - 2 ) 其中p 。) 是样本f 的第m 个测量量。p ，到类中心q 的距离是 烈b ，) 2 、荟o t ) 一q 咖) ) 2 ( 2 - 3 ) 对任一个测量用，每个类的中心c 。可表示为 c t 沏) 2 专p z ( ) ( 2 - 4 ) y ，奄型 。荟挚脚 卜叫 聚类的结果用来标志所有样本，也就是说，对每个样本p ；，将其所属的类 ；5k ，矿d ( p r ，c t ) ；m n d ( p i ，c ，) ， 其中，c ，是类的中心。 ( 2 - 6 ) 识别时，每一类被平均地分成两组样本：一组用来训练，一组用来检测。识 别中采用了最邻近原则。识别过程中，每个检测样本取与它最近的训练样本的 卷标。也就是说，对一个测试样本p ；，如果 d o f ，p ，卜朐m m i n 。d ( p 。，p 女) ( 2 7 ) 1 2 第2 荦人脸识别的研究 则r 。= l ，p ，和p ，属于同一类。 采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点 的位置和眼睛等重要器官的几何形状作为分类特征。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个 参数可调的器官模型 2 3 ，定义一个能量函数，通过调整模型参数是能量函数最 小化，此时的模型参数即作为该器官的几何特征。这种方法思想很好，但是存在 两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广：二 是能量函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大 量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形 状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适于做粗分类， 而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也很大。 2 4 2 基于k l 变换的特征脸识别方法 基于k l 变换的特征脸识别方法是一种非常常见的方法。它本质也是基于特 征的方法。只不过它的特征是是在抽取代数特征的基础上完成的。这里的代数特 征是指经过数字变换得到的特征，是与几何特征相对而言的。典型的代数特征包 括：k l 变换，奇异值分解( s v d ) 等 m k i r b y 和l s i r o v i c h 利用k l 变换抽取人脸图像的主要成分并作为人脸的特 征向量 2 4 1 。m a t u r k 和a p e n t l a n d 2 5 提取了特征脸的方法，它根据一组人脸 训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸。识别时将测 试图像投影到主元子空间上，得到一组投影系数，和各个已知人的人脸图像比较 进行识别。特征脸方法的优点是算法稳健，但它也有一个缺点是它的“扩容性” 差，即每增加一个对象，就有将所有数据重新进行计算，当增加数据库时，这中 计算的代价将非常大。 现在针对k l 变换进行较为详细的描述：k l 变换是图像压缩中的一种最优正 交变换。人们将它用于统计特征提取，从而形成了子空间法模式识别的基础。若 将k l 变换用于人脸识别，则需假设人脸处于低维线性空间，且不同人脸具有可 分性。由于高维图像空间k l 变换后可得到一组新的正交基，因此可通过保留部 北京工业大学硕士论文 分正交基，以生成低维人脸空间。而低维空间的基则是通过分析人脸训练样本集 的统计特性来获得，k l 变换的生成矩阵可以是训练样本集的总体散布矩阵，也 可以是训练样本集的类间散布矩阵，即可采用同一人的数张图像的平均来进行训 练，这样可在一定程度上消除光线等的干扰，且计算量也得到减少，而识别率不 会下降。 将子空间的正交基按照图像阵列排列，则可以看出这些正交基呈现人脸的形 状，因此这些正交基也被称作特征脸，这种人脸识别方法也叫特征脸方法。关于 正交基的选择有不同的考虑，即与较大特征值对应的正交基( 也称主分量) 可用 来表达人脸的大体形状，而具体细节还需要用与小特征值对应的特征向量( 也称 次分量) 来加以描述，因此也可理解为低频成分用主分量表示，而高频成分用次 分量表示。其中，采用主分量做正交基的方法称为主分量方法( p c a ) 。同时，也 有人采用m 个次分量作为正交基，原因是所有人脸的大体形状和结构相似，真正 用来区别不同人脸的信息是那些用次分量表达的高频成分。由训练得到特征脸 后，将待识别人脸投影到新的m 维人脸空间，即用一系列特征脸的线性加权和来 表示它，这样即得到一投影系数向量来代表待识别人脸，这时候，人脸识别问题 已转化为m 低维空间的坐标系数矢量分类问题，而分类最简单的做法是最小距离 分类。 k l 变换在9 0 年代初受到了很大的重视，实际用于人脸识别也取得了很好的 效果，其识别率从7 0 1 0 0 不等，这取决于人脸库图像的质量。从压缩能量的角 度来看，k l 变换是最优的，它不仅使得从1 1 维空间降到 1 1 维空间前后的均方误 差最小，而且变换后的低维空间有很好的人脸表达能力，然而这不是说已经具有 很好的人脸辨别能力。选择训练样本的散布矩阵作为k l 变换的生成矩阵，是由 于其最大特征向量抓住了该样本集合的主要分布，但这是图像统计，而不是人脸 统计方法。它虽然考虑了图像之间所有的差异，但由于它不管这样的差异是由照 明、发型变更或背景导致，还是属于人脸的内在差异，因此特征脸识别的方法用 于人脸识别存在理论的缺陷。研究表明，特征脸的方法随着光线、角度及人脸的 尺寸等因素的引入，识别率急剧下降。虽然可通过采用同一人的训练样本的平均 来计算类间散布矩阵，但也只能在一定程度上纠正这个缺点。研究结果表明，主 分量的方法使得变换后表达能力最佳，次分量的方法则考虑了高频的人脸区分能 1 4 帚2 苹人脸识别的研究 力。由于对k l 变换而言，外在因素带来的图像差异和人脸本身带来的差异是不 加任何区分的，因此，不管如何选择正交基，也不能根本解决问题。其改善的一 个思路是针对干扰所在，对输入图像做规范化处理，其中包括将输入图的均值方 差归一化、人脸尺寸归一化等；另一种改进是考虑到局部人脸图像受外在干扰相 对较小，在进行人脸识别时，除计算特征脸之外，还可利用k l 变换计算出特征 眼睛、特征嘴巴等。然后将局部特征向量加权进行匹配，就能够得到一些好的效 果。 以上都是认为图像本身的灰度分布表述了图像的内在信息，将图像作为矩阵 看待，将其进行各种代数变换和矩阵分解，可提取图像的代数特征，并论证了奇 异值特征向量是识别图像的有效特征。m a t u r k 和a p e n t l a n d 等还进一步发展 了奇异值分解的方法用于人脸识别并取得了较好的效果。奇异值分解的方法是将 整个图像作为一个矩阵来看待，因而对图像的限制少，算法稳健，但是，将整幅 图像的奇异值作为识别特征量的方法是有很多缺陷，它对图像的细节描述不足。 当然人们也对特征脸方法进行某种改进，如f i s h e r 脸方法( f i s h e r f a c e ) ， 众所周知，f i s h e r 线性判别准则是模式识别里的经典方法，一般应用f i s h e r 准 则是假设不同类别在模式空间是线性可分的，而引起它们可分的主要原因是不同 人脸之间的差异。f i s h e r 的判别准则是：不同类样本尽可能远，同类样本尽可 能近。文献 1 7 3 对用k l 变换和f i s h e r 准则分别求出来的一些特征脸进行比较后 得出如下结论，即认为特征脸很大程度上反映了光照等的差异，而f i s h e r 脸则 能压制图像之间的与识别信息无关的差异。b e l h u m e u r 的实验 2 6 ，是通过对1 6 0 幅人脸图像( 一共1 6 个人，每个人1 0 幅不同条件下的图像) 进行识别，其识别 率为8 1 ；若采用f i s h e r 方法则识别率为9 9 4 ，显然f i s h e r 方法有了很大的 改进。c h e n g j u nl i u 在k l 变换基础上提出了p r m ( p r o b a l i s t i cr e a s o n m e d e l s ) 模型 2 7 ，并在p r m 中采用了贝叶斯分类器，它是利用最大后验概率进行分类， 其类条件概率密度的方差参数用类内散布矩阵来估计，而且，p r m 是采用马氏距 离，而不是采用最小欧式距离的判别准则，并且特征脸和f i s h e r 脸均可以看成 是p r m 的特殊情况。 文献 2 8 改进方法是将人脸图像进行差异分类，即分为脸间差异和脸内差 异，其中脸内差异属于同一个人脸的各种可能变形，而脸间差异则表示不同人的 北尿工业大学硕士论文 本质差异，而实际人脸图的差异为两者之和。通过分析人脸差异图，如果脸内差 异比脸间差异大，则认为两人脸属于同一人的可能性大，反之属不同入的可能性 大a 假设该两类差异都是高斯分布，则先估计出所需的条件概率密度，最后也归 为求差图在脸内差异特征空间和脸问差异特征空间的投影问题。如果说f i s h e r 脸的方法是试图减少光照等的外在干扰，那么这个改进方法则是解决表情干扰的 一点的有效尝试，虽然这样的尝试还很初步。在一些资料中提到，a r p a 在1 9 9 6 年进行的f e r e t 人脸识别测试中，该算法取得了最好的识别效果，其综合识别能 力优于其它任何参加测试的算法。 2 4 ，3 基于神经网络的方法 目前神经网络方法在人脸识别中的研究方兴未艾。v a l e n t i n 提出一种方法 2 9 ，首先提取人脸的5 0 个主元，然后用自相关神经网络将它映射到5 维空间 中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好； i n t r a t o r 等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络 用于特征提取，而监督神经网络用于分类。l e e 等将入脸的特点用六条规则描述， 然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络 进行识别，效果较一般的基于欧氏距离的方法有较大改善；l a u r e n c e 等采用卷 积神经网络方法进行人脸识别，由于卷积神经网络中集中了相邻像素之间的相关 性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此 得到非常理想的识别结果；l i n 等提出了基于概率决策的神经网络方法( p d b n n ) ， 其主要思想是采用虚拟( 正反例) 样本进行强化和反强化学习，从而得到较为理 想的概率估计结果，并采用模块化的网络结构( o c o n ) 加快网络的学习。这种方 法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用；其它研 究还有：d a i 等提出用h o p f i e l d 网络进行低分辨率人脸联想与识别；g u t t a 等提 出将r b f 与树型分类器结合起来进行人脸识别的混合分类器模型；p h i l l i p s 等 人将m a t c h in gp u r s u it 滤波器用于人脸识别。 用神经网络进行人脸识别主要有三种结构： ( 1 )为所有已知人脸建立一个神经网络：可能对所有已知人脸进行分类 第2 荦人脸识别的研究 和识别。这种结构要求用所有人脸的特征对网络进行训练，训练好的网络连接权 值是所有人脸特征的隐含表示。这种形式只需一个神经网络，但网络规模很多， 权系数要求较多，存储量要求也较大，同样训练时间较长。由于系统每增加个 人，都要对网络进行从新训练，所有这种系统扩展性能不好。 ( 2 ) 为每一个人建立个神经网络：由于这种网络识别的结果是要确认 是否为某个人，因此那需要所有人脸的特征对每个网络进行训练，训练好的网络 连接权值隐含着一个人区别于其他人的脸部特征，故网络规模小，存储量和训练 时间也较小。但由于对每个人的网络训练都需要所有人的特征，系统扩展性能不 好。 ( 3 )对每一对人建立一个神经网络：这种神经网络的目的是区分每一对 人，