（计算机软件与理论专业论文）基于小波分析与核方法的人脸识别方法研究.pdf

ab s t r a c t ab s t r act f ac e re c o g n i t ion i s one o f m ain m e t h o d s o f s ta t u s a u t l1 e ntic atio n whi c h b 睽d o n te c hoo 1 o g y o f b i o i o g ic charac te rsre c o gni t i o na u t 0 m a 1 i c s t a t u s a u 1 h e ntic at i o n b as edo n pers o n face re c o gnit i o n h as脚att h e o rys i 娜fi c an c e and 即 p l i c ationvalue. ita l l r a c t ed peo p l e ，sgr e atc o n c e m s s i ncel 9 6 0 sandre s e ar c ho nth e m e t h o d s o f 沐rs o n face re c 0 g n i 1 i o n has bec o me hot to p i c inthe fi e l d o f p atte rnreco g n i t 1 onand 州i fi c i al inte l l i g e nce .rec e nt y e ars thetechoo l o gy o f俪ere c o gnit in n h as experi e nced ar ap i dd eve l o p m e nt ， e s pec i a l ls， u r g e dby com p u t e rtecho0 1 o gy， re c o g n i t 1 o nb yc o mputerh a sb e c o me av e ry i m port a n tnew-b o m re c o gni ti on techoo l o gy. as 加n . ri gl dbods， personfacesare c h ar a c t e r i sticoffreque nts h a pe c h ange， to om uchi d叱ncefacto r a n ditw a 名 al soe as ytobe di s l u r bedb esid es， o w in g tot hec o 而neo f c o ndi ti o n ， i t was 加p o s s i b l e tog a l h e r eno u ghsa m p l e s . 5 0 co mpa r e d 俪thg r a p hi c v e c to r， i t was a p r o b l e mo f smal l sam p l e s . m an y l r a d it i o 耐 p a tt e mre cog n i t 1 onm ethods 1 e n d tobeover-s tu d y an d u n d e r-study onsuch ki ndof m u l t i 一 d i ll l e n s l o nal and noul l n e a 丁 p r o bl e m. t 七 i sp a p e r石 r s t 1 yi n t r o d u c ed the b a c k g ro undandmamm e t h o ds of the t e c ho0 1 o gyofperson face rec0 gnit ion w i t h c o m p u 1 e r it ana 1 yzedthe di ffic ul ties and p h y s in lo gl c ales se nce ofper s 0 n face re c o g n 1 ti on; s u n ” n a r lz e d the m ain m e t h o d s o f pers o n re c o 酗ti 眠 p u t fo rwa r d a per s 0 nfa c e re c o gnit 1 on met h od w h ichb asedo n g a bor wavel etand fi sh erana y si s . 丁 七 鱿istos a y befo rethe noul inearm a p p i ng， it fi rs tl yus ed wav el ett r a n s fo n 刀 a t i ontop re p roces s the origi nal pers on face gr a p hs ， th e n p i c ked upthe c h ar a c te rsfr o mthe g r a p h o f per so n face b y g a b o r w a v e l etan d merg e dal l thosec h a r a c t e r s ， atl ast itdi dcore 一 fi s h e r ana l ys ison the range o f freq u e n c y. a c c o rdingtothe e x pe n m e nt s ， th e co mbine o f these。 刀 o m e thodsb as r e c e i v ed re m ar k ablere cognit ion ra 1 eon per s o nfacere c 。 娜t io ilai l as t ， we s ulnmanz e d and fo o k fo rwar d tothe fu rt h ers tu d y . k e y wd r ds: f 解 e 概。 助币 。 n ; w a ， el ett r a n s fo rm; g a bor wavel etl r a ns fo rm; kernel fu nc ti on; f i s her d i s c ri mi n a n t i i 学位论文独创性声明 学位论文独创性声明 本人声明 所呈交的学位论文是本人在导师指导下进行的 研究工作及取得的 研究成果。 据我所知，除了文中 特别加以 标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果， 机构的学位或证书而使用过的材料。 也不 包含为 获得 南昌大学 或 其他教育 与我一同工作的同志对本研究所做的任何 贡献均已 在论文中作了明确的说明并表示谢意。 学 位 论 文 作 者 签 名 ( 手 乳撇签 字 日 期 : 尸夕 年妇知日 学位论文版权使用授权书 本 学 位 论 文 作 者 完 全 了 解通 述.遭 一有 关 保 留 、 使 用 学 位 论 文 的 规 定 ， 有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅 和 借阅。 本人 授权南昌大学可以 将学位论文的 全部 或部分内 容 编 入有关数 据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学 位 论 文 作 者 签 名 ( 手 歇撇 导师签名 ( 手写) : 签 字 日 期 : 寿 夕 年 月 加日 签 字 日 期 : ， 御夕 年 月加日 学位论文作者毕业后去向: 工作单位: 通讯地址; 电话: 邮编: 第1 章 引言 第 1 章 引言 l l 概述 人脸识别(f 朗 e reco g ni t l o n)是 指 基于己 知 的人 脸 样本库， 利用图 像处理和 模式识别技术从静态或动态场景中，识别或验证一个或多个人脸。通常识别处 理后可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特征提取技术 还可进一步抽取出更多的生物特征， 例如:性别、年龄、表情等。 人脸识别技术在国家重要机关及社会安防领域具有广泛而特殊的用途。人 脸识别 与 指纹识别 1 ， 虹膜识别2 和掌 纹 识别 3 等生 物识别 技术阴相比 ， 人脸识 别技术的隐蔽性更好， 利用人脸特征进行身份验证又是最自 然直接的手段，比 其他的人体生物特征更具有直接、友好、方便的特点，易为用户所接受，也是 当今国际反恐安防最重视的科技手段和攻关目 标之一。 另外，人脸识别技术还可应用于多媒体数据库的视频检索，以及多媒体制 作方面.近几年，随着计算机硬件和软件技术的发展，基于人脸识别技术的表 情信息提取也成为可能，它可用于改进人机交互方式，从而产生更加人性化、 智能化的计算机系统。人脸识别技术的发展正是受到商业应用需求的推动，以 及相关技术的发展而得到空前的重视，成为图像识别和理解领域中的研究热点 1 1 爪1 .j 人脸识别是计算机视觉领域中的一个难题， 它涉及到图像处理、 模式识别、 神经网络、认知科学、心理学和生理学等诸多学科，在过去的十多年中受到研 究人员的广泛重视。人脸识别不同于一般的目 标识别，其难度极大。人脸识别 的困难性表现在:人脸的结构大体相同，所不同的是一些细节上的差异:人脸 不是一个纯粹的刚体，具有复杂而丰富的表情;人脸随着年龄增长会呈现出很 大的不同;由于受外界环境的影响，例如眼镜、光照条件、成像角度、以及成 像距离等因素的 影响， 使得同一个人的人脸图 像在不同的条件下呈现出 很大的 差异。 并且从 二维图 像重 建三 维人 脸本身就 是一 个病态(il 卜 训 义 d ) 问 题， 目 前 尚 没有很好的描述人脸的三维模型。另外，人们对大脑的认识还不清楚。从而诸 多因素使得人脸识别成为计算机视觉领域一个富有挑战性的课题。 第1 章 引言 1 .2 课题研究的意义及背景 人脸识别 技术在商业、 司 法、 监 控和视频检索等其他领域有着广泛的应用。 人脸识别首先是司 法部门打击犯罪的有力工具， 在毒品跟踪、反恐怖活动等监 控中有着很大的应用价值。 人脸识别的商业应用价值也正在日 益增长，主要是 信用卡或自 动取款机的个人身份验证。与利用指纹、手掌、视网膜、虹膜等其 他人体生物特征进行个人身 份鉴别的方法相比， 人脸识别具有直接、友好、方 便的特点， 特别是对于个人来说 无任何心理障碍。 人脸识别研究工作可追溯到 19世纪末g alton 发表在n a n l r e 上的两篇论文 llv .ls 】 ， h armo n 等运用结构方法用17个几何特征对1 12人的人脸侧面图 像获得 了9 0 % 的 识别精度。基于二 值化的人脸侧面轮廓数 据的侧面方法能利用严格的 光照条件，但测量精度很有限。 人脸正面图像包含了人脸更明显的特征， 其识别研究受到人们更多的重视。 基于人脸拓扑的几何关系知识，可抽取人脸的直观特征:眼睛、眉毛、鼻子、 嘴以 及它们之间的关系。 bleds oe在六十年代最早提出了一个基于人脸直观特征 的半自 动人脸识别系统。将一幅人脸图像看成一个矩阵，通过作矩阵变换，可 以抽取人脸的全局识别特征。 肠r k 和p e n t l and 提出了 基于kl 变换的特征脸方 法。洪子泉和杨静宇认为图像的子代数特征反映了图像的内在属性，提出了人 脸图 像的 奇异 特 征， 接着c he ng等 提出了 基于 相 似鉴别函 数的 人 脸图 像的 特征 抽取方法，li u等提出了基于最优鉴别准则抽取人脸图像的最优鉴别投影特征 矢量。基于代数特征的人脸识别方法研究是人脸识别研究的主流。 近年来，人脸识别技术研究非常活跃，除了 基于k l变换的特征脸方法与 代数特征方法取得了新进展外，人工神经网络、小波变换在人脸识别研究中都 得到了很广泛的应用，出现了不少人脸识别的新方法。 1 .3人脸识别的研究范围以及方法 人脸 识 别 (f 即 e 取co 娜ti on ) 的 研 究 范围 从 广义 上 讲大 致包 括以 下五 个方 面 的内容121洲 : 1 、 人 脸定 位和 检 测(f aee d et ectio n) : 即 从 动态的 场景与复 杂的 背 景中 检测 出人脸的存在并且确定其位置， 最后分离出来。 这一任务主要受到光照、 噪声、 第 1 章 引言 而部倾斜以及各种各样遮挡的影响。 2 、 人 脸表征 (f 暇 r e prese ntat io n)( 也称人 脸 特征提 取) : 即 采 用某 种表 示方 法表示检测出的人脸与数据库中的己 知人脸。 通常的表示方法包括几何特征( 如 欧氏距离、曲率、 角度) 、 代数特征( 如矩阵特征向量) 、固定特征模板、 特征脸 等。特征提取之前一般需要做几何归一化和灰度归一化的工作。前者是指根据 人脸定位结果将图像中的人脸变化到同一位置和大小;后者是指对图像进行光 照补偿等处理，以克服光照变化的影响。 3 、 人 脸识别 (f 即 e ld entili c ation) : 根据不同 人 脸之间的 特征 差 别 进行识别， 即将待识别的人脸与数据库中已知人脸比 较，得出 相关信息。这个过程是一对 多或一对一的匹配过程，前者是确定输入图像为图像库中的哪一个人，后者是 验证输入图像的人的身份是否属实。这一过程的核心是选择适当的人脸表征方 式与匹配策略。 4 、 表 情/ 姿 态分析 (e x p re s s i 。 川 g e s 加 r e a n a l y si s) : 即 对待识别人 脸的 表情或 姿态信息进行分析，并对其加以归类。 5 、 生 理分类 ( p h y s ic al cl as si fi c ati on) : 即 对待识别 人脸的生理 特征 进行分析， 得出 其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸 图像， 如从父母图像推导出孩子的脸部图像、 基于年龄增长的人脸图像估算等。 下面将概要介绍各方面的具体研究方法。 l l l 人脸定位和检侧 人脸的定位和检测，作为人脸识别的基础，是人脸识别技术实用化所必须 解决的一个重要问题。但是，由于人脸的自 然性和变化多样性，这一方而的研 究相对滞后，目前越来越受到人们的关注， 研究者们从各种不同的途径提出了 多 种 方 法 。 今 早期的模板匹配方法: 早期方法主要是人脸模板的顺序匹配，利用一个可变的椭圆形模板检查图 像中是否存在人脸，其模板的建立一般是在对一定数量的人脸样本的灰度分布 等特征进行统计的基础上完成的。先抽取图 像边缘，然后与模板匹配，找出人 脸的可能位置。 在预期的位置上，检测眼睛、嘴等的边缘，进一步的确认人脸 的存在。当 物体的结构己知，而大小、位置和方向未知时，可变模板的模板匹 第 1 章 引言 配 对物体定 位和 描 述是 一个强 有力的 工具。 k ell y 介绍了 一 种从上到 下的图 像 分 析方法， 用于 从图 像中自 动提取头部与 身体的 轮廓，再 确定眼睛、鼻子、 嘴巴 的 位置 。 govi n d a r 找 i a 提出 了 一 个在 复 杂背 景 下 确 定 人脸 的 计 算 模 型 因， si ro h e y 用灰度图像及边缘图像从复杂背景中分割出人脸，人脸用椭圆 近似的来表示， 预处理过程包括确定边缘上的断点，给相邻的边缘曲线加上标记，在断点处用 最相似的 边缘连接起来酮 。 模板匹配方法的最大困 难在于较难建立一个对人脸尺度、位置、角度以及 照明 等变化具有稳定性的人脸模板。在图像背景比 较复杂的情况下，模板匹配 的时间较长，要实现图像中多个人脸检测尤其困难. . 基于知识的人脸验证方法: c o ul in描述了 基于从手工素 描中检测人脸的视觉系统，应用i f-then规则 处理任务。杨光正等则从人脸灰度网格分布的角度提出了一个多层的基于知识 的人脸定位系统，在充分利用人脸灰度分布、边缘等特征的基础上，采用从粗 到精的分步搜索和多级判断逐渐排除非脸区域的方式完成人脸的检测，能够在 预先不知道人脸数量与大小的情况下，在复杂背景中找寻人脸位置。玫e等则 利用运动和色彩线索，基干 知识，在监控视频图像的复杂背景中，在实时景象 中定位人脸区域。 基于知识的人脸验证方法综合了人脸图像的各种特征信息，有可能达到比 较稳定的检测效果，其关键在于选取何种特征以及如何建立规则进行各种特征 的组合。 . 基于统计的学习方法: 由于人脸图像的复杂性，显式地描述人脸特征具有一定的困难，因此，另 一类方法即 基于统计模型的方法越来越受到重视， 此类方法将人脸区 域看作一 类模式，即 模板特征，使用大量的“ 人脸”与“ 非人脸” 样本训 练，构造分类 器， 通过判别图像中所有可能区域属于哪类模式的方法实现人脸检测， 实际上， 人脸检测问 题在这里转化成了 统计模式识别的二分类问 题。具体的有基于特征 空间的方法、基于人工神经网络的方法、基于概率模型的方法以及基于支持向 量机的方法等. 基于 统计模型的方法是目前比 较流行的方法，是 解决复杂的 人脸检测问 题 的有效途径。但是，统计模型的建立需要较为一致的模式，因而使用的特征一 第 1 章 引言 般仅限于人脸的五官区域。但是有一些 “ 人脸”与“ 非人脸” 样本即使是人也 较难区分，这说明在此分辨率下五官区域的 信息对于辨识人脸仍然是不够的。 然而受图像质量、检测速度等因素的约束， 提高检测窗口图像的分辨率又很困 难。我们认为出路在于与基于知识模型的方法相结合，充分利用头部乃至全身 的特征及相关的知识，但这将涉及到图像理解这个十分困难的问题。 l 1 2 人脸识别的方法 人脸识别的主要方法有统计方法、 神经网络方法和多分类器组合方法等 1261。 . 统计方法 t u r k 和p entl an d 于19 9 0 年提出 用ei ge 到 ra c e s ( 特征 脸 ) 来检测 和识别人 脸， 通过k ar h o ne n- l oeve ( 即kl) 变换， 将高维的人脸图 像投影到一个低维空间中， 用一个投影权值向量来表示，将测试图像的权值向量与训练图像的权值向量作 比 较， 确定哪一幅训练图像与测试图像相接近。 他们进一步发现人脸图 像与非 人脸图像的投影向 量明显不同，因此给出了一种在图像中检测是否有人脸的方 法。特征脸的概念可以扩张到特征眼、特征嘴等。正如特征脸可被用于检测人 脸的存在性一样，特征眼、特征嘴可用于检测眼、嘴等。 但是ei gcn fa c e s 的 方法的 缺点也是非常明显的，首先，它对光照和表情因 素都很敏感。再次，p c a最大化投影空间中的总体散布矩阵，其中包括类内散 布 矩阵， 不 利于 分 类最 优化。 b el b u m eur， h e s p an ha和krie g m 阳通过训 练不同 光照下的人脸图像， 利用fi s h e r 线性判别进行人脸识别。 首先通过pca来降原 始图像的维数，然后应用多类情况下的 fi s her 线性判别来分类， 取得了优于 eig e n 俪e s 的结果。 . 人工神经网络方法 人工神经网 络山 于其固有的并行运算机制以 及对模式的 分布式全局存储， 故可以用于模式识别。用于人脸识别的神经网络方法可训练有较强噪声和部分 缺损的图像， 这种非线性方法有时比 线性方法更有效。 最早应用神经网络进行人脸识别工作的是 k oho nen ，利用网络的联想能力 回忆人脸，当 输入图像噪音很多或部分图像丢失时，也能回忆出 准确的人脸。 后来， r 劝 g an ath 和a n lll 提出了 用于人脸识别的径向 基函 数网 络( rbf n ， l in 等提出了用于人脸检测、 眼睛定位与人脸识别的基于概率决策的神经网络， 玩e 第1 章 引言 等提出了用于人脸识别的模糊b p网络，l a w r e nce 提出了用干 人脸识别的卷积 神经网 络。 动态连 接结构 d y n a n l i c li nk arch i tecture ) 试图 解决 神 经网 络上而的 一些概念性的问题，其中最主要的问题是网络的句式表达，识别人脸取得了 较 好的结果， 是最有影响的神经网 络方法之一。 虽然d l a方法取得了 较好的识别 效果，但是代价函数最优化的计算量非常大。 . 多分类器组合方法 多分类器的组合己成为模式识别领域的前沿研究课题，并在字符识别、目 标识别等领域取得了较好的应用效果。目前，已 有一些采用多分类器的方法来 识别人脸:如i ntrato 应用监督、 无监督混合神经网 络抽取人脸 特征， 进行人脸 识别;yoo n 等基于脸部组件的一般知识抽取脸部特征，采用基于隐ma r k o v 模 型和神经网络的混合识别方法等。g u t ta和 w 七 c hsl er提出的基于径向基函数网 络与 决策树的人脸识别混合分类器等。 多分类器组合方法还有许多问 题值得进一步深入研究，对于人脸识别这种 类别数较多，而训练样本数较少的情况，怎样选择和使得组合准则才能保证组 合结果较优还是一个有待解决的难题。 以 上一些方法在最近几年均对人脸识别这一 研究领域作出了 很大的贡献， 同时深化了 我们对人类复杂视觉机制的了解，取得了一定的成功， 但也存在各 自 的优缺点。 1 .4人脸数据库介绍 任何人脸识别系统的研究开发都需要建立一个包含人脸图像或图像系列的 数据库。人脸数据库的设计对系统的识别率影响是至关重要的。开发一个在所 有可 能的 变化情况下都能正确进行人脸识别的系统是非常困难的。因此几乎所 有人脸识别的 研究都是在一定约束条件下进行的，如光照、表情和姿态变化等 受到一定限 制，另外，大部 分系统都未考虑人脸的长期缓慢变化，如随着年龄 的 变化人脸也发生较打的改变等。 所以 有必要建立适合不同 需要的 人脸数据库， 以 下 介 绍 一 些 典 型 的 标 准数 据 库 11 9-2 2 。 第1 章 引言 1 . 4 . 1 英国o r l ( o l i v e 川res e a rc h l a b o r a t o 叮) 单人脸数据库 该数据库包括从1 9 92年4 月到1994年4 月拍摄的一系列人脸图像， 由4 0 个人的4 00 幅灰度图 像组成，图像尺寸为92x l l2，图 像背景为黑色。其中人 脸脸部表情和细节均有变化，例如笑与不笑，眼睛睁着或闭着，戴或不戴眼镜 等， 人脸姿态也有变化， 其深度旋转和平面旋转可达20度， 人脸的 尺寸也有最 多1 0 %的变化。这是目 前使用最广泛的人脸数据库。 1 . 4 . 2 英国ma u c h e s te r 人脸数据库 该数据库由30个人的6 90幅图像组成， 其中训练集和侧试集分开， 有不同 的光照和背景特征，而且对于每个人而言，前后两张照片之间的时间间隔至少 有3 周。训练集对光源有一定的约束，而在测试集中则变化多端。 测试集还增 加了 两级难度: 一是对于其中的相似人脸， 仅有发型， 背景以 及戴眼镜等变化; 其二是特征遮挡，头发，黑眼镜，手臂等。虽然 m anc hes t e r数据库远比 o r l 数据库侧试更为全面， 但因发表的比较结果不够多， 从而远不如o r l使用广泛。 1 . 4 .3 美国r e 邢t (f a c e r e c o g u i “ o n 介c b . 0 1 0 留 ) 人脸数据库 fer e t人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提 供，其中每人 8张照片，两张正脸，3张从右到左不同侧面角度的照片，有些 人还提供了更多不同视点和不同表情的照片。 该数据库中不包含戴眼镜的照片， 拍摄条件也有一定的限 制， 人脸大小约束在规定范围内。 到1 9 %年6 月， 该数 据库己 存储了1 99个人的1 4 126 幅图像，而 且逐年增加。但到目 前为之，该数 据库并未提供运动图像系列或包含语音信息。 咫r 卫 t 数据库的最大缺点是非美 研究机构的获取不便。 l 4. 4日 本a t r数据库 该数据库考虑了 除人脸特征外的其他信息在人脸识别中的作用，提供人脸 和语音的合成，由60人组成。但其中人脸图像是静止的而非运动图像序列。 第1 章 引言 l 4. 5 欧洲mz v t s多模型人脸数据库 该数据库用于测试多 模型身 份鉴别。 目 前该 库由37人 组成， 每人有5 个图 像序列，拍摄时间间隔一周左右。其中至少有一个序列提供合成语音。 其 他 数 据 库 还 有: c m u ( c arne g ie m e l lo n u n i v ersity) 正 面人 脸 数 据 库， m i t 单人脸数据库等。 o rl 人脸数 据库仍是目 前使用最广 泛的 标准数据库， 它含有 大量的比 较结果。 然而由于 不同 任务的需要，仍 有必要设计和建立具有特色的 专用数据库。 1 .5 本文的内容安排 第1 章介绍人脸识别的 研究背景与意义， 以及目前的研究现状和主要方法， 并介绍了一些典型的标准人脸数据库。 第2 章对人脸识别的基本过程以及主要人脸识别技术进行了综述。 第3 章 介绍小波变换的特性以 及在人脸识别中的应用。 第4 章介绍基于核函数的fi s her 判别分析方法。 第5 章介绍基于 小波特征的核fi s h e r 人脸识别方法，并通过实验证明此方 法有效。 第6 章总结了本文所做的工作，展望了人脸识别的后续研究工作。 第2 章 人脸识别综途 第2 章 人脸识别综述 2 . 1 引言 人脸自 动识别技术就是利用计算机分析人脸图像， 从中 提取有效的识别 信 息，用来辨认身份的一门技术。它涉及到模式识别、图像处理、计算机视觉、 生理学、心理学及认知学等诸多学科的知识，并与基于其它生物特征的身份鉴 别方法以及计算机人机感知交互的研究领域都有密切联系。目前，静止图像的 人脸识别方法主要有三个研究方向:基于统计的识别方法:基于连接机制的 识 别方法;其它一些综合方法或处理非二维灰度图像的方法. 2. 2 人脸识别的基本过程 一个完整的人脸识别系统一般可以分为两 个过程:人脸检测和人脸识别。 图2. 1是一个典型的人脸识别系统的流程图:首先对己有的人脸图像库中 的图像进行检测与定位， 找出其中是否有人脸， 如果有找出人脸位置并标出来; 得到的人脸图像可能不清楚，存在倾斜，光照不好等情况， 所以要对人脸图 像 进行预处理如人脸校正，光照补偿等;然后对处理过的人脸图像利用一些特征 提取方法如特征脸方法等进行特征提取和选择， 得到人脸特征; 最后把得到的 特 征送入分类器里进行训练。对于一幅未知的图像，也要经过人脸的检测与定位 检测出图像中是否有人脸，如果有标出其位置，然后进行人脸图像的预处理、 特征提取与选择得到特征，最后利用分类器进行分类，判别出该幅人脸图像是 谁。 本文主要研究人脸的特征提取与识别。当前人脸识别的主流主要是基于人 脸整体特征的识别方法，这类方法可以直接用人脸图像构成矩阵，通过提取矩 阵的代数特征来实现人脸的识别，这些方法已 经在实验中取得了良 好的效果， 是当前人脸识别研究的热点。在下述章节中 将加以 叙述。 第 2章 人脸识别综述 图2 . 1人脸识别系统框图 2. 3主要人脸识别技术 根据输入图像的性质，人脸识别方法分为静止图像的识别方法和图像序列 的识别方法两大类。在这里只介绍国际上流行的静止图像识别方法。输入的静 止图像主要有正面和侧面两种情况，其中研究最多的是正面人脸的识别，侧面 人脸识别由于对图像质量要求苛刻而发展缓慢。静止图像中人脸识别的各种方 法机理各不相同， 主 要可分为 四 大类: 第一类是基于几何特征的识别方法127 邓 】 ， 早期大多从 侧面人脸图像中提取特征，现在基本上是用正面人脸的信息:第二 类是基于相关匹配的 方法，包括各种模板匹配法【29，主要是利用计算模板和图 像灰度的自 相关性来实现识别功能:第三类为基于统计的识别方法，包括特征 脸方法和隐马尔科夫方法;第四 类为基于联系机制的方法，包括一般的 神经网 络方法和弹性图匹配方法。其中， 基于几何特征的 识别方法和基于相关匹配的 识别方法是最早研究的两种传统的 人脸识别方法，其余的 均为现代人脸识别方 法。 2. 3. 1基于几何特征的人脸识别方法 最早 是由bl ed so elz 刀 提 出 的 ， 他以 人 脸 特征 点的 间 距、比 率 等 参 数为 特征， 建成了 一个半自 动的人脸识别系统。 这些特征还包括人脸的一些特征点如眼角、 嘴角、鼻尖、瞳孔等部位所构成的 二维拓扑结构， 将所有得到的 特征值组成一 个向量， 然后选定某种距离公式作为度量，将待识别的 样本的 特征向 量与训练 第2 章 人脸识别综述 集中的样本的特征向 量作比 较， 从而 进行匹配28l。 2. 1 2垂于模板匹配的人脸识别方法 模板匹配法主要是利用计算参考模板和测试图像灰度的相关量来实现识别 功能。 模板的选择可以随意取定， 简单的可以 将整幅图 像作为一个模板，识别 时将待识别图像矩阵 和库中的模板进行比 较，计算距离， 取距离最小者作为识 别结果。 我们还可以 定义多个模板， 不同的 模板分别对应眼睛、鼻子、 嘴部区 域 等 ， 匹 配 时 对 每 个 局 部 器 官 模 板 单 独 进 行 。 b ru n e lh 和丙 9 9 1沪川 通 过 对 比 实 验研究证明:基于模板匹配的方法要优于基于几何特征的方法。 最简单的人脸模板是将整个人脸看成一个椭圆，检测人脸也就是检测图像 中的椭圆。另一 种方法是将人脸用一组独立的小模板表示，如眼睛模板、 嘴巴 模板、鼻子模板、眉毛模板和下巴 模板等。但这些模板的获得必须利用各个特 征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘。即使获得 了 可靠度高的边缘，也很难从中自 动提取所需的特征量。为此， 用弹性模板方 法提取特征显示出其独到的优越性。 弹性模板由一组根据特征形状的先验知识 设计的可调参数所定义。为了求出 这组参数，需要利用图 像的边缘、峰值、谷 值和强度信息及特征形状的先验知识设计合适的能量函数。参数向能量减小方 向调整，当能量达到最小时，这组参数对应的模板形状最符合特征形状。所有 这些模板都存在两大问题:第一，模板形状都是为提取内眼睑设计的，强烈依 靠图像峰值部分 眼白 ) 的 信息，当图 像对比度低时， 下眼睑很模糊， 峰值区域 可能提取不出来或不可能被完整提取， 边缘也不清楚，导 致实验失败，此外， 当眼角有阴影时，内眼睑模板甚至不能很好反映眼睛的实际大小;第二，无论 用何种方法，都存在为能量函数的收敛或模板匹配的正确程度有直接的影响， 而 大多 数方法中 系 数的 选 择需靠分 析 具 体的 数值试凑。 poggin和 b rune lli专门 比 较了 基于几何 特征的 人脸识别方法和基于模板匹配的人脸识别方法，并得出 结论，基于几何特征的人脸识别方法具有识别速度快和内 存要求小的 优点， 但 在识别率上模板匹配要优于基于几何特征的识别方法。增加几何特征对于基于 几何特征的人脸识别方法只能轻微的 提高识别率，因为要提高几何特征的提取 质量本身就十分困难， 而且随着图 像质量的下降和人脸遮挡的引入，基于几何 特征的人脸识别效果会大幅下降。总之，认为模板匹配法要优于几何特征法。 第2 章 人脸识别 综述 2. 1 3 基干 p c a分析的人脸识别方法 主 成 分 分 析p c a(p ri nc ip alc o mpo ne nt为 l a l ys is)方 法 在 人 脸 识别 中 占 有 很 重要的地位，是一种比 较经典的人脸识别方法。这种方法的大致过程可表示为 以下两个阶段: 1 、 在训 练阶段， 系统根据参加训练的 人脸图像产生若干个 特征脸图 像， 特 征脸图 像和参加训练的人脸图像的形状和大小一致。 2 、 在识别阶段， 把新的人脸图像表示成这些特征脸的系数， 用这些系数来 代表人脸。这样，人脸图像就可以由一个一维的向量来表示，达到了 所谓的降 维的目 的。利用这个一维向 量就可以 采用简单的方法:如计算欧拉距离的方法 来判断新的人脸图像是否属于数据库当中的人脸图像中的一个或者属于哪一 个。 2. 1 4 基于神经网络的方法 基于 神 经 网 络 的 正 面 人 脸 识 别 方 法 研 究 一 直 方 兴 未 艾 。 c o ttrell 和fl e 而 ng l33 1 采用了非 线性前馈神经网络作为分类器， 利用 b p算法对人脸灰度图像训练后 用于识别。他们采用的前馈式神经网络具有 40 个输入单元，80 个隐层单元， 40个 输出 单元， 神 经元的 响 应函 数为si gmoi d 函 数。 该网 络实际 上 实 现了 对多 幅 人脸图 像的 压 缩编码( 编码信息同 样 储 存在权值中 ) ， 对 人脸识别与生理 分类 均具有较高的 准确率。神经网 络方法13 4-3 6 在人脸识别上比其它类型的 方法有其 独到的优势，即它避免了复杂的特征提取工作，可以 通过学习的过程获得其它 方法难以实现的关于人脸识别的规律和规则的隐性表达。 此外，神经网 络以并 行方式处理信息，如果能用硬件实现，就能显著提高 速度。神经网络方法除了 用于人脸识别外，还适用于性别识别、种族识别等。 2. 3. 5 隐马尔科夫模型方法 隐马尔科夫模型方法是使用马尔可夫 链来模拟信号统计特性的一组统计模 型。 利 用h m m对人脸进行描述和识别， 把各个器官的数 值特征和一个状态转 移模型联系起来，该模型的参数能较好地表征具体的人脸模型， 将图像的 灰度 值作为 观察 值矢量 进行 学习 和识别 3l 1 ， 在 o rl 图 像数 据库中 测试结 果 达 到了 第2 章 人脸识别综述 84% 的识别率。 伪二维h m m (p 2 一 d h m m ) 模型是一维h m m模型的一种扩展， 相当于将一组一维h m m模型嵌入另外一组h mm模型中，它利用了图像的二 维特征，更适合于图像识别。 选择h mm进行人脸识别的合理性在于同一个人的各种变化可以看作是同 一组状态产生的一系列实现，而不同的人可以 用不同的 h m m 来表现。h m m 对人脸的描述和识别，不是孤立的利用一些数值特征，而是把这些特征和一个 状态转移模型联系起来了。隐马尔科夫模型方法的优点是稳健性好，对于不同 角度的人脸图像和不同的光照条件，都可以达到满意的识别效果。 2. 1 弹性图匹配的方法 弹性图匹配方法是一种基于 动态链接结构( d y n aml cl ink a r c hi te c to re ， d l a ) 的方法132 1 。 它将人脸用格状的 稀疏图 表示，图中的 节点用图 像位置的 g a bor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。匹 配时，首先寻找与 输入图 像最相似的模型图，再对图中的每个节点位置进行最 佳匹配， 这样产生一个变形图， 其节点逼近模型图的对应点的位置。 wis k o tt等 人使用弹性图匹配方法，以f e r e t图像库做实验，准确率达到97一3 %。弹性图 匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸方法的 人脸识别方法。此方法的主要缺点是对每个存储的人脸需计算其模型图，计算 量大， 存储量大。 为此， wis k o tt 在原有方法的基础上提出聚束图匹配，部分克 服了这些缺点。在聚束图中，所有节点都己经定位在相应目标上。对于大量数 据库，这样可以大大减少识别时间。另外，利用聚束图还能够匹配不同人的最 相 似特征， 因 此可以 获得关于未知人的性别、 胡须和眼镜等相关信息。 lee 等131 】 提出了一种基于弹性图动态链接模型的方法，既取得较高的识别速度，也获得 了较理想的识别率，在一定程度上克服了以往方法在速度与识别率之间进行折 中的缺点。基于小波特征的弹性图匹配的方法，这种方法是在二维的空间中定 义了这样一个距离，它对通常的人脸变形具有一定的不变性，也不要求维数一 定相同。 可采用属性拓扑图来表达人脸， 其拓扑图的任一顶点包含一特征向量， 它记录了人脸在该顶点的位置分布信息。二维拓扑图的顶点矢量就是人脸经小 波变换后的特征矢量，在图 像的敏感位置，小波变换后生成的特征矢量的模较 大。用拓扑图分别代表已知和待识别人脸，还可根据匹配拓扑图算出他们的距 第2 奄 人 脸识别 综述 离。 2. 1 7 其他一些人脸识别方法 b ru ne ili等对模板匹配方 法作t 大量实验， 结果 表明 在尺度、 光照、 旋转角 度等各种条 件 稳定的 情况下， 模 板匹 配的 效果优于其 他方 法3s 1 ， 但它 对光 照、 旋转和表情变化比 较敏感， 影响了 它的 直接使用。 gou d a i l 等人采用局部自 相关 性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比 较稳定 139。 k ru iz i n g a 和p e t k o v 利 用 光 流 算 法 近 似 估 计 人 脑 视 觉 突 触 上 方 向 选 择 细 胞 感知的皮层图像，利用这些皮层图像代替原始人脸图像进行识别，皮层图像不 受光照条 件的 影 响， 所以 识别 效 果 较好 140 1 。 但是 这种方 法的 计算复 杂度 较高。 n a k a ll l ura 提出了 一 种 等密 度 线的 方 法 141。 该 方 法 利 用 灰 度 级 等 密 度线图 来 表 示 人脸，这间接反映了人脸的一些三维信息，其把人脸图像的亮度看作是地图中 海拔高度，那么等密度线对应于等高度线。 这种方法对于被测试图像一些外观 ( 眼睛、胡 须、化装) 变化有较好的 适应性。 2. 4 本章小结 本章介绍了国际上流行的多种静止图像人脸识别方法，其中传统的人脸识 别方法包括基于几何特征的人脸识别方法和基于模板匹配的人脸识别方法;现 代人脸识别方法包括特征脸方法、隐马尔科夫模型方法、基于神经网络的方法 和弹性图匹配方法。基于几何特征的识别方法适合于做粗分类，因为它从图像 中抽取特征比较困难，对强烈的表情变化或姿态变化鲁棒性较差。基于模板匹 配的人脸识别方法己经通过实践验证强于基于几何特征的人脸识别方法， 但也 存在为能量函数选取经验系数时的问题， 目前还没有一种直观有效的选取方法， 仍然依靠试凑，因此推广不好。隐马尔科夫模型方法比较复杂，虽然被应用在 人脸识别中，但一般多用于语音识别中。 特征脸方法识别人脸简单有效， 不需 任何低级或中级处理，但也存在对尺度变化敏感、要求背景单一以及学习时间 长的问题。弹性图匹配方法在理论上优于特征脸方法，但它的计算量和存储量 都较大。总之， 这些方法各有优缺点，根据具体的识别任务和条件选择最适合 的识别方法。其中很多方法都仍停留在研究阶段，其识别效果离实用还有一定 第 2 章 人脸识别综述 的差距。因此研究人员逐渐认识到，一种有效的人脸识别算法应该充分地挖掘 人脸不同 方面的 特征信息，即有效地利用人脸的形 状拓扑结构 特征、 局部灰度 特征和全局灰度分布特征等多种特征，综合多 种方法是以 后人脸识别 研究的一 个趋势。 第3 章 小 波变换在人脸识别用的 应用 第3 章 小波变换在人脸识别中的应用 3. 1 引言 近 年 来， 小 波 变 换 137 备 受 研究 者 的 重 视， 它不 仅 在 数 学 上 形 成了 一 个 新的 分支，它是在傅里叶分析的基础上发展起来的，但小波分析与傅里 叶分析存在 极大的不同。从微观上看，小波变换与 傅里叶变换的根本区别是由小波和正弦 波的不同局部化性质产生的。从宏观上看，傅里叶分析是总体域分析，用单独 的时域或频域表示信号的特征;而 小波分析是局部化时频分析，他用时域和频 域的联合表示信号的特征。 作为时一 频分析方法， 小波分析比傅里叶分析有着许 多本质性的进步。他能够从信号中提取许多有用的信息，是各种信号处理方法 ( 如时频分析、多尺度分析和子带编码)的统一处理框架，他的快速算法为分 析和解决实际问题带来极大的方便。目前在语音、图像、图形、 通信、地震、 生物医学、机械震动、计算机视觉等领域都有很好的应用。小波分析是目前国 际上公 认的信号信息获取与 处理领域的高新技术，是多学科关注的热点，是信 号处理的前沿课题。 n as t ar等研究了人脸及其频谱之间的关系，发现人脸的表情变化和少许遮 挡只影响 局部光强度流a ntens ity m 咖fo ldl ocal ly) ，如果用频率来表示， 只会 影响高 频部 分， 称为 高 频 现象 ( highf r e q u e n c y p he nomenon ) 。 因 而， 用小 波变 换的方法滤掉高频信息，采用低频图像来表示人脸将会取得更好的效果。 3. 2 小波变换基础 3. 2. 1 小波变换 小 波 函 数 的 确 切 定 义 为 : 设州 t) 为 一 平 方 可 积 函 数 ， 也 即梦 (t) e护(r ) ， 若 其 傅 里叶 变 换试 w ) 满 足条 件 q ( 1 梦 ( w ) 1， ， =j 左 “ wco ( 3 一 1 ) 第3 章 小波变换在人脸识别用的应用 则 称 叭 t) 为一 个基本小 波 或小波母函 数， 并称式 ( 3 一 1) 为 小波函 数的 可容 许 性条件。 设一个平方可积的 信号f (t)， 其小波变换如下: 麟 (a ，b) = 李匕 f( t)d (卫)， 一 忆 f (t) (t) dt 一 f ，丸 ， ，(3 一2) 心口口 其 中 心(t)是 函 数 么 ，(t ) 的 共 辘函 数， 残 b (t) 是 基 本 函 数 武 t) 经先 移 位 后 伸 缩 得到的，即 1， t 一b 、 汽力 住 ) =下 =尹 t ) v口口 (3一 ) 若么 b 取不同 值， 可以 得到一族函 数4u，a(t)， 由于 ( 3 一 2) 中t， a， b 都是连续变量， 所以该式是连续小波变换。 信 号人 t) 的 小 波 变 换黔(a.b) 是a 和b 的 函 数， a 称为 尺 度因 子， b 称 为 时 移， 武 0 称为基本小波或母小波。么 成 t) 是母小波经移位和伸缩所产生的一族函数， 成为 小波 基函 数， 简 称小 波 基。 这 样小波变换又 可理解为 信号人 t) 和一族 小波 基 的内积