（模式识别与智能系统专业论文）基于多特征多分类器融合的人脸识别研究.pdf

南京邮电大学硕十研究生学位论文 摘要 摘要 人脸识别是计算机视觉和模式识别领域的一个活跃课题，在商业和法律上有广泛的应 用前景，在安全监控中也大有用武之地。广义上的人脸识别系统可分为人脸检测与定位、 特征提取与识别两个主要环节，这里所说的人脸识别主要指特征提取与识别部分。 本文介绍了多分类器融合结构和规则，主要分析了基于贝叶斯理论的各种融合规则并 对其中的投票法进行改进：赋予不同分类器不同的权值，增加“第二候选人 备选。文中 还介绍了三种人脸识别方法：二维加权主元分析方法( 2 d w p c a ) 、二维分块f i s h e r 线性 鉴别方法( 2 d b f l d ) 及二维离散余弦变换方法( 2 d d c t ) ，并将其运用于多分类器融合 的人脸识别过程。这些方法不用将二维的人脸图像预先转换为一维的向量，提高了特征提 取的速度。 本文还在o r l 人脸图像库上对成员分类器进行实验仿真，分别使用最近邻和最小距 离进行分类。首先比较2 d w p c a 和2 d p c a ，前者在提取整体特征的同时考虑到了含识 别信息较多的局部特征，实验数据表明，其性能一般要优于后者。其次比较2 d b f l d 和 2 d f l d ，分块可以提取每一单元块的局部特征，提高了分类能力。然后仿真2 d d c t ，这 种方法在提取主要信息的同时降低了计算复杂度。在设计好成员分类器的基础上进行多特 征多分类器融合的实验，其中的融合规则分别采用和、积、中值、投票法和改进的投票法。 在o i u 人脸图像库上的实验结果表明融合互补的局部和整体特征可以取得比其中任一成 员分类器更高的识别率，改进的投票法优于一般的投票法。 关键词：人脸识别，多分类器融合，加权主元分析，分块f i s h e r 线性鉴别，离散余弦变 换 南京邮电大学硕七研究生学位论文 a b s t r a c t a b s t r a c t t h ef a c er e c o g n i t i o ni sa na c t i v es u b j e c ti nt h ef i e l d so fc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n i ti sw i d e l yu s e di nt h ec o m m e r c i a la n dl e g a lp r o s p e c ta n da l s oi nt h es e c u r i t y m o n i t o r i n ga r e a t h eg e n e r a l i z e df a c er e c o g n i t i o ni n c l u d e st w op a r t s ：t h ef a c ed e t e c t i o na n d l o c a t i o n ，a n dt h ef e a t u r ee x t r a c t i o na n di d e n t i f i c a t i o n i nt h i sp a p e r ，w em a i n l yr e f e rt ot h el a t t e r 0 n e t h i sp a p e ri n t r o d u c e st h ef u s i o ns t r u c t u r ea n dr u l e so fm u l t i - c l a s s i f i e r i te m p h a s i z e so n t h ev a r i o u sf u s i o nr u l e sb a s e do nb a y e s i a nt h e o r ya n di m p r o v e st h ev o t el a w t h i sn e wf u s i o n r u l ee n d u e sd i f f e r e n tc l a s s i f i e r sw i t hd i f f e r e n tw e i g h t sa n da d d sa s e c o n dc a n d i d a t e t h ep a p e r a l s oi n t r o d u c e st h em e t h o d so ft h et w o d i m e n s i o n a lw e i g h t e dp r i n c i p a lc o m p o n e n ta n a l y s i s ( 2 d w p c a ) ，t w o d i m e n s i o n a lb l o c k e df i s h e rl i n e a rd i s c r i m i n a n tm e t h o d ( 2 d b f l d ) a n d t w o - d i m e n s i o n a ld i s c r e t ec o s i n et r a n s f o r m ( 2 d d c t ) a n dt h e ya r ea p p l i e dt ot h ef a c e r e c o g n i t i o np r o c e s so fm u l t i c l a s s i f i e rf u s i o n t h e s em e t h o d si m p r o v et h es p e e do ft h ef e a t u r e e x t r a c t i o nb e c a u s et h e yd o n th a v et ot r a n s f o r mt h et w o - d i m e n s i o n a lf a c ei m a g et o o n e d i m e n s i o n a lv e c t o r e x p e r i m e n t so fs i n g l ec l a s s i f i e r sh a v eb e e nd o n eo nt h eo r l f a c ei m a g ed a t a b a s eu s i n g n e a r e s td i s t a n c ea n dm i n i m u md i s t a n c er e s p e c t i v e l y f i r s t l y , 2 d w p c ai sc o m p a r e dw i t h 2 d p c a ，e x p e r i m e n t a ld a t ai n d i c a t e st h a tt h ef o r m e rm e t h o dp e r f o r m sb e t t e rt h a nt h el a t t e ro n e s e c o n d l y , 2 d b f l di sc o m p a r e dw i t h2 d f l d ，t h er e s u l ts h o w st h a t2 d b f l dc a ni m p r o v e r e c o g n i t i o np e r f o r m a n c e t h e n2 d d c t i ss i m u l a t e d ，w h i c he x t r a c t st h em a i nc h a r a c t e r i s t i c s a n dd e c l i n e st h ec o m p u t i n gc o m p l e x i t ya tt h es a m et i m e a f t e rt h es i n g l ec l a s s i f i e r sh a v eb e e n d e s i g n e d ，e x p e r i m e n t sw i t hm u l t i - f e a t u r ea n dm u l t i - c l a s s i f i e ra r et a k e n t h ef u s i o nr u l e sa d o p t s u m ，p r o d u c t ，m e d i a n ，v o t er u l ea n dt h em o d i f i e dv o t er u l er e s p e c t i v e l y t h ee x p e r i m e n t a l r e s u l t so nt h eo r lf a c ei m a g ed a t a b a s es h o wt h a tt h ef u s i o no fl o c a lc h a r a c t e r i s t i c sa n di n t e g r a l c h a r a c t e r i s t i c sc a no b t a i nh i g h e rr e c o g n i t i o nr a t et h a na n ys i n g l ec l a s s i f i e r i ti n d i c a t e st h a tt h e m o d i f i e dv o t er u l ei sb e t t e rt h a nt h eo l do n e k e y w o r d s ：f a c er e c o g n i t i o n ，f u s i o no fm u l t i c l a s s i f i e r ，w e i g h t e dp r i n c i p a lc o m p o n e n t a n a l y s i s ，b l o c k e df i s h e rl i n e a rd i s c r i m i n a n t ，d i s c r e t ec o s i n et r a n s f o r m 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：揿寸，许日期：妒艿，仇h 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：款心，芹 导师签名：墅些至日期：丝曼：! ：! ! 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 1 1 人脸识别研究的背景及意义 人脸识别是非侵犯性的识别方式，具有直接、友好、方便的特点，是人们最容易接受 的身份鉴别方式。但是，由于人脸之间存在很大的相似性以及人脸的高度可变形性，也使 得人脸识别课题极富挑战性。 首先，人脸像作为一种最普遍、可以非接触式采集的重要生物特征，可以用于进行身 份鉴别，如各种证件、智能卡中的身份认证；住宅小区进出的安全控制；重要场所中的安 全检测和监控。人脸识别技术在信息安全领域也有着巨大的潜在应用价值；可以进行计算 机的登录控制，可以进行应用程序的安全使用、数据库的安全访问和文件加密。其次，人 脸识别技术可以用于创建友好自然的人机交互方式，是智能计算机领域研究的重要内容之 一。一个可以识别使用者的人脸的计算机，可以按照其特点为该使用者提供工作环境，从 而使人与计算机之间的交互如同人与人之间的交互一样轻松自然。另外，人脸识别技术还 可以被用在图像库检索技术，在大型人脸数据库中检索出与检索人脸相同或相似的人脸。 例如：公安部门就可以利用人脸识别技术进行犯罪库的管理和查询。 一般的人脸图像的识别系统通过c c d ( 电荷耦合器件) 摄像机采集人脸、提取特征、 存储在模板库中，在身份鉴别时首先将人脸从背景中分割出来，再把现场采集的图像与库 中模板进行比较。完整的人脸识别系统至少包括两个主要环节。首先，就是要在输入图像 ( 或是图像序列) 中找到人脸的位置，并将人脸从背景中分割出来；其次根据分割后的人 脸图像进行特征提取与识别。第一步属于人脸检测，第二步属于人脸识别。人脸识别是在 人脸检测基础上的后继工作。 随着网络技术和桌上视频的广泛应用，图像采集设备正在成为个人计算机的标准外 设，同时电子商务等网络的利用对身份验证提出了新的要求，人脸识别成为最具有潜力的 生物身份验证的手段。“9 1 l ”事件以后，各国都加大力度研究生物识别技术，人脸识别这 一最类似人类身份鉴别的方式得到了很多人的关注。目前，美国的机场安装了人脸识别系 统辅助排查恐怖分子，很多重要的出入场合也在安装人脸识别系统。 人脸识别和其他的生物识别比起来有以下几个优点： 1 其他的生物特征识别方法一般需要一些人为的行为配合，而人脸识别不需要。 2 人脸识别可应用在远距离监控中。 3 针对现在的第二代身份证，每个身份证都有人脸的正面照片，也就是人脸库将是 l 南京邮电大学硕士研究生学位论文第一章绪论 最完善的，包括人最多的，我们可以利用这个库来更直观、更方便的核查该人的身份。 人脸特征主要包括人脸的全局特征、几何特征、各个器官的特征。与指纹识别不同之 处在于人脸会随着表情、年龄等的变化而发生变化；而且光线、背景和姿态等变化对人脸 识别的效果有着或多或少的影响，如何消除这些因素的影响是人脸识别的难点之所在。 1 2 人脸识别技术的发展历史及应用前景 人脸识别的研究已有很长的历史，甚至可以追溯到1 9 世纪。人脸的输入特征通常有三 种情况：正面、倾斜、侧面。由于实际情况的要求，对人脸正面模式的研究较多，它的发 展大致分为三个阶段： 第一阶段以b e r t i l l o n ，a l l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。在 b e r t i l l o n 的系统中，用一个简单的语句和数据库中某一张脸相联系，同时与指纹分析相结 合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 1 】为待识别脸设计了一种有 效和逼真的摹写，p a r k e 贝, l j 用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型。 这一阶段工作的特点是识别过程全部依赖于操作人员，显然这不是一种可以自动完成识别 的系统。 第二阶段是人机交互式识别阶段。代表性的工作有g o l d s t i o n ，h a r m o n 和l e a k 用几何参 数来表征人脸正面图像。他们采用2 1 维特征向量表示人脸正面特征，并设计了基于这一特 征表示法的识别系统。k a y a 矛l k o b a y a s h i 2 】则采用了统计识别方法，用距离来表示人脸特征， 如嘴唇与鼻子间的距离，嘴唇的高度等。更进一步地，t k a n a d ( m n a g a o ) 设计了一个高 速且有一定知识引导的半自动回溯识别系统，创造性地运用积分投影法从单幅图像上计算 出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的系统实现了加速、 实时的处理，是一个很大的进步。相比之下，b a r o n 所做的工作较少为人所知，他先将图像 灰度归一，再利用四个掩模与数据库中的每幅标准图像的相应掩模之间的互相关系数作为 判别依据。总的来说，这类方法需要利用操作员的某些先验知识，仍然摆脱不了人工干预。 第三阶段是真正的机器自动识别阶段。近年来，随着高速度高性能计算机的发展，入 脸模式识别方法有了较大的突破，提出了多种机器全自动识别的系纠3 ，4 】。特别是进入九十 年代，由于生产、生活等各方面对人脸识别系统的迫切需求以及计算机技术、图像处理、 模式识别技术的发展成熟，对人脸识别方法的研究变得非常热门，吸引了大量的研究人员 并获得大量的基金支持。目前美国、日本、英国、以色列、意大利等经济发达国家以及发 展中国家如印度、中国等国有专门的研究组在进行这方面的研究，比较著名的研究小组包 2 南京邮电大学硕七研究生学位论文第一章绪论 括美国的麻省理工学院、普林斯顿大学、卡内基梅隆大学、英国剑桥大学、日本东京大学、 意大乖i j r s t i 研究所等。这些研究一般都受到各国军方、警方及大公司的高度重视和资助， 美国军方1 9 9 6 年还专门组织了一次人脸识别大赛，美国洛克菲勒大学的人脸识别系统 f a c e l t 获得冠军。国内清华大学、哈尔滨大学、中国科学技术大学、中科院自动化所等都 有人员从事人脸识别相关的研究。 ， 随着技术的进一步成熟和社会认同度的提高，人脸识别将能在更多领域施展自己的拳 脚： 1 企业、住宅安全和管理。如人脸识别门禁考勤系统，人脸识别防盗门等。 2 电子护照及身份证。这或许是未来规模最大的应用。国际民航组织( i c a o ) 已确 定，从2 0 1 0 年4 月1 日起，其1 1 8 个成员国家和地区，必须使用机读护照，人脸识别技术是首 推识别模式，该规定已经成为国际标准。美国已经要求和它有出入免签证协议的国家在 2 0 0 6 年1 0 月2 6 日之前必须使用结合了人脸指纹等生物特征的电子护照系统，至u 2 0 0 6 年底已 经有5 0 多个国家实现了这样的系统。美国运输安全署( t r a n s p o r t a t i o ns e c u r i t y a d m i n i s t r a t i o n ) 正在全美推广一项基于生物特征的国内通用旅行证件。欧洲很多国家也在 计划或者正在实施类似的计划，用包含生物特征的证件对旅客进行识别和管理。中国的公 安部一所正在加紧规划和实施电子护照计划。 3 公安、司法和刑侦。如利用人脸识别系统和网络，在全国范围内搜捕逃犯。 4 自助服务。如银行的自动提款机，如果用户卡片和密码被盗，就会被他人冒取现 金。如果同时应用人脸识别就会避免这种情况的发生。 5 信息安全。如计算机登录、电子政务和电子商务。在电子商务中交易全部在网上 完成，电子政务中的很多审批流程也都搬到了网上。而当前，交易或者审批的授权都是靠 密码来实现。如果密码被盗，就无法保证安全。如果使用生物特征，就可以做到当事人在 网上的数字身份和真实身份统一。从而大大增加电子商务和电子政务系统的可靠性。 1 3 本文主要工作及内容安排 本文的主要工作是研究多特征多分类器融合在人脸识别中的应用。主要介绍了一些常 用的人脸识别算法，分析了各种分类器融合规则，并将二维加权主元分析方法( 2 d p c a ) 、 二维分块f i s h e r 线性鉴别方法( 2 d f l d ) 和二维离散余弦变换方法( 2 d d c t ) 用于多分类 器融合的人脸识别实验，提出用改进的投票法进行融合。 本文内容安排如下： 南京邮电大学硕士研究生学位论文 第一章绪论 第一章为绪论，介绍了人脸识别研究的背景及意义、人脸识别技术的发展历史、应用 前景以及本文的主要工作和内容安排。 第二章对常用的人脸识别方法进行分类讨论，介绍了几个人脸数据库，并指出人脸识 别方法面临的挑战及未来的发展趋势。 第三章首先介绍了多分类器的融合结构，然后从分类器输出的3 个层次( 判决级、序 列级、度量级) 角度具体分析了不同的融合规则。 第四章是对多分类器中成员分类器的介绍。本文选取了三种成员分类器用于融合：二 维加权主元分析方法、二维分块f i s h e r 线性鉴别方法和二维离散余弦变换方法。各种方法 都进行实验仿真，并分别比较加权前后的二维主元分析方法及分块前后的二维f i s h e r 线性 鉴别方法。 第五章将多特征多分类器融合应用于人脸识别过程，采用第四章介绍的成员分类器和 多种融合规则，并提出改进的投票法，给出了具体的流程进行实验仿真。 第六章总结全文并提出进一步的研究方向。 4 南京邮电人学硕士研究生学位论文第二章人脸识别系统概述 第二章人脸识别系统概述 人脸自动识别系统包括两个主要技术环节：首先是人脸检测和定位，即从输入图像中找 到人脸及人脸存在的位置，并将人脸从背景中分割出来和归一化预处理，然后才是对归一化 的人脸图像进行特征提取与分类。本论文主要对特征提取与分类环节进行研究。 2 1 人脸检测 人脸检测是人脸识别的第一步，它分为分为静态检测和动态检测【5 1 。静态检测是从静 态图片或者视频序列中找出人脸，如果存在人脸，则输出人脸的数目、每个人脸的位置及 其大小。动态人脸跟踪则是在己检测到的人脸信息基础上，在后续的视频图像中继续捕获 人脸的位置及其大小等性质，以达到跟踪识别的目的。 2 1 1 静态人脸检测 关于静态人脸检测与分割的理论很多，为了尽可能的涵盖更多的内容，将其分为两大 类【6 】：基于知识建模的人脸检测和基于统计的人脸检测。 1 基于知识建模的人脸检测方法 它是一种根据人脸局部特征的空间位置及其集合关系来定位人脸的方法，通常利用一 系列已定义的规则来检测人脸，根据不同的规则定义也就有不同的检测方法。比较常见的 有：器官分饰规则、轮廓规则、颜色纹理规则、结构规则、运动规则等。 以上分类的思想主要是基于单个特征规则的，在有的情况下，其检测效果不够理想； 为了进一步提高检测效果，梁路宏等【7 1 提出了综合多种特征进行检测的方法。 2 基于统计的人脸检测方法 ( 1 ) 基于变换的方法：主要思想是将处于高维的原始数据空间，通过变换，转换为低 维数据空间。其中在人脸识别中利用的是主元子空间，而人脸检测利用的是次元子空间。 用待检测区域在次元子空间上的投影能量，即待检测区域到变换子空间的距离作为检测统 计量，距离越小，表明越像人脸。 ( 2 ) 基于神经网络的方法：主要思想是把人脸检测看作非人脸样本与人脸样本两大类， 进行模式分类。通过对人脸样本集和非人脸样本集进行学习以产生分类器。人工神经网络 是目前国际上广泛采用的一种方法，特别是，基于b p 神经网络训练算法在人脸检测中的应 用更为普遍。 s 南京邮电大学硕上研究生学位论文第二章人脸识别系统概述 ( 3 ) 基于概率模型的方法：一般有两种实现思路，一种是基于贝叶斯理论的方法，它 是一种基于后验概率估计的人脸检测方法，通常利用贝叶斯原理将后验概率估计转化为一 个似然度来求解问题；另一种概率模型是用于描述信号统计特性的隐马尔可夫模型 ( h m m ) ，它具有十分丰富健壮的数学结构和强大的时序模式分类能力，常被应用于人脸 检测和人脸表情识别。 2 1 2 动态人脸检测与跟踪 由于基于静态图像检测技术实现的大多数系统都要求使用者提供固定角度的图像，对 于数据的采集较困难，系统的通用性差。随着智能视频监控、视频检索、电视会议等方面 研究的快速发展，动态人脸检测与跟踪引起了人们的普遍关注。 对于动态人脸检测与跟踪的解决思路可以归结为四类： 1 基于运动信息的方法：充分利用运动连续性规律，进行图像在连续帧间的跟踪、 预测，以达到快速跟踪的目的。 2 基于彩色信息的方法：利用人脸彩色信息，提取人脸特征中相对固定不变的颜色 信息( 如肤色、虹膜等) 进行人脸检测，它具有速度快、姿态不变性等特点。 3 基于参数模型或模板的方法：通过获取目标的先验知识，建立参数模型，对输入 的每一帧图像通过滑动窗口进行模型匹配，实现人脸跟踪。 4 基于人脸局部特征的方法：根据不同的人脸器官特征信息进行器官跟踪。 2 2 人脸特征提取与分类 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化预处理， 将其转换成所谓的“标准图像”。几何归一化是指根据人脸定位结果将图像中人脸变换到 同一位置和同样大小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度 地克服光照变化的影响而提高识别率。 特征提取是人脸识别中的核心步骤，是识别技术的关键，它决定着最终的识别结果， 直接影响识别率的高低。人脸的分类是人脸识别的最后一步，根据面部特征的提取结果， 与人脸库中数据对比，判断出该人脸的身份信息。它所采用的技术和方法与检测和特征提 取所采用的技术和方法有很强的继承关系。由于不同的分类方法针对不同的情况，有各自 的优势，所以在分类的时候，利用数据融合技术融合不同的分类数据会得到更好的识别效 果。 6 南京邮电大学硕十研究生学位论文第二章人脸识别系统概述 一般所说的人脸识别方法是指特征提取和分类环节的算法。本节接下来的内容将系统 分析现今常用的人脸识别方法，将人脸识别方法分为基于几何特征的方法、基于模型的方 法、基于统计的方法、基于神经网络的方法和多分类器集成方法【引。 1 基于几何特征的方法 文献中记载最早的人脸识别方法就是b l e d s o e 提出的基于几何特征的方法【9 1 ，该方法以 面部特征点之间的距离和比率作为特征，通过最近邻方法来识别人脸。以该方法建立的人 脸识别系统是一个半自动系统，面部特征点必须由人手工定位。也正是由于人工的参与， 该系统对光照变化和姿态变化不敏感。 k a l l a d e 首先计算眼角、鼻孔、嘴巴、下巴等面部特征之间的距离和它们之间的角度 以及其它几何关系，然后通过这些几何关系进行人脸的识别工作。在一个2 0 人的数据库上 识别率为4 5 7 5 。 b r u n e l l i s t l p o g g i o i 1 通过计算鼻子的宽度和长度、嘴巴位置和下巴形状等进行识别，在 一个4 7 人的人脸库上的识别率为9 0 。然而，简单模板匹配方法在同一人脸库上的识别率 为1 0 0 。 侧影( p r o f i l e ) 识别【1 2 】也是早期基于几何特征人脸识别的一个重要方法，其基本原理 是从人脸的侧影轮廓线上提取特征点，将侧影转化为轮廓曲线，从中提取基准点，根据这 些点之间的几何特征来进行识别。由于侧影识别相对较简单且应用面小，对侧影识别的研 究较少。 基于几何特征的方法非常直观，识别速度快，内存要求较少，提取的特征在一定程度 上对光照变化不太敏感。但是，当人脸具有一定的表情或者姿态变化时，特征提取不精确， 而且由于忽略了整个图像的很多细节信息，识别率较低，所以近年来已经很少有新的发展。 2 基于模型的方法 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是一种常用的模型，基于h m m 的方 法首先被用于声音识别等身份识别上，之后被n e f i a n 和h a y e s 引入到人脸识别领域13 1 。它是 用于描述信号统计特性的一组统计模型。h m m 用马尔可夫链来模拟信号统计特性的变化， 而这种变化又是间接通过观察序列来描述的，因此马尔可夫过程是一个双重的随机过程。 在h m m 中结点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的 任意特征，对同一特征，不同形态表现出这一特征的概率不同。在人脸识别过程中，n e f i a n 首先采用二维离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 抽取人脸特征，得到观察 向量，构建h m m 人脸模型，然后用e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法【1 4 坳l 练。利用该 模型就可以算出每个待识别人脸观察向量的概率，从而完成识别。h m m 方法的鲁棒性较 7 南京邮电大学硕十研究生学位论文 第二章人脸识别系统概述 好，对表情、姿态变化不太敏感，识别率高。 主动形状模型( a c t i v es h a p em o d e l ，a s m ) 方法i 扫c o o t e s 等人提出【l 习，c x m t e s 对形状 和局部灰度表象建模，用建立的a s m 在新的图像中定位易变的物体。后来，l a n i t i s 等将其 应用于解释人脸图像，在使用a s m 找出人脸的形状后，将人脸切割并归一到统一的框架， 对这个与形状无关的人脸采用亮度模型来进行解释和识别。 主动表象模型( a c t i v e a p p e a r a n c em o d e l ，删) 可以看成是对a s m 的进一步扩展【1 6 ，1 7 1 ， 是一种通用的非线性图像编码模式，通过变形处理将通用人脸模型与输入图像进行匹配， 并将控制参数作为分类的特征向量。 3 基于统计的方法 基于统计的方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸模式，这 类方法有着完备的统计学理论支持，得到了较好的发展，出现了一些较成功的算法。 特征脸( e i g e n f a c e ) 方法i 主i t u r k 和p e n t l a n d 1 8 1 提出。对于每一幅人脸图像，按照从上 到下、从左到右的顺序将所有像素的灰度值串成一个高维向量，然后通过主成分分析 ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 1 9 1 将高维向量降低维数。p c a 技术首先i 扫k i r b y 和 s i r o v i c h 引入到人脸识别领域【2 0 】，并且证明- j p c a 是使原始图像与重构图像之间的均方误差 极小化的最佳压缩方式。一幅图像在各个特征脸上的投影组成了该图像的权值向量，将待 识别图像的权值向量与人脸数据库中各图像的权值向量相比较，确定哪一幅图像与待识别 图像的权值向量最接近。后来p e n t l a n d 等人【2 1 1 进一步扩展了特征脸方法，将类似的思想运 用到面部特征上，分别得到了本征眼、本征鼻、本征嘴，并且将它们结合起来进行人脸识 别。实验结果表明，这样比单独使用特征脸效果更好。特征脸方法计算量低，使用方便， 并且效果良好，目前已经成为人脸识别的基准程序和事实上的工业标准。但是它对于外界 因素所带来的图像差异和人脸自身所造成的差异是不加区分的，因此外界因素( 例如光照、 姿态) 变化会引起识别率的降低。 特征脸方法使用由各个特征脸扩展的空间来表示人脸，虽然可以有效地表示人脸信 息，但是并不能有效鉴别和区分人脸。很多研究者提出了使用其他线性空间来代替特征脸 空间以取得更好的识别效果。此中线性判别分析( l i n e a rd i s c r i m i n a t ea n a l y s i s ，l d a ) 方 法( 也i l q f i s h e r 脸方法) 2 2 1 利用了类别归属信息，它选择类内散布正交的向量作为特征脸 空间，从而压制了图像之间与识别信息无关的差异，强调了不同人脸之间的差别，同时弱 化了同一人脸由于光照、视角和表情而引起的变化，获得了比特征脸更好的识别效果。l d a 是一种监督学习方法，而p c a 是非监督学习方法。b e l h u m e u r l 2 2 1 对1 6 个人的各1 0 幅图像进 行识别实验，p c a 方法的识别率为8 1 ，而f i s h e r 脸方法的识别率为9 9 4 。 r 南京邮电大学硕士研究生学位论文 第二章人脸识别系统概述 m o g h a d d a m 等人提出了贝叶斯人脸识别方法【矧，他们提出了一种基于概率的图像相似 度度量方法，将人脸图像之问的差异分为类间差异和类内差异，其中类问差异表示不同对 象之间的本质差异，类内差异为同一对象的不同图像之间的差异，而实际人脸图像之间的 差异为两者之和。如果类内差异大于类间差异，则认为两人脸图像属于同一对象的可能性 大。他们提出了类间差异和类内差异度量的概率模型和计算方法。由于贝叶斯相似度的计 算涉及复杂的非线性计算，m o g h a d d a m 等人提出了一种线性的快速计算方法。这种人脸识 别方法在1 9 9 6 年美国d 撇组织的f e r e t 人脸测试2 4 】中是效果最好的方法之一，特别是在 克服光照和表情变化对识别的影响方面性能较好。 奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) 【2 5 1 是一种有效的代数特征提取方法。 奇异值特征具有良好的稳定性、转置不变性、旋转不变性、位移不变性以及镜像变换不变 性等重要性质，因此奇异值分解技术也被应用到人脸识别领域。 独立成分分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ，i c a ) 【2 6 】可以看成是对p c a 的推广。 p c a 利用二阶矩去掉输入数据的相关性，使得数据的协方差为零，而i c a 使得输入数据的 二阶和高阶矩依赖性最小。 4 基于神经网络的方法 神经网络在人脸识别领域有很长的应用历史，1 9 9 4 年就出现了神经网络用于人脸处理 的综述性文章2 7 1 。 k o h o n e n 2 踟最早将自组织映射( s e l f - o r g a n i z i n gm a p ，s o m ) 神经网络用于人脸识别。 他利用s o m 的联想能力“回忆”人脸，即使当输入人脸图像具有较大噪音干扰或者有部分 图像丢失时，也能恢复出完整的人脸。 动态链接结构( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) 是用于人脸识别的最有影响的神经 网络方法【2 9 】。d l a 试图解决传统的神经网络中一些概念性问题，其中最突出的是网络中语 法关系的表达。d l a 利用突触的可塑性将神经元集合划分成若干图结构，同时保留了神经 网络的优点。d l a 使用g a b o r d x 波来表示图像的特征。 l a w r e n c e 和g i l e s 等人【3 0 】将自组织映射神经网络( s o m ) 与卷积神经网络相结合的混合 神经网络方法进行人脸识别。s o m 实现对图像的采样向量降维，且对图像样本的小幅度变 形不敏感；卷积网络用来实现相邻像素间的相关性知识，在一定程度对图像的平移、旋转、 尺度和局部变形不敏感。 l i n 和k u n g t 3 1 1 提出了一种基于概率决策的神经网络( p r o b a b i l i s t i cd e c i s i o n b a s e dn e u r a l n e t w o r k ，p d b n n ) 人脸识别方法。主要原理是采用虚拟样本进行强化和反强化学习，从 而得到较理想的概率估计结果，并且采用模块化的网络结构加快网络的学习。 o 南京邮电大学硕士研究生学位论文第二章人脸识别系统概述 用于人脸识别的神经网络还有：m l p 的一种变形时滞神经网络( t i m ed e l a yn e u r a l n e t w o r k s ，t d n n ) f 3 2 j 、径向基函数网络( r a d i a lb a s i sf u n c t i o nn e t w o r k ，r b f n ) 3 3 j 。r i c a n e k 等人【3 4 】采用的h o p f i e l d 网络，能有效地实现低分辨率人脸的联想和识别。 神经网络方法较其他人脸识别方法有着特有的优势，通过对神经网络的训练可以获得 其他方法难以实现的关于人脸图像的规则和特征的隐性表示，避免了复杂的特征抽取工 作，并有利于硬件的实现。缺点主要在于其方法的可解释性较弱，且要求多张人脸图像作 为训练集，只适合于小型人脸库。 5 多分类器集成方法 将多个学习系统( 例如分类器) 融合是目前机器学习的热门课题之一，这种技术已经 被广泛运用到模式识别之中。当前人脸识别方法都只能在特定约束条件下取得较好的性 能，然而在现实应用中，人脸的表象会因为光照方向、姿态、表情变化而产生较大的变化， 每种特定的识别器只对其中一部分变化比较敏感，因此，将可以整合互补信息的多个分类 器集成能够提高整个系统的分类准确率。 g u t t a 等人网提出将集成的r b f 与决策树( d e c i s i o nt r e e ) 结合起来进行人脸识别，结合 了全局的模板匹配和离散特征的优点，在一个3 5 0 人的人脸库上测试，取得了较好的实验 结果。 h u a n g 等人【3 6 】在多特征脸空间的基础上，采用神经网络集成( n e u r a ln e t w o r ke n s e m b l e ) 的方法，实现了对多视角人脸的识别。首先将人脸深度方向的偏转角度人为的分为几组( 多 个视角) ，然后为每个视角训练一个神经网络，最后对所有视角对应的多个神经网络的输 出进行集成。实验表明，该方法不必预先估计偏转角度就可以取得较好的识别性能，而且 能实现人脸偏转角度的自动判断。 l n 等人【3 7 j 通过将p c a 、i c a 、l d a 进行集成用于人脸识别。首先分别用这三种方法对 同一张人脸进行识别，每种方法计算出测试人脸与数据库中人脸的投影向量之间夹角的余 弦值；然后用简单求和方式或r b f 网络对三个得分进行集成。在一个包含有2 0 6 个人，每人 1 0 张照片的人脸库上进行实验，集成方法的识别性能最好，简单求和方式l l r b f 网络集成 方式性能略好。 2 3 人脸数据库 任何人脸识别系统的开发都需要建立一个包含人脸图像或图像系列的数据库。人脸数 据库的设计对系统的识别率影响是至关重要的。开发一个在所有可能的变化情况下都能正 1 0 南京邮电大学硕士研究生学位论文第二章人脸识别系统概述 确进行人脸识别的系统是非常困难的。因此几乎所有人脸识别的研究都是在一定约束条件 下进行的，如光照、表情和姿态变化等受到一定限制，大部分系统都未考虑长期变化，如 年龄的变化等。所以有必要建立适合不同需要的人脸数据库，以下介绍一些典型的标准数 据库。 1 英国o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 人脸数据库 该数据库包括从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列入脸图像，由4 0 个人的4 0 0 幅灰度图像组成，图像尺寸为11 2 x 9 2 ，图像背景为黑色。其中大多数图像的光照方向和 强度都差不多，其中有些图像是拍摄于不同时期的。人脸脸部表情和细节均有变化，例如 笑与不笑、眼睛睁着或闭着、戴或不戴眼镜等；人脸姿态也有变化，其深度旋转和平面旋 转可达2 0 度，人脸的尺寸也有最多1 0 的变化。这是目前使用最广泛的人脸数据库。 2 英国m a n c h e s t e r 人脸数据库 该数据库由3 0 个人的6 9 0 幅图像组成，其中训练集和测试集分开，有不同的光照和 背景特征，而且对于每个人而言，前后两张照片之间的时间间隔至少有3 周。训练集对光 源有一定的约束，而在测试集中则变化多端。测试集还增加了两级难度：其一是对于其中 的相似人脸，仅有发型、背景以及戴眼镜等变化；其二是特征遮挡，如头发、黑眼镜、手 臂等。 虽然m a n c h e s t e r 数据库远比o r l 数据库测试更为全面，但因发表的比较结果不够多， 从而远不如o r l 使用广泛。 3 美国f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 人脸数据库 f e r e t 人脸数据库是目前最大的人脸数据库，由美国军方研究实验室提供，其中每 人8 张照片，两张正脸，3 张从右到左不同侧面角度的照片，有些人还提供了更多不同视 点和不同表情的照片。该数据库中不包含戴眼镜的照片，拍摄条件也有一定的限制，人脸 大小约束在规定范围内。到1 9 9 6 年6 月，该数据库己存储了1 1 9 9 个人的1 4 1 2 6 幅图像， 而且逐年增加。但到目前为之，该数据库并未提供运动图像系列或包含语音信息。f e r e t 数据库的最大缺点是非美研究机构的获取不便。 4 日本a t r 数据库 该数据库考虑了除人脸特征外的其他信息在人脸识别中的作用，提供人脸和语音的合 成，由6 0 人组成。但其中人脸图像是静止的而非运动图像序列。 5 欧洲m 2 v t s 多模态人脸数据库 该数据库用于测试多模态身份鉴别。目前该库由3 7 人组成，每人有5 个图像序列， 拍摄时问间隔一周左右。其中至少有一个序列提供合成语音。 l l 南京邮电 学硕研究生学位论立镕= 章人脸识别系统概述 其他数据库还有：c m u ( c a r n e g i em e l l o nu n i v e r s i t y ) 正而人脸数据库，m i t 单人脸 数报库等。o k l 人脸数据库仍足目前使h j 最广泛的标准数据库，它含有人量的比较结果， 本文的实验均在此数据库上进行。图2 - 1 是o r l 人脸数据库中某个人的i o 幅图像。 2 4 研究趋势 图2 - 1o r l 人脸数据库中某一个人的1 0 幅图像 人脸识别技术发展很快，并取得了丰硕的研究成果，仉是仍然面临着诸多问题，如图 像背景复杂，存在很多类似人脸的部分。人脸是非刚性物体，并且随着年龄的变化而变化， 特征难咀完全描述；人腧可能有很多遮挡物，立【j 胡须、眼镜、帽檐等；环境的光照强度和 观察人脸的角度发生变化；全自动人脆识别技术发展缓慢等，都成为人脸识别技术中亟待 解决的问题。以下列h 儿点人脸识别的研究趋势： 1 非约束环境r 的人脸识别 近年米对 脸识别燎犁系统和商业系统的f e r e t 和f r v t 测试表驯，埘约束环境下( 即 在对象配合的情况下拍摄的正面、中性表情、无遮挡、光照均匀的高质晕人脸像片) 采集 的图像i = i 别率可选到9 5 以卜；但在非约束蚪境f ( 包括光照、姿态、年龄等多种变化吲 索) 识别率将急剧下降。冈此非约束环境f 的人脸识别l f 逐渐受到广泛的研究。 2 综合整体和局部的识别方法 人腑的局部和整体信息的州结台能有效地描述