（模式识别与智能系统专业论文）基于pca的人脸识别研究.pdf

摘要 人脸识别技术，作为目前模式识别领域研究的热点也是难点之一，其最早提 出可以追溯到1 8 8 8 年i ”。然而，到目前为止，由于人脸识别问题自身的复杂性， 使得虽然有众多科学研究人员潜心研究多年，也做出了许多的成果，但离彻底解 决并达到实用，仍旧有很多关键性的问题需要解决。本文结合研究生阶段参与教 研室的科研项目，对人脸识别做了一定的研究。论文首先介绍了人脸识别的背景、 研究范围以及方法，对人脸识别领域的一些理论方法作了总体的介绍。本文中所 采用的人脸识别方法是比较经典的p c a ( p r i n c i p l ec o m p o n e n ta n a l y s i s ，主成分 分析) 【1 7 ”】。主要工作包括： ( 1 ) 、结合f e r e t ”】人脸库对人脸识别的预处理方法作了较为详细的介绍。 预处理的方法包括几何校正、掩模、直方图均衡化、像素灰度值归一化。 另外针对人脸库中图像尺寸太大而导致的计算量问题，采用了两种图像 缩放的方法：灰度插值和小波分解。 ( 2 ) 、介绍了p c a 人脸识别的方法，在大量实验的基础上对p c a 在各种情况 下的性能作了详细的分析，得到了一些有意义的结论，掌握了各种不同 的参数设置对识别率所造成的影响。 ( 3 ) 、实现了一个基于p c a 的实时人脸检测识别原型系统。 关键词：人脸识别，预处理，主成分分析，特征脸、p c a 。实时系统 硕士论文基于p e a 的人脸识别研究 a b s t r a c t t e c h n i q u e sf o r f a c er e c o g n i t i o nw e r e p r o p o s e db y f r a n c i sg a l t o na se a r l ya s1 8 s s q i nr e c e n ty e a r sc o n s i d e r a b l ep r o g r e s sh a sb e e nm a d ei nt h ea r e ao ff a c er e c o g l l l t l o n ： t h r o u g h t h e d e v e l o p m e n t o ft e c h n i q u e sl i k e e i g e n f a c e sc o m p u t e r s c a nn o w o u t p e r f o r mh u m a n s i nm a n yf a c er e c o g n i t i o nt a s k s ，p a r t i c u l a r l yt h o s ei nw h i c hl a r g e d a t a b a s e so ff a c e sm u s tb es e a r c h e d w h i l s tt h e s em e t h o d sp e r f o r m se x t r e m e l yw e l l u n d e rc o n s t r a i n e dc o n d i t i o n s ，t h ep r o b l e mo ff a c er e c o g n i t i o nu n d e rg r o s sv a r i a t i o n s r e m a i n sl a r g e l yu n s o l v e d t h i st h e s i sd e t a i l st h ep c a ( p r i n c i p l ec o m p o n e n t a n a l y s i s ) a l g o r i t h ma n dt h ed e v e l o p m e n to far e a l - t i m e f a c er e c o g n i t i o n s y s t e ma i m e dt o o p e r a t ei nc o n s t r a i n e de n v i r o n m e n t s w o r ki nt h i st h e s i si n c l u d i n g ： a ) p r e p r o c e s s i n go ff a c ei m a g e so nf e r e tf a c ed 4 t a b a s e 8 5 ，n 彬p r e p r o c e s s i n g m e t h o di n c l u d i n g ：g e o m e t r i cn o r m a l i z a t i o n , m 船峨搏盛a j f a me q u a l i z a t i o n ， p i x e ln o r m a l i z a t i o n t w o d i f f e r e n ts c a l en o r m a l i z a t i o nm e t h o d sa l s od i s c u s s e d ，i e g r a yi m a g ei n t e r p o l a t i o na n d w a v e l e t d e c o m p o s i t i o n b ) t h e o r y o fp c a a l g o r i t h ma n d i t sa p p l i c a t i o nt of a c er e c o g n i t i o n ag r e a tm a n yo f e x p e r i m e n t s h a v eb e e nt a k e no n o r l , y a l e ，f e r e t f a c ed a t a b a s e ，a n a l y s i so f t h e r e s u r sl e a d st om a n y m e a n i n g c o n c l u s i o n so nh o wt oi m p r o v e r e c o g n i t i o nr a t i o n c ) i m p l e m e n t e d ar e a l t i m ef a c er e c o g n i t i o ns y s t e mb a s e do np c a a l g o r i t h m k e y w o r d s ：f a c er e c o g n i t i o n ，i m a g ep r e p r o c e s s i n g ，p r i n c i p l e c o m p o n e n ta n a l y s i s ， r e a l t i m es v s t e n l u v 6 2 , 3 1 s 声嘴 本学位论文是我在等赫鹣指导下取得戆磷究成果，嚣我所知，在 本学位论文中，除了加以标注和致谢的部分於，不包含其他人已经发 表域公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历丽使用过的材料。与我一同工作的闻事对本学位论文做d j 的贡献均 毫在论文中佟了髓确静说鞠。 研究生签名：盟训年6 月驴日 学位论文使用授权声明 南京蘧工大学有较保存本学位论文豹电子和纸质文档，可敬储阅 或上网公布本学使论文的全部或部分蠹容，霹数囊有关部门凌撬梅送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的肖关规定和程序处理。 研究生签名；2 虱盗刎年二月舅尽 1 1 概述 1 1 1 介绍 第一章序论 随着社会的发展以及技术的进步，尤其是最近十年内计算机的软硬件性能的 飞速提升，以及社会各方面对快速高效的自动身份验证的要求日益迫切，生物识 别技术在科研领域取得了极大的重视和发展。由于生物特征是人的内在属性，具 有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。其中人脸特 征也是典型的生物特征之一，利用人脸图像进行身份的鉴别和确认，具有被动识 别、易于为用户接受、友好方便的特点【9 l ，因此也成为国内外各高校研究的热点 之一。 对于人类而言，识别人脸是一件非常简单的事情，也是正常人在日常生活中 每天都要进行的一项工作。但要使计算机实现同样的功能，则非常的困难。人脸 识别的研究涉及模式识别、图象处理、生理学、心理学、认知科学等多个领域的 知识。 本论文的项目背景源于南京理工大学计算机系6 0 3 教研室与公安部合作的 预研项目“人脸自动检测与识别原型系统”。项目旨在建立一个完整的从人脸检 测到识别的原型系统，并作为今后进行更深入的研究和试验的平台。该系统所要 达到的性能指标是：在限定光照的室内环境下，能够从视频流中检测到人脸，并 对所检测人脸和已建立的后台人脸库中的人脸图像进行比较，识别出该人身份。 1 1 2 人脸识别的应用 如同人的指纹、虹膜等特征一样，人脸也具有唯一性，可用来鉴别一个人的 身份。人脸识别最早可以追溯到1 8 8 8 年【1 1 ，但人脸识别的研究真正开始成为热 点是从上世纪8 0 年代末开始的，到现在已经取得了一定的研究成果，其表现是 全世界相当数量的科研院所提出了各自的人脸识别的算法，同时也出现了一批提 供人脸识别相关产品的公司。近年来，因为恐怖分子的破坏活动，尤其是自美国 9 1 1 事件之后，包括人脸识别在内的生物特征识别再度成为人们关注的热点，各 国也纷纷增加了对该领域研发的投入。 同其他的生物特征识别技术，如指纹识别、说话人语音识别、虹膜识别、 d n a 识别、步态识别等相比，人脸识别具有被动、友好、方便的特点。其应用 范围广泛，可应用于以下的几个方面1 2 j ： 嫌疑犯照片的识别匹配 信用卡、驾驶执照、护照与个人身份的识别 银行、商场安全系统 公众场合监控 门禁系统、计算机登录控制 - 专家识别系统 基于目击线索的人脸重构 嫌疑犯电子照片簿 基于残留人脸的人脸重构 基于父母人脸的小孩脸推导生成 - 随着年龄增长的人脸估算 这些应用包括了从静态的受控背景的照片到动态的、非控背景的录像等各个 方面，各项应用都有着不同的技术难度、处理方法和分析理解方式。它们基本上 可以分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。 嫌疑犯查找是静态匹配中的最常见的应用。显然，在嫌疑犯照片的拍摄过程 中，一般来说可以控制照相背景、光照条件、摄像机的分辨率以及摄像机与被拍 照人之间的距离、角度等，获得多幅人脸正面图像和侧面图像。在这些条件约束 下来获取图像，可简化人脸分割和识别算法。 公众场合监控是典型的动态匹配应用。通过摄像机得到的视频图像质量一般 较差，而且背景比较杂乱，分割人脸就相当困难，但可以利用运动图像分析来分 割运动者的人脸，也可以利用现有的人脸模型，部分重建人脸图像，在某种程度 上会比静态匹配更容易解决。这方面应用的难点是需要实时处理。 近年来，人脸识别技术研究相当活跃。除了基于代数特征方法取得新的进展 之外，人工神经网络、小波变换在人脸识别研究中都得到了很广泛的应用，出现 了不少人脸识别的新方法。下面介绍人脸识别研究的主要内容及方法。 1 2 人脸识别研究发展回顾 1 2 1 对人类自身识别目标过程的认识 在过去的三十多年中，心理学家、神经生理学家和工程技术人员对人和及其 如何识别人脸的各个方面进行了广泛的研究。心理学家、神经生理学家涉足于下 述问题：人脸的唯一性；识别人脸是在整体特征还是在局部特征下进行；表情分 析及其在人脸识别中的应用；婴儿怎样理解人脸；人脸记忆的组织结构等。其主 要结论是 3 - 9 | ： 人脸识别是大脑中一个特有的过程 在人脸感知和识别过程中，局部和整体特征均起作用。若存在明显的局部 特征时，整体特征将不起作用。 在正面人脸图像中，鼻子对人脸识别不起主要作用( 但不是不起作用) ， 但是在侧面人脸识别中，鼻子对特征点的匹配很有作用；上半部的特征比下半部 特征所起的作用大。 低频成分对整体识别有用，高频成分对细节识别起作用。 人脑的右半球对人脸图像的识别起着重要作用，而左半球对语言的处理起 重要作用。 十岁以下的儿童识别人脸较多地采用显著特征，而较少地使用整体分析。 不同的种族、性别的人脸识别的难易程度不同，这可能因为不同类型的人 脸图像具有不同的特性。 神经生理学和心理学的研究结果无疑将非常有益于人脸识别技术的发展，但 是除少数文献外【4 3 i ，机器识别人脸的研究还是独立于心理学和神经生理学的研 究的。 1 2 2 人脸识别技术的发展 人脸识别研究工作可追溯到1 8 8 8 年【l l ，f r a n c i sg a l t o n 于1 9 1 0 年在人脸侧面 轮廓图象上所做的工作【lo 】。g a l t o n 所提出的方法主要集中于检测重要的人脸特征 或是关键点( 1 ( e yp o i n t s ) ，这里典型的关键点包括眼角、嘴角、鼻尖以及脸颊等。 接着计算这些关键点之间相应的距离，以此来构造一个表述单个人脸信息的特征 向量，通过对用上述方法生成未知人脸的特征向量和已知人脸的特征向量集的比 较，选出距离最小的作为识别的结果。该方法的缺点是对人脸的偏转十分的敏感， 即使是在控制的环境下也很难进行特征点的准确定位。 由于人脸正面图像包含了人脸更明显的特征，所以对人脸正面模式的研究最 多，它的发展可分为以下三个阶段： 第一阶段以b c r t i l l o n 、a l l e n 和p a r k e 为代表，时间上从2 0 世纪5 0 到6 0 年代，主要研究人脸识别所需的面部特征。在b e r t i l l o n 系统中，用一个简单的语 句与数据库中的某一张脸相联系，同时与指纹识别相结合，提供了一个较强的识 别系统。为了提高脸部识别率，a l l e n t 1 为待识别脸设计了一种有效逼真的摹写， p a r k e 则用计算机实现了这一想法【1 2 】，并且产生了较高质量的人脸灰度图模型。 这一阶段工作的特点是识别过程全部依赖于操作人员，显然不是一种可以完成自 动识别的系统。 硕士论文 基于p c a 的人脸识别研究 第二阶段是人机交互式识别阶段，时间上是2 0 世纪7 0 年代，代表有 g o i d s t i o n 、h a r m o n 和l e s k 等人。他们用几何特征参数来表示人脸正面图像【”j ， 采用2 1 维特征矢量来表示人脸面部特征，并设计了基于这一特征表示法的识别 系统。k a y a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏距离来表示人脸特 征川，如嘴唇的高度，两眼之间的距离。更进一步的，t k a n a d 设计了一个半自 动回溯识别系统【1 5 】，创造性的运用积分投影法从单幅图像上计算出一组脸部特 征参数，再使用模式分类技术与标准的人脸相匹配。总的说来，这类方法需要利 用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段是真正的向实用化发展的机器识别阶段，近十年来随着高速度高性 能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识 别系统【1 6 1 。 近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法与以 奇异值特征为代表的代数特征方法取得了新进展外【1 7 - 2 3 ，人工神经网络( 2 4 - 3 0 、小 波交换 3 1 - 3 2 技术在人脸识别研究中都得到了很广泛的应用。而且出现了不少人脸 识别的新方法【3 3 枷】。下面将介绍人脸识别研究的主要内容和方法。 1 3 人脸识别的研究范围以及方法 人脸识别( f a c er e c o g n i t i o n ) 的研究范围广义上来讲大致包括以下五个方面 的内容： 1 、人脸定位和检测( f a c ed e t e c t i o n ) ：即从在动态的场景与复杂的背景中检 测出入脸的存在并且确定其位置，最后分离出来。这一任务主要受到光照、噪声、 面部倾斜以及各种各样遮挡的影响。 2 、人脸表征( f a c e r e p r e s e n t a t i o n ) ( 也称人脸特征抽取) ：即采用某种表示 方法表示检测出的人脸与数据库中的已知人脸。通常的表示方法包括几何特征 ( 如欧氏距离、曲率、角度) 、代数特征( 如矩阵特征向量) 、固定特征模板、特 征脸等。 3 、人脸识别( f a c ei d e n t i f i c a t i o n ) ：即将待识别的人脸与数据库中已知人脸 比较，得出相关信息。这一过程的核心是选择适当的人脸表征方式与匹配策略。 4 、表情，姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) ：即对待识别人脸的表情或 姿态信息进行分析，并对其加以归类。 5 、生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 即对待识别人脸的生理特征进行分析， 得出其年龄、性别等相关信息，或者从几幅相关的图像推导出希望得到的人脸图 像，如从父母图像推导出孩子的脸部图像、基于年龄增长的人脸图像估算等。 下面将详细介绍各方面的具体研究方法： 4 1 3 1 人脸定位和检测 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的待 检测区域与入脸模型的匹配度，从而得到可能存在人脸的区域。其方法大致可分 为基于统计和基于知识两类。前者将人脸图像视为一个高维向量，从而将人脸检 测问题转化为高维空间中分布信息的检测问题；而后者则利用人的知识建立若干 规则，从而将人脸检测问题转化为假设验证问题。 基于统计的人脸检测方法 ( 1 ) 用人脸样本集和非人脸样本集进行学习训练以产生分类器。目前国际上 普遍采用人工神经网络 2 如3 0 1 。 ( 2 ) 子空间方法p n 锄d 等将k l 变换引入了人脸检澳f l t n , 3 0 j ，在人脸识别中利 用的是主元予空间( 特征脸) ，而人脸检测利用的是次元予空间( 特征脸空 间的补空间) 。用待检测区域在次元子空间上的投影能量，也即待检测区 域到特征脸子空间的距离作为检测统计量，距离越小，表明越像人脸。子 空间方法的特点在于简便易行，但由于没有利用反例样本信息，对与人 脸类似的物体辨别能力不足。 ( 3 ) 空间匹配滤波器方法【4 3 1 。包括各种模板匹配方法，合成辨别函数方法等。 基于知识建模的人脸检测方法 ( 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些几乎是普遍适用 的规则，如五官的空间位置分布大致符合三停五眼等，检测图像中 是否有人脸即是测试该图像中是否存在满足这些规则的图像块。这种方 法一般有两种思路：一种是“从上而下”，其中最简单有效的是y a n g 等 人提出的m o s a i c 方法 4 4 1 ，它给出了基于人脸区域灰度分布的规则，依据 这些规则对图像从粗分辨率到高分辨率进行筛选，以样本满足这些规则 的程度作为检测的判据。类似的工作在有关文献 4 5 ，4 6 】中进行了讨论。 另一种恩路则是从下至上，先直接检测几个器官可能分布的位置，然后 将这些位置点分别组合，用器官分布的几何关系准则进行筛选，找到可 能存在的人脸【4 6 1 。 ( 2 ) 轮廓规则：人脸的轮廓可以简单地看出近似椭圆，而人脸检测可以通过 椭圆检测来完成。g o y i e i d a r a j u 提出认知模型方法，将人脸建模为两条直 线( 左右两侧面颊) 和上下两个弧( 头部和下巴) ，通过修正h o u 曲变换来检 测直线和弧【4 钉。近期t a n k - u s 利用凸检测的方法进行人脸检测【蚰1 。 ( 3 ) 颜色，纹理规则：同民族人的面部肤色在颜色空间中的分布相对比较集中， 颜色信息在一定程度上可以将人脸同大部分背景区分开立。l e e 等设计了 肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检 测与分割4 9 1 。d a i 利用了s g l 【) ( 空间灰度共生矩阵) 纹理图信息做为特征 进行低分辨率的人脸检测剐。s a b e r 等则将颜色，形状等结合在一起来进 行人脸检测【5 l 】。 ( 4 ) 运动规则：通常相对背景人总是在运动的，利用运动信息可以简单有效 的将人从任意复杂背景中分割出来。其中包括利用瞬眼，说话等方法的 活体人脸检测方法。文献【5 2 j 3 1 对利用运动信息进行头部运动跟踪检测进 行了综述和探讨。 ( 5 1 对称性：人脸具有一定的轴对称，各器官也具有一定的对称性。z a b m d s h l 【y 提出连续对称性检测方法【5 4 1 ，检测一个圆形区域的对称性，从而确定是 否为人脸；r i e s f i e l d 提出广义对称变换方法【5 5 1 检测局部对称性强的点来 进行人脸器官定位。还有则定义方向对称变换，分别在不同方向上考察 对称性，不仅能够用来寻找强对称点，而且可描述有强对称性物体的形 状信息，在进行人脸器官定位时更为有效。 1 3 2 人脸特征提取与识别方法 人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现 在：( 1 ) 人脸塑性交形( 如表情等) 的不确定性；( 2 ) 人脸模式的多样性( 如胡须，发 型，眼镜，化妆等) ；( 3 ) 图像获取过程中的不确定性( 如光照的强度，光源方向等) 。 识别人脸主要依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差 异而对于同一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征 提取十分困难。 在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一 化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大 小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服 光照变换的影响而提高识别率f 5 6 l 。 关于人脸特征提取和识别的方法可概述如下： 基于几何特征的方法 人脸由眼睛，鼻子，嘴巴，下巴等部件构成，正因为这些部件的形状，大小 和结构上的各种差异才使得世界上由这些每个人脸千差万别，因此对这些部件的 形状和结构关系的几何描述，可以做为人脸识别的重要特征。几何特征最早是用 于人脸侧面轮廓的描述和识别，首先根据侧面轮廓曲线确定若干显著点，并由这 些显著点到处一组用于识别的特征度量如距离，角度等。j i a 剐等由正面灰度图 中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。 采用几何特征进行人脸识别一般是通过提取人眼，口，鼻等重要特征点阿位 置和眼睛等重要器官的几何形状作为分类特, 征 5 8 , 5 9 1 ，但r o d e r 对几何特征提取的 精确性进行了实验性研究，结果不容乐观i 叫i 。 可变形模板法6 1 , 6 2 , 6 3 】可以视为几何特征方法的一种改进，其基本思想是：设 计一个参数可调的器官模型，定义一个能量函数，通过调整模型参数使能量函数 最小化，此时的模型参数即做为该器官的几何特征。这种方法思想很好，但是存 在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广； 二是能量函数优化过程十分耗时，难以实际应用。 基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大 量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形 状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类， 而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。 基于特征脸的方法 t u r k 和p o n t l a n d 提出特征脸的方法，它根据一组人脸训练图像构造主元子 空间，由于主元具有脸的形状，也称为特征脸。识别时将测试图像投影到主元子 空间上，得到一组投影系数，和各个已知人的人脸图像进行比较进行识别。在 1 7 , 1 5 中p c n t l a u d 等报告了相当好的结果，在2 0 0 个人的3 0 0 0 幅图像中得到9 5 的正 确识别率，在f e r e t 数据库上对1 5 0 幅正面人脸像只有一个误识别。但系统在 进行特征脸方法之前需要作大量预处理工作如归一化等。 在传统特征脸的基础上，研究人员注意到特征值大的特征向量( 即特征脸) 并 不一定是分类性能好的方向，据此发展了多种特征( 子空间) 选择方法，如p 锄g 的双子空间方法 ：j 4 1 ，w e n g 的线性歧义分析方法【6 5 1 ，b e l h u m e u r 的f i s h e r f a c e 方 法m 】等一事实上，特征脸方法是一种显示主元分析人脸建模，一些线性自联想， 线性压缩型b p 网络则为隐式的主元分析方法，它们都是把人脸表示为一些向量 的加权和，这些向量是训练集叉积阵的主特征向量，v a l c n t i n 对此作了详细讨论 6 7 1 。 总之，特征脸方法是一种简单，快速，实用的基于变换系数特征的算法，但 由于它本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训 练集比较像，所以它有着很大的局限性。 局部特征方法 主元子空问的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核 函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点 与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割 是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表 达十分重要基于这种考虑，a t i c k 提出基于局部特征的人脸特征提取与识别方法 f 锄。这种方法在实际应用取得了很好的效果，它构成了f a c e l t 人脸识别软件的 基础。 基于弹性模型的方法 l a d e s 等人针对畸变不变性的物体识别提出了动态链接模型( d l a ) ，将物体 用稀疏图形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连 接关系并用几何距离标记，然后应用塑性图形匹配技术来寻找最近的已知图形 【6 9 7 0 1 。w i s c o t t 等人在此基础上作了改进，用f e r e t 图像库做实验，用3 0 0 幅人 脸图像和另外3 0 0 幅图像做比较，准确率达到9 7 1 3 【3 ”。此方法的缺点是计算量 非常巨大。 n a s t a r 将人脸图像( i ) ( x ，y ) 建模为可变形的3 d 网格表面( x ，y l ( x ，y ”，从而将人 脸匹配问题转化为可变形曲面的弹性匹配问题1 7 1 , v 2 ，利用有限元分析的方法进行 曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在 于将空间( x y ) 和灰度i ( x ，y ) 放在了一个3 d 空问中考虑，实验表明识别结果明显 优于特征脸的方法。 l a n i t i s 等提出灵活表现模型方法【7 3 7 4 】，通过自动定位人脸的显著特征点将人 脸编码为8 3 个模型参数，并利用辨别分析的方法进行基本形状信息的人脸识别。 神经网络方法 目前神经网络方法在人脸识别中的研究方兴未艾。v a l e n t i n 提出一种方法， 首先提取人脸的5 0 个主元，然后用相关神经网络将它映射到5 维空间中，再用 一个普通的多层感知器进行判别，对一些简单的测试图像效果较好旧l ；i n t r a t o r 等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提 取，而监督神经网络用于分类【2 6 1 。l e e 等将人脸的特点用六条规则描述，然后根 据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识 别，效果较一般的基于欧氏距离的方法有较大改善；l a u r e n c e 等利用卷积神经 网络方法进行人脸识别，由于卷积神经网络中集成了相邻象素之间的相关性知 识，从而在一定程度上获得了对图像平移，旋转和局部变形的不变性，因此得到 了非常理想的识别效果( 7 6 】；l i n 等提出了基于概率决策的神经网络方法 ( p d b n n ) ，其主要思想是采用虚拟( 正反例) 样本进行强化和反强化学习，从而得 到较为理想的概率估计结果，并采用模块化的网络结构( o c o n ) 加快网络的学习。 这种方法在人脸检测，人脸定位和人脸识别的各个步骤上都得到了较好的应用 【7 7 】；其它研究还有：d a i 等提出用h o p f i e l d 网络进行低分辨率人脸联想与识别印1 ； g u t t a 等提出将r b f 与树型分类器结合起来进行入脸识别的混合分类器模型”q ； p h i l i p s 等人将m a t c h i n g p u r s u i t 滤波器用于人脸识别【例；还有则采用统计学习理 论中的支持向量机进行人脸分类【8 。 神经网络方法在人脸识别上的应用比起前述几类方法来有一定自q 优势，因为 对人脸识别的许多规律或规则进行显性的描述还是相当困难的，而神经网络方法 则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一 般也比较容易实现。 其他方法 b r u n e l l i 等对模板匹配方法作了大量实验，结果表明在尺度，光照，旋转角 度等各种条件稳定的情况下，模板匹配的效果优于其他方法【5 8 】，但它对光照， 旋转和表情变化比较敏感，影响了它的直接使用。g o u d a i l 等人采用局部自相关 性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定 s h 。 在最近的一些工作中，b e n a r i c 等提出v f r 的表示框架并将它用于人脸识别 的工作中【8 2 1 ，l a i n 等人研究了不同视点下的人脸匹配和识别问题闭，v e t t c r 等人 讨论了由单幅人脸图像生成其他视点的人脸图像的可能性【韶】，m i r h o s s e i n i 等则 探讨了多种信息融合的人脸识别方法【州。 1 4 本文的主要工作 本文主要从基于代数特征的主成分分析( p c a ) 方法着手，在大量实验的基础 上对影响人脸识别的因素进行了研究和探讨，主要的工作和成果如下： ( 1 ) 在美国军方的f e r e t i 髓1 人脸库上，利用随库提供的人脸关键部位( 主要 是眼睛) 的坐标信息，抠出椭圆形的人脸面部区域，然后进行图像的预处理。因 为库中不是每幅图像都提供人眼的坐标信息，选择的人脸图像也都限定为正面人 脸，所以最后处理得到的人脸图片只是f e r e t 所有人脸图片的一个子集( 原始 f e r e t 库中有1 2 0 9 人的共1 4 0 5 1 幅图片，最后抠出的人脸图片为1 2 0 4 人的共 3 3 6 8 幅图片) ，每个人的图像数目不一样，而且多数人只有2 幅图片。考虑到这 个特点后，从这个子集中再选出每人有4 幅，共1 4 6 人的人脸图片组成训练和测 试的人脸库。 ( 2 ) 主成分分析( p c a ，又叫特征脸e i g e n f a c e ) 方法在人脸识别中的应用以及 实验。本文第三章使用的人脸库有f e r e t 、o r l 、y a l e 库。分别在这三个库上， 针对影响p c a 算法识别率的一些因素：特征子空间维数、距离测量函数、缩放 算法和比例、散布矩阵的选择，等等做了大量的实验，在对实验结果分析的基础 上得出了一些有意义的结论。这个过程中得到的一些结论是下一步实现实时人脸 检测识别原型系统的基础。 r 3 ) 实现了一个基于p c a 的实时人脸检测识别原型系统。该系统目前可以 在我们自己建的7 2 人，每人3 0 幅照片的n u s t - 6 0 3 2 人脸库上做实验和演示。 系统可以在静态人脸库上作识别率的测试，也可以实时的通过摄像头捕获图像， 检测其中包含的单个人脸，再和库中的人脸进行比较识别。在光照条件比较好的 情况下，对近距离正面人脸能达到一定检测识别率。 1 5 论文各章内容安排 本文共分五章，各章内容安排如下： 第一章也就是本章，从人脸识别问题的提出再讲到目前的研究发展情况，重 点介绍了目前比较流行的各种人脸检测识别方法，对人脸识别领域涉及的问题进 行了详尽的阐述。最后给出了本文的主要研究工作与成果及各章内容安排。 第二章结合f e r e t 人脸库讨论了人脸图像的预处理算法。预处理首先利用 f 姗提供的眼睛部位的坐标信息，对人脸图像进行几何校正，之后再经过掩 模图像、直方图均衡化和像素灰度值的归一化处理，以尽可能的消除因光照以及 图像的位移等因素对最终识别率所造成的影响。此外讨论了两种图像缩放的方 法：灰度插值和小波分解。论文后续章节中的实验都是基于本章中得到的人脸库 进行的。 第三章首先对主成分分析( p c a ) 的基本原理和其在人脸识别中的应用作了 详细的介绍，之后用p c a 方法在第二章得到的f e r e t 人脸库以及o r l 库中图 像上做了实验，讨论了一些影响p c a 算法识别率的因素，对结果做了详细的分 析，得出了一些有意义的结论。 第四章在前一章的基础上，介绍了我们实现的基于p c a 的实时人脸检测识 别原型系统。包括系统的框架、系统中的各个模块和用到的一些关键技术。最后 分析了系统目前存在的一些问题和可能的原因，并对下一步的工作作了展望。 第五章总结全文并指出进一步研究的方向。 1 0 2 1 引言 第二章人脸图像预处理 对于静态图像的人脸识别而言，影响识别率的因素主要包括：年龄、成像设 备、人脸集大小、光照、偏转、表情、遮盖等；而对于视频序列中的人脸识别， 除了上述的影响因素以外，还要依赖于在识别前的人脸检测的结果。不论静态图 像或是动态的视频序列下的人脸识别，人脸图像的预处理对于识别结果都起着很 重要的作用。 本文实验主要基于f e r e t i s s ) 、o r l 、y a l e 、n u s t 6 0 3 2 人脸库。本章所论 述的人脸图像预处理主要是针对美国军方的f e r e t 人脸库，包括以下几个步骤； 几何校正，图像掩模，直方图均衡化，像素灰度值归一化。处理后得到本文实验 所使用的f e r e t 人脸库的一个子集，库中包含1 4 6 人，每人4 幅共5 8 4 幅图像， 每幅图像为仅包含人脸面部的椭圆形区域( 不包含头发) ，在每幅图像中人眼的 坐标都是固定的。 为了测试图像大小对识别率所造成的影响，文中还采用了线形插值和小波分 解两种方法对原始库图像进行缩放处理。小波分解中分别使用了两次小波、三次 小波和四次小波对原图像进行分解，每次都取分解以后的低频子图；线形插值采 用三次线形插值，图像大小缩小到和小波分解后得到的低频子图一样。 在本文第四章所实现的实时人脸检测识别原型系统中，暂时没有进行几何校 正和掩模处理。 2 2 人脸图像库 目前用来训练和测试人脸检测和识别算法的图像库应用较多的大致如表2 1 中所列。这些图像库大部分是针对人脸识别问题建立的。关于人脸库的详细描述 见下表： 表2 1 常用的人脸检测识别图像库 图像库名称位置简介 f e r e t ( 荑国军方) h t l p ：1 w w w n i s t g o v h u m a a i d , f e 此图像库包含大量的人脸图像，并 d a t a b a s er e t 且每幅图中均只有一个人脸( 有某 种表情) 。 m r rm e d i al a b s 郇：w h i t e c h a p e l m e d i a m i t e d u 包括1 6 人，每个人有不同光照、不 d a t a b a s e p u b i m a g e s 同尺寸、不同角度的2 7 幅图像。 m r rc b c l ( 生物和 h t t p ：l l w w w a i m i t e d u p r o j e c t s c 训练集6 , 9 7 7 幅图像( 2 4 2 9 幅人脸， 额士论文基于p c a 的人艟识别研究 计算学习中心)b c l s o f a v a r c - d a t a s e t s f a c e d a t a 4 5 4 8 幅非人脸) ，测试集2 4 ，0 4 5 搦 f a c ed a t as e t2 h t m t图像( 4 7 2 幅人脸，2 3 5 7 3 幅菲人脸) 。 u m i s td a t a b a s e h t r p ：i m a g e s u m i s l a c u l d d a 2 0 个人共5 6 4 幅翻像，每个人具有 强y d a t a b a s e ，h t m t 不瓣惫凌、不弱姿褰豹多壤塑像 u n i v e r s i t yo f f t p ：l i a m f f p u n i b c c h p u b i m a g e 3 0 个入3 0 0 幅正视圈( 每人l o 幅) ， b i t i f a c e l m a g e s 1 5 0 幅侧视图( 每人5 0 幅) 妇l ed a t a b a s e h 却：c v c y a l e e d u 不同光照条件下的带有表情和眼镜 匏a 黢痒 a t & t f o r e )b | l p ：a v w w u k r e s e a r c h a r t c o r n 入。每人1 0 幅豳像；和1 5 0 懈 d a 油a s e 侧丽人脸图像( 每人5 幅) h a r v a r dd a t a b a s e h t t p ：c v c y a l e e d u p e o p l e f a c u l t具有太甓剪裁过的不同光照条件下 y b e l h u m e w h t m l的正嚣入验图像 m 2 v t sd a t a b a s e h t t p ：p o s e i d o n c s d a u t h g r m 2一个多模鼙盼包盘多种图像序列的 v t s i n 如x h m d 图像麾 、i r d l l ed a m b a s e h t t p ：r v l i e c i l p u r d u e e d u 一a l e i3 , 2 7 6 幅在不同光照下带有不同袭 x a l e l x _ f a c e 情和涟挡的人齄图像 f e r e t 人脸库由荑豳国防部发超建立，其初寝魑想开发一个自动人脸识别 系统，阻应用于各种安全检测目的。其最新的人脸库包括1 4 0 5 1 懈灰度图像，镣 幢强像包含一个人验熬头酃，姿态有菠嚣熬、左撼灏鹣黎左爨嚣鹃，该疼辩人羧 的姿态霸表情有着严格的栽定。本文巾所提到的f e r e t 入脸库怒整个库的一个 子集，是从熬个库中挑出的一些具有人服坐标信息的芷面人脸图像，最后所建的 用于实验的媾包含1 4 6 个人的共5 8 4 幅鼹片，每人4 蠛。该痒中翳像包含人上攀 隽，繇爨嚣蘩经过谈处瑾，抠取窭凌僚巾稷包含入黢豹部分。 图2 if e r e t 人脸图像数据库中舆型图像 o r l 瘁囊4 0 今天，每人1 0 蕹9 2 x 1 1 2 的正嚣入脸图像组成，蕊中有些拍摄 于不同时期；人脸脸部表情与脸部细节商变化，例如：笑或不笑，睁眼或闭眼， 带与不带眼镜；人脸姿态肖变化，旋转可达2 0 度；人脸尺度也有最多1 0 的变 纯由于o r l 入羧强豫数糕痒孛戆嚣豫是头鼙嚣稼，磐不俸定位每校准楚理。 1 2 堡主丝塞薹王堡垒墼查丝望型煎塑 圈2 2 审熬久验蚕豫来嚣手o l i v e t t i - o r a c l er e s e a r c hl 碳o r l ) 5 翻。 国2 。2o r e 入黢鞠豫鼗摆痒孛擎入l o 糕缩，j 、蟊缘 y a l e 入脸库中图像来源予y a l ec e n t e rf o rc o m p u t a t i o n a lv i s i o na n dc o n t r o l ， 其中包捅1 5 个人，每人1 l 幅图像构成。这l l 幅图像分别为：正常光照条件下 ( 1 幅) 、是否戴眼睛( 2 懈) ，不同光源( 3 幅) 、不同表情( 5 幅) 下的图像。 图2 3y a l e 人脸翻像数据库中单人l l 幅缩小图像 ( 麸左到卷势粼为：c e n t e r l i g h t 。g l a s s e s 。h a p p y , l 磬蠹l 瓣燃。n og t a s s e s 。n o r m a l ，d g h t l i g h t ， s a d ，s l e e p y , s u r p r i s e d 。w i n k ) 为了构建实时人脸检测识别原型系统的需骚，我们也建了自己的人脸库： n u s t - 6 0 3 * 2 人脸库。建这个艨的时候，参考了o r l 的建库标准，也考虑以后的 扩展，所以最后建成豹库中像岔7 2 人，每人3 0 蠛灰度圈豫，其中魏l o 挺为正 瑟多表臻零藏竞爨下羲夭簸，麓2 0 蕹秀各耪姿态袭渣下魏夫骚。 罄2 4h d s t - 6 0 3 - 2 九礁璺豫数据瘴孛肇入魏l 旗缩枣踅豫 本文第兰章实验主要基干f e r e t 、o r l 、y a l e 兰个人脸库，其巾o r l 库和 y a l e 库赢接使用库中的原始阁像。f e r e t 库则怒使用预处理以后得到的一个子 集。第四辩所实现的人脸检测识别原型系统所使用的入脸库则是基予实验室自建 豹n e s t - 6 0 3 - 2 入脸痒。 2 3 人脸预处理算法 本节的预处理工作是在原始的f e r e t 人脸库上进行的。主体算法基于c s u ( c o l o r a d os t a t eu n i v e r s i t y ) 的人脸验证评估系统【8 6 1 。主要的预处理工作包括： 几何校正、图像掩模、直方图均衡化、像素灰度值归一化。观察o r l 库和y a l e 库可以发现，每个人的多幅图像中，对应的相同序列的图像( 比如第一个人的第 一幅和第二个人的第一幅图像) 中人脸位置都不相同，人脸的大小也不一样。尽 管在建库时对成像距离、光照以及被拍摄的人的位置作了严格的限定，但以上列 举的这些因素是没有办法避免的，所以通过预处理把人脸图像标准化的步骤是很 重要的。因为目前还没有实现图像中人眼坐标