（计算机应用技术专业论文）基于pca的人脸识别方法研究.pdf

摘要 摘要 人类通过视觉识别文字，感知外界信息。人脸是人机交互中相当重要的因素， 通过人脸我们可以判定许多信息。利用人脸特征进行身份验证又是最自然直接的 手段，它具有直接、友好、方便的特点，比较容易被用户接受。人脸识别技术经 过四十多年的发展，已经取得了长足的进步。目前最好的人脸识别系统在理想情 况下已经能够取得可以接受的识别性能。人脸识别技术在国家重要机关及社会安 防领域具有广泛用途。 本文首先概述介绍了人脸识别技术的发展阶段、研究内容、优势与难点、应 用领域以及几种典型的人脸识别方法。 人脸识别系统包括三个重要的环节：人脸图像预处理、人脸检测和人脸特征 提取，本文对这三个过程都进行了比较详细的探讨。在预处理环节中，文中介绍 了一些常用的图像预处理方法：彩色图像转灰度图像、图像平滑去噪、图像的灰 度归一化以及几何归一化。经过预处理的图像，对光照、人像的位置姿态以及发 型等的敏感度降低，对提高识别率有很大的帮助。在人脸检测环节中，本文采用 的是基于a d a b o o s t 的人脸检测算法，由于人脸检测技术不属于本文的研究范围， 因此没有对其进行深入研究。在人脸特征提取环节中，本文主要介绍了传统的 p c a 人脸识别方法以及对传统p c a 改进了的一种联合小波变换低频子带和p c a 的人脸识别方法。并用实验结果证明了本文提出的方法在识别率以及识别时间上 要优于传统的p c a 方法。 最后，基于本文提出的核心技术，给出了人像比对原型系统的设计方案。 关键词图像处理；人脸检测；人脸识别；主成分分析；小波变换 北京t q k 大学t 学硕卜学位论文 a b s tr a c t h u m a nr e c o g n i z ec h a r a c t e r sa n dp e r c e i v eo u t s i d ei n f o r m a t i o nb yv i s i o n h u m a n f a c ei sav e r yi m p o r t a n ti n g r e d i e n ti nt h ef i e l do fh u m a n - c o m p u t e ri n t e r a c t i o n w ec a l l r e c e i v eal o to fi n f o r m a t i o nb yh u m a nf a c e u s i n gf a c i a lf e a t u r e sf o ri d e n t i f y i n gi sa n a t u r a la n dd i r e c tw a y , b e c a u s ei t sd i r e c t ，f r i e n d l ya n dc o n v e n i e n t a l s oi t se a s i l y a c c e p t e db yu s e r s a f t e ra b o u tm o r et h a n4 0y e a r sd e v e l o p m e n t ，t h ef a c er e c o g n i t i o n t e c h n o l o g yh a sm a d eq u i t eg r e a ta d v a n c e m e n t n o w a d a y s ，t h eb e s tf a c er e c o g n i t i o n s y s t e mh a sa c h i e v e dt h ea c c e p t a b l er e c o g n i z e dp e r f o r m a n c ei nt h ei d e a ls t a t u s a n d f a c er e c o g n i t i o nt e c h n o l o g yh a sf o u n dw i d e s p r e a du s ei nt h ef i e l d so fn a t i o n a l d e p a r t m e n t sa n d s o c i a ls e c u r i t y f i r s t l y , t h ep a p e rw i l ls u m m a r i z et h ed e v e l o p m e n t a lp h a s e s ，c o n t e n t so fr e s e a r c h ， a d v a n t a g ea n dd i s a d v a n t a g e ，f i e l d so fa p p l i c a t i o na n ds e v e r a lt y p i c a lm e t h o d so ft h e f a c er e c o g n i t i o nt e c h n o l o g y t h r e ep h a s e sa r ei n c l u d e di nt h ef a c er e c o g n i t i o ns y s t e m ：f a c ei m a g e p r e p r o c e s s i n g ，f a c ed e t e c t i o na n df a c ef e a t u r e s e x t r a c t i o n a l lt h e3p h a s e sa r e i l l u s t r a t e di nd e t a i li nt h ea r t i c l e i nt h ep h a s eo fp r e p r o c e s s i n g ，t h ep a p e rw i l l i n t r o d u c es e v e r a lc o m m o ni m a g ep r e p r o c e s s i n gm e t h o d s ，i n c l u d i n gt r a n s f o r m i n g c o l o ri m a g et og r a y - s c a l ei m a g e ，i m a g e s m o o t h i n ga n dr e m o v i n gn o i s e , i m a g e g r a y - s c a l en o r m a l i z a t i o na n di m a g eg e o m e t r yn o r m a l i z a t i o n a f t e rp r e p r o c e s s i n g , i t w i l lr e d u c et h es e n s i t i v i t yt ot h el i g h t ，t h el o c a t i o no ft h em a ni nt h ei m a g e ，g e s t u r e ， h a i rs t y l ea n ds oo n ，a n di tw i l lh e l pt oi m p r o v et h er e c o g n i t i o nr a t e i nt h ep h a s eo f f a c ed e t e c t i o n t h ep a p e rw i l lu s eaf a c ed e t e c t i o nm e t h o db a s e do na d a b o o s t i ti sn o t r e s e a r c h e dd e e p l yi nt h ep a p e r ，b e c a u s et h ef a c ed e t e c t i o nt e c h n o l o g yi sn o tb e l o n g e d t ot h er e s e a r c h i n gs c o p eo ft h ea r t i c l e a n di nt h ep h a s eo ff a c ef e a t u r ee x t r a c t i o n , t h e p a p e rw i l li n t r o d u c et h et r a d i t i o n a lp c a m e t h o d a n dt h ep a p e rw i l lp r o p o s eaf a c e r e c o g n i t i o nm e t h o dc o m b i n e dd w t w i t hp c a ，w h i c hi st oi m p r o v et h ec a p a b i l i t yo f t h ef a c er e c o g n i t i o na l g o r i t h m a tl a s t ，t h ep a p e rw i l lp r e s e n tt h ed e m o n s t r a t i o np u r p o s eo fp r o t o t y p es y s t e m b a s e do nt h et e c h n o l o g yi l l u s t r a t e di nt h ep a p e r k e y w o rd si m a g ep r o c e s s i n g ；f a c ed e t e c t i o n ；f a c er e c o g n i t i o n ；p r i n c i p l ec o m p o n e n t a n a l y s i s ；d i s c r e t ew a v e l e tt r a n s f o r m 1 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 粹 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：陋日期： 第1 章绪论 第1 章绪论 1 1 课题研究背景及意义 随着社会的发展及技术的进步，社会各方面对快速高效的自动身份验证的需 求可以说无处不在，并与日俱增。例如，某人是否是我国的居民，是否有权进入 某安全系统，是否有权进行特定的交易等。尤其是自2 0 0 1 年美国“9 1 l ”恐怖袭 击发生以来，如何在车站、机场等公共场所利用高科技手段，迅速而准确地发现 并确认可疑分子成了目前世界各国在反恐斗争中普遍关注的问题。为此，各国都 投入大量人力、物力研究发展各类识别技术，使得生物特征识别技术得到了极大 的发展。生物特征识别技术主要包括：人脸识别、虹膜识别、指纹识别、步态识 别、语音识别、笔迹识别、掌纹识别以及多生物特征融合识别等。 人类通过视觉识别文字，感知外界信息。在客观世界中，有7 5 的信息量都 来自视觉，因此让计算机或机器人具有视觉，是人工智能的重要环节。由于生物 特征是人的内在属性，具有很强的稳定性和个体差异性，因此是身份验证最理想 的依据。与虹膜、指纹、基因、掌纹等其他人体生物特征识别系统相比，人脸识 别系统更加直接、方便、友好，易于为用户所接受，并且通过人脸的表情、姿态 分析，还能获得其它识别系统难以得到的一些信息。具体的各种生物识别方法的 比较参见表卜1 。 人脸识别技术在国家重要机关及社会安防领域具有广泛用途。例如：公安系 统的罪犯识别、信用卡验证、医学、档案管理、视频会议、人机交互系统等身份 识别和各类卡持有人的身份验证。同其他人体生物特征( 如：指纹、掌纹、虹膜、 语音等) 识别技术相比，人脸识别技术的隐性最好，人脸识别系统更直接、友好， 是当今国际反恐和安防最重视的科技手段和攻关标志之一。虽然人类能毫不费力 地识别出人脸及表情，但对人脸的机器自动识别确实一个难度极大的课题，它涉 及到模式识别、图像处理及生理、心理学等诸多方面的知识。人脸识别技术的研 究虽然己经取得了一定的可喜成果，但在实际应用中仍存在着许多严峻的问题。 人脸的非刚体性、姿态、表情、发型以及化妆的多样性都给正确识别带来了困难， 要让计算机像人一样方便地识别出大量的人脸，尚需不同科学研究领域的科学家 共同不懈的努力。 北京1 = 业大学丁学硕一 学位论文 表卜l 生物识别方法的优缺点比较 t a b l e1 - 1a d v a n t a g e sa n dd i s a d v a n t a g e sc o m p a r i s o na m o n g b i o l o g i c a lr e c o g n i t i o nm e t h o d s 类型优点 缺点 指纹( 1 ) 指纹是人体独一无二的特征，复 ( 1 ) 某些人或某些群体的指纹因为指 杂度足以提供用于鉴别的足够特征；纹特征很少，故而很难成像； ( 2 ) 如果我们想要增加可靠性，我们( 2 ) 每一次使用指纹时都会在指纹采 只需登记更多的指纹，鉴别更多的手集头上留下用户的指纹印痕，而这些指 指，最多可以多达十个而每一个指纹 纹痕迹存在被用来复制指纹的可能性。 都是独一无二的； ( 3 ) 读取指纹时，用户必需将手指与 指纹采集头相互接触，与指纹采集头 直接接触是读取人体生物特征最可靠 的方法； ( 4 ) 扫描指纹的速度很快，使用方便。 声音声音识别是一种非接触的识别技术用 ( 1 ) 因为变化的范围太大，故而很难进 户可以很自然地接受。行一些精确的匹配； ( 2 ) 声音会随着音量、速度和音质的变 化而影响到采集与比对的结果； ( 3 ) 目前还很容易用录在磁带上的声 音来欺骗卢音识别系统。 人脸 ( 1 ) 人脸识别是非接触的，用户不需 ( 1 ) 使用者人脸的位置与周围的光环 要和设备直接的接触； 境都可能影响系统的精确性；( 2 ) 人脸 ( 2 ) 尽管可以使用桌面的视频摄像，识别技术的改进依赖于提取特征与比 但只有比较高级的摄像头才可以有效对技术的提高； 高速的捕捉人脸图像。( 3 ) 对于因人体面部的如头发，饰物， 变老以及其他的变化可能需要通过人 t 智能米得到补偿。 2 第1 章绪论 1 2 国内外研究历史与现状 1 2 1人脸识别技术的研究历史 人脸识别的研究历史是比较悠久的，g a l t o n 早在1 8 8 8 年和1 9 1 0 年就分别在 n a t u r e ) ) 杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人 脸识别能力进行了分析，但当时还不可能涉及到人脸的自动识别问题。最早的 a f r 的研究论文见于1 9 6 5 年c h a n & b l e d s o e 在p a n o r a m i cr e s e a r c hi n c 发表的技 术报告，到现在已有四十多年的历史。近年来，人脸识别研究得到了诸多研究人 员的青睐，涌现出了诸多技术方法。尤其是1 9 9 0 年以来，人脸识别更得到了长足 的发展，每年都有大量的学术论文发表，现在，几乎所有知名的理工科大学和1 1 r 产业的主要公司都有研究组在从事人脸识别的研究。 人脸识别的发展按照其自动化的程度可以分为三个阶段： 第一阶段是机械式的识别阶段。以b e r t i l l o n 、a l l e n 和p a r k e 为代表，主要研 究人脸识别所需要的面部特征，在b e r t i l l o n 的系统中，用一个简单的语句与数据 库中的某一张脸相联系，a l l e n 为待识别脸设计了一种有效的逼真的摹写髓1 ，p a r k e 则用计算机实现了这一想法，并产生了较高质量的人脸灰度图模型口1 。这一阶段 工作的特点是识别过程全部依赖于操作人员，这显然不能完成自动识别。 第二阶段是人机交互的识别阶段。代表性工作有：g o l d s t i o n ，h a r m o n 和l e s k 用几何特征参数来表示人脸的正面图像h 1 ，他们采用2 1 维特征向量表示人脸面 部特征，并设计了基于这一特征表示法的识别系统；k a y a 和k o b a y a s h i 则采用 统计识别方法，用欧式距离来表示人脸特征，如嘴唇与鼻之间的距离，嘴唇的高 度等； t k a n a d ( m n a g a o ) 设计了一高速且有一定只是导引的半自动会说识别系 统瞄1 ，运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类 技术与标准人脸相匹配，k a n a d 的系统实现了快速、实时的处理。这个阶段需要 利用操作员的某些先验知识，且仍摆脱不了人的干预。 第三阶段是真正的机器自动识别阶段。仅十余年来，随着高速度高性能计算 机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统， 这一阶段的识别率和全自动化程度得到了提高。 近年来，国际上发表有关人脸识别方面的论文数量大幅度增加。每年的国际 会议上关于人脸识别的专题也屡屡可见，而且i e e e 还专门为人脸识别和姿态识 别召开了多次国际会议。为促进人脸识别算法的深入研究和实用化，美国国防部 发起了人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y , f e r e t ) i 程，它包括一个通 用人脸库和一套通用测试标准，用于定期对各种人脸识别算法进行性能测试，其 分析测试结果对未来的工作起到了一定的知道作用。另外，一些科研单位和公司 3 ：i 匕京t 业人学工学硕 ：学化论文 开始将研究成果转移为实用产品，p n m i r o s 公司的t r u e f a c e ，v i s i n o c s 公司的f a c e i t ， 以及z nb o c h u mg m b h 公司研制的z n f a c e 等。 1 2 2 国内人脸识别研究现状 国内关于人脸识别的研究开始于2 0 世纪8 0 年代，主要是在国际上流行方法基 础上作了发展性的工作1 。 四川大学周激流等实现了具有反馈的人脸正面识别系统，运用积分投影法提 取面部特征的关键点并用于识别，获得了较为满意的效果。他们同时尝试了“稳 定视点特征提取方法，为使系统中包含3 d 信息，他对人脸侧面剪影识别作了一 定研究，并实现了正、侧面互相参照的识别系统。 中国科技大学杨光正等提出一种基于镶嵌图的人脸自动识别方法，采用基于 知识的三级金字塔结构对人脸进行分割和定位，前两级建立在不同分辨率的镶嵌 图基础上，用于对人脸进行基本定位，第三级用一种改进的边缘检测方法进一步 检测眼睛和嘴巴。基于这些器官的匹配就可以进行人脸识别。 清华大学张长水等对特征脸的方法作了进一步的发展，提出采用类间散布矩 阵作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下大大降 低了运算量。他们对多模板的人脸检测问题也进行了研究。 南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别的研究，如 用d a u b e c h i e s 正交小波变换对人脸图像做预处理，得到它在不同频带上的四幅子 图像，对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种适用 于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。他们还 研究了基于f i s h e r 最佳判别向量的人脸识别方法，并对神经网络方法用于人脸识 别也进行了研究。 上海交通大学李介谷等则专门研究了人脸斜视图像的集合特征提取与恢复。 他们的实验建立了人脸斜视图像的数学模型，并对如何从斜视图像特征中恢复出 标准特征作了一定研究，对如何消除识别中斜视的影响，提高识别率有一定的帮 助。他们还研究了基于计算机视觉场模型的人脸识别技术。戚飞虎等在单样本正 面人脸的识别以及椭圆特征和眼睛特征的提取方面也做了大量研究工作。 东南大学何振亚等采用对称主元分析神经网络，用去冗余和权值正交相结合 的方法对人脸进行特征提取和识别。实验表明，该方法所用特征数据量小，特征 提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识别。富 清等用基于神经网络的主成分分析方法提取人脸的主特征向量，并将之用于人脸 识别和恢复。 南京邮电大学顾庆寿等提出一种基于自适应神经网络判决树的人脸识别方 4 第l 苹绪论 法，综合利用多种神经网络模型和特征提取算法，并基于此算法开发了一套人脸 识别实验系统。 哈尔滨工业大学高文等提出一种处理多姿态人脸识别的多候选类加权识别 方法，他们对彩色图像的人脸跟踪和识别也进行了大量的研究。 浙江大学章高清等基于特征曲线对人脸进行快速识别。该方法首先对不同姿 态和大小的人脸进行定位和归一化，然后在归一化后的图像上建立多重特征曲 线，作为对人脸特征的描述，最后利用傅里叶算子对特征曲线进行解析提取关键 特征，得到人脸的特征向量。采用两个人脸特征向量之间的相似性距离测度来表 示两个人脸的相似性。 与此同时，中科院计算所、中科院自动化所以及公安部等单位也进行了人脸 识别方面的研究，并取得了一定的成果。但相比之下，国内对人脸识别的研究和 重视程度还很不够，研究成果与国际水平还存在相当的距离。 1 3 课题来源及研究内容 本文的研究课题来源于自选型项目。人脸识别技术经过四十多年的发展，已 经取得了长足的进步。随着社会安防意识的提高，人脸识别技术也得到相当的重 视。近年来涌现出大量的关于人脸识别技术的文献。人脸识别的方法众多，每种 识别方法都有其各自的优缺点，目前还没有一个较为通用的方法适用于所有识别 情况。因此有些学者倾向于将多种方法综合起来，或同时利用不同种类的特征。 本文采用基于主成分分析( p c a ) 的人脸识别方法，并对其进行改进。 根据一般的人脸识别系统的基本环节，本文主要研究内容如下： ( 1 ) 详细介绍了人脸图像预处理的常用方法，包括彩色图像转灰度图像、使 用中值滤波方法进行平滑去噪、图像的灰度归一化和图像的几何归一化。 作为人脸识别系统的必备环节，介绍了一种基于a d a b o o s t 的人脸检测定 位方法。 ( 2 ) 详细研究了传统p c a 人脸识别方法。提出了一种对传统p c a 方法的改进 方法，即联合小波变换低频子带和p c a 的人脸识别方法。并通过实验验 证了提出的改进方法比传统的p c a 方法在识别率以及识别速度上都有明 显提高。 ( 3 ) 基于本文提出的核心技术进行实验仿真，给出了人脸识别原型系统的设计 与实现方案。并对系统进行性能分析，提出改进的方向。 5 北京t 业人学t 学硕i j 学化论文 1 4 论文组织结构 本文各章内容安排如下： 第一章绪论部分，介绍论文的课题背景，国内外研究现状，论文的研究 目标和内容以及论文的组织结构。 第二章详细介绍了人脸识别技术。阐述了人脸识别技术的概念、优势与 难点以及应用领域。同时，介绍了几种经典的人脸识别方法。 第三章讨论了人脸图像的预处理以及人脸检测与定位的方法。预处理部 分主要介绍了一些常用的图像处理算法，如彩色图像转灰度图像、平滑去噪、 灰度归一化、几何归一化以及离散小波变换等。人脸检测与定位部分介绍了 一种基于a d a b o o s t 的人脸检测与定位算法。 第四章是论文的重点对主成分分析( p c a ) 的基本原理及其在人脸识别中 的应用作了详细介绍，具体介绍了p c a 方法：特征向量的选取、距离测量 的求解方法。并且提出了小波变换与p c a 方法结合起来的人脸识别研究方 法。人脸图像经过小波变换后，丢弃高频子图，对于低频子图进行p c a 特 征提取与识别。 第五章根据本文提出的核心人脸识别技术，给出了人脸识别原型系统的 设计与实现。 结论部分总结全文并指出进一步的研究方向。 6 第2 章人脸识别技术概述 第2 章人脸识别技术概述 人脸因人而异，绝无相同，即使一对双胞胎，其面部也一定存在着某方面的 差异。虽然人类在表情、年龄或发型等发生巨大变化的情况下，可以毫不困难 地由脸而识别出某一个人，但要建立一个能够完全自动进行人脸识别的系统却 是非常困难的，它牵涉到模式识别、图像处理、计算机视觉、生理学、心理学以 及认知科学等方面的诸多知识，并与基于其他生物特征的身份鉴别方法以及计算 机人机感知交互领域都有密切联系。与指纹、视网膜、虹膜、基因、掌形等其 他人体生物特征识别系统相比，人脸识别系统更加直接、友好，使用者无任何 心理障碍，并且通过人脸的表情和姿态分析，还能获得其他识别系统难以得到 的一些信息。2 0 世纪9 0 年代以来，随着需要的剧增，人脸识别技术成为一个热门 的研究话题。 2 1 人脸识别的研究内容 人脸识另l j ( f a c er e c o g n i t i o n ) 是利用计算机对人脸图像进行特征提取和识别的 模式识别技术。在二十世纪七十年代初，对人脸识别的研究涉及心理学神经科学。 其直接目的是要搞清楚人是如何对人脸进行识别的。七十年代中期以后，开展了 用数学、物理和技术的方法对人脸自动识别的研究。 人脸识别一般可描述为：给定静止图像或动态图像序列，利用已有的人脸图 像数据库来确认图像中的一个或多个人。 从广义上来说，计算机人脸识别的研究内容大概可以分为以下五个方面订1 ： ( 1 ) 人脸检钡j l ( f a c ed e t e c t i o n ) 此过程包括人脸检测( d e t e c t i o n ) 、人脸定位( l o c a t i o n ) 和人脸跟踪 ( t r a c k i n g ) 。所谓人脸检测，就是给定任意图像，确定其中是否存在人脸，如果 有，给出人脸的位置、大小等状态信息。人脸跟踪指在一纽连续静态图像所构成 的动态视频中实时地检测人脸。人脸检测主要受到光照、噪声、姿念以及遮挡等 因素的影响，人脸检测的结果直接关系到后面两个过程的准确性。近年来，人脸 检测和跟踪开始成为独立的研究课题受到关注。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) 人脸表征就是提取人脸的特征，是将现实空间的图像映射到机器空间的过 程。人脸的表示具有多样性和唯一性，这其实就是人脸共性和特性之间的关系问 题：只有保持这种多样性和唯一性，才能保证人脸图像的准确描述和识别。 7 北京t 业大学t 学硕l j 学位论文 人脸图像信息数据量巨大，为提高检测和识别的运算速度以及提高图像传输 和匹配检索速度，必须对图像进行数据压缩，降低向量维数，即用尽可能少的数 据表示尽可能多的信息。人脸的表征在提取人脸特征的同时，也实现了对原始图 像数据的降维。 ( 3 ) 人脸识别( f a c er e c o g n i t i o n ) 人脸识别就是将待识别的人脸与已知人脸进行比较，得出相似程度的有关信 息。这罩所指的人脸识别是狭义的识别，是统称的广义人脸识别的一个子过程。 这一过程的核心是选择适当的人脸表示方式与匹配策略。 ( 4 ) 表情姿态分析( e x p r e s s i o ng e s t u r ea n a l y s i s ) 表情姿态分析就是对待识别人脸的表情或者姿态信息进行分析，并对其进行 分类。 ( 5 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 生理分类就是对待识别人脸的生理特征进行分析，得出其年龄、性别等相关 信息。 本文主要讲述的是狭义的人脸识别方法，不涉及表情姿态分析和生理分类方 面。一个自动的人脸识别系统应该包括三个主要的技术环节，如图2 一l 所示： 图2 1 人脸识别系统架构 f i g 2 - 1f a c er e c o g n i t i o ns y s t e ma r c h i t e c t u r e 首先是人脸检测与定位过程，即检测图像中有没有人脸，若有，将其从背景 中分割出来，并确定其在图像中的位置。一般情况下，人脸在图像中的位置预先 是未知的，比如在一些复杂背景中拍摄的照片，这时人脸的检测与定位将受到三 方面因素的影响：人脸在图像中的位置、旋转角度和尺度的不固定；发型和面部 遮挡物；图像中出现的噪声。具体的人脸检测定位以及人脸图像干扰去除方法可 以参见本文的第三章相关章节。 然后是特征提取过程。特征提取之前一般需要做几何归一化和灰度归一化处 理工作。其中，几何归一化是指根据人脸定位结果将图像中的人脸变化到同一位 置和大小；灰度归一化是指对图像进行光照补偿等处理工作，以克服光照变化的 影响。具体的几何归一化和灰度归一化处理可以参见本文的第三章相关章节。具 体特征提取的形式随识别方法的不同而不同。在本章后面章节会介绍一些常用的 人脸识别方法。 最后是人脸识别过程。数据库中预先存放了已知的人脸图像或有关的特征 第2 章人脸识别技术概述 值。识别的目的就是将别的图像或特征与数据库中的进行匹配。识别的任务主要 有两个：其一是人脸辨认，即确定输入人脸图像是库中的哪一个人，是一对多的 匹配过程；其二是人脸确认，即验证某个人的身份是否属实，是一对一的匹配过 程。人脸确认是人脸辨认的简单化，人脸辨认比人脸确认要难得多，因为人脸辨 认系统涉及到大批量数据的比对。在海量数据的检索比对中，识别精度和检索时 间是相当重要的指标。 根据输入图像的性质，可以讲人脸识别分为静态图像的人脸识别和动态图像 序列的人脸识别两大类。前者主要是用静态图像如从证件照片、罪犯照片、场景 照片上扫描的图像进行识别；后者则是用摄像机摄取的时间图像序列进行识别。 2 2 人脸识别的优势与难点 有多种生物识别方法可以对人的身份进行鉴定和识别，比如指纹匹配，虹膜 扫描，声音识别，签名对比，d n a 鉴定等，但这些方法的社会公众认知度比较 低。与以上生物识别技术相比，通过人脸图像进行个体识别在应用方面有着很多 优点，其优点随1 表现在以下方面： ( 1 ) 它是唯一不需要使用者配合的生物识别方法，操作隐蔽性强，特别适合用 于安全防范、罪犯监控、罪犯抓捕。 ( 2 ) 采用非接触式采集，没有侵犯性，容易被接受。而指纹采集，掌纹识别通 常给人造成不适的感觉。 ( 3 ) 事后追踪能力强，由普通人即可进行判断核实。而普通人一般不具备对于 指纹、虹膜的判别能力。 ( 4 ) 更符合人类的识别习惯、交互性强，适合人机界面实现。 ( 5 ) 实现设备通用、简单，尤其是采集设备成本较低。指纹采集仪、虹膜图像 采集仪、d n a 鉴别仪等都是专用的采集设备，并且设备价格昂贵。 人脸的检测和识别受到很多因素的影响阳3 ，主要包括： ( 1 ) 姿势：人脸可能以不同的姿势出现，这产生了人脸图像的外观变化； ( 2 ) 装饰：人脸的一些特殊的装饰或附属物，会给识别带来严重的后果； ( 3 ) 遮挡：人脸在某些情况下会被遮挡，从而使脸部特征缺损或丢失； ( 4 ) 背景：人所处的环境背景的复杂程度直接影响人脸检测和识别； ( 5 ) 人脸表情：人脸的外观会受到人的心理和表情的影响； ( 6 ) 成像条件：人脸在成像过程中，会受到摄像距离、拍摄方向、光照强弱等 条件的影响； ( 7 ) 年龄跨度：人脸会随着年龄的增长而有所变化。 人脸识别受到内在生理变化和外界环境变化的影响较大，因而识别精度也不 9 北京t 业大学t 学硕 j 学位论文 稳定，且使用安全性低。由于不需用户配合和用户登陆认证，可能存在侵权问题 而产生法律纠纷n0 l 。总之，众多的未知因素是人脸识别成为一个极富挑战的课题。 2 3 人脸识别的应用领域 任何一种技术的发展都是由于受到了实际应用需要的激励，人脸识别技术也 不例外，它最初的发展原因就是公安部门要把它用于罪犯照片的存档管理和刑侦 破案。现在这种技术在安全系统和商贸系统都有很多的应用。主要有以下几类应 用1 ： ( 1 ) 刑侦破案：当公安部门获得罪犯的照片后，可以利用人脸识别技术，在 存储罪犯照片的数据库里找出最相像的嫌疑犯。还有一种应用就是根据目击证人 的描述，先由警察画家画出草图，然后用这张图到数据库中去找嫌疑犯。罪犯数 据库往往很大，由几千幅图像组成。如果这项搜索工作由人工完成，不仅效率低， 而且容易出错，因为人在看了上百幅人脸图像后，记忆力会急剧下降，而由计算 机来完成则不会出现此问题。 ( 2 ) 证件验证：身份证、驾驶执照以及其他很多证件上都有照片，现在这些 证件多是由人工验证的。如果用了人脸识别技术，这项工作就可以交给机器完成， 从而实现自动化智能管理。当前普遍使用的另一类证件是用符号或条形码标记 的，比如信用卡、自动提款机等。这类卡的安全系数比较低，因为卡片可能丢失， 密码也可能被遗忘或被窃取。如果在这类卡片上加上人脸的特征信息，则可以大 大改善其安全性能。 ( 3 ) 入口控制：入口控制的范围很广，它可以是设在楼宇、单位或私人住宅 入口处的安全检查，亦可以是计算机系统或情报系统等的入口控制。在楼宇或某 些安全部门的入口处，比较常用的检查手段是核查证件。当人员频繁出入时，请 保安人员再三核查证件是很麻烦的，而且安全系数也不高。在一些保密要求非常 严格的部门，除了用证件，还要加上另外一些识别手段，如指纹识别、掌纹识别、 虹膜识别和语音识别等。人脸识别与之相比，具有直接、方便和友好的特点。当 前计算机系统的安全管理也倍受重视，通常使用由字符和数字组成的口令可能会 被遗忘或被破解，但是如果把人脸作为口令则又方便又安全。 ( 4 ) 视频监控：在许多银行、公司、公共场合等处都设有2 4 小时的视频监 控。另外侦察员在破案时有时也要用摄像机对人进行跟踪。在对图像进行集体分 析时，就要用到人脸的检测、跟踪和识别技术。 除了这几部分的应用之外，人脸识别技术还可以用在： ( 1 ) 信息安全：计算机和网络的登陆、文件的加密和解密； ( 2 ) 政府职能：电子政务、户籍管理、社会福利和保险； 1 0 第2 苹人脸识别技术概述 ( 3 ) 商业企业：电子商务、电子货币和支付、考勤； ( 4 ) 家庭娱乐：真实感游戏、虚拟现实、智能玩具。 从应用角度看，人脸确认技术可应用于自动门禁系统、身份证件的鉴别、银 行a t m 取款机以及家庭安全等领域。而人脸辨认技术可用于公安刑侦追逃以及 罪犯识别。另外，据f e r e t 的f r v t 2 0 0 2 报道，最新的一种应用形式是w a t c hl i s t t a s k n 引，它是确认和辨认两种技术的综合。其过程是，对未知身份的人脸照片， 系统首先从整个数据库中检索出一个与之最相似的照片集合( 全部数据的一个子 集) ，如果最高的相似度超过某个阈值，则在这个照片集合中进行身份的验证， 给出该人的身份。 2 4 几种典型的人脸识别方法 对人脸识别方法的研究主要有两大方向：一是基于人脸图像局部特征的识别 方法；二是基于人脸图像整体特征的识别方法。基于人脸图像局部特征的识别通 常抽取人脸器官如眼睛、眉毛、鼻子和嘴等器官的位置，尺度以及彼此间的比率 作为特征。进一步地可以用几何形状拟合人脸器官，从而以几何参数作为描述人 脸的特征。由于此类方法通常要精确地抽取出位置、尺度、比率或几何参数作为 描述人脸的特征，因此对人脸图像的表情变化比较敏感。同时，人脸器官分割的 精确度也对人脸特征的提取有一定的影响。另外，该类方法并没有充分利用到人 脸图像本身具有的获度信息，该方向已经不是人脸识别技术发展的主流方向。基 于人脸图像整体特征的人脸识别方法由于不需要精确提取人脸图像中部件的具 体信息，而且可以充分利用到人脸图像本身具有的灰度信息，因此可获得更好的 识别性能。目前，绝大部分关于人脸识别方法的文章都是基于人脸图像整体特征 的，主要有特征脸法、最佳鉴别向量集法，贝叶斯法，基予傅立叶不变特征法， 弹性图匹配法，其他相关方法有线性子空间法，可变形模型法和神经网络法。这 些方法中有的侧重于表述人脸图像的特征提取，如弹性图匹配法和傅立叶不变特 征法；有的则侧重于分类，如最佳鉴别向量集法、贝叶斯法和神经网络法；而有 的则侧重于人脸图像重构，如特征脸法和线性子空间法。所有这些基于人脸图像 整体特征的人脸识别方法均取得了一定的识别性能。 2 4 1 基于几何特征的人脸识别方法 基于几何特征的人脸识别方法主要源于人脸识别的初期研究阶段。这种方法 是以人脸各个器官和几何关系为基础进行算法设计。对于不同人来说，脸上的各 个器官，如眼睛、鼻子、嘴巴以及整个脸部的轮廓具有不同的形状、大小、相对 北京t 业人学t 学硕- i ：学位论文 位置和分布情况。 在基于几何特征的人脸识别方法中，可以用一个矢量来表示提取出来的几何 参数。如果要获得一个准确、稳定和可靠的识别结果，就要求这些被选出的几何 特征参数包含足够丰富的辨识人脸的信息，且能反映不同人脸之间的差别。也就 是说对这些矢量要求具有较高的模式分类能力，同时还要有一定的稳健性，能够 消除由于时间变迁、光照变化等其他干扰因素所带来的影响。具体来沈，这些几 何参数一般包括人脸上两个指定特征点之间的欧式距离、边缘曲率、角度等等。 在b r u n e l l i 和p o g g i o 的文献 1 2 中给出了一组典型的人脸几何特征参数： ( 1 ) 眉毛的厚度； ( 2 ) 眉毛与眼睛中心的垂直距离； ( 3 ) 描述左眼眉毛弧度的1 2 个数据； ( 4 ) 鼻子的宽度； ( 5 ) 鼻子在面部上的位置； ( 6 ) 嘴巴的垂直位置、嘴巴的宽度和上下嘴唇的亮度； ( 7 ) 描述下颚形状的1 1 个半径数据； ( 8 ) 以鼻子位置为准的脸部宽度； ( 9 ) 颧骨宽度( 半脸宽) 。 当这些几何特征参数提取出来后，就可以采用最小距离( 欧式距离) 分类器， 将待识别人脸特征向量与数据库中人脸特征矢量进行比较，取距离最近者作为识 别结果。 在实际应用过程中，基于几何特征的人脸识别方法存在着两个方面的问题： ( 1 ) 如何快速、准确地检测出入脸的重要标志点依然是一个没有很好解决的 问题。脸上的重要标志点，如瞳孔、嘴巴和鼻子，它们在脸上的位置是进行脸部 几何参数计算和测量的基准。 ( 2 ) 脸部几何特征在人脸辨识中的有效性问题，即脸部几何特征能够提供多 少可供识别的信息量。 虽然各人脸的器官在形状、大小及分布上各不相同，但是这种器官上的差异 性更多是体现在某些细微的感觉意义上。例如眼睛显得比较小、鼻子显得比较宽， 以及皮肤的纹理、颜色上的差异等等。显然，这些特征中的一部分是难以精确测 量出来或者是不能用几何参数准确描述的。所以仅靠增加脸上几何参数的数目来 提高人脸识别率是不太现实的。由于进一步改善测量精度是十分困难的，因而通 过增加脸部几何参数的数量来改善识别率结果，其影响是极小的。因此，基于少 量人脸几何特征进行大规模人脸辨识的可靠性是不容乐观的。 1 2 第2 章人脸识别技术概述 2 4 2 基于k - l 变换的特征脸方法 k l 变换是图像压缩的一种最优正交变换n 扣，人们将它应用于特征提取，形 成了子空间法模式识别的基础。将k l 变换用于人脸识别，需要假设人脸处于 低维的线性空间，不同人脸具有可分性。高维的图像空间经过k - l 变换后得到 一组新的正交基，保留其中重要的正交基从而形成了低维的人脸空间。 若将所有子空间的正交基排列成图像阵列，则正交基呈现人脸的形状，因此 这些正交基也被称为特征脸。选择那些正交基形成的子空间则有不同的考虑，与 较大特征值对应的一些正交基( 也称主分量) 能够表达人脸的大体形状，而具体 细节需要那些小特征值对应的特征向量( 也称次分量) 来加以补充描述，因此低 频成分用主分量表示，高频分量用次分量表示。采用主分量作为新的正交空间的 正交基的方法称为主分量_ ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，简称p c a ) 方法。 k - l 变换在9 0 年代初受到了很大的重视，实际用于人脸识别取得了很好的 效果，一般库德大小为1 0 0 幅左右，识别率在7 0 - 1 0 0 之间不等，这主要取决 于人脸库图像的质量。 从压缩能量的角度来看，k - l 变换是最优的，变换后的低维空间对于人脸有 很好的表达能力，然而这并不等同于对不同人脸具有较好的判别能力。选择训练 样本的散布矩阵作为k l 变换的生成矩阵，其最大特征向量反映了该样本集合 的最大分布的方向，但这是图像统计方法，而不是人脸统计方法。它查找的是图 像之间所有的差异，并根据这些差异来确定不同人脸间的距离，而不管这些差异 是由于光线、发型或背景的改变引起的，还是属于人脸本身的内在差异，因此特 征脸的方法用于人脸识别存在理论的缺陷。研究表明，特征连的方法随着光线、 角度以及人脸的尺寸的引入而识别率急剧下降。主分量的方法使得变换后的表达 能力最佳，次分量的方法考虑了高频的人脸区分能力，但是由于外在因素带来图 像差异和人脸本身带来的差异对k - l 变换而言是不加任何区分的，因此，如何 选择正交基并不根本解决问题。改进的一个思路是针对干扰所在，对输入图像作 规范化处理，包括输入图像的均值方差归一化，人脸尺寸归一化。另一种改进是 考虑到局部人脸图像受到外在干扰相对较小的情况，除了计算特征脸之外，还利 用k l 变换计算出特征眼、特征嘴等。将局部特征向量加权进行匹配得到一些 好的效果。 总之，特征脸方法是一种简单、快速、使用的基于变换系数的算法，但由于 它在本质上依赖于训练集合测试集图像的灰度相关性，而且要求测试图像与训练 集比较接近，所以存在着很大局限。 1 3 北京t 业大学t 学硕l 学位论史 2 4 3 神经网络方法 人工神经网络是一种以大量的处理单元( 神经元) 为节点，处理单元之间实 现加权值互连的拓扑结构。人工神经网络中的处理单元是人类大脑神经单元的简 化。处理单元之间的互连则是轴突、树突这些信息传递路径的简化。根据不同的 应用场合，现已研究出较多的神经元网络模型及其动态过程的算法。 人工神经元通常采用非线性的作用函数，当大量神经元连接成一个网络并动 态运行时，则构成了一个非线性动力学系统。人工神经网络具有自组织性、高维 性、模糊性、分布性和冗余性等等特点，较冯诺依曼体系的计算机更适合模拟 人类大脑的思维机