（信息与通信工程专业论文）基于统计方法的人脸识别算法研究与性能评估.pdf

国防科学技术大学研究生院硕士学位论文 摘要 本文主要研究了基于统计方法的人脸识别算法和性能评估问题。论文首先概述了人脸 识别的研究背景和常见方法，给出了人脸识别系统模块的设计框图，并给出了系统性能的 评估指标。论文重点研究了目前较为成熟的基于统计方法的人脸识别算法，包括p c a 、 l d a 、i c a 等算法。对于特征提取中最佳投影空间维数选取和分类识别中距离准则的选取 问题，本文进行了深入研究，通过大量的实验，并对实验结果进行详细分析，提出了独到 的见解。另外本文还探讨了人脸识别系统性能指标的含义和计算方式，研究了各个性能指 标之间的相互影响，为系统设计提供了指导。最后，在上述研究成果的基础上，论文设计 了一个基于统计方法的准正面人脸识别系统方案，并在v c + 十平台上实现了该演示系统。 实验表明该方案具有优异的性能。 关键词： 人脸识别主成分分析线性判别分析独立成分分析距离准则性能评估 第1 页 嗡s t r k 瓯 1 1 1 ep u r p o s eo f t h i st h e s i si st os t u d y s t a t i s t i c a la p p r o a c h e st of a c er e c o g n i t i o n ( f r ) a n dt h e c o r r e s p o n d i n gp e r f o r m a n c ee v a l u a t i o nm e t h o d s f i r s t l y , s o m em a d n s t r e a mm e t h o d so ff ra r e i n t r o d u c e db r i e f l y ，a n dt h es y s t e md e s i g ni 8p r e s e n t e da s w e l la ss o m ei m p o r t a n tp e r f o r m a n c e i n d e x e s s e c o n d l y ，s o m ef e a t u r ee x t r a c t i o nm e t h o d sb a s e do ns t a t i s t i c sa r es t u d i e di nd e t a d l i n c l u d i n gp r i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) ，l i n e a r d i s c d m i n a n t a n a l y s i s ( l d a ) a n d i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) e t c t l l ep r o b l e mo fs e l e c t i n gt h ed i m e n s i o n so f p r o j e c t i o ns p a c ea n df e a t u r ec l a s s i f i c a t i o ni sa n a l y z e d w i t hp l e n t yo fe x p e r i m e n t s ，s o m en o v e l v i e w p o i n t s 盯ep r o p o s e d a b o u td i m e n s i o ns e l e c t i o na n dd i s t a n c e m e a s u r e i na d d i t i o n p e r f o r m a n c e i n d e x e sa r ed i s c u s s e d ，t h ew a yt oc a l c u l a t et h e ma n dt h er e l a t i o n sb e t w e e nt h e ma r e e x p l a i n e d ，w h i c hi sh e l p f u lf o rs y s t e md e s i g n f i n a l l y b a s eo n a b o v ed e c i s i o n s ，aw h o l e d e s i g n l a y o u ti sp r e s e n t e da n dad e m os y s t e mi sr e a l i z e do nv c + + i d ee n v i r o n m e n t e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ed e m o s y s t e md o e s w o r k k e yw o r d s f a c er e c o g n i t i o np c al d ai c ad i s t a n c em e a s u r ep e r f o r m a n c ei n d e x 第1 i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：筮缝! 塑塑受翻垒鍪塾笺蕉塑煎蒸! 瞳整鸳堡： 学位论文作者签名：蕴至丕 ：日期：如口；车，1 月j 彦日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被壹阑和借阋；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：叁主纽丑i 蕉釜监遂射墓蕉皱丛薹型童犟岱 学位论文作者签名 作者指导教师签名 日期：o ；年i f 月t o o 日 日期：哆年，1 月晰 每 国防科学技术人学研究生院碗士学位论文 图表目录 图2 1 经典特征脸识别方法流程图7 图2 2 人脸图像识别系统框图7 圈2 3 瞳孔定位法脸像分割图9 图2 4 原始包含人脸区域的大图像9 图2 5 瞳孔定位分割得到的人脸图像l o 图2 。6 部分o r l 数搌库中的人脸图像1 3 图2 7 部分h i d 数据库人脸图像：1 4 图2 8 部分f d b 人脸数据库图像= 1 4 图3 1o r l 数据库相对特征值分布图1 7 图4 1p c a 、p c a + l d a 和标准化l d a 效果比较图2 9 图4 2 广义主成分分析方法识别效果图3 0 图4 3i c a 方法识别效果图3 l 图4 4o r l 数据库投影空间维数和认证率关系图? 3 3 图4 5f d b 数据库投影空阳j 维数和认证率关系图3 3 圈4 6h i d 数据库投影空间维数和认证率关系图3 4 图4 7 不同距离分类器的识别效果图3 7 图5 i 错误接受率和认证率的对应关系图3 8 图5 2 样本个数对识别率的影响3 9 图5 。3 鉴剐率变化曲线图4 0 图5 4 最佳组合下准正面人脸库认证结果图4 l 图5 5 基于统计的正面人脸图像识别系统f l d 方法主菜单4 l 图5 6 系统认证率测试结果图4 i 图5 7 单幅人脸图像认证结果4 2 表l 计算成本比较3 2 表2 最佳认证率和数据库以及样本数目的关系3 4 第l 页 国防科学技术人学研究生院学位论文 第一章引言 本章介绍了本文的研究背景，总结了人脸谈别技术的研究现状，最后简介了本文的主 要内容。 1 1 本文的研究背景 随着信息技术的发展，社会管理日趋电子化、自动化。在这样一个庞大的社会网络体 系中，系统安全十分重要。准确地鉴别个人身份是实现系统安全的必要前提。目前，我国 的各种管理系统大部分使用证件、磁卡、i c 卡和密码，这些手段无法避免伪造或遗失，密 码也很容易被窃取或遗忘，这些都给管理者和使用者带来很大不便。基于人体生物特征的 身份鉴别方法( 如指纹识别、视网膜识别、人脸识别等) 可以避免这些麻烦，因为用于身份 鉴别的生物特征具有普通性，即任何人都具有这一特征；唯一性，不同人的这一特征各不 相同；稳定性。这一特征不随时间、外界环境等因素的变化而改变：可接受性，用这一特 征进行人体身份鉴别可以被人们接受和认可；防伪性，这特征不易被伪造、仿制。 目前，指纹识别与视网膜识别技术已比较成熟，j 下确识别率也较高，但缺点是可接受 程度较低，在国外对个人的指纹进行识别与分析常被认为是对隐私权的侵犯，同时，人们 更担心视网膜识别方法对视网膜扫描的安全性。作为人体生物特征身份鉴别方法之一的人 脸识别具有非侵犯性、直接、友好、方便等特点，所以人脸识别成为人们最容易接受的身 份鉴别方式。 人脸识别技术是当前人工智能和模式识别的研究热点，是一门崭新的生物识别技术， 在国家安全、军事安全、公安、司法、民政、金融、民航、海关、边境、口岸、保险等领 域具有极其广阔的应用前景。9 1 1 事件之后，能够在公众场合自动识别出嫌疑犯的识别系 统更成为研究的热点。为此，各国投入大量的人力和物力研究并发展各类识别技术，其中 人脸识别技术最受重视并发展迅速。与其它识别方法相比，如虹膜、指纹、d n a 检测，入 脸识别更加直接，快速。人脸识别在安检系统中的应用一定会大有作为【1 】。 虽然人类可以轻松识别出不同的人脸，但是机器对人脸的自动识别涉及到模式识别、 数字图像处理、计算机视觉、神经网络，以及生理学、心理学等许多学科的内容【2 l 。人 脸识别系统应该能够处理脸部图像的变化，但是同一张脸，随着表情、姿态、视角、光照、 年龄和装扮等因素的变化，图像的差别很大，因此自动人脸识别也是极具挑战性的工作 3 1 【4 】。 同其他生物识别技术相比，人脸识别的有以下特点：友善。人脸识别可以完全被动 地在不干扰用户行为的情况下，通过非接触方式完成识别过程。生物识别技术中唯一可 第1 页 国防科学技术人学研究生院学位论文 以被动地实现一对多辨认( 如繁忙机场出口的恐怖分子辨认) 的技术。完全自动，不需要 人为的专家解释。现有硬件完全可以满足识别任务。完全可以使用现有图像而不需要 对每位用户都进行重新注册，这一点不同于i d 卡，密码，驾照等。尽管如此，人脸识别 并不能适用于所有的场合。一些场合下，多种识别技术结合使用能产生更好的识别效果， 比如指纹识别和人脸识别结合。 人脸识别技术的主要功能有如下几个方面：面像检测和识别、面像数据模板化和检索、 面像跟踪、通过真人识别功能来防欺诈和图像评价。人脸识别技术的应用是非接触式的、 连续的和实时的，这一技术的典型应用包括身份鉴别( 一对多搜索) 、身份认证( 一对一的 比对) 、监控监视、数据压缩等等。 目前面像识别技术已经在商业的和政府的许多领域中得到了应用，包括身份确认与人 员检索系统、身份证明系统、计算机信息保护系统、犯罪嫌疑人识别系统和远距离身份识 别系统等。目前一些企业生产的人脸识别技术产品包括：面像识别门禁系统、面像识别考 勤系统、公安柿控对象监控系统、面像识别网上追逃系统、机场安检系统、面像识别出 入境边检系统、照片比对系统、网络安全认证系统、金融防伪系统、收容遣送管理信息系 统等等。 人脸识别技术的研究已经有很长的历史，一直到2 0 世纪九十年代未期，人脸识别技 术始终处于婴儿期的探索阶段。2 0 世纪九十年代以来。随着高性能计算机的出现以及多学 科的技术支持。人脸识别技术有了重大的进展，真正进入了机器自动识别阶段，人脸识别 研究受到了空前的重视。成为人工智能和模式识别领域的一大研究热点。在9 0 年代中期， 人脸识别技术权威的f e r e t 评估结果表明人脸识别技术经由婴儿期发展到标准模型期， 2 0 0 2 年的f r v t 2 0 0 2 ( f e r e t 的继承) 评估结果更是表明了人脸识别技术已经由标准模型系统 发展为商业系统，其中几家公司的部分产品已经可以满足实际应用的需求【5 】。 目前，人脸识别研究是国内的一大研究热点，有多家单位都在积极致力于人脸识别的 研究，每年有上百篇相关论文发表，陆续有数种产品问世。但是纵观现已推出的各种产品， 不是应用面窄限制条件苛刻，就是识别率、误判率等指标达不到实用要求。所以客观地说。 国内人脸识别技术研究与国外相比，仍然处于探索阶段。 1 2 人脸识别技术的研究现状 人脸识别主要依据那些不同个体之间存在较大差异而对于同一个体则比较稳定的特 征。具体的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法有基于 几何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前，静止图像的人脸议别方 法主要有三个研究方向：一是基于统计的识别方法，包括特征脸( e i g e n f a c e ) 方法和隐马 尔科夫模型( h i d d e n m a r k o v m o d e l ) 方法，二是基于连接机制的识别方法。包括一般的神经 网络方法和弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法，三是其他一些综合方法或处理非 第2 页 国防科学技术大学研究生院学位论文 二维灰度图像的方法。下面分别介绍这些方法。 基于几何特征的识别方法 采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括 人脸指定两点问的欧式距离、曲率、角度等。优点是符合肉眼识别人脸的机理，易于理解； 存储量小；对光照变化不太敏感。缺点是：特征不稳定，特别是面像受到遮挡时；鲁棒性 较差；忽略了局部细微特征，造成部分信息丢失。 模板匹配法 大多用归一化互相关，直接计算两幅图像之自j 的匹配程度。要求两幅图像上的目标要 有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和狄度归一化的工作。人脸 模板可以用一个简单的椭圆模板表示，也可以用一组独立的小模板表示。如眼睛模板、嘴 巴模板、彝子模板、眉毛模板和下巴模板等。但获得模板必须利用各个特征的轮廓，而传 统的基于边缘提取的方法很难获得较高的连续边缘，即使得到连续边缘也很难从中自动提 取所需的特征量。 特征脸( e i g e n f a c e ) 方法【6 】 是从主成分分析( p r i n c i p l ec o m p o n e n ta n a l y s i s 。p c a ) 导出的一种人脸识别和描述技 术。p c a 实质上是k l 展开的网络递推实现。本文将在第二章详细介绍特征脸方法。实验表 明，特征脸方法受光照、角度和人脸尺寸等因素的影响较大。近年来，据此发展了多种对 特征脸的改进方法，应用中较为成功的是f i s h e r 脸方法，又称为线性判别分析方法 ( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 。将在本文将在第三章详细介绍。其他基于特征脸 的人脸识别方法还包括：独立成分分析法、双子空间法【7 】、相形歧义分析方法【8 】、 t p c a ( t o p o l o g i c a lp r i n c i p a lc o m p o n e n ta n a l y s i s ) 方法等。与这些方法相比。f i s h e r 脸 方法更为业内人士所接受。 奇异值分解( s ) 的法【9 】 与k l 变换的思想比较接近但不是从统计角度出发，它将图像矩阵的奇异值作为模式 的特征矢量。s v d 方法具有如下优点：人脸图像的奇异值具有良好的稳定性，当图像上 有小的扰动时，奇异值变化不大：奇异值表示了图像的代数特征，是一种本质的内在特 征，在某种程度上，s v d 特征同时拥有代数与几何两方面的不变性，即对图像扶度值的比 例变化、平移、旋转和伸缩不变性。 隐马尔科夫模型( h j d d e n m a r k o v m o d e i ，h m m ) 【1 0 】 是用于描述信号统计特性的一组统计模型。h 删有三个主要问题：评估、估计及解码。 我们关心的是前两个问题。评估用于解决识别问题，一般采取比较有效的“向f j 向后” 法；估计用来产生用于识别的各个单元的h m m ，采取b a u m w e l c h 方法。 神经弼终方法( n e u r a ln e t w o r k ) 方法 在人脸识别应用中有很长的历史n 1 】。典型方法包括：k o h o n e n 的自联想映射神经网 第3 页 国防科学技术人学研究生院学位论文 i i i i 络；c o t t r e l l 等人的缴联b p 神经网络；i n t r a t a r 等人的无监督监督( b c m b p ) 混合神经 网络：l a w r a n c e 和g i t e s 等人的自组织特征映射( s o m ) 神经网络结合卷积神经网络；l i n 和k u n g 的基于概率决策的神经网络( p r o b a b i li s t i cd e c i s i o nb a s e dn e u r a ln e t w o r k ， p d b n n ) ；时滞神经网络( t i m ed e l a yn e u r a ln e t w o r k s ，t d n n ，它是m l p 的一种变形) ：多 模态的神经网络t d n n + r b f 等等。 弹性圈匹配方法 是一种基于动态链接结构( d y n a m i cl i n ka r c h i t e c t u r e ，d l a ) 的方法【1 2 1 。它将人脸 用格状的稀疏图表示，图中的节点用图像位置的g a b o r 小波分解得到的特征向量标记。图 的边用连接节点的距离向量标记。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏 感，但是计算量大，存储量大。后来改进的聚柬图匹配方法( w i s k o t t 【1 3 】) 和弹性图动 态链接模型的方法( l e e 【1 4 】) ，也没有克服识别率和识别速度的矛盾。 以上介绍的是几种典型的人脸识别方法，从分析中可以看出，每种方法各有其优缺点。 层前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外，还有深度人脸图像识 别【1 5 1 和红外人脸图像识别方法【1 6 1 。对于多c c d 摄像机系统，可以得到多视点人脸 图像，从而可以获得人脸的立体模型，含有三维信息的特征能有效解决人脸在光照、伪装 或年龄变化等情况下的识别问题。f r t v 2 0 0 2 测试报告表明基于三维建模的人脸识别方法是 今后人脸识别的一大发展趋势。 1 3 本文的主要内容介绍 本文研究了基于统计方法的准正面人脸图像识别算法和系统性能评估指标，结合实际 应用，给出了一套完整的人脸识别系统设计方案。 本文首先在第二章研究了人脸识别系统的模块结构和性能评估指标，然后在第三章和 第四章深入研究了特征提取和特征分类方法，给出了人脸识别系统的设计方案。最后在第 五章进行了系统性能评估。 第二章给出了基于统计方法的人脸识别系统模块设计和系统性能评估指标。结合经典 的特征脸方法人脸识别，本文给出了准正面人脸图像分割方法瞳孔定位法脸像分割， 阐述了标准化人脸图像映射为标准化人脸矢量的标准化做法，重新规范了人脸识别系统模 块设计。最后本章给出了人脸识别系统性能评估指标的相关概念，区分了认证任务和鉴别 任务，定义了认证率、错误接受率、鉴别率和误鉴别率并给出了它们的计算方法以及相互 关系。 第三章研究并实现了目前流行的基于统计的特征提取方法：主成分分析方法、线性判 别分析方法、独立成分分析方法和广义主成分分析法等。对每种方法都给出了一股性原理， 研究了它们在人脸识别中的应用步骤、算法实现和应用中需要注意的问题。 第四章比较了特征提取方法的有效性，综合理论分析和实验结果，本文认为线性判别 第4 页 国防科学技术人学研究生院学位论文 分析方法是特征提取方法中效果最好的方法。本文对于特征提取中投影空间维数的选取问 题进行了深入研究，提出了独到的见解。通过对三种人脸数据库的大量试验测试，本文认 为最佳投影空自j 维数同数据库本身和每一类人脸的样本图像数目存在定性而非定量的关 系，这一点不同于目前其他的投影空间维数选取原则。在特征分类上本文对比了余弦距离 和欧式距离两种经典的相似度匹配方法。 第五章结合大量的试验数据分析了系统的相关性能指标评估。 箱5 页 国防科学技术火学研究生院学位论文 i i 第二章人脸识别系统模块设计和系统性能评估指标 本课题的研究目的是通过详细的试验测试和结果分析，给出若干种情况下的识别策 略，最终给出一个准f 面人脸图像识别系统的解决方案。目前已有多种识别方法以及由它 们衍生出来的许许多多的改进方法，然而许多的人脸识别文献主要针对某种具体识别方法 提出改进，对于系统的识别策略和设计缺乏一个整体上的概括。本文参考经典的特征脸识 别方法流程图，结合本课题任务给出一个明确的人脸识别系统模块设计框图。目前人脸识 别研究领域的另一个问题就是对系统的性能指标没有明确的规范。本文参考f r v t 2 0 0 2 技 术报告，定义了人脸识别系统性能的相关指标。众所周知，f r v t 2 0 0 2 是f e r e t 9 4 ，9 5 ，9 6 和f r v t 2 0 0 0 系列评估的延续，它是目前人脸识别领域的最权威测评报告。 2 1 人脸识别系统模块设计 一个完整的人脸识别系统包括以下四个模块：人脸检测与分割( f a c ed e t e c t i o na n d p a t t i t i o n ) 。利用人脸检测技术，从各种不同的背景中检测是否存在人脸图像，如果存在 确定出面像的位置，分割出面像区域，对分割出的面像区域进行尺度归一，灰度均衡等标 准化处理。这一任务主要受光照、姿态、遮挡物和噪声等方面的影响。人脸表征和特征 提取( f a c er e p r e s e n t a t i o na n df e a t u r ee x t r a c t i o n ) 。确定标准化处理后人脸图像的描 述方式，通常的表示方法包括几何特征( 距离、曲率、角度等) ，代数特征( 如矩阵特征矢 量) ，特征模板和特征脸等等。人脸识别( f a c er e c o g n i t i o n ) 。就是狭义上通常说的人 脸识别，将待识别的人脸与数据库中的已知人脸进行比较，给出匹配信息。人脸识别任务 又分为人脸认证( f a c ey e r i f i c a t i o n ) 和人脸鉴别( f a c ei d e n t i f i c a t i o n ) 。前者判断待识 别图像是否是某人，后者判断待识别图像是哪一个人。性能评估模块( p e r f o r m a n c e i n d e x ) 。评估系统的各个性能指标。本节根据上述模块划分，参考经典的特征脸识别方法 流程图，给出人脸识别系统模块设计框图。 2 1 1 人脸识别系统模块设计 经典的特征脸识别方法流程图如下所示( 图2 1 ) ： 第6 页 国防科学技术人学研究生院学位论文 互墨= = = = = = = = = = = = = = = = = = 喾高皇 l ii = 窖= = 昌= 昌= = = = = 昌= = = = = 镰入田睬 朝1 【：扩 相舢朗酞p 捆雌度 曲 p l 分樊p 。： 徽 p ? 军曲b 图2 1 经典特征脸识别方法流程图 图2 1 省略了人脸识别中的图像检测分割模块。图中的“输入图像”是指分割出来并 标准化的人脸图像。本文重点研究图像的特征提取和分类识别，对图像的检测分割我们采 用了一种半自动的方法瞳孔定位法脸像分割，我们将在2 1 2 节作详细说明。图中的 “标准化”处理实质上是将数字图像矩阵一对一地映射成标准化的人脸矢量。它不仅仅是 特征脸方法中的必要步骤，还是其他诸如f l d ，i c a 方法的必要处理过程。具体做法我们 在2 1 3 节详细给出。图中的“平均脸”是指所有训练样本图像的平均值，它具有人脸图 像的形状，近似表示一般意义上人脸图像的均值图像。图中的“数据库”是指人脸特征数 据库，它是由前期的特征训练模块得到的。特征训练模块流程图和图2 1 基本一致，不同 的地方在于：训练模块中输入待测图像就是样本图像本身，训练模块中投影变换后得 到的特征就作为特征数据库。 根据本课题的实践经验，结合经典特征脸识别方法流程图，本文归纳后给出以下通用 的基于统计方法的人脸图像识别系统模块设计，如图2 2 所示。 图2 2 人脸图像识别系统框图 第7 页 国防科学技术入学研究生院学位论文 = = = = 兰i i i i i i i i ii i i i ii i i i = 此框图将人脸识别系统划分为四个模块，分别是检测分割模块、特征提取模块、分类 识别模块和性能评估模块。 与图2 1 相比，图2 2 所示的系统明确了检测分割模块。检测分割模块是入脸识别的 前提和基础，再优秀的识别方法，如果没有高质量的标准化人脸图像，也是没有用武之地。 尤其对于动态实时人脸图像检测系统，人脸图像的检测分割效果不好，后面的各项工作就 失去了实际意义。人脸图像自动检测是一项非常困难的工作，不在本文的研究范围之内， 因此本文采用的是2 1 2 节介绍的半自动瞳孔定位法入脸图像分割方法，利用人枧交互代 替自动检测，为特征提取与识别提供适当的输入数据。人工的参与解决了检测上的困难。 这在实际应用中也是一个可行的办法，因为许多应用场合都能够提供包含脸部图像区域的 原始大图像。 图2 。2 中的特征提取模块与图2 1 相比具有以下几点改进；明确了特征提取的对象 从标准化人脸图像中提取图像特征。将标准化图像区分为样本图像集和待测图像，相 应提取出的特征就是样本特征集和待测特征，如图2 2 所示。明确区分了样本图像和待 测图像。样本图像是作为普遍意义上人脸图像的抽样，样本图像集的均值代表一般意义上 的图像均值。由样本图像集得到的投影基就代表一般意义上的投影基。这是非常必要的， 对此不加以重视就会引起误解。一是图像标准化为标准人脸矢量时，平均脸是样本人脸图 像的平均脸，理解成所有样本图像和待测图像共同的平均脸或者待测图像的平均脸都会失 去它本身的含义；二是投影基是由样本图像集中得到的，理解成由样本图像和待测图像共 同得到或者由待测图像得到也会失去它本身的含义。明确了投影集是由样本图像集训练 得到的，这一点在图2 2 中以显著标记给出。其中的原因中已经作了说明。 分类谚 别模块相当于图2 1 中的相似度匹配模块，在人脸识别中它的目的就是通过相 似度度量，将待测特征匹配到相似度最高或者距离最小的样本特征类。目前已知的聚类方 法中，最经典的是欧式距离和余弦距离分类器，本文将在第五章详细研究。 性能评估模块是任何一个识别系统的必要组成部分，也是在人脸识别领域经常被忽视 的一个重要部分目前文献中常见的只是以个简单模糊的识别率来说明识别方法的优越 性。本文将在2 2 节详细介绍人脸识别性能指标的定义和计算方法。 2 1 2 瞳孔定位法脸像分割 基于统计方法的人脸识别在目前技术条件和硬件条件下，对准正面人脸图像进行识别 才有意义。对于有较大的侧视角、俯仰角或者斜视角的人脸图像，识别率急剧下降而且不 稳定，失去了实际意义。实际应用中许多场合下人脸图像是准正面图像。对准限面人脸图 像，我们采用瞳孔定位方法进行脸像分割。 具体做法是( 图2 3 ) ：以瞳孔连线和其中垂线为坐标，以瞳孔距离作为基准。取坐标 原点上下左右各3 4 ，5 1 4 ，2 4 ，2 4 个瞳孔距离所组成的矩形区域作为标准人脸区域。然后 第8 页 国防科学技术大学研究生院学位论文 再对所得图像进行旋转、尺度归一和麸度均衡处理。其中的旋转和缩放处理，本文采用的 是双三次线性插值方法。处理后的图像就是标准化的人脸图像。图2 4 给出包岔人脸区域 的原始图象，图2 5 给出利用瞳孔定位方法得到的标准化人脸图像。从图2 5 的分割结果 我们可以看到，对基本难面图像哪随有很大角度的旋转，分割出的人脸图像完全满足 2 0 1 所要求的单纯脸部区域，排除了发型、耳环、帽子等非生物特征因素的干扰 根据瞳孔位置截取面像区域示意图 7 3 4 1 l 叠7 ，l l b 丁7 i 。 r l 5 4 l 、， 、b 瞳孔位置 图2 3 瞳孔定位法脸像分割图 图2 4 原始包含人脸区域的大图象 第9 页 国防科学技术人学研究生院学位论文 图2 5 瞳孔定位分割得到的人脸图像 “瞳孔定位法正面脸像分割”是一种半自动的人机交互人脸图像检测分割方法。在全 自动脸像检测分割方法中，将瞳孔作为检测目标根据瞳孔及其近邻区域的图像特征，自 动定位出准确的瞳孔位置来代替手工瞳孔定位，从而实现全自动的人脸图像分割。 从分割好的标准化人脸图像中挑选一些典型的图像作为训练样本，这些训练样本图像 的平均图像作为图2 1 中一般人脸图像的“平均脸”。这是一种近似，当挑选的样本不能 很好的表示一般人脸时，就会造成误识别。比如某“甲”只有一幅打哈欠时的脸像作为训 练样本，系统很难正确识别“甲”的其他表情脸像。在样本图像丰富的前提下，每个人尽 量挑选多幅具有典型表情、姿态的脸像作为训练样本。本文以后章节所有的“标准化人脸 图像”都是图2 5 那样分割处理好的标准人脸脸部图像，以后不再赘述。 分割好的标准化人脸图像的下一步处理就是图2 1 中的“标准化”处理，处理得到标 准化人脸矢量。具体过程我们在2 1 3 部分介绍。 2 1 3 标准化人脸向量 经过脸像分割，我们得到图2 5 所示的标准化人脸图像，人脸图像要进行下一步处理， 必须首先将二维的数字图像转换成一个向量的形式。 每一幅数字图像都可以通过逐行列展开的方式连接成一个高维向量。比如对于一幅 w ( 列) h ( 行) 的图像，按行展- 丌成w l 维图像向量x ，向量分量和图像象素值有如下 对应关系： x ( i + w + ，) = z ( j ，_ ，) ，f = 1 ，2 ，3 ，h ；，= 1 ，2 ，3 ， ( 2 1 ) 这样就将人脸图像一一对应为人脸向量，表示高维空间中的一个点。图2 1 中，人脸 向量的范数标准化处理，既是进行单位化处理： 2 狐o ( 2 2 ) 悯表示l 2 范数，单位化处理是特征脸方法的必要中间环节，目的在于防止同一个人 的人脸图像，在光照强度不同条件下，被判断成不同人的人脸图像。 图2 1 中的平均脸对应的向量i 是平均人脸向量，用表示训练样本集中人脸图像的 第1 0 页 国防科学技术大学研究生院学位论文 个数，i 表示成： 孑= 必 ( 2 3 ) 平均人脸向量只能山训练样本集向量x 给出，它用来近似表示一般意义上的平均人脸 向量。 零均值处理也是特征脸方法的必要环节： 彤= x x ( 2 4 ) 经过以上四个步骤，所有的训练样本人脸图像都分别对应为单位化零均值人脸向量， 可以直接用来进行下一步的处理。 本文以后章节所有的“人脸向量”都是指处理好的单位化零均值人脸向量以后不再 赘述。 2 2 系统性能评估指标 目前文献中经常看到的系统性能评估术语是“正确识别率”或者“识别率”。根据 f r v t 2 0 0 2 测试【2 5 】报告，人脸识别系统的性能指标区分为认证率和鉴别率，这两者之制 是有很大的区别的。笼统的用识别率评估算法的有效性是不规范的。另外在统计判决问题 中，正确判断率总是建立在一定的错误判断率前提下，目前相当部分文献没有明确识别率 是建立在什么样的误识别率前提下。下面我们给出人脸识别问题中性能指标相关的几个定 义。 2 2 1 认证任务( v e t i f i c a t i o n ) 认证任务就是判断某人的脸像是否符合其非图像信息所声称的身份。它是一种一对一 的识别任务，一幅待测脸像仅仅和它的非图像信息所声称的一类训练样本图像相比较。比 如“卡片+ 脸像识别”门禁系统中，认证任务就是判断脸像的身份和卡片中存储的身份是 否一致。本文测试时，出各个脸像文件的文件名称给出其非图像信息身份，认证任务就是 判断由脸像本身得到的身份是否和文件名称给出的身份相一致。 真声称就是图像的真实身份和非图像信息给出的身份相一致。 假声称就是图像的真实身份和非图像信息给出的身份不一致。 接受真声称的概率称为认证率( v 6 r i f i c a t i o nr a t e ) 。 接受假声称的概率称为错误接受率( f a is ea c c e p cr a t e ) 。 作者举例说明认证率和错误接受率的计算。例如o r l 数据库，数据库由4 0 个人，每 第1 1 页 国防科学技术人学研究生院学位论文 人l o 幅，共4 0 0 幅8 b i t s 狄度图像组成，不妨每人取5 幅图像作为样本，另外5 幅图像 进行测试。 认证率计算 使用全部待测脸像都作为真声称输入。对o r l 数据库，2 0 0 幅测试图像最多只能对应 2 0 0 个真声称。各个输入脸像的特征和其文件名所声称类别的样本特征相比较，如果相似 度超过设定的域值，系统接受此真声称。接受真声称的个数在所有真声称数目中的比率就 是认证率。如果2 0 0 个真声称被接受了1 7 0 个，认证率就是8 5 0 0 。 错误接受率计算 为了更客观的给出系统性能指数，作者仍然使用全部的待测脸像都作为假声称输入。 对0 r l 数据库，每幅待测图像对应( 4 0 一i ) = 3 9 个假声称，4 0 表示总的类别数目，1 代表其 本身所属类别。2 0 0 幅待测脸像共有2 0 0 3 9 - - - - 7 8 0 0 个假声称，每个待测脸像的特征分别 和相应3 9 个假声称类的样本特征想比较，如果相似度超过设定的阈值。系统接受此假声 称。接受假声称的个数在所有假声称数目中的比率就是错误接受率。我们般通过改变设 定阈值的大小来控制错误接受率。实际应用中，一般限定错误接受率不高于1 。 2 2 2 鉴别任务( i d e n t i f i c a t i o n ) 鉴别任务就是比较待测脸像的特征和训练样本集中各个类的脸像的特征，判断待测脸 像最可能的身份。它是种一对多的识别任务，待测脸像要和样本集中的所有类别脸像逐一 比较。最后给出的鉴别结果是相似度高于设定门限值的最高的七个类。七为l 时又称为确 定性鉴别，系统只给出一个相似度最高的鉴刹结果；女为太于l 时称为不确定性鉴别，系 统给出t 个可能的鉴别结果。鉴别任务也是通常意义上的人脸识别任务。 正确鉴别就是鉴别出】下确的图像身份，即相似度最高的前| 】 个类中包含有待测图像所 属的类。 错误鉴别就是鉴别不出j 下确的图像身份，即相似度最高的前七个类中不包含待测图像 所属的类。 正确鉴别出待测图像身份的概率称为鉴别率( j d e n t j f j c a t i o nr a t e ) 。 鉴别不出币确的待测图像身份的概率成为误鉴别率( f a i5 ei d e n t ；f ；c a t i o nr a t e ) 。 鉴别率计算 类似认证率的计算，使用o r l 数据库，使用全部待测脸像进行罄别任务。如果j 下确鉴 别出2 0 0 幅待测图像中的1 6 0 个，鉴别率就是8 0 0 0 。 误鉴别率计算 为了更客观的给出系统性能指数，作者仍然使用全部的待测脸像进行误鉴别率计算。 产生误鉴别有两种情况，一种是待测图像和其本身样本类的最大相似度( 记为魏) 低于设定 门限值，一种是r 高于门限值，但是待测图像和其它样本类的前七个最大相似度均高于& 。 第1 2 页 国防科学技术人学研究生院学位论文 误鉴别的个数在所有可能误鉴别数目中的比率称必误鉴别率。计算上我们也是通过改变阐 值的大小来控制误鉴别率。 对于同一个人脸识别系统，虽然认证率和鉴别率是两种不同的指标，但是它们的都反 映了算法的有效性。实际应用中我们可以任意选取一种指标来验证算法的有效性。 2 3 人脸图像数据库介绍 人脸图像数据库客观要求数据库中每个人的样本图像集都能够充分地表征其脸部图 像特征。一般要求表情、姿态、成像环境、成像时间等因素要求有一定的变化。建立自己 的数据库就是按照2 i 节的脸像分割方法得到标准脸像，每人保证有5 幅以上的不同脸像。 典型的人脸数据库是英国的o r l 数掘库，现在人脸识别领域的许多算法都是在o r l 数据库 上进行测试的。 英国0 r l 人脸数据库 该数据库包括从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像，由4 0 个人的4 0 0 幅b b i t s 灰度图像组成，图像尺寸为9 2 x1 1 2 ，图像背景为黑色。其中脸部表情和细节均 有变化，比如笑与不笑，睁眼或者闭眼，戴或不戴眼镜，人脸的姿态也有变化，其深度旋 转和平面旋转可达2 0 度，脸部区域的尺寸也有1 0 的变化，这是目前使用最为广泛的人脸 数据库。 图2 6 部分o r l 数据库中的人脸图像 h i d 人脸数据库 该数据库是准f 面人脸图像库。该数据库由9 1 个人1 0 2 1 幅8 b i t e s 狄度图像组成， 每人7 2 8 幅图像不等，图像尺寸为8 0 x1 0 0 ，其中脸部表情和细节均有变化。 第1 3 页 国防科学技术人学研究生院学能论文 图2 7 部分h i d 数据库人脸图像 f d b 人脸数据库 该数掘库也是准j 下面入脸图像库。该数据库出1 0 0 个人1 0 0 0 幅8 b i t e s 灰度图像组成， 每人1 0 幅图像不等，图像尺寸为6 0 6 0 ，其中脸部表情和细节均有变化。 图2 8 部分f d b 人脸数据库图像 2 4 本章小结 为了进行算法有效性测试，本章首先介绍了基于统计的经典特征脸识别方法流程图， 在此基础上给出了通用的人脸识别系统框图，明确了基本正面人脸图像分割方法一瞳孔 定位法脸像分割和标准化入脸图像转化为标准化入脸矢量的做法。以后各章节的试验方案 都是以2 1 1 节的系统框图为指导的。在2 2 节本章明确了系统性能评估的相关指标概念 和计算方法，这样就规范了以后各个章节的测试结果。最后本章介绍了本文采用的三种试 验数据库。 第1 4 页 国防科学技术大学研究生院学位论文 第三章基于统计的特征提取方法 基于统计的特征提取方法是目前人脸识别特征提取中应用最广泛，性能最稳定的方法。 常见的基于统计的特征提取方法有主成分分析方法、线性判别分析方法、独立成分分析方 法等。 3 1 主成分分析方法人脸识别 主成分分析方法( p r i n c i p l ec o m p o n e n ta n a l y s i s ，简称p c a ) ，又叫做特征脸方法， 它是现代人脸识别方法中最为经典最常见的一种方法。p c a 利用统计方法直接从整个训 练图像集中提取统计特征，而不要求单独抽取鼻子，嘴巴，眼睛等五官特征。它的识别结 果具有很强的鲁棒性、稳定性。 3 1 1 主成分分析方法原理 p c a 是一种被广泛应用的子空阳j 投影技术【1 7 1 。其实质是k - l 展开的网络递推实现， 通过寻找一种线性变换，使得变换后新的随机矢量各个分量互不相关。k l 变换是图像压 缩技术中的一种最优正交变换，其生成矩阵一般为训练样本的散布矩阵。 设x 为零均值随机列矢量( 非零均值矢量做零均值处理) ，x ( f ) 为第i 分量，为x 的统 计协方差矩阵： w = 目d 】_ e i x o ) x ( d 】日1 ) x ( 2 ) 】目1 ) h 帕】1 和( 2 ) z ( 1 ) 】 目x ( 2 ) 叫哪】l( 3 1 1 ) 取赫) 】毋( 最2 ) 】：刚叔哪 j w ( i ，) = e 【x ( f ) 工( ，) 】( f ，j = 1 , 2 ，3 ，月) 渺的特征矢量矩阵p 和特征值矩阵e 满足 p w p = e 不妨令e ( 1 ，1 ) e ( 2 ，2 ) e ( 3 ，3 ) e ( 埘，r n ) ，( m 曼h ，e ( 1 ，f ) = 0 ( b 。) ) ， e ( f ，f ) ( f - 1 , 2 ，朋) 的特征矢量p ( f ) 构成投影矩阵q 。 随机列矢量x 在投影矩阵q 上的投影矢量，记作y ： y = o z = p ( 1 ) xp ( 2 ) x 尸( 小) x 】= 【y o ) y ( 2 ) y ( 州) 】 y 仍然为随机列矢量，相应y 的协方差矩阵： e y y 】= e q x ( q x ) 】= q e x x 】q = q w q ( 3 1 2 ) ( 3 1 3