（信号与信息处理专业论文）人脸识别技术研究(2).pdf

摘 要 摘 要 人脸识别具有主动性、非侵犯性和用户友好等许多优点，是人体生物特征识 别技术的一个重要方向。因其在安全验证系统、信用卡验证、医学、档案管理、 视频会议、人机交互、系统公安(罪犯识别等)等方面的巨大应用前景而越来越成 为当前模式识别和人工智能领域的一个研究热点。虽然人类能毫不费力地识别出 人脸及其表情,但人脸的自动机器识别却是一个难度极大的课题。它牵涉到模式识 别、图像处理及生理、心理学等方面的诸多知识。 本文的研究内容主要是单人正面人脸图像的特征提取以及鉴别和匹配。论文 描述了人脸识别的主要过程：图像预处理、人脸特征的提取和匹配。基于普渡大 学人脸识别研究组提供的 ar 人脸数据库，本文采用最小欧氏距离和支撑向量机 （svm）分类器分别对人脸图像的 pca、kpca、r-lda、kdda 和中心矩特征 进行了识别试验。结果表明，svm 分类器的识别性能优于最小欧氏距离分类器， 且 kdda 特征的识别性能最优。 关键词：人脸识别 线性特征提取 非线性特征提取 分类器设计 abstract abstract face recognition is a user-friendly technique for personal identification, which is regarded as an important direction of biometric recognition techniques. it is a complex and difficult problem that is important for surveillance and security, telecommunications, digital libraries, video meeting, and human-computer intelligent interactions. despite the fact that human faces are essentially similar, we are very skilled at recognizing the identities of people from their faces. we can perform this task very easily and it is a basic and important social act although we are still puzzled with the psychological and physiological nature of the process. three major procedures in fr are presented in the research: normalization, feature extraction, classifier design, based on the ar face database provided by the face recognition research group of purdue university, five kinds of face features, including pca features, kpca features, r-lda features, kdda features and central moment features, are extracted. the recognition performances of these features are tested by using minimum euclidean distance and support vector machine (svm) classifiers. the experimental results show that the kdda features achieve the best recognition performance, and the svm classifier outperforms the minimum euclidean distance classifier. keyword: face recognition linear feature extraction nonlinear feature extraction classifier design 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列 的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也 不包含为获得西安电子科技大学或其他教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中做了明确的说明并表示了谢意。 本人签名： 日期 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的 规定， 即： 学校有权保留送交论文的复印件， 允许查阅和借阅论文； 学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或 其它复制手段保存论文。 本人签名： 日期 导师签名： 日期 第一章 绪论 1 第一章 绪论 1.1 研究背景 1.1.1 研究动机及应用价值 人脸识别是通过计算机分析人脸图像，并从人脸图像中提取有效信息进行身 份识别的过程，具体来说就是首先判断图像中是否存在人脸，如果存在，则进一 步确定每张人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息 进一步提取每张人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对 比，从而识别每张人脸所代表的个人的过程。与指纹、视网膜、虹膜、基因等其 它人体生物特征识别系统相比，人脸识别系统更加直接、友好，使用者无任何心 理障碍，因此，人脸识别已成为当前人工智能领域和人体生物特征识别技术的一 个重要发展方向。 高性能、高智能和高可用性被普遍认为是当前计算科学发展的主要方向，而 智能人机接口技术要研究的正是如何提高计算设备的智能性和可用性问题，其目 标就是要建立和谐自然的人机交互环境，使用户可以方便、自然地利用人类所熟 知的方式使用计算机。这其中一个基础性环节就是要使计算机能够准确无误地感 知包括自然语言、手势语言、面部语言在内的各种不同的人类表达方式。从20世 纪70年代起，对这些人类语言方式的机器理解研究，就成为国际上重要的研究课 题，即所谓智能人机接口技术研究。在我们日常的交往中，人脸无疑传达着丰富 而细腻的情感和心理信息，因此，以人脸识别为代表的面部感知计算从80年代末 开始也逐渐成为热门的研究方向之一，大量的国内外研究人员近30年来从各种角 度对这一问题进行了研究，尤其是人脸识别更是引起了越来越多的关注。 从应用方面来看，人脸识别在国家安全、军事安全和公共安全领域，智能门 禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用； 在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人身份验证， 社会保险人的身份验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也 具有一些有趣有意的应用，比如能够识别主人身份的智能玩具、家政机器人，具 有真实面像的虚拟游戏玩家等等。以身份验证为例，传统的pin加个人密码的安全 机制存在诸多弊端，如密码难记且易遗忘、可能被黑客攻破、密码可能被盗窃或 2 人脸识别技术研究 破译等，尤其是为了便于记忆，人们通常以自己的生日、姓名等为密码，密码的 安全性受到严重威胁。另外，在敲击密码的过程中，别有用心的人很容易窃取密 码，如采用摄像机可以录下用户所输入的密码。据统计，atm网络每年的交易额 为100亿美元左右，世界范围的atm机的错误接受率大约为30，估计每年损失 29.8亿美元。 由于上述原因，人们期待着能有一种低成本、安全、方便的身份识别方式， 而人脸识别技术因其无需用户过多参与、非接触式的数据采集方式、对用户无任 何损害、便于隐藏等优点而普遍为人们所看好，被称为21世纪最有前途的身份验 证方法。 近年来，以生物特征识别为核心的技术和产品发展很快。国际上，西方各国 政府都在大力推进生物特征识别技术的发展和应用。1998年5月，美国举行了题为 “biometrics and future of money”的听证会，讨论了关于生物特征身份认证技术 应用于银行、金融以及个人信息安全领域的情况，一致认为该技术将影响到人们 现有的生活方式和商业模式。“911”之后，联合政府又连续签署了3个国家安全 法案，要求采用生物识别技术。2003年6月，联合国国际民用航空组织公布了生物 识别技术的应用规划。规划提出，将在个人护照中加入生物特征（指纹、虹膜和 脸像），并在进入各个国家边境时进行个人身份的确认。目前此计划已在美国、 欧盟、澳大利亚、日本、韩国、南非等地区和国家通过，并将在近期逐步实施推 行。国际生物集团的统计表明：目前国际生物特征识别技术的市场已达10亿美元， 到2005年底市场将达到22亿美元的水平。同时，市场每年将以80的速度增长， 2007年可达41亿美元，而人脸识别技术将在这一市场中占有重要地位。 另外，人脸识别的研究还涉及心理学、生理学、人工智能、模式识别、计算 机视觉、图像分析与处理等多个学科领域，更是模式识别、人工智能和计算机视 觉的典型案例之一。对这一问题的研究和解决，有助于对其他对象识别问题的研 究分析和解决，人脸识别也因此成为这些基础研究领域的重要课题之一，具有重 要的理论研究价值。 1.1.2 国内外研究现状 近 30 年来，人脸自动识别的研究取得了很大的进展，从工程索引（ei）上检 索到的相关文献已达数千篇， 包括 ieee pami 在内的重要国际期刊也有专栏甚至 专刊报道人脸识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸/ 手势识别国际学术会议。 目前人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实 第一章 绪论 3 验室（mit media lab）及人工智能实验室（ai lab）、南加州大学（usc）、cmu 卡内基梅隆机器人研究及交互系统实验室、马里兰大学（umd）等。另外，一 些国家或地区也有不少研究机构在人脸识别领域进行了大量的研究工作。 90年代中后期以来，国内的许多研究机构在自然科学基金、863计划、攀登计 划等资助下，开始了对人脸识别的研究。其中主要包括清华大学计算机系、自动 化系、电子系以及哈尔滨工业大学、南京理工大学信息学院、中科院自动化所、 上海交通大学图像处理与模式识别研究所、中山大学数学系等，他们在人脸识别 研究领域都进行了许多很有意义的尝试，积累了经验。 中科院计算所人脸识别研究小组2001年5月与专门从事人脸识别商业系统开 发和销售的四川成都银晨网讯科技有限公司全面合作， 在北京成立了ict-ycnc人 脸识别联合实验室，专门研究和开发商业人脸识别系统。一年来，实验室在实时 人脸检测与跟踪、人脸识别、人脸确认等方面进行了大量卓有成效的研究，并开 发了一套具有良好鲁棒性的实时人脸检测系统； 提出了一种新的基sfs(shape from shading)的人脸识别方法， 并基于该方法开发了一套实时人脸识别/确认系统， 目前 已通过系统测试，并进入产品开发阶段。另外，实验室以成熟的“特征脸”人脸识别 技术为基础，对其进行了很多改进和扩充，尝试了基于人工神经网络、支持向量 机、线性判别分析、基于gmm（gaussian mixture models）的双子空间人脸识别方 法等，研究了基于gabor小波变换和弹性图匹配的人脸识别技术，以及基于统计模 型的人脸识别方法等。 1.2 人脸识别技术 人脸识别技术的研究已有 50 余年的历史，由于其巨大的潜在商业价值，多年 来一直受到世界各国学者的关注。人脸是人最重要的外貌特征，由于脸部信息可 以通过非接触的方式（如摄像头）取得，所以非常适合于作为身份鉴别的依据。 人脸识别是一个交叉学科，它的研究内容涉及计算机视觉、模式识别、计算机图 形学、图像处理、生理学、心理学、认知科学等。面像识别技术可采用非接触式 的、连续的和实时的方式，在国家安全、军事安全和公安、司法、民政、金融、 民航、海关、边境、口岸、保险及民用等领域实际应用具有极广阔的前景。 人脸识别技术典型应用如下： （1）身份鉴定（一对多的搜索）：在鉴定模式下，确定一个人的身份，该技 术可以快速地计算出实时采集到的面纹数据与面像数据库中已知人员的面纹数据 之间的相似度，给出一个按相似度递减排列的可能的人员列表，或简单地返回鉴 定结果（相似度最高的）和相对应的可信度。 4 人脸识别技术研究 （2）身份确认（一对一的比对）：在确认模式下，待确认人已知的面纹数据 可以存储在智能卡中或数码记录中，该技术只需要简单地将实时的面纹数据与存 储的数据相比对，如果可信度超过一个指定的阈值，则比对成功，身份得到确认。 （3）监视：可以在监控范围内发现人脸，而不论其远近和位置，能连续地跟 踪该人脸图像并将其从背景中分离出来，将面像与监控列表进行比对。整个过程 完全是无需干预的，连续的和实时的。 （4）面像数据压缩：能将面纹数据压缩以便用于智能卡、条形码或其他仅含 有有限存储空间的设备中。 （5）多通道的人机交互界面: 可以把跟踪得到的人脸表情作为一种人机交互 的手段。为使用者提供一个个性化、智能、便捷的工作环境，这也是智能计算机 研究的重要内容。 1.2.1 人脸识别系统 完整的人脸识别系统至少包括两个主要环节。首先在输入图像中找到人脸的 位置即人脸检测 15，将人脸从背景中检测出来；其次，将检测到的人脸图像进 行预处理、特征提取和识别。如下图所示： 训练样本 预处理 特征提取 分类判决 图 1 人脸识别系统 人脸识别系统虽然有诱人的应用前景，但是在现实中却还没有开始大规模的 使用。目前，国内外多所大学和研究机构已研制出一些较好的人脸识别原型系统， 一些较成熟的商业人脸识别系统也已投入应用，但从技术的角度来看，大样本集、 非可控条件下的稳健识别技术仍不成熟，用计算机自动进行人脸的定位和识别十 分困难，目前的识别效果（正确率，速度）不如其他的生物识别技术，如指纹识 别，视网膜识别等等。人们在日常生活中就进行了大量的人脸定位和识别工作， 当然全部是由人的视觉系统和大脑“自动”进行的。目前还不清楚人的视觉系统 和大脑的工作原理，因此这项人可以轻而易举完成的任务，牵涉到模式识别、图 象处理及生理、心理学等方面的诸多知识，对于目前还只会死板地执行程序指令 特征提取 预处理 投 影 测试样本 第一章 绪论 5 的计算机来说却是极端困难。 设计人脸识别系统困难主要来自以下几个方面： （1）人脸的图像数据具有高度的随机性。光照条件，脸的偏向，表情，发型， 胡子，化妆，衣饰（眼镜，帽子）等等略有变化，就可以给识别系统带来巨大的 困难。 （2）人脸的图像数据量巨大。目前出于计算量的考虑，人脸定位和识别算法 研究大多使用尺寸很小的灰度图像。一张 6464 像素的 256 级灰度图像就有 4096 个数据，每个数据有 256 种可能的取值。定位和识别算法一般都很复杂，在人脸 库较大的情况下，计算量十分大，很多情况下速度令人难以忍受。而灰度数据事 实上是丧失了像色彩，运动等等的有用信息的。如果要使用全部的有用信息，计 算量就更大了。 （3）人脸有复杂的三维表面结构，使得人脸知识的表达相对于简单动物来说 较为复杂；同时面部肌肉的运动使得人脸成为一种非刚性目标，与刚性目标识别 相比，非刚性目标的识别更困难。 （4）所有人脸都具有相似的结构特征，而同一个人的不同面部图像由于采集 条件的变化会发生较大的变化（对计算机而言） ，所以人脸识别算法必须挖掘不同 类别间微妙而可靠的差别。 同时，人脸识别的一些算法可以推广到一般的三维非刚性目标的识别上去， 促进其它模式识别问题的解决。因此，人脸识别技术仍是目前模式识别领域的一 个研究热点。 1.2.2 人脸识别方法 人脸识别算法的发展随着模式识别理论的发展也在不断的发展，一些经典的 识别算法在人脸识别领域均有研究和应用，包括模板匹配法、基于贝叶斯框架的 统计识别算法、神经网络算法等。总的看来，模式识别理论发展过程经历了三次 重要突破 6。其一是 20 世纪 60 年代以感知器算法（perception algorithm）为代表 的学习、检测数据集合的线性关系的算法。其二是 20 世纪 80 年代以多层后向传 播神经网络及决策树学习算法为代表的学习、检测数据集合中的非线性关系的算 法。其三是 20 世纪 90 年代中期发展起来的基于核方法的学习算法，可以有效分 析数据集合中的非线性关系，同时保持了线性学习算法的一些优点，包括计算简 单、推广能力强等。该类方法通过核函数建立了一个系统的理论分析框架，在解 决模式分类中的“过学习” （over fitting） 、复杂非线性模式分析、模式稀疏化表示、 计算复杂度等问题方面有较大优势，逐渐成为当前机器学习、模式识别领域的一 6 人脸识别技术研究 个重要分支。以支撑向量机（svm） 7为代表，核学习算法近年来发展迅猛，在 语音、图像、生物信息识别等领域均有应用。此外，核方法和传统的数据降维、 特征提取方法相结合，又衍生出新的一类非线性特征提取及模式分析算法，例如 核主成分分析 （kpca） 8 、 核独立成分分析 （kica） 9 、 核线性可分性分析 （klda） 10等，这些方法在分析具有复杂分布结构的数据方面显示了独特的优势。总的看 来，基于核方法的模式识别的研究方兴未艾，具有良好的应用前景。基于核方法 在高维非线性空间中提取人脸特征，并有效地进行稀疏化表示，对提高识别性能， 简化运算量，提高算法的稳健性及可实现性均有重要意义，可望为人脸识别技术 的发展提供一条新的途径。 人脸识别的研究范围广义上讲大致包括以下 5 个方面的内容： （1）人脸检测：即从各种不同的场景中检测出人脸的存在并确定其位置。这 一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。 （2）人脸表征：即采取某种表示方式表示检测出的人脸和数据库中的已知人 脸。通常的表示法包括几何特征（如欧氏距离、曲率、角度） 、代数特征（如矩阵 特征矢量） 、固定特征模板、特征脸、云纹图等。 （3）人脸识别：即将待识别的人脸与数据库中的已知人脸比较，得出相关信 息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人 脸的表征方式密切相关。 （4）表情/姿态分析：即对待识别人脸的表情或姿态信息进行分析，并对其加 以归类。 （5）生理分类：即对待识别人脸的生理特征进行分析，得出其年龄、性别等 相关信息。 其中人脸表征和识别是人脸识别过程的主要步骤，也是本文主要研究内容。 人脸表征也称为人脸特征提取、人脸描述，是在人脸定位的基础上进行人脸各种 特征提取的过程，也是对人脸进行特征建模的过程。建立的特征模型主要用于区 分各人脸之间的差异性，为人脸识别打下基础。 人脸识别大致可分为以下几类方法： （1） 基于几何特征的方法 1112 几何特征最早是用于人脸识别的。人脸由眼睛、鼻子、嘴巴、下巴等部件构 成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千 差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重 要特征。 将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计分类器 达到识别目的。这就要求选取的几何特征矢量具有一定的独特性，能够反映不同 人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的影响。几 第一章 绪论 7 何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括 人脸指定两点间的欧式距离、曲率、角度等。例如，用改进的积分投影法提取出 用欧式距离表征的低维人脸特征矢量用于模式分类，这些特征有眉毛厚度及眉毛 与眼睛中心的垂直距离；眉毛弧度的描述数据；鼻宽及鼻的垂直位置；嘴宽、上 下唇及嘴的垂直位置；下巴形状的描述数据；鼻孔位置的脸宽；半脸宽（鼻孔与 眼睛中间位置的脸宽）等等。人脸器官的关键点分别为对应于不同的积分投影方 式产生出的波峰波谷，根据人脸结构的先验知识，可以得出人脸各器官之间的几 何位置关系。 这种方法对各器官的位置要求很高，因此，当人脸表情发生变化的时候，这 种方法的识别错误率就会比较高。同时，采用一般几何特征只描述了部件的基本 形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分 类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较 大。 （2）基于弹性模型匹配方法 弹性模型匹配方法 1315 的思想是将人脸上的一些特征点作为基准点构成弹性 图，每个基准点存储一串具有代表性的特征矢量，采用分级结构的弹性图，去除 一些冗余节点，形成稀疏的人脸描述结构。通过测试样本和特征样本的弹性匹配 来完成识别。弹性模型匹配方法有很多，例如：在人脸图像上放置一组矩形网格 节点，每个节点的特征用该节点处的多尺度 gabor 幅度特征描述，各节点之间的 连接关系用几何距离表示，从而构成基于二维拓扑图的人脸描述，根据两个图像 中各节点和连接之间的相似性进行人脸识别。 还有将人脸图像表示为可变形的 3d 网格表面，将人脸匹配问题转换为曲面匹配问题，利用有限元分析的方法进行曲 面变形，根据两幅图像之间变形匹配的程度识别人脸等。 （3） 神经网络方法 目前神经网络方法在人脸识别中的研究方兴未艾。valentin 提出一种方法， 首 先提取人脸的 50 个主元，然后用自相关神经网络将它映射到 5 维空间中，再用 一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；intrator 等提 出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取， 而监督神经网络用于分类。lee 等将人脸的特点用六条规则描述，然后根据这六 条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效 果较一般的基于欧氏距离的方法有较大改善；laurence 等采用卷积神经网络方法 进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在 一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的 识别结果；lin 等提出了基于概率决策的神经网络方法(pdbnn)，其主要思想是 采用虚拟（正反例）样本进行强化和反强化学习，从而得到较为理想的概率估计 8 人脸识别技术研究 结果， 并采用模块化的网络结构 （ocon） 加快网络的学习。 这种方法在人脸检测、 人脸定位和人脸识别的各个步骤上都得到了较好的应用。其它研究还有：dai 等 提出用 hopfield 网络进行低分辨率人脸联想与识别； gutta 等提出将 rbf 与树型 分类器结合起来进行人脸识别的混合分类器模型； phillips 等人将 matching pursuit 滤波器用于人脸识别；还有人用统计学习理论中的支撑向量机（svm）进行人脸 分类。 神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为 对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则 可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般 也比较容易实现 （4）基于线性和非线性子空间的方法 基于子空间的方法 16-18,19-22是基于图像像素本身的，主要是利用计算模板和 图像灰度的自相关性来实现识别功能，一般来说模板匹配法要优于基于几何特征 法。 目前，在诸多子空间方法中，应用最广泛的是特征脸法（pca） 23-27，这是 针对人脸整体特征的研究，利用karhunen-lobve变换原理，将图像表示为一些低 维的正交基组成的子空间，然后采用最小距离准则进行人脸识别。线性判别分析 （lda） 28-31是一种较为普遍的用于特征提取的线性分类方法。它使投影后的模 式样本的类间散布矩阵最大而类内散布矩阵最小，也就是说，投影后保证模式样 本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳 的可分离性。线性判别分析提取的特征向量集强调的是不同人脸的差异而不是照 明条件、人脸表情和方向的变化。因而，采用此方法对光照条件、人脸姿态等的 变化不太敏感，从而有助于提高识别效果。但是传统的算法常常遇到的一个问题 是样本类内散度矩阵通常是奇异的，即“小样本集合问题” 。针对这一问题已有了 许多改进方法并取得了很好的识别效果。独立分量分析（ica）是一种很有效的提 取方法。与 pca 相比，ica有两个优势：一是 ica 获得的独立分量不需要满足 正交关系， 能够消除象素间的高阶统计相关性， 而 pca 只能消除象素间的二阶统 计相关性；二是 ica 获得的一组矢量比本征矢量更具空间局部描述性，具有更好 的人脸描述能力。 借鉴 svm 的 kernel 方法，pca、lda 和 ica 等都被扩展到了核空间。与线 性子空间方法相比，基于 kernel 的方法获得了更好的识别效果。核主成分分析 将样本 x 映射到某个高维空间h上，在h中使用线性理论，巧妙的避开以显式的 映射形式来考虑特征空间，而只考虑特征空间的内积运算，而这种内积运算是可 以用原空间中的函数实现的，这个在原空间中用来计算特征空间的内积的函数被 称为核函数。一般的核函数表示为()( ) ( )yxyxk,=，()为样本 x 到特征空 第一章 绪论 9 间h的映射函数。 （5）其他方法 brunelli 等对模板匹配方法作了大量实验，结果表明在尺度、光照、旋转角度 等各种条件稳定的情况下，模板匹配的效果优于其他方法，但它对光照、旋转和 表情变化比较敏感，影响了它的直接使用。goudail 等人采用局部自相关性作为人 脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定。 在最近的一些工作中，benarie 等提出 vfr 的表示框架并将它用于人脸识别 的工作中，lam 等人研究了不同视点下的人脸匹配和识别问题，vetter 等人讨论 了由单幅人脸图像生成其他视点的人脸图像的可能性，mirhosseini 等则探讨了多 种信息融合的人脸识别方法。 1.3 论文研究内容及基本结构 本文实验使用的数据是普渡大学人脸识别研究组采集的 ar 人脸库。 库中每个 人有 26 幅图，前 13 幅与后 13 幅是同一人间隔两星期照的两组照片，图像包括了 不同的表情、不同的灯光、不戴/戴墨镜、不戴/戴围巾等各种情况。其中 1 人的人 脸图像如图 2 所示。 图 2 ar 人脸数据库中一个人的全部图像 本文基于以上数据，使用 19 个人共 247 幅人脸图，采用最小欧氏距离和支撑 10 人脸识别技术研究 向量机两种分类方法对人脸图像的 pca、kpca、r-lda、kdda 和中心矩特征 进行了识别试验。论文第二章给出了人脸图像的预处理方法，第三章介绍中心矩、 pca、r-lda、kpca、kdda 五种特征提取方法，第四章介绍最小欧氏距离和支 撑向量机两种分类方法，给出试验结果。 第二章 人脸识别中的图像预处理 11 第二章 人脸识别中的图像预处理 2.1 引言 由于人脸识别系统中所用图像要受到各种因素的影响，例如：图像的质量、 图像的背景、图像的光照情况、图像的大小、图像中人脸的旋转、图像中人脸的 脸部表情的不同等等，这些因素会造成人脸识别的困难和识别率的下降。因此经 过定位后的人脸图像通常要经过预处理再进行特征的提取。 2.2 图像预处理方法及仿真结果 目前的人脸识别算法中，首先都要将人脸图像进行归一化，本文也不例外。 通常的图像预处理由人工完成， 本文结合 ar 人脸图像的具体特点， 将图像经过剪 切、下采样、去掉背景和头发来自适应提取人脸，其具体过程如下： （1）图像中浅色的背景对后面的处理有着负面的影响，所以首先要在不影响 人脸灰度的情况下选择适当的背景灰度范围将其变为黑色。这里所选的灰度为 252，当图像矩阵元素大于 252 时，将其设为 0。 图 2 预处理前的人脸图像 （2）为了减弱不同发型对识别结果的影响，我们通过一个椭圆来对人脸图像 进行格式化。设定椭圆的大小，即规定椭圆短轴和长轴的尺寸，标准以刚好能够 覆盖人的脸为准（由上额到下巴）尽量除去多余的干扰，椭圆定义如下： 1 )()( 2 2 0 2 2 0 = + r yy s xx （2-1） 其中 x 和 y 分别表示矩阵元素的行坐标和列坐标，是椭圆圆心。s 和 r 分别表示椭圆的短轴和长轴。将椭圆与图像的其中两个边相切，记下此时椭圆的 圆心（如图 3） 。 ),( 00 yx 12 人脸识别技术研究 图 3 搜索起始时椭圆的位置 图 4 搜索结束时椭圆的位置 将圆心沿着其所在的行和列进行各个象素点的扫描，同时记下每个圆心对应 的椭圆中灰度大于某一个值的象素点个数 n， 直到椭圆与图像的另两边相切如图 4， 此时扫描完毕。由于在整个图像中人脸的灰度值最大，所以选取其中 n 最大的椭 圆即为所求。 （3）将图像剪切，只保留所需椭圆即可，令椭圆外的图像灰度值为零，即可 得到预处理后的人脸图像，如图 5 所示。 图 5 预处理后的人脸图像 对本文所用的人脸图像，我们选取本长轴为：l=80；短轴为：r =62。此时的 图像只包含了人脸，几乎去处了所有背景。图像也由原来的 576768 变成了 179 123，大大减少了运算量。 2.3 本章小节 基于影响人脸识别的各种因素，预处理常常有以下几个目的：把人脸图像标 准化；提高对比度；抑制背景而突出面部特征；去除噪声和其它不利于识别的信 息。 通常的预处理是人工手动完成的，这样做费时费力而且，在我的应用中，应 用自适应方法提取椭圆形人脸，去除了头发和背景对识别的影响，同时由于去除 了图像中大量无用的信息，使得图像尺寸大大缩小，减少了运算量，为后面的处 第二章 人脸识别中的图像预处理 13 理打下了很好的基础。 14 人脸识别技术研究 第三章 人脸识别特征提取方法 3.1 引言 在计算机视觉中，图像特征的提取有着十分重要的意义。任何识别过程的第 一步，不论是用计算机还是人去识别，都要首先分析各个特征的有效性并选择最 有代表性的特征。可以把特征分为三类：1、物理的，2、结构的，3、数学的。人 们通常利用物理和结构特征来识别对象,因为这样的特征容易被视觉、触觉以及其 他感觉器官所发现。但在使用计算机去构造识别系统时应用这些特征有时比较复 杂，因为一般说来用硬件去模拟人类感觉器官是很困难的，而机器在抽象数学特 征的能力方面又比人强得多。通常数学特征包括统计平均值、相关系数、协方差 阵的本征值及本征向量等。 通过对对象进行测量，可以得到对象的一种描述，即用测量空间的一个点来 表示这个对象。例如，通过摄像机可以把一个人的脸转换为一个二维灰度阵列叫 做物体的图像，以便和对象本身相区别。显然在大多数情况下，不能直接在测量 空间中进行分类设计。这一方面是因为测量空间的维数很高（一个 256256 的灰 度阵列图像相当于 256256 维测量空间的一个点），不适于分类器的设计。更重 要的是这种描述并不能直接反映对象的本质，并且它随着人脸光照、表情等等因 素的变化而变化。因此为了进行分类器设计，需要把图像从测量空间变换到维数 大大减少的特征空间，被研究的图像在这个特征空间种就由一个特征向量来表示。 特征提取的方法有很多，从特征提取、图像建模采取的技术路线来看，人脸 识别大致可分为基于几何特征的方法、基于弹性模型匹配方法、基于模板匹配法。 基于模板匹配的特征提取方法是基于图像像素本身的，主要利用计算模板和图像 灰度的自相关来实现识别功能。一般来说，模板匹配的方法要优于基于几何特征 的识别方法。 模板匹配方法大致可分为线性子空间法和非线性子空间法。线性子空间法代 表性的方法包括通过主成分分析（pca）提取特征脸以及独立分量分析（ica）方 法。 近年来有在此基础上衍生出非线性子空间方法， 包括核pca(kpca)、 kica、 klda 32-34等。总的看来，基于子空间的方法在人脸识别中起着十分重要的作用，是人 脸识别技术的主流方法。 第三章 人脸识别特征提取方法 15 3.2 中心矩特征 由于图像中心矩的大小不随图像原点选取的不同而变化，即具有坐标平移不 变性，因此基于中心矩的特征提取方法被广泛用于图像处理和模式识别领域。 在计算图像的中心坐标前，要对我们得到的预处理的图像进行灰度归一，设 为预处理后的图像灰度矩阵，具体归一方法如下： (nmf) ) （3-1） ()()( = = m i n j jifjifjig 11 ,/, 则，且 。()1 , 0,jig()1, 11 = = m i n j jig()jig ,的qp +阶矩定义为： ( = = m i n j qp pq jigjim 11 ,) ) （3-2） 其中(代表象素点的坐标 。 ji,(jig , 定义图像的中心坐标 () cc yx , 分别为： 10 mxc=， 10 myc=。 则其qp +阶中 心矩为： （3-3） () ()(jigyjxi q c m i n j p cpq , 11 = = ) 由于针对同一样本提取的不同阶次中心矩特征量纲不同，其数值上会有很大 的差别，直接用于识别会导致方差小的特征被方差大的特征屏蔽，因此，在进行 进一步的识别前需要对其进行归一化处理。设 ij 为第j个训练样本的第i个特征， 令，我们采用如下模二归一方法来获得归一化后的特征： t inii u , 1 = = = n j ijii sqrtuv 1 2 / （3-4） 这里需要说明的是对于训练和测试样本要用相同的归一化因子，否则失去可 比性。 3.3 线性空间特征 线性子空间法在人脸检测、人脸识别、三维目标识别和跟踪等视觉识别领域 获得了巨大的成功， 主成分分析 （pca） 、 线性判别分析 （lda） 和独立成分分析 （ica） 是典型的子空间方法。 pca 算法是一种主成分分析的算法。 这种方法将包含人脸图像区域看作一种随 机向量,因此可以采用 k-l 变换得到正交变换基,对应其中较大的特征值的基底具 16 人脸识别技术研究 有与人脸相似的形状。pca算法利用这些基底的线性组合可以描述、表达人脸和 逼近人脸,因此可以进行人脸的识别和重建。 线性判别分析是模式识别的经典算法。应用 fisher 准则假设了不同类别在模 式空间是线性可分的,其主要原因是不同人脸间的差异。 在人脸识别中,许多重要的信息包含在高阶统计量中。ica 算法是一种基于高 阶统计量的去相关多元数据处理方法。其基本思想是用一些基函数来表示一系列 随机变量,而假设它的各成分之间是统计独立的或者尽可能独立。pca 方法是沿数 据集方差最大方向寻找一些相互正交的轴,而 ica 方法将不限制这些轴是否正交, 它的轴是沿最大统计相关方向,因此,其输出元素之间的相关性被移走,这样,在这 些轴上的投影就有很少的交叠产生。 此外，线性特征提取方法中还有中心矩特征提取法，以中心矩作为图像的模板 匹配特征向量，用低维数向量代替原来图像，降低了计算量。 3.3.1 主成分分析特征 主成分分析本是统计学中用来分析数据的一种方法，它基于kl分解。最早将 其用于人脸识别中的是pentland，并因为它的有效很快流行起来。简单地说，它的 原理就是将一高维的向量，通过一个特殊的特征向量矩阵，投影到一个低维的向 量空间中，表征为一个低维向量，并不会损失任何信息。也就是说，通过低维表 征的向量和这个特征向量矩阵，可以完全重构出所对应的原来的高维向量。 对应到人脸识别中，有如下的阐述： 收集个体的人脸样本,将第i个样本的灰度图像表示成向量x=x1,x2,.,xm的 形式，其中n=图像的象素数=widthheight，设为样本的个数，现在我们用公式 (3-5)计算个样本的平均值，可以得到对个样本脸的平均脸（如图6） 。 l ll = = 1 0 1 l i i l xx （3-5） 然后计算样本的偏差矩阵，用如下的公式（3-6）计算每一个样本与平均的偏 差，然后将其写成矩阵d的形。 xx = ii d 110 , = n ddd?d （3-6） 接下来用公式（3-7）计算样本集的协方差矩阵c，c的维数为nn。计算c 的特征向量，这些特征向量就是人脸空间的正交基底。用它们的线性组合可以重 构得到样本中任意的人脸图像。将特征向量按所对应的特征值的大小降序排列。 量化后特征向量都可以看出人脸的轮廓，因此又称其为特征脸（如图7） 。这些特 第三章 人脸识别特征提取方法 17 征向量所对应的特征值越大，它在重构时的贡献越大。所以对那些接近于特征值0 的特征向量，可以忽略。 ddc t = （3-7） 事实上， 只需计算一维数为nn的矩阵的n个特征向量vddt i和特征值 i ,然后根 据矩阵的奇异值分解定理（svd） ，矩阵的特征值和的特征值相等， 所以c只有n个非0特征值。根据定理，c的特征向量可通过等式（3-8）得到,其中 v ddc t =ddt i是ddt的特征向量， i 是对应的特征值，ui是的特征向量。 ddc t = i i i cvu 1 = （3-8） 因为，一般情况下样本的维数n都远远大于样本的数目n（如果情况是：样本 数目大于样本的维数，则只需直接计算矩阵c的特征值和特征向量） ，这样计算矩 阵ddt的特征向量就比计算矩阵dtd节省了很多计算。 图 6 平均脸 图 7 特征脸（前 6 位） 这些特征向量所组成的子空间就是特征脸子空间，像前面所阐述的，这个空 间的维数为min(n，n)。 同时， 对一定小的特征值所对应的特征向量是可以忽略的， 这样这个空间可以更小，有研究表明，大约用100维的空间就可以有很好的效果。 把全部的特征向量写成矩阵 110 , = n w?的形式。将一个脸部图像样本x的 偏差向特征脸子空间投影，如等式（3-9） ，得到的系数向量z就是kl变换的展 开系数向量。这样一个脸部图像就可以用较低维的系数向量表征。 d d t wz = （3-9） 3.3.2 线性判别分析特征 lda的目的是从高维特征空间里提取出最具有判别能力的低维特征，这些特 征能帮助将同一个类别的所有样本聚集在一起，不同类别的样本尽量分开，即选 择使得样本类间离散度和样本类内离散度的比值最大的特征。 对训练样本，类间离散度矩阵定义为： 18 人脸识别技术研究 ()() t bb l l t lblb t ll l l lb zzzzn n s= =1 , 1 1 （3-10） 类内离散度矩阵定义为： ()( = = l p n q t ppqppqw p zzzz n s 11 1 ) （3-11） 其中是样本类别数，第l类的样本数为，是全部图像数，l l nnz代表人脸图像矩 阵。()()z/,znn lllb = 2/1 , lbbb, 1 , =?, 而 = = l n q lq l l z n z 1 1 是每类样本的均值， z是全部样本的均值。根据fisher准则定义： = w t b t s s maxarg， m ? 1 =， j m r （3-12） 最优的投影方向就是使得（3-12）式达到最大值时的值。即就是满足如下 等式的解： mwmmb ss=，mm?1= （3-13） 即对应于矩阵 较大的特征值对应的特征向量。 bw ss 1 对人脸识别问题，通常特征向量的维数（即人脸图像的象素总数）远远大于 训练样本个数，此时，类内离散度矩阵往往是奇异的。这就是所谓的“小样本集 合问题” 。为了解决这一问题， d-lda算法提出删除样本类内离散度矩阵的零空 间。但是，这样做的同时也舍弃了样本类内离散度矩阵零空间里有利于识别的信 息。文献30提出了另一种dlda的方法，将（3-12）式准则改写为： () ()+ = w t b t b t ss s maxarg （3-14） 这样，的零特征值也可以作为判别信息使用，相当于保存了样本类内离散 度零空间的信息。规则化线性判别分析（r-lda）是在第二种d-lda的基础上加 上了一个参数 w s ： () ()+ = w t b t b t ss s maxarg （3-15） 其中是规则化参数， 用来控制规则化的强度， 并且10。 当取0时， （3-15） 式与（3-12）式等价，而当取1时， （3-15）式与（3-14）式等价。可见， （3-15） 第三章 人脸识别特征提取方法 19 式是（3-12）和（3-14）的综合。改变的值便可找到最优的投影方向。