基于流形学习的人脸识别方法研究

硕士学位论文抽检封面（2014 2015 学年）题目：基于流形学习的人脸识别方法研究英文并列题目：Face Recognition Algorithms ResearchBased on Manifold Learning盲审论文编号：由学位办填写专业：计算机科学与技术计算机应用技术研 究 方 向：江 南 大 学地址：无锡市蠡湖大道 1800 号二 O 一五 年 四 月 摘 要摘 要当前，人脸识别是模式识别和人工智能领域中一项最为重要和活跃的研究课题。相较于其他生物特征，例如指纹、虹膜和声音等，人脸具有直接、安全、不可复制、方便、非接触等特点。正因为如此，人脸识别技术已成为众多生物识别技术中发展最快、潜力最大的技术之一，并且被广泛应用于安检、刑侦、信息安全等多种领域。但是，人脸识别仍旧面临非常多的难题和挑战。一是人脸图像易受光照、表情、姿态、成像角度等外在因素的影响；二是高维的人脸数据制约着人脸识别的速度和精度。本文的研究是基于流形学习展开的，围绕人脸识别的特征提取、特征降维等关键性环节进行探讨，主要包括以下几个方面的内容：1、基于小波分解和流形学习的人脸姿态表情分析。众所周知，分散在高维空间中的人脸样本通常会产生比较复杂的计算难题。为攻克这一难关，在特征层次上应用粒计算的思想，提出基于小波分解的流形算法，对高维数据进行降维，从而达到降低计算复杂度的目的。研究高维人脸数据在此方法下的姿态和表情分布变化规律，同时分析运行时间和经小波分解得到的低频子图像的能量损失情况。2、基于 Gabor 小波的特征降维方法研究。针对人脸图像识别容易受光照、表情等外部因素影响这一问题，该部分重点介绍了本文提出的两种改进方法：一是基于Gabor小波的有监督2DNPE 的人脸识别方法；二是基于Gabor 小波的有监督B2DLPP 的人脸识别算法。这两个方法均是原始算法的有监督扩展，引入类成员之间的关系来提高算法的鉴别能力。此外，由于经过Gabor 滤波得到的图像能够克服光照、尺度、姿态等因素产生的影响，因此在特征提取阶段采用Gabor 小波对人脸图像进行特征提取，从而使得本文算法对这些变化因素具备更好的鲁棒性。通过实验对比了本文方法与其他现有的人脸识别算法的分类性能，证明了本文方法具有更好的识别效果。3、双向二维近邻保持判别嵌入(B2DNPDE)算法研究。双向二维近邻保持嵌入(B2DNPE)算法是一种经典的二维流形学习算法，通过保持邻域内近邻点的重构权值不变，从行和列两个方向对高维数据进行维数压缩处理。然而，B2DNPE 算法确是一种无监督的方法，因此本文提出一种名叫双向二维近邻保持判别嵌入(B2DNPDE)的新方法来提高B2DNPE 算法的分类能力，充分考虑邻域内与邻域间的信息，应用Fisher 准则的思想最小化类内散射矩阵和最大化类间散射矩阵来计算得到最佳的投影矩阵。同时在Yale、PICS 和AR 三个公开人脸库上得到的测试结果也论证了B2DNPDE 方法的有效性。关键词：人脸识别；流形学习；有监督学习；Gabor 小波；特征降维I AbstractAbstractAt present, face recognition is one of the most important and active research topics in thepattern recognition and artificial intelligence fields. Compare with other biological features,for example, fingerprint, iris and voice, face has some advantages such as direct, security,impossible to copy, convenience and non-contact. Because of this, face recognitiontechnology has become one of the fastest develop and the most potential techniques in manybiological recognition technologies and it is widely used in security check criminalinvestigation, information security and other fields. However, face recognition is still facingmany difficulties and challenges. Firstly, face images are susceptible to the external factorssuch as illumination, expression, posture and imaging angle. Secondly, high dimensional facedata restricts the speed and accuracy of face recognition. The research of this paper is basedon manifold learning, which is around the feature extraction, feature dimension reduction offace recognition, and the main work includes:1. Facial expression analysis based on wavelet decomposition and manifold learning. Aseveryone knows, face samples dispersed in the high-dimensional space usually producecomplex computing problems. In order to solve this problem, the concept of imagegranularity is applied at the feature level. By this strategy, the dimensionality ofhigh-dimensional data is reduced and computational complexity of the algorithm decreasesefficiently. The distribution and changes of the high-dimensional face pose and facialexpression are presented. In additional, the runtime and the energy of low frequency subbandafter different levels of wavelet decomposition are analyzed.2. Research of feature dimension reduction based on Gabor wavelet. To solve theproblem that the face recognition is easily affected by external factors such as illumination,expression, this part mainly introduces the two improved methods proposed in this paper. Oneis supervised 2DNPE method based on Gabor wavelet in face recognition; another issupervised B2DLPP approach based on Gabor wavelet in face recognition. These twoalgorithms are both supervised extension of the original methods. By making full use of theclass information, the discriminating ability of these two algorithms are further improved. Inaddition, the images obtained by Gabor filter usually are able to overcome the impact ofexternal factors such as illumination, scale, posture and so on. Therefore, Gabor wavelet isused to extract features from face images in the phase of feature extraction to make theproposed approaches in this paper be more robust to those changing factors. By comparing theclassification performance between the proposed methods and other classical face recognitionalgorithms, the effectiveness and superior of the proposed methods are demonstrated by theexperimental results.3. Research of bilateral two-dimensional neighborhood preserving discriminantembedding method. The bilateral two-dimensional neighborhood preserving embeddingalgorithm is a kind of classical two-dimensional manifold learning methods, which reducesthe dimension of high-dimensional data from row and column directions by keeping thereconstruction weights of near point within the neighborhood be the same. However,II AbstractB2DNPE algorithm is an unsupervised method. Therefore, we proposed a novel methodnamed bilateral two-dimensional neighborhood preserving discriminant embedding(B2DNPDE) to improve the discriminating ability of B2DNPE. In B2DNPDE, by fullyconsidering the within-neighboring and between-neighboring information, the optimalprojection matrix can be computed by minimizing the intra-class scatter and maximizinginter-class scatter based on Fisher criterion. The performance of the proposed method isevaluated on the Yale, PICS and AR three public face databases and the experiment resultsshow the validity of B2DNPDE.Keywords: face recognition; manifold learning; supervised learning; Gabor wavelet;feature reductionIII 目 录目 录摘 要.IAbstract . II目 录. V第一章 绪论. 11.1 人脸识别的研究背景和意义. 11.2 人脸识别的研究内容和现状. 11.2.1 研究内容. 11.2.2 研究现状. 21.3 本课题研究背景和国内外现状. 41.3.1 研究背景. 41.3.2 国内外研究现状. 41.4 本文的研究内容及结构安排. 51.4.1 研究内容. 51.4.2 研究内容. 61.5 本章小结. 7第二章 代表性流形学习方法简要叙述. 82.1 引言. 82.2 非线性流形学习算法. 82.2.1 局部线性嵌入算法(LLE). 82.2.2 拉普拉斯特征映射(LE) . 102.3 线性流形学习算法. 112.3.1 近邻保持嵌入算法(NPE). 112.3.2 局部保持投影算法(LPP) . 122.4 流形学习面临的主要问题. 13第三章 基于小波和流形学习的人脸姿态表情分析. 163.1 二维小波变换. 163.2 基于小波和流形学习的人脸姿态表情分析. 173.2.1 图像特征信息粒. 183.2.2 基于小波分解的流形算法. 193.3 实验及结果分析. 193.3.1 基于Frey 人脸库的实验. 193.3.2 基于CMU PIE 人脸库的实验. 233.3.3 Frey 和CMU PIE 人脸库上的图像能量分析. 263.4 本章小结. 27第四章 基于Gabor 小波的S2DNPE 和SB2DLPP 算法. 284.1 Gabor 小波特征提取. 28V 目录4.1.1 Gabor 小波介绍. 284.1.2 Gabor 特征表示. 284.2 基于 Gabor 小波的 S2DNPE 算法(GS2DNPE). 294.2.1 有监督的二维近邻保持嵌入(S2DNPE) . 294.2.2 GS2DNPE 的算法流程 . 304.2.3 实验结果及分析. 304.3 基于 Gabor 小波的 SB2DLPP 算法(GSB2DLPP) . 344.3.1 双向二维局部保持投影(B2DLPP). 354.3.2 有监督的双向二维局部保持投影算法(SB2DLPP) . 364.3.3 实验结果及分析. 374.4 本章小结 . 44第五章 双向二维近邻保持判别嵌入人脸识别算法. 455.1 双向二维近邻保持嵌入算法(B2DNPE). 455.2 双向二维近邻保持判别嵌入算法(B2DNPDE). 465.2.1 投影矩阵的求解. 465.2.2 特征分类识别. 485.3 实验结果与分析 . 485.3.1 人脸库上简介. 495.3.2 Yale 人脸库上的实验. 495.3.3 PICS 人脸库上的实验 . 515.3.4 AR 人脸库上的实验 . 535.3.5 实验结果分析. 555.4 本章小结 . 56主要结论与展望. 57主要结论 . 57展望 . 57参考文献. 59附 录: 作者在攻读硕士学位期间发表的论文. 63VI 第一章 绪论第一章 绪论1.1 人脸识别的研究背景和意义在科学技术、网络技术快速发展的推动之下，信息安全问题越来越成为广大群众关注的焦点。其中，如何快速和有效地认证与确认个人身份更成为专家和学者研究的重点课题。传统的身份识别通常是由三种形式来完成的：1) 社保卡、银行卡、护照等各种各样的标识物品；2) 账户名、登录口令等人身标志知识；3) 综合使用前两种方法。然而传统方法不可避免的存在着非常多的缺点，例如携带不便、易丢失、易忘记、易被破解和篡改等，更糟糕的情况是，以往的身份辨别方法通常无法区分究竟谁才是这些标识1物品的所有者 。在现在这个信息化高速发展的时代，大家对身份识别的准确性、实时性和可靠性的标准设定地越来越高，而传统的身份识别技术存在的诸多问题使得它们已经无法很好地满足信息化社会所带来的各种需求。生物特征识别技术也正是在这样的背景下出现在我们的生活中，为满足人们的此类需求提供了一个更好的选择和保障。相较于其他的如指纹识别、虹膜识别等生物识别技术，人脸识别因为自身所特有的2自然、直接、非接触等优势已发展为近年来最为重要的生物识别技术之一 。该技术的3长处可简单地概括为四点 ：1) 成本低，性价比高，所需的信息采集设备简单，例如日常生活中广泛采用的摄像头、数码相机等；2) 旨在非接触式收集，不需要和对象接触就可以获取到目标图像，易于使用和推广；3) 通常不需识别对象的主动配合，不会引发他们的厌恶和反感心理；4) 操作隐蔽性强，在识别个体还没有发现时就已经结束鉴别任务。基于以上这些优势，人脸识别技术已被普遍使用于多种领域，如：嫌疑犯照片数据4库匹配、信用卡鉴别、安全系统、视频监控等 。此外，作为一个多学科交叉的研究课题，人脸识别还具有很高的学科理论研究价值，涉及到图像处理、模式识别、神经网络、计算机视觉、计算机图像学、人工智能、心理学等学科。在现实世界里，不同的表情、姿态、遮挡、光照、年龄等要素会轻而易举地干扰面部图像的采集，同一个拍摄对象的图像间的差异甚至比来自不同人的图像间的差别还要大，人脸识别在如此多困难的综合5影响下已发展为一项挑战性非常高的研究项目 。1.2 人脸识别的研究内容和现状1.2.1 研究内容在实际的应用中，人脸识别主要可以简化成人脸检测和定位、特征提取、人脸识别和分类三个步骤，其实现过程如图1-1 所示。(1) 人脸检测和定位：鉴定识别目标中是否包含人脸，并采取适合的检测算法判别其在图中哪里和大小然后将人脸特征提取出来。这里的识别目标既包括静态不变的图像又含有运动变化的视频。如果是视频，那么先对视频进行帧分割，提取出每一帧，再把它作为静态的图像进行人脸检测。一般情况下，为了方便后期的识别，需要对检测分割出来的图像进行一些预处理，例如尺度归一化、光照归一化，从而形成大小相同的一组1 江南大学硕士学位论文图像。6(2) 特征提取：用一些描述方法来表示检测裁剪出来的原始人脸图像 ，这一步骤可以进一步细分为特征选择和特征降维。特征选择是指从步骤(1)获取的一组人脸图像中选择出最佳的判别特征。在不同的应用背景下，通常可以选择Gabor 滤波、LBP 算子等进行人脸不同特征的筛选。但是，特征选择出的人脸数据一般会遭遇“维数灾难”问题，含有过多冗余信息，不利于后期的分类识别且无法满足人脸识别的实时性要求。因此，务必对高维的样本图像再进行特征降维处理，竭尽全力用较少的维度空间表示能够描述同一个体图像的共性和不同个体图像的差异性的信息。人脸图像特征提取是整个识别过程的重点和难点，它的效果好坏将直接影响分类识别的速度和准确率，这也是本文探索的重点内容之一。(3) 人脸识别和分类：把等待分类的未知测试样本与人脸数据库所有已知的样本进行对比，分析它与库里的每一张图像的相似度，进而确定该检测对象的个人身份。人脸识别分为一对一的身份验证过程和一对多的图像辨识过程。图像验证是为了检验待测试图像对应的人的身份是不是符合实际，而图像辨识是为了确认待识别图像的人是数据库中的哪个人。图1-1 人脸识别的实现过程1.2.2 研究现状截止到现在，人脸识别方法能被简单地划分成下面几种：(1) 基于几何特征的方法刚开始最为流行的就是基于几何特征的方法，即利用人脸面部上的一些重要的器官特征或几何特征进行对比识别。一般而言，用作分类的器官特征都具有显著的个体差异性，如眉毛、人眼、嘴唇、鼻子和前额等。除了利用这些五官特征，为了进一步区分人脸，几何特征作为一种辅助手段与五官特征相结合来组成特征向量，几何特征主要有五官之间的比例关系、人脸的轮廓、脸型等。具有代表性的是基于积分投影方法改进的基7础上，Brunelli 和Poggio 提取了35 个典型的人脸2 特征 。2 第一章 绪论第一种方法具有直观、操作简单、执行速度快等优点，但是其在特征提取的过程中缺乏统一的标准，且对光照变化、面部遮挡等外在因素的鲁棒性较差，因此现在通常不再以该方法作为主要的人脸识别方法。(2) 基于子空间的方法现实生活中，当外在环境发生变化时，人脸图像的成像也会受到很大的影响，且其通常具有非常高的数据维度。基于子空间的方法是指对高维数据进行特征压缩，将其投射到低维的特征子空间中，不但可以降低计算复杂度，而且能提取出更利于区分身份的人脸特征。基于子空间的方法一般可以分为线性和非线性两类。现如今，具有代表性的线性子8910空间算法有主成分分析(PCA) 、线性判别分析(LDA) 、独立成分分析(ICA) 、二维1112主成分分析(2DPCA) 、二维线性判别分析(2DLDA) 等。然而这类方法一般都基于数据是线性可分这个前提条件的，无法发现位于高维空间中人脸图像包含的非线性结构信息。正是因为这样，非线性子空间方法近年来飞速发展，主要有两种：一是基于核的方法；二是基于流形学习的方法。核方法旨在把原始的高维样本投影到一个维数更高的空间中，然后再对数据蕴含的内在规律做进一步地分析与挖掘。该方法经过核映射后，采用一个内积函数来计算两两图像向量之间的内积，而不需要显示地给出这个非线性变13换。当前，关于核方法的研究已取得很多成果，有核主成分分析(KPCA) 、核线性判14别分析(KLDA) 等。此外，基于流形学习的算法也发展成当前应用最多也最受欢迎的15方法之一，这类算法中具有里程碑意义的一般有：局部线性嵌入(LLE) 、等距映射(Isomap) 、拉普拉斯特征映射(LE) 、局部保持投影(LPP) 18-19和近邻保持嵌入(NPE)161720等。基于子空间的人脸识别方法由于其具有执行简单、分类性能好、描述能力强等优点，现已称为当前人脸识别领域中最为流行的方法。(3) 基于神经网络的方法基于神经网络的人脸识别方法是指基于人脸图像构建神经网络，而组成这幅图像的21每个像素点可被当成多个神经元。Kohonen 最早将神经网络引入人脸识别领域 ，通过建立一个自联想映射网络，能够有效地“回忆”出被噪声污染或因遮挡而丢失信息的样22本所对应的原始图像。Lu 等人 发表了一篇关于采取二维随机权值神经网络的分类器的文章，其核心是采用左右投影向量来代替位于隐藏层中的高维输入权值来保持元素间的相关信息，然后用随机权值神经网络来学习所有的未知参数。和其他各种方法相比，人工神经网络具有容错性好、学习能力强以及能大规模进行并行协同处理等优势，因而能通过反复学习得到非常复杂又难以发现的人脸识别规律和规则的隐性表达。但是，这类方法也有相当大的局限性。当训练和测试样本集中人脸图像类别过多，需要耗费大量的时间进行学习且计算量也会相应的增大，从而人脸识别所需的时间也会极长，不满足实时性的需求。(4) 其他人脸识别方法除了以上几类方法，人脸识别领域还存在很多其他已被广泛使用的方法，例如模板3 江南大学硕士学位论文232425-26匹配方法 、隐马尔科夫模型方法 、基于小波特征的方法 等。1.3 本课题研究背景和国内外现状1.3.1 研究背景在人脸识别应用中，高维的人脸数据所构成的空间通常会面临“维数灾难”问题，而以PCA 和LDA 等为代表的传统的线性子空间方法却没有办法处理这一问题，并且要取得非常好的识别结果也是难上加难。这是因为，只有具备了假定原始数据点分布在一个线性流形上这样的条件，线性子空间方法才能在处理线性结构数据时取得令人满意的结果。然而，随着围绕人脸识别这一问题地不断深入研究，人们发现人脸样本极可能分布在一个嵌入到高维空间的低维非线性流形上。在实际的生活中，我们用相机、手机或其他设备来采集人脸图像时会发现，在不同拍照环境下即使是同一个拍照对象得到的人脸图像差异性也会非常大。因为图像往往由很多的内在或外在环境因素来决定，常见的有光照变化、年龄、姿态、面部神情、角度等。通常，图像受影响并不是因为单独的一个因素产生变化，也不是几个外部条件变化的简单线性组合，所以同一个对象拍照得到的不同图像的差异性往往会很明显。这也说明了人脸图像数据具有低维度的内在结构，27同时不同像素之间存在着紧密的非线性相关性 。为了能够准确地揭示高维数据潜在的结构，学者针对这一问题提出了许多非线性子空间方法，而流形学习方法就是在这样的背景下产生的。流形学习是一项研究价值十分高的热点课题，现已被广泛运用到人脸识别领域。很多时候，海量样本数据所隐藏的规律并不能简单的通过分析观测到的样本数据得到，而是需要深入地挖掘真正引起数据集合变化的内在属性。而流形学习正好可以为我们提供发掘这个固有属性的机会，其核心目的是揭示高维观测空间中样本的低维光滑流形结构，并将数据由高维空间映射到较低的特征空间里，同时给出相应的低维映射形式。1.3.2 国内外研究现状早在二十多年以前，流形模式识别的思想就开始出现在人们的视野里。2000 年Science杂志上刊登了两篇影响很大的论文，即Roweis 和Tenenbaum 等人分别介绍15的两种新颖的流形学习算法(局部线性嵌入(LLE)和等距映射(ISOMAP)。LLE 算法 旨在保证邻域内的近邻点间的线性关系不变的前提下，把高维样本投影到低维坐标系，并16且保持原始样本集固有的内在结构不被丢失。ISOMAP 算法 的关键是采用测地距离代替传统的欧式距离来表示两个样本点间的相似度。针对 LLE 方法矩阵分解的不稳定和17对噪声敏感等缺点，拉普拉斯特征映射(LE) 理论于2003 年被Belkin 团队首次发表到期刊上，该方法是在谱分析理论的基础上发展起来的。由于 LLE，LE 等非线性降维方法没有显式地给出映射关系，只可以得到训练样本的低维嵌入，难以获得新样本点的低18-19维投影，于是He 等人给出了局部保持投影(LPP) 的概念，它是LE 的线性化推广。因为LLE 和LE 具有一样的不足，He 团队随后又针对LLE 进一步改进，这才有了近邻20保持嵌入(NPE) 。于此同时，国内关于流形学习理论的探讨也非常火热。詹德川等人282005 为了提4 第一章 绪论高算法对噪声的鲁棒性，在ISOMAP 的基础上引入了集成学习方法，利用坐标相关性来度量算法的可视化效果。为了能够定量且直观地分析原始高维样本与进行维数约简得到29的低维表示之间的对应关系，2005 年何力等人 提出了一种模型，同时从放大因子和延伸方向两个角度出发来讨论维数约简过程中样本点改变前与新形成的对应关系。基于人脑增值学习原理，曾宪华等人30 2007 年首次提出了动态增殖流形学习算法，不仅可以实现高维数据的低维可视化，而且相较于最初的LLE 方法时间复杂度也大大降低。最近几年，人们发现现有的流形学习方法均是基于一维向量的，需要事先将二维图像按行或按列拼接成行向量或列向量。这样的处理有一个弊端就是会破坏原始图像间像素之间的相邻关系，从而丢失一些结构信息，不利于人脸的识别和分类。Chen 等人31在LPP 的基础上进行二维推广，提出一种二维局部保持投影(2DLPP)算法，直接在二维32矩阵上从行方向执行维数约简操作。2011 年，张大明 把NPE 拓展到二维，介绍了二维近邻保持嵌入(2DNPE)算法，解决了NPE 可能遭遇奇异值的问题。虽然2DNPE、2DLPP能避免矩阵转换为向量所带来的弊端，但是它们仅仅只在一个方向进行高维数据的约简。针对这一问题，Song 团队和 Zhang 团队分别