[理学]PCA 毕设论文

1、摘 要由于广泛的应用，比如用于监视和安全，身份鉴别，存取控制等，最近几年，人脸识别引起了广泛的兴趣。最近的几十年，关于人脸识别人们已经提出了许许多多的方法。在这些方法中，pca和lda技术，已经被证明为是两种大有前途的方法。我们要做的就是提高人脸识别的正确识别率，为了达到这个目的，我们从以下几个方面下手：特征提取，分类器选择。特征提取是模式识别中最基本的问题之一，在人脸识别中，抽取有效的鉴别特征是解决问题的关键，主成分分析( principal component analysis， pca)和fisher线性鉴别分析是属于线性投影分析，是特征提取中最为经典和广泛使用的方法。该文就有关线性投影

2、分析的理论与算法进行了研究。最后，在orl标准人脸数据库上进行了试验表明，pca方法在普通的最近邻分类器下最高达到了95%的正确率，lda也达到了92.5的正确率，而且识别结果十分稳定。关键词：主元分析； fisher鉴别准则； 线性鉴别分析； 特征抽取；人脸识别4abstractface recognition has been of great interest in recent years because its wide range of application such as surveillance and security ， identity authentication a

3、nd access control ， etc. numerous methods have been proposed for face recognition in the last decade. among all these approaches ， techniques based on pca and lda ， have been proved to be two promising approach.in order to enhance the accuracy of the recognition， the main goal of our research， we de

4、al with the problems as follow： feature extraction， classifier selection.feature extraction is one of the most fundamental problems. in face recognition， to extract the valid discriminating feature plays the key role to solve the problems. pca and fisher are both the most typical methods that are ba

5、sed on linear projection analysis and widely used. this text does a further research on theories and algorithms of linear projection analysis. finally， the pca algorithm was test on orl face database， and a recognition rate of 97% was achieved by using a common nearest neighbor classifier， while lda

6、 is 97.2%，and the classification result is very robust.keywords：pca(principal component analysis)； fisher criterion； linear discriminate analysis； feature extraction； face recognition目 录第一章 绪论11.1 课题研究的背景11.2 模式识别系统11.3 国内外生物特征技术的最新发展31.4 我国生物特征技术的发展与应用概述41.5 本文主要研究的内容4第二章 人脸图像的有效鉴别特征抽取52.1 引言52.2 人

7、脸图像的代数特征52.2.1 奇异值特征52.2.2 最佳鉴别投影特征62.2.3 特征脸（kl变换特征）82.3 本章小结10第三章 主成分分析法（pca）113.1 引言113.2 主元分析发展的相关介绍113.3 主元分析（pca）方法123.3.1 pca思想与最优投影矩阵123.3.2 特征抽取133.3.3 分类133.4 主元分析（pca）方法在人脸识别中的应用143.5 本章小节14第四章 线性鉴别分析（lda）154.1 引言154.2 线性鉴别分析方法的发展154.3 线性鉴别分析的基本原理164.4 fisher线性鉴别法174.5 线性鉴别分析在人脸识别中的应用184.

8、6 分类184.7 本章小节18第五章 实验结果195.1 实验数据库介绍195.2 orl人脸库上的实验结果205.2.1 得到的特征图像205.2.2 不同训练样本下的识别率205.2.3 两种算法运行时间的比较215.2.4 不同方法的特征值分布情况215.3 眼睛数据库上的试验结果225.3.1 得到的特征图像225.3.2 不同训练样本下的识别率235.3.3 两种算法运行时间的比较245.3.4 不同方法的特征值分布情况245.4 实验结果分析255.5 本章小节26结束语27参考文献28致 谢29附录一 pca源程序30附录二 lda源程序39南京邮电大学2007届本科毕业论文第

9、一章 绪论1.1 课题研究的背景在高度信息化的现代社会，人们的身份鉴别已经渗透到日常生活的每一个方面。同时， 由于交通、通讯和网络技术的飞速发展，人类的活动范围越来越大，身份鉴别的难度和重要性也越来越突出。身份鉴别有着特别广泛的应用前景和重要的战略意义。金融、安全、网络、电子商务等无一不需要可靠的身份鉴别。传统的利用密码等身份鉴别的方法具有易遗忘、易假冒等缺点， 已不符合现代数字社会的需求。基于生物特征的身份鉴别技术利用人本身所拥有的生物特征来判别人的身份， 这些生物特征具有“人各有异、终生不变、随身携带”三个特点， 具有稳定、便捷、不易伪造等优点，近年来已成为身份鉴别的热点。常用的生物特征包

10、括指纹、掌纹、虹膜、脸像声音、签名和笔迹等。近些年，生物特征识别领域有了很大的进步，比如说人脸识别、虹膜识别、人耳识别等都是近些年发展比较迅速的技术。人脸识别在安全系统和人机交互等方面的巨大应用前景，它已经成为当前模式识别和人工智能领域的一个研究热点。虹膜作为重要的身份鉴别特征，具有唯一性、稳定性、可采集性、非侵犯性等优点。非侵犯性(或非接触式) 的生物特征识别是身份鉴别研究与应用发展的必然趋势， 与脸像、声音等非接触式的身份鉴别方法相比， 虹膜具有更高的准确性。本文将着重从人脸识别来进行讨论，同时在最后的实验验证中使用orl人脸数据库和眼睛图像库。在日常生活中，人们识别周围的人用的最多的就是

11、通过看人脸来进行识别的，因而人脸识别是一种最容易被接受的身份鉴定方法。由于人脸识别是非侵犯性的识别，具有直接、友好、方便的特点，所以人脸识别是人们最容易接受的身份鉴别方式。但另一方面，由于人脸之间存在很大的相似性以及人脸的高度变形性，也使得这个课题极富挑战性。在诸如人脸识别课题的研究中，特征提取是模式识别研究的关键问题，它的基本任务是找出对分类最有效的特征1。通常需要一个定量的准则来衡量特征对分类的有效性。主元分析（principal component analysis，pca）和线性鉴别分析（linear discriminant analysis，lda）特征提取中最为经典和广泛使用的方

12、法之一。1.2 模式识别系统有两种基本的模式识别方法2，即统计模式识别方法和结构（句法）模式识别方法，与此相应的模式识别系统都由两个过程组成，即设计和和实现。设计是指用一定量的样本（叫作训练集或学习集）进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。基于统计方法的模式识别系统主要由4个部分组成：1） 数据获取2） 预处理3） 特征提取和选择4） 分类决策下面给出一个模式识别系统，见图1.1。信息获取预处理特征提取和选择分类器设计分类决策训练过程图1.1 模式识别系统下面简单的对这几个部分作一些说明。1.数据获取为了使计算机能够对各种现象进行分类识别，要用计算机可以运算的符

13、号来表示所研究的对象。通常输入的信息有下面3种类型，即：1）二维图像 如文字、指纹、地图、照片这类对象。2）一维波形 如电脑、心电图、机械震动波形等。3）物理参量和逻辑值 前者如在疾病诊断中病人的体温及各种化验数据等；后者如对某参量正常与否的判断或对症状有无的描述，如疼与不疼，可用逻辑值0和1表示。在引入模糊逻辑的系统中，这些值还可以包括模糊逻辑值，比如很大、大、比较大等。 通过测量、用采样和量化，可以矩阵或向量表示二维或一维波形。这就是数据获取的过程。2预处理预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。3.特征提取和选择由图像或波形所获得的数据

14、量是相当大的。例如，一个文字图像可以有几千个数据，一个心电图波形也可能有几千个数据，一个个卫星遥感图像的数据就更大。为了有效的实现分类识别，就要对原是数据进行变换，得到最能反映分类本质的特征。这就是特征提取和选择的过程，一般我们把原始数据组成的空间叫测量空间，把分类识别赖以进行的空间叫特征空间，通过变换，可以把维数较高的测量空间中表示的模式变为在维数较低的特征空间中表示的模式。在特征空间中的一个模式通常也叫做一个样本，它往往可以表示为一个向量，即特征空间中的一个点。4分类决策分类决策就是在特征空间中用统计方法把识对象归为某一类别。基本做法是在样本训练集基础上确定某个判决规则，使按这种规则对被识

15、别对象进行分类错误识别率最小或引起的损失最小。本文在下面的内容中将着重探讨特征提取的方法，同时并介绍一些分类决策的知识。下面以人脸识别为例，给出具体的识别步骤图，见图1.2训练样本测试样本图像预处理图像预处理特征提取矩阵测试样本特征训练样本特征分类器结 果图1.2 人脸识别步骤1.3 国内外生物特征技术的最新发展近几年生物特征领域三大发展引人注目，第一生物特征的多样化发展；第二各项生物技术的高速发展；第三是多生物特征融合技术的研究。 生物特征的多样化发展：提起生物特征，人们自然会想到指纹，指纹技术由于其技术的稳定性一直在生物特征领域是“热门技术”，但是指纹技术自身的缺陷，也给其他生物特征留下很

16、大的发展空间。 让人们感到惊奇的是，以前大家不大关注的生物特征如虹膜、语音、步态等现在又有了重大的技术突破。最有代表性的是拥有掌型技术、人指静脉纹技术、虹膜技术的厂商在今年陆续推出了自己的最新产品，在例如手机等商业应用中经过对使用人群的简单训练，这些产品的高识别率、可接受度等优秀品质受到众多使用人员的欢迎。 各项生物技术的高速发展：人脸识别技术以其非侵犯性、可接受性等众多优势，近几年来一直是世界上生物识别公司及科研院所开发的热点，人脸识别技术在生物技术产业中精确度方面的发展可能是最快的。frvt2002技术表明人面像识别技术的验证能力可与1998年的基于指纹的商用系统相比（false acce

17、pt rate设为 0.01）。在仅一年后，提供商声称改进的技术超出了这个水平。特别考虑到在不久的将来有更多的大规模的项目指定该技术（电子生物护照指定人脸技术为必须的生物特征）。这一指标的提高是至关重要的，大大缩小了与指纹技术的差距。在2003年人脸识别技术有一项重大突破：3d技术的出现。该技术能够很好的解决2d中光照和姿势带来的困扰，虽然3d技术本身也有一些问题，但其卓越的识别性能还是吸引了更多技术厂商和应用客户的眼光。 多生物特征融合技术的研究：在实际应用中，由于客观条件变化的不可估计性，单生物特征识别技术往往会遇到难以克服的特例，譬如在使用指纹认证时，相当一部分人不能采集到清晰的指纹。另

18、外，在一些安全性要求极高的应用领域，单生物特征识别的性能很难达到预期的需要。多生物特征认证技术利用了多个生物特征，结合数据融合技术，不仅可以提高识别的准确性，而且可以扩大系统覆盖的范围，降低系统的风险，使之更接近实用。 多生物特征认证系统比单生物特征认证系统具有更好的性能。国际上许多学者已致力于多生物特征人的身份认证技术的研究，达到最新技术发展水平的指纹和人脸商业系统进行结合，并在大规模人群上进行测试，取得令人满意的效果。因此，多生物特征融合识别技术近年来己成为生物特征识别技术研究领域的一个热点，也是未来生物特征应用领域的必然趋势。1.4 我国生物特征技术的发展与应用概述我国于上世纪90年代初

19、，指纹信息识别产品和系统开始应用于公安业务和安全防范领域。据不完全统计，目前生产生物特征识别产品的企业（主要是指纹、面像识别）近百家，社会公共安全行业制定的相关标准约30余项。但这些标准都是以公安业务的刑事侦察、证照管理或安全防范的视频监控系统、出入口控制系统的具有应用环境为基础而制定的，未能从人体生物特征识别技术的高度建立相应的标准体系。2002年公安部第一研究所组织了国内第一次面像识别技术测试。在这次测试中，遵从公平、公正、客观、科学的原则，建立了严谨的评测方案与流程，严格遵守商业规则及保密承诺，以其独立方的性质、行业地位及测试方案的科学指导性赢得参评厂家的信任和支持。通过此次工作，公安部

20、第一研究所建立了相应的测试软硬件环境，是国内最早开展人体生物特征技术评测及拥有实测经验的部门。 随着新技术的不断推出和行业应用的迫切需求，公安部第一研究所再次举行了人脸识别技术测试，其中测试中最优人脸识别算法推荐到深圳罗湖自助通关中应用，经过几个月的测试，人脸认证软件的旅客自助通道系统在深圳罗湖口岸正式投入使用，通过率超过了97。 纵贯历史，人类对生物特征的认识和利用由来己久。展望未来，更加安全的国土、更加和谐的社会、更加便捷的商务必将让生物识别技术大放光彩。1.5 本文主要研究的内容本文就经典的特征提取算法进行了研究，研究的基础是传统的pca和lda算法。对两个算法进行研究后，并用matla

21、b程序语言实现这两个算法。本文总共分为四章进行讨论。第一章 绪论，主要介绍了生物特征识别领域的现状，模式识别系统的相关知识。了解模式识别系统的基本流程和组成的基本概念。第二章 主要介绍人脸图像的有效鉴别特征抽取。这一章为我们下面几章的讨论提供了一些理论基础。第三章 主要内容是介绍主成分分析法的相关思想和实现步骤。第四章 主要内容是介绍线性鉴别算法的相关原理和思想。第五章 主要介绍了pca和lda两种算法在orl人脸数据库和眼睛数据库上的试验结果情况。同时对实验结果进行了分析。48第二章 人脸图像的有效鉴别特征抽取2.1 引言图像识别是模式识别的重要组成部分，抽取有效的图像特征是解决图像识别问题

22、的关键。图像特征一般可以分为四类3：直观性特征、灰度统计特征、变换系数特征与代数特征。hong和yang认为图像本身的灰度分布描述了图像的内在信息，将图像作为矩阵看待，对其进行各种代数变换或矩阵分解，以矩阵的特征向量作为图像特征，即得到图像的代数特征，并论证了奇异值特征向量是识别图像的有效特征。cheng等定义了矩阵相似度的概念，提出了基于图像相似性判别函数的代数特征。liu等提出了基于最佳鉴别准则抽取图像的最佳鉴别投影特征集。guo 等提出了基于离散判别函数的代数特征抽取方法，可适用于每类人脸只有一个训练样本的情况。huang等提出了基于图像隶属度的特征抽取方法。turk与pentland依

23、据主分量分析技术抽取人脸图像的kl变换特征。2.2 人脸图像的代数特征2.2.1 奇异值特征任何一个实对称方阵都可以用正交变换化为对角矩阵。对于一般的矩阵也可以用正交变换化为对角矩阵，这就是所谓的奇异值分解(singular value decomposition)。设是秩为的实矩阵，则都是实对称的非负定方阵，因而它们的本征值都是非负的。假设是矩阵的非零本征值，且按大小排列，即，并将与对应的正交归一本征向量记为。由代数理论知，也是矩阵的本征值，并将对应的正交归一本征向量记为。于是有：构造下述矩阵：其中，与是为了矩阵表达上的方便而引入的列向量，可以理解为分别对应于零本征值的正交归一本征向量。显然

24、，都是正交矩阵。由此可得到：其中，为对角矩阵：这就是奇异值分解定理。可以将式写成乘积的形式：在此式中去掉小奇异值所对应的项后所得到的矩阵是原矩阵的最小二乘逼近。 若矩阵代表一幅图像，可将的所有奇异值组成的维向量：称为图像的奇异值特征。对于任意一个实矩阵，它的奇异值分解是唯一的，所以当时，原图像对应于唯一的奇异值特征，于是可以用奇异值特征来描述和代表原始图像的灰度值矩阵。hong和 yang首先提出图像奇异值特征反映了图像的一种代数本质，具有良好的稳定性，对图像噪音、光照条件等因素引起的图像灰度变化不敏感，还证明了图像奇异值特征具有良好的代数不变性与几何不变性。奇异值特征在图像压缩、信号处理和模

25、式分析中得到广泛的应用。2.2.2 最佳鉴别投影特征设为训练图像，其中，为图像类别数， 为第类图像的训练样本数。第类训练图像的平均图像定义为：所有训练图像的平均图像定义：其中是第类图像的先验概率。对于给定的维列向量，记，。显然，是一个相应于第类图像的维列向量，分别将，称为投影方向和投影特征。下面要解决的问题是如何寻找最佳投影方向使训练图像样本的投影特征具有最大的类间散布以及最小的类内散布。 设为第类投影特征的均值向量，为所有投影特征的均值向量，则显然有：这样投影特征的类间散布矩阵与类内散布矩阵可分别给出如下：现在将类间散布矩阵与类内散布矩阵的迹分别定义为类间距离与类内距离，则有这里：称分别为训

26、练图像样本的广义类间散布矩阵、广义类内散布矩阵。定义广义fisher准则函数如下其中为任一维列向量。使函数达到最大值的向量称为最佳鉴别投影方向，其物理意义是维空间中的训练图像样本投影特征在方向上具有最小的类内散布和最大的类间散布。在求出第一个最佳鉴别投影方向后，在下述正交条件下：可求出使函数达到最大值的向量，称为第二个最佳鉴别投影方向。以此类推，假设求出了个最佳鉴别投影方向：，则对任意一个图像，可定义的维最佳鉴别投影特征如下：2.2.3 特征脸（kl变换特征）设有个训练图像，将每幅图像矩阵写成一个维图像矢量，所有训练图像的均值矢量记为，则图像矢量总体的散布矩阵可表示为（忽略系数）若取总体散布矩

27、阵作为k-l变换的产生矩阵，则可写成：其中 一般，图像矢量的维数远远大于训练样本数，直接计算的本征值与本征向量很困难，此时可利用奇异值分解定理。为此，构造矩阵如下： 也称为产生矩阵。显然，产生矩阵的秩小于或等于训练样本数。容易计算出产生矩阵的个本征值及相应的正交归一本征向量。再由奇异值分解定理，可以得到的正交归一本征向量如下： 取产生矩阵的前个最大本征值对应的本征向量作为坐标轴，则任意一个图像矢量可通过下式的投影在均方误差最小意义下压缩为维的k-l变换特征矢量：其中， k-l变换是图像压缩的一种最优正交变换。人们将其应用于特征提取中，形成了子空间法模式识别的基础。在人脸自动识别领域，turk与

28、pentland将k-l变换用于人脸图像的最优表示，提出了本征脸的方法，在近3000个人的7562幅图像的大数据库上进行了广泛的测试，利用随机选取的128幅训练图像计算出20个k-l变换特征，实验得到了90%的识别正确率。2.3 本章小结本章介绍了三种图像代数特征，重点了解了基于人脸脸部校准图像矢量、利用k-l变换与具有统计不相关性的最佳鉴别变换抽取人脸图像的有效鉴别特征的方法，这些方法的了解可以帮助我们很好的理解下面几章所介绍的内容。第三章 主成分分析法（pca）3.1 引言上一章我们介绍了人脸图像的有效鉴别特征抽取的相关知识，这对我们理解这一章和下一章的知识很有帮助。在模式识别的特征提取中

29、，经常将生物的特征用数字向量来表示，比如在虹膜特征提取中，在一张虹膜图像中，可以把瞳孔中心为圆心，则对于图像中虹膜范围内的所有像素坐标， 都可以对应到一个极坐标 (，)，其中r为到圆心的距离，为到圆心的连线与轴的夹角。这样由表示不同类间的不同值域就可以组成特征向量。在特征提取中，主成分分析法（pca）方法是使用比较早的一个方法，也是其他特征提取方法的基础。有关pca的理论与方法4，k.fukunaga早在1972年出版的专著“introduction to statistical recognition” 中就作了系统的阐述。fukunaga和young等人都曾对该方法做过较深入的研究，并讨论

30、了pca作为线性特征抽取方法的稳定性问题，从而将人脸识别的研究热点从基于局部特征的几何特征方法引到基于全局统计特征的统计方法上来。3.2 主元分析发展的相关介绍近年来， 关于人脸图像线性鉴别分析方法的研究激起了人们的广泛兴趣，其焦点如何抽取有效的鉴别特征和降维37，9。特征抽取研究肩负两方面的使命：一是寻找针对模式的最具鉴别性的描述，以使此类模式的特征能最大程度地区别于彼类；二是在适当的情况下实现模式数据描述的维数压缩，当描述模式的原始数据空间对应较大维数时，这一点会非常有意义，甚至必不可缺2。在人脸图像识别中5，主成分分析( principal component analysis，pca)

31、 14，15，又称k- l 变换，被认为是最成功的线性鉴别分析方法之一，目前仍然被广泛地应用在人脸等图像识别领域。本质上pca 方法的目的是在最小均方意义下寻找最能代表原始数据的投影。sirovich and kirby最初使用pca有效地表示人脸。由于人脸结构的相似性，他们认为可以收集一些人脸图像作为基图(特征图)，任何人脸图像可以近似地表示为该人脸样本的均值与部分基图的加权和。1991年turk and pentland提出了著名的“eigenfaces”方法。1997年peter nbelhumeur，joao p hespanha，david j kriengman在主成分分析的基础上

32、又给出了“fisherfaces”方法。以上方法在处理人脸等图像识别问题时，遵循一个共同的过程：即首先将图像矩阵转化为图像向量，然后以该图像向量作为原始特征进行线性鉴别分析。由于图像矢量的维数一般较高，比如，分辨率为11292 的图像对应的图像向量的维数高达10304，在如此高维的图像向量上进行线性鉴别分析不仅会遇到小样本问题，而且经常需要耗费大量的时间，有时还受研究条件的限制( 比如机器内存小)，导致不可行。针对这个问题，人们相继提出不少解决问题的方法510，14，15。概括起来， 这些方法可分为以下两类18：一是从模式样本出发，在模式识别之前，通过降低模式样本特征向量的维数达到消除奇异性的

33、目的。如金忠3通过降低图像的分辨率实现降维。二是从算法本身入手，通过发展直接针对于小样本问题的算法来解决问题。hong，liu，chen，yu，yang等人分别在这方面进行深入的探索，他们所建立的算法理论为这一问题的解决奠定了基础。3.3 主元分析（pca）方法3.3.1 pca思想与最优投影矩阵主成分分析( principal component analysis，pca) ，又称k- l 变换，是寻求有效的线性变换的经典方法之一，其目的是在最小均方意义下寻找最能代表原始数据的投影方向， 从而达到对特征空间进行降维的目的11。k- l 变换的产生矩阵可以是训练样本集的总体散布矩阵或类间散布矩

34、阵3。本文选用后者为例，作k- l 变换的产生矩阵。为说明方便，我们首先介绍向量化矩阵概念。定义：设，定义的向量这是把矩阵a 按列向量依次排成的向量，往往称这个程序为矩阵a的向量化。设人脸灰度图像的分辨率为，则该图像构成一个的图像矩阵，可以将图像矩阵向量化为维的图像向量，即 设模式类别有c个：第类有训练样本图像向量个：每个样本是mn 向量， 样本总数，则模式的类间散布矩阵为： (3-1)其中为第类训练样本的先验概率为第i 类训练样本的均值，为全体训练样本的均值。容易证明类间散布矩阵s1 为非负定矩阵。定义准则函数： (3-2)最大化该准则函数(3-2) 的单位向量x称为最优投影向量，其物理意义

35、是：图像向量在x 方向上投影后得到的特征向量的总体分散程度最大。事实上，该最优投影向量即为间散散布矩阵的最大特征值所对应的单位特征向量。一般说来，在样本类别数较多的情况下， 单一的最优投影方向是不够的， 需要寻找一组满足标准正交条件且极大化准则函数(3-2) 的最优投影向量。定理1 最优投影向量组 可取为的个最大特征值所对应的标准正交的特征向量。令，称为最优投影矩阵。3.3.2 特征抽取最优投影向量组 可用于特征抽取。对已知的样本图像向量，令， (3-3)投影特征称为图像向量的主成分（principal components）。利用获得的主成分可构成的维的特征向量，即。3.3.3 分类通过2.

36、2.2节的特征抽取过程，每个图像向量对应一个特征向量，对此特征向量，可以利用最近邻法和最小距离法来进行分类。下面就介绍一下这两种分类方法。 1）最近邻法第类训练图像样本的均值向量的特征向量为，。对测试样本，使用最近邻法来进行分类，距离的度量如下式表示：如果： ，且（是第类的意思），那么，也即。2）最小距离法第类的训练样本的均值向量的特征向量为，。对测试样本，计算，如果： ，那么，。在本文中，我们采用的是最小近邻法。3.4 主元分析（pca）方法在人脸识别中的应用我们认为，pca在人脸识别领域成功应用的一个重要理论基础是较好的解决了协方差矩阵的特征向量的求解问题。人脸识别是一个典型的高维小样本问

37、题，即人脸图像矢量的维数一般较高，比如，分辨率为11292的人脸图像（作为图像而言，这一分辨率并不算高），其对应的图像矢量特征空间高达10304维，在如此高维的图像空间内，按照通常的算法，计算样本的协方差矩阵的特征向量是异常耗时的。同时，在人脸识别问题中，由于客观条件的限制，训练样本的数目一般较小，通常，训练样本的总数远远小于人脸图像矢量的维数。针对高维小样本的情况，求解特征向量所采取算法的基本思想是，将高维的问题转化为低维的问题加以解决。具体地讲，设图像矢量的维数为(表示图像的分辨率)，训练样本数为，一般地，。样本的总体协方差阵是一个的矩阵，目的是寻找这个高阶矩阵的非零特征值所对应的特征向量

38、。利用奇异值分解定理的有关理论可将问题转化为求解一个阶的矩阵的特征向量问题，从而大大降低了计算量。文献用类似的思想方法解决了类间协方差阵的特征向量的求解问题。通过主成分分析，原来样本空间中的维向量现在可以表示成为个主成分的线性组合，且这种表示在均方误差意义上是最优的，这就是如果将这个低维表示投影回高维空间时，重构误差最小。事实上，如果足够的大，如果和协方差矩阵的非零特征值个数一样大的话，那么这个低维空间的表示就是无损的。主成分分析算法的具体计算方法如下：1）把所有的图像矩阵按列进行列向量化；2）计算平均列向量；3）列向量中心化；4）计算协方差矩阵s；5）计算协方差矩阵s的特征值和特征向量；6）

39、保留个最大的特征值，及这个特征值所对应的特征向量，且要把这些特征向量正交标准化，从而就构成了新的子空间的基矩阵；7）将训练样本和测试样本投影到这个子空间上，然后我们选择合适的分类器和相异度测试公式对测试样本进行分类。3.5 本章小节在本章我们首先介绍了主成分分析法发展的相关介绍，了解了pca方法的一些应用情况。接着我们分析了pca方法的思想，并给出了pca所涉及的一些概念。最后我们给出了pca算法在图像识别中的相关步骤，更进一步的了解了pca算法。第四章 线性鉴别分析（lda）4.1 引言在上一章中我们详述了主成分分析法（pca），在这一章我们将讨论的算法是基于线性鉴别分析（lda）的，实际上

40、pca和lda都是属于子空间法，pca的出发点是怎么用最小误差的特征向量来表示原来的数据，而lda是想如何最优的表示出类别间的差异，理论上来说，基于lda的算法应该有着更好的别识率。4.2 线性鉴别分析方法的发展在文献5中提到关于线性鉴别分析的研究发展，关于线性鉴别分析的研究应追溯到fisher在1936年发表的经典论文（fisher r a. the use of multiple measurements in taxonomic problems），其基本思想是选择使得fisher准则函数达到极值的向量作为最佳投影方向，从而使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度

41、。在fisher思想的基础上，wilks和duda分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间内的投影矢量作为鉴别特征用于识别。1970年sammon提出了基于fisher鉴别准则的最佳鉴别平面的概念。随后，foley和sammon进一步提出了采用一组满足正交条件的最佳鉴别矢量集进行特征抽取的方法。1988年duchene和leclercq给出了多类情况下最佳鉴别矢量集的计算公式。2001年jin和yang 从统计不相关的角度，提出了具有统计不相关性的最优鉴别矢量集的概念。与f-s鉴别矢量集不同的是，具有统计不相关性的最优鉴别矢量是满足共轭正交条件的，该方法被

42、称为不相关的鉴别分析或jinyang线性鉴别法。以上提到的各种方法仅适用于类内散布矩阵非奇异(可逆)的情形，但实际应用中存在着大量的典型的小样本问题，比如在人脸图像识别问题中，类内散布矩阵经常是奇异的。这是因为待识别的图像矢量的维数一般较高，而在实际问题中难以找到或根本不可能找到足够多的训练样本来保证类内散布矩阵的可逆性。因此，在小样本情况下，如何抽取fisher最优鉴别特征成为一个公认的难题 35，711，1820 。近几年来关于小样本情况下线性鉴别分析方法的研究激起了人们的广泛兴趣，相继提出不少解决该类问题的方法。概括起来，这些方法可分为以下两类18：1）从模式样本出发，即在模式识别之前，

43、通过降低模式样本特征向量的维数达到消除奇异性的目的。基于这一思想的处理方法可分为两种：一是利用变换降维，典型的代表是eigenfaces方法和增强fisher线性鉴别模型法；二是通过降低图像的分辨率实现降维。第1种方法保留主分量上的投影信息，抛弃了次分量上的信息；第2种方法无疑会丢失图像的某些细节信息。即这两种降维方法虽然可以消除奇异性，但都是以鉴别信息的损失为代价的，因此无法保证所抽取的特征是最优的。2）从算法本身入手，通过发展直接针对于小样本问题的算法来解决问题 4，5，79 。hong等人提出的扰动法是一个近似算法，其基本思想是，当类内散布矩阵奇异时，通过对之进行一个小的扰动，使得扰动后

44、的矩阵变为非奇异的，以扰动后的矩阵代替原来的类内散布矩阵进行鉴别矢量的求解，从而将问题转化为可逆的情形加以解决。与之不同的是， liu 给出了一个精确算法， 称为正交补空间法。正交补空间法的弱点在于，每求解一个最优鉴别矢量，都需要回到原始样本空间内构造子空间的正交补空间，当原始样本空间的维数很大时，这一过程是异常耗时的。chen等人提出的零空间法是在类内散布矩阵的零空间内寻找极大化类间散布量的一组标准正交的特征向量并将其作为投影轴。该方法抛弃了类内散布矩阵零空间之外的鉴别信息；类内散布矩阵的零空间之外的空间中仍然可能包含有效的鉴别信息； yu等人提出了一种直接的线性鉴别分析方法，此方法利用了类

45、内散布矩阵的零空间包含的鉴别信息，但同时又舍弃了类间散布矩阵的零空间；yang等人提出了压缩变换方法。在不损失任何有效鉴别信息的前提下，求解最优鉴别矢量只需要在低维的欧氏空间内进行。在以上这些算法中，除yang的压缩变换法，其他算法理论都存在着一个共同的弱点，那就是需要在原始维数空间中求最优鉴别矢量集，从计算上来看不适合处理高维空间中的问题。基于广义的fisher线性判别准则， yang等人提出压缩变换的方法，其本质是奇异情况下fisher最优鉴别特征的抽取过程可分为两步进行：第1步，利用k-l 变换，以总体散布矩阵为产生矩阵，将高维的原始样本压缩为维（表示总体散布矩阵的秩) ；第2步，在变换

46、空间内，利用fisher鉴别变换进行特征抽取。虽然比原始空间维数小很多，但通常情况下，仍然会很大，而实际上，并非产生矩阵所有特征向量都有很大的保留意义。4.3 线性鉴别分析的基本原理我们为了后面讨论的方便，我们首先定义一些符号。设共有张训练样本，训练样本共有类，每类分别有m张训练样本，s代表类间协方差矩阵，s代表类内协方差矩阵，s代表总体协方差矩阵，代表图像矩阵展开的列向量，代表所有训练样本的平均样本，代表第i类的平均样本。那么s、s的表示公式如下： (4-1) (4-2) (4-3)我们可以证明，证明如下： (4-4)由(4-1)，(4-2)和(4-3)的定义知，和均为非负定矩阵。由线性代数

47、的知识我们可以判断出：当可逆时，与均为正定矩阵。fisher鉴别准则函数如下式定义： (4-5)其中，x为任一维非零列向量。从式(4-5)我们可以看出fisher鉴别准则函数将样本在投影矢量上的类间散度和类内散度结合在一起，为我们确定最优投影方向提供了一个准则。我们选取使得准则函数达到最大得矢量作为我们得投影方向，这就是最佳投影向量，这个最佳投影向量得物理意义是：投影后得样本具有最大得类间散度，同时具备最小的类内散度。4.4 fisher线性鉴别法经典的fisher线性鉴别分析就是要通过最优化函数(4-6)或(4-7)式找到一个最优的投影矩阵. (4-6) (4-7)在实际的应用中，经典的fi

48、sher线性鉴别分析最优投影轴族，即最有的投影矩阵的列向量，一般取为广义特征方程的个最大的特征值所对应的特征向量。即，满足以下条件，其中由于至多存在c1个非零特征向量，故最优投影的个数4.5 线性鉴别分析在人脸识别中的应用在将lda 应用于人脸识别时，类内离散度矩阵几乎总是奇异的3，且都是mn 的非常大的矩阵。所以swets和weng先用pca给图像降维，然后再使用lda，fisherfaces。就类问题来说lda要明显好于pca，这主要是由于lda寻找的是使类内数据尽量集中，类间数据尽量分散的线性变换关系。但是lda方法是先使用pca降维，而pca方法固有的缺点是在降维的同时也丢失了很多帮助

49、判别的有用信息，因此近年来，很多人开始寻找直接使用lda降维的方法。在本文中，我们主要讨论了经典的lda算法。总结上面的分析与讨论，我们可以大致列出lda方法（即fisherfaces法）的基本实现步骤。1）把所有的图像矩阵按列进行列向量化；2）计算平均列向量；3）列向量中心化；4）计算，5）利用fisher准则计算特征值和特征向量；6）保留个最大的特征值，及这个特征值所对应的特征向量，且要把这些特征向量正交标准化，从而就构成了新的子空间的基矩阵；7）将训练样本和测试样本投影到这个子空间上，然后我们选择合适的分类器和相异度测试公式对测试样本进行分类。4.6 分类本文分类方法仍采用最近邻法。使用

50、最近邻法来进行分类，距离的度量如下式表示：如果： ，且（是第类的意思），那么，也即。4.7 本章小节在这一章我们主要介绍lda算法的发展及在人脸中的应用。同时，我们对lda算法的原理进行了分析，并给出了部分证明。总结一下，lda算法，即fisher线性鉴别算法，其本质就是在上面所分析的pca算法的基础上，加入了一个fisher准则。第五章 实验结果5.1 实验数据库介绍上面我们介绍了两种算法的基本原理，并以人脸的应用为例作了相关的介绍。为了便于分析，对算法的验证，我们不仅在人脸库上进行了实验，作为对比，我们还在眼睛图像库上进行了实验。orl人脸库是英国剑桥大学olivetti研究所制作的标准人

51、脸库。orl标准人脸库由40 人、每人10 幅分辨率为的图像组成，其中有些图像是拍摄于不同时期的；人的脸部表情和脸部细节有着不同程度的变化，比如，笑或不笑，眼睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度的变化，深度旋转和平面旋转可达；人脸的尺度也有多达10%的变化3。眼睛数据库由10个人，每人7幅分别率为280320的图像组成，其中的图像和orl人脸库类似，同一个人的眼睛是在多种变化的情况下拍摄的。图5.1 是orl人脸库中某人的10 幅图像和眼睛数据库某人的6幅图像，见图5.1。(a) orl人脸库中某人的10 幅图像(b) 眼睛数据库某人的6幅图像图5.1 数据库图像我们在上面介绍的数据

52、库上做试验，我们改变训练样本的数目，来测定不同训练样本下各算法的识别率。我们在实现算法时使用matlab 语言。5.2 orl人脸库上的实验结果5.2.1 得到的特征图像在orl人脸库上进行两种算法的验证，得到的特征图像，见图5.2：(a) pca方法得到的特征脸（eigenfaces）(b) lda方法得到的特征脸（fisherfaces）图5.2 pca、lda方法得到的特征图像从上面得到的图像可以看出，pca方法得到的特征图像较清晰，lda得到的图像较模糊，这是由于lda在特征提取时，可以将维度降的更低，从而得到的特征图像就变得模糊。5.2.2 不同训练样本下的识别率测试时，训练样本数选

53、择不同，那么得到的识别率也就不同。下面就在表中列出在不同识别率下的识别率，见表5.1。表5.1 不同训练样本下的识别率训练样本数pca方法lda方法282.50078.750385.71483.214488.75084.167595.00082.500693.75089.375795.00092.500895.00092.500992.50095.0005.2.3 两种算法运行时间的比较选择相同的训练样本数（本实验选择样本数为5），在眼睛数据库上的进行实验，测试两种算法的运行时间，每种算法进行10次，下表统计了求平均后的结果，见表5.2。表5.2 运行时间方 法pcalda运行时间6.922秒

54、10.984秒 从运行的结果看，pca较lda用的时间少，为6.922秒。从这个结果上看，在orl数据库上的实验pca比lda的效率要高。5.2.4 不同方法的特征值分布情况在进行特征提取时，在选择(个)特征向量时，要根据特征值来进行选择。在本试验的过程中，我们对特征值进行了统计，为了便于分析，下面就给出各个特征值的分布图（此时选择训练样本数为5），见图5.2。(a) pca方法的特征值分布情况(b) lda方法的特征值分布情况图5.3 两种算法的特征值分布情况从上面两个图可以看出，lda算法的较大特征值数目较少，因此，选择的特征向量也较少。5.3 眼睛数据库上的试验结果5.3.1 得到的特征

55、图像在眼睛数据库上进行两种算法的验证，得到的特征图像，见图5.3。(a) pca算法得到的特征图像 (b) lda算法的到的特征图像图5.3 pca和lda两种算法得到的特征图像从上面orl人脸库上的试验结果类似，得到的图像可以看出，pca方法得到的特征图像较清晰，lda得到的图像较模糊，这是由于lda在特征提取时，可以将维度降的更低，从而得到的特征图像就变得模糊。5.3.2 不同训练样本下的识别率测试时，训练样本数选择不同，那么得到的识别率也就不同。下面就列出在不同识别率下的眼睛图像识别率，见表5.3。表5.3 不同训练样本下的识别率训练样本数pca方法lda方法262.00066.000360.00080.000456.66780.000585.000095.000从上表可以清楚地看到，每一种算法的识别率都会随着训练样本数的不同而不同，并且在眼睛图像数据库上的试验结果表明，相同训练样本情况下，在同一数据库的识别率，lda算法要比pca算法的识别率高，这与理论上的推论