基于小波理论的人脸特征提取与识别的算法研究.doc

2014年6月16日 小波理论与应用课题论文基于小波理论的人脸特征提取与识别的算法研究 院 （系）：) 专 业： 学号： 年 级： 2014年6月目录一、绪论11.1人脸识别的研究背景与意义11.2人脸识别系统21.3主要研究内容及行文安排2二、小波理论与分析32.1小波分析变换及其性质32.1.1一维小波变换32.1.2高维连续小波变换42.1.3离散小波变换52.2多分辨分析与Mallat算法62.2.1多分辨分析62.2.2Mallat算法72.3最优小波基选择与分解层数确定82.3.1最优小波基选择82.3.2分解层数的确定92.3.3小波系数的选择10三、基于分块小波的人脸识别算法113.1引言113.2 Karhunen-Loeve变换及主成分分析法113.2.1 K-L 变换113.2.2主成分分析法133.3线性识别133.4分块小波组合特征提取153.4.1确定分块小波系数153.4.2组合特征的提取及识别算法173.5实验结果与讨论18四、总结与展望204.1总结204.2展望21参考文献22II一、 绪论1.1人脸识别的研究背景与意义人脸识别是模式识别的一个研究领域，是当今新兴的生物识别的一个重要组成部分。所谓的人脸识别技术，就是将人脸图像或者包含人脸的视频流序列输入计算机进行分析，从而提取出能有效表达人脸图像的特征,进行身份辨别，从而达到监督,管理和控制目标的一门技术。它涉及的领域非常广，包括：模式识别、图像处理、生理学、心里学、计算机视觉等许多的学科知识，并且与基于生物特征的身份鉴别方法等的研究领域以及相关学科的发展关系密切。人脸识别的研究已经有很长一段时间了,它大致可以分为四个阶段：最早可以追溯到1888年Galton在Nature杂志发表的关于用人脸来进行身份识别的文章，1954年,Bruner于1954年写了人类的知觉这本关于心理学的书Bledsoe 在 1964 年就工程学写了“The Model Method in Facial Recognition”，1965年他又发表了一篇关于自动人脸识别的技术论文；始于1970s的机器识别是人脸识别研究的第二阶段，Parke等主要研究人脸识别所需要的面部特征，首次用计算机实现了较高质量的人脸灰度图模型。该阶段的工作完全依赖于操作人员，不能实现自动识别；研究者们设计的基于几何特征参数的识别系统开始了第三阶段:人机交互式识别的历程。Harmon和Lesk用几何特征参数来表示人脸正面图像。人脸面部特征釆用多维特征矢量表示，并设计了一个识别系统。Kobayashi等用统计中的欧氏距离来表征人脸特征进行识别，这种方法依然依靠某些先验知识，摆脱不了人的干预；直到20世纪90年代初中期，随着高性能计算机的出现，人脸识别方法才有了重大突破，才真正的进入了机器自动识别阶段:第四阶段。人脸识别技术对学科的发展和巨大的应用前景主要表现在两个方面：（1）人脸识别促进了对各门学科的极大发展。它作为一个典型的模式识别、图像分析处理、理解及分类计算的问题,它为模式识别、数字图像处理、计算机视觉、计算机图形学、神经网络、心理学、生理学等学科提供了一个非常好的平台，为研究具体问题创建了一个用于创新方法、验证新的理论、解释新的现象的提供了一个好的环境。人脸识别的进一步研究和最终问题的解决，将极大的促进这些学科的成熟和发展。（2）目前身份识别和验证是人们日常生活中的重要的基本活动之一。每天我们都要面对大量的人的身份做出相关判断、并用相关手段证明自己。比如银行的ATM机上的金融业务需要输入自己的密码,进行网络交易时需要用到自己的账号和密码等,但这些方式不安全、不可靠、不唯一，这些缺点可能会导致大量的经济损失等。这些问题使得原有的措施已经越来越不能适应社会的发展了，我们需要提供一个更方便、更安全、更可靠的身份验证手段。生物识别技术就是被认为是解决这些问题的理想方式。国内外有许多学校和机构都在研究人脸识别技术。随着计算机技术的快速提高，人脸识别技术也得到了长足的发展，其研究有着重要的意义。1.2人脸识别系统 广义的人脸识别系统主要包括：人脸图像釆集、人脸区域、人脸表征、特征提取、人脸识别以及分类结果等。而我们所研究是狭义的人脸识别，主要研究的是:特征提取、人脸识别和分类结果。预处理：其中人脸检测、人脸区域定位和人脸的表征我们统称其为预处理。主要是通过相关设备采集图像，然后确定人脸的位置、大小等过程,最后通过数字化、几何变换、归一化、平滑、复原和增强等步骤得到标准的人脸图像。特征提取：所谓的特征提取，从图像信息中利用各种方法挑选出对分类最有利的特征，降低特征空间维数的过程就是特征选择。特征的提取实际上就是在众多的特征数据中寻找最有效的特征，同时进行适当的降维。特征提取要满足两个要求：一是要寻找最优的能最佳描述待识别对象，使其能最大限度的区别不同类；二是能够尽量实现数据的降维，减少特征提取的时间和空间的消耗。分类识别：分类决策就是在特征空间中用分类器将被识别的对象归为某一类别。基本做法是在样本训练集基础上确定某个判别准则，使得按这种准则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。从人类识别系统来看，特征提取和分类识别是人脸识别的重要组成部分，它将直接关系到整个识别系统的优劣。所以本文重点研究人脸识别中的特征提取和分类识别部分。特征提取是通过变换(或映射)的方法获得最有效的特征，实现特征空间的维数从高维到低维的变换。其主要目的在不降低识别率的情况下，降低特征空间的维数。这样可以简化计算，减少运算量。 目前基于特征提取的人脸识别算法可以分为以下几大类：基于几何特征的方法、基于弹性模型、动态链接模型DLA、基于神经网络的方法、基于统计的方法、基于子空间方法、基于三维模型的方法、还出现了很多有效的几种混合特征提取方法如:K-L投影和奇异值分解(SVD)相融合的分类判别方法；HMM和奇异值分解相融合的分类判别方法等。1.3主要研究内容及行文安排在本文中，主要对人脸识别系统中的特征提取方法进行了研究。具体安排如下：第一章：绪论。本章首先对人脸识别的定义进行了概述，然后介绍了研究背景及现实意义，其次介绍了人脸识别的主要内容、发展历程及目前国内外现有的研究方法以及常用的人脸特征提取的方法。第二章：小波理论与分析。主要介绍了小波变换基础理论及其性质；然后介绍了多分辨分析和mallat算法；最后介绍了小波变换在人脸识别中的应用，重点介绍了人脸识别中小波基的选择和小波分解层数的确定，及现有的小波在人脸识别中的应用方法。第三章:基于分块小波的人脸识别的算法。本章首先介绍了主成分分析算法和线性判别分析算法的基础理论；接着提出了分块小波的概念及分块小波系数的求解方法；最后给出了基于分块小波的人脸识别的算法及实验效果的验证。第四章：总结与展望。总结全文的重点，归纳工作要点并对未来该领域的发展方向和发展前景提出展望二、小波理论与分析传统的信号分析是建立在傅立叶变换的基础上的，而傅立叶分析使用的是一种在时域或频域的全局变换，无法研究信号的时频局域性质，而这又正好是非平稳信号的最关键的性质。为了更好地研究非平稳信号，很多学者在此基础上进行了推广，提出并发展了一系列新的信号分析理论:短时傅立叶变换、分数阶傅立叶变换小波变换、时频分析、Gabor变换等。小波分析是是一种窗口大小固定不变,时间窗和频率窗都可以改变的时频局部化分析的多分辨率方法。即在低频部分具有较高的频率分辨率,在高频部分具有较高的时间分辨率和较低的频率分辨率,很适合观测信号中的局部噪声现象,所以被誉为分析信号的“显微镜”。2.1小波分析变换及其性质 对傅里叶变换和短时傅里叶变换的一个重大突破就是小波变换的产生。本节介绍小波变换的基本原理及其性质。2.1.1一维小波变换定义2.1.1 设，其傅里叶变换为，当满足允许条件 （2-1）时，我们称为一个基本小波或母小波。将母函数经伸缩和平移后得 （2-2）称其为一个小波函数。其中a为伸缩因子,b为平移因子。对于任意的函数的连续小波变换为的连续小波变换为 （2-3）为了使信号重构的实现在数值上是稳定的,除了完全重构条件外,还要求小波的傅立叶变化满足下面的稳定性条件： （2-4）式中 。连续小波变换具有以下重要性质：线性性、时移不变性、尺度伸缩性、自相似性、冗余性。2.1.2高维连续小波变换图像自身的特点决定了我们在将小波变化应用到图像处理时，必须把小波变化从一维扩展到二维甚至高维。令表示一个二维信号，分别表示其横坐标和纵坐标。表示二维基本小波，二维连续小波及小波变换的定义为： 定义2.1.2 令表示的尺度伸缩和二维位移， （2-5）称为二维连续小波。二维小波变换如下： （2-6） 式中1/a为保证小波伸缩后其能量不变而引入的归一因子。重构公式为： （2-7）对公式(2-6)有两种扩展的方式，一种是选择小波使其为球对称；另一种是选择的小波Y不是球对称的,但可以采取旋转方式进行同样的扩展与平移的。定义2.1.3 给定（n1）为球对称，其傅立叶变换为且，当满足允许条件： （2-8）时，我们称为球对称高维小波,对所有的。如果选择的小波不是球对称的，但可以用旋转进行同样的扩展与平移。对二维情况有：定义2.1.4 定义 （2-9）其中，其相容条件为：（2-10）小波变换为：2.1.3离散小波变换由于连续小波变换存在冗余，因而有必要搞清楚，为了重构信号,需针对变换域的变量进行某种离散化，以消除变换中的冗余,在实际中，常取，这时， （2-11）简写为：，变换形式为： （2-12）为了重构信号，要求是的Riesz基。重构公式为： （2-13）2.2多分辨分析与Mallat算法多分辨分析是小波分析的重要概念之一，从函数空间的高度研究函数的多分辨率分析-将一个函数表示为一个低频成分和不同分辨率下的高频成分。更重要的是多分辨率分析提供一种构造小波的统一框架，并且能够提供函数分解与重构的快速算法。2.2.1多分辨分析Mallat使用多分辨分析的概念统一了各种具体小波基的构造方法，并由此提出了快速小波分解和重构的Mallat算法，它在小波分析中的作用就相当于快速傅里叶变换在傅里叶分析中的作用。定义2.2.1 空间的多分辨分析是指构造该空间内一个子空间列，分别为尺度空间和小波空间。 定理2.2.1 令是空间的一个多分辨分析，则存在一个唯一的函数使得 （2-14） 构成的一个标准正交基,其中称为尺度函数或生成函数。若生成一个多分辨分析，那么也属于，并且因为是的一个Riesz基，所以存在唯一的序列，它描述尺度函数的两尺度关系： （2-15）同样，如生成一样，存在一个函数生成闭子空间，且有与式(2-15)类似的双尺度方程： （2-16）式(2-16)称为小波函数双尺度方程。2.2.2Mallat算法Mallat是在著名的用于图像分解的金字塔算法(Pyramidal algorithm)的启发下,结合多分辨分析，提出了信号的塔式多分辨分解与综合算法，常简称为Mallat算法。首先看一维的Mallat算法： 定理2.2.2 设并假定已得到在分辨率下的粗糙象，构成的多分辨分析，从而有，即： （2-17）式中于是（2-18）其中，的基函数是，的基函数是。如果是标准正交尺度函数，则其分解系数为： （2-19）在二维多分辨率分析中,依然存在以下关系： （2-20）则有如下定理存在：定理2.2.3若二维空间是可分离的,则二维多分辨率分析的分解式为： （2-21）2.3最优小波基选择与分解层数确定2.3.1最优小波基选择允许性条件是小波函数必须满足的基本条件，明显存在无穷多个小波函数,则小波基也有无穷多组。不同小波基的时频特性不同，那么同一个问题用不同的小波基进行分析就会产生不同的效果。小波函数和小波基的选取和优化问题就成为实际应用面临的一个难题。理论上讲：1)影响小波系数重构的稳定性的“正则性”； 2)保证良好的时频局部特性的“紧支集“； 3)失真问题密切相关的对称性；4)决定小波变换后能量的集中程度的消失矩阶数”。 这四个方面是最优小波基的基本选取原则。然而实际的选择并没有很好的理论指导。目前常用的几种小波分别是Haar小波、Daubechies(DbN)小波系、Biorthogonal(BiorNr.Nd)小波系、Coiflet(CoifN)小波系、SymletsA(SymN)小波系。由于它们分别具有不同性质，在人脸识别中不同小波基对识别效果有较大的影响。关于最优小波基的选取本文釆取的是对不同的人脸库，通过多次试验比较来选择最好的小波基。为了得到应用于ORL人脸库上人脸识别最好的小波基,从时间和识别率两方面来考虑，比较了不同小波基的应用效果实验表明，一方面，各类小波基随着N增大，识别时间会显著增加,然而识别率并不会提高，如Daubechies(DbN)小波系（如图2.1所示）图2.1 Daubechies(DbN)小波系识别性能另一方面,各小波系类都有在识别率及识别时间上表现不错的小波基，并且这些小波基相互之间的差异并不显著。综合考虑两种不同大小图像情况，显然Coifl在识别率和识别时间上都有不错表现,而且显得更加稳定，故后面实验中选取的小波基为Coifl。2.3.2分解层数的确定分解层数是跟被分解图像的大小相关，分解层数过多会丢到太多信息造成图像失真,层数太少一方面达不到降维目的,另一方面也会留下过多冗余信息从而影响后面的识别。ORL人脸库中有图片内容相同但大小不一(28x23和112x92)的两个人脸库,表2-1就这两种大小图片在不同分解层数情况下的识别率进行了详细对比。表2-1不同分解层数的识别率(%)比较从表2-1可知，不同大小的图像所对应的最佳分解层数是不相同的，对于大小为28x23的图像分解2次能达到最好的效果，而大小为112x92的图像则需要分解3次才能到达最好的效果。因此，对不同大小的图像进行小波处理,应釆用不同的分解层数，以达到较高的识别率。而且整体来说图像大小为112x92时识别效果更好，所以本文实验统一采用大小为112x92的图像，小波分解层数为3。2.3.3小波系数的选择将人脸图像经过一次二维小波分解后得到如图2.2(a)的四个部分LL、LH、HL、HH)。LL是水平方向和垂直方向低通滤波后的小波系数，该系数基本包含了原有图像的信息，而且在此区域中，消除了随机信息和冗余信息。LH包含了人脸水平方向的主要信息特征;HL包含了人脸垂直方向的主要信息特征；HH是水平方向和垂直方向都经过高通滤波之后的小波系数，若对LL重复分解下去则可得到更高一级的分解图像，图2.2(b)为做三次小波分解的示意图，每个部分都分别对应一个小波子图。图2.2小波变换图可用基于任何方向的单一的小波子图来进行人脸识别，但是由于它们所包含信息的不同,基于不同方向小波子图的识别方法的识别率也不同。低频子图由于包含原图像的主要能量,且对表情变化不敏感,所以它的识别率最高。水平方向子图和垂直方向子图包含了较多的轮廓信息,这些信息也可用于识别，故也有不错的识别率，而对角线方向子图则主要包含的一些冗余信息，所以识别率是最低。故第3章中利用低频子图来进行研究，抛弃了其他三个方向的小波子图。三、基于分块小波的人脸识别算法3.1引言统计特征的想法是将人脸看成一个空间的矢量，将人脸识别问题转化为子空间中的特征矢量的匹配问题,提取统计特征并用相关距离来度量统计特征的差异。其中PCA和LDA是非常著名的两个提取统计特征的方法。只是在实际运用中都会遇到求解特征值困难的问题。例如人脸识别,一般人脸图像维数较高且样本库庞大,直接应用PCA和LDA时就有可能产生上述问题。解决的办法自然降维，而小波变换可以凭借Mallat算法快速实现降维处理，于是结合小波变换和统计特征的方法被广泛应用起来。本章即根据这个思路，展开基于小波变换和PCA、LDA的研究。首先介绍PCA和LDA的基本理论，然后给出分块小波概念，并结合PCA+LDA应用于人脸识别，试验结果表明该方法在提高了识别速度的同时增加识别精度和稳定性。3.2 Karhunen-Loeve变换及主成分分析法3.2.1 K-L 变换 特征脸方法是由Turk和Pentland提出来的,它的基础就是Karhunen-Loeve变换(简称夂变换)。它是以图像的统计特征为基础,其变化核矩阵由图像阵列的协方差矩阵的特征值和特征向量决定。先看一维的K-L变换。 定义3.2.1假设f是一个的随机向量集合，f的均值可以统计iV个样本向量估计。 （3-1）其协方差矩阵定义为：（3-2）(3-2)的特征值和相应的特征向量由下式确定： （3-3）则由特征向量组成的矩阵，我们称为变换核矩阵： （3-4）正交化后为，令，则称 （3-5）为一维的K-L变换，其反变换为 而我们在做人脸识别时，考察的对象是二维图像，实际应用时，我们可以将二维图像采用行堆叠或列堆叠转换为一维来处理。所以，同理，可以给出二维图像的K-L变换的定义。定义3.2.2给定图像,将幅图像形成图像集合，釆用行堆叠将每一个大小样本表示为向量 其中元素 （3-6）根据公式(3-2)向量的协方差矩阵和相应的变化核矩阵分别为：（3-7）则为维。令和为的特征值和特征向量， （3-8）称 （3-9）为二维的K-L变换。其反变换为： （3-10）3.2.2主成分分析法主成分分析法(PCA)是K-L变换在人脸识别中的应用。把特征值由大到小排序，。它们所对应的特征向量为，它们就是特征子空间的正交基。由于与人脸图像很相似,所以它们被称为特征脸,由这些特征脸所张成的空间称为特征脸子空间,即PCA的投影子空间，本文中为方便好记称它为。主成分分析法就是将上述m个特征向量作为基向量,将原始空间的人脸图像投影到上述特征向量所张成空间中。设待投影的人脸图像为Y,投影后的系数为C,则有，因而，每一幅原始图像对应于特征空间中的一个点。因Y的维数为 ,而C的维数为，通常MN较大，而m较小,故PCA能够达到降维的作用。对应特征子空间的正交基中,人脸的大体形状由较大特征值(即主分量)的正交基表示,而人脸的具体细节则用较小特征值的正交基描述,或者从频域来看,主分量表示了人脸的低频部分,而次分量则描述了人脸的髙频部分。也就是说任何一幅人脸图像都可以用这组特征脸的线性组合来表示,各个加权系数则就是K-L，变换的展开系数,可以作为图像的识别特征。从数学的角度看,K-L变换是最优变换,它使得压缩前后的均方误差最小,且变换后的低维空间有很好的人脸分辨能力。但该方法也存在一些问题：1)它是一种基于图像的统计方法,图像中所有像素的地位是相等的,对于人脸变形等本身所造成的差异和外界因素如遮挡、光照等所带来的图像差异并不加以区别的。2)人脸在特征空间的分布近似高斯分布,而实际生活中普通人脸位于均值附近,部分特殊的人脸位于边缘附近。即越普通的人脸越难识别,而主成分分析方法假设人脸都处于低维线性空间,即人脸相加或者相减后仍然是人脸。而实际上由于人脸器官的位置不同,相加或相减后的人脸肯定会存在模糊,从而产生矛盾。3.3线性识别主成分分析法的目标不是寻找最优判别方向，而是寻找最小重建误差,所以提取特征过程中所用的散布矩阵，即上节的协方差矩阵由式(3-5)表示为所有训练样本求得的总体散布矩阵,不含类别信息。但应用于人脸识别分类时,那些被PCA “截去”的次分量有可能正好是能把那些不同类别区分开来的方向。那些提取使同一模式类的样本分布最集中(离散程度最小)、而不同模式类之间的离散程度最大的特征向量的方法应该是模式分类中所追求的最佳的特征提取方法。这就要求充分利用训练样本的类别信息,即有监督(supervised)的方法,而不是像PCA那样的无监督(unsupervised)方法。线性判别分析(LDA)方法就是这样一种线性子空间方法。定义3.3.1以下两个分别表示类内和类间离散度的散布矩阵： （3-11）以上两式中和分别称为类内散布矩阵和类间散布矩阵,C为类别数目, 为第i类的样本均值向量, 为所有样本的均值向量, 为第i类的样本集合, 为其中的样本数目。反映类别可判别性的Fisher准则函数定义为 （3-12）式中是变换矩阵,如果非奇异,使得取极大值的就是使得所要投影的样本的类间散度矩阵与类内散度矩阵的行列式之比最大的最佳投影方向 （3-13）相对于PCA,LDA充分利用了不同类的的类别信息,突出了不同类之间的差异,缩小同类别之间的间距,所以非常适合人脸识别。而实际通常是奇异的,也就是会遇到“小样本问题”。普遍采用的方法是先利用PCA将原始图像降维,然后再利用LDA进行特征提取。也就是对原始样本数据进行两次投影变换,即首先进行投影,然后再进行判别分析投影。在PC4变换后的子空间中退化将不会发生。 整个算法的投影矩阵可描述为： （3-14）其中； （3-15） （3-16）其中, 为训练图像集的协方差矩阵。的列向量是正交向量,也称它为Fisher脸(Fisherfaces)。先进行PCA投影不但计算量大,而且可能会去掉类内散布矩阵和类间散布矩阵的零子空间,而类内散布矩阵的零子空间通常包含很多有用的判别信息。3.4分块小波组合特征提取在第2章的2.3节已详细介绍了小波变换中小波基的选择、小波分解层数的确定及小波系数的选择。本节将重点考虑在人脸识别领域中小波的应用,先假设已对给定图像,利用第2章的方法对其进行了前期的小波分解处理。在人脸图像识别问题中,类内散布矩阵经常是奇异的。但已有很多实验证明PCA和LDA的结合往往既能克服LDA的小样本问题,又能保证有较高的识别率。而以往的大量文献仅考虑对图像进行小波变换提取其双低频子图像来进行相应处理,虽达到降维的目的,但没考虑人脸局部特征对识别起到很重要的作用。本文正是在充分考虑如何提取局部特征,又克服小样本问题的基础上,提出了一种基于分块小波的新算法,从组合特征的提取和融合分类器的角度出发,试图进一步提高统计特征识别方法的识别率和识别速度。3.4.1确定分块小波系数设给定小波子图大小为,将分成的区域(称为分块长度)。记大小为的子区域为 “,则其小波系数均值可由如下表达式求出 （3-17）从而由,组成的新矩阵就是分块小波系数 （3-18）不同的分块大小,得到每个子块包含人脸的局部信息不一样。做2X2划分时人脸被分为上下左右4块(见图3.l(a),人眼眉毛额头被分在一起。而做4X4划分时(见图3.l(b)）额头被分得更细,脸颊和嘴巴也被区分开来。图3.11图片分块后的效果为了寻找最合适的划分准则,本文做了几种不同图像大小、不同分解层数下各种分块的人脸识别率对比实验(结果见图3.2至图3-5)。从结果比较中可以看到当分块长度n为1和2时,识别率最好。图3.2子图大小为32x32,做2层小波分解 图3.3子图大小为32x32做3层小波分解图3.4子图大小为64x64做2层小波分解 图3.5子图大小为64x64做3层小波分解但从表3-1可以看出,分块长度为2时的时间效率比不分块(分块长度为n=l)的要高很多，所以本文采用子块长度为2做划分。3.4.2组合特征的提取及识别算法小波变换能够将图像的主要信息集中到双低频段,而将一些边缘的、次要的信息集中到高频段。并且随着分解层数的增加,变换后能精确到更多的信息。由于小波变换具有能很好地处理降维与保留图像主要信息之间关系的能力，故称为目前最常用的图像降维方法之一。进一步地,分块小波既能钝化人脸突出局部信息,又能实现快速降维的效果。因此，孙鑫等提出了分块PCA的人脸识别将人脸分成几块，再对各个子块利用PCA提取特征。类似的，谢永华等对人脸分块子图分别进行小波变换，得到不同子块的高频和低频小波系数，然后用于特征识别。而PCA特征提取方法是针对所有给定样本而言的，样本的所属类别信息并没有纳入到算法中去，这样会增加小波变换的次数，扩大了问题的复杂程度。另一方面，LDA方法釆用了使得样本能够正确分类识别的先验知识，即寻找最优投影方向，使得投影后向量的类间离散度矩阵和类内离散度矩阵的比率最大化。这些投影方向被用来对给定的样本向量进行特征提取，从而有助于识别率的提高。为此本节给出了基于分块小波的组合特征提取的过程及识别算法。算法3.4.2组合特征提取Stepl对待识别图像进行小波变换,得到双低频子图，然后对该子图做分块处理,由公式(3-18)得到分块小波系数；Step2对分块小波系数做增强处理；Step3对增强后的小波系数重构图像；Step4由式(3-15)提取重构图像的PCA投影子空间,进而得到其对应的特征向量；Step5接着对PCA的投影子空间由式(3-16)求出其特征值最大的前L-1个方向向量，并令它为；从3.2、3.3节可知，LDA充分利用了类别归属信息，得到的特征向量将不同人脸之间的差异充分体现，并且弱化了同一人脸由于不同光照、姿态及表情所产生的变化，所以应用于人脸识别能取得很好的效果，但是推广能力较差。而PCA既能降低数据维数,又能使得式(3-13)中非奇异，保证了 LDA的推广能力。而分块小波即能更好地突出人脸图像的局部信息，又能实现快速降维，因此本文接下来将由算法3. 4. 2提取到的特征向量用于人脸识别，取得了较好的识别效果。3.5实验结果与讨论在ORL人脸库上,本文做了两组对比实验。每组实验随机选择5个图像作为训练样本，剩下的5个图像用于测试，对不同分块长度和分解层数进行了 10次重复实验。第一组是将小波子图的大小线性变换为 (实验结果见表3-2)，第二组变换为64x64(实验结果见表3-3)。表3-2小波子图大小为32x32表3-3小波子图大小为64x64从表3-2和表3-3可以看出,对于两种图像大小的图像，基于分块小波的识别性能都比未分块小波好。对于图像大小为32x32的图像，分解级数为2级，分块长度为2个像素时，识别率最高，为96.80%。对于图像大小为64x64的图像，分解级数为3，分块长度为4个像素时，识别率最高，为96.75%。而且两种方式的识别速度都非常不错，识别时间分别为7.30毫秒和9.60毫秒。而不做分块处理(对应的就是表3-2、表3-3中第1行的数据)时最高识别率是96.70%，分别需要19.57毫秒和138.6毫秒。可见做分块处理不但能改善识别率，更是至少能提高两倍以上的识别速度。此外，本文还比较了不同方法的人脸识别性能，具体见表3-4。从表中可以看出线性鉴别分析(LDA)比特征脸方法(PCA)要好，因为前者充分利用了类别信息。而结合小波变换和PCA+LDA的方法比前两者都要好，不过识别率最高的是本文所提出的分块小波+PCA+LDA特征提取方法。表34各种方法实验结果对比由于KNN不需监督，分类效率较高，SVM对于少数类别分类有很好效果，所以有学者将两种方法结合起来进行分类。目前大多数结合方法都是先判断样本和支持向量机的距离，如果该距离大于某个阈值，则将其输入到SVM分类器,否则就输入到KNN分类器。这种结合方法已经广泛应用于文本、网页分类和人脸识别的研究中，并都取得了不错的效果。但是这种结合方法还是从支持向量机出发,需要构造最优超平面，所以还是会带来计算复杂的问题。为此本文提出了先用KNN过滤，简化问题规模，再用SVM分类的融合分类器方法。实验表明，此方法不论是在时间效率还是识别上都要比SVM要好，识别率比KNN好，时间效率相当。四、总结与展望4.1总结本文主要研究了小波变换与统计特征结合在人脸识别中的应用。结合小波变换的PCA和LDA特征提取方法要比不结合更好。而结合分块处理后结果更好并且时间更快，这也就是本章提出基于分块小波系数的PCA+LDA特征提取方法的原因。本文提出了一种基于分块小波组合特征向量的SVM+KNN融合分类算法。1)在对原始图像进行小波变换后，对其低频子图像进行了分块运算，给出了一种新的小波系数：分块小波系数;然后结合主成分分析法和线性鉴别分析法得到了基于分块小波系数的组合特征向量。ORL人脸库上的对比实验表明：该方法充分利用了不同方法的特点，克服了不同方法带来的差异，得到了比单独是一种方法更好的效果。2)利用KNN+SVM融合分类器对由前面得到的到的组合特征向量进行分类识别。ORL人脸库上的实验表明：KNN+SVM融合分类器对经PCA+LDA处理后的组合特征特征向量识别率显著高于其他分类器，且识别速度很快，具有实时处理的能力。这也表明，我们方法融合这一思路可以在人脸识别这一领域广泛应用开来。因为现在各种统计、图形、计算机等领域的方法被应用到人脸识别中来，各有各自的特点，又各有缺点。如果能正确将各种方法结合起来，势必能产生1+12的效果。3)本文提出的方法，不仅识别率达到了96.8%，比传统的PCA(94.9%)和LDA (95.35%)等方法要高，识别速度也从510毫秒降低到了 8.7毫秒，相对而言有了质的飞跃。在实时识别系统中具有较强的实用价值。4.2展望随着研究的进展,发现在研究中存在一些不足，仍然有许多工作有待深入研究： 1) 本文仅对二维静态图像进行识别，并没有对三维图像、复杂背景下的视频图像的人脸识别进行研究： 2) 本文所做的实验都是在两个标准人脸库(ORL和YALE)上进行的，如何使本文提出的算法能更好的应用于实际生活，即复杂背景下的人脸识别研究，这将是我们下一个阶段的研究重点。3) 人脸特征提取是人脸识别的一个关键因素，本文都是釆取都图像进行某种变换，获得其特征向量，而目前有很