（模式识别与智能系统专业论文）两种特征提取算法研究及其人脸识别应用.pdf

南京邮电大学 学科、专业： 研究方向： 作者： 指导教师： 题目： 英文题目： 主题 词： k e y w o r d s ： 硕士学位论文摘要 模式识别与智能系统 信息获取、处理与识别 二l 一i 局寿 荆晓远 两种特征提取算法研究及其人脸识别应用 s t u d yo nt w of e a t u r ee x t r a c t i o nm a t h o d sw i t h a p p l i c a t i o nt of a c er e c o g n i t i o n 人脸识别，流形学习，正则化，特征提取 f a c er e c o g n i t i o n ，s u p e r v i s e dm a n i f 0 1 d 上e a r n l n g ，r e g u l a r l z e d ， t e a t t l r eextractlonl 11n 5 6舢74 圳5舢乃舢1脚y 嗡、一 摘要 本文重点研究了两种特征提取技术：核方法和流形学习算法，在深入分析现有理论和 相关算法的基础上，提出了两个改进的特征提取算法并应用于人脸识别。 作为人脸识别的基础，本文首先介绍了线性子空间方法中的p c a 、l d a 算法，对其原 理、算法进行了概述。其次，介绍了非线性核方法中的k p c a 、k f d a 算法。然后，又对 流形学习算法进行了深入系统的研究。介绍了当前具有代表性的流形学习及其特征提取算 法，等距映射( i s o m a p ) 、局部线性嵌入( l l e ) 、拉普拉斯特征映射( l e ) 、局部保持映 射( l p p ) 、局部鉴别投影( l d p ) ，并从理论上分析了这些算法的性能特点。 在上述理论基础上，本文提出了两个改进的特征提取方法并将之应用与人脸识别，分 别是：基于有监督流形学习算法的中心局部保持映射和基于核函数的正则化鉴别分析。中 心局部保持映在局部保留映射的基础上，引入了有监督学习的概念，根据人脸样本在空间 中的分布情况，提出了保留中心结构的鉴别投影并将其应用于人脸识别；该方法将有监督 学习和空间流形结构的保持相结合，既有效地从训练样本中提取出样本的鉴别信息，又考 虑了样本的空间分布特性。基于核函数的正则化鉴别分析提出了一个新的准则以确定在正 则化和核函数选择过程中出现的不定参数。在a r 库、f e r e t 库上的实验证明了这两个方 法的有效性。 关键词人脸识别，流形学习，正则化，特征提取 a b s t r a c t t h ep a p e rm a i n l ys t u d i e st w of e a t u r ee x t r a c t i o nt e c h n o l o g i e s ：k e r n e lm e t h o da n dm a n i f o l d l e a m i n g t h i sp a p e rp r o p o s e st w oi m p r o v e df e a t u r ee x t r a c t i o na l g r i t h m sw i t ha p p l i c a t i o no ff a c e r e c o g n i t i o nb a s e do nt h ef o r m e rw o r k sa n dr e l e v e r e n ta l g r i t h m s a st h eb a s i so ff a c er e c o g n i t i o n , t h i sp a p e rf i r s t l ys t u d i e st h ep r i n c i p i u ma n da l g o r i t h m s y s t e m a t i c a l l yo fp c a ，l d am e t h o db a s e do nt h el i n e a rs u b s p a c e t h e ni ti n t r o d u c e st h ek p c a k f d am e t h o do fn o n l i n e a rk e r n e lm e t h o d s t h ep a p e ra l s os t u d i e ss o m er e p r e s e n t i v em a n i f o l d l e a r n i n ga n df e a t u r e e x t r a c t i o nm e t h o di n c l u d i n g i s o m a p ，l o c a l l i n e a r e m b e d d i n g ( l l e ) ， l a p l a c i a ne i g e n m a p ( l e ) ，l o c a lp r e s e r v i n gp r o j e c t i o n ( l p p ) a n dl o c a l d i s c r i m i n a n t p r o j e c t i o n ( l d p ) a tt h ee n do ft h i sp a p e ri t p r o p o s e st w oi m p r o v e df e a t u r ee x t r a c t i o na l g r i t h i n s c e n t e r e d d i s e r i m i n a n tp r o j e c t i o n ( c l p p ) a n dr e g u l a r i z e dn o n l i n e a rd i s c r i m i n a t i o na p p r o a c h ( r n d a ) c l p pb r i n g st h es u p e r v i s e dl e a r n i n gc o n c e p tb a s e do nt h e l o c a l i t yp r e s e r v i n gp r o j e c t i o n i t c o m b i n e st h es u p e r v i s e dl e a r n i n gw i t hm a n i f o l ds t r u c t u r ew h i c hp r o t e c t st h es a m p l e s c l p p e x t r a c t st h ed i s c r i m i n a n ti n f o r m a t i o nf r o mt r a i n i n gs a m p l e se f f i c i e n t l y , a sw e l la sc o n s i d e r st h e c h a r a c t e ro fd i s t r i b u t i o ni nt h es p a c e r n d ap r e s e n t sad e f i n i t i o no fr e g u l a r i z e dw i t h i n c l a s s s c a r e ra n dp r o v i d e sa v e r ys i m p l es o l u t i o no fr e g u l a r i z a t i o np a r a m e t e r an o n l i n e a rd i s c r i m i n a n t j u d g e m e n ti sa l s op r o p o s e dt os e l e c tt h ep a r a m e t e ro fr a d i a lb a s i sf u n c t i o n t h ee x p e r i m e n t a l r e s u l t so na r ，f e r e td a t a b a s e sd e m o n s t r a t et h a tc l p pa n dr n d a a r et h ee f f e c t i v ef e a t u r e e x t r a c t i o nm e t h o d si nt h ef a c er e c o g n i t i o nf i e l d k e yw o r d s ：f a c er e c o g n i t i o n , m a n i f o l dl e a r n i n g ，r e g u l a r i z e d ，f e a t u r ee x t r a c t i o n l i 目录 摘要i a b s t r a c t i i 第一章绪论l 1 1研究背景和意义1 1 2人脸识别概述l 1 3影响人脸识别的关键因素3 1 4 国内外研究现状及分析4 1 5 本文主要研究上作概述6 1 6 本文内容章节安排7 第二章特征提取技术介绍8 2 1线性核特征提取技术8 2 1 1 主成份分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 9 2 1 2 f i s h e r 线性鉴别分析：。l l 2 2非线性核方法特征提取技术1 4 2 2 1核函数基本理论1 4 2 2 2 核主成分分析( k p c a ) 1 6 2 2 3 核f i s h e r 判别分析( k f d a ) 1 8 2 3 流形学习算法研究2 0 2 3 1 流形学习概述2 l 2 3 2 等距映射( i s o m a p ) 2 1 2 3 3 局部线性嵌入l l e ( l o c a l l yl i n e a re m b e d d i n g ) 2 4 2 3 4 拉普拉斯特征映射l e ( l a p l a c i a ne i g e n m a p ) 2 6 2 3 5 局部保持映射l p p ( l o c a l i t yp r e s e r v i n gp r o j e c t i o n ) 2 7 2 3 6 局部鉴别投影l d p ( l o c a ld i s c r i m i n a n tp r o j e c t i o n ) 2 9 2 4 本章小结3 0 第三章基于流形学习的改进算法3 2 3 1 中心局部保持映射3 2 3 1 1 中心局部保持理论基础3 2 3 1 2定理证明3 3 3 1 3中心局部保持映射与l p p 的关系3 4 3 1 4 中心局部保持映射算法执行步骤3 5 3 2 模糊中心局部保持映射方法3 5 3 2 1 模糊化类中心思想3 5 3 2 2 模糊化类中心应用与中心局部保持映射的分析3 6 3 3 本章小结3 7 第四章正则化非线性鉴别方法3 8 4 1 正则化理论介绍3 8 4 2 非线性鉴别的正则化参数3 9 4 2 1 确定非线性参数4 0 4 2 2算法执行步骤4 l 4 3本章小结4 l 第五章 实验结果与分析一4 2 5 1 数据库介绍4 2 5 1 1 a r 人脸数据库介绍4 2 5 1 2 f e i 冱t 人脸数据库介绍4 3 5 2 中心局部保持映射实验结果与分析4 3 5 2 1 a r 人脸数据库实验4 3 5 2 2 f e r e t 人脸数据库实验4 5 5 3 正则化非线性鉴别实验结果及分析4 7 5 3 1 a r 人脸数据库实验4 7 5 3 2 f e r e t 人脸数据库实验4 9 第六章结束语：5l j l j 【谢5 ：! 参考文献。5 3 攻读硕士学位期间发表的论文5 6 南京邮电人学硕十研究生学位论文 第一章绪论 1 1 研究背景和意义 第一章绪论 随着计算机的出现和人工智能的兴起，模式识别作为一门新兴学科迅速发展起来。模 式识别是指对表征事务或现象的各种形式( 数值的、文字的和逻辑关系的) 信息进行处理 和分析，以对事务或现象进行描述、辨认、分类和解释的过程，是信息科学和人工只能重 要组成部分。从处理问题的性质和解决问题的方法等角度，模式识别又分为有监督的分类 ( s u p e r v i s e dc l a s s i f i c a t i o n ) 和无监督的分类( u n s u p e r v i s e dc l a s s i f i c a t i o n ) 两种。 二者的主要区别在于，各个实验样本所属的类别是否预先已知。 1 生物特征识别技术是模式识别领域的一个重要应用。在当今信息化时代，如何准确鉴 定一个入的身份、保护信息安全，已成为一个必须解决的关键社会问题。传统的身份认证 由于极易伪造和丢失，越来越难以满足社会的需求，目前最为便捷与安全的解决方案无疑 就是生物识别技术。它不但简洁快速，而且利用它进行身份的认定，安全、可靠、准确。 同时更易于配合电脑和安全、监控、管理系统整合，实现自动化管理。由于其广阔的应用 前景、巨大的社会效益和经济效益，已引起各国的广泛关注和高度重视。在目前的研究与 应用领域中，生物特征识别主要关系到计算机视觉、图象处理与模式识别、计算机听觉、 语音处理、多传感器技术、虚拟现实、计算机图形学、可视化技术、计算机辅助设计、智 能机器人感知系统等其他相关的研究。已被用于生物识别的生物特征有手形、指纹、脸形、 虹膜、视网膜、脉搏、耳廓等，行为特征有签字、声音、按键力度等。基于这些特征，生 物特征识别技术已经在过去的几年中已取得了长足的进展。 1 2 人脸识别概述 入脸识别属于- - f - 交叉学科，它覆盖了模式识别、计算机视觉、神经网络、数字图像 处理、心理学、生理学、数学等诸多学科，人脸识别技术的发展，对相关领域理论的研究 也有重要的推动作用。人脸识别技术就是利用计算机分析人脸图形，通过一定的算法从中 提取出有效的识别信息，进而“辨认”身份的- f - j 技术。 与其他生物特征识别技术相比，人脸识别的优势在于其自然醒和不被被测个体察觉的 l 然性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为 人类或者其他生物并不通过此类生物特征区别个体。不被察觉的特点对于一种识别方法 也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。 人脸识别具有这方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或 者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特 殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。正是由于这些优异的特点，目 前人脸识别技术已经在公安刑侦破案、门禁系统、摄像监视系统、网络应用等方面获得了 广泛的应用。 虽然人脸识别有很多其他识别无法比拟的优点，但是它本身也存在许多困难。人脸识 别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难 主要是人脸作为生物特征的特点所带来的。人脸在视觉上的特点是： 第一，不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外 形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个 体是不利的； 第二，人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角 度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件( 例如白天和夜晚，室内 和室外等) 、人脸的很多遮盖物( 例如口罩、墨镜、头发、胡须等) 、年龄等多方面因素的 影响。 在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化 应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化( i n t e r - c l a s s d i f f e r e n c e ) ，而称第二类变化为类内变化( i n t r a c l a s sd i f f e r e n c e ) 。对于人脸，类内 变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异 常困难。 人脸特征提取和特征识别是人脸识别中最为关键的两个问题。事实上，人脸识别研究 的发展主要就体现在这两个问题上，即提取人脸的什么特征和用什么手段进行分类，本文 主要进行特征提取方面的研究。所谓特征提取，就是将原本处于高维空间中的样本，通过 一定的算法，映射到低维空间，得到样本最为内在本质的特征，以便能够进行有效的分类 的过程。映射后的特征叫二次特征，是原始特征的某种组合( 线性或非线性组合) 。原始 2 南京邮电大学硕j ：研究生学位论文第一章绪论 样本经过特征提取，可以极大的减少数据存储量和分类的时间复杂度，有效的降低了图像 噪音对于识别效果的影响，从而提高了整个系统的性能。 1 3 影响人脸识别的关键因素 当光照、姿态、表情变化时，人脸的表象会产生较大变化，从而造成人脸识别系统的 性能下降。f e r e t 测试表明，光照和姿态变化问题是当前人脸识别系统面临的挑战。随着 人脸识别研究的深入，很多研究者对光照和姿态变化进行了专门的研究，也取得了一定的 进展。 1 ) 光照变化 光照会改变人脸图像灰度的相对分布，所以由光照引起的人脸图像变化甚至比因个体 差异引起的还要大。因此，光照变化会造成人脸识别系统性能的严重下降对光照变化的处 理已经引起了很多研究者的重视，并且取得了较大进展。目前已经出现了很多光照处理方 法，这些方法大致可以分为三类。 第一类方法的主要思想是寻找对于光照变化不敏感的人脸图像表示方法。 第二类方法是对原来某些不存在光照变化时人脸识别算法的简单改进和推广。 第三类方法的主要出发点是构建图像合成( s y n t h e s i z e ) 模型，这些模型可以合成与测试 ( p r o b e ) 蛩像具有相同或相似光照条件的新图像作为数据库中的图像。这类方法的关键是对 光照进行建模。 光照问题一直是人脸检测和识别中的一个非常重要而又难于解决的问题，目前许多识 别方法对光照条件都有不同程度的依赖，过亮、过暗或偏光现象的存在都可能导致识别率 的急剧下降。虽然目前已提出了一些具体的解决方案，但总的来说，对于光照问题的研究 还相对较少，缺乏高效实用的算法。 2 ) 姿态变化 目前基于姿态变化的人脸识别研究较多，己产生了大量的研究成果，比较典型的解决 思路有：建立多姿态人脸数据库，通过多样本学习方法进行识别；其二寻求基于姿态不变 特征的方法，如前面提到的基于弹性图匹配的识别方法、基于肤色模型的识别方法等；另 外，利用自动生成算法，在单视图基础上自动生成多角度视图进行识别。 基于视角的特征脸法为每个视角构建一个特征空间，取得了比标准特征脸法更高的性 能，但将光照变化问题与视角变化问题分开来考虑，这些前提条件在很多场合不能满足。 3 南京邮电大学硕十研究生学位论文 第一章绪论 线性对象类的思想，基于的假设是一个对象的三维形状( 或三维对象的二维投影) 能够 用某些原型对象的线性组合来表示。因此，一个对象的某个视角是原型对象的多个视角的 线性组合。按这种思路，可以从单张样本图像合成多张多个视角的人脸图像。从而可以实 现单张训练样本的多视角人脸识别。 弹性图匹配方法，在二维空间中定义了一种对于通常的人脸变形具有一定不变性的距 离，并采用属性拓扑图来表示人脸，拓扑图的任一顶点( 特征点) 都包含一个用来记录人脸 在该特征点位置附近信息的特征向量。实验结果表明，当人脸存在一定的姿态变化时，该 方法能取得较好的识别性能。缺点是该方法要求对特征点精确定位，而实现精确定位比较 困难。 总的来说，基于单视图或小样本的多姿态人脸识别，已是一个当前急需解决的关键问 题，它直接影响着人脸识别的实用化进程。 概括而言，目前人脸识别领域的主要开放问题包括：鲁棒、准确的特征配准问题；对 各种图像采集条件变化鲁棒的核心识别算法；识别算法的泛化能力和自适应学习问题；光 照变化问题，尤其是室外光照变化；姿态变化的人脸识别算法；人脸信息采集设备带来的 问题；低质量照片的检测识别问题；年龄变化导致的照片老化问题；墨镜、帽子、口罩等 造成的遮挡问题；化妆、整容带来的问题。另外需要注意的是：上述开放问题大多都是组 合性的。 1 4 国内外研究现状及分析 近年来，随着计算机技术和网络技术的发展，人脸识别技术也取得了很大的进展，提 出了众多人脸识别方面的新理论和新技术。目前在人脸识别领域主要采用的技术有：基于 线性的子空间技术；基于非线性的核方法和流形学习方法。 主成分分析( p c a ) 和线性鉴别分析( l d a ) 算法是线性子空间技术的经典算法。p c a 是一种降维技术，将原始特征空间的n 维数据投影到k ( k n ) 维特征子空间，该子空间 是由原始样本的总体散度矩阵的特征向量所张成。p c a 的目的是在最小均方意义下寻找最 能代表原始数据的投影方向，从而对特征空间进行降维。t u r k 和p e n t l a n d 1 7 使用p c a 方法获得了原始样本的“特征脸”图像，并且证明了原始样本可以通过特征脸线性组合重 构。特征脸是原始样本空间的总体散度矩阵的特征向量，保留的人脸图像的基本信息；并 且由于其相互正交的特性，因此具有互不相关的良好属性。f u k u n a g a 1 2 和y o u n g 2 8 等 4 南京邮电大学硕j ：研究生学位论文第一章绪论 人都曾对p c a 的理论和方法做过深入的研究，并讨论了其方法的稳定性问题。p c a 算法作 为线性特征提取方法，具有两个良好的属性：一是提取的特征在统计意义上互不相关；二 是能够将高维数据压缩成低维数据。 l d a 是一种有监督的学习算法，其基本思想是寻找在该方向同类样本相聚集，异类样 本相远离的投影轴。与p c a 不同的是，l d a 倾向于寻找鉴别信息，而它的投影轴则不需正 交。l d a 思想最早是由f i s h e r 提出，而在其理论基础上w i l k s 3 9 和d u d a 4 3 了鉴别矢量 集的概念，进而发展成为经典的f i s h e r 线性鉴别分析算法。该方法是选择f i s h e r 准则函 数使得所提取出的特征方向，能够让样本投影之后，达到类内离散度最小，类间离散度最 大的目的。今年来，l d a 方法被广泛应用与人脸识别领域。在一般情况下，l d a 的效率是 优于p c a 的；但是最近的一些研究表明，当训练样本很少时，p c a 在性能上可能超过l d a 。 核方法的基本思想是将原始样本空间中的各个样本首先映射到高维空间，然后在高维 空间应用线性分析技术进行处理。值得注意的是，将样本由原始特征空间映射到高维空间， 这一过程是非线性的，而且是概念上的。也就是说，我们不知道样本是如何进行映射的， 也不知道样本映射以后变成了多少维，我们唯一可以确定的是，样本之间的内积运算结果 可以借助与“核函数”得到，这是核方法的关键。常用的核函数有三种：多项式核函数， 径向基核函数和高斯核函数。核方法也有一些缺点：首先，几何意义不明确，正如上文所 言，经过核变换以后，我们不知道样本变成了什么样；其次，核函数的选取没有相应的标 准，在大多数情况下只能根据经验选择；最后，核方法不适合大样本的情况。 流形学习方法的基本思想是寻找嵌入在高维观测数据空间的低维光滑流形，并给出一 个有效的低维表示。近期的研究表明，高维空间中的数据点位于或近似位于外部空间的一 个子流形上。例如人脸图像可能位于一个非线性的子流形上，但是p c a 和l d a 只能发现全 局欧式结构，无法发现隐藏在人脸图像中的内在的非线性子流形结构。为了高效的揭示高 维数据中的流形结构，流形学习正日益成为模式识别和机器学习中的研究热点。与传统的 降维方法相比，流形学习具有以下优点：能够很好的处理高维数据非线性流形结构；具有 较少的模型参数；基于易于理解的图模型构建方法；维数降维后的数据特征具有易于理解 的可视化特征。目前主要的流形学习算法有：等距映射( i s o m a p ) 8 、局部线性嵌入( l l e ) 9 、拉普拉斯特征映射( l a p l a c i a ne i g e n m a p ) 1 0 、局部保持投影( l p p ) 1 1 。i s o m a p 建立在多尺度基础之上，力求在降维过程中保持数据集的内在几何性质，即保持两点问的 测地距离。不足之处在于：i s o m a p 的基本假设是全局等距映射和凸参数空间，而在实际应 用中较难满足。l l e 则是假设样本集的局部线性特征，即认为样本与其周围的近邻点之间 5 南京邮电大学硕l ：研究生学位论文第一章绪论 具有线性关系，致力于在低维嵌入中保持该线性关系，具有旋转、尺度和平移不变性。拉 普拉斯特征映射的基本思想是找到一个在平均意义上保留数据点局部特性的映射，即希望 在原始空间靠得近的点对，在低维嵌入空间同样靠得近。拉普拉斯特征映射的优越之处在 于，其所依据的是孥实的谱图理论基础。 上述三种流形学习算法都属于非线性的流形方法，虽然很好的揭示了高维数据的非线 性结构，但是计算代价太大，并且这些方法只能推导出训练数据的低维空间的表示，而不 能求得测试样本的低维表示。因此h e 等人提出了局部保持映射( l p p ) ，并将其成功应用 于人脸识别。在l p p 基础上，近年来j y 提出了无监督鉴别投影映射( u d p ) 【4 7 1 ，即考 虑了样本的局部特性，又考虑了样本的全局特性。h z h a o 提出了局部鉴别投影( l d p ) 【4 6 ， 在l p p 中加入了类别信息，成为一种有监督的流形学习方法。 1 5 本文主要研究工作概述 本文主要研究了流形学习和核方法两种非线性特征提取算法。深入了解了国内外理论 研究现状，重点学习了在流形学习算法和核方法在人脸识别应用的主流技术，主要包括： 局部保持映射( l o c a lp r e s e r v i n gp r o j e c t i o n ，l p p ) ，无监督鉴别投影映射( u n s u p e r v i s e d d i s c r i m i n a n tp r o j e c t i o n ，u d p ) ，局部鉴别投影( l o c a ld i s c r i m i n a n tp r o j e c t i o n ，l d p ) ，核 主元分析( k e r n e lp c a ，k p c a ) ，核f i s h e r 鉴别分析( k e r n e lf i s h e rd i s c r i m i n a n ta n a l y s i s ， k f d a ) 等。系统学习了上述主流特征提取技术，并提出了自己的流形学习和核方法特征 提取方法。主要工作阐述如下： 1 重点研究了h e 等人提出的局部保持映射( l p p ) 、j y 提出的无监督鉴别投影 映射( u d p ) 和h z h a o 提出的局部鉴别投影( l d p ) ，仔细研究了人脸样本在 高维数据空间的概率密度函数，结合流形学习算法和同类样本的概率分布情 况，提出了中心邻域结构的局部保持映射。 2 深入了解了k f d a 在人脸识别方面的应用，针对其核函数参数选择和类内散 度矩阵的奇异性问题，提出了正则化非线性鉴别分析方法，以改善这两方面 的性能。 6 南京邮电大学硕十研究生学位论文第一章绪论 1 6 本文内容章节安排 第一章，绪论。介绍了人脸识别的基本概念和研究意义，回顾了人脸识别的研究历程， 简单介绍并分析了国内外研究现状。 第二章，各种人脸识别算法研究。重点介绍了线性子空间方法、非线性核方法和流形 学习算法中的一些经典算法，并指出了它们各自的特点，性能以及局限。 第三章，基于流形学习的改进算法。提出了一种新的流形学习算法，通过重构样本空 间的邻接图，实现了近邻点中本类样本数的最大化，并从理论上加以了证明。 第四章，正则化非线性鉴别方法。提出了一种新的非线性鉴别方法，通过使用正则化 手段解决了类内散度矩阵的奇异性问题，并提出了一种新的确定正则化参数和非线性参数 的方法。 第五章，实验。在a r 人脸库和f e r e t 人脸库上进行实验，比较了本文所提出的两种 人脸识别算法和其他相关算法的性能，并进行分析。 7 南京邮电大学硕- f ：研究生学位论文第二章特征提取技术介绍 第二章特征提取技术介绍 2 1 线性核特征提取技术 线性子空间分析方法是统计模式识别中一类重要的方法，本质上是一种特征提取和选 择的方法，主要思想是在原空间( 样本空间) 中寻找合适的子空间( 特征空间) ，通过将 高维样本投影到低维子空间上，在子空间上进行分类。这样做有两个好处：一方面对高维 样本进行了降维、压缩，大大简化了计算；另一方面，高维样本在子空间上的投影可以比 在原空间中具有更好的可分性，这也是寻找子空间的一个重要标准。本章将对几种常用的 线性子空间方法进行讨论。 设a 是一秩为r 的n xr 维矩阵，则存在两个正交矩阵 u = 【，“2 ，u r r ”满足u t u - i ( 2 1 ) v = 【v l , v 29 o*o 9 v 】r ”满足v t v = i 以及对角阵 人= d i a g ( 4 ，五，以) 尺r x r ，丑五乃 满足 a=ua2vr(2-2) 上式中，丑是矩阵朋7 和彳r a 的非零特征值，和v 分别是磊所对应的特征向量。该分解 就称为矩阵a 的奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) ，五为矩阵a 的奇异 值。 u = 彳v a 2 ( 2 - 3 ) 总体散度矩阵墨可以表示成： s , - - - 击善( w ) ( t - - 击厨r ( 2 - 4 ) 从上式可以看出，墨是一个n x n 矩阵，相比于计算该特征值的特征向量，我们可以更容易 求出圭x r 彳的非零特征值丑及其所对应的特征向量h ，而由( 2 - 3 ) 可得： m| 南京邮电大学硕l 研究生学位论文第二章特征提取技术介绍 蟾2 赤她 ( 2 - 5 ) u i 就是墨的特征向量。奇异值分解方法可以通过计算较低维度矩阵的特征值特征向量来 间接求的高阶矩阵的特征值和特征向量。 2 1 1 主成份分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 特征脸法是由t u r k 和p e n t l a n d 1 9 在1 9 9 1 年提出的，它是目前自动人脸识别领域应 用最为成功的方法之一。特征脸法基于眼睛、鼻子、嘴和人脸的轮廓等特征定义一个了人 脸模型，它的出现将研究的热点从单个人脸特征转移到了整个人脸上。特征脸法强调那些 使训练集产生较大差异的特征具有明显的辨识作用，应该说明的是这些特征和先前提到的 人脸面部特征没有必然的联系。将测试集投影到由特征脸张成的特征子空间中，并且依据 特征子空间中它们到训练集的距离来识别和分类。s i r o v i c h 和k i r b y 证明：任何人脸都可 以被一个最佳坐标系统简单的表示。换句话说，一个人脸图像的集合可以被一组小的标准 图片( e i g e n p i c t u r e s ) 的集合以及这组标准图片的权值来大略表示 4 8 。 假设在尺”空间中，存在m 个人脸样本组成的样本集x = 五，x 2 ，嘞 ，p c a 算法的基 本思想是寻找投影方向，使这m 个样本在这些方向上的投影拥有最大协方差。设样本投影 后所得的结果为y = y l ，y 2 ，y m ，则p c a 算法的目标函数为： m a x i l m 怏一乃1 1 2 ( 2 - 6 ) - f = l 将乃= 矿薯代入( 2 6 ) ，可得： m 畦私叫= 一渤叱材t i l 2 = m a x 三 r 差( 再一_ ) ( 薯一一) r 缈) c 2 7 ， = m a ) 【彩r 墨国 对于式( 2 7 ) ，加上约束条件7 国= 1 ，可得： ( 2 - 8 ) 缈 。9 以钉 9 一如 南京邮电人学硕士研究生学位论文第二章特征提取技术介绍 对式( 2 - 8 ) 求解，可得关系式： 对彩求导，得到： 彩r 墨国一兄( 功r m - 1 ) = o s t = j l ( 2 9 ) ( 2 - 1 0 ) 等式( 2 1 0 ) 就是p c a 算法的最终表达式。也就是说，根据p e a 方法最后得到的投影向 量就是样本集的总体散度矩阵的特征向量。当我们通过计算获得其特征向量以后，我们可 以重构原始样本： 毫= 主( 薯哆) 哆 j = l 那么，样本五的重构均方误差就可以写成： ( 2 - 1 1 ) = 鹕m a x 目 吻 由于总体散度矩阵是实对称矩阵，所以不同特征值对应的特征向量是正交的，即： 由( 2 1 2 ) 、( 2 1 4 ) 可得： 哆哆= 0 ，( f ) ( 2 - 1 3 ) 暑r 毫= ( 喜( 毛哆) 哆r ( 喜( 五哆) 哆 = n ( 薯哆) 2 ( 2 - 1 4 ) 薯r 毫= 暑r 薯= 窆( 玉哆) 2 兰l i 薯一霉0 2 = m 薯r 毛一n 哆r ( 兰五r ) 哆(215)i=ll = l j = i i = l 恢一钟= 薯r 毛一哆叫五rl 哆 ( 2 一 m，m、 在式( 2 1 5 ) 中， 薯r 五等于总体散度矩阵对角线上各个元素之和，而l 蕾彳i 则就是总 t = if = i 体散度矩阵，所以所有样本的重构误差之和可以由( 2 1 6 ) 表示。从该式中可以看出，使用 p c a 算法获得的特征向量( 即“特征脸 ) 可以无误差的重构原始样本。并且，当我们选取 小于r 1 个特征向量的情况下，所有样本的重构误差之和等于我们舍弃的那部分的特征向量 所对应的特征值之和。 1 0 南京邮电大学硕士研究生学位论文第二章特征提取技术介绍 从上文可以看出，当我们需要较大的压缩比时，我们可以选择最大的那部分的特征值 所对应的特征向量作为我们的投影方向，从而使得样本的重构误差可以保持在我们所能接 m 一剐2 = 窆4 一窆哆r 鼍哆l i t 一毫i | 2 = 4 一哆7 鼍哆 l = ii = 1 产l = 五一乃 ( 2 1 6 ) i = l j = i = 0 受的范围之内。通常情况下，我们可以选定一个阈值口，使得我们所选取的前k 个特征向 量满足： k 丑 口( 2 - 1 7 ) n 乃 一般情况下，可取口= 9 9 ，即使训练样本在前k 个鉴别向量集上的投影有9 9 的能量。 也可以经验地对k 进行取值。通常情况下，人脸图像列向量的维数都较高，有的甚至高达 上万维，直接通过协方差矩阵计算鉴别向量集较为困难。而相对来说，训练样本集中训练 样本的个数却相对较少，所以可以通过奇异值分解方法求解主分量分析的鉴别矢量。 基于主元素分析的人脸识别方法的基础是k l 变换，它是从压缩角度提取人脸特征的 描述信息。通常情况下，光照变化会对应用主元素分析方法提取人脸特征产生很大影响。 由于光照变化对主元素分析方法的影响主要集中在前面几个主分量上，一个对该方法的改 进就是在求取鉴别矢量集时，舍弃前面几个鉴别矢量，这种做法使基于主分量分析的人脸 识别方法在性能上有一定改善。 2 1 2 f i s h e r 线性鉴别分析 l d a 求解最佳鉴别矢量，使降维后样本特征的类间散度最大且类内散度最小。设有，个 ， 类，第i 个类有m 个样本，总样本数为m = m i ，x o 为第i 个类中的第j 个样本，类间 散度阵s o ，类内散度阵s ，和总散度阵墨分别定义为式( 2 1 8 ) 所示。在该式中，以为第i 类样本的平均值，为总样本的均值。 由定义可知，s o 、& 和墨均为非负定矩阵，且满足墨= 咒+ 瓯。类内散度矩阵乱反映 南京邮电大学硕上研究生学位论文 第二章特征提取技术介绍 了各分量到其所在类中心的平均平方距离，类问散度矩阵瓦反映了各类中心到总体中心的 平均平方距离，类间散度矩阵足反映了各类中心到总体中心的平均平方距离。 咒= 击喜鸠( 以一) ( 鸬一) 7 乱= 刍喜善( 嘞一以) ( 嘞一肛) r ( 2 - 1 8 ) 墨= 击喜( 五一) ( 玉一) r 定义f i s h e r 鉴别判别式为： a x 矧 浯 通过上面提供的计算方法可计算出最优的投影矩阵，在利用这个投影矩阵对原始 的特征进行变换，从而得到最优的分类特征。 求解( 2 一1 9 ) ，令竺坦：五，则有： 缈。s w ( 9 国r 咒缈= 五彩r s 。，彩 ( 2 2 0 ) 在上式两端对缈求偏导，可得： ( s w ) 1 最国= 五彩 ( 2 2 1 ) f i s h e r 线性判别在计算最优的投影矩阵时，利用了类别信息，使投影后的样本的类间 离散度矩阵和类内离散度矩阵的比值最大，也就是在投影空间中，属于不同类之间的样本 尽可能分开，而属于同一类的样本则聚集在一起。显然，在这个投影空间中，可以得到较 好的分类效果。 图3 - 2 3 9 展示了一个两类问题分别用主成分分析( p e a ) 和f i s h e r 线性判别( l d a ) 提取 特征后所得到的不同结果。在这个例子中，样本的总数为2 0 ，样本所在的空间为2 维空间， 投影后的空间维数为1 。每一类样本的分布都近似于在2 维空间中通过原点的一条直线。 主成分分析( p c a ) 和f i s h e r 线性判别分析都将样本从2 维降到1 维。但从图中可以清楚的 看到，虽然主成分分析( p c a ) 的目的是使所有样本尽可能的分开，但实际上它己经将两类 样本混到了一起，在投影空间中，这两类样本之间己经很难区分开。而f i s h e r 线性判别 则使类间离散度尽可能的变大，从图中也可以看到，在投影空间中，两类样本己经完全的 分开了。 南京邮电大学硕十研究生学位论文第二章特征提取技术介绍 单纯采用f i s h e r 线性判别分析来提取人脸图像的特征，对于不在训练集中的人的人 脸图像，其识别率会显著下降。即使是在训练集中的人的人脸图像，如果和原来参与训练 的图像有显著的不同，那么识别率也会受到较大的影响。出现这种情况的原因，可以认为 是f i s h e r 线性判别存在过学习问题。尽管对