（模式识别与智能系统专业论文）两种核鉴别特征提取算法的研究及应用.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：模式识别与智能系统 研究方向：信息获取、处理与识别 作者：刘琳 指导教师：荆晓远 题 目：两种核鉴别特征提取算法的研究及应用 英文题目：r e s e a r c ha n da p p l i c a t i o no nt w ok e r n e l b a s e d i d e n t i f i c a t i o nf e a t u r ee x t r a c t i o na l g o r i t h m 主题词： 核鉴别分析；分数阶傅里叶变换；广义奇异值 分解；增量算法 k e y w o r d s ：k e m e ld i s c r i m i n a n ta n a l y s i s ；f r f t ；g s v d ； i n c r e m e n t a la l g o r i t h m 摘要 特征提取是模式识别研究的最基本问题之一。对于图象识别而言，提取有效的图象特 征是完成图象识别的首要任务。基于核的特征提取方法是一种非常有效的非线性特征提取 的方法。 核鉴别分析作为一种非线性的特征提取方法，能在人脸识别上取得比线性鉴别分析更 好的识别效果。本文从图像处理和模式识别的角度，对人脸识别方法进行深入研究和改进， 将核方法与分数阶傅里叶变换( f r f t ) 、广义奇异值分解( g s v d ) n 2 乏增量算法结合起来，探 讨更有效的人脸识别方法。 作为一种广义的傅里叶变换，f r f t 使得被分解信号的低频带中包含丰富的鉴别信息。 本文将之扩展到非线性空间，提出了基于f l 珂t 的核鉴别方法，同时，为保证信息的有效 提取，用二维独立判决准则为算法选择合适的角度参数值。在鉴别分析部分，提出一种改 进的f i s h e r f a c e 方法，仅挑选鉴别能力强的f i s h e r 鉴别分量，并将这些分量用于识别分类。 这种新的核鉴别方法能够很好地处理数据线性不可分的情况。 为了满足人脸数据库不断扩容的需求，本文将增量的思想引入核鉴别分析，提出了基 于核的增量算法，同时结合广义奇异值分解算法，在不产生信息丢失的情况下，解决求解 过程中遇到的矩阵奇异性问题。实验结果表明该方法很适合处理大数据库。 关键词：核鉴别分析；分数阶傅罩叶变换；广义奇异值分解；增量算法 a b s t r a c t f e a t u r ee x t r a c t i o ni st h ee l e m e n t a r yp r o b l e mi n t h ea r e ao f p a t t e r nr e c o g n i t i o n f o rt h ei m a g e r e c o g n i t i o n ，e x t r a c t i o no ft h ee f f e c t i v ei m a g ef e a t u r e si st h ep r i m a r ys t e p k e r n e l - b a s e df e a t u r e e x t r a c t i o nm e t h o d sa r ea v e r ye f f e c t i v en o n l i n e a rf e a t u r ee x t r a c t i o nm e t h o d k e m e ld i s c r i m i n a n ta n a l y s i sh a sb e e np r o v e da ne f f e c t i v ef e a t u r ee x t r a c t i o nm e t h o d ，w h i c h c a na c h i e v eb e t t e rc l a s s i f i c a t i o np e r f o r m a n c et h a ni t sl i n e a rc o u n t e r p a r t s t h i sp a p e rs t u d y si n d e p t ha n dm a k e si m p r o v e m e n to nt h ef a c er e c o g n i t i o nt e c h n i q u e sf r o mt h ep e r s p e c t i v e so fi m a g e p r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n , c o m b i n e sk e r n e ld i s c r i m i n a n ta n a l y s i sw i t hf r a c t i o n a lf o u r i e r t r a n s f o r m ( f r f t ) ，g e n e r a l i z e ds i n g u l a rv a l u ed e c o m p o s i t i o n ( g s v d ) a n di n c r e m e n t a la l g o r i t h m s e p a r a t e l yf o rt h em o r ee f f e c t i v ef a c er e c o g n i t i o nm e t h o d a sag e n e r a l i z e df o r mo ff o u r i e rt r a n s f o r m , f r a c t i o n a lf o u r i e rt r a n s f o r m ( f r f t ) i sb a s e do n t h ea s s u m p t i o nt h a t , t h el o wf r e q u e n c yb a n do ft h ed e c o m p o s e di m a g e so b t a i n e d b yf r f t s h o u l dc o n t a i nf m i t f u l ld i s c r i m i n a t i v ei n f o r m a t i o n t h ep a p e re x t e n d si tt oi t sn o n l i n e a rc a s eb y u s i n gk e r n e lt r i c k sa n dp r o p o s e st h ek e m e ld i s c r i m i n a n tt e c h n i q u e sf o rt h en o n l i n e a r l ys e p a r a b l e d a t as e t s i na d d i t i o n ，i tp r o p o s e sat w o - d i m e n s i o n a ls e p a r a b i l i t yj u d g m e n tt od e t e r m i n et h ea n g l e p a r a m e t e rf o rt h ee f f e c t i v i t yo ft h ed i s c r i m i n a t i v ei n f o r m a t i o n t h ep a p e ra l s oi m p r o v e st h e f i s h e r f a c em e t h o db yt r a n s f o r m i n go n l yt h ef i s h e rc o m p o n e n t so fg r e a t e s td i s c r i m i n a n tp o w e r t h i sn e wk e m e l - b a s e dm e t h o ds o l v e st h ec a s et h a td a t ap o i n t sa r en o tl i n e a r l ys e p a r a b l e i no r d e rt om e e tt h en e e do fc o n s i s t e n ti n c r e a s eo ft h ed a t as a m p l e s ，t h i sp a p e re m p l o y st h e i d e ao fi n c r e m e n t a ll e a r n i n gt ok e r n e ld i s c r i m i n a n t a n a l y s i s a n dp r o p o s e sak e r n e l b a s e d i n c r e m e n t a la l g o r i t h m o nt h eo t h e rh a n d ，t h i sp a p e ri n t r o d u c e st h eg e n e r a l i z e ds i n g u l a rv a l u e d e c o m p o s i t i o nt e c h n i q u et os o l v et h i sp r o b l e mw i t h o u td i s c a r d i n ga n yi n f o r m a t i o np r e v i o u s l y g i v e n e x p e r i m e n t a lr e s u l t ss h o wt h a ti ti st h em o s tv a l u a b l ef o rt h el a r g ed a t a b a s e k e yw o r d s ：k e r n e ld i s c r i m i n a n ta n a l y s i s ；f i 球t ；g s v d ；i n c r e m e n t a la l g o r i t h m i l 目录 摘要i a b s t r a c t i i 第一章绪论l 1 1 人脸识别技术的研究及发展：1 1 1 1 线性鉴别分析技术的研究发展2 1 1 2 非线性鉴别分析技术的研究发展3 1 2 特征提取的其他辅助技术的发展4 1 3 本文主要研究工作概述5 1 4 本文内容章节安排6 第二章鉴别特征提取分析方法7 2 1 线性特征提取方法描述7 2 1 1 k - l 变换7 2 1 2 f i s h e r 鉴别分析方法8 2 2 基于核的鉴别特征提取方法描述1 0 2 2 1 核主成分分析1 2 2 2 2 核鉴别分析1 5 2 3 分数阶傅里叶变换( f r f t ) 方法描述l7 2 4 广义奇异值分解( g s v d ) 方法描述l8 2 5 本章小结2 2 第三章基于分数阶傅里叶变换的核鉴别方法2 3 3 1 基本思想2 3 3 2 基于分数阶傅里叶变换的核鉴别分析2 3 3 2 1 核方法参数的选择2 5 3 2 2 改进的f i s h e r f a c e 方法。2 6 3 3 本章小结2 7 第四章基于g s v d 的增量式核鉴别方法2 8 i i i 4 1 基本思想2 8 4 2 增量式算法描述2 8 4 3 基于g s v d 的增量式核鉴别分析方法描述2 8 4 3 1 奇异值分解的校正3 0 4 3 2 奇异向量的校正3 l 4 4 方法实现步骤。3 4 4 5 本章小结3 5 第五章实验结果及分析3 6 5 1 基于分数阶傅里叶变换的核鉴别法的实验结果及分析3 6 5 1 1 实验结果及分析3 6 5 1 2 结论3 8 5 2 基于g s v d 的增量式核鉴别法的实验结果及分析3 9 5 2 1 每类样本数增加的情况4 0 5 2 2 类别数增加的情况4 2 5 2 3 结论4 6 5 3 本章小结4 6 第六章总结与展望4 8 6 1 本文工作总结4 8 6 2 进一步研究方向展望4 8 致 谢4 9 参考文献5 0 攻读硕士学位期间发表的论文5 4 l v 南京邮电人学硕士研究生学位论文第一章绪论 第一章绪论 随着信息技术的发展，社会管理日趋电子化、自动化，计算机和网络应用深入到了我 们生活的各个方面。在这样一个庞大的社会网络体系中，系统安全十分重要。 系统安全是计算机、网络等信息系统需要面对的问题，也是其他一些需要身份认证的 场合必须解决的问题。犯罪分子常使用盗用和伪造的签证、护照非法入境，盗取机密资料 或进行破坏活动，造成人民生命和财产的重大损失。其原因正是由于传统的纸制证件未经 加密且易于伪造。越来越多的个人、消费者、公司乃至政府机关都认为，现有的基于磁卡 和密码的身份鉴别系统是远远不够的，必须寻求安全性更高、使用更为便利的身份鉴别技 术。 生物识别技术是近年新兴的身份鉴别技术。它利用了人体的某些终生不变性与唯一性 的特征，使得这种技术克服了传统方法的弊端，更安全、可靠、准确，并且操作方便快捷。 随着计算机及网络技术的迅速发展，在电子商务、政务、金融、司法及社会事务管理等领 域有广泛的应用前景，日益引起人们的关注并成为研究热点。 1 1 人脸识别技术的研究及发展 生物特征识别技术( b i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g y ) 或称生物测定技术( b i o m e t r i c s ) 【1 ，2 ，3 】，是根据人体的生理特征或行为特征进行个人身份认证的技术手段。要把人体的特 征用于身份识别，这些特征必须具有唯一性和稳定性。 据研究表明，人的面孔、指纹、手型、虹膜、视网膜、骨架等都具有唯一性和稳定性 的特征，即每个人的这些特征都与别人不同、且终生不变，因此就可以据此识别出人的身 份。基于这些特征，人们发展了多种生物特征识别技术，目前主要有人脸识另l j 4 ，5 】、指纹 识别、掌纹识别、虹膜识别、视网膜识别、语音识别和签名识别等。而在各类技术中，人 脸识别具有对用户无侵害的特性，同时也是最自然和最直观的识别方式，因而成为最容易 被接受的生物特征识别技术。同时，人脸识别因其在众多领域中( 如罪犯身份识别、视频 会议、自动门卫系统等) 存在的巨大应用前景，使其成为一项极富挑战性的研究课题，并 成为人工智能界最活跃的研究领域。 人脸识别技术是当前模式识别和人工智能领域的一个重要研究课题，是人们最早使用 的生物特征识别技术之一，既有科学研究价值，又有广泛应用前景，近年来发展十分迅速。 l 南京邮电火学硕士研究生学位论文 第一章绪论 人脸识别早在六七十年代就引起了广大研究者的强烈兴趣。在过去的几十年的时间 里，心理学家、神经生理学家和工程技术人员对人和机器如何识别人脸的各个方面进行了 广泛的研究。进入九十年代，由于各方面对人脸自动识别系统的迫切要求，特别是美国发 生“9 1 1 恐怖袭击以来，人脸识别的研究变得十分热门【6 ，7 ，8 】。目前，美国等西方国家有 许多专门从事人脸识别的研究小组，他们的研究受到军方、警方及大公司的高度重视和巨 额资助。近年来，国际、国内的众多高校也普遍开展了对人脸识别的研究，在人脸识别方 面的研究取得了较大的进展，国际国内发表的有关人脸识别的论文在数量上大幅度增长， i e e et r a n s p a m i 还于1 9 9 7 年7 月出版了人脸识别的专辑，每年的国际会议上关于人脸识 别的专题也屡屡可见。 人脸识别技术是以计算机为辅助手段，从静态图象或动态图象中检测出并识别人脸， 问题一般地描述为：给定一个景物的静态或视频图象，利用已存储的人脸数据库确认景物 中一个或多个人。虽然人类从复杂背景中识别人脸相当容易，但对计算机自动识别来说， 却是一个相当困难的问题。人脸识别技术利用面部各器官及特征部位的方位关系，从具有 复杂背景中找到人脸，分割人脸，抽取人脸识别特征，将识别参数与数据库中的原始参数 比较、判断、确认，然后进行匹配和识别，在短时间内迅速给出判断结果。 人脸识别研究跨越了图象处理，模式识别，计算机视觉，人工神经网络以及神经生理 学，心理学等研究领域。当前应用于人脸识别的算法较多，有些识别算法与特征提取 9 ，l o ，l l 】 过程紧密相联。一些常用的人脸识别方法包括：基于k l 变换的特征脸方法 1 2 ，1 3 、神经 网络方法f i s h e r 判别法【1 4 】、不变矩特征法等等。 常用的鉴别分析方法可以分为线性鉴别分析方法和非线性核鉴别分析方法。下面我们 主要介绍几种常用的鉴别分析技术。 1 1 1 线性鉴别分析技术的研究发展 线性鉴别分析的相关研究可以追溯到f i s h e r 在1 9 3 6 年发表的经典论文【1 5 】，其基本思 想是选择使f i s h e r 准则函数达到极值的向量作为投影方向，使得样本在该方向上投影后， 达到类间离散度最大和类内离散度最小。在f i s h e r 的基础上，w i l k s 1 6 和d u d a 1 7 分别提 出了鉴别矢量集的概念，即寻找一组鉴别矢量构成的子空间，以原始样本在该子空间内的 投影矢量作为鉴别特征用于人脸识别领域。除了经典的f i s h e r 线形鉴别分析方法外，在1 9 7 0 年，s a m m o n 提出了基于f i s h e r 鉴别准则的最优解别平面的概念，随后，f o l e y 和s a m m o n 1 8 1 进一步提出了采用一组满足正交条件的最优鉴别矢量集进行特征提取的方法，该方法被命 2 南京邮电大学硕士研究生学位论文第一章绪论 名为f o l e y - s a m m o n 线性鉴别分析。在文献中f o l e y 给出了求解两类问题的最优鉴别矢量集 的具体算法。1 9 8 8 年d u c h e n e 和l e c l e r c q 1 9 给出了多类情况下最佳鉴别矢量集的计算公 式。 众所周知，基于f i s h e r 准则的线性鉴别已被公认为特征提取的最好方法之一。总结起 来，基于f i s h e r 准则的鉴别分析方法有三种最为基本的方法：1 ) w i l k s 等创立经典f i s h e r 鉴别法，近年来s w e t s 2 0 ，b e l h u m e u r 和l i u 用其来解决人脸识别问题；2 ) f o l e y 和s a m m o n 建立f s 线性鉴别法，后来d u c h e n e 等进一步拓展了这一方法，t i a n 等【2 1 将其用在图像 识别领域；3 ) 最近j i l l 和y a n g 等提出具有统计不相关性的j y 线性鉴别法 2 2 】。对方法3 ) 的进一步研究指出j - y 线性鉴别法是经典f i s h e r 鉴别法的发展。 上述各类f i s h e r 分析方法都是在大样本的情况下进行研究分析的，也就是说需要类内 散布矩阵非奇异，但实际上并不可能训练样本一直满足这个条件。而这种情况即称之为小 样本问题。在该类问题下，待识别的图像矢量维数较高，使得类内散布矩阵奇异。因此， 在小样本情况下，如何抽取f i s h e r 最优鉴别特征便成为公认的难题。要解决这个问题可以 从模式样本出发，通过事先降低样本特征向量的维数来消除奇异性。有两种方法基于该思 想：第一种是直接在图像空间内操作，直接降低图像的分辨率来降维；另一种是通过k l 变换降维，最经典的是b e l h u m e u r 2 3 等提出的f i s h e r f a c e s 方法和l i u 2 4 提出的e f m 方法。 1 1 2 非线性鉴别分析技术的研究发展 特征提取是模式识别研究的最基本问题之一，是图像识别的首要任务。特征提取的目 的是为了有效地实现分类识别，将原始数据映射( 变换) 到某一低维空间，得到最能反映 分类本质的特征。现有的经典线性特征抽取方法包括主分量分析( 或称k l 变换) 和f i s h e r 鉴别分析，但上述特征抽取方法是基于样本模式的一阶矩和二阶矩，无法抽取图象模式的 高阶信息；并且它们本质上都是基于线性变换，通常无法表达诸如人脸等图象的复杂的非 线性分布结构。 随着原有的线性鉴别方法己无法满足识别率的要求，人们开始尝试使用非线性鉴别方 法。其中最经典的方法为核( k e r n e l ) 方法 2 5 ，2 6 。近年来尤其是s v m 的研究开展后，关于 核方法的研究受到重视，现有的理论研究成果表明，核方法特别适合处理非线性问题。核 方法是一系列先进非线性数据处理技术的总称，其共同特征是这些数据处理方法都应用了 核映射。目前常用的核方法包括：支持向量机、支持向量回归、核主成分分析、核f i s h e r 判 据、基于核的分类方法以及基于核的投影寻踪等。 气 南京邮电大学硕上研究生学位论文第一章绪论 基于核的非线性特征提取技术 2 7 受到了广泛关注，正成为当前模式识别领域中一个 迅猛发展的新方向。它最初由v v a p n i k 提出并应用于支持向量机( s v m ) q 2 8 ，2 9 ，3 0 ，3 1 。 为了解决非线性可分问题，支持向量机算法将实际问题通过非线性变换转换到高维的特征 空间 3 2 】，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，为了避免 “维度灾难 ，这种非线性映射是通过定义适当的内积函数实现的，这种特殊性质能够保 证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关， 通常这种技巧称为核方法或核映射方法。后来，s c h o l k o p f 等人将该思想首先应用于特征提 取中，提出了核主分量分析( k p c a ) 【3 3 ，3 4 。之后，m i k a 3 5 等人，b a u d a t 和a n o u a r 3 6 】 以及r o t h 和s t e i n h a g e 3 7 利用核方法将f i s h e r 线性鉴别分析进一步拓广到非线性情形，提 出了核f i s h e r 鉴别分析( k f d a ) 反复法。目前，核方法不仅在模式识别，而且在回归估 计，概率密度函数估计【3 8 】等方面都有应用。 手写数字识别，语音识别，文章分类等问题， 统的特征提取和分类算法或与之不相上下。 例如在模式识别方面，对于人脸图象识别， 核特征提取和分类算法在精度上已经超过传 作为一种由线性到非线性之间的桥梁，核方法本身并不是- - 1 3 新技术，相关的研究可 以追溯到上世纪初叶。然而，直到统计学习理论和支持向量机的先后提出，核方法才真正 引起了学术界和工业界的关注。尽管核方法研究时间不长，但其在非线性特征提取效率、 模式分类的泛化能力等方面表现出来的优良性能已引起机器学习领域的广泛关注，并成为 当前研究的热点。目前，国际上对基于核的特征提取理论的讨论和进一步研究正逐渐广泛， 而国内在此领域研究刚刚开始，因此我们需要及时学习掌握有关理论，使我们在这一领域 能尽快赶上国际先进水平。 1 2 特征提取的其他辅助技术的发展 1 、分数阶傅里叶变换 为了获得更好的性能，研究者们从算法上、应用厂商从应用上对生物特征识别技术进 行改进。这些算法根据不同生物特征的特点，采用新的数学模型，有效解决了现有算法的 不足，使得生物特征识别技术性能上了一个新台阶。新的数学模型，较之以往的模型更为 复杂，计算量更大。传统数字信号处理中核心算法之一就是傅里叶变换【3 9 】。傅罩叶变换 是一种具有广泛用途的图像处理技术，它作为一种正交变换可将空间域中的复杂的卷积运 算转换为频率域中简单的乘积运算，从而在频率域中有效的实现图像增强，特征提取，图 像恢复，因而在通信、图像传输、雷达、声纳等的图像处理中得到了广泛的应用。 4 南京邮电大学硕：l 研究生学位论文 第一章绪论 傅里叶变换有多种拓展，本论文所要讨论的是分数阶傅里叶变换。 作为傅里叶变换的广义形式，分数阶傅里叶变换( f r f t ) 4 0 又叫角度傅里叶变换 ( a f t ) ，是一种统一的时频分析方法，且可以理解有一定角度的时频面旋转，其对线性调 频信号具有很好的能量积累作用。 f i 心t 在二十世纪早期未被人们重视研究，直到1 9 8 0 年，v n a m i a s 4 1 从特征值和特 征函数的角度提出了分数阶傅立叶变换的概念，将其定义为传统傅立叶变换的分数幂形 式。1 9 9 4 年，l b a m e i d a 4 2 将分数阶傅立叶变换解释为时频面上的坐标轴旋转。 f r f t 的一般研究思路： 1 ) 将傅立叶变换的应用直接推广到f r f t ； 2 ) 傅立叶变换是将信号在一组正交完备的正弦基上展开，所以正弦信号的傅立叶变换是 一个6 函数； 3 ) 分数阶傅立叶变换是将信号在一组正交的c h i r p 信号上展开，则一个c h i r p 信号的某一 阶次的f r f t 也是一个6 函数。 2 、 广义奇异值分解( g s v d ) 在各类鉴别分析方法的研究中，我们发现有一种线性变换能够使类间散度矩阵最大同 时使类内散度矩阵最小。虽然线性鉴别分析( l d a ) 概念很简单并被用在很多应用领域，但 是它还是有一些缺点：它要求至少要有一个散度矩阵非奇异，且构造一个非线性的聚类结 构并不容易。 一般来说，所有散度矩阵均奇异需要在数据点的数目比数值空间维数小，而这种情况 常与下采样问题相关联。很多方法都是为了克服这个问题而提出的。近期，有人提出了一 种叫基于广义奇异值分解( g s v d ) 的线性鉴别方法 4 3 ，4 4 ，4 5 ，4 6 ，4 7 】。g s v d 对矩形矩阵进行 分解，并在矩阵上使用约束，同时又给出由低秩矩阵得到的加权广义最小二乘估计。g s v d 算法解决了图像鉴别处理分析过程的广义奇异值问题以及下采样中散度矩阵的奇异性所 引发的问题。后来p e gh o w l a n d 和h a e s u np a r k 4 8 提出了基于广义奇异值分解的线性鉴别分 析方法( l d a g s v d ) 用于解决小样本问题。 i 3 本文主要研究工作概述 本文对国内外科学工作者提出的基于核的非线性鉴别特征提取方法进行了深入的研 究，用分数阶傅里叶变换，广义奇异值分解方法以及增量的思路来对非线性空间上的鉴别 5 南京邮电大学硕士研究生学位论文第一章绪论 效果问题作出改进，所做工作主要概述如下： 一、傅里叶变换技术将图像信息投射到频域上，v n a m i a s 和l b a m e i d a 分别于1 9 8 0 年和1 9 9 4 年提出分数阶傅里叶变换的概念及物理意义。在前人研究的基础上，本论文将 该技术与核的非线性鉴别方法相结合，并提出一种改进的f i s h e r f a c e 法用以提取鉴别特征， 实验结果证明该方法得到了预期效果。 二、考虑到数据库的不断扩容，本文把增量的思路运用在核鉴别方法上，并结合广 义奇异值分解解决算法过程中遇到的奇异性问题。实验结果验证了所提算法在保证识别率 的基础上有效地缩短了识别时间。 1 4 本文内容章节安排 论文内容的整体安排如下： 第一章首先介绍了生物识别技术和人脸识别技术研究方法的发展现状，接着介绍了 现有的各种识别技术的研究及其改进，最后介绍本文的研究内容及安排。 第二章介绍了线性鉴别特征提取方法和基于核的非线性鉴别特征提取方法的理论基 础和算法应用，同时对分数阶傅里叶变换和广义奇异值分解的方法进行了阐述。 第三章将分数阶傅里叶变换与基于核的非线性鉴别特征提取方法相结合，把样本从 线性空间映射到核空间，并用改进的f i s h e r 方法进行识别，本章详细阐述了其算法的步骤。 第四章结合增量的思想，将核方法融合在其中，并用广义奇异值分解的方法解决鉴 别过程中遇到的奇异性问题，从而大大改善了大数据库的识别处理问题。 第五章实验结果及其分析，对第三、四章提出的方法进行实验和比较实验，验证了 所提方法的有效性。 第六章总结与展望，总结全文并提出对人脸识别领域进一步研究的展望。 6 南京邮电大学硕上研究生学位论文第一二章鉴别特征提取分析方法 第二章鉴别特征提取分析方法 在人脸识别过程中，提取的特征信息量是改善人脸识别效果的重要部分，因此寻求适 合的特征提取方法至关重要。 2 1 线性特征提取方法描述 2 1 1k - i _ 变换 k - l 变换又称为主分量分析( p c a ) 方法，它通过消除向量中各个分量间的相关性来达 到降低向量维数的目的。 对于幅大小为聊玎的人脸图像，将其每列相连则构成一个大小为d = 聊珂维的列向 量，这里的d 就是人脸图像的维数，即图像空间的维数。设m 是训练样本的数目，一为 第j 幅人脸图像形成的人脸向量，则所有的训练样本的协方差矩阵为： m r 墨= ( 一) ( 一) ( 2 1 ) 其中为训练样本的平均图像向量： p = 面1 暮mx j 令：a = 五一，瓦一 ，则墨= a a r ，其维数为d x d 。 ( 2 - 2 ) 根据k - l 变换原理，我们所求的新坐标即由矩阵d a r 的非零特征值所对应的特征向量 组成，通过求解a7 a 的特征值和特征向量来获得州7 的特征值和特征向量。 令4 ( i = 1 ，2 ，) 为矩阵彳r a 的，个非零特征值，为a r a 对应于丑的特征向量，则 a a r 的正交归一特征向量峨为： 吩2 去州扛t 2 ，) ( 2 - 3 ) 这就是矩阵州7 的特征向量。取最大的d 个特征向量作为子空间。这些特征向量所对 应的图像被称为特征脸，在由特征脸组成的降维子空间中，任何一幅图像都可以向其投影 7 南京邮电人学硕士研究生学位论文第二章鉴别特征提取分析方法 并获得一组坐标系数，这组系数表明了该图像在子空间的位置，从而可以作为人脸的识别 特征，最后用分类器对人脸进行分类。 2 1 2fis h e r 鉴别分析方法 经典的f i s h e r 线性鉴别分析就是要通过最优化函数( 2 - 4 ) 或( 2 5 ) 式找到一个最优的投影 矩阵w o p t 。 删，= 期 ，( 矽) = 研( 形7 s 。形) 7 ( 形7 最矿) 】 ， ( 2 - 4 ) ( 2 5 ) 在实际的应用中，经典的f i s h e r 线性鉴别分析最优投影向量，即最佳的投影矩阵的 列向量“，心，以一般取为广义特征方程& x = 2 s 。x 的d 个最大的特征值所对应的 特征向量。即“，如以满足以下条件 叉一= 乃氏一，= 1 ，2 ，d ，其中a 允。 ( 2 - 6 ) 由于咒x = 五瓯x 至多存在c - 1 个非零特征向量，故最优投影的个数d c - 1 。 l d a ( l i n e a rd i s c r i m i n a n ta n a l y s i s ) 方法也称为线性鉴别分析方法，它选择与类内散度 矩阵正交的矢量作为特征脸空间，从而能够压制图像之问与识别信息无关的差异，对光照 及人脸表情变化都不太敏感。该方法目的就是从高维特征空间里提取出最具有判断能力的 低维特征，这些特征能帮助将同一个类别的所有样本聚集在一起，根本上是为了使不同类 别的样本尽量分开，即选择使得样本类间离散度和类内离散度的比值最大的特征。 样本的类内散度矩阵可以定义为： 墨可以定义为： s 。= 只墨( 2 - 7 ) i = 1 墨= ( x - m i ) ( x - m i ) r ( 扛l 2 ，o ( 2 - 8 ) 工c 其中，只是先验概率，慨是g 类的均值。 样本的类间离散度矩阵可以定义为： 南京邮电大学硕l 研究生学位论文 第二章鉴别特征提取分析方法 c & = p i ( m i 一，1 ) ( - m ) r 其中，鼻是先验概率，是e 类的均值，m 是所有样本的均值。 ( 2 9 ) 如果乱是非奇异矩阵，在投影以后，各类样本之间尽可能地分开一些，即类间离散度 越大越好，同时各类样本的内部尽量的密集起来，即类内离散度越小越好。因此可以定义 f i s h e r 准则函数如下： ，( ) = 而w r s 万6 w ( 2 一1 0 ) 下面就是要求出，( w o p t ) 取最大值时对应的特征向量。通过数学变换可以得出，就 是满足如下等式的解： 鼠彬= 五乱形 ( i = l ，2 ，m ) ( 2 1 1 ) 如果瓯非奇异，就是求乱一咒的本征值问题。其中该矩阵最多只有c 一1 非零特征值，c 是 类别数目。 设n 个d 维的样本向量吼f 胍1 竹= 1 ，) 来自c 个不同的类别 厶，匕) ，每个类别 中样本的个数是m p = 1 ，2 ，c ) ，a = “，口) 是由样本向量q 组成的矩阵，而& ，咒，墨 分别表示类内散度矩阵、类间散度矩阵和总离散度矩阵，那么 & = m ( - m ) ( m i m ) r = 矾r ( 2 1 2 ) c 乱= ( a - m i ) ( a - m i ) r = 日。h w r ( 2 1 3 ) v 墨= ( 口f 一朋) ( q - m ) 7 = 只e r s t = s w + s b 其中碍代表各类样本的类内均值，m 代表样本的总体均值。 最佳映射矩阵定义为： = a r g m a x 9 ( 2 1 4 ) ( 2 - 1 5 ) = ( q 哆。)( 2 - 1 6 ) 南京邮电大学硕十研究生学位论文第二章鉴别特征提取分析方法 在将l d a 应用于人脸识别时，类内离散度矩阵几乎是奇异的，且都是n x n 的非常大 的矩阵。所以s w e t s 和w e n g 先用p c a 给图像降维，然后再使用l d a ，即f i s h e r f a c e s 。就 分类问题来说，l d a 的降维效果要明显好于p c a ，这主要是由于l d a 寻找的是使类内数 据尽量集中，类间数据尽量分散的线性变换关系。 2 2 基于核的鉴别特征提取方法描述 核方法是系列先进的非线性数据处理技术的总称，其共同特征是这些数据处理方法 都应用了核映射。从具体操作过程上看，核方法首先采用非线性映射将原始数据由数据空 间映射到特征空间，进而在特征空间进行对应的线性操作，如图2 1 所示。由于运用了非 线性映射，因而大大增强了非线性数据处理能力。 数据空闻 定义一个非线性映射t 图2 1 核方法框架示意图 可以得到与之相符合的核函数为： 矽：z 专( ( 力) k ( 五z ) = ( 矽( x ) ，( z ) ) l o ( 2 1 7 ) ( 2 - 1 8 ) 南京邮电大学硕士研究生学位论文第二章攀别特征提取分析方法 核方法步骤： 1 通过非线性映射将数据嵌入到另一个向量空间； 2 寻找合适有效的线性分析方法：( 如图2 2 ) ，一，一，一一。 x ? 一7 7 v v 二v 图2 2 数据的非线性映射 从本质上讲，核方法实现了数据空间、特征空间和类别空间之间的非线性变换。设五 和x ，为数据空间中的样本点，数据空问到特征空间的映射函数为缈，核方法的基础是实现 向量的内积变换 ( 薯，t ) k ( x i ，x j ) = 缈( t ) 伊( t ) ( 2 - 1 9 ) 通常，非线性变换函数妒( ) 相当复杂，而运算过程中实际用到的核函数k ( ，) 则相对简 单得多，这也正是核方法最为迷人的地方。 以核函数为基础的模式分析算法是在核函数理论发展的基础上发展起来的。在没有发 现核函数在模式识别方面的应用之前，各类线性算法的存在，使得模式分析能够在低维进 行，而如果遇到非线性或者高维运算，而需要神经网络或是利用p c a 等特征提取方法进行 分析。而从核函数出现后，人们发现以核函数为基础的算法能够更好地解决非线性问题。 从效率方面来说，实验表明以核函数为基础的s v m ( s u p p o r t v e c t o rm a c h i n e s ) 算法比神经网 络更加有效率。 通常把采用核函数技术的一类方法称为核函数方法。概括起来，核函数方法的主要特 点如下： 1 ) 核函数的计算量与特征空间的维数无关。核函数的引入避免了直接在变换后的高维特 征空问的运算，大大减小了计算量，避免了“维数灾难”。因此，甚至可以选择一些核 函数，使得特征空间的维数为无穷大，以提高模式分类或回归能力。 2 ) 无需知道非线性变换函数妒( ) 的形式及其参数。在原始输入空间中进行的核函数计算实 l l 南京邮电大学硕j ：研究生学位论文 第二章鉴别特征提取分析方法 质上是隐式地对应于在非线性变换函数缈( ) 变换后的高维特征空间的运算，这样克j l e t 一般的映射方法中非线性函数结构及其参数的确定以及特征空间维数的限制。 3 ) 不同的核函数确定了不同的非线性变换函数。核函数的形式和参数的变化会改变特征 空间的性质，进而改变各种核函数方法的性能。 4 ) 核函数方法可以和不同的算法结合起来，形成多种不同的基于核函数技术的方法。而 且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。 5 ) 核函数的确定比较容易，满足m e r c e r 条件的任意对称函数都可作核函数。 常用的核函数： 婚黼数：驰荆= 唧 掣 ， b ) 多项式核函数： k p o _ ，y “薯) = o 而+ 1 ) d ，d = 1 ，2 ，n ， c ) 感知器核函数： ( 石，五) = t a n h ( f l x ，+ 6 ) 。 ( 2 2 0 ) ( 2 2 1 ) ( 2 - 2 2 ) 还有一些其他的核函数，如全子集核、a n o v a 核、集合核、随机核、最大最小值核 等。而根据核函数的运算规则又可以演变出各种形式的组合。要根据每个核函数的特点和 应用范围及实际情况选择合适的核函数，这样既能简化运算，又可以有效地解决问题。 更进一步地研究表明，核函数与再造核希尔比特空间r k h s ( r e p r o d u c i n gk e r n e lh i l b e r t s p a c e s ) 是一一对应的，即任一核函数决定了一个r k h s ，而任一r k h s 也对应一个核函数。 核函数方法可以看作是在r k h s 中用各种算法求解复杂问题，而r k h s 中的线性算法即对 应原输入空间的非线性算法。 自从v n v a p n i k 首先采用核函数技术将线性支撑向量分类机推广到非线性支撑向量 机，以处理线性不可分的数据并取得成功后，引发了用该技术改造传统线性算法的研究热 潮，如支撑向量回归k p c r ( k e m e lp r i n c i p a lc o m p o n e n tr e g r e s s i o n ) 、核主成分分析 k p c a ( k e m e lp r i n c i