（计算机软件与理论专业论文）基于矩阵模式和向量子模式表示的特征提取及其分类.pdf

南京航空航天大学硕士论文 摘要 特征提取是模式识别领域中的一个关键问题，它强烈地影响着分类器的设计及 其性能。特征提取的基本任务是如何从众多特征中找出最有效的特征。现有的特征 提取方法主要有基于统计的特征提取( 主分量分析( p c a ) 和f i s h e r 线性判别分析 ( f l d a ) 是两种最常用的方法) 、基于知识的特征提取及基于神经网络的特征提取 等。在本文中，我们在p c a 和f l d a 方法的基础上提出了两类特征提取新方法，即 基于矩阵模式和基于子向量的特征提取方法，并随后用于模式的分类。 现普遍使用的p c a 、f l d a 方法，是针对向量模式进行的特征提取和降维方法， 亦即，所有的模式都要进行向量化的操作，因此对于矩阵表示的模式( 如图像) 就 必须首先将其转换成向量。这种方法存在着两个主要的缺点：1 ) 矩阵模式中对分 类有用的结构信息很可能会因为向量化的操作而遭到破坏；z ) 向量化的操作极大的 增加了特征提取及随后识别的运算复杂度。我们提出的基于矩阵表示模式的特征提 取方法( m a t p c a 和m a t f l d a ) ，不仅能直接处理向量表示的模式更能处理矩阵表示的 模式，因此避免了上述问题。另外对于向量表示的模式，我们通过矩阵化重组将其转 化成矩阵表示的形式，然后使用1 1 4 a t p c a 和m a t f l d a 方法进行特征提取。 前面提到的m a t p c a 和m a t f l d a 是将向量表示的模式转换成矩阵表示的模式后再 分别进行p c a 和f l d a 的方法，它具有先组合后提取的过程。而作为相反方向，我们 考虑能否将向量表示的模式分成若干个子向量再进行p c a 和f l d a 呢。在本文的后一 部分，我们就对此进行了研究，提出了具有先分解后提取过程的基于向量子模式特 征提取的方法( s p p c a 和s p f l d a ) 。它首先将模式数据适当的分成若干个独立的子 模式，然后分别对其子模式集使用p c a 和f l d a 方法进行特征的提取，最后将所有 获得的子特征作为模式的最后特征并用于分类。 本文所提出的方法均在标准数据集中进行了模拟实验，实验结果证实了文中所 提方法的有效性和可行性。 关键字：特征提取；模式识别；向量子模式表示；矩阵表示；主分量分析( p c a ) f i s h e r 线性判别分析( f l d a ) ： 茎王笙堕堡茎塑王旦量堡塞耋重箜堑堑堡壑墨苎坌耋 a b s t r a c t f e a t u r ee x t r a c t i o ni sac r i t i c a lp r o b l e mi nt h er e s e a r c hf i e l d so f p a t t e r nr e c o g n i t i o n i t c a na f r e c tt h e d e s i g na n dp e r f o r m a n c eo fc l a s s i f i e r se x t e n s i v e l y t h eb a s i cm i s s i o no f f e a t u r ee x t r a c t i o ni st o i d e n t i f yas e to ff e a t u r e st h a ta r em o s te f f e c t i v ef o rs u b s e q u e n t c l a s s i f i c a t i o nt a s kf r o mas e to f c a n d i d a t ef e a t u r e s t h es t a t eo f t h ea r ti nf e a t u r ee x t r a c t i o n m e t h o d si n c l u d e ss t a t i s t i c s - b a s e dm e t h o d s ( e g p c a f l d a ) ，k n o w l e d g e - b a s e dm e t h o d s a n dn e u r a l - n e t w o r k sb a s e d m e t h o d s ，e t c e x t r a c t i o nm e t h o d sa l e p r o p o s e d , i e r e p r e s e n t a t i o n m e t h o d s r e s p e c t i v e l y i nt h i st h e s i st w oh o v e lc l a s s e so ff e a t u r e m a t r i x - p a t t e m - b a s e d a n dv e c t o r s u b p a t t e m - b a s e d p e r v i o u sr e s e a r c hi np c aa n df l d am a i n l y f o c u s e so nv e c t o r - b a s e d p a t t e r n r e p r e s e n t a t i o nm e t h o d s f o rf e a t u r ee x t r a c t i o na n d d i m e n s i o n a l i t yr e d u c t i o n i e a l lp a t t e r n s m u s tb et r a n s f o r m e di n t ov e c t o rb e f o r ea n ys u b s e q u e n t p r o c e s s i n g s op a t t e r n sr e p r e s e n t e d i nm a t r i xf o r m ( e g a l li m a g e ) m u s tb es t r e t c h e di n t ov e c t o r si np r e p r o c e s s i n gs t e p t h i s t y p eo fs t r a t e g yh a st w om a i ns h o r t c o m i n g s ：1 1u s e f u li n f o r m a t i o nf o rc l a s s i f i c a t i o nt a s k c o n t a i n e di nt h em a t r i xs t r u c t u r em a yb e j e o p a r d i z e di nt h ev e c t o r i z i n gp r o c e d u r e ；2 ) a f t e r v e c t o r i z i n gp r o c e d u r ec o m p u t a t i o nc o m p l e x i t y i nc l a s s i f i c a t i o nt a s k m a yi n c r e a s e s u b s t a n t i a l l yd u et ot h ev e c t o rp a r t e mr e p r e s e n t a t i o n 0 u rp r o p o s e dm e t h o d s m a t p c a & m a t f l d a ，c a nd e a lw i t hn o to n l yt h ev e c t o rp a t t e m ，b u ta l s om a t r i xp a t t e m i na d d i t i o n ，a v e c t o rp a r t e mc a nb er e c o m b i n e di n t oam a t r i xp a t t e mu s i n gs o m em a t r i x i z a t i o nt e c h n i q u e a n dt h e nb ep r o c e s s e db ym a t p c a m a t f l d a i na b o v em e n t i o n e dm a t p c a & m a t f l d a av e c t o rp a t t e mi sf i r s t l yr e s h a p e di n t oa m a t r i xp a t t e ma n dt h e np r o c e s s e db yp c a & f l d a i tf o l l o w saf w s t m a t r i x i z a t i o n - t h e n e x t r a c t i o np a t h w h a tw i l lh a p p e ni ft h e ”m a t r i x i z a t i o n ”i ss u b s t i t u t e db y ”p a r t i t i o n ”? t h a t i so fo t l i n t e r e s ta n dj s e x p l o r e di nt h et h e s i s 。s s e c o n dp a r t w ep r o p o s e ds p p c a & s p f l d af c a t u r ee x t r a c t i o nm e t h o d s c o n t r a r yt om a _ c p c a m 盯l d a t h e yf o l l o wa f i r s t p a r t i t i o n - t h e n e x t r a c t i o np r o c e d u r e i n 也e s et w om e t h o d sav e c t o rp a t t e r ni sf i r s t l y p a r t i t i o n e di n t oas e to fs u b p a t t e r n s i e e a c hs u b p a r t e mi nt h i ss e ti so n l yap a r to f t h e o r i g i n a lv e c t o rp a t t e r n a t i e rt h ep a r t i t i o n t r a d i t i o n a lp c a & f l d a a r eu s e do nt h e s es u b p a t t e r ns e t sf o rs u b f e a t u r ee x t r a c t i o n f i n a l l yt h eo b t a i n e ds u b f e a t u r ec o m b i n a t i o no f a n o r i g i n a lp a t t e r ni su s e d t os u b s e q u e n tc l a s s i f i c a t i o n e x p e r i m e n t a l r e s u l t sr e l a t i n gt ot h ee f f i c i e n c ya n da c c u r a c yo ft h e s ep r o p o s e dm e t h o d s a r ea l s op r e s e n t e di nt h i st h e s i s k e y w o r d s ：p a t t e mr e c c g n l t i o n ；f e a t u r ee x t r a c t i o n ；s u b p a r t e mr e p r e s e n t a t i o n ；m a t r i x r e p r e s e n t a t i o n ；p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ；f i s h e rl i n e a r d i s c r i m i n a n ta n a l y s i s ( f l d a ) 南京航空航天大学硕士论文 1 1 模式识别及其系统 第一章绪论 模式识别诞生于2 0 世纪2 0 年代，随着4 0 年代计算机的出现，5 0 年代人工智 能的兴起，模式识别在6 0 年代初迅速发展成一门学科 1 卜1 5 。它所研究的理论和 方法在很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩 大了计算机应用的可能性。几十年来，模式识别研究取得了大量的成果，在很多地 方得到了成功的应用。但由于计算机并不具有人的智能，所以计算机的模式识别仍 是一个难题。 模式识别系统有两种基本的模式识别方法，即统计模式识别方法 1 和结构( 句 法) 模式识别方法 1 0 ，其中统计模式识别是目前研究和应用最为广泛的模式识别 方法 1 5 。每个模式识别系统都是由设计和实现两个过程所组成，其中设计是指用一 定数量的样本进行分类器的设计，而实现是指用所设计的分类器对待识别的样本进 行分类决策。基于统计方法的模式识别系统主要由4 个部分组成：数据获取，预处 理，特征提取和选择，分类决策，如图i 1 所示： 训练过程 图1 1 模式识别系统的基本构成 下面简单的对这几部分进行说明 1 数据获取：为了使计算机能够对各种现象进行分类识别，要用计算机可以运 算的符号来表示所研究的对象。通常输入对象的信息有下列3 种类型，即 ( 1 ) 二维图像如文字、指纹、地图、照片这类对象。 ( 2 ) 一维波形如脑电图、心电图、机械震动波形等。 ( 3 ) 物理参量和逻辑值。 通过测量、采样和量化，可以用矩阵或向量表示二维图像或一维波形a 这 就是数据获取的过程。 2 预处理：为了去除噪音，加强有用的信息，并对输入测量仪器或其他因素造 成的退化现象进行复原。 3 特征提取和选择：由于图像或波形所获得的数据量非常大，所以为了有效的 实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征a 墨王堑堕堡茎塑i 堕里堡茎查重塑竺堑堡窒墨茎坌鲞 这就是特征提取和分类( 由于两者不可分割，所以我们统称为特征提取) 过 程。在本文中，我们着重对特征的提取进行了详细的研究。 4 分类决策：就是在特征空间中用统计方法把被识别对象归为某一类别。基本 做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识别 对象进行分类所造成的错误识别率最小或引起的损失最小。 1 2 特征的提取 正如前面所提到的，特征的提取是模式识别的重要组成部分。因此，一个较完 善的模式识别系统，肯定存在着特征提取的技术部分。特征提取通常处于对象特征数 据采集和分类识别两个环节之间，其方法的优劣极大的影响着分类器的设计和性能， 因此其已成为模式识别核心技术之一。在本文中，我们将主要研究统计模式识别的 特征提取方法。 特征提取的方法有很多，其中包括现今普遍使用的主分量分析法( p c a ) 7 、 2 2 】、线性判别分析法 8 、2 4 、2 5 】和神经网络法 2 3 、2 9 】等。但是这些方法太多都是 面向问题的，迄今还没有找到一种通用的特征提取方法。因此在解决具体的模式识 别问题时，通常采用不同的特征提取方法。 对于特征数的选择也是特征提取的一个难题，有人认为特征模式越多越好，或 者说，模式向量的维数越高，对分类器的设计越有利。通常情况下是这样，但在实 际工作中往往会发现当特征的数目达到某个限度后，不但不能改善分类器的性能， 反而会使它的工作恶化的现象，产生这个问题的基本原因是用来设计分类器的样本 数目是有限的。实际上，在模式识别中，获得的特征模型应尽可能的线性无关，但 当样本数目有限时，特征模式的增多就破坏了模式间的无关性，所以就会出现模式 数越多识别效果越差的情况。因此为了使模式识别的结果满意，在增加特征的同 时，必须增加供学习的样本数量。 从直观上可知，在特征空间中如果同一类的模式分布比较密集，不同类的模式 相距较远，分类识别就比较容易正确，因此在由实际对象提取特征时，要求所提取 的特征对不同类的对象差别很大而同类对象差别较小，这将给后继分类识别环节带 来很大的方便。但是由于某些原因，提取的特征使模式没有显著的上述分布，或者 所得的特征过多。为了保证所要求的分类识别的正确率和资源的节省，我们希望依 据最少的特征达到所要求分类识别的正确率。因此，通常在得到实际对象的若干具 体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征。这就 是特征提取的任务。在实现上述目标时，往往需要首先制定特征提取与选择的准 则，可直接以反映类间类内距离的函数作为准则 2 4 ，或直接以误判概率最小作为 准则 1 4 ，也可以用类别判决函数作为准则 1 4 ，还可以构造与误判概率有关的判 南京航空航天大学硕士论文 据来刻画特征对分类识别的贡献或者有效性。 1 3 本文所研究内容 在本文中我们就模式识别中的特征提取部分做了研究，在两种基于统计的特征 提取方法即主分量分析( p c a ) 法 7 】和f i s h e r 线性判别分析( f l d a ) 法 8 的基础 上提出了两类模式识别特征提取的新方法矩阵模式表示方法和向量子模式表示 方法，并随后用于模式的分类。 矩阵模式表示方法是在杨等的i m p c a 2 的思想基础上提出的适合各种模式表示 ( 矩阵表示或向量表示) 的特征提取和分类方法，它首先将向量表示的模式通过数 据的重组转换成矩阵表示的模式( 对于矩阵表示模式则不在做任何变化) 然后分别 采用矩阵化p c a ( m a t p c a ) 方法和矩阵化f l d a ( m a t f l d a ) 方法进行特征提取 和分类。 向量子模式方法顾名思义就是对模式的部分而非整体进行特征提取和分类的一 种方法。它首先将模式数据适当的分成若干个独立的子模式，然后分别用p c a 和 f l d a 方法对其子向量模式进行特征的提取，最后将所有获得的子特征作为模式的 最后特征用于分类。 本文所提出的方法均在标准数据集中进行了模拟实验，实验结果证实了文中所 提方法的有效性。 基于矩阵模式和子向量模式表示的特征提取及其分类 第二章特征提取 2 1 特征提取的基本概念 人们通常是利用特征来识别对象的。特征可分为物理特征、结构特征和数学特 征。其中物理和结构特征较容易被视觉、触觉以及其他感觉器官所发现，而数学特 征则一般是抽象的数据，它更适合计算机的处理，因此在计算机特征提取方面主要 是提取对象的数学特征。 2 1 1 原始特征 根据被识别的对象产生出一组基本特征，它可以是计算出来的( 当识别对象是 波形或数字图像时) ，也可以是用仪表或传感器测量出来的( 当识别对象是实物或 某种过程时) ，这样产生出来的特征叫做原始特征。 2 1 2 特征的提取 原始特征的数量可能很大，或是样本是处于一个高维空间中，通过映射( 或变 换) 的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二 次特征，它们是原始特征的某种组合( 通常为线性组合) 。所谓的特征提取在广义 上就是指一种变换。若y 是测量空间x 是特征空间，则变换爿：r x 就是特征 提取器。 2 1 3 特征的选择 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个 过程叫做特征选择。它与特征的选取并不是截然分开的：可以先将原始特征空间映 射到维数较低的空间，在这个空间中再进行特征选择以进一步降低维数：也可以先 4 南京航空航天大学硕士论文 经过选择去掉那些明显没有分类信息的特征，再进行映射以降低维数。 2 1 4 类别可分离性判据 类别可分离性判别不属于特征提取的概念，但我们在这里要提到它主要是因为 它和模式的识别有着重要的关系。特征提取的任务是求出一组对分类最有效的特 征，然后利用这些特征进行随后的分类。因此我们需要一个定量的准则或判据来衡 量对分类的有效性，这就是类别可分离性判别。具体说来，把一个高维空间变换为 低维空间的映射是很多的，哪种映射对分类最有利，需要确定一个标准。可分性判 据的类内类间距离、基于概率分布的可分性判据和基于熵函数的可分性判据是最常 用的判据。下面将详细介绍可分性判据的类内类间距离。 2 2 可分性判据的类内类间距离 各个样本可以分开是因为它们位于特征空闻中的不同区域，显然这些区域之间 距离越大类别可分性就越大。对于空间中两个点之间的距离度量我们都很清楚，下 面描述如何来表示两个类区之间的距离。 先考虑两类问题q 及国：，0 9 ，中任一点与吐中的每一点都有一个距离，把所有 这些距离相加求平均，可以用均值来代表这两类之间的距离，下面考虑多类并推导 一下表达式。 令x ? ，0 力分别为国。类及，类中的d 维特征向量，占( 工? ，x j n ) 为这两个向量间 的距离，则各类特征向量之间的平均距离为： 以( z ) = 三2 y t o l 尹j - 1 只者荟善占( “，。) 互1 其中。c 为类别数，玎，为珊；类中样本数， ，为c o ，类中的样本数，c ，尸，是相应 类别的先验概率。 多维空间中两个向量之间有很多距离度量，在欧氏距离情况下有 占( 工x = ( x p x f 勺7 ( x 一0 力) ( 2 2 ) 用m 表示第i 类样本集均值向量 m ，= x 踟= l ，2 ，c ( 2 3 ) ik = l 用m 表示所有各类的样本集总平均向量 基于矩阵模式和子向量模式表示的特征提取及其分类 m = 枷， ( 2 4 ) 将( 2 2 ) 一( 2 4 ) 各式带入式( 2 1 ) 得 cr1 ， 以( x ) = e l ( x 一m i ) 7 ( 1 一m i ) + ( 一一m ) 7 ( 慨一m ) i ( 2 5 ) z i i “i l f 式( 2 5 ) 括号中的第二项是第i 类的均值向量与总体均值向量m 之间的平方距 离，用先验概率加权平均后可以代表各类均值向量的平均平方距离： z p i ( m - m ) 7 ( 埘，一肌) = 去只p ，( m ，一所，) 7 ( m ，一m j ) ( 2 6 ) 我们也可以用下面的矩阵写出厶( x ) 的表达式 令赢= y p , ( m - m ) ( m ，一所) 7 ( 2 7 ) 以及 瓦= 只 x 卜脚) ( x p 一埘) 7 ( 2 - 8 ) - - - z - j 方法并没有使 用任何类别信息；而f l d a 则是监督学习方法，它可以使用类别信息进行特征的提 取。现假设有c 类矩阵模式，出。= 乜， 2 ，f _ 1 ，2 ，c 表示第f 个矩阵模式类( n ，为 第f 类样本数) ，对应的类均值为百= 争艺以，f = 1 ，2 ，c ，总体均值仍为 i 。击善善 m 是总的样本数。令为肌维列向量且z 7 x = 1 ，我们希望将 任何一个大小为m n 矩阵测试模式a ，通过下列的线性转换投影到上 y = x 7 a( 3 i 0 ) 其中y 是提取的特征矩阵或1 n 大小的投影值。所以对于每个 a 。，i = 1 , 2 ，c ；j = 1 , 2 ，m ，相应的投影值为 y 。= x r a “，i = 1 , 2 ，c ；j = 1 , 2 ， ( 3 1 1 ) 和f l d a 相似，为了获得优化判别向量x ，我们定义如下的判别函数并使其最大 化： m ) = 丽t r ( x r s 4 x ) ( 3 1 2 ) 其中 s 产= 壹n i 瓯一j 瓶一j ( 3 1 3 ) 是总类间散度矩阵，并且总的类内散度矩阵为 s 笋r ：至兰0 ，一万妇。一百) r ( s a ) f = 1 j = 1 同样我们也很容易证明s 是非负定的。并且在，( x ) 最大化时获得的投影空间x 满 足以下两点：第一，类内散度尽可能小；第二，类间散度尽可能大：且投影向量x 可以最大的包含所谓的判别信息。 在工r 石：1 约束条件下对( 3 1 2 ) 的x 求导，当导数为零时，我们就可以得到下面的式 南京航空航天大学硕士论文 子： s ：mx = 九s ：m x 鸭、勘 其中，z 即为所求的投影空间。 为了能够从原有样本中获得更多的识别信息，通常我们需要获得象在m a t p c a 中那么 多的投影向量。但我们知道对于c 类问题，传统的f l d a 中由于s 6 是c 个向量模式 的外积之和，不管向量维数多大其秩最多为c 一1 。因此f l d a 最多只能包含c 一1 个 投影向量。这样的限制使得我们很难从样本数据中获得更多的判别信息。然而，在 矩阵表示的s 产却具有避免这个问题的能力，因为它的秩最大可以达到朋，( 其中 。是阮一j x 虿一百y ，f = 1 ，2 ，c 的秩) ，并且加通常都比c - 1 大，所以 m a t f l d a 能获得比传统的f l d a 多的投影向量，进而获得更多的识别信息。 我们选择前七个具有最大特征值的特征向量z ，j 。，x 。作为投影方向，并用这些向 量进行特征提取。对于任意矩阵模式我们都可以产生新的特征矩阵y 然后使用最近 邻 3 规则对y 所对应的矩阵模式进行分类。 另外我们也可以得到类似m a t p c a 同样的结论即 1 ) m a t f l d a 是f l d a 的一个推广； 2 ) m a t f l d a 是多个聚束的f l d a 。 3 3 向量模式的矩阵化 m a t p c a 和m a t f l d a 的第一步是向量模式的矩阵化，现具体描述如下： 1 ) 如果模式本身就是矩阵表示的如人脸图像，那么由于它本身已经还有足够的结构 信息，所以我们没有必要对该模式进行矩阵化或重新组装，可以直接进行 m a t p c a 和m a t f l d a 。如若一定将其重组，就可能破坏了原来的结构信息而引进 一些无关的结构信息，从而引起识别性能的下降。 2 ) 如果一个模式是向量，是否需要矩阵化主要取决于使用的是p c a 和f l d a 方法还 是相应的m a t p c a 和m a t f l d a 方法。如果使用p c a 和f l d a 方法，则模式无需变 化；否则模式需要矩阵化重组。向量模式有两种重组或矩阵化方式：其一是模式 分量无重叠：其二模式分量有重叠。在第一种方式中，向量模式被分成若干个大 小相等的子向量，然后这些子向量逐列的重新组成一个新的矩阵即矩阵表示的模 广11f11 1 式。例如，一个列向量彳= 【1 ，2 ，3 ，3 ，5 ，2 ，7 ，o ，2 ，1 1 7 可以重组为1 ；ji i 和 l 一 一一 。 j r 一1 ， ij ，2 3 3ii 等。在第二种方式中，模式可以通过大小为w 的滑动窗分解成几 l ，u二 1 j 1 7 苎王堑堕堡茎塑主旦里堡茎重重塑堑笙堡墼墨苎坌耋 4 ：k 4 、相等的子向量，然后同样这些子向量逐列的重新组成一个新的矩阵表示的 模式。在第二种方式中，所形成的矩阵应尽可能成方阵即矩阵的行数和列数应尽 量相等。例如，对于”维向量模式，当n 是奇数时该模式可以重新组装成。： 而当月为偶数时模式可以重新组装成w ( w - 1 ) ，其中w = l ( ”+ 1 ) 2 j ，l j 表示t 取整函数。对于前面的例子a ，使用滑动窗后转换成矩阵为 l2 2 3 33 35 52 |：口 从转变前后的变化我们可以看出，使用滑动窗会增加原模式的信息量。另外我们 可以看出，在第二种矩阵化方式中，散度矩阵的大小为w w ，也就是 l + 1 ) 2 j l 伽+ 1 ) 2 j ，是原向量模式构建的散度矩阵大小( n x n ) 的四分之一。 所以说，采用滑动窗矩阵化方式的效率仍比原p c a 方法高。 3 4 比较规则 在主分量特征提取方法中，对于特征向量个数的选取我们采用如下公式： ， 拦广口，即样本集在最大的前j | 个轴上的能量占整个能量的a 以上。在本文中， i = o 我们采用的a = 0 9 8 作为阈值。为了使实验比较具有一致性，对于m a t p c a 中对于特 征向量的数目的选取，同样采用上述方法，闽值同样取口= o ，9 8 。对于f l d a 方法及 m a t f l d a 方法我们也采用了同样方法。 3 5 实验结果 为了说明m a t p c a 和m a t f l d a 的识别性能，我们对m a t p c a 和m a t f l d a 分别进 行了模拟实验，并与原有的p c a 和f l d a 进行了比较。我们使用的是几个公开的标准 模式数据集，其中包括矩阵表示的模式( 如o r l 人脸数据库和l e t t e r 文本数据库) 和向量表示的模式( 如w a v ef o r m , w a t e r t r e a t m e n t ，w i n e ，s o n a r 和m u s k c l e a n 2 数据集) 。为了使数据向量模式更适合重组，我们选择的向量维数从1 2 维 ( w i n e ) 到1 6 6 维( 胁幽划e a n s 2 ) ，矩阵模式从2 4 x 2 8 ( l e f f 神1 1 2 x 9 2 ( o r l f a c e s ) 。对于每个数据集，我们都将其分成两部分，其中一部分做训练集，另一部 分做测试集。对于每组实验，我们都是独立的进行十次性能测试，最后的实验结果 是十次结果取平均得到。 以o r l 人脸数据集为例来简单说明用m a t p c a 方法进行分类的过程，由于人脸图 i r 南京航空航天大学硕士论文 像的大小为1 1 2 x 9 2 ，所以根据公式( 3 1 4 ) 可以求出其s 只的大小为1 1 2 1 1 2 ，特 征向量也可按公式( 3 1 5 ) 计算出。我们选取其前d 个特征值最大的特征向量作为投 影轴，因此相应的投影后的向量为d x 9 2 。最后对得到的特征向量使用最近邻法进 行分类来判断模式所属的类别。使用m a t f l d a 方法进行分类，其过程同m a t p c a ，所 不同的只是特征向量的提取过程。 3 4 1 数据集描述如下： 1 ) o r l 人脸数据库：选自剑桥大学的0 1 i v e t t ir e s e a r c hl a b o r a t o r y ，其中包含 4 0 个人的图像，每人有l o 副不同表情、不同光照、拍自不同时间的照片组成。 为黑色背景的正面头部图像，图像旋转角度不超过2 0 度，缩放比例不超过 1 0 。所有图像为灰废图像，原图像大小为9 2 x 1 1 2 。在我们的实验中，p c a 和 m a t p c a 使用分辨率为9 2 x 1 1 2 的图像，而f l d a 和m a t f l d a 使用的分辨率为4 6 x 5 6 或2 3 2 8 。我们随机从每个人中选取五张人脸图像做训练。其余五张图像做测 试。图4 1 显示了该数据库一个人的所有图像。 图4 1o r l 人脸库中一人的所有图像 2 ) l e t t e r 数据：来自h t t p ：s u n l 6 c e c s m i s s o u r i e d u p g a d e r c e c s 4 7 7 n n d i g i t s z i p ， 它包括从0 - 9 数字的1 0 个类，每个类有5 0 个样本，每个样本是2 8 x 2 4 的矩阵模 式，模式分量为0 、l ，且该数据集中每个样本都是文本形式存储。我们从每个 类中随机选取2 5 个样本做训练集，其余的2 5 个样本做测试集。图4 2 显示了该 数据集的全部字符。从图中我们可以看出，该数据集样本均为手写体数字。 一茔王堑堕堡苎塑王塑量堡茎耋委塑壁堡堡墼墨苎坌鲞 图? l e t t e r 数据集中的所有样本 3 ) w a v e f o r m 数据：来自u c i 机器学习数据集。包含它包含1 2 维的三类向量数据， 每一类都包含5 0 0 个样本。我们随机从每类中选取2 5 0 个样本做训练集，其余的 2 5 0 个样本做测试集。 4 ) w a t e r t r e a t m e n t 数据：来自u c i 机器学习数据集 6 ，它包含3 8 维的两类向量 数据，其中一类数据有6 5 个样本，另一类数据有5 1 个。我们随机从每类中选取 2 5 个样本做训练集，其余的样本做测试集。 5 ) w i n e 数据：来自u c i 机器学习数据集，它包含1 2 维的三类向量数据，其中一类 数据有5 9 个样本，一类有7 1 个，另一类数据有4 8 个。我们随机从每类中选取 2 4 个样本做训练集，其余的样本做测试集。 6 ) s o n a r 数据：来自u c i 机器学习数据集 9 j ，它包含6 0 维的两类向量数据，其中 一类数据( r o c k ) 有9 7 个样本，另一类数据( c y l i n d e r ) 有1 1 7 个。我们随机从每 类中选取5 0 个样本做训练集，其余的样本做测试集。 7 ) m u s k c l e a n 2 ( 1 6 6 d ) 数据：来自u c i 机器学习数据集，它包含1 6 6 维的两类向量 数据，其中一类数据有1 0 1 7 个样本，另一类数据有5 5 8 1 个。我们随机从每类中 选取5 0 0 个样本做训练集，其余的样本做测试集。 8 ) m u s k c l e a n 2 ( 1 6 0 d ) 数据：数据集同7 ) ，为了产生更多的数据我们将m u s k c l e a n 2 ( 1 6 6 d ) q b 每个样本的最后6 维忽略并产生m u s k c l e a n 2 ( 1 6 0 d ) 数据。 3 4 2 实验结果 南京航空航天大学硕士论文 正如上面提到的，对于矩阵表示的模式o r l 人脸数据集和l e t t e r 字符数据集我 们不需要进行数据的重组，可以直接使用m a t p c a 和m a t f l d a 方法进行特征提取 和分类；而对于其他的模式，由于是向量表示的模式，要想使用m a t p c a 和 m a t f l d a 方法必须将其重组。其中3 ) - - 6 ) 的数据集中由于数据的维数小( 从1 2 维到6 0 ) 所以我们采用两种矩阵化处理方式：即向量分量无重叠和向量分量有重 叠：而对于7 ) 、8 ) 数据集由于其数据维数较大，使用滑动窗可能会引进大量的重 复信息，所以对7 ) 、8 ) 的矩阵化处理只采用单一的向量分量无重叠处理。 在这里需要说明的是，由于o r l 人脸数据集和l e t t e r 字符数据集的训练样本数 小于每个样本的维数，所以在使用f l d a 系列方法的时候出现类间散度矩阵s 。奇异 的现象。为了能够使f l d a 仍然有效，我们根据 3 0 3 1 】对类间散度矩阵s 。进行了 调整，加上一调节因子项，即s 。= s 。+ 枷，其中，为单位矩阵，兄为s 。中所有特 征 值 的 均值 ，k 为调节因子 。 一 堇王堑堕堡茎塑王塑量堡壅室重塑壁堡量壁墨苎坌耋 表一；m a t p c a 同p c a 的性能比较( 模式分量无重叠) d a t a s e t s c l a s s i f i e r s a c c u r a c y o r l 2 8 x 2 3 p c a9 3 3 5 m a t p c a 9 4 0 5 l e t t e rt e x t p c a 8 7 2 6 ( 2 4 x 1 8 ) m a t p c a8 7 7 4 w a v e f o r m p c a7 7 3 6 m a t p c a 7 5 2 1 ( 3 x 7 )7 4 9 8 ( 7 x 3 ) w a t e r t r e a t m e n tp c a6 5 2 l m a t p c a 6 5 3 0 ( 2 x i 9 ) 8 2 3 6 ( 1 9 x 2 ) w i n e p c a7 4 6 2 m a t p c a 7 9 9 3 ( 3 x 4 ) 7 7 9 7 ( 4 x 3 ) 8 1 7 5 ( 2 x 6 )7 3 8 1 ( 6 x 2 ) s o n a r ( 6 0 d )p c a8 0 5 6 m a t p c a 7 9 7 9 ( 6 x l o ) 8 0 6 9 ( 1 0 x 6 ) 7 9 3 7 ( 4 x 1 5 )7 9 7 9 ( 1 5 x 4 ) 7 9 9 3 ( 5 x 1 2 ) 8 0 2 3 ( 1 2 x 5 ) 7 8 1 5 ( 3 x 2 0 )7 9 9 0 ( 2 0 x 3 ) m u s k c 1 e a n 2p c a 8 0 5 ( 1 6 6 d )m a t p c a 8 0 2 1 ( 2 x 8 3 ) 8 0 4 0 ( 8 3 x 2 ) m u s k c l e a n 2p c a7 9 6 8 ( 1 6 0 d )m a t p c a 8 0 0 9 ( 1 0 x 1 6 ) 8 0 0 6 ( 1 6 x 1 0 ) 8 0 0 3 ( 8 x 2 0 ) 8 0 。1 6 ( 2 0 x 8 ) 7 9 9 0 ( 5 x 3 2 ) 8 0 5 7 ( 3 2 x 5 ) 表二：o l a p m a t p c a 同m a t p c a 的性能比较( 模式分量有重叠) d a t a s e t s c l a s s i f i e r s 9 6 a c c u r a c y w a v e f o r m m a t p c a7 5 2 1 ( 3 x 7 )7 4 9 8 ( 7 x 3 ) o l a pm a t p c a7 5 8 8 ( 1 l x l l ) w a t e r m a t p c a 6 5 3 0 ( 2 x 1 9 ) 8 2 3 9 ( 1 9 x 2 ) t r e a t m e n t o l a pm a t p c a8 9 0 5 ( 1 9 x 2 0 ) w i f i e m a t p c a7 9 9 3 ( 3 x 4 )7 7 9 7 ( 4 x 3 ) 8 1 7 5 ( 2 x 6 )7 3 8 1 ( 6 x 2 ) ( ? l a pm a t p c a 7 8 8 9 ( 6 x 7 ) s o n a r ( 6 0 d )m a t p c a7 9 7 9 ( 6 x 1 0 ) 8 0 6 9 ( 1 0 x 6 ) 7 9 3 7 ( 4 x 1 5 )7 9 7 9 ( 1 5 x 4 ) 7 9 9 3 ( 5 x 1 2 ) 8 0 2 3 ( i 2 x 5 ) 7 8 1 s ( 3 x 2 0 )7 9 9 0 ( 2 0 x 3 ) 0 l a pm a t p c a 7 7 2 9 ( 3 0 x 3 1 ) 南京航空航天大学硕士论文 表三：m a i f l d a 同f l d a 的性能比较( 模式分量无重叠) d a t a s e t s c l a s s i f i e r s a c c u r a c y o r l 2 8 x 2 3f l d a 9 3 6 0 m a t f l d a9 4 0 0 l e t t e rt e x t f l i ) a7 0 3 6 ( 2 4 x 1 8 )m a t f l d a7 3 6 0 w a v e f o r mf l d a7 8 7 0 m a t f l d a 7 5 4 7 ( 3 x 7 )7 6 6 7 ( 7 x 3 ) w a t e r t r e a t m e n tf l d a8 9 7 6 | 8 t f l d a 9 2 8 0 ( 2 x 1 9 ) 9 7 2 0 ( 1 9 x 2 ) w i n ef l d a9 4 8 l m a t f l d a 8 9 0 8 ( 3 x 4 ) 8 9 1 4 ( 4 x 3 ) 8 2 6 l ( 2 x 6 )9 3 0 5 ( 6 x 2 ) s o n a r ( 6 0 d )f l d a7 1 1 3 m a t f l d a 7 8 8 2 ( 6 x 1o )7 8 1 7 ( 1 0 x 6 ) 7 8 5 3 ( 4 x 1 5 )7 4 6 9 ( 1 5 x 4 ) 7 9 5 8 ( 5 x 1 2 )7 6 3 3 ( 1 2 x 5 ) 7 9 5 4 ( 3 x 2 0 )7 3 3 0 ( 2 0 x 3 ) m u s k c l e a n 2f l d a8 6 3 9 ( 1 6 6 d )m a t f l d a7 9 1 4 ( 2 x 8 3 ) 8 4 1 4 ( 8 3 x 2 ) m u s k c l e a n 2f l d a8 6 5 7 ( 1 6 0 d )m a t f l d a7 8 4 7 ( 1 0 x 1 6 )7 9 2 2 ( 1 6 x t o ) 7 8 8 6 ( 8 x 2 0 )7 9 6 9 ( 2 0 x 8 ) 7 8 i5 7 ( 5