（应用数学专业论文）基于模糊点数据的主成分分析.pdf

宁夏大学顼士学位论文纳艳芹：基于模糊点数据的主成分分析 i 摘要 主成分分析是将多个相关指标转化成少数不相关指标的一种多元统计方法，常常 用于数据压缩和特征提取，广泛应用于工业、农业、经济、生物、医学、天文，地理等 领域 在经典的主成分分析中，每个训练数据在构建主成分时的作用是相同的然而， 在许多实际问题中，训练数据的意义和作用是不同的，通常有些数据比其它数据更为 重要对于重要的数据我们应给予充分的重视，在构建主成分时应起更大的作用，而 对于不可信数据( 可能是异常数据) ，应限制其作用 本文给每个训练数据赋予一个置信权重，将训练数据视为样本空间的模糊点，研 究了基于模糊点数据的主成分分析，核主成分分析。g p c a 以及主成分回归，并且分 析了它们的统计性质同时，为了说明这些方法能有效控制可能的异常点，在每个部 分的最后都给出了相应的数值模拟例子 数值例子还进一步表明，置信权重越大的数据对构建主成分的作用也越大，当置 信权重全部取1 时，本文提出的基于模糊点数据的主成分分析，核主成分分析，g p c a 以及主成分回归就退化为相应的经典方法因此，本文提出的四种方法可以说是经典 的四种方法的一个推广，同时为数据先验信息的利用提供了一个途径 关键词：主成分分析；核主成分分析； 主成分回归；模糊点数据 塞墨查兰堡圭堂堡丝奎 垫垫董! 茎垂堡塑皇塾堑堕圭些坌坌堑 i i a b s t r a c t p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) i sam u l t i v a r i a t es t a t i s t i c a lm e t h o d t ot r a n s - f o r man u m b e ro fc o r r e l a t e dv a r i a b l e si n t oas m a l ln u m b e ro fu n c o r r e l a t e dv a r i a b l e s i t i so f t e nu s e di nd a t ac o m p r e s s i o na n df e a t u r ee x t r a c t i o n p c ai sa p p l i e dw i d e l yi n i n d u s t r y , a g r i c u l t u r e ，e c o n o m y , b i o l o g y , c h r o n o m e t e ra n dg e o g r a p h y i nc l a s s i c a lp c a ，a l lt r a i n i n gd a t aa r et r e a t e de q u a l l yi nc o n s t r u c t i n gp r i n c i p a l c o m p o n e n t s ( p c s ) h o w e v e r ，t h es i g n i f i c a n c ea n de f f e c to ft h et r a i n i n gd a t aa r ed i f - f e r e n ti nm a n ya p p l i c a t i o n s u s u a l l ys o m et r a i n i n gd a t am a yb em o r ei m p o r t a n tt h a n t h eo t h e r s w es h o u l dp a ym o r ea t t e n t i o nt ot h ei m p o r t a n tt r a i n i n gd a t aw h i c hs h o u l d h a v em o r ee f f e c ti nc o n s t r u c t i n gp o s s i m u l t a n e o u s l y , w es h o u l dr e s t r i c tt h ee f f e c to f t h eu n b e l i e v a b l ed a t a ( t h e ym a yb eo u t l i e r s ) i nt h i sp a p e rw ea p p l yac o n f i d e n c ew e i g h tt oe a c ht r a i n i n gd a t a ，a n dc o n s i d e r t r a i n i n gd a t aa sf u z z yp o i n t si ns a m p l es p a c e ，a n dw o r ko v e rp r i n c i p a lc o m p o n e n t a n a l y s i s ，k e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i s ，g e n e r a l i z e dp r i n c i p a lc o m p o n e n t a n a l y s i sa n dp r i n c i p a lc o m p o n e n tr e g r e s s i o nb a s e do nf u z z yp o i n t sd a t a m e a n w h i l e ，w ea n a l y z et h e i rs t a t i s t i c a lp r o p e r t i e s a tt h ee n do fe a c hc h a p t e r ，w eg i v e s o m en u m e r i c a le x a m p l e sf o rs h o w i n gt h a tt h e s em e t h o d sc a nc o n t r o lp o s s i b l eo u t l i e r s e f f e c t i v e l y t h en u m e r i c a le x a m p l e sa l s os h o wt h a tt h eb i g g e rt h ec o n f i d e n c ew e i g h t so ft h e t r a i n i n gd a t a ，t h em o r ei m p o r t a n tt h e ya r et oc o n s t r u c tp r i n c i p a lc o m p o n e n t s p r i n c i - p a lc o m p o n e n ta n a l y s i s ，k e r n e lp r i n c i p a lc o m p o n e n ta n a l y s i s ，g e n e r a l i z e dp r i n c i p a l c o m p o n e n ta n a l y s i sa n dp r i n c i p a lc o m p o n e n tr e g r e s s i o nw h i c ha r eb a s e do nf u z z y p o i n t sd a t ap r o p o s e di nt h i sp a p e rd e g e n e r a t ei n t ot h ec l a s s i c a lo n e sw h e nt h ec o n f i d e n c ew e i g h t so fa l lt r a i n i n gd a t aa r eo n e t h e r e f o r e ，t h em e t h o d sp r o p o s e di nt h i s p a p e ra r eg e n e r a l i z a t i o n so ft h ec l a s s i c a lm e t h o d s a n dp r o v i d eaf e a s i b l ew a yf o ru s i n g p r i o ri n f o r m a t i o n k e yw o r d s ：p r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ；k e r n e lp c a ；p r i n c i p a lc o r n p o r t e n tr e g r e s s i o n ；f u z z yp o i n t sd a t a 独创性声明 本人卢明所呈交的论文是我十人在导师指导下进行的研究、l 二作及取得的研究成果。 尽获所知，除了文中特别加咀标注和致谢的地方外，论文中不包台其他人已经发表或撰 写过的研究成果，也不包含为获得宁夏大学或其它教育机构的学位或证书而使用过的材 料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 了谢意。 研究生签名： 时间：矽6 年主a 彪日 关于论文使用授权的说明 本人完全了解宁夏火学有关保留、使用学位论文的规定，即：学校有权保留送交论 文的复印件和磁盘，允许论文被查阅和借阋，可h 采用影印、缩印或扫描等复制手段保 存、汇编学位论文。同意宁夏大学可以用不同方式在不同媒体上发表、传播学位论文的 全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：彳勺， 色俘， 时阿：p 占年t 月彤h 新躲耘 乞为 时间：m 白年1 6 月日 ， 研 锅 第一章引言 1 1主成分分析概述 在实际问题中。我们经常会遇到对同一事物或现象进行多项指标观察，这时就需要用多元统 计方法对事物或现象进行分析和预测常用的多元统计方法( 1 3 f 2 】有回归分析，判别分析，聚类分 析，相关分析等，主成分分析【3 】就是相关分析中的一种方法这种方法最早是由p e a r 8 0 n 【4 】和 h o t e l l i n g f 5 】于2 0 世纪上半叶提出来的和其它多元分析方法一样，直到电子计算机出现以后，主 成分分析才被广趁应用于工业、农业，经济、生物、医学、天文、地理等领域 在多变量分析中，为了尽可能完整地搜集信息，对每个样品往往要测量许多项指标( 变量) ，从 统计的角度来看，这些变量可能存在着很强的相关性，使得分析问题增加了复杂性因此，自然想 到用少数几个不相关的综合变量来替代原来较多的相关变蠢，而且要求这些不相关的综合变量能 够反映原始变量提供的大部分信息这就是主成分的思想一降维思想 主成分分析的中心思想是将多个原始相关变量转化成少数新的不相关的变量，这些新的变量 称为主成分从几何观点看，主成分就是把原始变量构成的坐标系，在一定约束条件之下进行一 个旋转产生的新坐标系中的若干个代表了具有最大变异方向的新坐标轴从代数观点看，主成分 是原始相关变量的线性组合后面将会看到，主成分的计算仅依赖于原始变量的协方差矩阵( 或相 关系数矩阵) 主成分分析往往是其它统计技术的辅助方法，它常常被用于回归分析，判别分析，聚类分 析。典型相关分析等方法的中间环节 l 2 主成分分析的研究现状 自从模糊集提出以后，将模糊性引入到主成分分析中是近年来的一个研究热点p a o l o g i o r d a n i 和h e n ka ，l k i e r s f 6 1 通过处理模糊数推广了经典的主成分分析提出的c s - p c a f 方法和l s - p c a f 方法在仿真试验中产生了较好的结果y a b u u e h l y 和w a t a d a j 【7 】通过运用一个模糊主 成分模型，得到三个模糊协方差矩阵，三类特征向量和三个主成分公式c s a r b u 和h f p o p s 】 利用原型的模糊聚类思想提出了一个稳健模糊主成分算法 把经典的主成分分析推广到非线性情形也是近几十年来许多科研工作者的研究目标 b s c h t j | i k o p f , o j a 和h a s t i e 等人分别研究了主成分分析的非线性推广方法，下面简单介绍几种主 要的方法 k e r n e lp c a 【9 】 1 0 l 是p c a 的一个运用比较广泛的非线性推广方法它把原始数据点嵌入到 一个具有任意大维数( 可能是无穷维) 的特征空间，在特征空间作主成分分析如果使用核函数 k ( z ，1 ) = 杠) ，则k e r n e lp c a 就变成了经典的p c a h e b b i a nn e t w o r k s 1 1 1 方法是由o j a 工作小组于1 9 8 2 年提出的另一种推广方法，该方法提出 了许多用于计算主成分的非监督神经阿络算法与标准的对角化协方差矩阵方法相比，这些算法 宁夏大学硕士学位论文 纳艳萍：基于模糊点数据的主成分分析 2 能够处理更多的数据( 比如不稳定数据) 这种方法的缺点是没有像p c a 和k p c a 那样的几何解 释，并且很难理解它们提取到的究竟是什么 a u t o a s s o c i a t i o nm u l t i - l a y e rp e r c e p t r o n s 1 2 也是p c a 的一个推广比如，考虑含有一个隐藏 层的线性感知器，这个隐藏层小于输入空间如果训练感知器，把输入值作为输出值产生，则隐藏 单元就形成了一个数据的低维表示，这与p c a 紧密相连为了推广到非线性形式，就要使用一个 非线性激活函数和附加层，这当然被考虑成非线性主成分的一种形式这个方法的缺点是要想得 ，到训练感知器，就必须解决一个很难的非线性优化问题此外，该方法还存在着过拟台的风险， 而且提取的主成分的数目必须提前指定 p r i n c i p a lc u r v e s 1 3 1 4 是一种在输入空问具有明确几何解释的非线性主成分分析方法该方 法试图找到这样一条曲线，曲线上的每个点都是所有数据点投影到该点的数据平均可以证明满 足这个性质的直线是主成分，所以主曲线( p r i n c i p a lc u r v e s ) 确实是主成分的推广这个方法的缺 点是，为了计算主曲线，妊须解决一个很难的非线性优化问题，并且曲面的维数和提取的主成分 数目必须提前指定 g e n e r a l i z e dp c a 1 5 是g n a n a d e a i k a n 于1 9 7 7 年提出的，它把随机变量x 的分量扩展到x 的分量的函数，使得x 的分量的函数的线性组合具有最大方差当分量的函数取线性函数时， g e n e r a l i z e dp c a 就退化成经舆的主成分分析然而。g n a n a d e s i k a n 主要致力于二次函数的推广， 从而他的分析过程是寻找二次主成分 此外，关于主成分的推广方法，还有c i n t l e 的用于判别分析的非线性主成分形式，f o w l k e s 和k e t t e n r i n g 1 7 的a d d i t i v ep f i n d p a lc o m p o n e n t s ，p h c a s i n 1 8 的对k 个变量集的主成分推 广。以及最近r e n ev i d a l 1 9 的g p c a 1 1 3 模糊点数据 定义l ，1 1 2 0 1 1 2 1 】设 ，i = 1 ，n ) 是p 维训练样本，给每个训练样本毛赋予一个模糊隶 属度巩( 0 口巩1 ) ，则称( 毛，s ，) 是舯中的模糊点，氧和毛分别叫做支撑和高度并称 ( 扎， ) ，i = 1 ，n ) 是模糊点数据集 在应用之前，我们说明一下训练数据的模糊隶属度如的几种确定方法【2 2 1 首先，一定要先 确定隶属度的下界口其次，根据具体数据的不同特征来确定隶属度例如下面的几种情况： ( 1 ) ( 时效性数据) 在实时信号处理等许多应用向题中，要分析的数据具有时间特性，比如，后到 达系统的数据比先到达的数据可能更为重要为此，我们可以选择巩是时问t 。的函数：巩= f ( t 。) ， 假设给定一个数据点序列是： ( x l ，l ，s l ，t 1 ) ，( x 2 ，p 2 ，8 2 ，t 2 ) ，- ，( x n ，口n ，s t ) 其中t 1 t 2 t 。是输入点到达系统的时间我们认为最后一个点( x n ，) 是最重要的并且 选择j 。= l ( t 。) = 1 ，认为第一个点( x l ，v 1 ) 是最不重要的且选择乱= f ( t 1 ) = 口如果我们想使得 宁夏大学硕士学位论文纳艳芹：基于模糊点数据的主成分分析 3 模糊隶属度是时间的线性函数，就可以选挥 s - = ，( t 肛高t - + 篙n 一1n 一l 如果我们想使得它是时间的二次函数，可以选择 以= 巾，) = ( 1 一口) ( ；号) 2 + d r ( 2 ) ( 先验信息) 8 。可以认为是对应数据点对总体的重要度或置信度，这些置信度可以通过训 练数据的先验信息来决定比如，设训练数据，价) 对总体的贡献为0 8 ，那么我们认为( 】c ，玑) 的模糊隶属度巩为0 8 ( 3 ) ( 分组重复测量数据) 在一些研究领域中，响应变量在每一个自变量水平上需要测量多次 例如对病人的血压进行测量，响应变量血压在不同的时间被测量，假设在t 。时间测最了n 。次。取 这m 次的平均值作为观测值但由于每个水平上的测量次数不同，测量次数越多响应变量值越准 确因此，模糊隶属度巩可以表示为对应组测量数据的频率m 加( n 为总测量次数) ( 4 ) ( 分类数据) 当主成分被用于判别分析时，通常情况下，各个类在所研究的同题中所处的地 位也许不同，我们希望重要的类尽量被正确分类，而对于不太重要的类允许有误分例如，有两类 吣类和忱类，我们可以选择模糊隶属度是类标示变量玑的函数： r 10 8 i f 弘= u 1 8 t2 0 ，为了消除异方差性，我们可以选择8 t = i 1 为模糊权重，这样就满足了经典最小 二乘法的假设条件( 同方差) ， 总之，巩的确定并不困难，但或多或少地存在着一些主观色彩，本文假设如是已知的 1 4 本文工作要点及安排 在实际问题中，每个数据点对总体来说有不同的置信度和意义，因而。它们应该对构建主成 分的作用不同我们实现这一目标的策略是给每个训练数据赋予一个置信权重，将i i l l 练数据视为 样本空间的模糊点在此基础上，重新推导了经典的主成分分析，核主成分分析，g p c a 以及主 成分回归 论文的第二章从模糊点数据集的协方差矩阵入手，重构了模糊点数据集的投影方向( 即主轴) ， 定义了基于模糊点数据的主成分，并分析了基于模糊点数据的主成分的相关性质，这些性质与经 典的主成分性质类似最后，为了说明基于模糊点的主成分能够有效地控制异常点的影响，给出 了一个数值模拟例子 宁夏大学硕士学位论文纳艳斧：基于模糊点数据的主成分分析4 第三章把模糊点数据引入到核函数中，重新定义了核主成分的概念，并推导了基于模糊点数 据的核主成分的三个主要性质最后给出了两个数值试验，分别用多项式核函数和高斯核函数对 一个二维模糊点数据集作主成分分析，试验结果也进一步证明了该方法能够有效地控制异常点的 影响 第四章把模糊点数据引入到推广的主成分( g p c a ) 中，由于g n a n a d e s i k a n ，r 1 1 5 】的推广的主 成分主要考虑二次函数的推广，从而基于模糊点的推广的二次主成分也被局限于二次函数的推广 第五章主要考虑把模糊点数据引入到主成分线性回归中，定义了基于模糊点数据的线性回归 模型，研究了基于模糊点数据的主成分回归以及主要性质，最后为了说明这种方法的优势，给出 了一个实际的例子， 第二章基于模糊点数据的主成分分析 主成分分析是一种多元统计方法，它将原始相关变量转化成新的不相关的变量，这些新的变 量称为主成分，它们是原始变量的线性组合主成分分析要求用尽量少的主成分反映原始变量提 供的大部分信息 本章从一个新的角度将模糊性引入到主成分分析中在许多实际应用中，样本数据的作用是 不同的，通常有些数据比其它数据更为重要或可信，对于重要的数据我们应给予充分的重视，而 对于不可信数据( 可能是异常数据) ，应限制其作用我们实现这一目标的策略是给每个训练数据 赋予一个置信权重，将训练数据视为样本空间的模糊点在此基础上，重新研究了主成分分析， 为更有效地分析数据，以及控制可能的异常值提供了一个可行的途径 2 1 经典的主成分分析 ，一劫憎 5 童圣查兰堡圭兰堡垒奎丝丝垄；苎垂茎塑皇墼堡竺圭塞坌坌堑 6 ( 3 ) 称n 个样本的第j 个主坐标形成的向量 x a j = ( a j z l ，a j z n ) = ( 。：a j ，一，z ：a j ) 为p 个变量。( 1 ) ，。伽) 的第j 个主成分，j = 1 ，r 【4 ) 对一个样本。，称值a j 。为这个样本关于第j 个主成分的得分劐主成分的得分矩阵为 z = x a ，( 2 1 2 ) 其中a = ( a l ，a ，) 2 2基于模糊点数据的主成分分析 设x 是p 维随机向量，“s z ) ，= 1 ，n ) 是模糊点数据集，令 仨) - ( 兰 g p p2n l _ y 7 y 。i ( s x ) ( s x ) t ( 222 ) z = 时眨：) = ( 8 1 x 1 ) w ) 一 ；z z = ：( y i 矿) ( 1 ，计7 ) = w ( ：y y ) w 要使主成分的方差达到最大，则必须取w = ( u 1 u 1 ，蚺是g 的按照从大到小排列的特征根a l ， ，o i r ) 为g 的特征向量组成的矩阵，并且 k 对应的特征向量，才能保证主成分的方 l22 ( 、， 印 印 叩 凯 如 n 勰 吡 n 如 童圣奎兰堡圭兰堡篁奎竺丝垄：垄垂堡塑皇墼童丝圭塞坌坌堑 7 。i z z = w g w = h = n “， nl 。 l 定义2 3 把n t = 盎称为基于模糊点的主成分盈t ) 的方差贡献率。称：to t 为前m 2 3基予模糊点数据的生成分的性质 定理2 , 1基于模糊点数据的主成分具有下列性质： ( 1 ) 主成分盈1 ) ，z 【，) 线性无关 ( 2 ) 主成分的方差v a r ( z i j ) ) = b ( 3 ) 用前几个主成分代表原始数据的均方近似误差是最小的 ( 4 ) 对每个m = 1 ，r ，称 圭k ，沁 = m + 11 2 i 为用前m 个主成分逼近的平方相对误差，它具有误差意义下的最小性 ( 5 ) 称z = ( s x ) w 为对s x 的主成分变换，此变换是广义可逆的，有 s x = z w 一 ( 2 3 1 ) 并称( 2 3 ，1 ) 式为用主成分的恢复数据变换， ( 6 ) 由于2 鬻2 了毒五j ) i j = r ”中的主轴并且有 这种变换具有性质( 3 ) 意义下的最优性 1 ，r 为y o ) ，蜘) 的单位主成分，故也是s x 在 娄万1 亏晾，铂) 2 = 砉砒嵋= n - ， 皇圣奎兰至主兰堡垒奎 竺垫董! 叁垂堡塑；垦丝堡堕圭塞坌坌堑 8 ( 7 ) 当扎) ， = i ，p 为单位中心化向量时( 即慨。) = 1 ，且h ( ) = ( t ) 其中h = i 一：1 1 ，) ， 则7 舞z b ) ，j = 1 ，r 也是单位中心化的，此时主成分z ，) 与变量( ，) 的相关系数为 肋2 赤蝴旷西l ， ( 2 。32 ) 。l z z = w g w = 玲 n l 。 l 所以：曩。，盈，= 耋：i ；： y ( d = ) ，j ；1 ，p d m = 帆) 一 = 帆) f 1 2 死) 1 1 2 ，z 1 = t r ( y y ) 一n ( u ：) j 2 l l = l 口m = n 一n b 尸 j z m 一 ，d ，一 他 l l 童茎奎兰堡圭兰堡堕壅竺丝垂i 耋重茎塑；皇墼堡竺圭堡坌坌堑 9 所以用前m 个主成分代表原始数据的均方近似误差为n ：。+ ，丸 当r a a k ( w ) p 时，因为z = 】，所以y = z w 一，同理可得上述结果 当模糊点的个数n 固定时，用前几个主成分代表原始数据的均方近似误差是最小的 ( 4 ) 由性质( 3 ) 易得 c 6 ) 因为磊t z u ) 盈，) = ，歹= 1 ，九所以反】1 u = 佤，= 1 ，r 从而i l u ，u = l i 锹| i = 1 ，j 5 1 ，r 又因为 ( s x ) = ( s x ) 等羞等= 丽1 ( s x ) ( s x ) 屿= 了击n w a w 屿 2 赢m l ；+ 。| r o ) 畸 = 去n 郇咖= 而 卜( 封 所以而1 y , ，m2 何蕊m 江1 ，t p 从而：t 了杀；：) z ) 2 = e ：，n u j = n a ，：l 嵋= n ，。1 ，r 一 ( 7 ) 从( 6 ) 的证明中得赤z 计，j 。1 ，- ，是单位向量- 又因为) 中心化，所以1 ：9 2 h 伽z o 亏) 叫一1 罴 = 丽z o ) 一丽l 。1 1 1 r 铲蠢 从而了岛z ( 小，= 1 ，7 也是中心化的 从( 6 ) 的证明中得，p l j = i i p 。) z ( j ) = 瓢，i = 1 ，p , j = l ，r 证毕 2 4数值试验 例1 为了说明基于模糊点的主成分分析能够有效地控制可能出现的异常值，下面给了一个 宁夏大学硕士学位论文 鱼耋董：垂垂丝塑壅墼堡竺圭堕坌坌堑1 0 数值实验取1 0 个二维数据点( 用表示) ，这些点是这样产生的：x ( o 5 ：0 5 ：5 ) ，p = z + f ，f 是【o ，1 】上均匀分布的噪声 表2 1 给出了用这1 0 个点产生的协方差矩阵的特征值和特征向量 表2 2 是在增加3 个可能的异常点( 1 ，7 ) ，( 1 5 ，8 ) ，( 2 ，9 ) ( 用”0 表示) 后产生的协方差矩阵的特征 值和特征向量从表2 2 中看出，表2 2 中的特征根比表2 1 中的特征根增大了很多，并且特征向 量变化也很大 表2 3 是给琢始数据点分配0 9 的置信度，可能的异常点分配o 1 的置信度后，用基于模糊点 的主成分分析方法得到的协方差矩阵的特征值和特征向量从表2 3 中看出，表2 3 中的特征向量 接近表2 1 中的特征向量 图2 1 是在原始1 0 个数据点上用经典主成分分析作出的第一主轴方向图 图2 2 在加了三个可能的异常点后，虚线是用经典主成分分析作出的第一主轴方向图从图中 可以看出第一主轴方向明显偏离了原来主轴方向实线是用基于模糊点的主成分分析得到的第一 主轴方向图从图中可以看出，给数据点分配置信度后得到的第一主轴方向更加接近原来的第一 主轴方向 寰2 1 ：原始数据的计算结果 特征根 2 3 a 8 7 800 6 4 7 特征 0 6 3 8 9 0 7 6 9 3 向量 0 7 6 9 30 6 3 8 9 衰2 2 ：有异常点后的计算结果 特征根 3 1 4 6 3 02 1 3 5 0 特征 0 4 4 5 7- 0 8 9 5 2 向量 o 8 9 5 2o 4 4 5 7 衰2 3 ：用模糊点后的计算结果 特征根 1 4 7 5 3 6 0 ，0 7 6 2 特征 一0 6 3 5 4 0 7 7 2 2 向量 0 ”2 2 0 6 3 5 4 童圣查兰堡主兰堡篁奎丝垫苎! 苎垂堡塑；皇墼堡竺圭堕坌坌堑1 1 圉2 1 经典主成分分析 图2 2 ：经典主成分分析和基于模糊点主成分分析的比较 宁夏大学硕士学位论文纳艳萍：基于模糊点数据的主成分分析 1 2 2 5本章小结 ( 1 ) 当样本的置信度全都取1 时，基于模糊点数据的主成分分析方法就是经典的主成分分析 方法所以，基于模糊点数据的主成分分析是经典主成分分析的拓展 ( 2 )本文提供的方法能够有效地利用样本的先验信息( 模糊点) ，从而更好地找到数据的投影 方向。即主轴方向， ( 3 ) 本文提供的方法的缺点是，只能对连续随机变量进行主成分分析，而对离散型和其它类 型数据无法进行分析 第三章基于模糊点数据的核主成分分析 主成分分析是一种线性分析方法，把主成分分析推广到非线性情形也是近年来的一个研究热 点核主成分分析【9 ) 就是非线性情形的推广方法之一它是s c h s l k o p f 等人在受到支持向量机 【2 4 2 5 l 的中心思想的启发后提出来的通过运用核函数，把输入空间映射到高维特征空间，在特 征空间计算主成分是核主成分分析的主要思想本章把模糊性引入到核主成分分析中，研究了基 于模糊点数据的核主成分分析以及相关性质 3 1 核主成分分析 给定一个中心化的数据集z i r n ，= 1 ，m ，丝l $ = 0 ，通过一个非线性函数垂把数 据从输入空间r “映射到特征空间f ，即 圣：r n _ + f z h x ( 3 1 1 ) 其中特征空间f 可以有任意大的维数甚至可以有无穷维假设数据集圣( z ) 也被中心化， 丝1 壬( “) = 0 ，在f 中数据集的协方差矩阵为 _ l l f o = 击圣( z j ) 垂( 奶) ( 3 1 2 ) 如果f 是无穷维，则考虑把西( q ) 垂( q ) 作为f 上的线性映射，它把x f 映射为垂( q ) ( 圣( q ) x ) 现在的问题是寻找特征值 0 和特征向量v f o ) 满足 a v = 0 v ( 3 1 3 ) 所有v 的解都在由垂( z 1 ) ，圣( z 村) 生成的线性空间中首先，考虑与( 3 1 3 ) 等价的方程 a ( 圣( z t ) v ) = ( 圣( z i ) o r ) ，女= l ，m ，( 3 1 4 ) 其次，设存在系数向量n t “= 1 ，m ) 使得 综合( 3 1 4 ) 和( 3 1 5 ) 得到 f v = q 。垂( 岛) ( 3 ，1 5 ) t = 1 圣( 甄) ) ：面1 m 。( 壬( z t ) 定义一个m m 矩阵，k 的第( i ，j ) 元素为 j 劬：= ( 西( 以) 圣( 吻) ) 1 3 ( 3 1 7 ) l = 老z垂zl e ze l m 一 巩 e |口 m d 童圣奎兰堡圭兰堡篁奎丝垫苎! 叁垂堡塑皇墼堡堕圭塞坌坌堑 1 4 则( 3 1 6 ) 变为 这里口= ( n a m ) ，( 3 1 8 ) 可以化为 f k a = 蜀2 q 膨a a = k q ( 3 1 8 ) ( 3 i 9 ) 设a a 2 之是k 的全部非零特征根，劬，郇是相应的特征向量，当要求向量v 标 准化 ( v 。v 。) = 1 ，t = 1 ，p 时，根据( 3 1 5 ) 和( 3 ，1 1 0 ) ，得到 mm 1 = n 惮溆) 圣( 巧) ) = 罅砖 t 。3 = 1，j = l = ( o k a 。) = k ( 口。- d 。) ( 3 1 1 0 ) 为了提取主成分，就需要计算在特征向量v o 上的投影令z 是一个测试点，它在f 中的像是 圣( z ) ，则把 _ i l f ( v 。，圣( z ) ) = n ：( 圣( 锄) 圣( z ) ) ( 3 11 1 ) t = 1 称为相应于圣的核主成分 3 2 基于模糊点数据的核主成分分析 设 ( 乳，8 ，) ，t = 1 ，m ) 是模糊点数据集，并设一个非线性函数田把输入空间蚪映射到特 征空间日 霍：r n _ + 圩 ( 3 2 1 ) ( 粕，巩) 一霉( 巩) ，i = 1 ，材 设数据集雪( 8 $ ) 也被中心化，怎l 霍( s i ) = 0 ，在h 中数据集的协方差矩阵为 j ， g = 击屯( 勺巧) 雪( 勺q ) ( 3 2 2 ) j = j 同样，寻找特征值l 0 和特征向量u h o ) ，满足 l u = g u ( 3 2 3 ) 所有u 的解都在由雪( 5 l z l ) ，雪o ，z m ) 生成的线性空问中同样先考虑与( 3 2 3 ) 等价的方程 f ( 皿( 钆2 t ) u ) = ( 重( 8 - ) c u ) ，k = 1 ， f ，( 3 2 4 ) 其次，设存在系数向量反“= 1 ，m ) 使得 u = 厉丑( 郇t ) ( 3 ，2 5 ) 宁夏大学硕士学位论文 纳艳萍：基于模糊点数据的主成分分析 1 5 综合( 3 2 4 ) 和( 3 2 5 ) 得到 m mm i = l 胛( 舭一峨i ) ) 2 击萎舯( 8 胁) 。薹训吣矧岍1 ) ) ) ，括1 同样也定义一个m m 矩阵霞，露的第( i ，j ) 元素为 j 0 ：= 伸( s ；孔) 霍( 如) ) 则( 3 2 6 ) 变为 这里卢= 伊i ，卢m ) ，( 3 2 8 ) 可以化为 m i r ，；詹2 口 m 够= k 芦 ( 3 2 7 ) ( 3 2 8 ) ( 3 2 9 ) 可以证明，矩阵霞是一个非负定矩阵 定理3 1 矩阵霄是一个非负定矩阵 证明：因为 蟊= ( 霍扣l z l ) ，r ，霍( s 村。 f ) ) ( 霍( s l z l ) ，一，霍( s f 卫盯) ) 从而，对任意的霍( s g ) 日， 虫( s 。) r 皿( s x ) = | ( 皿( s l z l ) ，皿( s r z m ) ) 圣( s z ) | | 220 所以矩阵露是一个非负定矩阵证毕 设z - 1 2 如是露的全部非零特征根，声1 ，绋是相应的特征向量，当要求向量u 标 准化 ( u k u 。) = 1 ，k = l ，。p( 3 2 1 0 ) 时，根据( 3 2 5 ) 和( 3 21 0 ) ，得到 = ( 卢霞卢。) = i i ( p 卢) 定义3 1设z 是测试点，则基于模糊点数据的核主成分为 f u “ 最后，介绍三种常用的核函数： ( 1 ) 多项式核函数： ( 2 ) 高斯径向基核函数： 皿扛) ) = 墨。胛( 皿( s ；飘) 霍扛) ) = 竺l 卯( s 尚，z ) k ( x ，”) = ( 扛y ) + 1 ) 4 地= e x p ( 一氅磐) ( 3 2 1 1 ) 配 够 钟 _ l i = 屯 雪 zs 劈 钟 吖科 = l 量墨奎兰堑圭兰篁丝茎 ( 3 ) 多层感知器核函数； 纳艳萍：基于模糊点数据的主成分分析 1 6 k ( z ，) = t a n h ( k ( z f ) + c ) 3 3基于模糊点数据的核主成分分祈的性质 定理3 2 基于模糊点数据的核主成分具有下列性质； ( 1 ) 基于模糊点数据的核主成分是互不相关的 ( 2 ) 前口个主成分( 即在特征向t 上的投影) 比其它口个正交方向积累了更大的方差 ( 3 )用前g 个主成分代表原始数据的均方近似误差是最小的 证明。( 1 ) 令磊；( u “雪( $ ) ) ，设存在p 个常数口l ，使得下式成立 0 1 z l + 也磊+ + 唧名= 0 即 口l ( u 1 雪( z ) ) + a 2 ( u 2 雪扛) ) + r + a p ( u p 霍扛) ) = 0 ( n l u l 一皿( z ) ) + ( a 2 u 2 皿( 。) ) + + ( o p u p 雪( z ) ) = 0 ( ( m u l + a 2 u 2 + + a p u 9 ) 雪( ) ) = 0 从而，口i u l + a 2 u 2 + + o p u p 与皿( $ ) 正交 因为霍( z ) 是h 中任意向量，当皿扣) 只能取零向量时，口为零空间，没有研究意义 所以当h 为非平凡空间时， o l u l + a 2 u 2 + + d u p = 0 又因为u 1 ，u 2 ，u p 是霄的特征向量，线性无关，所以，b l = = 0 ，从而主成分 z 1 ，乙线性互不相关 ( 2 ) ( 3 ) 因为不同的核函数具有不同的特性，所以要征对具体的核函数一一证明，具体证明参 看文献【1 2 】 3 4 数值试验 倒1下面给出一个二维图，用多项式核作核主成分分析 给出一个二维数据点集( 用。表示) ，点集是这样产生的；2 是卜1 ，1 1 上的均匀分布，v 由公 式玑= 。；+ f 产生的，其中f 是均值为0 方差为0 2 的正态噪声 图3 1 是用多项式核作核主成分分折碍到的主成分图左边的两个图从上到下分别是用一次 多项式核做出的第一和第二主成分图，右边的两个图从上到下分别是用二次多项式核k ( z , y ) ： ( 岛( z ) ，c 2 ( p ) ) = 扛) 2 做出的第一和第二主成分图 宁夏大学硕士学位论文纳艳斧：基于模糊点数据的主成分分析1 7 图3 2 是给原始数据点集加入5 个异常点( 用o 表示) 后，用多项式核作核主成分分析得到的 主成分图从图3 2 中看到，加入异常点后，一次多项式核做出的第一和第二主成分方向正好与圈 3 1 中的相反，二次多项式核做出的第一和第二主成分图也明显的偏向异常点集 图3 3 是给原始数据点分配0 9 的置信度，异常点分配0 1 的置信度，用基于模糊点数据的核 主成分分析得到的主成分图从图3 3 中看到，第一和第二主成分方向基本恢复n t 图3 1 的方 向 室茎奎兰至圭兰堡篁奎垫垫垄：垂重堡塑皇墼童塑圭璧坌坌堑1 8 图3 1 多项式核主成分图 皇茎查兰堡圭兰堡垒窒垫冀堡：茎圭堡塑皇墼堡塑圭些坌坌堑1 9 ：1 ： 图3 2 加入异常点后的多项式核主成分图 童茎奎堂堡圭耋堡垒奎垫垫童；叁垂篓塑；量墼堑塑圭些坌坌堑2 0 图3 3 基于模糊点数据的多项式核主成分图 宁夏大学硕士学位论文 纳艳斧：基于模糊点数据的主成分分析 2 1 例2 采用例1 中的数据点，用高斯核( ，p ) = e x p ( 一；云j ；l l 二) 作核主成分分析 图3 4 是取口2 = 0 5 时做出的核主成分图，左上角的图是在原始数据的基础上用核主成分分 析做出的第一主成分图右上角的图是加入异常点后做出的第一主成分图，从图中看到，第一主 成分的方向变成了一条封闭的曲线左下角的图是给原始数据点分配0 9 的置信度，异常点分配 0 1 的置信度后，用基于模糊点数据的核主成分分析做出的第一主成分图，从图中看到，第一主成 分的方向接近左上角中第一主成分的方向右下角的图是把右上角和左下角的图合在一起做出来 的 图3 4 高斯核主成分 宁夏大学硕士学位论文 纳艳萍：基于模糊点数据的主成分分析 2 2 3 5 本章小结 ( 1 )当数据点的置信度全部取1 时，基于模糊点数据的核主成分分析方法就是一般的核主成 分分析方法所以，基于模糊点数据的核主成分分析是一般核主成分分析的拓展 ( 2 ) 从数值模拟例子可以看出，基于模糊点数据的核主成分分析能够有效地控制异常点对主 成分的影响 ( 3 ) 从例1 和例2 的对比中可以看到，当噪声是高斯噪声时，用高斯核做核主成分分析得到 的非线性主成分，要好于用多项式核做核主成分分析得到的非线性主成分 第四章基于模糊点数据的g p c a g l l i z e dp c a ( 简写g p c a ) 是g n a d i k 于1 9 7 7 年提出的主成分分析的另一个非线性 推广方法我们的想法还是把模糊点数据引入到g p c a 中数值模拟试验表明，本文提出的基于 模糊点数据的g p c a 在一定程度上能有效控制异常点对主成分的影响 4 1g p c a 方法 当数据点呈现出非线性特征时，g p c a 希望确定一个与数据布局近乎一致的非线性坐标系 如果给定这样的一些可能的非线性坐标系则需要从中选择一个坐标使得数据的方差达到最大， 也可以再选择一个与第一个坐标不相关且使得数据的方差达到次大的第二个坐标这就是g p c a 的基本思想 为了清楚解释g p c a 方法，下面举一个二次坐标系的例子 假设x = ( z l ，2 2 ) 是一个原始二维随机向量，目标是寻找一个二次函数 墨= m 卸+ 8 2 霉2 + a 3 x l x 2 + n z i + a 5 x ；( 4 1 1 ) 使得z 的方差达到最大如果令和= z 1 观，扎= z i ，z 5 = z ；，则 一 x + =