（管理科学与工程专业论文）谱主成分分析及其在多指标评价体系中的应用.pdf

中国农业大学博士学位论文摘要 摘要 在主成分分析的基础上，基于协方著平稳过程理论和线性算子谱分析理论，本文提 i j 了 谱主成分分析。首先建立了协方差平稳过程的协方差函数与积分方样中对称正定m e r c e r 核 函数的等价关系，即协方差平稳过程的协方差函数是对称止定m e r c e r 核函数，反过来，对 给定的对称正定核函数，证明了存在协方差平稳过程，使得此协方差平稳过程对应的协方差 函数恰好为给定的对称正定核函数，这说明协方差函数和对称正定核函数是等价的。建立了 谱主成分算法与主成分分析及核主成分分析的关系。 由协方差平稳过程，得到谱主成分分析算法也有类似于主成分分析算法的稳定性和收敛 性。对给定的样本点，由样本点为变量的协方差函数构成的矩阵，当样本点个数趋于无穷大 时，证明此矩阵谱逼近于积分方程正定核的谱逼近定理。谱主成分分析类同丁主成分分析能 过滤数据的噪卢。由协方著函数的统计特征，可给出核函数的参数估计。 如果协方差平稳随机过程的状态是一维的，对给定的样本点，给出了协方差函数的估计 和其对应谱( 密度) 函数估计，而不必选择核函数及其参数。 通过数值例子计算表明：取不同核函数而得到的谱主成分分析，其谱主成分的个数及累 积方差贡献率是有差别的。当选取合适的核函数和参数时，谱主成分的个数比主成分的个数 要小且累积方著贡献率要大。当变量x 的维数n 很大时，谱主成分分析比主成分分析明显 有效。 将谱主成分分析应川丁多指标评价系统中，通过数值例f 分析：主成分分析是通过对各 个主成分加权构造评价函数，当主成分个数不小三个时，从第二个特征向量开始，对方向的 不同选取，可导致评价函数的极大差异；而用谱主成分分析，能做到只取一个谱主成分就可 使方差贡献率大丁9 0 。在作多指标评价中，选用多项式核函数而得到的谱主成分分析， 比主成分分析得到的主成分贝有维数低且精度高的优点；而用g a u s s 核函数和l a p l a c e 核函 数的谱主成分分析，需对原数据作同类别数据间的规范化，其构造的评价函数也优丁用主成 分方法构造的评价函数。但当主成分分析的第一主成分的方差贡献率不小于8 5 时，刚谱 主成分分析雨1 主成分分析所得的评价函数曲线相似。 在m a t l a b 环境f ，谱主成分分析的程序通常在十几条语句左右，数据分析和图表分 析结果容易得到。 关键词：协方若平稳过程，主成分分析，核主成分分析，谱主成分分析多指标评价函数 中国农业大学博士学位论文 a b s i r a c t a b s t r a c t i nt h i st h e s i s ，b a s e do np r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ，c o v a r i a n c es t a t i o n a r yp r o c e s s e sa n d s p e c t r a la n a l y s i st h e o r yo fl i n e a ro p e r a t o r , s p e c t r a lp r i n c i p a lc o m p o n e n ta n a l y s i s ( s p c a ) i sp u tf o r w a r d w ep r o o ft h ec o v a r i a n c ef u n c t i o no fc o v a r i a n c es t a t i o n a r yp r o c e s s e si se q u i v a l e n tw i t hm e r c e rk e r n e l f u n c t i o n t h a ti s ，山ec o v a r i a n c ef u n c t i o no f c o v a r i a n c es t a t i o n a r yp r o c e s s e si sam e r c e rk e m e if u n c t i o n ； i nr e v e r s e ，f o rag i v e nm e r c e rk e r n e lf u n c t i o n ，t h e r ee x i s t sac o v a r i a n c es t a t i o n a r yp r o c e s s e s ，a n dt h e c o v a r i a n c ef u n c t i o nc o r r e s p o n d e dt ot h i sc o v a r i a n c es t a t i o n a r y p r o c e s s e si st h eg i v e ns y m m e t r y p o s i t i v e d e f i n i t ek e r n e if u n c t i o n i tm e a n st h a tt h ec o v a r i a n c ef u n c t i o ni se q u i v a l e n tt os y m m e t r y p o s i t i v e d e f i n i t ek e r n e lf u n c t i o n t h er e l a t i o n s h i po f t h es p c a p c aa n dk p c aa r ee s t a b l i s h e d a c c o r d i n gt ot h ec o v a r i a n c es t a t i o n a r yp r o c e s s e s ，s p c aa r i t h m e t i ca l s oh a sc e r t a i ns t a b i l i t ya n d c o n v e r g e n ts i m i l a rt op c a a r i t h m e t i c f o rt h eg i v e ns a m p l ep o i n t s a n dm a t r i xf o r m e db yc o v a r i a n c e f u n c t i o nw i t hs a m p l ep o i n t sa sp a r a m e t e r s ，w h e nt h en u m b e ro fs a m p l ep o i n t sa p p r o a c h e si n f i n i t e ，i ti s p r o v e nt h a tt h i sm a t r i xs p e c t r u mw i l la p p r o a c ht h es p e c t r a la p p r o a c ht h e o r e mf o rp o s i t i v e d e f i n i t e k a r n e lo fi n t e g r a le q u a t i o n a tt h es a l l l et i m e ，s i m i l a rt op c a ，s p c ac a nf i l t e rd a t an o i s e ，a c c o r d i n gt o t h es t a t i s t i cc h a r a c t e r i s t i co f c o v a r i a n c ef u n c t i o n ，p a r a m e t e re s t i m a t i o nc a nb eg i v e nf o rk e r b e if u n c t i o n i ft h ec o v a r i a n c es t a t i o n a r yp r o c e s s e sa r eo n ed i m e n s i o n ，f o rg i v e nd a t a , e o v a r i a n c ef u n c t i o na n d s p e c t r a ld e n s i t yf u n o t i o nc a nb ee s t i m a t e d a n dt h e r ej sn on e e dt o s e l e c tk e m e lf u n o t i o na n di t s p a r a m e t e r s t h er e s u l t so fn u m e r i c a ic a l c u l a t i o n ss h o wt h a t ：t h en u m b e ro fs p e c t r a lp r i n c i p a lc o m p o n e n ta n d c u m u l a t ev a r i a n c ec o n t r i b u t i o na l ed i f i e r e n ti t sd e p e n d i n go nk e m e if o n e t i o n s s p c aa r i t h m e t i ch a s s m a l l e rn u m b e ro fs p e c t r a lp r i n c i p a lc o m p o n e n t sa n dg r e a t e rv a r i a n c ec o n t r i b u t i o nt h a np c ab y c h o o s i n gp r o p e rk e r n e lf u n c t i o n sa n dp a r a m e t e r s i nt h ec a s eo fh i i 曲d i m e n s i o nd a t a , s p c ai sm o r e e r i e c t i v et h a np c a s p c ai sa p p l i e dt om u l t i - i n d e xe v a l u a t i o ns y s t e m v i an u m e r i cs a m p l ea n a l y s i s i ti sf o u n dt h a t e v a l u a t i o nf u n c t i o n sa r ec o n s t r u c t e db yw e i g h i n gp r i n c i p a lc o m p o n e n t sf o rp c a h o w e v e r , e v a l u a t i o n f u n c t i o n sc a l lb eq u i t ed i f i e r e n tw h e nt h e r ea r em o r et h a nt h r e ep r i n c i p a lc o m p o n e n t sa n dc h a r a c t e r i s t i c v e c t o r so t h e rt h a nf i r s to n ea r ec h o s e ni nd i f i e r e n td i r e c t i o n s f o rs p c a v a r i a n c ec o n t r i b u t i o nc a nb e g r e a t e rt h a n9 0 b ys e l e c t i n gj u s to n ep r i n c i p l ec o m p o n e n t t h e r e f o r e ，s p c ag o t t e nv i as e l e c t i n g p o l y n o m i a lk e r n e lf u n c t i o u si sm o r ea c c u r a t et h a np c ai nm u l t i i n d e xe v a l u a t i o ns y s t e m a n dh a sf e w e t d i m e n s i o n s c o m p a r a t i v e l y , f o rs p c au s i n gg a u s sk e r n e lf u n c t i o na n dl a p l a c ek e r n e lf u n c t i o n , i ti s r e q u i r e dt on o r m a l i z eo r i g i n a ld a t aa c c o r d i n gt ot h ec a t e g o r y , a n dt h ec o n s t r u c t e de v a l u a t i o nf u n c t i o n s a r eb e t t e rt h a nt h eo n e sc o n s t r u c t e dv i au s i n gp c a h o w e v e r , i fv a r i a n c ec o n t r i b u t i o no ff i r s tp r i n t i ! c a l c o m 【p o n e u to f p c ai sm o r et h a n8 5 e v a l u a t i o nf u n c t i o nc u r v e so f s p c aa n dp c a a r es i m i l a r u r i d e r 【a t l a be n v i r o n m e n t , t h ep r o g r a mf o rs p c ao f t e nh a s1 0 2 0s t a t e m e n t sa n dt h er e s u l t s f o rd a t aa n a l y s i sa n dc h a r ta n a l y s i sc a nb eg o r e ne a s i l y k e yw o r d s ： c o v a r i a n c es t a t i o n a r yp r o c e s s e s ，p r i n c i p a lc o m p o n e n ta n a l y s i s , k e r n e lp r i n c i p a l c o m p o n e n ta n a l y s i s ，s p e c t r a lp r i n c i p a lc o m p o n e n ta n a l y s i s ，m u l t i - i n d e xe v a l u a t i o n f u n c t i o n ，k e r n e lf u n c t i o n 独创性声明 辫6 5 8 8 01 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名：芴财盘 时间：一垆年易月珈日 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：。荔，聍耋 ，一时间：o o y 年f 月工。目 导师签名：叩弋糖 时间：k 巾婶年月叫日 1 1 课题背景 1 1 1 课题来源 第l 章绪论 针对府川土成分分析刘多维数据进行降维羽恻多指标或多属性的事物进行评价荆班策n 勺缺 陷：以及埘核主成分分析对多维数据进行阶维中山现的矗：干个需解决的理论问题，提出了谱主成 分分析。课题为白选。 1 1 2 问题的提出 在模式识别，支撑i 句艟机等问题中，给f 个n 维向量空问中的点扛i ，x 2 ，x ，) ，它们或是 n 维欧氏空间m ”中的点或是n 维随机变嚣x 的，个样本位。通常n 较大对其数据f ；| 勺存储以及计 算带来根人的斟难，有时奠至是无法计算。在误著许可的条什f 或在数据信息丢失最少的原则f ， 需对数据份降维域对数据作压缩处理，使其能在低维空间中有效的进行计算、识别雨i 提取特征。 如果能将一个n 维变量有效地降至2 维或3 维的变量，就容易用几何图形形象地表示。 在多指标的评价和决策支持系统中，由丁数据的多维性，1 i 易作n i 正确的判断、评价和决策。 只有将多维数据合理地表示成一维数据，才能对系统作出正确的评价帚l 判断，实际上就是从样本 点 x ，x - ，z ， 出发，找一个多元的实值函数，我们称之为评价函数或决策函数，对变量x 通 过评价函数喊决策函数值的人小进行区分和排序。 主成分分析6 ，2 。1 ( p r i n c i p a lc o m p o n e n t a n a l y s i s 简记为p c a ) 是一种成功的降维和数据压缩方 法，在控制数据信息均方误著的条什r ，将多维变鼙的数据进行线性组合，作中心化和正交化的 变换来达到对高维数据进行降维和压缩处理，当降维斤的数据其维数不超过3 维时，生成分分析 就能使高维数据的可见性成为可能。主成分分析除了降低多变量维数外，同时还简化了变量的其 他统计数宁特征，例如均值、方著、协方著等。另外在数值计算中，可减小数据由噪声产生的误 差。主成分分析一一个成功麻瑁的例子：英国统计学家斯格特f m s c o t t ) 在1 9 6 1 年对15 7 个英 国城镇发展水平进行调商时，原始测量的变量有5 7 个，而通过主成分分析发现，只需5 个新的 综合变量，就叫以以9 5 的精度表示原数据，这样，对问题的研究一卜子从5 7 维降低到5 维。 在决策支持系统理论与方法的研究中，应州主成分分析将高维空间中的信息以及一些更复杂 的现象转换成直观的儿何蚓形便丁：形象判断 l l 珧策；评价系统将多变量系统合成为一个综合指标 进行评价。 现在主成分分析方法已经j 。泛地被应州丁多fj 学科。例如p c a 在图像识别中的应用，将高 维的数据幽像降维；p c a 在神经网络研究中的应用；p c a 在生物学中的基因研究：p c a 与 其它方法( 因子分析法f a c t o ra n a l y s i s ，数据包络分析d a t ae n v e l o p m e n ta n a l y s i s ) 结合应丁多 指标评价和决策支持系统，通常将多变量降维成为单变量或低维变量进行评价或决策。总之对高 维变量进行降维和压缩处理，p c a 趄一种有效的方法。 中【蚓农q k 人学协i 学化沦爻笫i 章缃论 当变量的维数nj h 人时，j | 十成分分析，；需存储n 阶的矩阵，这给存储和计算：带术议人的嘲 难，甚至是无法求解f n ：j i 玖，“1 数据之问。现址仆线4 h 时，个简 的削断法：、j 州父系数矩 阵元素的绝对1 _ 1 1 f 较1 , 1 1 、j ，玳还川1 成分分h i ，1 j ! | j 数州t j 能小观 h 人的误井：垃后，戊分分析 脚川j i 多指标评价系统，粜刈给定的疗苁如猷半6 ，得到的卡成分个数不小丁3 时，堪符具数 据的维数l i 降j ，n 】能还址多“i ：的，3 e j i , l , ；婴注意的：从第2 个特征向媾盯始，呵耿吖：同f 门l j ： 负符号，使得评价雨数不i l f i ；，这就还颁综介j l 他豢才能构造合理的评价函数或决策函数。这 就需婴研究其他的方法术解决以i i 蜘题，然地挺了惮e 性i h 2 分分析( n o n l i n e a rp r i n c i p a l c o m p o n e n ta n a l y s i s ) 方法，简记为n l p c a 。 1 主曲线f p r i n c i p a lc u r v e s ) 方法1 5 , 1 9 , 2 0 , ”i 找非线性数据集xc 吼”剑个低维的线性流形m 上的土曲线 f ：x x c 吖斗f ( x ) = a ( x ) c + c o m m i ne = 0 k 一丑( x ) c c 。i l 2 d f ( x ) j 其中f ( x ) 是n 维随机变量x 的概率分布蛹数，x ( x ) 为实函数，c 平uc o 是待定的向量。 2 主成分分析的推广( g e n e r a l i z a t i o n so f p r i n c i p a lc o m p o n e n t a n a l y s i s ) 瓯2 6 2 7 ，3 町 ( 1 ) 类似于主成分分析，取非线性函数g 。求 “，- a r g m a x e g ( u t x ) 2 】， “- 2a r g p r l h l a ) x ：。e 【g ( “x ) 2 ，f = 1 ，2 ，_ ，一1 其中a r g m a x f ( u ) = 缸：f ( u 。) ， ) ，v u d ，3 u o d ，d 为变姑“定义域。 g 函数的取法： ( a ) 取为随机变量y = “7x 的概率密度函数g ( y ) ( b ) 取随机变量y = “7x 的熵函数( e n 仰p yf u n c t i o n ) g ( y ) = 一f ( y ) l o gf ( y ) d y 其中f ( y ) 是随机变量y = “x 的概率密度函数。 ( i 2 ) ( 1 3 ) ( 1 4 ) ( 2 ) 非线性交叉相关( c r o s s c o r r e l a t i o n s ) 函数 e g l ( y ，) g2 ( y ，) ( 1 5 ) 为元素构成的矩阵b ，b 类似丁p c a 中的协方差矩阵e x x 7 其中y 1 , y ，f ，j = 1 , 2 ，r 是相 互独立的随机变量，g ，g ：是选合适的非线性函数。 ( 3 ) 独立成分分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 2 主里坐些查兰! 兰圭兰竺生兰! 。，。，。，。，。，。，。，丝占i ：! ! ! 堑垒 独立主成分：类似于主成分分析方法，用冈素分析( f a c t o r a n a l y s i s ) 法 z = a s 其中工是n 维随机变量( 观察剖的变姑) ，a 是n xr 阶矩阵，s 为r 维的滞在变越 量) ，需满足的条件s ，= i ，2 ，r 是线性相互独立的，它等价1 ：a 是列满秩。 主成分分析推广：将独立主成分修正为 x = g ( s ) 其中g 为1 f 线性函数，s 的要求与独托生成分的要求相同。 3 核主成分分析( k e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i s ) ，简记为k p c a 憾4 9 5 1 5 5 将输入窀问u c9 1 ”映射到特征空间f 中 痧：工u c 9 1 ” ( x ) f ( 1 6 ) ( 焉要求的变 ( 1 7 ) r i _ 8 1 其州功娟旃，y f = 坝加p 槲卟孵，莩球m 净n 维 欧氏空间或为h i l b e r t 空间。 形式上类似f m ”卜作主成分分析，在f 上用主成分分析。 4 谱主成分分析( s p e c t r a lp r i n c i p a lc o m p o n e n t a n a l y s i s ) ( 本文提出) 对虑随机变量x ，存在可洲函数f ，使得厂( x ) 是协方差平稳过程，其对应的协方差函数为 r ( x ，y ) ；反之如果给定对称j l j 定函数r ( x ，y ) ，则存在协方差平稳过程，( x ) ，使其协方差函数 恰为r ( x ，y ) 。应用协方茬平稳过程、h i l b e r t 和核积分方程谱展开理论，建立谱主成分分析。主 要解决的润题： ( 1 ) 给出1 维协方差平稳过程 x ( r ) ；f 丁 的协方著函数r ( s ，t ) 的谱表示；根据给定的样本点 西l ，z 2 ，x f ) 估计协方差函数r ( s ，t ) ；时间序列分析的统计应用。 ( 2 ) 对n 维随机变量，证明存在协方差平稳过程f ( x ) ，其中f 是多元实值函数，f ( x ) 的 胁方差函数为r ( x ，y ) ；由积分方程理论建立r ( x ，y ) 的展开式和谱表示定义；给出谱主成分分析 盼逼近定理：给出了协方著函数r ( x ，y ) 及对应参数的选择方法，通过数值例子说明其效果。 ( 3 ) 给出谱主成分分析与主成分分析和核主成分分析之间的关系和比较它们之间的结果。 ( 4 ) 用谱主成分分析建立评价函数和决策函数，在中国单列城市经济评价中的应用及与主成 分分析和核土成分分析的数值结果进行比较。 1 - 2 国内外相关领域的研究现状 1 2 1 国外相关领域的研究现状 主成分分析p c a ”，”l ，也称k a r h u n e n l 0 6 v e 变换是多元统计的一部分重要内容。p c a 主要 中圜农业人学博 学位论文 第l 辛绪论 是进行数据线性压缩、降维、过滤数据的噪卢等，它具有坚实的理论基础和比较有效的算法，且 其算法具有的收敛性午稳定性p 1 3 , 3 7 , 3 9 , 6 5 , “1 。p c a 算法已经成功地开发成多类麻州软件，如在 m a t l a b ，s a s 和s p s s 等软什r i 都可直接使h j 。 现在土成分分析方法已经广泛地铍应刚r 多个学科，例如p c a 存图像识别中的赢川”，”， ”l ，将高维的数据图像降维；p c a 成功地应川1 。神经网络研究中1 2 6 13 7 , 4 5 , “i ：p c a 戍川丁牛物 学中的基冈研究”“；p c a 与其它方法( r 分析法f a c t o ra n a l y s i s 或数据包络分析d a t a e n v e l o p m e n ta n a l y s i s ) 结合成h jj ：评价和决策支持系统i l 4 1 1 ”1 “l ，将多变姑降维成为单变姑或低维 变鲑进行评价或决策以及其它麻_ l | j ”“2 2 , 5 8 1 0 总之对高维变蛀进行降维处理，p c a 是一种较有效 的办法。但当变量的维数n 很大时，_ l f = | 土成分分析，存储羊i 算就有很人的凼难，其至是无法求 解的；其次，当数据呈现是非线性时，如果还川主成分分析，则数据可能现很人的误筹，这就 使得人”j 需要提出其他的非线性主成分分析方法加以解决。 基丁p c a 的局限性，t h a s t i e 1 9 1 在1 9 8 4 年的博士论文中，首先提出主曲线( p r i n c i p a lc u r v e s ) 方法；阻后由t h a s t i e 和ws t u e t z l e i z q 存1 9 8 9 继续t h a s t i e 以前的t 作和提出其他的的算法；m a k r a m e r i ”jq - 1 9 9 1 ，主要通过建立主曲线的长度、光滑性和自适应性的约束条件构造主曲线 算法；d d o n g 等i j “和t d u c h a m p 等t ”进一步讨论主曲线的极点性质，方法和算法。主曲线算法 人多是启发性算法，在程序开发和应用中有奇异的效果，但对算法的收敛性和稳定性方面讨论不 多见。 在非线性p c a 的研究领域中，尤其要提到的是j k a r h u n e n 和e ，o j a 的工作，j k a r h u n e n 是最早提出p c a 方法的人之一；e o j a 等首先给山了p c a 的随机逼近算法和算法的稳定性和收 敛性证明【2 4 3 9 , 3 7 j k a r h u n e n 和e o j a 开创了独立主成分分析( i n d e p e n d e n tc o m p o n e n t a n a l y s i s ) 和主成分分析的非线性推广等研究领域。到现在为i j ，独立主成分分析( i c a ) 和主成分分析的 推广( g p c a ) 口5 ，2 6 , 2 7 , 3 7 , ”1 的理论研究，算法及席用领域的研究已是一个热门的研究领域，以 j k a r h u n e n 和e o j a 为首的等一批学者在芬兰建立了关于i c a 和g p c a 的研究所。 v v a p n i k ”1 ”l 于1 9 9 5 年雨j1 9 9 8 先后出版了两本专著t h en a t u r eo f s t a t i s t i c a ll e a r n i n g t h e o r y 和。s t a t i s t i c a l l e a r n i n gt h e o r y 。开辟了统计学习理论这一学科的新领域支撑向量机 方法( s u p p o r t v e e r o r m a c h i n e s ) 简记为s v m l 7 ，1 0 , 5 2 , 5 3 , 5 9 ，6 ，7 5 1 的研究。s v m 钧重要的理论基础为 核函数( k e r n e lf u n c t i o n ) 1 0 ，5 2 ，5 9 ，6 ，7 ”，特征空间( f e a t u r es p a c e ) 的h i l b e r t 理论0 3 ，7 2 】和再生核的 h i l b e r t 理论【1 0 1 。b ，s c h o l k o p f 于1 9 9 8 年首次将p c a 应用于特征空间( f e a t u r es p a c e ) ，开辟了一 个全新方法核主成分分析( k e m e lp r i n c i p a lc o m p o n e n t a n a l y s i s ) 方法，简记为k p c a 。k p c a 在人像识别，图像识别，手写邮政编码识别等”7 ，4 8 ，4 9 ，5 1 ，5 9 ，“1 具有很好的效果到目前为j tk p c a 已经成为一热fj 的研究课题。 针对k p c a 中一些需要解决的问题，根据协方差平稳过程阻”4 2 ，“7 “、积分方程谱分析和 h i l b e r t 空间理论阻”1 ，本文提出谱主成分分析以及在多指标评价体系中的应用。 1 2 2 国内相关领域的研究现状 受v v a p n i k1 9 9 8 的专著s t a t i s t i c a l l e a r n i n g t h e o r y 的影响，从1 9 9 8 年后，国内陆续有从 事支持向量机( s u p p o r tv e c t o rm a c h i n e s 简记为s v m ) 研究的学者。清华大学的张学工教授是国 内最早从事s v m 研究的学者之一，他首先将v v a p n i k 的专著p ”以中文的方式介绍给国内的读 者。 从2 0 0 0 年秋开始，邓乃扬教授陆续主持了关t - s v m 和优化算法的讨论班：a ni n t r o d u c t i o n t os u p p o r tv e c t o rm a c h i n e s ：a d v a n c e si nk e m e lm e t h o d s - s u p p o r tv e c t o rl e a f i n g ”1 ；l i n e a r a n dn o n l i n e a rp r o g r a m m i n g p 6 】和其他相关文献的讨论，同时得到一些很有价值的结论和有效的 算法，邓教授于2 0 0 4 年六月，由科学出版社出版数据挖掘中的新方法一一支持向量机1 0 1 * 4 目前，国内学者刘s v m 羽lk p c a 的f j | = 究还处丁发展阶段对其他的1 r 线性主成分分析研究 文献鲜有她到，但对s v m 剧k p c a 仃模识! l j i i 、分类、同门等力阿研究和廊川也有成效的a 1 3 研究谱主成分分析的目的和意义 1 1 3 1 研究谱主成分分析的日的 北线性土成分力法：川n 线：独垃成分分析：1 j 成分分析的推j 和k p c a 方法n ：处理实际问 题r p ，人多郁给山了很巧妙的贸法利得剑不错的结果仉是在理论h 没有能蟛得到象p c a 算 法所具仃的贸法稳定性年 l 收敛* 1 二的结论。在理沦i ：这都钶i 进一步的1 j f 究象l 完善，在算法上也斋进 一步的开发。 提出谱茂分分析的“的：t 婪为解决和研究如f 汹题 1 k p c a 的理论基础是核函数理论和h i l b e r t 理论，其讨论问题：对给定的样本点x 1 ，工2 ，z ，j ， 在高维特征( f e a t u r e ) 空问中的映射劫( x ) ，妒( 艺) ，垆( _ ) ，在扣( 一) ，妒( x ：) ，妒( ，) 生成 的流形h 戍川土成分分析方法，m h i 是在粘个像空f qf 上作土成分分析。其中 r1r = 妒：窆唧( 一) ，雌m ，f = 妒( x ) ：妒( x ) = 哪m 雌蜩，口? s t ，我们考虑协方差，如果满足 e ( x ( t ) 一m ) ( x ( s ) m ) 】= e 【( x ( t s ) - m ) ( x ( 0 ) 一m ) 】 即右边仅依赖于时间差t s 如此我们定义协方差函数为 r ( h ) = e ( x ( h ) 一1 1 1 ) ( x ( 0 ) - m ) 】，( 2 1 ) 或 e 【( x ( t ) - m ) ( x ( s ) 一m ) 】= r ( 1 t s 1 ) ( 2 2 ) 定义2 2 实随机过程 x ( nt et ) ，若其均值e x ( t ) 】是常数m ，二阶原点矩存在，且协方著 函数e 【( x ( t ) m ) ( x ( s ) 一m ) 仪依赖于时间差i t - s l ，则称此随机过程为协方差平稳过程。 平稳过程是协方差平稳过程，反之不然。在有些文献中，称平稳过程是强平稳过程，称协方 差平稳过程是弱平稳过程。 8 r 矗 。 中国农业人学博j ：学位论文 鼐2 章，f 稳过程度其施用 以r 只对状态是一维的实协打筹平稳过科定义。在通讯领域中，常j l j 是复随机过程，对复协 方荠平稳过聃! 可类似如r 定义 r ( 1 ，一，1 ) = q ( ( ，) 一啪) ( ( n ) 一) 】 其中x ( t ) 为复随机过程x u ) 的足轭。 注2 1 ：在定义2 2 叶1 ，特参数集是多维欧氏空问，孙方筹函数l j ( 2 1 ) 和( 2 2 ) 形式上相h ，其中 时间筹i t - s l 表示为范数，记为忙s 将定义2 2 推j 1 到刚间参数集是一维状态娃k 维欧氏空间的随机过程x ( t ) = ( x 1 ( t ) ，x 2 ( t ) ， ，x k ( 1 ) ) ，如粜m = e 【x ( t ) 】是k 维列常向量，he 【x ( t ) x ( t ) 存在，协方差函数的矩阵如r 定义 e 【( x ( t