（控制理论与控制工程专业论文）基于储备池方法的多变量序列预测建模研究.pdf

大连理工大学硕士学位论文 摘要 复杂系统常呈现出高度非线性和多变量的特征，对其进行预测建模较为困难。支持 向量机和神经网络是最为常用的建模方法，然而，目前预测模型的研究对象往往为单变 量序列或线性系统，缺乏对复杂多变量序列的有效处理方法。储备池方法具有独特的非 线性处理机制，在单变量序列预测中表现出卓越的性能。近年来，国内外学者对储备池 方法展开了广泛的研究，取得了一定成果。但是，在利用储备池对复杂多变量序列进行 预测处理方面，涉及的较少。此外，如何结合储备池自身的非线性处理机制，对其学习 算法进行完善，也是一个值得深入研究的领域。基于此，本文将重点集中在如何利用储 备池方法对多变量序列进行预测建模和储备池机器学习方法的改进之上。 多变量序列往往表现为高维、非线性、冗余度大等特征，直接对其进行预测处理往 往导致预测模型复杂、预测精度较低的问题。储备池方法能够将原始空间的非线性特征 映射为至高维储备池空间中，使之转换为储备池空间的线性特征。将复杂多变量序列映 射至高维储备池空间，使得复杂序列的非线性部分在储备池内部被处理，这就解决的了 非常棘手的非线性问题。然后，将多元统计知识运用于高维储备池空间上。这样，一方 面解决了多元序列相关性强、冗余度大的难题，简化了预测模型复杂度；另一方面将经 典的多元统计方法的应用范围从线性扩展到非线性，提出了一种新的非线性多元统计方 法。又因为多变量序列往往表现为高维数，大样本量的数据形式，实际应用中，在线预 报方法更为实用有效。在储备池学习机制基础之上，提出一种新的自适应在线预报方法。 它将k a l m a n 滤波应用于储备池高维状态空间中，直接对网络的输出权值进行在线更新， 省去了传统递归网络扩展k a l m a n 滤波中j a c o b i a n 矩阵的计算，在提高预测精度的同时 令算法的适用范围得到扩展。此外，考虑到训练样本中奇异点的存在会对预测模型产生 较大的影响，引入鲁棒损失函数，并将线性回归技术运用于储备池空间中，使得储备池 方法具有更好的鲁棒性能。为验证本文所提方法的有效性，分别将其应用于数值模拟产 生的多变量混沌时间序列、实际水文领域观测获得的多变量时间序列和标准数据的仿真 试验中，结果表明本文所提的方法能够有效提高多变量序列的预测精度，揭示复杂系统 的动态特性。 关键词：储备池；核方法；非线性；多变量；预测 基于储备池方法的多变量序列预测建模研究 r e s e a r c ho np r e d i c t i v em o d e l i n gf o rm u l t i v a r i a t es e r i e sb a s e do n r e s e r v o i rm e t h o d a b s t r a c t c o m p l e xs y s t e m sa l w a y sp e r f o r mh i g h l yn o n l i n e a ra n dm u l t i v a r i a b l e ，w h i c hi n d u c e st h e d i m c u l to ft h ep r e d i c t i v em o d e l i n g s u p p o r tv e c t o rm a c h i n e sa n dn e u r a ln e t w o r k sa r et h e m o s tc o n l m o nm o d e l i n gm e t h o d h o w e v e r , t h em a i nm o d e l i n go b j e c t sa r eo f t e nu n i v a r i a t e s e r i e so rl i n e a rs y s t e m sa n dl a c ko fe f f e c t i v em e t h o d st oa d d r e s sc o m p l e xm u l t i v a r i a t es e r i e s t h er e s e r v o i rm e t h o d sh a v eau n i q u en o n l i n e a rp r o c e s s i n gm e c h a n i s ma n dh a v ea c h i e v e d e x c e l l e n tp e r f o r m a n c ei nu n i v a r i a t es e r i e sp r e d i c t i o n i nr e c e n ty e a r s ，m a n ys c h o l a r sa th o m e a n da b r o a dh a v ec a r r i e do u te x t e n s i v er e s e a r c ho nr e s e r v o i rm e t h o d sa n dm a d es o m e a c h i e v e m e n t s h o w e v e r ，r e s e r v o i rm e t h o d s a r er a r e l yu s e dt o p r e d i c tt h ec o m p l e x m u l t i v a r i a b l es e r i e s i na d d i t i o n ，h o wt ou t i l i z et h en o n l i n e a rp r o c e s s i n gm e c h a n i s mo f r e s e r v o i r st oi m p r o v et h er e s e r v o i rl e a r n i n ga l g o r i t h m si sa l s ow o r t h yo ff u r t h e rs t u d y b a s e d o nt h ea b o v eo b s e r v a t i o n s ，t h i sd i s s e r t a t i o nw i l lf o c u so nh o wt op r e d i c tm u l t i v a r i a t es e r i e sb y r e s e r v o i rm e t h o da n dh o wt oi m p r o v et h er e s e r v o i rl e a r n i n ga l g o r i t h m s m u l t i v a r i a t es e r i e sa l e a l w a y sh i g h - d i m e n s i o n , n o i l l i n e a ra n dh i 吐r e d u n d a n t t h e d i r e c t l yp r e d i c t i v em o d e l i n ga l w a y sm a k e st h ep r e d i c t i o nm o d e l sc o m p l e xa n dp r e d i c t i o n a c c u r a c yl o w r e s e r v o i rm e t h o d sc a nt r a n s l a t et h en o n l i n e a rf e a t u r e si nt h eo r i g i n a ls p a c et o l i n e a rf e a t u r e si nt h eh i g h - d i m e n s i o nr e s e r v o i rs t a t es p a c e t l l et r o u b l e s o m en o n l i n e a rp a r to f c o m p l e xm u l t i v a r i a t es e r i e sc a nb ea d d r e s s e dw i t h i nt h er e s e r v o i rb ym a p p i n gt h e mt o h i g h - d i m e n s i o n a lr e s e r v o i rs p a c e t h e n , t h em u l t i v a r i a t es t a t i s t i c a lm e t h o d sa r ep e r f o r m e do i l m a p p e dd a t ai nr e s e r v o i rs p a c e o n eh a n d ，t h es t r o n gc o r r e l a t i o na n dh i g hr e d u n d a n c y p r o b l e m so fm u l t i v a r i a t es e r i e sa r es e t t l e d o nt h eo t h e rh a n d , t h ea p p l i c a t i o n so ft h ec l a s s i c a l m u l t i v a r i a t es t a t i s t i c a lm e t h o d sa r ee x t e n d e df r o ml i n e a rs y s t e m st on o n l i n e a rs y s t e m sa n dt h e n e wn o n l i n e a rm u l t i v a r i a t es t a t i s t i c a lm e t h o d sa r ep r o p o s e d m o r e o v e r , t h em u l t i v a r i a t es e r i e s i sa l w a y sh i 曲d i m e n s i o na n dl a r g es a m p l es i z e o n - l i n ep r e d i c t i v em e t h o d sa r em o r e p r a c t i c a la n de f f e c t i v ei np r a c t i c a la p p l i c a t i o n st h a no f f l i n em e t h o d s an o v e la d a p t i v eo i l l i n e p r e d i c t i o nm e t h o di sp r o p o s e db a s e do nt h er e s e r v o i rm e c h a n i s m i tp e r f o r m st h ek fi nt h e h i g h - d i m e n s i o nr e s e r v o i rs t a t es p a c ea n dt h er e s e r v o i ro u t p u tw e i g h t sc o u l db eo n l i n eu p d a t e d c o m p a r e dw i t ht h ee x p a n d e dk f ( e k f ) a l g o r i t h mo ft r a d i t i o n a lr e c u r r e n tn e u r a ln e t w o r k s 偎n ，t h em e t h o dh e r eo f f e r sac o n v e n i e n ti m p l e m e n t a t i o nw i t h o u tt h ec o m p u t a t i o no f j a c o b i a nm a t r i c e s ，w h i c hl e a d st oa l l i m p r o v e dp r e d i c t i o na c c u r a c ya n dm o r eb r o a d i i 大连理工大学硕士学位论文 a p p l i c a t i o n s m e a n w h i l e ，t h ee x i s t e n c eo f o u t l i e r si nt r a i n i n gs a m p l e sh a st h ea d v e r s ee f f e c t s o np r e d i c t i o nm o d e l s a c c o r d i n g l y , t h er o b u s tl o s sf u n c t i o n sa r ea d o p t e da n dt h el i n e a r r e g r e s s i o nt e c h n i q u e sa l ea p p l i e di n t h er e s e r v o i rs p a c et oi m p r o v et h er o b u s t n e s so ft h e r e s e r v o i rm e t h o d i no r d e rt od e m o n s t r a t et h ev a l i d i t yo ft h ep r o p o s e dm e t h o d sa b o v e ，a l l m e t h o d sh a v eb e e nu s e di ns i m u l a t i o ne x a m p l e s ( m u l t i v a r i a t ec h a o t i ct i m es e r i e sg e n e r a t e db y m a n u a ln u m e r i c a ls i m u l a t i o n ，t h ea c t u a lh y d r o l o g i c a lm u l t i v a r i a t eo b s e r v m i o n sa n dt h e b e n c h m a r kd a t as e t s ) t h er e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o d sc a i le f f e c t i v e l yi m p r o v et h e p r e d i c t i o na c c u r a c yo fm u l t i v a r i a t es e r i e s a n dr e v e a lt h ed y n a m i cc h a r a c t e r i s t i co ft h e c o m p l e xs y s t e m k e yw o r d s ：r e s e r v o i r ；k e m e lm e t h o d ；n o n l i n e a r ；m u l t i v a r i a t e ；p r e d i c t i o n i i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：建型监王丝盗丝丝避壶邀之蚴我 作者签名： 衄捣日期：也丛年月上日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部f - j 或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：墓鱼丛逮盘z 丝立主叁鱼垂凿毒主! 陋j ! 坠：j 遘蹙研亮 作者签名： 薹巫煎日期：理应年上月么日 导师签名： 鞋 硷 日期：趔曼年皇月上日 大连理工大学硕士学位论文 l绪论 实际系统往往表现出多变量的复杂特性，基于多变量序列的预测研究对更好地认识 世界具有重要的作用。在多变量序列中，任一分量的演化都是由与之相互作用的其它分 量决定的，这就使得多变量预测较单变量相比，预测模型结构更复杂，预测精度较差。 如何精简模型，节省计算成本，是多变量序列预测建模的重要因素。针对上述问题，本 文主张结合多变量序列自身的特点，应用储备池方法对其进行预测建模。本章首先阐述 论文的研究背景及意义，然后对多变量序列预测和储备池方法的研究进展及现状进行简 要介绍。最后简要说明本文的主要研究内容和组织框架。 1 1 课题研究背景及意义： 近年来，非线性科学得到了快速发展。实际工程领域里，常常需要面临大量复杂且 无法直接建立解析数学模型的非线性系统。通过实验或观测可以获得蕴含这些非线性系 统演化信息的数据序列。从复杂性理论可知，数据序列中不仅包含了系统所有变量过去 的信息，而且还包含了参与系统演化的所有变量的大量信息，因此分析观测系统数据序 列的演变规律是掌握系统动力学特性的重要手段之一【卜2 1 。 在现实世界中，被观测的复杂系统往往是由多个变量描述，通过试验或者观测都可以 获得多变量序列。理论上多变量序列比单变量序列包含了更多关于原系统的信息【3 卅，采 用多变量序列可以更真实的构建系统模型。同时，实际问题中观测到的数据序列可能不是 很长，较短的多变量序列也能弥补单变量序列信息量不足的缺点，因此多变量序列的分析 与预测是一个具有实际意义的研究领域。 然而，由于多变量序列自身的复杂性和内部序列间具有较强的相关性，直接对其进 行研究存在一定难度，目前的研究仍主要是针对单变量序列，特别是单变量时间序列进 行的，基于多变量序列的研究往往是单变量序列预测研究的推广或在其基础之上进行的 改进【5 羽。因此，在探讨多变量序列预测之前，首先对单变量时间序列的预测研究进行 相应的介绍。 时间序列预测是用事物过去和现在的观测数据，构造依时间变化的序列模型，并借 助一定的规则推测未来，是预测领域的重要组成部分】【卜1 0 】。目前有关时间序列的建模和 预测研究的基本思路是根据观测数据，重构系统相空洲1 1 j2 1 ，然后采用适当的建模方法 在相空间中找到一个非线性模型去逼近系统动态特性，实现一定时期内的预测。根据延 迟嵌入定理，只要嵌入维数足够大，单变量时间序列足以重构原动力系统，也可以取得 较理想的预测效果。在一些前期的研究中，相关学者对单变量混沌时间序列的建模预测 基于储备池方法的多变量序列预测建模研究 进行了深入学习和探讨，采用扩展卡尔曼滤波和神经网络等方法，构建精确的预测模型， 可以很好地反映混沌系统的动态特性，具有较高的预测精度。 然而，复杂系统往往由多个变量描述，无法保证实际问题中任何给定的单变量时间 序列都足以重构原系统。例如，l o r e n z 方程中x 换成叫，y 换成- y ，z 不变时方程仍成立， 即由z 坐标不能分瓤，y 坐标的对称性，因而z 坐标的测量就不能重构l o r e n z 动力系统【1 3 】。 多变量时间序列包含了关于原动力系统更丰富更完整的系统信息，可以起到过滤噪声， 提高预测质量的作用【1 4 1 。在大多数情况下，特别是系统含有噪声的时候，使用多变量时 间序列来进行预测要比使用单变量时间序列更为理想。对复杂非线性系统进行研究最主 要的任务之一就是通过提取和学习多个变量序列中包含的信息，构建能够体现多组序列 内部关系的模型结构，以便深入掌握复杂系统的动态特性，进行有效地分析和预测【l5 1 。 因此，基于多变量时间序列的预测研究得到越来越多的关注。 同时，由于多变量时间序列之间相互影响、相互作用的特性，某两个变量的时间序 列之间可能是相互依赖的，或者说两个变量序列可能反映的是复杂系统的同一特征，那 么这两个变量的时间序列只需考虑其中一个即可，否则会导致信息的冗余并增加计算的 复杂程度【】。因此，当通过观测或实验手段获得实际问题中复杂系统的多变量时间序列 后，首先需要研究的问题是这些变量之间是否存在某种依赖关系。如果某一变量时间序 列依赖于另外一些变量，则在预测建模过程中可以去掉，这样逐一处理后可得到一组相 互独立的多变量时间序列【1 6 j 。 本文综合考虑多变量序列输入的选择以及预测模型构建两方面的问题，力图充分挖 掘多变量数据中的信息，有效选择输入变量，降低输入变量维数，以简化模型结构，建 立更加适用于多元时间序列的精确预测模型。同时，考虑到对多变量序列的整体处理， 容易引起计算复杂度大，数据预处理困难的问题，本文探索新的适用于复杂序列分析处 理的在线预测算法，这些研究具有十分重要的理论价值和现实意义。 1 2 多变量序列预测的研究现状及主要方法 单变量时间序列的预测方法大部分可以通过某种转化应用于多变量时间序列。经过 二十多年的不懈努力，人们己经就多变量时间序列的可预测性与预测方法、预测模型等 进行了大量的研究，取得了许多重要的理论和应用研究成果，而单变量时间序列的预测 可以作为多变量时间序列预测的特例兰1 ) 处理。 同单变量时间序列预测方法一样，按照选用的数学模型不同，现有的多变量时间序 列预测方法也可以分为全局预测方法、局域预测方法与自适应预测方法三类： 大连理工大学硕士学位论文 ( 1 ) 多变量时间序列的全局预测方法：全局预测方法的基本思想是用重构相空间中 的所有状态点拟合出一个光滑函数作为预测模型，由此预测轨迹的走向。全局预测方法 在概念上很容易理解，但是实现并不容易，尤其当拟合的非线性映射比较复杂时。全局 预测方法通常可分为全局多项式建模预测以及神经网络建模预测等。 全局多项式建模预测方法【1 7 19 】：当相空间维数较低时，可以采用高阶多项式进 行全局逼近。根据w e i e r s t r a s s 定理，对任意定义在有界闭区间的连续函数，总可以用一 个多项式来逼近，且当多项式阶数趋于无穷时两者之间误差渐近为零。这就在数学上保 证了该方法的可行性。但是当维数较高时，用高阶多项式拟合重构相空间轨迹的计算量 很大，并且预测精度会迅速下降，因此全局多项式方法不适合实际应用。 神经网络预测方澍2 0 埘】：神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是非线性系 统逼近和建模的有效工具，不仅具有强大的非线性映射能力，还具有建模容易、预测速 度快、自适应调整能力强等许多优点，特别适合于处理非线性现象。对于复杂的多变量 时间序列，神经网络方法只需较少的统计学知识即可得到很好的结果。因此，神经网络 为高度非线性动态关系的混沌时间序列预测提供了一条有效途径。借助于神经网络建立 多变量系统的预测模型已经成为现今的热点研究问题之一。 ( 2 ) 多变量时间序列的局域预测方法：局部预测方法认为相空间中某一点的演化行 为可由其邻近点的演化行为反映出来，即在相空间中寻找预测点的最邻近点，只利用被 预测点邻域内其它点的信息来拟合预测函数，且不同的预测点处预测函数是不一样的。 常用的局域预测法包括局部平均预测法、局部线性预测法、局部多项式预测法等。 局部平均预测方法【2 5 】：局部平均预测方法的基本思想是在相点x ( t ) 附近寻找 个最近邻点x ( ) ，x ( t 2 ) ，x ( t n ) 。如果系统是确定性的，则当x ( t ) 靠近于x ( ) ， a = 1 ，2 ，加时，x ( t + 1 ) 也靠近于x ( + 1 ) ，因此以x ( + 1 ) ，x ( t 2 + 1 ) ，x ( t s + 1 ) 的平均值作为x ( t + 1 ) 的预测值。局部平均预测算法中，在找到中心点的邻域后，并不 考虑邻域中各点与中心点之间的空间距离对其预测的影响。但是，相空间中各点与中心 点之间的空间距离是一个非常重要的参数，预测的准确性，往往取决于与中心点的空间 距离最近的几个点。因此，将中心点的空间距离作为一个拟合参数引入预测过程中，在 一定程度上可以提高预测的精度，并有一定的降噪能力。 局部线性预测方法【2 6 】：所谓局部线性近似是指以x ( t + 1 ) = 口+ b x ( t ) 来拟合第t 点周围的小邻域，并用最d x - - 乘法求出参数口和b ，得到相空间中轨迹的趋势，再从 x ( t + 1 ) 中分离出预测值。在此过程中有一个显而易见的问题是如何确定参考点的个数 ，参考点太多会影响预测的效果，通常选n m + l ，m 为嵌入维数。 基于储备池方法的多变量序列预测建模研究 局部多项式预测方法 2 7 - 2 9 】：单变量时间序列局部多项式预测方法是由f a r m e r 等 人给出的，选用的映射为高阶多项式，其系数采用最近邻域点拟合。i t o h 给出了确定多 项式阶数的方法，能够得到比局部平均和局部线性预测法更好的预测结果。在此基础上， 王海燕等人将单变量混沌时间序列预测的局部多项式预测方法推广到了多变量情形，提 出了多变量时间序列的局部多项式预测模型。 局域预测法的优点在于其预测值的计算量较少，且每隔一个时间段就构造出一些新 的状态矢量，对实际的变化具有很强的适应能力。但是这种方法只反映了吸引子的局部 特性，一旦超出相应的区域范围，局部模型的精度便会下降，甚至完全失效。 ( 3 ) 自适应预测方法【3 m 3 2 】：自适应预测是动态调整模型参数的一种方式，根据当前 获得的数据和当前的预测误差来不断修正模型参数，适用于已知数据不完整或实际物理 系统具有时变特性的情况。时间序列的自适应预测方法是在近年内发展起来的一种预测 方法。该方法只需要很少的训练样本就能对时间序列做出很好的预测，适合小数据量的 情况，便于实际应用。并且该方法能自适应地跟踪混沌的运动轨迹，预测精度较高，但 对算法的跟踪辨识和实时递推能力要求较高。 尽管多变量序列预测相比于单变量序列预测更能真实反映系统的实际状况，已经得 到越来越多研究学者的关注。但是，由于多变量序列自身的特点限制了传统预测方法的 应用，需要研究新的方法途径。此外，目前对多变量时间序列的预测大都是在多元相空 间重构方法基础上进行的，将每个单变量时间序列作为独立成分处理。而多变量序列之 间的相互影响关系是十分复杂的，如果忽略其内部关系简单的进行处理，对预测精度会 有很大的影响。因此，对于多变量时间序列的预测研究，如何有效地选择输入变量也是 一个重要问题。 1 3 储备池机器学习方法 近几年来，以德国学者j a e g e r 为首的学者回声状态网络网络( e s n ，e c h os t a t e n e t w o r k ) 进行y 广泛的研究【3 孓3 6 1 ，取得了较丰富的研究成果。e s n 与流体状态机( l s m ， l i q u i ds t a t em a c h i n e ) t 3 7 3 8 1 、极限学习机( e l m ，e x t r e ml e a r n i n gm a c h i n e ) t 3 9 啦】机理上相 似，都是通过一个固定权值的储备池来进行运算，网络训练的结果是求取储备池至输出 间的连接权值。自2 0 0 4 年，s c i e n c e 杂志对e s n 网络进行报道以来，储备池方法的研究 引起更多学者的关注【3 5 】，本文将主要以e s n 网络为例对储备池学习方法进行研究探讨。 j a e g e rh ，p r o k h o r o vd 和p r i n c i p e jc 对现有的储备池方法进行了讨论，一方面认定了其 4 - 大连理工大学硕士学位论文 在实际工程应用中的作用，另外也对当前研究所存在的共性的问题进行了深入探讨【4 3 1 。 目前，对储备池方法的研究主要集中在以下三个方面： 1 ) 网络学习算法的研究【删：计算储备池至输出间的连接权值，这是目前研究时间较 长、成果较多，研究最为活跃的领域。 2 ) 超参数设置对网络性能影响的研究【4 5 】：这里的参数既包括网络的输入输出参数， 如输入归一化程度，正则项系数的选取，有包括与储备池自身结构直接相关的储备池容 量，谱半径选择，系数度等。 3 ) 网络结构研究【4 6 - 4 7 ：通过改进网络结构，来改善网络状态，开启了e s n 网络研究 的新领域，具有广阔的研究前景。 表1 1 储备池方法主要学习算法 t a b 1 1m a i nl e a r n i n ga l g o r i t h m so fe s n e s n 的输出权值训练方法有伪逆方法、岭回归方法和s v e s m s l 4 8 ( s u p p o r tv e c t o r e c h os t a t em a c h i n e s ) 模型的s m o 算法等，具体算法介绍见表1 1 。其中，伪逆方法是最 原始的方法，求解输出权值时使用线性回归算法，容易产生不稳定线性 4 4 1 。特别的当样 本训练个数小于输出权值维数时，无论噪声的幅值取多少，e s n 的解必为奇异的，在实 际中应用较少。岭回归方法借助于正则项的添加消除原线性回归方程中出现的病态问 题，从而提升回声状态网络解的性质。即使训练样本个数小于输出权值维数，岭回归方 法也能可靠地工作，解决了方程病态解的问题，使e s n 在维持速度不降的前提下，稳 定性、精度得到提高。j a e g e r 等人指出在状态变量上加入噪声可以改变矩阵的性质，从 而改善原伪逆方法中解的性能。添加噪声的方法本质上和岭回归方法一样属于一种正则 化方法，然而，噪声幅值的确定目前主要靠经验，缺乏可靠的确定方法。增量方法是将 基于储备池方法的多变量序列预测建模研究 储备池的构造和输出权值的计算作为一个并行进行的过程，力图用最简单有效的储备池 结构【删对问题进行求解。 e s n 网络本身适合于非线性动态系统问题( 当e s n 转变为e l m 时，同样适用于静 态问题的求解) ，而建立在统计学理论基础之上的支持向量机( s v m ，s u p p o r tv e c t o r m a c h i n e ) 方法则具有较高的计算精度，但一般适用于解决非线性静态系统问题 4 9 - 5 0 】。支 持向量机在数据挖掘、图像处理及时问序列预测领域都得到了较为广泛的应用。它的基 本思想是先将原始数据映射入未知、高维空间中，即将原始空间呈非线性的数据转化为 高维未知空间的线性数据。之后，引入核函数( 该技术也称为“核方法”) ，采用线性方法 对高维空间的数据进行处理，进而实现处理原始空间复杂数据的目的。对照支持向量机 的核方法会发现，“储备池方法”和“核方法”在对数据进行处理时，具有很多相似点，都 是将原始数据映射入一高维空间。但储备池空间是可见的，而支持向量机中的高维空间 是未知的。这样造成了支持向量机对核函数和核方法的依赖，而相应的e s n 和e l m 的 计算能够独立于核函数和核方法。基于此，可认为“储备池方法”是一种“无核方法”。 s v e s m s 方法是将e s n 与s v m 相结合，具有高精度建模的潜力【4 引。由于储备池中 的回声状态本质上体现的是外部驱动信号在网络中的动态变化情况，利用储备池代替核 函数，将回声传统机与s v m 算法结合将s v m 算法与e s n 模型相结合，使得解开核对 内部状态变量的束缚，实现无核机学习成为可能。，设计出的网络具有以下特点： 1 ) 训练过程简单，存在唯一最优解，不存在已有神经网络的局部最小问题； 2 ) 模型结构具有稀疏性，提高了泛化能力，具有较高的预测性能； 3 ) 对外界干扰具有不敏感性，有较强的抵御噪声干扰的能力及鲁棒性。 在“无核机”模型的框架下，由于脱离了核函数，能够更加自由的将优化算法应用于 模型之中。之前，很多优化算法受制于核函数的约束，其优势无法得以体现。在文献 5 1 】 中，在核方法中应用n e w t o n 算法，最终的运算复杂度与传统支持向量机s m o 算法相 当。如何利用储备池方法的特殊学习机制，最大程度地发挥其算法设计优势，是一个具 有重大实际意义和良好发展前景的研究领域。 1 4 论文主要内容及结构 本研究得到国家自然科学基金项目( 6 0 6 7 4 0 7 3 ) “基于多元时间序列分析的复杂系统 建模与预测研究”的资助。 具体章节安排如下： 一6 一 大连理工大学硕士学位论文 第1 章绪论。主要介绍课题的研究背景及意义，总结目前多变量时间序列预测的 研究内容和方法，给出储备池方法研究现状的详细介绍，并给出本文的研究内容及组织 结构。 第2 章储备池与多元统计方法结合在多变量预测中的应用。在过滤式变量选择方 法基础上，介绍主成分分析和非线性主成分分析的基本思想和实现方法，并结合储备池 独特的学习机制，提出一种改进的非线性主成分分析方法，对原始变量进行非线性组合， 用组合后的少数几对变量来反映原始输入变量的绝大部分信息。 第3 章基于储备池方法的复杂序列在线预报模型。将k a l m a n 滤波应用于回声状态 网络储备池高维状态空间中，直接对网络的输出权值进行在线更新，省去了传统递归网 络扩展k a l m a n 滤波中j a c o b i a n 矩阵的计算，在提高预测精度的同时令算法的适用范围 得到扩展。在回声状态网络稳定时给出所提算法的收敛性证明。 第4 章鲁棒极限学习机最优化算法。本章以静态储备池模型为对象，进一步说明 储备池方法与支持向量机核方法的异同及优势。利用极限学习机储备池搭建高维特征空 间，将原始问题转化成与储备池维数相关的线性支持向量回归问题，并应用n e w t o n 算 法求解。鲁棒损失函数的应用抑制了奇异点对预测结果的干扰。通过与s v m ( s u p p o r t v e c t o rm a c h i n e ) 及储备池t i k h o n o v 正则化方法比较，验证了所提方法的快速性、较高的 预测精度和较好的鲁棒性 在最后的结论中，对本文主要研究内容及所取得的研究成果进行概括总结，并对需 要进一步深入研究的问题进行论述说明。 基于储备池方法的多变量序列预测建模研究 2 储备池与多元统计相结合在多变量序列预测中的应用 绪论中已经说过，对于多变量序列，如何选择预测模型的输入变量是一个非常关键 的问题。多元统计方法，如主成分分析( p c a ，p r i n c i p l ec o m p o n e n ta n a l y s i s ) i 5 2 1 、典型相 关性分析( c c a ，c a n o n i c a lc o r r e l a t i o na n a l y s i s ) t 5 3 - 5 5 】和独立成分分析( i c a ，i n d e p e n d e n t c o m p o n e n ta n a l y s i s ) 等是最为常用的方法。然而，多元统计方法一般是基于线性关系而 进行展开应用的技术，其非线性变形往往非常复杂。本章借助于储备池机器学习方法的 特殊学习机制，将多元统计技术运用于储备池高维特征空间之上，对非线性多变量序列 进行处理。下面，以储备池主成分分析方法为例，对储备池与多元统计方法的结合应用 进行详细介绍。 2 1 + 回声状态网络储备池 回声状态网络由输入层，中间层和输出层构成，各层间通过权值连接。网络输入层 和输出层间的部分就称为储备池，是一种大且稀疏的递归结构，其内部节点状态为输入 信号的高维显现，本质上表征了输入信号在高维空间中线性特性。其网络储备池的状态 方程可以写作 x ( k + 1 ) = t a n s i g ( w ，x ( 后) - i - 陟幺u ( 尼) )( 2 1 ) 其中，x ( 功、u ( 助分别代表k 时刻e s n 的储备池状态变量、多变量嵌入延迟输入向量， 暇和分别为贮备池内部的连接矩阵和外部输入与储备池神经元的连接矩阵。通常状 态变量x 的维数较高( 一般取1 0 0 1 0 0 0 之间) ，权矩阵哌保持1 一5 的稀疏连接，暖 和一经初始化后保持不变，网络训练目的是求输出向量w 。 正是由于储备池独特的回声特性，令e s n 较之传统递归网络在网络结构和网络训 练方面都有极大的突破。根据e s n 的储备池机制，非线性处理部分完全分离出去由储 备池完成，网络学习过程仅需要确定储备池至输出节点间的权值矩阵。而输入数据激发 得到储备池状态的过程，相似于核方法中将待处理的数据通过未知函数映射至高维 h i l b e r t 空间的过程。但在s v m 中，由于状态黔【( u 1 ) ，o ( u 2 ) ，o ( u ) 】1 。，西( ) 是将输 入从原始空间映射至h i l b e r t 空间中的一未知映射。由于x 状态未知，s v m 需通过求内 积，即应用核函数计算出g r a m 矩阵脚。，得到支持向量，进而求得预测输出。选择不 同的核函数，相当于选择不同的映射( ) 或不同的内积。 大连理工大学硕士学位论文 由于核函数的引入，使得s v m 的运算复杂度高达o ( u ) ，即计算量随样本规模增 大而变大。而在储备池中，x 为储备池状态矩阵，可通过式( 2 1 ) 计算得到。相比于s v m ， 可将储备式映射看作一种特殊的映射( ) ，并可在储备池空间直接进行各种运算，而不 需通过内积求解的形式。储备池方法的出现，使得复杂系统非线性求解达到一个新的领 域，即将复杂非线性部分在储备池内部处理，储备池状态至外部输出为线性映射的关系， 所做的主要工作集中在这段线性映射关系上即可。 2 2 主成分分析方法 对于多变量问题，多元统计方法常被用到。常用的多变量数据分析方法有如下四种： 主成分分析方法；因素分析方法；多维尺度变化方法；聚类分析方法。在本章中，着重 介绍的是主成分分析方法与储备池方法将结合，但其他多元统计在储备池中的应用与其 类似。 2 2 1 线性主成分分析方法 主成分分析方法是p e a r s o n 于1 9 0 1 年提出，由h o t e l l i n g 在1 9 3 3 年完善。k o s a m b i 在1 9 4 3 年将其与正交分解方法联系到一起。p c a 是多元统计中的一种重要方法，是特 征抽取中最为经典和广泛使用的方法。通过主成分分析，可以消除原有变量的各分量之 间的相关性，从而达到去掉带有较少信息的坐标轴以达到降低特征空间维数的目的。自 1 9 9 0 年将p c a 应用于人脸识别开始，现在的p c a 方法已广泛应用于过程监控、人脸识 别、视力识别等各个领域中5 岳5 7 1 。 主成分分析的基本原理：一种变换使得数据集由维数较少的特征来表示，而不减少 原始数据所包含的内在信息内容。即数据压缩。下面具体介绍主成分分析运算步骤 5 8 1 。 假设存在变量x 代表m x n 维矩阵，m x m 矩阵尺是其相关矩阵，正式定义为向量x 与其自身外积得期望，表示为 r = e x x l 】( 2 2 ) r 必为对称矩阵。使得丑，恐，丸为r 的特征值，相应的特征向量为 q 。，q 2 ，q 。令特征值降序排列，即 a 五以 ( 2 3 ) 同时，令其对应的特征向量构成一m x n 矩阵 q = q ，q ：，q 。】 ( 2 4 ) 则必有尺q = q a 。其中a 为r 的特征值构成的对角阵，即 a = d i a g 3 a ， ，兄，一，九】 ( 2 5 ) 一9 一 基于储备池方法的多变量序列预测建模研究 由于单位向量q 有m 个可能的解，数据向量x 有m 个可能的投影需要考虑 a i = q j x = x t q ，= 1 ，2 ，m ( 2 6 ) 式中，乃是x 在单位向量所表示的主方向上的投影，哆称作主分量，相应的q ，成为主 成分载荷，它表示主成分和相应的原变量的相关系数。 计算主成分贡献率及累计贡献率如式( 2 7 ) 和( 2 8 ) 所示 4 = 毒l ，i = 1 ，2 ，聊 ( 2 7 ) 丑 h 乃 6 = 等一，j i l m 丑 i = i ( 2 8 ) 2 2 2 基于奇异值分解的主成分分析方法 经数学证明可知，奇异值分解满足正交分解最优性，在对矩阵进行降维操作的时候 与p c a 具有等价性。从数值角度看，直接对数据矩阵进行奇异值分解更具优势。对于 给定计算精度，奇异值分解过程需要的数值精度为特征分解的一半。基于奇异值分解的 主成分分析基本步骤如下【5 9 】： ( 1 ) 设第f 个变量为x = i x f ( 1 ) ，x ，( 2 ) ，x ，( 聆) 】，将y 归一化为r 。 ( 2 ) 奇异值分解誓如式( 2 9 ) 所示 x = u ，。v ：7 ，f = 1 ，2 ，l ( 2 9 ) 其中，i = d i a g s i 屯s ，0 o 】。s i s 2 昂为鼍的前p 个奇异值，u ，和v 都 是正交矩阵。 ( 3 ) 由于噪声的影响，不会存在严格为零的奇异值。通常认为较小的奇异值是由噪声引 起，计算只需保留较大的奇异值，对应输入样本矩阵中的主元成分。本文采用一种简单 而有效的方法确定需要保留的奇异值。令 矗口 仇，= s ；算 ( 2 1 0 ) j = ll = l 确定阈值o 1 ，如果1 7 材 1 7 0 ，舡印，则保留前k 个奇异值。 ( 4 ) d 。保留u ，的舡行代替u ，系统主元为z ，。如式( 2 11 ) 所示， z i u ，y ，i = l ，2 ，l ( 2 1 1 ) 大连理工大学