（理论物理专业论文）混沌神经网络和非线性时间序列预测.pdf

ab s t r a c t we h a v e s t u d i e d t h e c h a o t i c p r e d i c t i o n m o d e l b a s e d o n c h a o t i c n e u r a l n e t w o r k s a n d t h e p h a s e s p a c e i n o u r p r e v i o u s s t u d i e s , a n o n l i n e a r f e e d b a c k t e r m o f w e i g h t s i s i n t r o d u c e d i n t o t h e d y n a m i c a l e q u a t i o n o f t h e b a c k p r o p a g a t i o n a l g o r i t h m f o r n e u r a l n e t w o r k , t h e n e t w o r k b e c o m e s a c h a o t i c o n e . i n t h i s w o r k , w e i n v e s t i g a t e f i r s t l y h o w t h e d i ff e r e n t f e e d b a c k t e r m s a ff e c t t h e p r o c e s s o f t h e l e a r n in g a n d p r e d i c t i o n . t h e s i m u l a t i o n s s h o w t h a t t h e s y s t e m c a n e s c a p e fr o m t h e l o c a l m i n m a a n d c o n v e r g e t o t h e g l o b a l m i n m u m o r it s a p p r o x i m a t e s o l u t i o n b y s e l e c t in g t h e s u it a b l e f e e d b a c k t e r m . t h e n , w e u s e t h e e p e v o l u t i o n a ry c o m p u t a t i o n t o e s t a b l i s h a k i n d o f s e l f - s u it a b l e p r e d i c t i o n m o d e l , a n d a p p l y t h e n e u r a l n e t w o r k o f t h e c h a o t i c l e a rn i n g a l g o r it h m t o t h e c o n t r o l fi e l d , a k i n d o f p re d i c t i o n c o n t r o l m o d e l h a s b e e n e s t a b l i s h e d . t w o n e w n o n l i n e a r p r e d i c t i o n m o d e l s a r e p r o p o s e d b y f e e d f o r w a r d n e u r a l n e t w o r k , t h e p r e d i c t i o n m o d e l s a r e b a s e d o n t h e t i m e e v o l u t i o n o f t h e t o p o l o g i c a l n e i g h b o r s i n t h e p h a s e s p a c e . t h e u s e f u l n e s s o f t h e m o d e l s i s t h a t t h e y k i c k o ff s o m e f a l s e n e i g h b o r p o in t s w h i c h a r e n o t s u it a b l e f o r t h e l o c a l e s t i m a t i o n o f t h e勿n a m i c s s y s t e m s . i n t h e f i r s t m o d e l , t h e s p a t i a l n e i g h b o r s a r e c h o s e n b y t h e r a t e o f e x p o n e n t i a l d i v e r g e n c e o f c l o s e t r a j e c t o ry . t h e m o d e l i s t e s t e d f o r t h e ma c k e y - g l a s s d e l a y e q u a t i o n a n d l o r e n t z e q u a t i o n s , g o o d r e s u l t s a r e o b t a i n e d f o r t h e p r e d i c t i o n . t h e s e c o n d m o d e l i s t h a t w e u s e a f e e d f o r w a r d n e u r a l n e t w o r k t o a p p r o x i m a t e t h e l o c a l d o m i n a n t l y a p u n o v e x p o n e n t , a n d c h o o s e t h e n e i g h b o r p o i n t s b y t h e e x p o n e n t . t h e m o d e l i s t e s t e d f o r t h e c o n v e c t i o n a m p l i t u d e o f t h e l o r e n z m o d e l , t h e r e s u l t s i n d i c a t e t h a t t h i s p r e d i c t i o n m o d e l c a n i m p r o v e t h e p r e d i c t i o n o f c h a o t i c t i m e s e r i e s . 第 t 章 绪论 第1 章绪论 在社会、 经济和技术的发展中，预测理论与方法的应用起了非常 重要的作用，取得了积极的成果. 1 9 7 8 年底，经济合作与发展组织完 成的计划研究报告，曾一时成为舆论关注的焦点，对 世界各国政治、经济、 技术和社会发展战略的制定产生了深远的影 响.然而，面对复杂的自 然现象和社会现象，现有的预测理论与方法 还不能给出合理的 解释和有效的预测，由于存在一系列的问 题，以 致 有人对预测学产生怀疑. 实际上，预测理论和方法的形成和发展是以人们所处时代的科学 发展为背景的.远古时期，哲学家亚里士多德( a r i s t o t l e ) 的 整体观 思想和原子论创立者德摸克利特( d e m o c r i t u s ) 的还原论思想一直占 据 着主导地位.整体观认为物体或系统的行为服从于整体计划或命运的 安排.还原论思想认为世界变化的唯一方式就是原子的旋涡运动和其 它的原子形状.牛顿三大运动定律的发现，使人们相信对物理系统作 出精确预测的关键是要做出精确的计量.为此，法国数学家拉普拉斯 ( p . s . d e l a p l a c e ) 提出了决定论的思想，他认为世界上没有什么是 不确定的，即使未来对我们的眼睛来说可能会表现出不确定性，实质 上它在每一时刻的每一细节上都已经确定下来.在决定论的思维方式 下，人们对未来的预见归结为对事物运动规律的把握，一切不确定随 机事件的发生，都是由于一些未知因素的作用，只要收集到有关系统 足够的信息，一切自 然就确定了. 2 0 世纪量子力学的诞生给予了另外 一种解释，按照量子力学中的海森堡( h e i s e n b e r g ) 的测不准原理，要 对两个共扼变量同时进行精确的测量是不可能的. 以混沌理论为代表的非线性系统理论，其研究与应用已经渗透到 了自然科学和社会科学的各个领域，成为众多学科的研究前沿.非线 性系统理论的发展也为预测学的研究提供了理论基础和契机. 1 9 9 4 年 3 月，英国皇家科学院专门举行了“ 混沌和预测”研讨会，来自 不同 领域的专家达成共识，认为混沌学在预测学上的研究具有非常广阔的 第 i 章 绪论 前景 1 . 从科学发展史看，每一种科学理论都有自己的解释范围，目 前的 预测理论和方法中，许多还是传统的还原论、决定论在预测学上的体 现，例如，惯性原理、类推原理等.当今，科学的发展日 新月异，作 为自 然科学和社会科学交叉的预测学，应该从非线性系统理论等现代 科学中吸取“ 营养”，探求新的发展途径. 目 前，许多预测理论工作者 对原有的预测思想和假定进行了补充和修改，提出了各种各样的预测 模型和预测方法，并对应用非线性系统理论研究预测学进行了积极的 探索. 在国 外，j o s e p h将混沌理论中的复杂性增长、 分叉、 混沌等概念 与预测进行 了联系，阐述了事物预测的演化观 【 2 . b a u m o l和 q u a n d t根据一维迭代函数产生混沌和分形的情形，讨论了社会经济 的可预测性【 3 . m o d i s 根据混沌理论的内随机性原理，研究了 事物增 长的前期和后期存在波动的必然性，并提出了事物整体增长过程的分 形概念【 4 . f a r m e r和 s i d o r o w i c h研究了混沌时间序列的预测方法 临 .m a n t i c a和 g i r a u d研究了含有噪声的时间序列预测建模方法 6 . c r u t c h f i e l d等人的研究表明，混沌理论一方面指出了原本认 为不可预测的复杂事物具有可预测性，另一方面也指出了对原本认为 可预测的简单事物的预测具有局限性【 7 . g o r d o n指出.混沌理论开 辟了预测研究的新领域，为原来认为不可预测的复杂系统的预测提供 了新的理论和方法 8 . 在国内，不少学者对于应用非线性系统理论研究预测技术投以极 大的关注，例如，分析混沌理论对决定论的影响，从轨道意义上的预 测出发阐述混沌理论关于复杂系统不可预测性的含义; 探索非线性预 测的混沌理论途径，将 r / s 分析、分式布朗运动应用于经济预测;利 用分形维数进行经济预测; 研究混沌理论对经济预测的影响等等 9 - 1 2 . 时间序列是以一个可观测量作为时间函数的测量序列，从复杂性 理论可知，时间序列中不仅包含了系统所有变量过去的信息( 在允许 第 1 # 绪论 误差的精度内) ，而且还包含了参与系统演化所有变量的大量信息. 时间序列的预测问 题普遍存在于自 然科学，社会科学和国民经济等众 多的领域，例如，天气的变化，化学反应，电能的需求，生产和控制 过程，金融市场的股票价格等等.对于这些复杂的时间序列预测有着 重要的实际应用价值，它与国民经济、 科学技术乃至日常生活息息 相关，为人们的决策和规划提供了科学的依据. 近年来，许多科学工作者从不同的途经应用不同的模型和方法对 时间序列预测的问题进行了深入的研究，取得了一定的进展.然而， 对于一些复杂的混沌时间序列，我们对其内 在的规律很难把握，采用 一般的数学工具往往很难建立起准确的非线性模型.在众多的预测模 型中，人们通过广泛深入的研究和比较，发现神经网络模型有着良 好 的预测性能，它能较好地解决非线性时间序列的建模和预测问题，进 而受到了越来越多的重视【 1 3 - 1 5 . 神经网络系统是一个非常复杂的非线性动力系统，存在包括混沌 在内的各种复杂动力学行为，神经生理学家已从实验中观察到了人脑 和动物神经系统中的各种复杂的动力学过程，这激发人们去研究各种 复杂动力学在神经系统的智能行为中的作用，并应用到神经计算中去. 神经网络的动态过程包括两个层次，一个是发生在神经元的状态空间， 另一个是发生在神经元的互连权空间，有关系统的信息储存在网络的 互连权之中.在我们研究小组以前的研究工作中，对神经网络状态空 间和互连权空间动力学的混沌机制进行了深入广泛的研究，取得了一 定的进展 1 6 - 1 8 ) . 本论文从以下几个方面进行了探索:( 一)在神经网络互连权的动 力学演化方程中加入一非线性反谊项，详细讨论了不同形式的反馈项 对网络学习和预测过程的影响.研究的结果表明， 适当选择反馈项中 参数a 和b ，网络在学习和预测过程中，能够在权空间形成混沌机制， 使得网络能够克服能量的局域极小达到全局最小或其近似.( 二)考 察了基于混沌学习算法神经网络的多步预测性能、 离线预测性能和 抗噪声能力，数值模拟的结果证明，基于混沌学习算法的神经网络具 有良好的多步预测和离线预测性能，并且能够有效地克服噪声的影响. 第 t 章 绪论 ( 三)根据e p 进化算法建立起一种自 适应机制，使得网络在学习和预 测的过程中，能够根据学习和预测的结果选择预测性能较好的反馈项， 这样就增加了预测模型的实用性.进而研究将基于混沌学习算法的神 经网络应用到控制领域，建立了一种基于混沌学习算法的预测控制模 型，仿真研究获得了较为满意的结果.( 四)应用基于混沌学习算法 的神经网络建立起一种相空间的预测模型，并将预测模型和相空间混 沌吸引子的有关物理性质结合起来，由此可使预测模型具有更为灵活 的机制在全局和局域的范围内寻找能量的全局最小或其近似.为了克 服 “ 伪近邻点”对局域动力学估计的影响，我们提出了两种选择近邻 点的方法，一种是根据相空间预测点和近邻点的距离和所在轨道的相 空间指数分离的比率来选择近邻点，另一种是根据相空间预测点和近 邻点的距离及预测点和近邻点的局域 l y a p u n o v指数来选择近邻点. 数值模拟证明了这些方法的有效性. 第2 童 非线性系统和预侧 第2 章非线性系统和预侧 2 . 1混沌和预裁 非线性是自 然和社会中普遍存在的现象，大至宇宙，小到微观粒 子，无不受非线性理论的支配.混沌的出现，打破了不同学科之间的 界限，人们通过对混沌的研究，提出了一系列的新问题，向传统科学 提出挑战.近年来，有关混沌和预测的研究也受到了越来越多的关 注. 2 . 1 . 1 初始条件的敏感依救性 混沌是在某些确定性的非线性系统中，由于系统内部存在着非线 性相互作用而产生的类似随机的现象，这种内在的随机性具有对初始 条件的敏感依赖性.只要初始条件有微小的变化，系统随时间演变的 轨迹就会以指数倍的 速度与原轨迹相分离.在对貌似随机的混沌现象 进行预测时，一方面，由于存在确定性的规则，使得看起来非常复杂 的混沌现象实际上是可预测的，另一方面，由于混沌系统对初始条件 的敏感依赖性，系统会把初始时刻的某些不确定性放大，从而导致系 统长期预测的不可行.一般来说，对于初始条件和系统结构较为准确 的刻划，可以改善短期预测的精确度. 混沌系统产生对初始值敏感的依赖性的主要机制是在相空间中的 伸长和折叠，其伸长的特性是把相空间中相邻点的距离拉开，最终导 致相邻点的指数分离，其折叠的特性是把相空间中很远的点凑到一起， 使得这种发散是一种局域特征，它永远保持有界，这种伸长和折叠过 程不断地持续下去，从而导致混沌. l y a p u n o v 指数定量刻画了混沌系 统相空间轨迹指数分离的特征，其定义为 第2 章 非线性系统和预侧 a = 生 in $ r _ i i. _ ._ ， 二 二= l i m一i n i i f ( x ; ) i aro n i哀 o i ( 2 . 1 ) 这里f 是映射函数，气为一初始 扰动，当 几 x t_， 一 b ,(),1 = 1,2 (3 . 1 ) 这 里 p = 1 , x ;， 是 第1 层 第i 个 神 经 元的 输出 ，叫n 是 第1 - 1 层 第j 个 神 一、 第 3童具有非线性反懊项的混沌学习 算法神经网 络 经元到第1 层第i 个神经元的互连权.l 是1 - 1 层神经元的数目 ， q 是第 1 层神经元的数目 ，畔 ， 是第1 层第i 个神经元的闽 值. 图3 . 1三层前馈神经网络模型 b p算法其基本思想是使用梯度下降的 搜索技术，实现网络实际输 出与期望输出的均方差最小化，网络的学习过程是一种边向后传播边 修正权的过程.在 b p算法中，互连权的调整沿着能量函数的负梯度 方向进行，即 d w e 8 e d t = 一 “ a v + )9 ( 3 . 2 ) 式中。 为学习 率 ， w 护 是 第1 - 1 层 第.1 互连权，e 为能量函数( 或价值函数) 的平方和 个神经元到第1 层第i 个神经元的 ，其定义为输出层的各输出误差 8 i = 艺 ( x r(2 ， 一 rj ) 2 ( 3 . 3 ) 这 里p 为 训 练 样 本 数 ，ri 为 期 望 输出 . 之后，我们得到b p 算法的动力学方程 应用( 3 . 3 ) 式将( 3 . 2 ) 式离散化 第3 章 具有非线性反馈顶的棍沌学习算法神经网 络 。 了 (t + 1 ) = 、 扩 ， (t ) + 713 1. o x 犷 一 ， (， ) 式中砂 ( t ) 为， 时刻处于1 层第i 个节点的误差.对于输出层， 3 ; ( t ) 为 3 尸 ( ; ) = 2 ( x ; ) ( t ) 一 r ,. ) x 尸 ( 1 一 x(z) ) 、对于隐含层 ( 3 . 4 ) 节点误差 ( 3 . 5 ) 3 ,.0 ( r ) 二 艺3 ( ) ( 7 )w .1 ( t ) x , (t ) ( 1 一 x ; , ( t) ) ( 3 . 6 ) 3 . 2混沌学习算法 基于b p 算法的神经网络其能量函数可能存在若干个局域极小，网 络在学习和预测过程中能够收敛到一个解，但很难保证所求的解具有 全局最小的能量.这是因为b p 算法采用的是梯度下降算法，训练是从 某一起始点沿着能量函数的斜面逐渐达到能量的极小值，当网络一旦 陷入某一局域极小时，应用b p 算法网络没有任何机制能够跳出局域极 ， 、 . 为了避免网络在学习过程中陷入能量函数的某一局部极小，我们 在动力学方程( 3 . 4 ) 中加入一非线性自 反馈项，由 此得到网 络互连权 的动力学演化方程为 心， ( r + 1 ) = 心， ( t ) + t 7 s la ) ( t ) x - u ( t ) + .f 心) ( t ) 一 衅) ( t - 1 ) ) ( 3 . 7 ) 这 里我 们 将反 馈 项， (x ) 取为， ( x ) = ta n (a x ) e x p (- b x ) , x = w u) ( t ) 一 心 ， (t - 1 ) , a 和b 是两个可以调节的参数.由于该项的加入使网络权空间的动力 学变为混沌动力学，所以 ，我们称基于( 3 . 7 ) 式的学习算法为混沌学 习算法. 非线性函 数f ( x ) 的 选取主要是基于 如下的 考虑， ( 1 ) 它不改变( 3 . 7 ) 式的固 定点 ，这要求f ( 0 ) = 0 ， 但这些固定点的 稳定性可以改变. ( 2 ) = 1 w l (t ) 一 衅(t - 1 ) 1 可以 看 作 是 系 统 接 近 固 定 点 的 速 度 ， 大 的 第3 幸 具有非线性反 饭顶的浪饨学习算 法神经网 络 意味着系统远离固定点，此时f ( s ) 应该足够小，使得权值的 动 力学能够沿着梯度的方向迅速地接近固定点. ( 3 ) 为中间值时，即系统的动力学进入某一固定点的邻域时，非 线性反馈项能使系统跳出该固定点的邻域并趋向其它的固定 点. 在混沌学习算法中，选择不同的反馈项参数口 和b ，可以得到不同 形状的函 数曲 线，其结果如图3 . 2 所示.图中曲 线1 为反馈项参数为 a = 1 , b 月的函 数曲 线; 曲 线2 为 类似于 阶 跃函数的函数曲 线，其反 馈项参数为。 = 1 0 , b = 0 . 1 ;曲 线3 为 类似于s 函 数的函数曲 线，其反 馈项参数为。 = 1 0 , b = 1 0 0 .如果将反馈项看成驱动力，那么图3 . 2 中 的参数h 和; 相当于驱动力的振幅和半径。我们可以通过选择不同的 参数a 和6 来控制驱动力的振幅和半径，以此来研究不同形式的驱动 力对网络学习和预测过程的影响. / 艺0 23 th 习 r 屯- 1 0 1 2 图3 . 2反馈项函数的曲线示意图 第3 章 具有非线性反该顶的棍饨学习算 法神经网络 3 . 3棍沌学习算法神经网络的棍沌机制 应用混沌学习算法，不同形式的反馈项在网络学习和预测过程中 所起的作用不同，为考察不同形式的反馈项在网络学习和预测过程中 所起的作用，进一步了解基于混沌学习算法神经网络的混沌机制，我 们对基于m a c k e y - g l a s s 方程的时间序列进行了 在线预测分析. 3 . 3 . 1 m a c k e y - g l a s s 方程 m a c k e y - g l a s s 方程最初是由m a c k e y 和g l a s ，提出的 ，它是一个高 维的动力学方程，相空间中，由于轨道可能在两个或更多的方向上延 伸，使得系统具有较复杂的动力学行为.基于 m a c k e y - g l a s s方程的 非线性时间序列预测常被作为检测预测模型预测性能的典型标准.离 散化的m a c k e y - g l a s s方程其形式为 4 6 ) 口 沈， _ 。. x ,=x 1 - , +l .一c o i - i j i + k x , _ , 1 - - ( 3 . 8 ) 这里a 二0 . 2 , 0 二0 . 1 ,， 为延迟时间.调整， 的大小，系统会表现出 固定点、 极限环和混沌行为.当 _ 1 7 时，系统会产生具有分数维数 的混沌行为 4 7 .一般来说， 的数值越大，系统的维数越高，本文 中: = 1 7 . 数值模拟时，我们应用混沌学习 算法的神经网络对基于 m a c k e y - g l a s s 方程的时间 序列进行预 测，该时间 序列的 嵌入维数m 取 6 ，网络的结构为6 - 5 - 1 ， 即网络的 输入层由 6 个神经元构成，中间层 由5 个神经元构成，输出层为1 个神经元.预测前需要对时间序列进行 预处理，这里采用线性归一化的方法，其变换关系为: x , = x 一 m i n ( x ) ，-. . . . . ， ， . . . . . . . . 一 . ， . . . . . . ， ， ， . . - 一矛 二二 m a x ( x ) 一 m i n ( x ) 1 , 2 , . . . 式中m a x ( x ) 表示时间 序列 x , 的 最 大 值， 最小值，这样所有的数据被归一化为【 0 , ( 3 . 9 ) m in (x ) 表 示时间 序列 : : 的 1 1 之间的数，求出预测值之 第3 童 具有非线性反该项的混沌学习算法神经网 络 后，再按相反的规则变回. 3 . 3 . 2互连权空间的混沌动力学 首先，我们研究了基于混沌学习算法的神经网络在互连权空间的 混沌机制.取时间序列的前5 0 0 个样本为训练样本，后5 0 0 个样本为 测试样本，依次改变学习算法中反馈项的参数a 和b ,测量网络在学 习和预测过程中，权空间的l y a p u n o v 指数，测量结果如图3 . 3 所示. o5 瓜 畏渔q扮.，只一洲贫雪 0 0 . s1，s 万4 00 32闷. 以众瓜 月芒。廿.，。已;旨少 2 a s a t 0 图3 . 3序列 毗的l y a p u n o v 指数a 随反 馈 项参数的变化 第3 章 具有非线性反该项的 福沌学习算法神经网络 图3 . 3 中 横坐标为反 馈项参数，纵 坐 标为 序 列a w z 的l y a p u n o v 指 数a , 其中图3 . 3 ( 1 ) 表示l y a p u n o v 指数a 随反馈项参数a 的变化，图3 . 3 ( 2 ) 表示 l y a p u n o v指数a 随反馈项参数b 的变化.从图中可以 看出 ， l y a p u n o v指数a 随反馈项参数。 的变化比 较明 显而随参数b 的变化不 太显著.对于反馈项参数a 来说，当a 取值较小时， l y a p u n o v 指数a 为 负，随着a 的增大，l y a p u n o v指数a 为正，继续增大a 的取值， l y a p u n o v 指 数a 再 次为 负 .由 此说明 ， 适当 选 择 反 饿 项参 数能 使网 络 在权空间具有混沌机制. 3 . 3 . 3能f曲线 为了解混沌学习算法的神经网络在学习和预测过程中跳出局域极 小的情况，我们测量了网络在学习和预测过程中能量随时间的变化， 并和应用 b p算法神经网络测量的结果进行了比较，比较结果如图 3 . 4 ( 1 ) 所示，混沌学习算法中反馈项参数取a = 0 . 7 , b = 0 . 1 .图3 . 4 0 ) 中能量取每 2 0个演化时间步的平均值，图中实线为应用混沌学习算 法的结果，带圆圈的实线为应用b p 算法的结果.从图3 . 4 ( 1 ) 中可以 看出，应用混沌学习算法，网络在学习和预测过程中 ，能够克服局域 极小的限制达到全局最小或其近似.这主要是由于当混沌学习算法中 反馈项参数取a = 0 . 7 , b = 0 . 1 时，网 络在学习和预测过程中在权空间的 动力学具有混沌机制，通过混沌漫游从而使得网络跳出局域极小的限 制达到全局最小或其近似.图 3 . 4 ( 2 ) 比较了应用混沌学习算法和应 用 b p学习算法时间序列的 预测值，图中实线为理论值，点线为应用 b p算法的预测值，虚线为应用混沌学习算法的预侧值.图 3 . 4 ( 2 ) 表 明，当 混沌学习算法迭代到 5 0 0 - 7 0 0个时间步时，预测值非常接近 理论值，而b p 算法迭代到5 0 0 + 7 0 0 个时间步时，理论值和预侧值相 差甚远. 第3 章 其有非线性反 镶项的棍饨学习算法神经网络 2 印月 田日 刀已 阅1 仪 洲 】 |飞月，日”，|!lesll彻 厂f了1，了iwej卜一即 八月一飞、 f厂1卜rl ，1、1枯1、 声了 |曰日日汁尸lesr 8魂04 q众a x 一翎 一翻 引!醉助 图3