（应用数学专业论文）遗传神经网络在混沌时间序列预测中的应用.pdf

中北大学学位论文 遗传神经网络在混沌时间序列预测中的应用 摘要 混沌时间序列有着极为丰富和深刻的内涵 而且应用非常广泛 本文研究了混沌时 间序列分析理论和方法 将遗传神经网络应用于混沌时间序列预测中 并采用m a t l a b 实验验证了其有效性 本文首先介绍了混沌时间序列并简单对比了各种预测模型 说明了遗传神经网络应 用于混沌时间序列的优势 随后阐述了人工神经网络技术的发展和神经网络用于非线性 预测的现状 接着介绍了神经网络中常用到的b p 网络的模型 结构以及算法的改进和 遗传算法的基础 应用步骤 实现技术 并简要说明了神经网络工具箱和遗传算法工具 箱 讨论了相空间重构中嵌入维数的选取以及l y a p u n o v 指数的估计 并给出了简洁的 算法和网络参数设定的一般方法 接着从神经网络和遗传算法的理论入手 考虑到在网 络中最初的权值和网络的结构对预测精度的影响最大 采用遗传算法优化神经网络的初 始权值 从而避免了神经网络初始权值确定的盲目性 使得预测在更加合理的情况下运 行 将遗传神经网络理论引入混沌时间序列预测领域 给出了b p 神经网络拟和重构后 所得函数关系的具体实现过程 并应用训练后的网络进行预测 经计算机仿真表明该方 法是行之有效的 并给出了具体应用实例 实例证明 用遗传神经网络进行短期预测可 以提高预测的精度 关键词 神经网络 遗传算法 混沌时间序列 预测 遗传神经网络 中北大学学位论文 a bs t r a c t c h a o st i m es e d e sw h i c hi n c l u d e sv e r ya b u n d a n ta n dp r o f o u n dm e a n i n gh a sw i d e l y a p p l i c a t i o n s i nt h i sd i s s e r t a t i o n c h a o st i m es e r i e sa n a l y s i st h e o r y m e t h o da n dg e n e t i cn e u r a l n e t w o r k sa p p l i c a t i o nt oc h a o st i m es e r i e sf o r e c a s ta r es t u d i e d i t sv a l i d i t ya n df a c i l i t ya r e p r o v e db ye x p e r i m e n t su s em a t l a bp r o g r a m h r s t l y c h a o st i m es e r i e sa r ei n t r o d u c e da n ds e v e r a lf o r e c a s tm o d e la r ec o m p a r e d a n d e d u c e dac o n c l u s i o na b o u tb pn e t w o r k sa d v a n t a g ew h e ni tw a sa p p l i e dt oc h a o st i m es e r i e s f o r e c a s td o m a i n w ee x p a t i a t et h ed e v e l o p m e n to ft h ea r t i f i c i a ln e u r a ln e t w o r k t e c h n o l o g ya n d i t ss t a t u sf o rn o n l i n e a rf o r e c a s t t h e nt h ec o m m o n l yu s e db pn e t w o r km o d e l s t r u c t u r e a l g o r i t h mo fi m p r o v i n g t h eb a s i so fg e n e t i ca l g o r i t h m t h es t e p st oa c h i e v e a n dab r i e f d e s c r i p t i o no ft h en e u r a ln e t w o r kt o o l b o xa n dg e n e t i ca l g o r i t h mt o o l b o xw e r eg i v e n t h e s e l e c t i o no ft h es p a c ed i m e n s i o no nt h ep h a s es p a c er e c o n s t r u c t i o na n dl y a p u n o ve x p o n e n t e s t i m a t e sa r ed i s c u s s e d c o n c i s ea l g o r i t h m sa r eg i v e na n d p a r a m e t e re n a c t m e n tm e t h o do fb p n e t w o r ki sb r o u g h to u t a n dg i v e sas i m p l ea l g o r i t h ma n dg e n e r a la p p r o a c ho fn e t w o r k p a r a m e t e r s c o n s i d e r i n gt h a tt h en u m b e ro fn e r v ec e l li nh i d d e nl a y e r i n i t i a lw e i g h ta n du n i t s b i a sv a l u ea l et h em o s ti m p o r t a n tf a c t o r st ot h ef o r e c a s t i n g sp r e c i s i o no fa n n g e n e t i c a l g o r i t h mi su s e dt oc h o o s eam o r er e a s o n a b l ef r a m eo fa n n g e n e t i ca l g o r i t h mi sg o o df o r d e c i d i n gt h ep r o p e rf a b r i co fn e t a n dh e l pt h ea n nt oc o n q u e ri t sd i s f i g u r e m e n t g a b p a l g o r i t h mm a k e su s eo ft h es t r o n g p o i n to fg aa n db pa l g o r i t h m t h er e s u l t so ft h ee x a m p l e s h o w st h a tg a b pa l g o r i t h mi sb e t t e rt h a nb pa l g o r i t h mo n l y n e u r a l n e t w o r kt h e o r yi s a p p l i e dt oc h a o st i m es e r i e sf o r e c a s td o m a i n a n de d u c ef u n c t i o nr e l a t i o na f t e rb pn e t w o r k s r e c o n s t r u c t i o n a d d i t i o nw i t ht h er e a l i z ep r o c e d u r e t h r o u g ht h et r a i n e dn e t w o r k sf o r e c a s t w ep r o v e dt h i sm e t h o dw a se f f e c t i v e a n da p p l i c a t i o n se x a m p l ew a s g i v e n k e y w o r d s n e u r a ln e t w o r k g e n e t i ca l g o r i t h m c h a o st i m es e r i e s f o r e c a s t g e n e t i cn e u r a l n e t w o r k h 原创性声明 本人郑重声明 所呈交的学位论文 是本人在指导教师的指导下 独 立进行研究所取得的成果 除文中已经注明引用的内容外 本论文不包含 其他个人或集体已经发表或撰写过的科研成果 对本文的研究作出重要贡 献的个人和集体 均已在文中以明确方式标明 本声明的法律责任由本人 承担 论文作者签名 垄i 亟盟 e l1 t t l 塑2 主 墨f 关于学位论文使用权的说明 本人完全了解中北大学有关保管 使用学位论文的规定 其中包括 学校有权保管 并向有关部门送交学位论文的原件与复印件 学校可 以采用影印 缩印或其它复制手段复制并保存学位论文 学校可允许学 位论文被查阅或借阅 学校可以学术交流为目的 复制赠送和交换学位 论文 学校可以公布学位论文的全部或部分内容 保密学位论文在解密 后遵守此规定 签 名 垄逸趣 l j i l i 签名 一鲻一一 日期 塑呈 皇 f 日期 塑垒 皇 主i 中北大学学位论文 第一章绪论 本章主要介绍了非线性时间序列和常用的预测方法 人工神经网络的发展历史 应 用领域及人工神经网络用于非线性预测的研究现状及优越性 概括了本文主要内容与结 构 1 1 非线性预测 预测作为一项探索未来的活动在古代就已经出现 预测 一词来自古希腊的术语 人无远虑 必有近忧 这句古语 充分说明了人类很早就重视预测的重要作用 古代 的预测是 i 艺术 主要靠预言家的经验估计和直观判断 有时也借助于先兆 推测和 某些技术根据 但预测作为一门科学 直至科学技术高度发达的2 0 世纪才产生 预测是在掌握相关信息的基础上 运用哲学 社会学 经济学 数学 统计学 计 算机 工程技术及经验分析等定性定量的方法 研究事物未来发展和机器运行规律 并 对其各个要素的变化趋势做出估计描述和分析的 i 1 学科 科学的预言尚未发生的事物 是预测的根本目的和任务 要想有正确地决策 就必须先要有科学地预测 如果没有 科学的预测 就不可能做出正确的决策 无论对个体或组织 在其制订规划策略等面向 未来的过程中 预测是必不可少的环节 是科学决策的重要前提 时间序列是我们在做预测研究时的重要对象 所谓时间序列 是指按时间顺序取得 的一系列观测值 很多数据是以时间序列的形式出现的 公路事故数量的周度序列等 时间序列的典型一个本质特征就是相邻观测值的依赖性 时间序列的这种依赖性特征具 有很大的实际意义 对时间序列的预测就是对这种依赖性进行分析的技巧 非线性时间序列是当今世界科学的前沿和热点 涉及自然科学和社会科学的众多领 域 具有重大的科学价值 非线性是相对现行而言的 是对线性的否定 线性是非线性 的特例 在用于描述一个系统的一套确定的物理变量中 一个系统的一个变量最初的变 化所造成的此变量或其他变量的相应变化是不成比例的 换言之 变量问的变化量不是 恒量 函数的斜率在其定义域中有不相等或不存在的地方 概括地说 就是物理变量间 的一级增量关系在变量的定义域内是不对称的 可以说 这种对称破缺是非线性关系的 最基本的体现 也是非线性时间序列复杂性的根源 中北大学学位论文 探究宇宙间万物在时间上此刻与历史间的联系 有效地预见未来是科学理论的中心 任务 然而对于历史与未来之联系的作用方式 却有着不同的认识 拉普拉斯宇宙观认 为 原则上世界的未来被其历史精确的决定 人们对于未来的茫然无知只是没有掌握正 确的计算模型 缺乏关于历史的完备知识和充分的计算资源 与之相对的是马尔科夫模 型 在这里历史和未来的联系被约减为统计上的相关性 量子力学的兴起又给了拉普拉 斯沉重的一击 量子力学的根本原理之一是海森堡的不确定关系 它指出粒子的位置及 速度的测量有着一个基本的限度 这种不确定性的存在圆满地解释了某些随机现象 非 线性理论认为 一个系统即使有完全确定的模型 其精确解也会随着时间的推移出现不 确定性 这种随机性变化具有某种不可预测性 混沌系统的 蝴蝶 效应 混沌时间 序列就是由确定的非线性系统产生的某一时刻后的离散状态值 由于这种序列非常复 杂 看上去似乎是一种毫无规则的 随机序列 然而 从根本上讲 混沌时间序列是 确定的非线性映射 它并不是随机时间序列 因此 混沌时间序列是可以预测的乜1 传统的预测方法如时间序列a r 模型或a r m a 模型一般都是基于线性模型的假设而 建立 而实际中事物的发展大多是成非线性的 近年来人工神经网络理论的发展和完善 为非线性预测提供了一种新的预测方法 混沌时间序列内部有着一定的规律性 它产生 于非线性又难于用通常的解析式表达出 神经网络正好可以处理这种信息 通过网络来 学习混沌时间序列 并进行拟合和预测 人工神经网络是一门高度综合的交叉学科 它 的研究和发展涉及到神经生理科学 数理科学 信息科学 计算机科学等众多领域 人 工神经网络由大量的神经元广泛连接而成 模仿人脑的工作方式 具有分布式存储 并 行处理 自学习 自适应及容错等功能 它在信号处理 模式识别 组合优化等领域取 得了引人注目的成果 在预测领域 它的基本思想是 首先收集数据去训练网络 然后 用神经网络区建立数学模型 进行预测 神经网络可以映射复杂的非线性关系 通过学 习把样本隐含的特征和规律分布于神经网络的连接权上 在实际应用中 神经网络仍然 存在一些有待继续解决的问题 如训练样本的选择 网络结构的确定 算法的改进以及 网络推广能力等方面 相空间重构是混沌时间序列分析的基础 混沌时间序列的预测问题可以理解成动力 系统研究的 逆问题 例如通过股票价格时间序列重构股票市场非线性动力系统 给 定相空间中的一串迭代序列 构造一个非线性映射来表示这一动力系统 此非线性映射 2 中北大学学位论文 就可作为预测模型 将混沌方法和神经网络相结合 有利于发挥二者的优势 从而提高 预报精度 本文将针对混沌时间序列的特点及人工神经网络特有的非线性适应性信息处理能 力 应用遗传算法和b p 算法训练人工神经网络 以此来预测混沌时间序列 并分析该方 法与其他预测方法相比所具有的优点 1 2 常用的预测方法 时间序列预测是根据某一时间点之前的一个时间段内的历史数据来预测此时间点 之后的一段时间内该系统上各种实时数据值 传统的数值预测方法一般要选定某种函 数类建立起具体的数学模型 通过一定的计算技术修正其模型 然后利用该模型进行 预测 这类方法有与其收敛性 适应性及预测精度均受到不同程度的限制 也就是说 任何预测模型都有它自身的优缺点 迄今为止 已经有很多种预测方法 至今还没有 一种既有极高的预测精度 又适用于任何现实问题 研究对象 的预测模型 一般来说 可以把预测方法分为两大类 一类是定性预测也成为直观性预测 另 一类是定量预测 也成为统计预测 定性预测方法主要包括征求专家个人意见 组织 专家会议 头脑风暴法 下面简要的介绍几种常用的定量预测方法 1 2 1 时间序列法 所谓时间序列法 是将预测目标的历史数据按照时间的顺序排列起来的成为时间 序列 然后分析它随时间变化的趋势 外推预测目标的未来值 它分为确定性时间序 列法和随机性时间序列法 单变量时间序列分析源远流长 但是由于计算复杂 所以 发展缓慢 随着电子计算机的问世与发展 1 9 6 8 年美国威斯康辛大学的鲍克斯 b o x 和 詹金斯 j e n k i n s 提出了一套比较完善的时间序列分析和建模理论 以后这种技术便迅速 发展 在过程控制 经济预测 气象预报等方面得到了广泛的应用 成了系统分析技 术中一个引人注目的分支口m 制 故人们称这类模型为b j 模型 这类方法为b j 方法 时 间序列预测方法的基本思想是通过对时间序列的分析研究 找出预测现象的变化特征 及发展规律 并以此进行外推预测 这种方法是基于假设预测对象的变化仅与时间有 关的前提下进行的 它简化了多种外部因素对预测对象的综合作用 使预测更为直接 3 中北大学学位论文 和简便 时间序列预测方法很多 除平滑方法外 较常用的还有 时间回归分析法 以 时间为自变量的回归分析法 趋势线方法 分解方法得鲍克斯 詹金斯方法等 1 2 2 灰色预测 灰色系统理论创立于2 0 世纪8 0 年代 邓聚龙教授在1 9 8 1 年的上海中美控制系统学 术会议上首次提出了 灰色系统 这个词 随后奠定了灰色系统的理论基础嘲 灰色系 统是指既含有已知信息 又含有未知或非确知信息的系统 灰色系统是通过对原始数 据的收集与整理来寻求其发展变化的规律 这是因为 客观系统所表现出来的现象尽 管纷繁复杂 但其发展变化有着自己的客观逻辑规律 是系统整体各功能间的协调统 一 因此 如何通过散乱的数据系列去寻找其内在的发展规律就显得特别重要 灰色 系统理论认为 一切灰色序列都能通过某种生成弱化其随机性而呈现本来的规律 也 就是通过灰色数据序列建立系统反应模型 并通过该模型预测系统的可能变化状态 灰色预测是近年来颇受重视的预测方法 灰色预测是灰色系统理论的一个重要方 面 它利用这些信息 建立灰色预测模型 从而确定系统未来的变化趋势 灰色预测 把预测数据序列看作随时间变化的灰色量或灰色过程 先对原始数据进行整理和处理 通过累加生成和相关生成逐步使灰色量白化 使之呈现一定的规律性 从而建立相应 于微分方程解的动态模型并做出预报 由于灰色预测模型能够根据现有的少量信息进 行计算和推测 因而在人口 经济 能源 气象等许多领域得到了广泛的应用 取得 了较好的效果 目前最常用的灰色预测模型是g m 1 1 模型 它是一种系统综合模型 将某一系统中的动态关系找出 建立一串相互关联的模型 1 2 3 回归分析法 回归分析法是一种应用广泛 理论性较强的定量预测方法 是处理多变量相依关 系的一种统计方法 它是数理统计中应用最为广泛的一种方法之一 它的基本思路是 分析预测对象与有关因素的相互联系 用适当的回归预测模型 即回归方程 表达出来 然后再根据数学模型预测其未来状态 然而在许多实际问题中 由于各种关系错综复 杂 要精确的建立变量间的数学表达式又特别困难 同时很多工程问题的变量之间还 受到其它偶然因素的影响 使它们之间的关系具有不确定性 回归分析方法就是在大 4 中北大学学位论文 量实验观测数据的基础上 找出这些变量之间的内部规律性 从而定量的建立一个变 量和另外多个变量之间的统计裹挟的数学表达式 因此简单地说 回归分析就是研究 一个变量与其它变量间关系的一种统计方法 由于有较严密的理论基础和较成熟的计 算分析方法 所以 如果模型建立得当 则可得到比较精确的预测结果 常用的回归 模型是多元线性回归模型和多元非线性回归模型嘲 7 m 1 该方法是通过自变量来预测因变量 所以自变量的选取和自变量预测值的准确性 是至关重要的 引入过多的自变量不仅会大大增加计算量 还会使模型稳定性变差 把不可靠的自变量预测值引入模型 导致误差累加到响应变量上 造成误差的放大 a r m a 模型是一种比较成熟的模型 适于短期预测 对于建立模型 它要求时间序 列是随机和平稳的 而且需要大量数据 需编写计算机程序进行模型的辨识 1 a r 模型 a r 模型也称为自回归模型 它的预测方式是通过过去的观测值和现在的干扰值的 线性组合预测 自回归模型的数学公式为 x 一9 一1 峭 2 驴 2 岛 1 1 式中 p 为自回归模型的阶数 够0 1 2 p 为模型的待定系数 e 为误差 y 为一个时间序列 2 m a 模型 m a 模型也称为滑动平均模型 它的预测方式是通过过去的干扰值和现在的干扰值 的线性组合预测 滑动平均模型的数学公式为 五 q q q l 0 2 e 一2 一一哆乞1 1 2 式中 q 为模型的阶数 幺0 1 2 q 为模型的待定系数 e 为误差 x 为观测值 3 a r m a 模型 自回归模型和滑动平均模型的组合 便构成了用于描述平稳随机过程的自回归滑 动平均模型a r m a 数学公式为 五 仍 一l q 9 2 x 一2 一2 q 肛 q q q l 一睦q 一2 一 岛q 1 1 3 此方法预测周期短 所用数据单一 无法形成合理的误差估计 所以更加适合于 5 中北大学学位论文 优化控制的短期预测 4 嘲 1 2 4 组合预测法 组合预测在国外称为c o m b i n a t i o nf o r e c a s t i n g c o m b i n e df o r e c a s t i n g 在国内也称为 结合预测 综合预测或复合预测 在预测实践中 对于同一个问题 我们常采用不同的 预测方法 不同的预测方法往往能提供不同的有用信息 如果简单地将预测误差平方和 较大的一些方法舍弃掉 将会丢失一些有用的信息 这是一种浪费 应予以避免 一种 合理的做法是 将不同的预测方法进行适当的组合 形成所谓的组合预测方法 以便综 合利用各种预测方法所提供的信息 尽可能地提高预测精度 这就是组合预测的基本思 想 自j m b a t e s 和c w j g r a n g e r 于1 9 6 9 年首次提出组合预测方法以来 国外关于组合预 测的研究成果层出不穷 我国近十年来也很重视组合预测的研究 取得一系列研究成果 目前 国内外学者在组合预测方面主要提出以下一些方法 即最小方差法 卡尔曼滤波 法 无约束最小二乘法 贝叶斯法 变权组合预测法 递归等权组合预测法 性能优势 矩阵法呻1 上述各种组合预测方法中 理论研究和实际应用较多的是最小方差法及其扩 展 目前关于最小方差法的性质 组合结构特征以及预测误差平方和的取值范围等还研 究的较少 这些问题的解决对于促进组合预测方法的研究具有重要的意义 早在1 9 5 4 年 美国人s c h m i t t 就研究过组合预测方法的简单应用 1 9 6 9 年 j m b a t e s 和c w j g r a n g e r 对组合预测方法进行了比较系统的研究 其研究成果引起了预测学者的 重视 进入7 0 年代以来 组合预测进一步得到重视 1 9 8 9 年 国际预测领域的权威性学 术刊物j o u r a lo ff o r e c a s t i n g 还出版了组合预测专辑 充分说明了组合预测在预测研究中 的重要地位删 我国自1 9 8 1 年开始研究组合预测 研究成果主要发表于 预测 数 量经济技术经济研究 系统工程理论与实践 管理工程学报 和 系统工程理 论方法应用 等学术刊物 采用组合预测的关键是确定各个单项预测方法加权系数 1 2 5 人工神经网络方法 人工神经网络是模拟人脑神经网络的结构与功能特征的一种技术系统 它用大量的 非线性并行处理器来模拟众多的人脑神经元 用处理器间错综灵活的连接关系来模拟人 6 中北大学学位论文 脑神经元间的突触行为 是一种大规模并行的非线性动态系统 在预测领域中应用最广 泛的人工神经网络模型是前向网络模型 即b p 网络模型 由输入层 隐层 输出层组成 可以看成是输入与输出集合之间的一种非线性映射 而实现这种非线性映射关系并不需 要知道研究对象的内部结构 而只要通过对有限多个样本的学习来达到对研究对象内部 结构的模拟n 与传统预测方法相比 它具有高度的非线性运算和映射能力 自学习和 自组织能力 高速运算能力 能以任意精度逼近函数关系 高度灵活可变的拓扑结构及 很强的适应能力等优点 其缺点是把复杂的研究对象看成一个 黑箱 并根据 黑箱 对外来刺激的反应方式来研究它的性质和结构 模型建成后不易修改 不能利用最新的 数据对原有的参数进行修正 预测人员无法参与预测过程 将传统预测方法与神经网络 有机结合起来的综合性预测方法既具有传统方法的优点 又具有神经网络的特长 它一 般适用于中 短期预测 预测精度较高 预测有各种方法 都有一定的科学性 但也都有一定的不足 比如b p 网络是利用内 插值来拟合输入输出之间的关系 我们若用外推预测未来时刻的情况显然是错误的 同 时 这也限制了神经网络的输出 对于未来时刻的真实数值出现大于或小于任何历史值 的时候 b p 网络肯定不能进行正确的预测n 羽 预测是非常重要的 并且越是对于未来不清楚的领域 更需要有预测作为指路 然 而 我们也不能要求预测必然与实际结果完全吻合 这种要求是不可能的 实际上是否 定预测 但是我们要求做预测要有一定的根据 要按照一定的科学方法去做 并且按照 方法本身的局限 说明可能产生的误差范围 这是我们对待预测的基本态度 另一方面 当我们看到一个预测时 一定要弄清楚其根据 其采用的方法和原始数 据 对其科学性要有基本的判断 然后再决定是否采用 或引用 或介绍 而不要看到 一个数字就响应 就欢呼 只要越大越好 越能满足人们的心理期望 科学地对待预测 才能使预测更科学 1 3 神经网络技术的发展 神经网络从诞生半个世纪以来 经历了5 个阶段 1 奠基阶段 早在4 0 年代初 神经生理学 心理学等研究富有成果 神经生物 学家m c c u l l o c h 提倡数字化具有特别意义 他和数学家p i t t s 合作 提出了第一个神经计算 7 中北大学学位论文 模型 简称m p 模型 1 9 4 9 年神经生物学家h e b b 提出了h e b b 学习规则 他给出了突触调节模型 描述了 分布记忆 它后来被称为关联论 h e b b 对神经网络的发展起到了重大的推动作用 至今 仍被人们引证 2 第一次高潮阶段 1 9 5 8 年计算机科学家r o s e n b l a t t 基于m p 模型 增加了学习机制 推广了m p 模型 他提出的感知器模型 首次将神经网络理论付诸工程实现 他还提出 了带隐层处理元件的3 层感知器这一重要的研究方向 并尝试将两层感知器推广到3 层 r o s e n b l a t t 之举激发了许多学者对神经网络研究的极大兴趣 在h e b b 提出了h e b b 学习规 则 r o s e n b l a t t 研制出感知机 p e r c e r t r o n s 之后 神经计算受到了极大的重视 吸引了大 批研究人员参与该领域的研究工作 并取得了一定的进展 形成了首次高潮 3 攻坚阶段 1 9 6 9 年m i n s k y 和p a p e r t 在m l t 出版了一本论著p e r c e r t r o n s 对当时与 感知器有关的研究及其发展产生了恶劣的影响 他证明了感知器不能实现x o r 逻辑函数 问题 也不能实现其它的谓词函数 他认识到感知器式的简单神经网络对认知群不变性 无能为力 同时 以产生式规则为内部表示的专家系统方法展示出灿烂的前景 很长时 间内神经计算的研究处于停滞状态 在此期间 为专家系统服务的知识工程成为了人工 智能研究的主流 4 第二次高潮阶段 随着知识工程的发展 f e i g e n b a u m 等知识工程倡导者意识到 了所谓知识瓶颈问题 即将人类专家的知识转化为机器可执行的规则存在着很大的困 难 而如果机器能够自学习 则可望解决该瓶颈问题 于是 机器学习研究得到了迅猛 的发展 在研究中 研究者们发现 与机械学习 类比学习等学习方式相比 示例学习 是解决知识瓶颈问题唯一可行的方法 k o h o n e n 提出了自组织映射网络模型 映射具有 拓补性质 对一 二维是正确的 通过实例仿真其自适应学习效果显著 但他的自组织 网络的局部与全局稳定性问题还没有得到解决 1 9 8 2 年 h o p f i e l d 详细阐述了网络存储 器模型 他认识到这种算法是将联想存储器问题归结为求某个评价函数极小值的问题 适合于递归过程求解 并引入l y a p u n o v i 垂l 数进行分析 在网络中 节点间以一种随机异 步处理方式相互访问 并修正自身输出值 可用神经网络来实现 h o p f i e l d 利用全互连 型神经网络和计算能量函数成功求解了计算复杂度为n p 完全型的t s p 问题 这充分展示 了神经计算作为一种数值型示例学习方法蕴含的巨大潜力 从此 神经计算成为了一个 8 中北大学学位论文 非常热门的研究领域 1 9 8 2 年h o p f i e l d 向美国科学院提交了关于神经网络的报告 建议收集和重视以前对 神经网络的研究工作 他指出了各种模型的实用性 从此 第二波高潮的序幕拉开了 1 新发展阶段 u c n n 9 1 大会主席r u m c l h a r t 在其开幕词中提到 神经网络的发展 己经到了一个转折的时期 其范围正在不断扩大 其应用领域几乎包括各个方面 多年 来 这门学科的理论和技术基础已达到了一定的规模 成为人工智能两大主流 连接主 义和符号主义 之一 随着研究的深入 目前神经计算研究中存在的问题也逐渐暴露出 来 其中的一些已成为神经计算进一步发展的阻碍 但是 从另一个方面来看 它们也 揭示了该领域下一步应该着重研究的问题 2 神经网络在中国的发展 1 9 8 9 年我国在广州召开了全国第一届神经网络信号处 理会议 1 9 9 0 年我国八个一级学会联合召开了神经网络首届全国学术会议 北京 1 9 9 1 年在南京召开了中国第二届神经网络学术大会 此后 在1 9 9 2 1 9 9 3 1 9 9 4 1 9 9 5 年又 分别召开了第三 四 五 六届神经网络学术大会 从上述各个阶段发展轨迹来看 神经网络理论有更强的数学性质和生物学特征 尤 其是神经科学 心理学和认识科学等方面提出一些重大问题 是向神经网络理论研究的 新挑战 总而言之 神经网络的研究无论是在国际和国内 都受到了空前的关注并引起 了许多领域研究人员的极大兴趣 尤其是进入9 0 年代以来 i e e e 神经网络汇刊问世 各 种专著逐年增加 许多期刊不断推出了研究专辑 可以说 在世界范围内己经形成了研 究神经网络的前所未有的热潮 可以预见 神经网络的研究将会有更大的突破 1 4 神经网络用于非线性预测的研究现状 非线性时间序列的预测研究中 由于神经网络具有的良好非线性品质 极高的拟合 精度 灵活而有效的学习方式 完全分布式的存贮结构以及模型结构的层次性 使它在 预测领域受到了极高的重视 得到了广泛的应用 将神经网络用于预测领域 总的来说 有两种方式 直接预测和非直接预测n 朝 1 直接预测这种方法是利用神经网络的非线性特性去逼近一个时间序列或者一个 时间序列的变型 通过神经网络清晰的逻辑关系 利用过去时刻的值去表达未来时刻的 值 即 9 中北大学学位论文 x t 1 一口o o x t 1 一 x t 一万 1 4 利用神经网络来研究预测问题 理论上主要有三方面的困难n 町n 明 学习算法收敛速度慢 存在局部极小值 网络的结构难于很好地确定 针对这些问题 不少学者进行了研究 提出了一些解决方法 提高算法收敛速度的方法 动态改变学习率 调整s i g m o i d 激励函数的陡度因子 改 进误差函数 动量法 无监督聚类一有监督学习 串联法 采用新的激励函数 避免收敛到局部极小值的方法 模拟退火算法n 钔 从合适的初始权值开始学习n 驯 网络结构的确定一般指隐节点数的确定 主要方法有 经验法 权消去法n 7 1 主成 分分析法n 町 切去法 分布函数法n 9 1 等 要指出的是 虽然不少学者都在努力寻找确定网络最佳结构的方法 但从实际应用 来看 真正取得成功的并不多 在实际应用中 使用最多的仍然是经验法 这种现状同 样是由神经网络的复杂性造成的 在神经网络的应用方面 有更多的学者进行了研究 然而他们的结论却不尽相同 一些研究表明 神经网络要优于传统的预测方法 而另一些研究却得出了与此相反的结 论 a l a p e d e s 和r f a r b e r 利用神经网络模型去预测两个无序的时间序列 结果表明神经 网络模型能学习模仿这类非线性系统 且与传统方法相比 神经网络模型能得到更高的 精度 r r l e i g h t o n 和b c c o n r a t h 提出了一种自回归反传网络模型 他们的研究表明如 果系统的输入是过去的时间序列 则他们的模型与标准的a r m a 模型有同样好的效果 z t a n g 等人用不同的数据将神经网络模型与b o x j e n k i n s 模型进行了比较 结果发现对于 短期预测 b o x j e n k i n s 模型要优于神经网络模型 而对于长期预测 则是神经网络模型 要优于b o x j e n k i n s 模型 还有许多学者也试图利用神经网络模型来进行预测问题的研究 并提出了不同的方 法 大多数结果都表明神经网络模型至少与传统的预测方法具有相同的精度 有些超过 传统的预测方法 从以上看出 不同的研究结果之间似乎存在着矛盾 实际上 造成这些矛盾的原因 与不同的研究采用不同的网络结构有关 此外 数据序列的类型 静态或动态 以及时间 1 0 中北大学学位论文 序列数据间的关系也会对最后的结果产生影响 因此 应针对某一具体问题来评价神经 网络模型的好坏 而不能泛泛地将其与传统的预测方法相比较 在应用方面 目前比较成功的例子是a k h o t a n z a d 等人开发的a n n s t l f 人工神经 网络短期负荷预测器 目前在美国和加拿大有三四十个电力事业部门在使用 a n n s t l f 而且这个数目还在增加 可以说a n n s t l f 是目前在电力事业部门使用最广 泛的神经网络模型 s c h o 等人将神经网络应用于钢铁企业中冷轧机的辊轴压力预测方 面乜 使预测精度提高了3 0 5 0 在经济领域 j v h a n s e n 和r d n e l s o n n 利用神经网 络模型对美国某州1 9 9 7 年的财政状况进行了分析乜别 这方面的文献还有很多 比如国内 的 预测 管理工程学报 系统工程理论与实践 系统工程学西报 等期 刊上也发表了不少用神经网络进行预测的文章 这里就不一一列出了 2 非直接预测 在非直接预测方面 神经网络模型可以帮助人们进行组合预测 早在1 9 6 9 年 b a t e g r a n g e r 提出将由多种预测方法求得的预测结果进行线性组合 其结果比用其中任意 一种方法的所得结果的总体误差要小得多 后来 g r a n g e r t e r a s v i r t a l i s o b a 等人的 研究发现用非线性组合预测将能得到更好的预测结果 利用人工神经网络进行组合预测 是近些年来非线性组合预测研究的一大突破 非线性组合预测是将多种预测方法得到的预测结果进行非线性组合得到一个预测 精度更高的预测结果 即有 无 9 五 i 2 五 1 5 利用一般方法来确定非线性函数妒非常困难 而用神经网络来实现这种非线性函数 关系的映射就容易得多 即以 厶 氕为k 个输入 t 为输出建立一个多层神经 网络来完成非线性组合预测 s c h o 等人利用这种方法对冷轧机的辊轴压力预测进行了 研究 他们分别设计了预测的代用神经网络模型 s n n 和校正神经网络模型 c n n 将 s n n c n n 和传统的预测模型按上述方式进行组合 实验结果显示这种方法在提高预 测精度的同时 预测模型的可靠性也大为增加 另外 s h is h a n m i n g 等研究了神经网络非线性组合预测方法及其在股票价格预测中 中北大学学位论文 的应用 2 3 采用的数据是1 9 6 1 年5 月1 7 日至9 月1 7 日i b m 的股票价格 用a r i m a b r o w n 和t r e n d 种不同的预测方法分别对i b m 股票价格进行了预测 并分别用等权重和最小方 差两种线性组合预测方法进行了组合预测 结果表明线性组合预测的结果比所有的单一 的预测方法的结果要准确 而神经网络非线性组合预测的结果要比线性组合预测的结果 有更高的准确性 近来 依据式 1 5 非线性组合预测的原理 董景荣提出了基于小波神经网络的非 线性组合预测方法口钔 其研究表明基于小波神经网络的非线性组合预测方法比一般的神 经网络预测方法具有更好的效果 在科学技术和社会高速发展的今天 越来越多的问题 具有系统的复杂性 时变性 和模糊性等特点 这使得传统的预测方法越来越难解决现实的问题 一个 好 的模型 不仅能表达现实而且应该能准确的反映现实的发展规律 时至今日 预测模型已多达一 百余种 常用的也有二三十种 人工神经网络不仅具有较强的自学习能力 而且还有很 好的容错性 扩展性等 可以预料神经网络系统理论将会不断发展和完善 新的神经网 络预测方法不断产生 实现更加实用的现代预测系统 给我们带来巨大的经济效益 1 5 本文主要内容与结构 本文主要研究遗传神经网络在混沌时间序列预测中的应用 全文内容与结构如下 第一章 简要介绍了非线性时间序列和常用的预测方法 人工神经网络的发展历史 应用领域及人工神经网络用于非线性预测的研究现状 概括本文主要内容与结构 第二章 介绍b p 神经网络的模型结构及其算法 在介绍生物神经元的基础上 介绍 了人工神经网络的特点 b p 神经网络的数学模型 基本学习算法和神经网络工具箱等 第三章 介绍遗传算法的基本结构 遗传算子 基本算法和遗传算法工具箱及用遗 传算法对b p 网络进行优化的过程 第四章 遗传神经网络应用于混沌时间序列预测的研究 本章从数据预处理 遗传 神经网络的实现 短期预测几个方面作了讨论 并且应用于太阳黑子的预测 取得了预 期的效果 结论与展望 本人在研究中所作的工作主要为 1 2 中北大学学位论文 1 对数据进行分析之前先做预处理 利用p r e m x m 压缩数据 再利用小波分析实现 了连续混沌时间序列的去噪 2 分析了混沌时间序列的性质 应用嵌入维数和l y a p u n o v 指数 给出了混沌时间 序列可预测的条件及误差限制 法 3 利用遗传神经网络对混沌时间序列进行了预测 并给出了改进的b p 网络训练方 4 应用遗传神经网络于太阳黑子的预测 取得了预期的效果 1 3 中北大学学位论文 2 1 神经网络概述 第二章b p 网络研究及应用 神经网络是由许多并行运算的功能简单的单元组成 这些单元类似于生物神经系统 的单元 神经网络是一个非线性动力学系统 其特色在于信息的分布式存储和并行协同 处理 虽然单个神经元的结构极其简单 功能有限 但大量神经元构成的网络系统所能 实现的行为却是丰富多彩的 和数字计算机相比 神经网络系统具有集体计算的能力和 自适应的学习能力 此外 它还具有很强的容错性和鲁棒性 善于联想 综合和推广 一般而言 神经网络是一个并行和分布式的信息处理网络结构 一般由许多个神经 元组成 每个神经元只有一个输出 它可以连接到很多其他的神经元 每个神经元输入 有多个连接通路 每个连接通路对应于一个连接权系数 严格地说 神经网络是一个具 有下列性质的有向图 1 每个节点有一个状态变量x 2 节点f 到节点j 有一个连接权系数w 3 每个节点有一个阈值0 4 每个节点定义一个变换函数正k w j 口 o 一伽 最常见的情形为 厂 毛一p 神经网络可以分为四种类型 即前馈型 反馈型 随机型和自组织竞争型 前向型 网络是诸多网络中广为应用的一种网络 它是一种通过改变神经元非线性变换函数的参 数以实现非线性映射 其代表性的模型是多层映射b p 网络 径向基网络 r b f 网络 h o 呻e l d 神经网络是反馈型网络的代表 它是一个非线性动力学系统 已在联想记忆和 优化计算中得到成功应用 模拟退火 s a 算法f j q b o l t z m a n n 机是随机型网络 自组织竞 争型网络的特点是能识别环境的特征 并自动聚类 因此利用这些网络模型可实现函数 逼近 数据聚类 模式分类 优化计算等功能 因此 神经网络广泛用于人工智能 自 动控制 机器人 统计 预测等领域的信息处理中乜引 1 4 中北大学学位论文 2 2b p 网络概述 b p 网络是一种多层前馈神经网络 其神经元的变化函数是s 型函数 因此输出量为0 到1 之间的连续量 它可以实现从输入到输出的任意的非线性映射 由于权值的调整采 用反向传播 b a c kp r o p a g a t i o n 的学习算法 因此也常称为b p 网络 在确定了b p 网络的结 构后 利用输入输出样本集对其进行训练 也即对网络的权值和阈值进行学习和调整 以使网络实现给定的输入输出映射关系 经过训练的b p 网络 对于不是样本集中的输入 也能给出合适的输出 这种性质称为泛化 g e n e r a l i z a t i o n 功能 从函数拟和的角度看 这说明b p 网络具有插值功能 目前 在人工神经网络的实际应用中 绝大部分的神经网络模型是采用b p 网络和它 的变化形式 它是前向网络的核心部分 并体现了人工神经网络最精华的部分 b p 网络主要用于 1 函数逼近 用输入矢量和相应的输出矢量训练一个网络逼近一个函数 2 模式识别 用一个特定的输出矢量将它与输入矢量联系起来 3 分类 把输入矢量所定义的合适方式进行分类 4 数据压缩 减少输出矢量维数以便于传输或存储 2 2 1b p 神经元模型 一个基本的b p 神经元 它具有一个输入 每个输入都通过一个适当的权值w 与下一 层互连 网络输出可表示成y l w p b b p 网络中隐层神经元的传递函数通常是正切s i 舯o i d 型函数t a n s i g 也可以采用对数 s i g m o i d 型函数l o g s i g 在某些特定的情况下 还可能采用纯线性函数p u r e l i n t a n s i g i 丞l 数 表达式为t锄啦 矽 去箬 logsig函数表达式为删 五 purelie n 函数表达式为 l l e p u r e l i n x 一x t a n s i g i 至i 数将神经元的输入范围 一 映射到 一l 1 它是可微函数 l o g s i g 函数 是将神经元的输入范围 一 o o 映射到 0 1 它也是可微函数 见图2 1 1 5 中北大学学位论文 j l 2 二 一一一二夕 o 一 i 2 2 2b p 网络的网络结构 j jl 一纩 1 盛 o 1 图2 1t a n s i g 和l o g s i g 的函数图像 b p 网络通常有一个或多个隐层 隐层中的神经元均采用s i 舯o i d 型变换函数 输出 层的神经元采用纯线性变换函数 图2 2 描述了一个具有一个隐层的b