（通信与信息系统专业论文）神经网络预测研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 神经网络自开创以来一直深受许多学者的重视，并广泛运用于各种领域 取得了辉煌的成就。预测是神经网络的又一个重要应用领域，这是因为神经 网络具有优良的非线性特性，特别适用于高度非线性系统的处理。所以基于 神经网络的智能预测是解决非线性预测问题的有效方法，为预测理论开辟了 新的广阔发展空间。 本文主要针对神经网络预测理论的研究以及在某些方面的应用做了以下 工作： 第一章首先介绍了时间序列基本理论，分析了各种预测理论，论述了神 经网络预测理论的国内外的研究现状及背景，最后着重阐述了神经网络预测 理论研究的意义和目的。第二章对神经网络的特点和发展作了总体上的论述， 详细说明了神经网络的工作机理，并对神经网络的互连方式作了较详细说明。 在第三章中，论述了神经网络预测理论，并提出了一种改进的确定b p 网络结 构的算法和一种加速收敛的改进算法。 第四章中，首先针对混沌以及混沌时间序列豹特性进行了概述。然后讨 论了将神经网络用于混沌时间序列预测的可行性，并结合混沌时间序列的特 性，提出了用改进的算法来确定b p 网络结构，并用一种改进的算法对混沌时 间序列进行了单步与多步预测，进行了仿真分析比较，验证了混沌时间序列 特性和改进算法的有效性。在第五章，首先介绍了闪光焊的基本原理，然后 论述了样本集选取的原则并针对所采集的数据特点选取了相应的样本集，接 着对数据源进行了分析，提出了相应算法来确定数据特征，并针对其中的异 常数据用改进算法进行了相应处理，然后结合数据源的特征提出了一种改进 的归一化方法，最后用改进的b p 算法建立了闪光焊焊接接头质量在线预测模 型，仿真结果表明本文采用的方法是有效的。 在本文最后给出了结论以及待迸一步研究的若干问题。 关键词：神经网络，预测，时间序列，混沌，质量预测 西南交通大学硕士研究生学位论文第l i 页 a b s tr a c t n e u r a ln e t w o r k ( n n ) h a sb e e nd e e p l ya p p r e c i a t e db ym a n ys c h o l a r s n o wi ti s u s e dw i t hg r e a ts u c c e s si nm a n yf i c l d s p r e d i c t i o ni so n eo ft h ei m p o r t a n t a p p l i c a t i o nf i e l d so fn n m o s to ft h eg e n e r a lp r e d i e t i n gm e t h o d sa r eb a s e do n i i n e a ra n a l y s i s w h e ni tc o m e st on o n l i n e a rt h e ym e tm a n yd i f f i c u l t i e s w h i l en n i sc o m p e t e n tf o rn o n l i n e a rp r o c e e d i n gf o ri t se x c e l l e n tn o n 1 i n e a rc h a r a c t e r p r e d i c f i n gm e t h o d sb a s e do nn ne x t e n dt h es p a c eo f p r e d i c f i n gr e s e a r c h t h ef o l l o w i n ga r ew h a tt h i sp a p e rh a sd o n ei nt h ef i e l do fn e u r a ln e t w o r k p r e d i c t i o na n di t sa p p l i c a t i o n i nt h ec h a p t e ro n e ，t h et h e o r yo ft i m es e r i e sa n dk i n d so fp r e d i c t i o nt h e o r ya r e b r i e f l yi n t r o d u c e d i tp r e s e n t st h el a t e s td e v e l o p m e n ta n db a c k g r o u n do ft h e w o r l d s ，e s p e c i a l l ye x p o s e st h es i g n i f i c a t i o na n dp u r p o s eo fn e u r a ln e t w o r k p r e d i c t i o nr e s e a r c h 1 1 1 cc h a p t e rt w od i s c u s s e st h ec h a r a c t e r i s t i ca n dd e v e l o p m e n t o f n n i td e c l a r e so p e r a t i o n a lp r i n c i p l ea n di n t e r c o n n e c t i o nm e d eo f n ni nd e t a i l i nt h ec h a p t e rt h r e e ，i ta n a l y s e sn e u r a ln e t w o r kp r e d i e t i o nr e s e a r c h ，t h e np r e s e n t s a ni m p r o v e da l g o r i t h mo fc , o n f l t n lb pn e t w o r ka n da ni m p r o v e da l g o r i t h mo f a c c e l e r a t i o nc o n v e r g e n c eo no n ep r e d i c t i o no b j e c t i nt h ec h a p t e rf o u r , i tf i r s t l yo v e r v i e w st h ec h a r a c t e r i s t i co fc h a o sa n dc h a o t i c t i m es e r i e s t h e nd i s c u s s e st h ef e a s i b i l i t yo fc h a o t i ct i m es e r i e so nn n d u et ot h e c h a r a c t e r i s t i co fc h a o t i ct i m es e r i e s i tp r e s e n t sa ni m p r o v e da l g o r i t h mt oc o n f i r m b pn e t w o r k i tf m a l l yg i v e ss i m u l a t i o n a n a l y s i su s i n gi m p r o v e da l g o r i t h mo n s i n g l es t e pa n dm u l t i s t e pp r e d i c t i o n a n dv a l i d a t 馏t h ec h a r a c t e r i s t i co fc h a o t i c t i m es e r i e sa n dt h ev a l i d i t yo fi m p r o v e da l g o r i t h m i nt h ec h a p t e rf i v e i tf i r s t l y i n t r o d u c e sf l a s hw e l d i n g , a n dt h e nd i s c u s s e st h ep r i n c i p l eo fs a m p l es e ts e l e c t i o n i ts e l e c t sc o r r e s p o n d i n gs a m p l es e ti nv i r t u eo fa c q u i r i n gd a t aa n da n a l y s e sd a t a s o n r c e i td e t e r m i n e sd a t ap r o p e r t i e sa n dd e a l s 谢t ha b n o r m a ld a t a i tp r e s e n t sa n i m p r o v e dn o r m a l i z a t i o nm e t h o da c c o r d i n gt ot h ec h a r a c t e ro fd a t as o u r c e f i n a l l y i tb u i l d saq u a l i t yp r e d i c t i o nm o d e lo n l i n eo fw e l d i n gc o n n e c t o ri na ni m p r o v e d b pa l g o r i t h m t h es i m u l a t i o nr e s u l th a sp r o v e dt h ev a l i d i t yo ft h em e t h o dt h i s p a p e rd i s c u s s e s i nt h ee n dt h ep a p e rd r a w ss o m ec o n c l u s i o n s i tl i s t sm a n yo fp r o b l e mu n s o l v e d a n dp r e d i c t st h ed e v e l o p m e n to f t h eb r a n d k e y w o r d s ：n e u r a ln e t w o r k ；p r e d i c t i o n ：t i m es e r i e s ；c h a o s ；q u a l i t yp r e d i c t i o n 西南交通大学硕士研究生学位论文第1 页 第一章绪论 1 1 时间序列预测基本理论 时间序列是一组观测的数据序列，通常是按时间顺序排列。在现实生活 中，大量的数据集之中的数据都带有时间特征，时间序列随处可见，例子 如股票每天的收盘价、某地区的月降雨量、网络流量等。这里所说的时间 序列是指狭义上的时间序列，其序列元素是数值型的。广义上的时间序列 可以是任何按时间顺序排列的一组数据。本文研究对象主要是狭义上的时 间序列。 数据预测是根据某一时间点以前的一个时间段内的各种历史数据，来 预测此时间点后的段时间内该系统上各种实时数据值。传统的数值预测 方法一般要选定某种函数类建立起具体的数学模型，通过一定的计算技术 修正数学模型，然后利用该模型进行预测。这类方法由于其收敛性、适应性 及预测精度均受到不同程度的限制，而且对于各种复杂的随机因素缺乏内 部平衡机制。因此，其应用受到限制。 对时间序列数据进行分析，从中获取所蕴涵的关于生成时间序列的系 统的演化规律。以完成对系统的观测及其未来行为的预测，这在工程应用 具有重要的价值和意义。 在1 9 2 0 年以前，预测主要是通过在时域内做全局拟合进行简单的外推。 1 9 2 7 年，y u l e 发明了自回归技术用于太阳黑子数的预测。在模型中，他用 序列中的前面的观测值的加权之和来预测下一时序值。在接下来的5 0 年里， 这种白噪声驱动的线性模型在时序预测领域一直占据统治地位“1 。 由于实际应用中时间序列具有不规则，混沌等非线性特征，使预测系 统未来的全部行为几乎不可能，对系统行为的精确预测效果也难以令人满 意。随着计算机科学的发展，两个关键的突破出现在1 9 8 0 年左右。第一个 发展是状态空间重建技术。这种技术基于微分拓补理论和动力学系统理论， 用于判断时间序列是否是由确定性系统产生并了解观测到的系统行为下蕴 涵的系统几何特征，也可用于线性或非线性的时间序列的预测。另一个发 西南交通大学硕士研究生学位论文第2 页 展是以神经网络为代表的机器学习的出现。1 。现在，神经网络已经成为时间 序列预测的一种重要手段。 近2 0 年来，非线性技术在时间序列分析和预测中获得了很大的发展。 其中可分为两类：全局法和局限法。由于全局法要求合理选择带参数的映射， 以使给定的时间序列可以尽可能的重现，其中神经网络法近来发展很快，而 其它大量的非线性函数也同样用于构造非线性全局法。而局域非线性预测 法是基于邻域搜寻，此方法是由l o r e n z 在天气预报预测中首次提出的，其后 在非线性动力系统中得以改进。但是，基于领域搜索预测法的发展主要是用 于一维时间序列，而事实上，不只有一个方面的数据可以获得，同时可能获 得几个方面的数据，很显然，多维数据比一维数据可提供更多的信息，这种 信息往往是不能被忽略的。 为发现时间序列中的异常模式，一般采取两种方法，一种是将时间序列 分成等长的子序列，然后将子序列映射为n 维空间中的点，最后采用基于距 离的检测算法发现异常。另一种方法是从时间序列中抽取特征，通过计算特 征序列问的距离来发现异常。如a r ( 自回归) 模型及其改进的a p j i a ( 自回归 滑动平均) 模型，模型表示法的一个缺点是事先要假定某个模型，而实际上， 用户很难确定所要分析的时间序列服从什么模型。 时间序列分析的目的可以概括为四个方面：描述、推断、预报和控制。 描述就是通过对数据的分析建立适当的数学模型来描述产生数据的随机机 制。推断是根据某一随机机制所产生的数据，分析判断它是否具有某些指 定的属性，或者由多个不同计算机工程与应用的时间序列，分析不同的随 机机制是否具有相同的属性。为此，必须假设可用适当的一类模型来描述 产生观测数据的随机机制。预报是利用时间序列的相关性，预报随机机制 在未来时刻的取值。控制是对某一随机机制( 或多个随机机制) 的一段观 测数据的分析，寻求对某些量的控制，以达到优化目的。 1 2 预测学简介 自古以来，人们对自然界和社会的发展趋势以及发展前景的探测及描 述，无论它是否科学，一直存在于人类活动的各个领域之中。从第二次世 界大战以来，由于科学技术的飞速发展，为人类社会带来了许多新事物， 西南交通大学硕士研究生学位论文第3 页 新问题，使人们越来越关心未来可能出现的前景。因为人类社会面临着越 来越复杂的决策问题，人们已深刻认识到科学她研究和预测未来的必要性 和迫切性。要想有正确的决策，就必须先要有科学的预测。预测学正是在 这样的客观环境下产生和发展起来的。促使预测学形成和发展的另一个原 则是科学技术的发展为预测学提供了有效和可靠的科学预测手段。从二十 世纪四十年代开始，直到七十年代末，终于形成了一门自成体系，有现实 感的综合性学科。它是社会科学和自然科学的交叉学科。 预测学以预测活动，也就是以研究社会和科学技术发展变化规律的活 动为对象，并根据社会和科技的发展规律，预报社会和科学技术在未来的 发展变化。这门新兴的学科，运用科学的工具方法，根据事物的发展规律， 对社会，经济，科学，技术，军事等各方面的发展变化做出预测，同时估 计出这种变化对未来可能产生的影响，设计应变的对策和行动方案。 预测学除了有它独特的研究对象以外，还具备两个条件：一个是科学 的理论基础，另一个是科学的预测方法。这两个条件使预测学具有很强的 社会功能。它主要有以下五个功能： 第一，未来研究和预测是为决策服务的；第二，它能够获得尽可能大 的经济效益：第三，它能够探测科学技术的发展趋势，帮助人们确定需要 发展的重点；第四，它可以促进各个学科和领域间的合作，有利于促进科 学技术和社会经济发展的统一；第五，它可以监视和发现事物未来发展过 程中的新问题，新情况。为了更好地发挥预测学的社会功能，各国的预测 学家们都在积极地从事未来研究和预测工作，并已在许多领域中获得了引 人注目的成果。 1 3 基于神经网络的预测理论研究现状及意义 预测就是根据过去和现在的信息预测未来，也就是说在一定的理论指 导下对事物未来一段时间内的发展趋势、方向和可能的状态做出合理的在 允许误差范围内的推断。传统预测方法如时间序列a l l 模型或a r m a 模型 般都是基于线性模型的假设而建立，而实际中事物发展大多都是星非线性 发展，近年人工神经网络理论的不断发展和完善为预测提供了一种新的方 法。 西南交通大学硕士研究生学位论文 第4 页 人工神经网络是一门高度综合的交叉学科，它的研究和发展涉及到神 经生理科学、数理科学、信息科学和计算机科学等众多学科领域。它在信 号处理、模式识别、目标跟踪、机器人控制、专家系统、组合优化、网络 管理等众多领域的应用中获得了引人注目的成果在预测领域，1 9 8 7 年 l a p e d e s 和f a r b e r 首先应用神经网络进行预测，开创了人工神经网络预测的 先河用人工神经网络预测，其基本思想是：首先收集数据去训练网络，然后 用人工神经网络的算法去建立数学模型，进行预测。 与传统的预测方法相比，人工神经网络预测不需要预先确定样本数据 的数学模型，仅通过学习样本数据即可以进行相当精确的预测，因此具有 许多优越性如可以监视生产过程，能确定因果关系，其精度比一般统计方 法高等。由于人工神经网络具有实时联机的优越性，应用人工神经网络将比 一般用计算机进行预测的联合生产技术大为节省。另外，用人工神经网络方 法进行计算的复杂性和计算量也均低于一般统计方法。通常，大家往往采 用b p 神经网络和r b f 以及它们的改进算法进行预测。 目前，将神经网络与数据库、神经网络、模糊理论、专家系统、数据 挖掘等智能技术结合起来，构成新型综合神经网络系统，可弥补单一技术的 不足，这是智能化发展的趋势，而且具有极大的理论和实际意义，并能给工 农业生产带来巨大的经济效益。 1 4 本文研究的主要内容 课题的研究对象是神经网络预测理论及其在混沌时间序列预测和焊接 接头质量在线预测的应用，主要内容如下： 1 、介绍了各种预测理论的主要内容与特点并着重探讨了神经网络的基 本理论。 2 、研究了混沌动力系统的特性及混沌序列的特征，并针对混沌时间序 列的特点以及神经网络的特性，用改进的神经网络算法以及网络结构对混 沌时间序列进行了单步与多步预测，并与传统的b p 算法进行了比较，验证 了混沌时间序列的特性和改进算法的有效性。 3 、介绍了钢轨焊接工艺的基本原理，在此基础上总结了适合钢轨闪光 焊的质量检测方法和预测控制方法，按照样本集选取的原则，对样本集进 西南交通大学硕士研究生学位论文第5 页 行了选取分析，并针对所采集的数据特点进行了改进的归一化处理，对异 常数据也用改进的方法进行了相应处理。 4 、由于钢轨闪光焊系统是一个高度非线性、多变量耦合的系统，因此 将改进的b p 算法对其建立了在线质量预测模型，取得了较好的效果。 西南交通大学硕士研究生学位论文第6 页 第二章人工神经网络 2 1 人工神经网络的发展简史 神经网络从诞生半个世纪以来，经历了5 个阶段： ( i ) 奠基阶段。早在4 0 年代初，神经生理学，心理学等研究富有成 果。神经生物学家m c c u l l o c h 提倡数字化具有特别意义。他和数学家p i t t s 合作，提出了第一个神经计算模型，简称m p 模型。 1 9 4 9 年神经生物学家h e b b 提出了h e b b 学习规则。他给出了突触调节模 型，描述了分布记忆，它后来被称为关联论。h e b b 对 申经网络的发展起到 了重大的推动作用，至今仍被人们引证。 ( 2 ) 第一次高潮阶段。1 9 5 8 年计算机科学家r o s e n b l a t t 基于m p 模型， 增加了学习机制，推广了m p 模型。他提出的感知器模型，首次将神经网络 理论付诸工程实现。他还提出了带隐层处理元件的3 层感知器这一重要的 研究方向，并尝试将两层感知器推广到3 层。r o s e n b l a t t 之举激发了许多 学者对神经网络研究的极大兴趣，在h e b b 提出了h e b b 学习规则、 r o s e n b l a t t 研制出感知机( p e r c e p t r o n ) 之后，神经计算受到了极大的重 视，吸引了大批研究人员参与该领域的研究工作，并取得了一定的进展。 形成了首次高潮。 ( 3 ) 攻坚阶段。1 9 6 9 年m i n s k y 和p a p e r t 在m i t 出版了一本论著 p e r c e r t r o n s ，对当时与感知器有关的研究及其发展产生了恶劣的影响。他 证明了感知器不能实现x o r 逻辑函数问题，也不能实现其它的谓词函数。 他认识到感知器式的简单神经网络对认知群不变性无能为力。同时，以产 生式规则为内部表示的专家系统方法展示出灿烂的前景，很长时间内神经 计算的研究处于停滞状态。在此期间，为专家系统服务的知识工程成为了 人工智能研究的主流。 ( 4 ) 第二次高潮阶段。随着知识工程的发展，f e i g e n b a u m 等知识工程 倡导者意识到了所谓知识瓶颈问题，即将人类专家的知识转化为机器可执 行的规则存在着很大的困难，而如果机器能够自学习，则可望解决该瓶颈 问题。于是，机器学习研究得到了迅猛的发展。在研究中，研究者们发现， 西南交通大学硕士研究生学位论文第7 页 与机械学习、类比学习等学习方式相比，示例学习是解决知识瓶颈问题唯 一可行的方法。k o h o n e n 提出了自组织映射网络模型，映射具有拓补性质， 对一，二维是正确的，通过实例仿真其自适应学习效果显著。但他的自组 织网络的局部与全局稳定性问题还没有得到解决。1 9 8 2 年，h o p f i e l d 详细 阐述了网络存储器模型，他认识到这种算法是将联想存储器问题归结为求 某个评价函数极小值的闯题，适合于递归过程求解，并引入l y a p u n o v 函数 进行分析。在网络中，节点间以一种随机异步处理方式相互访问，并修正 自身输出值，可用神经网络来实现。h o p f i e l d 利用全互连型神经网络和计 算能量函数成功求解了计算复杂度为n p 完全型的t s p ( t r a v e l l i n g s a l e s m a np r o b l e m ) 问题。这充分展示了神经计算作为一种数值型示例学 习方法蕴含的巨大潜力。从此，神经计算成为了一个非常热门的研究领域。 1 9 8 2 年h o p f i e l d 向美国科学院提交了关于神经网络的报告，建议收集和 重视以前对神经网络的研究工作，他指出了各种模型的实用性。从此，第 二波高潮的序幕拉开了。 ( 1 ) 新发展阶段。i j c n n 9 1 大会主席r u m e l h a r t 在其开幕词中提到， 神经网络的发展已经到了一个转折的时期，其范围正在不断扩大，其应用 领域几乎包括各个方面。多年来，这门学科的理论和技术基础已达到了一 定的规模，成为人工智能两大主流( 连接主义和符号主义) 之一。随着研 究的深入，目前神经计算研究中存在的问题也逐渐暴露出来，其中的一些 已成为神经计算进一步发展的阻碍。但是，从另一个方面来看，它们也揭 示了该领域下一步应该着重研究的问题。 ( 2 ) 神经网络在中国的发展。t 9 8 9 年我国在广州召开了全国第一届神 经网络一信号处理会议。1 9 9 0 年我国八个一级学会联合召开了神经网络首届 全国学术会议( 北京) 。1 9 9 1 年在南京召开了中国第二届神经网络学术大会。 此后，在1 9 9 2 ，1 9 9 3 ，1 9 9 4 ，1 9 9 5 年又分别召开了第三，四，五，六届神 经网络学术大会。 从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生 物学特征，尤其是神经科学，心理学和认识科学等方面提出一些重大问题。 是向神经网络理论研究的新挑战。 总而言之，神经网络的研究无论是在国际和国内，都受到了空前的关 注并引起了许多领域研究人员的极大兴趣。尤其是进入9 0 年代以来，i e e e 神经网络汇刊问世，各种专著逐年增加，许多期刊不断推出了研究专辑。 西南交通大学硕士研究生学位论文 第8 页 可以说，在世界范围内已经形成了研究神经网络的前所未有的热潮。可以 预见，神经网络的研究将会有更大的突破。 2 。2 人工神经网络的基本特点 人工神经网络的以下特性是非常重要的0 1 ： ( 1 ) 并行分布处理。人工神经网络的知识存储容量很大。在神经网 络中，知识与信息的存储表现为神经元之问分布式的物理联系。它分散地表 示和存储于整个网络内的各神经元及其连线上，每个神经元及其连线只表示 特定一部分信息，而不是一个完整具体概念，只有通过各神经元的分布式综 合效果才能表达定的概念和知识。正因为神经网络的功能分布在多个处理单 元里，它们的并行活动，就会大大提高神经网络的信息处理速度。且知识的 存储不是在特定的存储单元里，而是在整个系统里。 ( 2 ) 非线性映射。这一特性源于其近似非线性映射能力。人工神经 网络同现行的计算机不同。是一种非线性的处理单元。只有当神经元对所有 的输入信号的综合处理结果超过某一门限值后才输出一个信号。因此神经网 络是一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的 以线性处理为基础的数字电子计算机的局限，从而给处理非线性问题带来新 的希望，标志着人们智能信息处理能力和模拟人脑智能行为能力的一大飞 跃。 ( 3 ) 通过训练进行学习。神经网络通过所研究的过去的数据记录进 行训练。一个经过适当训练的神经网络具有归纳全部数据的能力。因此神经 网络能解决那些由数学模型难以处理的问题。由于人工神经网络中神经元个 数众多以及整个网络存储信息容量的巨大。使得它具有很强的不确定性信息 处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联 想思维存在于记忆中的事物的完整图像。只要输入的模式接近子训练样本， 系统就能给出正确的推理结论。 ( 4 ) 适应与集成。神经网络的强适应和信息融合能力使它可以同时 输入大量不同的控制信号，解决输入信息间的互补和冗余问题，实现信息集 成和融合处理。由于人工神经网络中神经元个数众多以及整个网络存储信息 容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完 全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的 西南交通大学硕士研究生学位论文第9 页 完整图像。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。 2 3 人工神经网络的工作机理 神经元网络对信息的处理是由大量的神经元共同完成的，是一种集合 的功能：与之相适应的是信息的分布式存储和联想记忆的存取方式。网络 由这些不同层次的节点集合组成，信息在节点之间传递，并且由于节点问 连接权值的不同而被放大、衰减或抑制。在整个网络系统中，隐层起着决 定性作用。它把输入样本的特征形成更接近于输出模式的概念。 人工神经网络的动力学过程分为两个阶段：学习阶段和工作阶段。在 学习阶段中，将经过选择的学习样本以( 输入，输出) 样本对的形式依次 加在初始权值随机设定的网络中。当样本输入通过网络所产生的实际输出 与期望的样本输出有差别时，根据这种计算偏差按一定的算法调整人工神 经网络的权值及结构，直至网络实际输出与期望输出完全相同或充分接近 为止。由于按一个( 输入，输出) 样本对学习调整好的权值不一定满足其 他( 输入，输出) 样本对的要求，所以需要反复地输入所有学习样本对进 行学习。学习过程也称为整个动力学过程中的慢过程。 学习阶段结束后，人工神经网络进入工作阶段。此时连接权固定，已 达到某种稳定状态。神经网络根据输入模式，计算出相应的输出模式。这 一计算过程也称为快过程。 人工神经网络的学习过程，是网络通过自组织调整权值以达到某种期 望目的的自适应过程。根据学习时有无教师( 即学习样本) 示教，可分为 有监督学习( s u p e r v i s e dl e a r n i n g ) 和无监督学习( u n s u p e r v i s e d l e a r n i n g ) 两大类。有监督学习又可分为纠偏型学习( c o r r e c t i v el e a r n i n g ) 和增强型学习( r e i n f o r c e m e n tl e a r n i n g ) 两类。如只根据输入样本能否 使网络产生所期望的输出，也就是根据布尔值“真”或“假”来判定是否 修改权值，称之为增强型学习：如要根据输出偏差的大小来修正权值，则 称之为纠偏型学习。 西南交通大学硕士研究生学位论文第，0 页 2 4 人工神经网络的结构 神经网络的结构是由基本处理单元及其互连方法决定的。 2 4 1 人工神经元 连接机制结构的基本处理单元与神经生理学类比往往称为神经元“3 。 每个神经元模型模拟一个生物神经元，如图2 1 所示。该神经元单元由多 个输a x , ，i = l ，2 ，行和一个输出y 组成。中间状态由输入信号的权和表 示，而输出为 y j ( t ) = ，( b t 一哆) ( 2 - 1 ) 式中，g 为神经元单元j 的偏置( 阙值) ，w 。为神经元，到神经元j 的连接权值，薯为输入，0 为激励函数。 y 图2 - 1 人工神经元模型 激励函数可为线性函数，但也可为非线性函数。常用的激励函数有阶 跃函数，s i g m o i d 函数，反正切函数，双曲正切函数等等陶。 2 4 2 人工神经网络的互连方式 神经网络中由许多处理单元互连而形成的互连模式反映了神经网络的 结构，它决定着这个网络的能力。神经网络的结构规定且制约着神经网络 的性质与信息处理能力的大小，限制着神经网络系统能力的范围。 神经网络的结构也是| 9 宜着研究的不断深入而不断完善的。根据连接方 式的不同，神经网络可分为以下几种类型“1 ： ( 1 ) 前向网络。神经元分层排列，分别组成输入层、中间层( 也称 为隐含层，可以有若干层) 和输出层。每一层的神经元只接受来自前一层 西南交通大学硕士研究生学位论文 第1 1 页 神经元的输入。后面的层对前面层没有信号反馈。输入模式经过各层次的 顺序传输，最后在输出层上得到输出。感知器和误差反向传播算法所采用 的网络均属于前向网络类型。如图2 2 所示。 图2 - 2前向网络 ( 2 ) 有反馈的前向网络。从输出层对输入层有信息反馈。这种网络可以 用来存储某种模式序列，如神经认知机即属此类。如图2 3 所示 图2 - 3有反馈的前向网络 西南交通大学硕士研究生学位论文 第12 页 图2 - 4层内有相互结合的前向网络 ( 3 ) 层内有相互结合的前向网络。通过层内神经元的相互结合，可以 实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能 同时动作的神经元数，或者把每层内的神经元分成若干组，让每组作为一 个整体来运作。如图2 - 4 所示。 ( 4 ) 相互结合型网络( 包括全互联和部分互连类型) 。这种网络在任意 两个神经元之间都可能有连接。h o p f i e l d 网络和b o l t z m a n n 机均属于这种 类型。在无反馈的前向网络中，信号一旦通过某个神经元，该神经元的处 理过程就结束了。而在相互结合网络中，信号要在神经元之间反复传递， 网络处于一种不断改变状态的动态之中。从某初始状态开始，经过若干次 的变化，才会达到某种平衡状态。根据网络的结构和神经元的特性，网络 的运行还有可能进入周期振荡或其他如混沌等平衡状态。如图2 - 5 所示。 西南交通大学硕士研究生学位论文第1 3 页 图2 5 相互结合型网络 西南交通大学硕士研究生学位论文第1 4 页 第三章基于神经网络的预测理论 3 1 几种常用的时间序列预测方法 时间序列预测是根据某一时间点以前的一个时间段内的各种历史数据， 来预测此时间点后的一段时间内该系统上各种实时数据值。传统的数值预 测方法一般要选定某种函数类建立起具体的数学模型，通过一定的计算技 术修正数学模型，然后利用该模型进行预测。这类方法由于其收敛性、适应 性及预测精度均受到不同程度的限制，而且对于各种复杂的随机因素缺乏 内部平衡机制。因此，其应用受到限制。 对时间序列数据进行分析，从中获取所蕴涵的关于生成时间序列的系 统的演化规律，以完成对系统的观测及其未来行为的预测，这在工程应用 具有重要的价值和意义。 在1 9 2 0 年以前，预测主要是通过在时域内做全局拟合进行简单的外推， 1 9 2 7 年，y u l e 发明了自回归技术用于太阳黑子数的预测。在模型中，他用 序列中的前面的观测值的加权之和来预测下一时序值。在接下来的5 0 年里， 这种白噪声驱动的线性模型在时序预测领域一直占据统治地位旧。 由于实际应用中肘阎序列具有不规则，混沌等非线性特征，使预测系 统未来的全部行为几乎不可能，对系统行为的精确预测效果也难以令人满 意。随着计算机科学的发展，两个关键的突破出现在1 9 8 0 左右。第一个发 展是状态空间重建技术。这种技术基于微分拓补理论和动力学系统理论， 用于判断对闻序列是否是由确定性系统产生并了解观测到的系统行为下蕴 涵的系统几何特征，也可用于线性或非线性的时间序列的预测。另一个发 展是以神经网络为代表的机器学习的出现“。现在，神经网络已经成为时闻 序歹6 预测的一种重要手段。 3 1 1 三种常用线性时序模型 ( 1 ) 滑动平均模型( m a ) 西南交通大学硕士研究生学位论文第15 页 在m a 中，由时序 t ) 由白噪声序列 e t 和带有系数6 0 ，6 l ，吃的n 一阶 滤波器生成： 卫 = “巳一。= 屯q + 鱼q l + + 6 q 一 ( 3 1 ) n = 0 式( 3 一1 ) 说明时序如) 的当前值由序列k 从当前值前推长度为n 窗口 内序列值决定。 ( 2 ) 自回归滑动平均模型( a r 埘 ) a r m a 模型假定用时间序列表示的动力系统是一个线性随机过程。 对于一个平稳的时间序列f 葺，为，毛 ，可以建立一个线性时间反演的 时序模型： 薯一仍葺一i 一一纬薯一p = q + 岛q 、i + + 岛q g ( 3 - 2 ) 其中，薯，t 2 l ，n 为离散时间数列，仍，f = 1 ，2 ，p 为自回归系数， 辞，i = 1 ，2 ，g 为滑动平均系数，q ，f = l ，2 ，l为方差为霹的白噪声序列 该时序模型称为慨口) 阶自回归滑动平均模型简写为a r m a ( p ，g ) 。它的含义 是在时刻k 的输出是系统前p _ 1 个输出和七到七1 时刻中口个互相独 立的白噪声的线性和。当口= 0 得到的即为p 阶自回归模型，简写为a r ( p ) 。 当p = o 时得到的即为q 阶滑动平均眦( q ) 模型。最常用的方法还是a r 方法， 下面着重阐述a r 模型的相关特性。 ( 3 ) a r 模型的系数和阶次确定 y u l e 在1 9 2 7 年为了预测太阳黑子的数目所提出的a r 模型，此模型采用 自动回归法，强调时间序列未来的点数由同一时闯序列过去的值来决定，在 技术上，它采用的是线性映射，即用过去的值映射未来的值，并在给定的时 间序列中选取函数的参数使得预测结果的误差最小。 时间序列 一 ，i = i ，2 ，n 可写成以下矩阵形式的线性组合。 y = x 够+ n 其中 ( 3 3 ) 西南交通大学硕士研究生学位论文第1 6 页 y =孙 仍 仍 吼 盯= b o ，x i fx 川x ，：也 l l x 一1 一2 吒。 ( 3 4 ) 根据多元回归理论，可得到参数矩阵的最小二乘估计为 p = ( x 7 肖) 一1r y( 3 - 5 ) 可以证明：妒为真值p 的无偏估计，因此采用最小二乘估计精度较高。从理 论上看，a r m a 模型成立的条件是概) 为自噪声。因此，模型适用性的准则 是检验溉 是否为自噪声。实际中常用的准则有：f p e 准则、a i c 准则、b i c 准则等。 ( 4 ) a r 模型预测机理 a r p 模型在t 时刻向前预测j 步的结果为； di - - i口口 z ( f ) = 艺识而。一，+ 仍z ( ，一f ) + 艺识+ 。+ 仍u f ) ( 3 - 6 ) f t i = 1皿lj = l 从中可以看出，其中预测结果只与t ，五_ p ，薯+ ，相关，而不需要求解 以) 。 w o l d 分解定理指出，在满足平稳性和可逆性的条件下，上述3 种 模型具有可以相互转换的关系，或者说，可以把a r 模型和m a 模型看成是 a r m a 模型的特例，a r m a 模型是一种普遍形式因此，若在时序分析中选 用了其它模型，仍可用高阶估计给出 合理的近似结果使用a r 模型估计时，只需要求解线性方程组，计 算相对简单，故a r 模型的应用较广泛。 线性时序模型优点为：便于理解和直接实施。缺点为其特点为线性性 和静态性，对于稍微复杂一点的系统也许就完全不适用。 3 1 2 预测的定量分析法 ( 1 ) 滑动平均法 用过去几期的平均值作为下一期的预测值数学模型为 1，j 西南交通大学硕士研究生学位论文第17 页 写= ! 墨= ! 墨= 2 = 墨= 世2 n ( 3 7 ) 式中，s 为 时期的预测值，s _ l ，置一分别为f l _ t - n 时期的 实际值，是求平均值时所取实际值的个数。 ( 2 )指数平滑法嘲 以滑动平均法为基础，分为一次平滑，二次平滑，三次平滑。以一次平滑 为例，其数学模型为 酽= 戤+ ( 1 一日) 瓦o ， ( 3 8 ) 皿+ 1 ( 1 ) = 石o ( 3 9 ) - - - ( ”为f 时段指数平滑平均数( 右上角( 1 ) 表示一次平滑，下同) ，口 ( 0 ，1 ) 为指数平滑系数，置为t 时段的实际观察值，d l + 1 1 为，吖时段的预 测值。 3 1 3 回归分析法7 1 其基本思想是：虽然自变量和因变量之间没有严格的确定性的函数关 系，但可设法找出最能代表它们之闯近似关系的数学模型即回归方程式，然 后根据回归方程式计算所要求的预测值。 ( 1 ) 一元回归预测 设y = 口+ 缸，其中y 为预测目标，x 为影响因素据采集到的数据而，卫， 可求得a = y xb ，b = x2-xex 其中，x = 口= 一y - - 乃， 6 = 鞣，其中，；= 去薯，歹= 去以，代入a ，6 可求得回归 估计值y 。 ( 2 )一元非线性回归预测 当两个变量之间是曲线关系时，设法把曲线问题经过数学变换，化为近 似直线关系，再进行线性回归处理如三：甜+ 鱼，令y 。：三，z ：三，则 y 1 ；口+ b x 。再利用一元线性回归预测。y x y x 西南交通大学硕士研究生学位论文 第18 页 3 1 4 灰色预测法 灰色预测法( g m ( 1 ，1 ) ) 不是直接使用原始数据进行预测，而是对由原始 数据产生的生成数作预测。一方面，将离散变量连续化，用微分方程代替 差分方程，使得数学处理变得比较容易。另一方面，即使原始数据的变化 规律不明显，一旦形成生成数后，由于累加作用，抵消了不少随机因素的 影响，规律性容易表现出来。但由于g m ( 1 ，1 ) 模型中，背景值采用一次累加 系列的前后时刻变量的平均值，其适用的范围局限于变量变化较平稳的时 间序列，而对变化较剧烈的时间序列进行模拟和预测时产生较大的误差。 为此，文献 8 ， 9 等对其改进进行了讨论。 3 1 5 混沌时间序列预测 所谓混沌就是指在确定性系统中出现的一种貌似无规则的、类似随机 的现象。它普遍存在于自然界及人类社会中，是有序与无序的统一，确定 性与随机性的统一，具有对初始值的敏感依赖性，即所谓蝴蝶效应。它 不同于系统本身具有随机项或随机数而产生的随机现象，即对于一个真正 的随机系统，从某一特定时刻的量无法知道以后任何时刻量的确定值，即 系统在短期内无法知道以后任何时刻量的确定值，即系统在短期内也是不 可预测的。而对于确定性系统，它的短期行为是完全确定的，只是由于对 初始值依赖的敏感，使得确切运动在长期内不可预测。这正是它内在的固 有的随机性引起的，这种现象只发生在非线性系统中。 混沌时间序列预测时混沌理论的一个重要应用领域和研究热点“”“， 它不仅可以用来确定动力学系统模型，检测和识别混沌，而且还被广泛应 用于自然科学和社会科学的各个领域，如：电子对抗、水文预报、图像处 理、冰川期预测、太阳黑子和股票行情等的预测中，具有很重要的实际应 用价值和重要意义。 不失般性，设 x ( f ) ，t = 0 , 1 2 ，疗 表示要研究的离散时间序列，选择 适当的时间延迟f 和嵌入维数m 对该时间序列重构相空间为： l ，( ，) i 】，o ) = b ( f ) ，x ( t + f ) ，x ( ，+ ( ，”一1 ) o p = o ，l ，n - ( m 一1 ) f ( 3 1 0 ) 西南交通大学硕士研究生学位论文 第19 页 并由t a k e n s 嵌入定理知，存在光滑映射厂：r ”一r 满足 x ( t + m f ) = ，( y 0 ) ) = ，( 工( r ) ，x ( t + f ) ，x ( t + ( f 一1 ) f ) ) ( 3 1 1 ) 理论上满足上式的厂式唯一的，但是实际中可用数据总是有限的，因 而不可能真正求得厂，而只能由有限的数据构造映射：震”_ r ，使，充 分逼近厂。用相空间重构来预测时间序列，根据拟合相空间中吸引子的方 式大致可以分为全局预测法“”、局域预测法1 和自适应非线性滤波预测法 等等。但是全局预测法存在计算复杂，特别是当嵌入维数很高时计算量尤 其大