（系统工程专业论文）人工神经网络在时间序列预测中的应用研究.pdf

西安建筑科技大学硕士论文 人工神经网络在时间序列预测中的应用研究 专业：系统工程 硕士生：宋玉强 指导教师：卢才武教授 摘要 时间序列预测是动态数据分析处理的一个重要方面，在科学、经济、工程等许 多应用中都存在着在历史数据的基础上预测未来的问题，是个具有相当实际价值 的应用研究领域。 时间序列预测是一个多学科交叉的研究领域，本论文在人工神经网络和时间 序列预测的理论指导下，将人工神经网络方法引入时间序列预测，进行深入的理 论、方法与模型的研究工作。 本论文简要介绍了时间序列预测的基本概念、各种模型，分析了基于神经网络 的时间序列预测方法，探讨了b p 神经网络的模型与结构，b p 学习规则，构建了基 于b p 神经网络的时间序列预测模型，研究了神经网络的规模、推广能力等问题。 并利用建立的b p 神经网络模型，对两个具体的时间序列进行了预测，结果非常理 想，说明本文所建立的基于b p 神经网络的时间序列预测模型具有很好的预测能力 和较佳的推广能力，验证了本文构建的基于b p 神经网络的时间序列预测模型的有 效性和普适性。 本论文总结了前人研究成果，针对前人研究的不足，提出了作者自己的观点和 想法，并把它们付诸实践，力求为我国企业进行基于历史数据的时间序列的预测提 供有效的手段，为推广人工神经网络技术做出努力。 关键词：人工神经网络0 心) 时间序列预测m a t l a b 钼 西安建筑科技大学硕士论文 i i im a p p l i c a t i o n r e s e a r c ho fa r t i f i c i a ln e u r a ln e t w o r k si n t i m es e r i e sf o r e c a s t i n g s p e c i a l t y ：s y s t e me n g i n e e r i n g p o s t g r a d u a t e ：s o n gy u q i a n g i n s t r u e t o r ：p r o ll uc a i w u a b s t r a c t t i m es e r i e sf o r e c a s t i n gi sa l li m p o r t a n ta s p e c to fd y n a m i cd a t aa n a l y s i sa n d p r o c e s s i n g t h e r ee x i s t st h ed e m a n do ff o r e c a s t i n gt h ef u t u r eb a s e du p o nh i s t o r i c a ld a t a i nt h e a p p l i c a t i o n so fs c i e n c e ，e c o n o m i c sa n de n g i n e e r i n g t h e r ea r em a n ya c t u a l a p p l i c a t i o n si nt h i sr e s e a r c hf i e l d t i m es e r i e sf o r e c a s t i n gi sar e s e a r c h i n gs c o p ei n v o l v i n gm u l t i p l es u b j e c t s b a s e d o nt h eb a s i ct h e o r i e so fa r t i f i c i a ln e u r a ln e t w o r k s ( a n n ) a n dt i m es e r i e sp r e d i c t i o n ， t h i sp a p e ri n t r o d u c e sa n nt os o l v et h ep r o b l e m so ft i m es e r i e sp r e d i c t i o n t h i sp a p e r m a k e sad e e p l yr e s e a r c hi nt h e o r i e s ，m e t h o d sa n dm o d e l sa i m i n ga tt h ep r e s e n tp r o b l e m s i nt h i sp a p e r , t h eb a s i cc o n c e p ta n dd i f f e r e n tm o d e l so ft i m es e r i e sp r e d i c t i o ni s b r i e f l yi n t r o d u c e d ，t h em e a n so ft i m es e r i e sp r e d i c t i o nb a s e do na n ni sa n a l y z e d ，t h e t i m es e r i e sp r e d i c t i o nm o d e li sb u i l tb a s e do na n n t h en e u r a ln e t w o r kp r o b l e m ss u c h a ss c a l ea n dp o p u l a r i z a t i o nc a p a b i l i t ya n ds oo na r er e s e a r c h e d t w oc o n c r e t et i m es e r i e s a r ep r e d i c t e d ，i nw h i c h , t h em o d e li su t i l i z e d ，t h er e s u l t sa r ev e r ym u c hi d e a l ，a n d i l l u s t r a t e st h et i m es e r i e sf o r e c a s t i n gm o d e lb a s e do nn e u r a ln e t w o r k sh a sv e r yg o o d c a p a b i l i t y o ff o r e c a s t i n ga n d p o p u l a r i z a t i o n ，a n d v e r i f i e dt h a tt h et i m es e r i e s f o r e c a s t i n gm o d e lb a s e do nn e u r a ln e t w o r k sh a sv a l i d i t ya n du n i v e r s a ls m t a b l eq u a l i t y p r e d e c e s s o r s r e s e a r c hf r u i ti ss u m m e du pi nt h i sp a p e r , a n dp r o p o s e st h ec o n c e p t a n dt h eo p i n i o no fw r i t e rs e l fa i m e da tt h ed e f e c t ，a n dt h r o w i n gt h e mi n t ot h ep r a c t i c e ， a n dd o e so n e sb e s tt os u p p l yv a l i dm e a s u r ef o rt h et i m es e r i e sf o r e c a s t i n go fo u r c o u n t r y sb u s i n e s sb a s e do nt h eh i s t o r i c a ld a t a ，a n dm a k i n gh a r di nt h ei n t e r e s to f s p r e a d i n gt h ea r t i f i c i a ln e u r a ln e t w o r kt e c h n i q u e k e y w o r d s ：a r t i f i c i a ln e u r a ln e t w o r k t i m es e r i e sf o r e c a s t i n gm a t l a b m o l y b d e n u m i i 声明 本人郑重声明我所呈交的论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位 已申请学位或为其它用途使用过的成果。与我一同工作的同志对本研究所做的 所有贡献均已在论文中作了明确的说明并表示了致谢。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 霹泞 日期：矽v ，譬如 关于论文使用授权的说明 本人完全了解西安建筑科技大学有关保留、使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的 全部或部分内容，可以采用影印、缩e 口或者其它复制手段保存论文。 ( 保密的论文在论文解密后应遵守此规定) 论文作者躲强冶导师躲争印日期_ p 注：请将此页附在论文酋页。 西安建筑科技大学硕士论文 1 概述 1 1 引言 预测是对尚未发生和目前还不明确的事物进行预先的估计和推测，是以现实对 事物将要发生的结果进行探讨的研究。自从l a p e d e s t 和f a r b e r 首先应用人工神 经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 技术进行预测开始，神经网络方 法日益成为人们关注的热点，国内外众多专家学者对a n n 应用于预测做出了大量的 研究，并取得了一定的成果。 在经济、工程、自然科学和社会科学等领域的实际工作者和研究人员，都不可 避免地要和一系列的历史观察、统计数据打交道，我们把按时间顺序产生和排列的 观察数据序列称为时间序列。而对时间序列进行预测则成为一个具有相当实际价值 的应用研究领域。传统的时间序列分析与预测方法虽然都具有其自身的优点，但是 随着时间序列问题的复杂化，这些传统方法也越来越不适应科学管理、精确管理的 要求了。 既然a n n 技术为预测研究提供了一种新的研究思路和方法，并在前人的研究中 己经取得了一定的研究成果，那么，将人工神经网络技术应用于时间序列预测领域 的研究就成为了一个很有价值的研究课题了，这也就形成了本论文的选题的依据和 思路。 然而，由于时间序列数据的现实复杂性，要将人工神经网络技术成功地应用到 时间序列预测中显然是一项巨大的系统工程。因此，在这方面的研究多是基于探索 性质的。 本论文参考前人研究的成果，针对前入研究的不足，提出了自己的一些观点与 想法，并建立起了基于人工神经网络的时间序列预测模型，在此基础上用实际数据 进行了实证研究，为以后的更深入的研究打下了良好的基础。 1 - 2 硼应用于时间序列预测领域的研究概况 人工神经网络在预测中的应用主要在两个方面：时间序列预溺和回归预测。本文 只探讨人工神经网络在时间序列预测中的应用。 1 2 1 前人研究的成果 在对人工神经网络应用于预测的研究和工作中，一些学者将人工神经网络同传 西安建筑科技大学硕士论文 统时间序列技术作了比较。其中许多较好的试验都使用了著名的“m 竞赛”数据 ( m a r k r u d a k i s 等“1 ) 。m a r k r u d a k i s 等人收取了1 0 0 1 个真实时间序列( 以下提及 的比较研究数据都是从这一原始数据库中抽取的一套成体系的1 1 1 个序列) ，对各种 预测方法进行比较。其方法是先将各序列中的最新数据从样本中除去，然后要求各 参赛的模型对这些最新数据进行预测。每个参赛模型得到的结果随后与真实数据进 行比较，以确定出优劣。“m 竞赛”数据一直被认为是预测方法比较研究中的经 典数据。 s h a r d a 和p a t i l 0 3 运用1 1 1 个序列中的7 5 个序列对人工神经网络同a r m a ( a u t o r e g r e s s i v ea n dm o v i n ga v e r a g e ) 模型进行了比较，发现人工神经网络同自动a r m a 模型的性能差不多好。 f o s t e r 等“1 也使用“卜竞赛”数据对这两种方法进行了比较，发现用年度 数据进行预测时，人工神经网络的性能不如h o l t 、b r o w n 及最小二乘统计回归统计 模型；但用季节数据测试时，两者的情况差不多。 h 订l 等。1 在s h a r d a 和p o t i l 及f o s t e r 等的研究模型基础上对人工神经网络和 统计模型进行了更为深入的研究。他们的研究包括“卜竞赛”中使用过的几个时 间序列模型：非季节化的单指数平滑、a r m a 、非季节化的h o l t 指数平滑的模型，另 外还有一个组合预测模型、一个自然预测模型及另一种基于主观判断的方法。比较 结果表明人工神经网络显著地优于统计方法和主观判断方法，人工神经网络在预测 季度数据对，m a p e 大约降低5 ：在预测月度数据对，m a p e 大约降低2 。并且h i l l 还发现人工神经网络在进行多步预测时优势比较明显。 m a r ，a 等。1 利用从1 9 7 7 年到1 9 9 7 年西班牙的a n d a l u s i a 流动人口的时间序列 数据比较了五种时间序列预测模型，其中包括三种以不同训练方式建立起的人工神 经网络模型( b p 、b m 、l m ) 、一个a r i m a 模型，和一个指数平滑模型。经过试验表明， 在大部分的时闯序歹l j 预测中，人工神经网络方法提供的预测结果比a r i m a 模型和指 数平滑法建立的模型的得出的结果要好。并且人工神经网络模型比a r i m a 模型在长 期预测中表现出更好的性能。 我国的学者中，文新辉、陈开周”1 提出一种多维时间序列前向网预测方法，并 用昆虫预测说明了此方法的应用，从预测结果来看其精度是比较高的。 石山铭和刘豹。1 对神经网络用于多变量时间序列预测、多僮预测进行了研究， 讨论了这种方法的建模机制和多值预测以及在股票价格预测中的应用，并同a r i m a 方法进行了比较，结果表明神经网络模型在精度和趋势上均较a r i m a 有所提高。 杨璐、黄梯云等。1 探讨了基于神经网络的时间序列预测模型的建立机制，然后 又提出了将时差法和b p 方法( 人工神经网络的一种算法) 相结合进行的时间序列的 2 西安建筑科技大学硕士论文 自适应建模和预测，并以外汇汇率问题为例做了试验，试验结果表明该方法是可行 的，其预测精度高于一次性建模。 另外，许多学者运用优化中的搜索算法对普通b p 学习方法进行了改进，以提高 网络的收敛速度和预测性能。 以上讨论的是直接将实现网络用于时间序列预测，也有一些学者致力于将神经 网络与a r m a 模型结合起来进行预测的研究。主要是用神经网络实现a r m a 模型结构 选择的自动化。 汤军其、黄梯云“”提出一种基于前向网络的a r m a 模型结构选择的自动化，他 们用观测数据的自相关函数( a c f ) 和偏相关函数( p a c f ) 作为特征，用一个前向网 络来识别a c f 和p a c f ，然后再选择相应的结构，并用一个实验说明了此方法的应用。 虽然神经网络在时间序列自适应预测中的研究己取得了许多成果，但仍有些学 者对神经网络预测方法在一些领域的应用持有质疑。c h a r t f i e l d 1 对h i e w 和g r e e n 盲目夸大神经网络的作用提出了警告，并且忠告不要为了追求时髦而使用神经网络 进行预测。他认为，在某些领域，目前还几乎没有系统的证据来说明神经网络方法 优于传统的时间序列预测方法，所以在运用神经网络进行预测之前必须经过严格的 比较说明神经网络的确优于传统的统计方法，再运用其才是明智的选择。 1 2 2 前人研究的不足 总结前人的研究成果，虽然国内外的专家学者在研究人工神经网络应用于时间 序列预测的理论与方法方面进行了有益的尝试，并取得了一系列的成果，但仍有一 些不足之处： ( 1 ) 国外学者的研究大多基于其本国的经济制度，而国外的经济制度与我国的 经济制度存在一定的出入，因此国外的对a n n 的应用研究对我国企业在时间序列 预测方面并没有太大的借鉴意义。 ( 2 ) 国内学者的研究一般集中于某一方面，某些倾向于改进神经网络算法的技 术层面，某些则倾向于探讨时间序列预测的理论层面，没有完整的提出套规范的、 可行的时间序列预测构建方案，并在此方案的指导下建立起对现实确实有参考价值 的预测模型。 l - 3 本文研究的目的、意义 本论文将在总结前人研究成果，针对前人研究的不足，提出作者自己的观点和 想法，并把它们付诸实践，建立基于人工神经网络技术的时间序列预测模型，并将 西安建筑科技大学硕士论文 ! i 一! 兰皇皇曼曼蔓暑曼兰皇蔓! 曼鼍曼置墨曼蔓曼皇曼苎曼量量鲁一! 曼曼曼曼曼量量兰兰! 寡苎皇一皇苎皇曼曼皇曼量曼曼岂苎蔓 进行实证研究，以确定人工神经网络在时间序列预测中的可行性，力争使其具有有 效性与普适性，为我国企业进行基于历史数据的时间序列的预测提供有效的手段， 为推广人工神经网络技术做出努力。 1 4 本文的主要内容及其安捧 第1 章，总结前人研究人工神经网络的研究成果与不足之处，提出本论文的研 究方向，给出本文研究的目的、意义，安排本文内容。 第2 章，简要的介绍了时间序列预测的基本概念、各种模型，并简要分析了基 于神经网络的时间序列预测方法。 第3 章，研究b p 神经网络的模型与算法实现。探讨了b p 神经网络的模型与结 构，b p 学习规则，并简要介绍了基于m a t l a b 的b p 神经网络的设计与实现，为 第4 章的应用研究提供基础。 第4 章，研究基于b p 神经网络的时间序列的预测。构建基于b p 神经网络的时 间序列预测模型，研究神经网络的规模、推广能力等问题。 第5 章，实证研究。用一个实例，验证本文构建的基于b p 神经网络的时间序 列预测模型的有效性和普适性。 第6 章，总结全文，提出本文研究的不足之处，展望今后的工作方向。 4 西安建筑科技大学硕士论文 2 时间序列预测 在市场经济情况下，研究时间序列具有重要意义。首先，无论从宏观角度还是 微观角度来看，它是各级领导阶层进行有效管理的一个重要方法。从宏观管理的目 标出发，时间序列可以从数量上向各级政府部门提供一个过去各个历史时期内某个 现象发展过程的资料，为各级政府正确地分析形势并据以制定符合实际的方针、政 策提供充分的依据，并可据此进行有效的预测及决策；从微观管理的目标出发，时 间序列可以从数量上向某家企业、某个部门的领导提供本企业某种现象的长期资料， 帮助领导在正常经营过程中的目标管理及长期发展规划方面( 如厂房及设备的新建、 扩建，新的财务政策，新产品的开发与销售等方面) 提供足够的管理及预测数据。 其次，用不同国家、地区、部门间有关政治、经济、文化等时间序列的资料来进行 对比分析，可以揭示某种共同的规律，并进行有效的预测。 2 1 时间序列概述 2 1 1 时间序列的概念 在经济、工程、自然科学和社会科学等领域的实际工作者和研究人员都要和一 系列的历史观察数据打交道。时间序列是指将某一现象在时间上发展变化的一系列 数量表现，按时间先后顺序丽形成的一个动态数列。”，也称为时间数列或动态数列。 时间序列可以表明社会经济现象的发展变化过程及其趋势，用以预测现象的发展方 向及前景。 时间序列由两个基本要素组成，一个是现象所属的时间，另一个是现象在各个 不同的时期内所达到的水平。 2 1 2 时间序列的种类 按照组成时间序列的两个基本要素对时间序列进行分类，可以进行两种方式的 分类。 首先，把时间序列按照指标的性质不同进行分类，可以分为绝对数时间序列、 相对数时间序列和平均数时间序列。其中，绝对数时间序列是基础序列或者称为原 始序列，相对数时间序列和平均数时间序列是在绝对数时间序列的基础上加工计算 得到的。 5 西安建筑科技大学硕士论文 ( 一) 绝对数时间序列 将一系列同类的绝对数指标，按时间先后顺序排列而形成的时间序列叫做绝对 数时间序列。绝对数时间序列反映现象在各个不同发展时期所达到的绝对水平及其 发展变化的过程和趋势。绝对数时间序列按其指标性质的不同又分为时期序列和时 点序列。 1 时期序列 时期序列是指每一指标所反映的是某种现象在一段时期内发展过程的总量。例 如产品产量、商品流转额等。 时期序列的特点是： ( 1 ) 序列中各个指标的数值相加具有一定的经济意义： ( 2 ) 序列中某个指标值的大小与指标所属的时期长短有关； ( 3 ) 时期序列中各个指标的数值，通常是通过连续不断地登记取得的。 2 时点序列 时点序列是指每一指标所反映的是某种现象在某一时点( 瞬间) 上的总量或发 展水平。例如人口数、某种商品的库存量等。 时点序列的特点是： ( i ) 序列中各个指标的数值相加不具有经济意义； ( 2 ) 序列中每个指标数值的大小与指标所属的时间长短无关； ( 3 ) 时点序列中各个指标的数值，通常是通过定期登记取得的。 ( 二) 相对数时间序列 将一系列同类的相对数指标，按时间先后顺序排列而形成的时间序列叫做相对 数时间序列。相对数时间序列反映现象在各个不同时间内的内部比例、相互联系的 状况。相对数时间序列由绝对数时间序列对比计算产生，它既可以是由时期序列所 派生的，也可以是由时点序列所派生的，或者是由时期序列和时点序列的指标对比 计算所产生的。 例如，把各个时期的积累额与同期的国民收入使用额对比求得积累率，把各个 时期第三产业产值与同期的国内生产总值对比求得的比重等，都可以编成各自的相 对数时间序列。在相对数时间序列中，各个指标数值是不能相加的。 6 西安建筑科技大学硕士论文 曼曼曼曼曼曼曼鼍曼! ! h l l l 1 l 岂皇曼曼寡曼曼曼曼曼曼皇皇! 苎暑詈曼皇曼曼曼曼曼曼墨曼舅曼! 曼曼鼻曼曼曼皇! 曼墨曼曼! 曼曼舅曼曼曼曼曼曼尝! 寡 ( 三) 平均数时间序列 将一系列同类的平均数指标，按时间先后顺序排列而形成的时间序列叫做平均 数时间序列。平均数时间序列反映现象在各个不同时间内所达到的一般水平。平均 数时间序列也是由绝对数时间序列对比计算产生的。它可以是由时期序列所派生的， 也可以是由时点序列所派生的，或者是由时期序列和时点序列指标对比计算所产生 的。 例如，将各期职工的平均工资、各期的劳动生产率编制成不同的平均数时间序 列。平均数时间序列中各个指标数值一般不能相加，但是计算时序平均数时例外。 其次，把时间序列按照时间连续性的不同进行分类，又可分为连续时间序列和 离散时间序列。如果数据序列是连续的，称为连续时间序列；如果数据序列是离散 的，则称为离散时间序列。 在时间t l ，t 2 ，t 3 ，t n 所获得的离散时间序列的观察值可以用z ( t 1 ) ， z ( t 2 ) ，z ( t t ) z ( t n ) 表示。本文只考虑以均匀时间间隔h 获取的离散时间序 列，如果用于分析的有n 个连续观察值，则可以用z 1 ，z 2 ，z t ，z n 表示在相同时间间隔t 0 + h ，t 0 + 2 h ，t 0 + t h ，t 0 + n h 的观察值。在许多 情况下，t o 和h 的值是不重要的，如果需要完全确定观察时间，可以具体规定这两 个参数的值。如果把t 0 作为时间的起始点，把h 作为时间单位，就可以把z t 作为 时间t 的观察值。 如果一个时间序列的未来数值可以由某一数学函数，如 z = a e “ ( 2 1 ) 来确定，称为确定型时间序列。如果时间序列的未来数值，只能用一概率分布来描 述，则称为随机时间序列。 2 1 3 影响时间序列变化的因素 引起时间序列中各期发展水平变化的原因是多种多样的，有政治的、社会的原 因，也有经济的、自然的原因。各种原因因素错综复杂地交织在一起，在某些特定 的环境下，对社会现象起着不同的影响作用，使同一现象在不同的发展时期，呈现 出不同的发展结果。 例如，从宏观看，一个国家在一个较长的时期内的粮食生产情况，就要受国家 的农业产业政策，不同时期的科技水平，该国所处的地理位置及各种自然因素的影 西安建筑科技大学硕士论文 响；又如，从微观看，一个企业某种产品的市场占有率，就要受到国家的产业政策， 该种产品的市场供求状况，生产该产品的资本及劳动力要素市场价格变动情况以及 相关产品价格等诸多因素的影响。尽管造成时间序列的各期水平上下波动的因素是 多种多样的，但根据时间序列统计处理的技术要求，可以把时间序列在形式上的变 化分成四种因素来考虑。这四种因素是：长期趋势、季节变动、循环变动、不规则 变动。 长期趋势是指时间序列中某种经济现象在某一个较长的时期内持续发展变化的 总的方向性趋势。例如商业上的销售额、股市上的股价等，通常以或长期稳定增长、 或长期衰退、或长期停滞不前的趋势出现。 循环变动是指围绕长期趋势出现的，具有一定循环周期的波动。循环波动的周 期和幅度各期表现不同，波动的性质和原因也各异。例如，一个典型的商业循环包 括了繁荣、衰退、萧条和复苏等阶段，这种商业循环波动的时间通常长达一年以上， 并围绕着长期趋势线上下来回波动。 季节变动是指一年以内的有一定周期规律的季节性交化。季节变动是一种每年 都重复出现的变动。例如，农作物的生长，某些商品的销售额在短期内呈现规则变 化，波动的时间间隔可能是季、月、周，甚至是日。 不规则变动又称随机变化。是指没有什么规律可循的变动，无法预计且无法确 认，例如，地震、火灾、战争等引起的变化。 2 2 时问序列模型 与单方程回归模型和多方程模拟模型不同，时间序列模型不是根据与其他变量 的因果关系来预测个变量的未来变化，而是根据该变量过去的变化规律来预测其 未来的变化“。 例如时间序列z ( t ) 表示某经济或企业变量( 如股票市场指数、利率、生产指数、 或某商品的日销售量) 的历史数据，但是不能基于经济理论或直观推断来解释该变 量为什么如此变化。如果z ( t ) 表示某商品的销售量根据价格、个人收入和利率的变 化而上下起伏，但是，影响其变化的许多因素可能是无法说明的，例如天气变化、 顾客爱好的变化，或者只是顾客消费的季节性周期变化等因素。 因此，在许多情况下，很难或不可能利用变量之间的因果关系模型( 即结构模 型) 来说明z ( t ) 的变化。 可能有这种情况，在回归模型中，无法获得影响预测变量z ( t ) 的那些说明性变 量( 自变量) 的有效数据，或者是，即使能获得说明性变量的数据，但是由于回归 模型估计的标准误差太大，致使大多数估计系数是不显著的，而因预测的标准误差 西安建筑科技大学硕士论文 大得无法接受。 在某些情况下，即使能够估计一个z ( t ) 的统计显著的回归方程，其结果对于预 测来说也可能是无效的。为了由回归方程求得z ( t ) 的预测值，必须首先对那些无滞 后的说明性变量进行预测，对这些说明性变量进行预测可能比对z ( t ) 本身进行预测 还要更为困难。利用说明性变量的未来预测值求得的z ( t ) 的预测值的标准误差可能 比较小如果回归方程拟合得很好的话：但是说明性变量未来值的预测误差太大 而使得z ( t ) 的总误差大得无法接受。 很明显，存在不能用结构模型来说明z ( t ) 的情况。对于这种情况，时间序列模 型则是用于预测的一个很有效的工具。这种模型不像回归模型那样是根据因果关系， 而是根据被预测变量过去的变化规律来建立模型，然后利用这个模型来预测该变量 未来的变化。因此，时间序列模型是一个先进的外推方法。利用时间序列模型不需 要知道影响预测变量的因果关系。 通常是在下述情况下选用时间序列模型： ( 1 ) 关于影响预测变量的决定性因素的信息很少； ( 2 ) 有足够多的数据量可以用来构成一个合理长度的时间序列。 时间序列模型包括确定型时间序列模型和随机型时间序列模型。确定型时间序 列模型包括些简单外推方法。随机型时间序列模型与简单外推的不同是，预测的 时间序列是由随机过程产生的。随机时间序列模型能描述产生观察样本的随机过程 的偶然性。这种描述，不是像回归模型那样根据因果关系，而是根据随机过程中所 包含的偶然性。由于简单外推不能说明时间序列的随机性质，因此，随机时间序列 分析要比简单外推方法更加完善，随机时间序列模型比确定型时间序列模型能提供 更多的信息，所以能改善预测。 2 2 1 确定型时间序列模型 确定型时间序列模型，可用于根据时间序列的过去变化特征来预测其将来的变 化特征。其所以是确定型的，因为它不涉及时间序列的随机性根源或随机性质。这 种简单外推方法，在经济预测和企业预测中，尽管精度不如随机模型，但是作为标 准工具已应用多年了，因此有必要回顾和评价。 2 2 1 1 简单外推模型 可以描述时间序列z ( t ) 的基本特征之一是它的长期增长模式，尽管有短期的上 下起伏运动，但z ( t ) 可能显示明显的向上发展趋势。如果相信这种向上趋势存在并 9 西安建筑科技大学硕士论文 且将继续下去的话，那么，就可以建立一种简单模型，描述该趋势，并用于预测， 即外推z ( t ) 。 最简单的外推模型是线性趋势模型。如果相信序列z ( t ) 在每一个时间周期以恒 定的绝对数量增长的话，那么，就可以通过拟合下述趋势线来预厕未来的z ( t ) ： 式中，z ，是在时间i 时z 的数值，c ，c 。为系数。 更为现实的是，可以假定序列z ( t ) 是以恒定百分数增加，而不是以恒定绝对值 增加。这种趋势模型称为指数增长模型，如： z 。= ，( f ) = a e ” 此处e 为自然对数，a 和r 值的选择是要使f ( t ) 和z ，之问的相关为最大的常数。 第三种外推法是以自回归趋势模型为基础的，如： 采用这种外推法，当c l = o 时，c z 代表序列z ，的变化率。另一方面，如果使c 。 等于l ，c l 不等于0 ，则外推的序列在每一周期将增加同样的绝对量。( 2 5 ) 模 型可以变为对数自回归趋势模型： l o g z f = c l + c 2l o g 互一l 如果c l 确定为0 ，则c z 值为序列z ；的复合增长率。以自回归模型为基础的线性 外推和复合外推一般都作为简单的预测手段。 2 2 1 2 滑动平均模型 另外一种常用于预测的确定型时间序列模型是滑动平均模型。现列举一个简单 例子，假定预测月度序列，可以采用以下模型： 厂o ) = 击亿_ l + z l _ 2 - b , b z l _ 1 2 ) l o 西安建筑科技大学硕士论文 这样，一个周期以后的预测即可由下式求出： z t + 1 西1 ( z ，+ z 。 如果相信下一个月序列的可能数值为前1 2 个月数值的简单平均数时，上述移动 平均模型就会很有用。但是，z ；的理想预测是由其过去数值的简单平均数得出的这 种假设是不现实的。通常更适当的做法是，使z 。的最近期数值起的作用比早期的数 值更大些。在这种情况下，移动平均数中的最近期数值应该给以更大的加权。能做 到这点的确定型预测模型就是指数加权移动平均( e w m a ) 模型。 三r + 1 = 以r + 口( 1 一盯) z r 一1 + 口( 1 一口) z r 一2 + = - z o - - ) z ，。 此处口为0 和1 之间的数，它能指出最近值与较旧的值对比时的加权情况。 2 2 2 随机型时间序列模型 随机时间序列模型能描述产生观察样本的随机过程的偶然性。这种描述，不是 像回归模型那样根据因果关系，而是根据随机过程中所包含的偶然性。由于简单外 推不能说明时间序列的随机性质，因此，随机时间序列分析要比简单外推方法更加 完善，随机时间序列模型比确定型时间序列模型能提供更多的信息，所以能够改善 预测的效果。 2 2 2 1 自回归模型( a r ) 自回归模型是一种在描述时间序列方面特别有效的随机时间序列模型。在这个 模型中，时间序列的现在值z 。是用该序列过去数值的线性组合加上一个白噪声扰动 项a t 来表示。 z f = 1 z 卜l + # 2 z l 一2 + + 妒p z f - p + d f 式( 2 9 ) 称为p 阶自回归过程a r ( p ) 。自回归模型这一名称的理由是，一 个线性模型： 西安建筑科技大学硕士论文 y = l x l + 欢x 2 + + p 工p + 口 ( 2 l o ) 称为回归模型，也可以说y 对x ，x 。，x ，进行回归。而式( 2 9 ) 表示z ：是 对其自身的过去的数值进行回归，故称为自回归模型。 2 2 2 2 滑动平均模型( m a ) 另一种描述观察时间序列的重要模型叫做滑动平均模型。在这类模型中，时间 序列的现在值z 。是用白噪声扰动项的线性组合来表示的，即： z l = o , a f 1 + 0 2 a t 一2 + + 口f 日+ a l 式( 2 1 1 ) 称为q 阶滑动平均模型m a ( q ) ，式中o l ，0 。可以是正或负。 2 2 2 3 自回归滑动平均混合模型( a r m a ) 为了使模型在拟合实际数据时具有更大的灵活性，有时在模型中既包括自回归 部分也包括滑动平均部分是有利的。这就是自回归滑动平均混合模型。其表示 式为： 互= # l z f _ 1 + # 2 z + + 九z t p + 口t + 0 1 a t l + 岛口h + + 巳口h ( 2 1 2 ) 模型式( 2 1 2 ) 含有p + q + 1 个未知参数1 ，妒2 ，矿，；0 1 ，0 2 ，0 。和盯；这些 未知参数要利用观测数据进行估计。 2 3 本章小结 ( 1 ) 简要介绍了时间序列的基本概念、时间序列的种类以及影响时间序列变化 的因素。 ( 2 ) 分析了多种时间序列模型，包括确定型时间序列模型和随机型时间序列模 型。在确定型时间序列模型中又讨论了简单外推模型和滑动平均模型，在随机时间 序列模型中讨论了自回归模型、滑动平均模型及自回归滑动平均模型。 ( 3 ) 最后，综合前面的讨论，重点分析了基于神经网络的时间序列的预测方法。 对用神经网络预 贝| l 时间序列进行了简单描述，简单分析了网络参数和网络大小、数 西安建筑科技大学硕士论文 据和预测精度。并在最后介绍了几种预测时间序列的神经网络，分析讨论了各种神 经网络预测时间序列的优缺点。 西安建筑科技大学硕士论文 3 1 人工神经网络简介 3 人工神经网络理论 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) ，亦称为神经网络( n e u r a l n e t w o r k ，n n ) ，是由大量处理单元( 神经元n e u r o n s ) 广泛互联而成的网络，是对 人脑的抽象、简化和模拟，反映人脑的基本特性。人工神经网络的研究是从人脑的 生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科 学、数学、统计学、物理学、计算机科学等学科的种技术“。 人工神经网络是由简单的处理单元所组成的大量并行分布的处理机，这种处理 机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个方面：一 是通过学习过程利用神经网络从外部环境中获取知识；二是内部神经元( 突触权值) 用来存储获取的知识信息。 神经网络也经常被称为神经计算机，但它与现代数字计算机的不同之处主要表 现在以下方面： ( i ) 神经网络的信息存储与处理( 计算) 是合而为一的，即信息的存储体现在 神经元互连的分布上；传统计算机的存储与计算是独立的，因而在存储与计算之间 存在着瓶颈。 ( 2 ) 神经网络以大规模计算为主；数字计算机是以串行离散符号处理为主。 ( 3 ) 神经网络具有很强的鲁捧性和容错性，善于联想、概括、类比和推广，任 何局部的损伤不会影响整体结果。 ( 4 ) 神经网络具有很强的自学习能力，能为新的输入产生合理的输出，可以在 学习过程之中不断完善自己，具有创新特点。 ( 5 ) 神经网络是一大规模自适应非线性动力系统，具有集体运算的能力。这与 本质上是线性系统的现代数字计算机迥然不同。 人工神经网络是近年来的热点研究领域，涉及到电子科学与技术、信息与通信 工程、计算机科学与技术、电气工程、控制科学与技术等诸多学科，其应用领域包 括：建模、时间序列分析、模式识别和控制等，并在不断的拓展。 3 2 人工神经网络的发展历史与现状 人工神经网络的研究始于2 0 世纪4 0 年代。半个多世纪以来，它经历了一条由 兴起到萧条、又由萧条到兴盛的曲折发展道路“5 1 1 6 , 1 7 o 1 4 西安建筑科技大学硕士论文 人工神经网络的研究始于1 9 4 3 年，它是由精神病学家和解剖学家 w s m c c u l l o c h 和数学家w p i t t s 所提出的m p 模型。该模型除连接权不能调整外， 其它方面与现在的阀值单元模型基本相同。m p 模型的提出不仅具有开创意义，兴 起了n n 研究，同时产生了人工智能( a r t i f i c i a l i n t e l l i g e n c e ，a i ) ，而且还为以后的 研究工作提供了依据。 1 9 4 9 年心理学家d o h e b b 提出了神经元之间突触强度调整的假设。他认为学 习过程是在突触上发生的，连接权的调整正比于两相连神经元之间激活值的乘积。 这就是有名的h e b b 学习规则。直到现在，h e b b 学习规则仍然是人工神经网络中的 一个极为重要的学习规则。 5 0 年代末，e r o s e n b l a n t t 提出了著名的感知机模型( p e r c e p t t o n ) ，这是第一个 完整的人工神经网络。这个模型由阀值单元构成，初步具有了诸如并行处理、分布 存储和学习等神经网络的一些基本特征，从而确立了从系统的角度研究人工神经网 络的基础。 1 9 6 0 年b w i d r o w 和m e h o f f 提出了自适应线性单元网络。它可用于自适应滤 波、预测和模式识别。从s o 年代末到6 0 年代初，神经网络的研究受到人们的熏视， 研究工作进入了一个高潮。 1 9 6 9 年，美国麻省理工学院著名人工智能学者m m i n s k y 和s p a p e r t 编写了影 响很大的p e r c e p t r o n ) ) 一书。该书指出：单层的感知机只能用于线性问题的求解， 而对于像x o y ( 异或) 这样简单的非线性问题却无法求解。他们还指出，能求解非 线性问题的网络应该是具有隐含层的多层神经网络，而将感知机模型扩展成多层网 络是否有意义，还不能从理论上得到有力的证明。由于m m s k y 的悲观结论，加上 当时以逻辑推理为基础的人工智能和数字计算机取得了辉煌的成就，从而大大降低 了许多人对人工神经网络研究的热情及克服理论障碍的勇气。在这之后近1 0 年中， 神经网络的研究进入了一个缓慢发展的低潮期。 由于新思想的缺乏和用于实验的高性能计算机的短缺，导致了2 0 世纪6 0 年代 后期神经网络研究的停滞不前，到了2 0 世纪8 0 年代，上述难关均被攻克，神经网 络有了迅猛发展，功能日渐强大的个人计算机和工作站开始被广泛的应用，此时也 产生了神经网络研究的新观念。 进入8 0 年代，神经网络的研究又引起了众多学科领域学者的关注，并很快形成 了热潮。其主要原因是以逻辑推理为基础的人工智能和v o n n e u m a n n 计算机在处理 诸如视觉、听觉、形象思维、联想记忆和运动控制等智能信息处理问题上受到了挫 折；具有并行和分布机制的人工神经网络本身的研究成果的推动作用；v l s i 技术和 光电技术的发展为人工神经网络的实现提供了物质基础。由于以上原因，使人们产 西安建筑科技大学硕士论文 生了一个共识，即人工神经网络可能成为未来智能机良好的模式。 美国加州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院 院刊发表的两篇文章，有力地推动了神经网络的研究，引起了神经网络研究的又一 次热潮。1 9 8 2 年他提出了一个新的神经网络模型h o p f i e l d 网络模型。它在这种 网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定性的判据。 1 9 8 4 年h o p f i e l d 提出了网络模型实现的电子电路，为神经网络的工程实现指明了方 向。h o p f i e l d 的研究成果开拓了神经网络用于联想记忆和优化计算的新途径，并为 神经计算机的研究奠定了基础。 1 9 8 6 年d e r u m l h a r t 和j l m c c l e l l a n d 提出了误差反向传播学习算法，成为至 今为止影响最大的一种网络学习方法。此后，1 9 8 7 年美国神经计算机专家 r h e c h t - n i e l s e n 提出了对向传播神经网络，1 9 8 8 年美国加州大学的l o c h u a 等人 又提出了细胞神经网络模型。至此，自1 9 5 8 年以来，提出的神经网络模型已近4 0 余种。 我国的神经网络研究开始于1 9 8 8 年，在基础理论与应用领域方面都取得了一系 列重要成果。1 9 8 9 年在广州召开了全国神经网络信号处理会议，1 9 9 0 年我国8 个一级学会在北京联合召开了首届全国神经网络学术会议。特别是1 9 9 2 年国际神经 网络学会和i e e e 神经网络委员会联合学术会议在北京召开，极大地推动了神经网 络在