（计算机应用技术专业论文）非线性时间序列组合预测模型研究.pdf

东北大学硕士学位论文 非线性时间序列组合预测模型研究 摘要 非线性时间序列预测是近年发展起来的一个备受关注的研究领域，无论在数学、 物理学、生命科学、信息科学，还是在经济学、地球科学、天文学等领域均具有广泛 的应用前景。对非线性时间序列的预测理论与方法的研究也已经取得了丰硕的成果， 人们已经掌握了许多的预测方法。但对于复杂的应用环境中的时间序列，单一的预测 方法在实际应用中预测的效果不够理想。因此，如何提高复杂环境下非线性时间序列 预测模型的精度是目前有待解决的课题。本文的研究工作是辽宁省基金项目“面向复 杂工业对象的预测方法研究”的一部分，主要针对非线性时间序列，研究如何建立组 合预测模型，以提高其在复杂环境中的预测能力。b p 神经网络具有大规模并行处理、 分布式信息存储、容错性、自组织性和自适应性等特点，有很强的非线性逼近能力和 分类识别能力，但其收敛速度慢且存在局部极小值问题。门限自回归模型能有效地描 述具有极限点、极限环、跳跃性、相依性、谐波等复杂现象的非线性时序动态系统， 它在实际应用过程中拟合精度较高，但预测效果不理想。因此本文提出了一种建立组 合预测模型的方法，首先基于人工神经元网络和门限自回归技术分别建立单一的非线 性时间序列预测模型，然后对两种模型取长补短。建立其组合预测模型。在这一过程 中，重点研究了单一模型的组合方法，包括线性组合方法和非线性组合方法以及组合 权值的确定。 本文对两个典型的非线性时间序列数据集进行了仿真实验，对各单一模型、线 性组合模型和非线性组合模型的拟合及预测的结果进行了比较和分析，实验结果表 明，组合模型较之单一模型具有较高的精度，其中非线性组合模型的准确度最高，说 明所述的组合预测方法对于非线性时间序列是适合的，可以对其进行稳定的、准确的 预测。 关键词：组合预测；神经网络；门限自回归；非线性时间序列 东北大学硕士学位论文 a b s t r a c t t h e s t u d y o fn o n - l i n e a rt i m es e r i e s c o m b i n a t i o nf o r e c a s tm o d e l a b s t r a c t n o n l i n e a rt i m es e r i e si sa na t t e n t i o n a ir e s e a r c hf i e l di nr e c e n ty e a r sa n di ti sp r o v i d e d w i t hf o r e g r o u n dw h e t h e ri nm a t h e m a t i c s ，p h y s i c s ，l i f es c i e n c e ，i n f o r m a t i c so ri ne c o n o m i c s ， g e o s c i e n c e ，a s t r o n o m y t o d a ya b u n d a n tp r o d u c t i o ni sa c q u i r e db ys t u d y i n go nn o n l i n e a r t i m es e r i e s a tt h es f l l t l et i m ep e o p l ea l s og e tm a n yf o r e c a s tm e t h o d s b u tf o rc o m p l i c a t e d a p p l i c a t i o nc i r c u m s t a n c e ，i ti su n s a t i s f a c t o r yu s i n gs i n g l em e t h o dt of o r e c a s t i ti si m p o r t a n tq u e s t i o nt ob es o l v e de n h a n c i n gm o d e lp r e c i s i o no fn o n - l i n e a rt i m e s e r i e su n d e rc o m p l i c a t e dc i r c u m s t a n c e s t h i sp a p e ri s s u p p o r t e db yt h en a t u a ls c i e n c e f o u n d a t i o n o fl i a o n i n gp r o v i n c e ，n a m e l y f o r e c a s tm e t h o ds t u d yo fc o m p l i c a t e di n d u s t r y o b j e c t ，r e s e a r c h i n gc o m b i n a t i o nf o r e c a s tm o d e li no r d e rt oe n h a n c ef o r e c a s ta b i l i t yu n d e r c o m p l i c a t e dc i r c u m s t a n c e s b pn e u r a ln e t w o r kh a s s u c hc h a r a c t e r i s t i c sa sl a r g es c a l e p a r a l l e lp r o c e s s i n g ，d i s t r i b u t e di n f o r m a t i o ns t o r a g e ，a n t i - j a m m i n g ，s e l f - o r g a n i z a t i o na n d s e l f - a d a p t a t i o n ，a c c o r d i n g l yi th a ss t r o n gn o n - l i n e a ra p p r o a c h i n ga n dc l a s s i f y i n gi d e n t i f y a b i l i t y b u ti tc o n v e r g e ss l o w l ya n de x i s t sl o c a lm i n i m u m t h r e s h o l da u t o r e g r e s s i v e m o d e lc a na v a i l a b l yd e s c r i b en o n l i n e a rd y n a m i cs y s t e m st h a te x i s tc o m p l e xp h e n o m e n a i nf a c t ，t h r e s h o l d a u t o - r e g r e s s i v em o d e lh a sh i g h e ra p p r o a c h i n gp r e c i s i o n b u ti t i s u n s a t i s f a c t o r yf o rf o r e c a s t i n g s ot h ep a p e rp r o p o s e sac o m b i n a t i o nf o r e c a s tm o d e lo f n o n l i n e a rt i m es e r i e s f i r s t l y , c o n s t r u c t sm o n o m i a lm o d e l sb a s e do nn e u r a ln e t w o r ka n d t h r e s h o l da u t o - r e g r e s s i o nr e s p e c t i v e l y t h e n ，c o n s t r u c t st h e i rc o m b i n a t i o nf o r e c a s tm o d e l i nt h ec o u r s eo fm o d e l i n g ，m a i n l ys t u d y st h ec o m b i n i n gm e t h o d so fm o n o m i a im o d e l s ， i n c l u d i n gl i n e a rc o m b i n a t i o n ，n o n l i n e a rc o m b i n a t i o na n dh o wt oa s c e r t a i nc o m b i n i n g w e i g h t s t h ep a p e re x p e r i m e n t so nt w ot y p i c a lt i m es e r i e sa n dc o m p a r e st h er e s u l t so ft h et w o m o n o m i a lm o d e l s ，l i n e a rc o m b i n a t i o nm o d e la n dn o n - l i n e a rc o m b i n a t i o nm o d e l t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tc o m b i n a t i o nm o d e l sh a v eh i g h e rp r e c i s i o n st h a nm o n o m i a l m o d e l s ，a n dt h ea c c u r a c yo fn o n l i n e a rc o m b i n a t i o nm o d e li sh i g h e s t ，e x p l a i n i n gt h a tt h e c o m b i n a t i o nm o d e lp r o p o s e db yt h ep a p e ri sa d a p t i v et on o n l i n e a rt i m es e r i e s ，a n dc a n f o r e c a s ts t e a d i l ya n de x a c t l y k e yw o r d s ：c o m b i n a t i o nf o r e c a s t ；n e u r a ln e t w o r k ；t h r e s h o l da u t o - - r e g r e s s i o n ；n o n i i n e a r t i m es e r i e s i i i 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写 过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示谢意。 学位论文作者签名： 表分呻 日期： 舯j 6 7 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位 论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名： 签字目期：油6 、j j 条纠 导师签名：寸孝凇市勃 签字日期：6 。1 5 东北大学硕士学住论文第一章引言 第一章引言 本章对全文内容进行概述。首先指出本文的研究背景及所要解决的问题，然后在 简要分析相关技术的基础上提出解决方法，即建立组合预测模型。最后给出了论文的 结构。 1 1 研究背景 近几十年来，关于时阊序列分析的研究得到了迅速发展，在工业、农业、医学、 生物、经济管理、水科学等领域有着广泛的应用，特别是对于线性时间序列，取得了 系统而丰富的成果。但是在实际问题中，有许多现象在时序上常常表现出弱相依性、 突变性和随机性等复杂的非线性特征，用线性方法描述是相当粗糙的，不能有效地反 映和解释所观测数据的客观规律。因此对非线性时间序列的研究，近些年来逐渐被重 视起来，已成为诸多领域的研究热点。非线性时间序列的分析和预测在生产过程、金 融及经济等各领域均有着广阔的应用前景。 预测是指根据事物韵历史和现状进行分析和把握，对事物的未来发展作出判断或 预见的一种方法或手段。随着信息技术革命已经遍布了我们社会生活的几乎所有角落 各行各业都希望用计算机来控制和管理自己的企业，提高企业的生产效率和效益。这 使得预测领域也取得了比较丰硕的研究成果【l j 3 j ，出现了许多的预测方法，除主观判 断方法外，还可分为单变量方法和多变量方法。单变量方法在实际中使用最多，主要涉 及分数差分模型、结构模型、贝叶斯预测方法等。多元回归方法仍是最常用的多变量 预测方法，人们对向量回归模型进行了大量的研究。多变量预测方法相对于单变量预 测方法来蜕更引入关注。因为，一方面预测领域没有解决豹问题越来越多，越来越复 杂；另一方面计算机技术的日新月异使得这些方法在实际应用领域更具有可操作性 f 4 o 预测问题所面临的问题既困难，又令人兴奋且富有挑战性。一方面可供选择的 模型越来越多，而且还有比较好的软件可供使用：另一方面预测方法的发展也有可能 带来负面效应，因为可供选择的模型多了，更容易选择错误的或不合适的模型 4 1 ，同时， 现代软件都比较复杂，还有可能使用错误的预测软件。众所周知，所有的预测都是以假 设为基础，特别是长期预测。对于多变量预测，多元模型比一元模型更难拟合，而多元 回归方法用于时间序列数据仍是一种不太可靠的方法。因此，预测模型的选择对于模 型精度有着至关重要的影响。 在工农业生产和金融、经济等领域中，其数据往往具有复杂的非线性特征，针对 这些非线性问题，预测模型主要有临界a r 模型、变化方差模型、神经网络模型【5j 。这 东北大学项士学位论叉第一章 i 言 些方法的核心都是要建立预报模型，所建模型精确与否对学习与预报的效果具有重要 的影响。但是对于复杂环境中的非线性时间序列，使用单一的预测方法往往不能准确 地反映其发展变化规律，因此，如何提高复杂环境下a # 线性时间序列预测模型的精度 是目前有待解决的课题。本文的研究就是基于此展开的。 1 2 问题的提出 预测方法的选择人们常提的问题是“哪种方法最好? ”最简单的回答是“依情况 而定! ”即需要考虑各方面的情况，如所分析的数据类型，分析人员的专业知识、需要 预测的时间序列的项数等等。不同的预测方法在不同的使用场合预测的效果是不同的 这就需要我们在选择预测方法时要考虑全面。 为此，当我们进行预测时，需要注意以下几点： ( 1 ) 选择适当的预测方法时，必须弄清楚事物的前因后果。( 2 ) 根据样本内拟合方 法得到的样本外预测值通常没有预期的那么好，要对不同预测方法的精度进行比较， 应该以样本外预测结果为依据。( 3 ) 对于多变量预测，多元模型比一元模型更难拟合。 ( 4 ) 许多观测到的时间序列表现出非线性特征，故非线性模型近来格外引人注意【5 。不 过根据非线性模型得到的样本外预测结果并不总像人们所预期的那样有多大改进。由 于不同的预测方法其特点不同以及现实世界的复杂性，每一种预测方法往往反映出 “时好时坏性”，因此需要博采众多预测方法的优势，通过组合预测来将多个不同预测 模型的预测信息组合，以期有效地改善预测模型的拟台能力，提高预测精度。 本文提出一种非线性时间序列的组合预测方法，即采用襻经元网络与f 1 限自回归 这两种非线性方法分别建立单一的预测模型，然后以某种方式对它们的结果加以组 合，即建立组合预测模型。 在建立组合模型的过程中，以下的问题需要重点研究： ( 】) 如何建立单一的非线性时间序列预测模型，使其具有较高的精度? ( 2 ) 如何对单一的模型进行组合，是采用线性组合方法，还是采用非线性组合 方法? ( 3 ) 如何确定组合模型中各单一模型的权重系数? 1 3 解决问题方法 本文提出基于门限自回归衣b p 稗经元弼络的组合预测方法来解决现实生活中菲 线性时间序列预报问题，这就是本文真正的目的所在，是提高非线性时间序列预测模 型精度的一种新思路。 建立预测模型，即是通过模型，应用历史数据来预测未来数据，并用预测得到的 数据偏离真实值的程度作为评价组合模型好坏的标准。由于复杂的非线性时间序列所 东北大学硕士学位论文第一章引言 存在的随机性和突变性以及不同预测模型所具有的不同的适应性，单一的预测方法预 测的结果往往不是很理想，往往表现出“时好时坏”的特点，所以本文提出采用组合 预测来提高预测精度。绎过多次的试验与研究，采用b p 神经元网络和门限自回归模 型建立单一的预测模型，其中b p 网络采用三层前锁网络的结构形式并且经过不断 的学习来确定参数。而t a r 模型首先根据自相关系数来确定延迟步数和a r 模型的 阶数，然后根据点值图来确定门限个数及门限的寻优范围，最后利用随机算法优化得 到门限值及门限自回归系数。在此基础 二对b p 网络模型和门限自回归模型分别进行 了线性和非线性组合。通过组合预测权系数最优近似解的方法来确定线性组合预测的 加权系数；通过另外一个b p 网络来确定非线性组合中各单一模型的权值。总之，在 单一建模取得较高精度的基础上，加以适当鲴台，建立准确度更高的组合预测模型， 并在实践中不断完善预报模型，预报蒯题就一定能得到完美的解决。 1 4 论文结构 本文针对复杂的非线性时间序列，详细论述了其组合预测模型的建立和预测过 程。第一章为引言部分，介绍些相关背景及问冠的提出与解决方法；第二章为相关 预测方法及组合预测的研究，阐述了组合预测理论及门限自回归模型和神经元网络知 识；第三章构建单一神经网络预测模型，其中详细论述了b p 网络预测模型的建模过 程及应用；第四章构建单一的门限自回归预测模型，阐述丁门限白回归预测模型的建 模过程及应用；第五章构建组合预测模型，这一章是本文的中心部分，详细论述了对 两种单一模型的线性和非线性组合的组台预测模型，被应用上述方法对非线性时间序 列样本数据进行了预测，分析了结果：最后一章为结论，主要讨论本人在此次课题中 的主要工作，以及下一步的： 作和展望。 的主要工作，以及下一步的工作和展望。 东北大学硕士学位论文第二章相关预测方法及组合预测研究 第二章相关预测方法及组合预测的研究 2 1 非线性时间序列 时间序列是按照时间顺序取得的一系列观测值。日常生产、生活中的很多数据是 以时间序列的形式出现的：一个工厂装船货物数量的月度序列，公里事故数量的周度 序列，高炉炼铁过程中的温度数据等等。对于时间序列的研究就是对时间序列法的研 究。时间序列法是将预测目标的历史数据按照时间的顺序排列起来，成为一个时间序 列，然后分析它随时间变化的趋势，外推预测目标的未来值。时间序列预测方法的基 本思想是通过对时间序列的分析研究，找出预测现象的变化特征及发展规律，并进行 外推预测。 时间序列的一个本质特征就是相邻观测值之间的依赖性。时间序列预报就是根据 时间序列的历史实际观测值抄( 0 ，y ( t - 1 ) ，“t - m + 1 ) 及影响该时间序列的相关变量 x j ( o ，z 2 ( 0 ，( f ) ) 对其未来时刻r + 艇后 0 ) 的取值l v q + k ) 进行估计，即寻找未来 时刻的取值l v 0 + ) 与其历史观测值钞( 0 ，y ( t - 1 ) ，y ( t m + ，) ) 及其影响变量 x ，( 0 ， x 2 ( o ，h ( o ) 取值之间的关系。可用下式描述： y 0 + 砷= 凡y ( 0 ，y ( t - 1 ) ，y ( t - m + 1 ) ，x ，( 0 ，耽。，h ( f ) )( 2 - 1 ) 其中，当k = l 时称为一步预报，当k l 时称为直接多步预报1 6 - 8 。 要拟合函数f ，线性方法是一种完美漂亮的工具，用它来研究时间序列，有时可 以得到令人满意的结果。但是由于大自然非线性的本质，实际上很多时间序列具有复 杂的非线性特征，线性工具最多只能给出近似的结果。要真实地反映出这些非线性时 间序列的本质，就必须使用非线性时间序列的理论和方法。 2 2 人工神经元网络 2 2 1 人工神经元网络发展概况 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是在对人脑组织结构和运行 机制的认识理解基础之上模拟其结构和智能行为的一种工程系统，具有联想和对模糊 或随机信息的识别与处理能力。早在本世纪4 0 年代初期，心理学家m c c u l l o c h 、数 学家p i t t s 就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研 究时代。其后，f r o s e n b l a t t 、w i d r o w 和h o p f j j ，h o p f i e l d 等学者又先后提出了感知 模型【8 j ，使得人工神经网络技术得以蓬勃发展。目前，神经网络已广泛地应用在社会 生活和生产实际的各个领域，如自适应信号处理、时间序列预测、非线性信号处理、 组合优化与智能控制、决策与管理、模式识别、计算机视觉、听觉、语言翻译、机器 4 东北大学硕士学住论文第二章相关预测方法及组合预测研究 学习、专家系统、智能机器人、故障诊断、自然语言理解等限1 0 】。它的运用对象主要 有以下特点：不确定性、高度的非线性、信息类型的复杂性。基于以上原因，人工神 经网络在非线性时间序列分析与预测方面的应用已发展成为一门新兴的技术。国内外 的专家学者在这方面作了大量的工作。实践证明，人工神经网络强大的非线性特点和 容错能力，使一些用其他方法难以获得理想效果的预报问题成为可能。 2 。2 。2 人工神经元网络的基本原理 所谓人工神经网络，是指由大量与生物神经系统的神经细胞相类似的人工神经元 互连而成或由大量类似于生物神经元的处理单元并联或互连而成的网络，这种神经网 络具有某些智能和仿人的功能。它类似人脑，具有自学习、自组织和自适应能力，并 具有较好的容错性和鲁棒性，其研究将会对智能系统的发展和应用产生深远的影响。 从原理 1 l , 12 j 上讲，人工神经网络是对人脑的一种模拟。人脑的每个神经元大约有 1 0 3 1 0 4 个树突及相应的突触，一个人的大脑总计约形成1 0 “1 0 1 5 个突触。用神经 网络的术语来说，即是人脑具有1 0 “1 0 ”个互相连接的存储潜力。虽然每个神经元 的运算功能十分简单，且信号传输速率也较低( 大约1 0 0 次秒) ，但由于各神经元之 间的极度并行互连功能最终使得一个普通人的大脑在约1 秒内就能完成现行计算机 至少需要数1 0 亿次处理步骤彳。能完成的任务。人工神经网络也是由大量的神经元广 泛互连而成的系统，它的这一结构特点决定着人工神经网络具有高速信息处理的能 力。另外，人工神经网络的知识存储容量很大，在神经网络中，知识与信息的存储表 现为神经元之间分布式的物理联系，它分散地表示和存储于整个网络内的各神经元及 其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有 通过各神经元的分布式综合效果才能表达出特定的概念和知识。 由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它 具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经 网络仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练 样本，系统就能给出正确的推理结论。 正是因为人工神经网络的结构特点和其信息存储的分布式特点，使得它相对于其 它的判断识别系统，如：专家系统等，具有一个显著的优点：健壮性。生物神经网络 不会因为个别神经元的损失而失去对原有模式的记忆。因某些原因，无论是网络的硬 件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。 人工神经网络同现行的计算机不同，是一种非线性的处理单元。只有当神经元对 所有的输入信号的综合处理结果超过某一界限值后才输出一个信号。因此神经网络是 一种具有高度非线性的超大规模连续时间动力学系统。它突破了传统的以线性处理为 基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为能 力的一大飞跃。 东北大学硕士学位论文 第二章相关预测方法及组合预测研究 2 2 2 1 神经网络基本特性 神经网络的基本特性包括： ( 1 ) 神经网络由大量的神经元互连而成，根据不同的连接方式，可以得到不同种 类的网络。 ( 2 ) 各神经元之间的连接强度( 权值) 是由神经网络内部加权系数所决定的。当 一个神经网络的结构确定以后，若给出一组样本集合( 已知的一组输入数据及其输出 值) ，通过神经网络的在线学习，不断修改神经元间加权系数的大4 、，使其输出值接 近或达到期望值。 2 2 2 2 神经元结构 图2 1 表示的是一个简单的神经元结构 图2 1 一个简单的神经元结构 f i g 2 1s t r u c t u r eo f a r t i f i c i a ln e u r a lc e l l 设模型输入量j 仁l 矸，尬，j ，】是二值变量，当输入端有信号时，爿- = 1 ； 当输入端无信号时，西= o 。输出y 也是二值变量，有输出时，1 1 = 1 ，无输出时，y = o 。 若不考虑输入输出之间滞后，则输入输出关系可以用下列方程表示： j = q x ，( f ) 一目 l2 y = i ：厂) ( 2 2 ) 酬 p s ， 其中：目神经元闽值，( t ) 该模型第，个输入在t 时刻的状态，吣第- ，个输入的 加权系数。为了反映神经元状态参数连续变化的性质，常用一阶非线性微分方程来模 拟生物神经元膜电位随时间变化规律，即： 东北大学硕士学位论文第二章相关预测方法及组合预测研究 p 蒜船n ( f ) - 日 其中，t 为时间常数，0 为静止膜电位，瓜u ) 是u 的函数 如图2 2 所示： j- 叫 l o 1 ( a ) jk 1 t 叫 l 厂一u o 1 ( 2 4 ) 它一般有以下四种形式 j。 卅 l ， _ y ， 1 jl 卅 1 0厂。 j 1 ( c ) ( d ) 图2 2 神经元输入输出函数 f i g 2 2i n p u ta n do u t p u tf u n c t i o no fn e u r a lc e 图2 2 ( a ) 为阶跃函数，如式( 2 5 ) 所示。 ，缸) = 0 ， 图2 2 ( b ) 为线性函数，如式( 2 6 ) 所示 ，( 卢) = 卢 图2 2 ( c ) 为l o g s i g 函数，如式( 2 - 7 ) 所示： 图2 2 ( d ) 为s 型函数，如式( 2 - 8 ) 所示 “0 “0 ( 2 5 ) ( 2 - 6 ) ( 2 7 ) 东北大学硕士学位论文 第二章相关预测方法及组合预测研究 2 2 2 3 神经网络的学习问题 一般的神经网络都是可调的、或者说可训练的，这样一个特定的输入便可得到要 求的输出。这里，网络根据输出和目标的比较而调整，直到网络输出和目标匹配。这 个过程也叫做网络的学习。到目前为止，己经出现了许多神经网络模型及相应的学习 算法。对学习算法的分类也有多种： ( 1 ) 联想式与菲联想式学习：联想即为映射，它将有限个输入矢量变换成事先给 定的矢量，若要求记忆具有容错能力，那么输入矢量邻域相同的一切矢量也都应该变 换到相应输出矢量的某个邻域内。信息论认为，联想即从信息的一种表示获得另种 表示，从部分信息恢复整体信息。 ( 2 ) 监督与无监督学习：监督学习或称有导师学习，这时利用给定的样本标准进 行分类或模仿，另一种是无监督学习或无导师学习，这时只规定学习方式或某些规则， 而具体的学习内容随系统所处环境( 即输入信号情况) 而异，系统可以自动发现环境特 征和规律性，具有更近似于人脑的功能。 ( 3 ) 阶层式与相互连接式学习：相互连接式学习，即每个神经元都和所有其他神 经元相连接，全互连网络。而阶层式学习，神经元是分层排列的。 最基本、最常使用的学习规则有h e b b 学习规则和w i d r o w h o f f 学习规则。下面 简略介绍一下w i d r o w h o f f 学习规则。 w i d r o w h o f f 学习规则又称为最小均方规则( l e a s tm e a ns q u a r e ，l m s ) ，这是1 9 6 0 年，w i d r o w 和h o f r 提出来的一种神经网络学习算法，主要思想是给出一定的输入对 ；，其中最为输入，t ，为目标输出。要找到最好的权值矩矽和偏置6 ，它可以使 得误差白= 以0 ，其中0 f 为网络计算的输出。 详细的w i d r o w - h o f f 方程就不介绍了，这里说一下主要结论： ( 1 ) 权值矽的调整a w 正比于节点输出值的误差p 。 ( 2 ) 法则的实现是用l m s 算法或称为梯度算法，即是求误差在指定方向的偏导 数，找到最快的路径。 训练b p 网可重复以下步骤： ( 1 ) 网络输入赋值； ( 2 ) 模式顺传播； ( 3 ) 计算误差。 ( 4 ) 逆传播进行网络学习调整权值。 综上所述，神经网络是神经科学、计算机科学、哲学、心理学等领域研究的最新 成果发展起来的新兴边缘学科，是一门正在迅速发展的、全新的科学研究领域。神经 网络在模式识别和信号处理等方面已得到广泛应用，并有可能导致一场新的工业革 命。神经网络的研究虽然时有起伏，出现了研究的高潮与低潮，但总的方向无疑还是 东北大学硕士学位论文第二章相关预测方法及组合预测研究 正确的，还需要不断地总结和积累经验。 2 3f - 1 限自回归模型 2 3 1 门限自回归模型简介 在时间序列分析中，线性模型的研究日趋成熟，并在工程中得到有效应用。然而 实际工程中存在大量的非线性问题，用线性模型去逼近容易丢失信息。为了更确切地 描述实际系统特性，往往需要采用非线性时间序列，但由于非线性数学发展缓慢，因 而对非线性时间序列的研究还存在一定困难。在工程领域，a r 模型的应用比m a 模 型和a r m a 模型更为广泛，这是因为a r 模型参数辨识比较简单，实时性较好，且 已证明v i a 模型和a r m a 模型可由a r 模型逼近。而在非线性时间序列中，非线性 模型种类繁多，其参数辨识比a r m a 模型还复杂，工程应用更为困难。相对而言， 振幅依赖指数自回归模型( e 他模型) 、门限自回归模型( t a r 模型) 和多项式自 回归模型( p n a r 模型) 都是具有a r 型的非线性模型，在参数辨识上比其他非线性 模型更为简单，在工程中的应用较多。本文把门限自回归模型应用于非线性时间序列 的研究中【1 3 , 1 4 1 。 门限自回归模型( t h r e s h o l da u t o r e g r e s s i v em o d e l ，简称t a r ) 是英籍华人h t o n g ( 汤家豪) 博士于1 9 7 8 年首次提出。t a r 模型能有效地描述具有极限点、极限环、 跳跃性、相依性、谐波等复杂现象的非线性时序动态系统，由于门限的控制作用，保 证了t a r 模型有很强的稳健性和广泛的适用性。t a r 模型的基本思路是利用门限值把 一类非线性模型转化为若干个线性模型来处理，并利用门限控制作用，保证模型的稳 定性。由于把极限环的概念引入了非线性的门限自回归模型中，因而有效的描述了具 有周期规律的过程和具有跳跃式的突变现象 1 5 , 1 6 。我们用t a r 模型在预测中获得成 功且广泛地应用，与多元线性回归、投影寻踪回归、模糊分析、人工神经网络、灰色 模型、混沌分析等预测方法相比，t a r 模型的预测精度高且稳健、适用性强、应用简 便。目前，t a r 模型已成为工程分析计算中应用最广且技术较为成熟的非线性时序模 型1 1 7 , 1 8 ，19 1 。 2 3 2 门限自回归模型的建立 门限自回归模型虽然是一种非线性模型，但又是基于对线性系统自回归模型的参 数估计与定阶准则，这是门限自回归模型优于其他非线性模型的一大特点。 由于t a r 模型是分区间的a r 模型，t a r 常规的建模方法是沿用a r 模型的参 数估计方法和模型检验准则，如最小二乘法与a i c 准则1 9 。t a r 的建模过程，实质 上是一个对模型参数d 、r ( 1 ) 、r ( 2 ) 、r ( l 一) 、 ，、n 2 、n l 和的，p 东北大学硕士学位论文 第二章相关预测方法及组合预测研究 的高维寻优问题，常规方法的计算量相当大，从而在某种程度上限制了其实用价值。 常规处理方法如h t o n g 方法、d d c 方法、局部区间搜索方法，计算量大且存在 局部优化问题，尚无法较多地考虑具体的预测情况。为解决t a r 建模过程所涉及的大 量复杂寻优工作这一难题，本文在前人研究成果的基础上，给出基于随机算法的一套 简便实用的t a r 建模实施方案，它包括如下3 大步骤： ( 1 ) 用自相关分析技术确定时序的延迟特性，据此确定门限区问a r 模型的大致结 构形式 18 】； ( 2 ) 用点值图确定t a r 的门限区间个数和门限值的寻优范围【2 0 】： ( 3 ) 用随机算法直接在模型拟合误差最小准则下同时优化门限值和t a r 模型的自 回归系数。 基于随机算法，只要求优化问题是可计算的，它直接在优化准则函数值的引导下， 在搜索空间中进行自适应全局并行搜索，运行过程简单而计算结果丰富，是目前一类 新的通用性强的优化方法，已在诸如函数优化、组合优化、神经网络优化、程序设计 优化、机器学习等众多领域中得到广泛应用。 t a r 模型在实际预测中成功应用的结果表明，本文所提出的这套方案是可行的、 有效的。由于这套基于随机算法的t a r 建模方法具有一般性，在非线性时序预测中 具有重要的理论意义和广泛的应用价值。 综上所述，可以看出门限自回归的建模虽然比较复杂，但每一步的计算内容都是 线性的，可以编程序由计算机来完成。所以在实际应用中并不太复杂。 2 4 组合预测模型 2 4 1 组合预测的概述 近年来，组合预测成为国内外预测界的热门课题之一，组合预测的基本思想是把 各种方法结合起来，扬长避短，利用各种预测方法的预测结果，用适当的权系数进行 加权平均的组合预测模型，提高预测的稳定性和精确性。1 9 6 9 年，由j m b a t e s 与 c w j g r a n g e r 首次系统地提出组合预测的概念。至今，在组合预测方法上已经取 得一些成果。组合预测可以综合利用各单项预测方法提供的信息，是提高预测精度的 有效途径，组合预测的关键是选择合适的方法，确定组合的个数及加权系数的大小。 确定组合的各单项预测方法后，根据各个方法预测值与实际值的误差的大小来确定权 值的大小，一般误差的大小与其在组合中的影响程度呈反比关系。 权系数确定问题广泛存在于预测、决策、控制等领域，它一直是组合预测研究的 主要问题。组合预测方法的基本原理是博采众多预测方法的优势，将多个不同预测模 型的预测信息组合以期有效地改善预测模型的拟合能力，提高预测精度。其组合信息 的一般方式是对各个预测模型的预测值线性加权平均 2 4 1 。权系数反映各个预测模型 东北大学硕士学位论文第二章相关预测方法及组合预测研究 在组合预测方法中的可信度，权系数的好坏直接影响组合预测效果。因此，权系数的 确定是组合预测方法的关键，也是难点。解决这个问题的通常方法有专家咨询法、相 关分析法、误差和最小法以及基于模糊数学、灰色理论、人工神经网络、遗传算法、 小波分析等方法。专家咨询法的致命弱点是过分依赖专家的主观判断和经验，其结果 有时难以令人信服。相关分析法、误差和最小法是基于统计理论的方法，相对于前者 有一定的进步，但当单个预测方法的个数较大时这些方法的计算量很大，甚至还需要 数值计算方法近似计算【2 “。基于模糊数学的权系数确定方法采用隶属函数处理模糊 性，而基本的隶属函数是凭经验或由专家给出，同样具有相当的主观性。而基于灰色 理论、遗传算法、小波分析等的权系数确定方法一般最终仍需要求解误差和最小问题。 针对这个问题本文首先利用近年来倍受信息科学领域研究者重视的组合预测权系数 最优近似解理论来确定组合预测模型中的权系数，以预测方法的有效性指标【2 5 3 6 j 为 目标函数。建立求解组合预测权系数的优化模型，通过对组合预测方法精度的分析， 对最优组合预测权系数优化模型进行近似和简化，以寻找确定组合预测权系数最优近 似解的方法。除了上述的线性组合方法及其权值确定方法，本文还采用b p 神经网络 最优组合预测的方法来建立b p 神经网络一t a r 模型的非线性组合预测模型，各单一预 测方法的权值通过网络训练动态产生。 2 4 2 组合预测的方法 目前，在组合预测方法的研究中取得的成果主要有：专家意见法、方差最小法、 模糊数学法、人工神经网络法、卡而曼波法等。另外，简单加权算术平均组合预测模 型、残差矩阵组合预测模型、线性回归组合预测模型、基于支持向量机回归的非线性 组合预测技术、基于b p 网络的非线性组合预测技术、a r i m a 模型和指数平滑方法、 临界a r 模型、“广义自回归条件异方差”模型( g a r c h ) 、模糊神经网络模型等， 它们都有各自的特点和长处。个别单模型方法预测效果较差时组合预测方法是一种全 新的预测方法，其理论和方法逐步完善、应用范围不断拓广。对同一预测问题而言， 由于考虑的角度、方式和层次等不同，可为其提供不同的预测方法，将这些方法进行 组合，可增大信息量，能更好地进行预n ! | 1 2 3 , 2 7 1 。组合预测将各种预测效果进行总体性 综合考虑，比单个预测模型更系统、更全面。 2 4 3 组合预测效果评价 为了选择最优模型参数，必须制定一些可行指标，对组合预测效果进行综合评价， 我们知道有很多评价预测效果的指标，我们按照预测效果评价原则，选取下列四种指 标作为评价准则【2 8 】。 ( 1 ) 平均绝对误差 东北大学硕士学位论文 g - 章相关预测方法及组合预测研究 1 1 4 4 e = 古旷y , i ( 2 - 9 ) ( 2 ) 均方误差 厅一 m s e 。专1 黔叫，) 2 ( 2 - 1 0 ) ( 3 ) 平均绝对百分比误差 m a p e 姜l y t - - ，yi ( 2 - 1 1 ) n y 智l，i ( 4 ) 均方百分比误差 厅厂_ = 一 m s p e 2 专j 善丝) 2 ( 2 - 1 2 ) 其中，y t 为实际观测值，为组合预测值。 总之，选择好的预测方法，利用有效的方法进行组合，提高预测精度一直是我们 所追求的目标。 2 5 m a t l a b 程序设计语言简介 本文采用m a t l a b 工具箱作为建模工具，在此，简要介绍一下m a t l a b 及其建模的 基本步骤。 m a t l a b 是t h em a t h w o r k s 公司推出的一种国际上最流行的面向工程和科学运算的 交互式计算机软件。它是一个高度集成的软件系统，将科学和工程计算、图形可视化、 图象处理、多媒体处理集于一身，使用户能很容易地设计出友好的图形界面。这使得 m a t l a b 在生物医学工程、图像信号处理、语言信号处理、信号分析、时间序列分析、 控制论和系统论等各个研究领域得到广泛应用。m 甜a b 的最初设计是为了解决复杂且 易出错的数值计算尤其是矩阵运算中的问题，由于其提供了强大的矩阵处理功能和绘 图功能，使科技人员从繁重的编程中解脱出来，因而很快在控制界流传开来。很多控 制界的专家在各自的领域使用m a t l a b 编写了许多高效、准确的工具文件和函数，这 就使得各个层次的研究人员都能直观、方便的进行分析、计算以及设计工作，从而大 大地节省了时间，简化了程序设计的过程 2 9 , 3 0 1 。本文中所涉及到神经网络模型即是采 用m a t l a b 工具箱中相应函数实现的。 神经网络工具箱是m a t l a b 环境下所开发出来的许多工具箱之一，它解决了在应 用b p 网络解决实际问题的过程中，选择多少层网络、多少个神经元、选择哪种传输 函数、哪种训练算法等问题，减少了研究和训练的工作量。神经网络工具箱以人工神 经网络理论为基础，用m a t l a b 语言构造出典型神经网络的激活函数，使设计者对所 选定网络输出的计算，变成对激活函数的调用。另外，根据各种典型的修正网络权值 东北大学硕士学位论文第二章相关预测方法及组合预4 研究 的规则，加上网络的训练过程，用m a t l a b 编写出各种网络设计与训练的子程序，网 络的设计者则可以根据自己的需要去调用工具箱中有关神经网络的设计训练程序，使 自己能够从繁琐的编程中解脱出来，集中精力去思考问题和解决问题，从而提高工作 效率和解题质量 2 9 1 。 针对b p 神经网络的设计【3 ”，在m a t l a b 中可以分为三步来实现： ( 1 ) 网络构建和初始化。函数n e w f f 建立一个可训练的前馈网络n e t 。n e w f f 需要 4 个输入参数：第一个参数是一个r x 2 的矩阵以定义r 个输入参数的最小值和最大值， 相当于输入参数的定义域：第二个参数是一个表示每层神经元个数的数组；第三个参 数是包含每层用到的转移函数名称；最后一个参数是用到的训练算法函数的名称。 ( 2 ) 网络的训练。t r a i n 函数用来训练网络，它需要三个参数：第一个参数是经 过函数n e w f f 初始化的网络n e t ；第二个参数是要训练的数据数组；第三个参数是训 练的目标输出。 ( 3