（计算机应用技术专业论文）基于rbf神经网络的多因素时间序列预测模型研究.pdf

基于r b f 神经网络的多因素时间序列预测模型研究 摘要 多因素时间序列预测是数据挖掘的一个重要研究内容，描述预测指标与影 响因素之问存在的潜在关系，被广泛应用于许多领域。经典的预测方法在用于 非线性系统预测时有一定的困难，而r b f 神经网络具有较好的非线性特性，特 别适用于高度非线性系统的处理，为多因素时间序列预测开辟了新的发展空间。 本文对基于r b f 神经网络的预测模型进行了深入的研究，并详细研究了对网络 输入空间的降维重构。论文主要内容如下： 采用r b f 神经网络进行建模训i 练，并将结果与b p 网络比较，仿真实验表明 r b f 网络的训练速度比b p 网络显著加快，具有较好的泛化能力，能有效地应用 于多因素时阳j 序列预测。 将灰色关联分析( g r a ) 引入预处理过程，以消除与预测指标关联度相对小 的影响因素，提出了基于g r a 的r b f 神经网络预测模型的约简，简化了网络结 构，提高了预测精度。 针对多因素时间序列各因素之间存在相关性，导致信息重叠的缺点，提出 了基于p c a 的r b f 神经网络预测模型的约简。文中利用p c a 方法对原有指标体系进 行处理，提取主成分构成新的指标作为r b f 神经网络的输入，优化了网络结构， 提高了网络的泛化能力。 将上述两种约简方法相结合，提出了基于g r a p c a 的r b f 神经网络预测模型 的约简，减少了采集样本数目，提高了建模效率和预测精度。 关键词：多因素时间序列；r b f 神经网络：主成分分析：灰色关联分析 r e s e a r c ho nt h e f o r e c a s t i n gm o d e l o fm u l t i f a c t o rt i m es e r i e s b a s e do nr b fn e u r a ln e t w o r k a b s t r a c t t h em u l t i f a c t o rt i m es e r i e sp r e d i c t i o ni sa i li m p o r t a n tp a r to fd a t am i n i n g w h i c h d e s c r i b e st h ep o t e n t i a l r e l a t i o n s h i p sb e t w e e np r e d i c t i o n i n d e x e sa n di n f l u e n t i a l f a c t o r s ，a n dh a sav a s ta p p l i c a t i o ni nm a n yf i e l d s b e c a u s et h eg e n e r a lp r e d i c t i n g m e t h o d sa r eb a s e do nl i n e a ra n a l y s i s w h e nt h e yd e a lw i t hn o n 1 i n e a rc a s e st h e yw i l l m e e tm a n yd i f f i c u l t i e s h o w e v e r , t h er b fn e u r a ln e t w o r kh a se x c e l l e n tn o n - l i n e a r c h a r a c t e r , e s p e c i a l l y f o rn o n - l i n e a rp r o c e e d i n g t h ep r e d i c t i n gm e t h o d sb a s e do nr b f n c u r a ln e t w o r ke x t e n dt h es p a c eo f p r e d i c t i n gr e s e a r c h i nt h i sd i s s e r t a f t o n ，t h er b f n e u r a ln e t w o r kp r e d i c t i o nm o d e la n dt h eo r i g i n a li n p u ts p a c er e c o n s t r u c t i o no ft h e r b fn e t w o r ka r es t u d i e di nd e t a i l t h em a i n w o r ki sa st h ef o l l o w i n g ： t h er b fn e u r a ln e t w o r ki sa p p l i e dt om o d e l t r a i n i n ga n d i t se x p e r i m e n tr e s u l ti s c o m p a r e dw i t ht h a to ft h ep o p u l a rb pn e t w o r k t h es i m u l a t i o n s h o w st h a tt h e t r a i n i n gs p e e do fr b f n e t w o r ki so b v i o u s l yf a s t e rt h a nt h a to fb pn e t w o r ka n dt h e g e n e r a l i z a t i o na b i l i t yo f t h i sn e t w o r ki sa l s ob e a e r t h e r e f o r e ，i ti se f f e c t i v et oa p p l y r b fn e t w o r ki nt h em u l t i f a c t o rt i m es e r i e sp r e d i c t i o n b yi n t r o d u c i n gg r a i nt h ep r o c e s so ft h ep r e t r e a t m e n tt or e m o v et h es m a l l e rg r e y r e l a t i o nf a c t o r s ar e d u c t i o no ft h er b fn e t w o r kf o r e c a s t i n gm o d e lb a s e do ng r a i s p r e s e n t e d t 1 1 i sm e t h o ds i m p l i f i e st h ea n n s t r u c t u r e a n di m p r o v e st h ef o r e c a s t i n g p r e c i s i o n t h er e d u c t i o no f f o r e c a s t i n gm o d e lb a s e do n t h ep c ai sp u tf o r w a r dt os o l v et h e c o r r e l a t i o no fi n f l u e n c ef a c t o r sw h i c hc a u s ei n d e xm e s s a g er e d u n d a n c y n l i s d i s s e r t a t i o na b s t r a c t st h ep r i m ef a c t o r sf r o mt h et r a i n i n gs a m p l e sa si n p u tv a r i a b l e s o fr b f n n 1 r h em e t h o do p t i m i z e st h es t r u c t u r eo fn e t w o r k a n di m p r o v e st h e g e n e r a l i z a t i o n o fn e t w o r k c o m b i n i n g t h ea b o v et w om e t h o d so fr e d u c t i o n ，t h i sd i s s e r t a t i o nb r i n g sf o r w a r da r e d u c t i o no ft h er b fn e t w o r kf o r e c a s t i n gm o d e lb a s e do nt h eg r a p c a n l i s m e t h o dr e d u c e s c o l l e c t i n gs a m p l e s ，a n di m p r o v e s m o d e l i n ge f f i c i e n c y a n d f o r e c a s t i n gp r e c i s i o n k e y w o r d s ：m u l t i f a c t o rt i m es e r i e s ；r b fn e u r a ln e t w o r k ；g r e yr e l a t i o n a la n a l y s i s ； p r i n c i p a lc o m p o n e n ta n a l y s i s 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合 合肥工业大学硕士学位论文质量要求。 答辩委员会签名： 主席： 委员： 导师： 膨纱 y 乙 户 1 影厶了 磁 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 金壁王些态堂 或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 靴做储戤f 谢 签字日期撕年i 闷0 日 学位论文版权使用授权书 本学位论文作者完全了解盒艘王些态堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文 被查阅和借阅。本人授权盒胆王墼盔堂可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编 学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：j n # 年 工作单位：釉m 口印证考身叩猁武 通讯地址：绣玲p 岬孝寸摹钆孔撕参 导师签名： 签字日期：钟年i j 月刁日 | 电话；酊j j j8r2 6 j 邮编：一毕。o 莎 谬f日 跃力 0 莎 月 厂 致谢 在此论文完成之际，谨向我的导师胡学钢教授表示我深深的谢意和诚挚的 敬意! 本论文的工作是在胡老师的精心指导、大力支持和热情鼓励下完成的。 胡学钢老师渊博的知识、严谨的治学态度、一丝不苟的工作作风、实事求是的 科研作风一直激励着我，这一切将使我终生受益。 同时，在论文的准备、撰写和完稿过程中还得到吴共庆老师和数据挖掘研 究室的其它老师的帮助和支持，在此表示感谢。 真诚感谢计算机与信息学院的全体老师，感谢研究生部和学位处的领导和 老师们，在这几年硕士研究生课程进修班学习期间和撰写学位论文的过程中， 给予的大力支持。 最后，要感谢我的家人，感谢所有关心我的同学、同事和朋友们。是他们 的关心和鼓励使我的学业得以顺利地完成。 作者：伍长荣 2 0 0 4 年1 0 月1 0 日 第一章概述 近年来，时间序列分析在理论与应用方面得到蓬勃发展，成为统计学和数 据挖掘中的一个重要分支。在客观世界中，事物的发展是许多错综复杂的因素 综合作用的结果。系统中某一因素的变化、发展，必然要受到其它因素的影响。 这种状况反映在预测工作中，就要求考虑其预测值与相关影响因素预测值的关 系。 利用多元统计分析法分析各变量之间的相关性和各变量对研究指标的影响 程度，将具有一定相关性的时间序列作为一个整体进行研究，即多变量( 因素) 时间序列分析，可以更好地了解各时间序列的特性，降低问题复杂性。人工神 经网络理论的发展和应用，为建立高精度的多变量时间序列的非线性映射模型 提供了可能。神经网络能够实现非线性映射，具有较好的模式识别能力和任意 精度逼近的非线性预测能力，可以用来建立各种指标与影响因素之间的非线性 映射，反映多变量之间的相互关系，具有很好的预测效果。 在时间序列数据挖掘中，将多元统计分析与其它挖掘技术相结合，对多变 量时间序列进行描述、分析和预测一直是人们广泛关注的研究课题。 本章首先概述了多元统计分析的研究内容和方法，介绍了r b f ：* 经网络研究 现状，然后就目前多因素时间序列预测问题，提出了本文的研究重点。最后介 绍本文内容及组织结构安排。 1 1 多元统计分析概述 数据挖掘是从大型数据库中提取隐含在其中的、事先未知的、潜在的、有 用的信息，提取的知识表示为概念、规则、规律及模式等，可帮助决策者分析 历史及当前数据，从中发现隐藏的关系和模式，进而预测未来可能发生的行为。 计算机技术、统计方法、各类算法的结合推动了数据挖掘技术的快速发展“。 在数据挖掘作为研究课题正式提出之前，统计分析技术一直是人们处理数 据寻找规律的主要手段。统计学在数据样本选择、数据预处理、数据挖掘过程 及评价抽取知识的过程中有着非常重要的作用。数据挖掘充分吸取了多种统计 分析技术，结合自身的特点，使其成为数据挖掘技术的一部分。 多元统计分析( m u l t i v a r i a t es t a r i s t i c a la n a l y s i s ) 也称多元分析、多 因素分析、多变量分析，是研究多个随机变量之间相互依赖关系及内在统计规 律性的一门统计学科。多元统计方法己经广泛应用于各个领域。在国内外，从 自然科学到社会科学的许多方面的实际应用都证实了它是一种很有用的数据处 理方法，而且取得了很大的成绩，受到了普遍赞誉h 】。 多元统计分析是一类范围很广的理论和方法。多元统计分析所研究的内容 和方法可以概括为以下几个重要方面： ( 1 ) 简化数据结构。通过变量变换或者把高维空间的数据投影到低维空间， 使繁杂庞大麴原始数据褥到篱化恧援失鲍痿息又不太大，以便予避一步的分板 和研究。解决这问题主要方法有：主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 期因子分援( f a c t o ra n a l y s i s ) 等。 ( 2 ) 观测数据按观测点分类或按变量分缀。主窿方法商聚类分析 ( c l u s t e r i n ga n a l y s i s ) 和线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ， l d a ) 等。 ( 3 ) 变量之间相依性分析。分析两个戏两组变量之间的相依关系，是瘳元 统计分轿的重要内容。强癌努拆( r e g r e s s i o na n a l y s i s ) 、穗关分辑 ( c o r r e l a t i o na n a l y s i s ) 和灰色系统理论中的灰色关联分析等掇供了进行这 类研究戆必要方法。 ( 4 ) 多元统计蠛的分布理论和推断方法。包括推导和定义各种多元统计量， 绘建英拯撵分毒嚣簿整它钓夔分鸯爨数亵密度遁数，劳磷嶷它们懿怪矮翻蘩予 它们之上的推断方法，如多元分布的参数估计和假设检验，等等。这些都是各 秘多元统计分毒嚣方法的理论基础。 在大墩数据不断涌入，信息爆炸的时代，要憋利用数据挖掘技术获墩多变 量对闯序列所需要的有用信息，就需要熟练掌握统计分析工具，特别是多元统 计分析方法的运用。 ，2r b f 糖经网络韵璎突瑷状 1 9 8 5 年，p o w e l l 提出了多变量插值的径向基函数( r a d i a lb a s i sf u n c t i o n ， 篱称r b f ) 方法嘲。1 9 8 8 年，b r o o m h e a d 秘l o w e 蕊先将r b f 痘蠲予毒枣经刚终设 计，对径向基函数和多层神经网络进行对比，揭永了二者的关系”3 。m o o d y 和 d a r k e n 在1 9 8 9 年提逡了一秘毅鬏懿享孛经阏络一经囱基醛数章孛经阚络( r a d i a l b a s i sf u n c t i o nn e u r a ln e t w o r k ，简称r b f n n ) ”1 。同年，j a c k o n 论证了径向 基溅数鼹终对非线馕连续函数的致逼近键能”1 。 r b f 网络的神经元映射函数为： 一延= 丛 f “) ；e a 4 其中，c 是r b f 网络的映射中心，用来表示各神经元熊受野中心，a 用来表 示神经元的对外界豹侔糟敏感程度，它越小，翊对输入朝交纯越敏感。 r b f 网络的神经元映射函数就是我们通常所说的高斯函数。该函数的最大 籍淼是只鸯当输入鸯中心稍等对，输密达到最大，随着输入与牵心的灏瀚偏离， 输出也逐渐减小，并很快趟近于零，这与实际神经元基于感受野的这一特点很 裾戳，只蠢当赣入在中心瓣近懿一定戆蕊溺蠹，埝密晌盛缀大，孬裂不嚼疲或 晌废很小。因此，它更确切地描述出实际神经元响应基于感受野遮一特点，比 b p 网有更深厚的理论基础，性能也大大优于b p 网络，逐渐成为替代b p 网络的 一种新型网络。 由于r b f 的隐层到输出层是线性关系，因此r b f 隐层参数设计至关重要， r b f 网络的性能在很大程度上取决于隐层核函数的个数、位置和宽度。近年来 针对这些参数学习问题，许多学者做了深入研究与探索，并发展了一些新的算 法。 r b f 网络的学习算法根据算法思想可以大致分为两类。 第一类算法思想是选定某种性能指标，用适当的方法来校正网络参数，使 该性能指标取得最优值，这样r b f 网络的学习实际上就转化为一个最优化问题。 在神经网络中求解最优化问题通常使用梯度下降法”1 或遗传算法。1 ，这样使得 r b f 网络的隐含层网络中心和输出层权值同时在训练过程中确定。因此，这类 算法象b p 算法一样，存在计算量大，易陷入局部最小，收敛速度慢等问题o “。 通过分析r b f 网络结构特点，我们发现主要有两个因素决定着r b f 的网络 结构：网络中心、输出层权值。据此，我们得到第二类算法。 第二类算法的核心思想是充分利用r b f 网络两层结构特点来设计学习算 法。第一步确定网络中心，第二步确定网络输出层权值。它的重要特点是在第 二步可以直接利用线性优化算法，这样可以加快学习速率和避免局部最优，因 此得到广泛的应用，最近r b f 网络的许多改进都是围绕着这两个方面展开的【“j 。 理论和实践分析证明，r b f 网络的性能主要由隐含层的中心决定，与隐含 层神经元用什么径向基函数无关“。即r b f 网络的结构特点主要由隐含层的中 心位置和个数决定。r b f 网络中心位置和个数的确定实际上就是结构的确定。 网络结构的确定问题，即隐层节点数和位置的选取问题。不合适的隐层节点数， 无法使隐层节点空间实现从非线性的输入空间到线性的输出空间的转换，从而 降低网络的性能，因此隐层节点数的选取成为决定r b f 网络性能的一个最重要 的因素。 由于输入向量空问的聚类数一定小于输入向量的个数，最初人们直接将隐 层节点数取为输入向量的个数，即每个输入向量对应于一个隐层节点，这样隐 层节点和隐层中心的位置可同时确定，只需解线性方程组来确定输出层权值即 可以完全确定该r b f 网。这种方法计算量小，过程简单，很适合于一些小规模 的样本问题，但是对于一些规模较大的问题，所求得的网络结构过于复杂。为 此，人们又引入了k 一均值聚类以及它的改进方法【1 3 , 1 4 1 5 】，该方法可以根据样本 之间的空间距离实现样本的模式聚类，把距离相近的输入向量归为一类，并把 它们的算术平均值作为中心，再通过第二层权值的线性变换来逼近实际输出值。 这样便实现了用较少的中心来表示一些规模较大的问题，该方法对于一些输入 样本数及聚类模式数给定的模式识别的问题比较适用。 径向基神经网络是一种性能良好的前馈网络，具有最佳函数逼近性能和全 局最优特性，广泛地应用于分类、系统辨识、函数逼近、时间序列预测和信号 处理等方面【1 6 , 1 7 , 1 8 , 1 9 】 1 3 多因素时间序列预测研究概况 时间序列是预测的基础，是所考察事物行为特征的外在表现，预测者正是 通过对时间序列的分析，挖掘事物的内在规律性，并结合现有或将来可能出现 的条件，对事物的发展趋势做出预测。 在预测工作中，有时将系统某一方面的行为特征映射为时间序列即单因素 时间序列，以此时间序列为基础，进行建模预测，孤立地研究系统某一行为特 征的变化情况以及未来的发展趋势。 设单因素时间序列y 。( t = 1 ，2 ，n ) 。单因素时间序列模型认为时间序列 在t 时刻的值和其过去时刻的时间序列值有关。预测模型为： y t = f ( y t 1 ，y t - 2 ，y t k ) + t 单因素时间序列采用线性模型( 如a r 模型、m a 模型、a r m a 模型和g m ( 1 ，1 ) 等) 来拟合、预测时间序列。但我们生存的现实物理世界是复杂的，非线性无 所不在。因此，我们将时间序列看作是一确定性非线性动力系统。近年来，非线 性模型神经网络在时间序列分析和预测中获得了很大的发展【2 0 】。 从自然观的角度看，可以认为时间序列系统是一种联系方式，在这种方式 中，若干有特定属性的因素经特定关系而构成具有特定功能的整体。系统的定 义说明系统中存在着相互联系的多种因素，系统中某一因素( 行为特征) 的变 化、发展，必然要受到其它因素的影响。时间序列y 。在形成时还受到各种外界 随机因素( x i ，x 2 ，x p ) 恻l 。忽略这些因素对输出的影响则会产生较大的误差， 故应将其模型改为考虑影响因素的多因素时间序列预测模型。 多因素时间序列预测模型为：y t = f ( x x 2 ”，x p t ) + s t 对非线性多因素时间序列建模并对其走势进行预测，在经济分析、数字信 g - 处理等领域中都十分重要。目前主要采用的方法是多元线性回归法【2 ”、多变 量灰色预测法g m ( 1 ，n ) 2 2 1 和神经网络预测法】等。其中神经网络由于具有高度 的非线性运算能力和很强的自学习、自组织能力而广泛的应用于非线性时间序 列预测中。但目前在有关神经网络的预测模型中，绝大多数的研究是基于采用 反向传播( b a c kp r o p a g a t i o n 。简写为b p ) 学习算法的神经网络。b p 网络存在 着学习收敛速度慢、不可避免地存在局部极小、s i g m o i d 激励函数的饱和性等 问题，从而影响其进一步的应用。而径向基函数( r a d i a lb a s i sf u n c t i o n ，简 写r b f ) 网络是一种全部逼近神经网络，对每个输入输出数据对，只需调整少 量的参数，使其在逼近、分类能力和学习速度等方面大大优于传统的b p n 络1 2 4 1 。 利用r b f 神经网络建立多因素时间序列预测模型由于考虑了影响因素的作 用，很好地反映了输出值与影响因素之间的非线性动态关系，从而提高了预测 4 精度。然而，对于网络输入变量的选择，传统方法是通过定性分析的手段，尽 可能地找出与网络输出变量有明显因果关系的指标作为网络输入变量。这样， 不可避免魂存在以下两个闷题：( 1 ) 由于稠络输入变量之阀的不独立，导致指 标佰息重叠；( 2 ) 某些输入变量与输出变擞之间的关联度很小，从而导致貌似 有关丽实际无关静信怠热入。馥上两种闻越豹出现导致了潮络的凝杂发增翻、 网络性能降低、计算时间增加和预测精度下降等一系列问题。 为诧，在应蠲r b f 神经溺络魏模避，藏考虑辩多因素潜阉彦捌数据裁蹋多 元统计分析进行预处理，从减少神经网络的输入结点个数出发，从根本上降低 耪缀阚终麓模，霹淡有效豹洚低霎法静复杂经，臻瘫题终泛恁姥力。 1 4 本文擞要工作和组织结构 1 4 1 本文主要工作 髑霜r b f 禳系丽络送行 线瞧獗测是一令重癸磅究谍题。本文裁r b f 耱经 网络在多因素时间序列预测中的应用进行了探讨。 缘会寒谥，本文瑟簿 究黎竞成戆工终主要毒： l 、分析了多元统计分析方法中灰色关联分析和主成分分析技术的基本原理 郓主要应艨。 2 、分丰斤了r b f 神经网络的基本理论、结构和翻前各种学习算法；并介绍最 近邻聚类学习算法及其改进算法。 。 3 、利稍r b f 神经网络建立了预测模型，并通过仿真实验验诞了模型的有效 性。 4 、莉瘸灰色关联分罄予( g r a ) 涪豫了次要或不岿要影嫡因素精标，豢藕了 神经网络的输入样本空间，减少了神经网络规模，改善了预测精度。 5 、翻蠲圭残分分橱( p c a ) 撬簸了影晌鑫素掇撂鹣圭残努，淡除输入变量 之问相关性，优化了网络绺构，提高了网络泛化能力。 6 、垮( i r a 窝p c a 提结会，怼多因素野闻旁烈避嚣圜素终筵，程僳迁鹅终接 合精度和泛化能力的情况下，进步简化丁网络结构。 1 4 2 本文维织结构 本文尊先分析了r b f 网络基本理论和学习算法。然厝研究了多元统计分孝慝 中灰色关联分折和主成分分析法在r b f 网络建模中应用，并应用于粮食生产多 因綮时间序列建模。最后绘出仿真实验，验证了模型的有效性。 本文备部分组织如下： 第一章概述。概述了多元统计分析研究内容和方法；介绍r b f 神经网络研 究状况；分丰厅了嚣藩多因豢时闯浮麓预测褥究概躐；最嚣给毒本文磅究的主要 工作和内容组织。 第二章r b f 神经网络预测模型。首先概述人工神经网络的发展，介绍人工 神经网络的特点和基本原理；重点阐述近几年兴起的径向基函数、r b f 神经网 络结构、映射关系及映射机理。然后对现有的r b f 网络学习算法进行了总结； 重点介绍了最近邻聚类算法，并分析了其改进算法；最后给出了一种基于r b f 网络的多因素时间序列仿真实验研究。 第三章基于g r a 的r b f 神经网络预测模型的约简。本章首先介绍灰色关联分 析概念和计算步骤，然后提出基于g r a 的r b f 神经网络预测模型的约简，并以仿 真实验验证了模型的有效性。 第四章基于p c a 的r b f 神经网络预测模型的约简。本章首先介绍介绍主成分 分析概念、几何意义和性质，给出了求解样本主成分的方法。然后，提出基于 p c a 的r b f 神经网络预测模型的约简，并以仿真实验验证了模型的有效性。 第五章基于g r a p c a 的r b f 神经网络预测模型的约简。本章研究了r b f 神 经网络输入层的输入参数的维数约简，提出了基于g r a p c a 的r b f 神经网络预 测模型的约简，仿真结果证明了这种新方法可以提高建模效率，提高预测精度。 第六章总结及展望。对本文的主要研究工作进行简要的阐述，并对需要进 一步解决的问题进行了探讨和展望。 6 第二章基于r b f 神经网络的预测模型 尼十年来，入工棒经两络豹发展凡经离潮与低谷，现在正逐步走向成熬与 完替，渐渐形成了较为完善和系统的理论体系，在越来越多的非线性控制领域 中褥羁瘟爝。r b f ( r a d i c a lb a s i sf u n c t i o n ，r b f ) 季孛经网络静磷究遥年来逐灏袋 为热点，不少文献中讨论tr b f 神经网络的建模问题【2 们。 本章骜先援述了大王享搴经网终豹发聂、特点稳基本骧耀；耋纛阐述_ i 霆尼年 兴趣的径向基函数、r b f 神经网络结构、映射关系及映射机理。对r b f 网络学 习舞法进行了分孝蓐襄总结；详绥分缨了一争争最近邻聚类算法，并分提了它懿改 进算法。最后给出了一种熬于r b f 网络的多因素时间序列仿真实骏研究。 2 ， 入工毒搴经翔络摸黧概述 2 1 1 人工神经网络产生的背景 自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学 家的研究热情。生物学家、害串经学家经过长鞭不攒憋努力，通过对人脑的双察 和认识，认为人脑的智能活动离不开脑的物质基础，包括它的实体结构和其中 所发生的各种生物、化学、电学作用，并鼹此建立了神经元网络理论和享枣经系 统结构理论，而神经元理论又是魏后神经传导理论和大脑渤能学说的基础。在 这魑理论慕础之上，科学家们认为，可以从仿制人脑神经系统的结构和功能出 发，研究入类智髓活动和认识现象。勇一方面，i 9 世纪之藩，无论楚良敬氏几 何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，从总体 主说，这鎏经典秘学蘩是线瞧科学。然蠢，客蕊黻赛是始魏韵绣繁复杂，饕线 性情况随处可见，人脑神缀系统更是如此。复杂性和非线性是联系在一起的， 爨鼗，对线牲科学熬爨究遵是我镯试谈复杂系绫懿关键。戈了樊磐遮谈谈客 观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的、 与大脑智熊媚戳的网络模熬，裁这样应运惩生了。所以，人工辨经网络憋创立 不憝偶然的，而是2 0 世纪初科学技术充分发展的产物。 2 2 天王孳枣经翳络豹发装暹程 人工神经网络的研究娥于4 0 年代初。半个世纪以来，经历了兴起、离潮与 萧条、高潮及稳步发展静静折道路。 人工神经网络的发展纛今已缀历了三个阶段： 1 、t 9 4 3 - 1 9 6 9 年为秘锚麓。 1 9 4 3 年，心理学家m c c u l l o c h 和数学家p jt t s 首先提出了形式神经元模型 ( 麓称鼙p 模鍪 ，把耱经元季睾药载态开关，势应嗣蠢尔逻辑戆数学工兵耢究客 7 观事件的形式神经网络的模拟。1 9 4 9 年心理学家h e b b 提出了神经元学习规则， 使神经元具有了可塑性。1 9 5 8 年r o s e n b l a t t 提出了感知器模型。1 9 6 9 年日本 的中野提出一个联想记忆模型，同年m a r r 提出小脑功能机器学习法则的小脑感 知器模型，这是一项神经网络与神经生理学相结合的研究成果。 2 、1 9 7 0 - 1 9 8 6 年为过渡期。 在这一阶段神经网络的研究一度陷入低潮。但是这项研究并未中断。其中 1 9 7 2 年芬兰k o h o n e n 提出了线性神经网络模型，比起非线性网络模型，它的分 析要容易得多。1 9 7 5 年福岛提出了自组织识别神经网络模型。1 9 7 6 年美国 g r o s s b e r g 根据对生物学和心理学的研究，提出了几个非线性动力系统结构， 对神经网络的研究起到了重要的推动作用。1 9 8 0 芬兰k o h o n e n 提出了自组织映 射理论。影响力较大的是r u m e l h a r t 于1 9 8 6 年提出的误差反向传播神经网络 ( e r r o r b a c kp r o p a g a t i o n ，简称b p 网络) ，并在此基础上提出了一系列b p 学习算 法。 3 、1 9 8 7 年至今为发展期。 在该阶段，国内外的许多组织及研究机构发起了对神经网络的广泛探讨。 并举行了有代表意义的学术会议。这些都意味着神经网络的研究已在世界范围 形成了又一个高潮。 总之，人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是近年来迅速发展 起来的一门集神经科学、计算机科学、信息科学、工程科学为一体的边缘交叉 学科，是一种大规模并行的复杂的非线性动力系统，可表示极其复杂的非线性模 型系统，具有高度并行的处理机制、高度灵活可变的拓朴结构以及强大的自组 织、自学习、自适应能力和处理非线性问题的能力，得到了许多领域专家的重 视。 为适应人工神经网络的发展，1 9 8 7 年成立了国际神经网络学会，并决定定 期召开国际神经网络学术会议。1 9 8 8 年1 月n e u r a ln e t w o r k 创刊。1 9 9 0 年3 月i e e et r a n s a c t i o no nn e u r a ln e t w o r k 问世。 我国于1 9 9 0 年1 2 月在北京召开了首届神经网络学术大会，并决定以后每 年召开一次。1 9 9 1 年在南京成立了中国神经网络学会。1 9 9 2 年i e e e 与i n n s 在 北京联合召开i j c n n 9 2 会议。这些为神经网络的研究和发展起了推波助澜的作 用，人工神经网络步入了稳步发展的时期。 随着理论工作的发展，神经网络的应用研究也取得了突破性进展，涉及面 非常广泛，就应用的技术领域而言。有计算机视觉，语言的识别、理解与合成， 优化计算，智能控制及复杂系统分析，模式识别，神经计算机研制，知识推理 专家系统与人工智能。 自从1 9 8 7 年l a p e d e s 和f a r b e r 首先将神经网络技术应用到预测研究领域 以来，国内外许多研究人员开始从事神经网络预测方法的研究，涌现了许多神 8 经网络在预测中成功运用的实例 1 7 , 2 6 。 2 1 3 人工神经网络的特点和基本原理 人工神经网络( a n n - - a r t i f i c i a l n e u r a l n e t w o r k ) 之所以能够在众多研究领 域得到广泛应用，正是由于它具有下述特点： 1 ) 不依赖精确的数学模型，具有广泛的从输入到输出的任意非线性映射能 力： 2 ) 分布式信息存储，大量数据单元同时高速并行处理，有很强的鲁棒性； 3 ) 信息分布地存储于处理单元的闽值和它们的联接权中，具有很强的容错 能力，个别处理单元不正常不会引起整个系统出错： 4 ) 应用多种调整权值和闽值的学习算法，具有类似人脑的学习( 自适应和 自组织) 功能； 人工神经网络是由大量被称为节点的简单信息处理单元( 神经元) 组成， 每个节点向邻近的其它节点发出抑制或激励信号，整个网络的信息处理便是通 过这些节点之间的相互作用而完成的。 人工神经网络的一个节点如图2 1 所示： x i x 2 x n 圈2 1 a n n 原理图 其中，x i ，x 2 ，x 。为节点的输入分量，它们是神经元所接收到的信息。 w l ，w 2 ，w 。为权重，也称连接强度；0 为阈值；f 为激活函数，一般取为 非线性函数：y 为节点的输出。 人工神经网络的工作过程可分为训练和测试两个阶段。在训练阶段，以一 组输入输出模式对作为训练样本集来训练网络。网络训练的过程即是网络参数 ( 包括权值、阈值等等) 的调整过程。在测试运行阶段，给定新的输入，网络 即能计算得到相应的输出。 通常，a n n 的学习( 或训练) 方式可分为两种：一种是有监督( s u p e r v i s e d ) 或称有导师的学习，利用给定的样本标准进行分类或模仿：另一种是无监督 ( u n s u p e r v i s e d ) 学习或称无导师学习，只规定学习方式或某些规则，而具体的 学习内容随系统所处的环境( 即输入信号情况) 丽异，系统可以自动发现环境 特征和规律性，具有更近似于人脑的功能。 b p ( b a c k - - p r o p a g a t i o n ) 网络和反向传播算法是目前研究和应用较多的一 类模型。因此，就以它为例来说明a n n 的工作原理及训练过程。b p 网络是一 种多层前馈型网络，其运算过程是一个映射，训练过程则是动态的。这种网络 9 除了输入层和输出鼷外，还有一个或多个中间层，也称隐含层。b p 网络运行时， 输入模式酋先通过加权传到隐含层节点，经过激活函数的作用再传到输出节点。 激活函数应该跫可徽的、菲减豹，通常取为s 鍪函数。 b p 算法是，一种有导师( 有指导) 学习算法，网络通过反向传播算法自动 学习瘫帮表达( 都各节煮黼蕊连接投毽及戆会垂节点与输窭节点静瓣擅) 。掰疆 反向传播，是指训练过程按误差由输出层经隐含层向输入朦反向传播。整个训 练避程为：蕾先摄援当蓑秘瘫部表达，对糕奉竣入模式俸蕊自诗葵，然后跳较 网络的输出与期望输出之间的误差，如误麓小于规定值，则训练结束；否则， 埯误差向最传撵，逐步调整粳僮和阚僮。如此後坯，直至误差达到要求。因此， b p 算法又称误差葳传算法。 b p 网络作为一种前馈型神经网络，币仅结构筠单、易予实现，而且在许多 方颟表现出了饶怠的性能。其特有的优点鼹；方涪的理论依据坚实、推导严谨、 形式优美、物理概念清晰、应用广泛，受到人们的普遍青睐，日前已成为从输 入输出数据穰叛菲线往模鬓的学习手段，冀应瑗范瀚凡乎覆盖所有豹工程领域， 如自适应模式识别、实时谮音重建、图像煎构与数据压缩、实时分类、航空航 天及视器久颂域静丈鑫自浚系统羧锘等等。歪因为番这些铙点，缆它爨楚嚣翦 在多层前向网络的设计中成用较多的方法，但它的缺点也怒非常明显的。 b p 网终戆嫒点是对于予撬裴鬻敏感、貉含层节点数鬟要经过多次尝试，另 外。b p 网络用于函数逼近时，权值的调整聚用梯度下降法，而且熙采用全局逼 近方法，即对每令竣入输出数据对，网络憋每一个权毽均霭调整，这些势必导 致b p 网络存在局部极小、训练时间长和收敛速度慢等缺点，影响了预测的效果。 尽镑现在对b p 瞬终的改进方法很多，但都是片面地改善巢一方面性能1 2 ”。 1 9 8 9 年m o o d y 和d a r k e n 提国用径商嫠函数作神经元的功能溺数来避行学 习。r b f 神经网络猩一定稷度上克服了b p 网络缺点，在遇近能力、分类能力和 学习速度等方蕊均往于静网络，理论上为多层前後蕊络豹学习援 共了一种巍颡 而肖效的手段，因此，它的研究与应用越h 柬越得到重视，且广泛应用于数据分 类帮对闯洚列预测筹方嚣测。 2 2r b f 神经瓣络基本理论 1 9 8 5 年，p o w e l l 提出了多变量插值的饺向基函数( r a d i a lb a s i sf u n c t i o n ， 簿拣r b f ) 方法l ”。1 9 8 8 每，b r o o m h e a d 秘l o w e 蕾先姆r b f 应惩予享孛经睡络 设计，对径向基函数和多滕神经网络进行对比，揭示了二者的关系扭j 。m o o d y 和d a r k e n 在1 9 8 9 年提出了一静新颡的神缀网络一径向基涵数神缝网络( r a d i a l b a s i sf u n c t i o nn e u r a ln e t w o r k ，简称r b f n n ) 扣j 。同年，j a c k o n 论证了截向基 函数网络对非线性连续函数的一致逼近性自妒j 。 r b f 网络可以根搽问蹶确定楣应酌丽络拓扑结构，其有逼近精度高、网络 o 规模小、学习速度快和不存在局部最小问题等特点。 2 。2 经裁萋涵数( r b f ) 如果函数h l 3 ( r d ) 是径向的，则存在函数m l 2 ( r ) ，对于v x er d ，有 下式成立： h ( x ) = 则i x u ) ( 2 1 ) 萁孛l l x l l 表示x 赘欧足麓褥( e u c l i d e a n ) 范数，并且其薅立盱变换氇楚径囱 的。 经囊蒸函数豹一令逶瓣表速式为： h ( x ) = m 【( x c ) 7e - 1 ( x c ) )( 2 2 ) 其孛辔表示径自函数( 翔o a u s s i a n 、m u l t i q u a d r i e 等) ，e 表示爨数的中心囱 量，e 是一个变换矩阵，通常为e u c l i d e a n 矩阵。( x c f e - l ( x c ) 是在斑阵e 定义的意义之下对输入向爨x 与中心c 的鼷离的一秘衡量。 如采e 代表的是一个e u c l i d e a n 矩阵，在这种情况下，e = r 2 i ，r 为税向基 函数半径，则上式简化为： h ( x ) = 毓x c ) t ( x c ) ，r 2 ( 2 3 ) 一般情况下，又进一步简化为： h ( ；) ：枷x - - c 1 1 2 ，2 ) ( 2 4 ) 经囊嚣瑟数述蒸畜一个重要褥征：箍赣与菜孛心点静距甍静璎大，涵数 曲线呈单调递减( 递增) 趋势。 下委怒豆类鬻惩懿径翔基丞数，盎蒌： 高斯函数( g a u s 8 i a nf u n c t i o n ) ：枷i x i i ) = e 一2 1 多二次函数( m i l l t i q u a d r i cf u n c t i o n ) ；鲫l x f r ) = 6 + 2 声 、1 逆多二次函数( i n v e r s em u l t i q u a d r i cf u n c t i o n ) ：删i x l l ) = ( i + i l x l l 2 卜 径向基函数是一类局部分布的对中心点径向对称衰减的非负非线性甑数。 它蠢两个变要参鼗；一个必萋靛中心，释对舔煮；勇一令为基静宽度，帮在多 大的区域内会产生明显的输出响威。它们在二维情况下的函数分布图如圈2 2 溪示，冀孛c = 0 ，产l 。 图2 2 几种常用的径向基函数 ( d m u l t i q u a d r i e i n v e r s em u l t i q u a d r i c g a u s s i a n 由图2 2 可见，随着与中心点距离的增大，g a u s s i a n 、i n v e r s em u l t i q u a d r i c 、 是单调递减的，m u l t i q u a d r i c 函数曲线单调递增。形如g a u s s i a n 函数这种呈单调 递减性的径向基函数具有良好的局部特性。它对输入信号将在局部范围产生响 应，即当变量x 靠近径向基函数的中心时，函数将取得较大的值，随着与中心 点距离的增大，其值逐渐趋近于零。当以径向基函数为神经网络隐含层结点的 激活( 核) 函数时，