（概率论与数理统计专业论文）基于径向基函数神经网络的应用研究.pdf

摘要 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简称为a n n ) 是理论化的人 脑神经网络的模型，是模仿大脑神经网络结构和功能而建立起米的一 种信息处理系统。人工神经网络的研究始于2 0 世纪4 0 年代，近二十年 发展极为迅速，它的应用范围涉及到数学、工程、计算机、物理、生物、 经济、管理等科学领域本论文主要基于a n n 的非线性逼近性质，借 助m a t l a b 的神经网络工具箱，我们得出了如下的结果： 首先，我们实现了b p 网络( 下文中简写为b p n n ) 和径向基函数 ( r a d i a lb a s i sf u n c t i o n ) 神经网络( 下文中简写为r b f n n ) 的建立、学 习和训练。通过仿真实例，体现了a n n 的非线性逼近能力，并对b p n n 和r b f n n 进行比较研究，结果显示了r b f n n 具有结构简单、训练速 度快，并且有比较强的抗干扰能力，能达到很好的逼近效果。体现了 r b f n n 的函数逼近能力在多方面都优于b p n n 。其次，我们把r b f n n 作为一种新的回归方法应用到多元线性回归模型和多元非线性回归模 型中。通过实例分析，结果表明r b f n n 方法用于回归分析的拟合效果 和预测效果很好而且简单方便。最后，我们用r b f n n 进行了股票预测， 通过以中国上证指数的5 4 0 个交易日的数据为实验对象进行预测，得到 了较好的预测效果。 本论文的结构安排如下： 第1 章绪论。主要是论文的研究背景以及论文的主要工作。 第2 章a a n 基本理论。主要是a n n 概述、b p n n 和r b f n n 简介以 及a n n 用于函数逼近的一些定理。为a n n 的函数逼近能力的研究提 供了理论基础。 第3 章b p n n 和r b f n n 函数逼近仿真。主要是利用m a t l a b 神经网 络工具箱，把b p n n 和r b f n n 应用于函数逼近的设计及仿真。 第4 章r b f n n 模型与多元回归模型。主要是r b f n n 方法解决多 元线性回归和多元非线性回归问题，并对传统回归方法和r b f n n 方法 在实际应用中进行了比较研究。 第5 章r b f n n 模型对股票市场价格进行预测a n n 可以看成是一 个具有自学习功能的“黑箱”，在处理无法精确建模的问题上具有很大 优势。由于股票的价格是非线性的时间序列，本文提出了基于r b f n n 的股票价格预测模型，并应用该模型对于中国上证指数进行了预测。 结语。包括了论文的主要结论与不足，并为未来的研究提出建议。 其中第3 、4 、5 章是研究的核心部分。 关键词：神经网络函数逼近线性回归非线性回归股票预测 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k s ( a b b r e v i a t e da sa n n ) i sat h e o r e t i c a lm o d e lo f h u m a nb r a i nn e t w o r k s i ti st os e tu pa ni n f o r m a t i o np r o c e s s i n gs y s t e n f i st h r o u g h i m i t a t i n gb r a i nn e t w o r k s s t r u c t u r ea n dp o w e r a n n sr e s e a r c hb e g a ni nt h e2 0 t h c e n t u r y , t h e4 0 s i nt h el a s tt w od e c a d e s ，a n n sd e v e l o p m e n ti sv e r yf a s t a n n w e r ea p p l i e dt ov a r i o u sf i e l d so fs c i e n c e ，i n c l u d i n gm a t h ，e n g i n e e r i n g ，c o m p u t e r s ， p h y s i c s ，b i o l o g y , e c o n o m i c s ，m a n a g e m e n ta n ds oo n i nt h i sp a p e r ，w em a i n l y o b t a i n e dt h ef o l l o w i n gr e s u l t sb a s e do nt h en a t u r eo fa n n sn o n - l i n e a ra p p r o x i - m a t i o na n du s i n gm a t l a b sn e u r a ln e t w o r kt o o l b o x f i r s t l y , w er e a l i z e dt h ee s t a b l i s h m e n t ，l e a r n i n g ，a n dt r a i n i n go fb pn e t w o r k ( a b b r e v i a t e da sb p n n ) a n dr a d i a lb a s i sf u n c t i o n ( r a d i a lb a s i sf u n c t i o n ) n e u - r a ln e t w o r k ( a b b r e v i a t e da sr b f n n ) a n n sn o n l i n e a ra p p r o x i m a t i o na b i l i t yb e r e f l e c t e dw i t hs i m u l a t i o ne x a m p l e t h er b f n nh a ss i m p l es t r u c t u r e ，t r a i n i n g s p e e da n dr e l a t i v e l ys t r o n ga n t i - i n t e r f e r e n c ea b i l i t yt h r o u g hc o m p a r a t i v es t u d i e s o fb p n na n dr b f n n i ta l s os h o w st h a tr b f n nf o rf u n c t i o na p p r o x i m a t i o nc a n a c h i e v eg o o dr e s u l t s t h ef u n c t i o na p p r o x i m a t i o na b i l i t yo fr b f n ni ss u p e r i o r t ob p n n si nm a n ya s p e c t s s e c o n d l y ，r b f n na 8an e wr e g r e s s i o nm e t h o di s a p p l i e dt om u l t i p l el i n e a rr e g r e s s i o nm o d e l sa n dm u l t i v a r i a t en o n l i n e a rr e g r e s s i o n m o d e lb a s e do nt h ea b o v et h e o r y a sar e s u l t ，r b f n nm e t h o da b t a i n sg o o df i t t e d e f f e c ta n df o r e c a s t e de f f e c ta n di t i ss i m p l ea n dc o n v e n i e n ti nr e g r e s s i o na n a l y s i s f i n a l l y , w ef o r e c a s tc h i n a 8s t o c km a r k e tp r i c e su s i n gr b f n n t h r o u g ht h e5 4 0 t r a d i n gd a y so fd a t ao fc h i n e s es h a n g h a ic o m p o s i t ei n d e xf o rt h ee x p e r i m e n tt o p r e d i c t ，w eg e tag o o dp r e d i c t i o ne f f e c t i nt h i sp a p e r ，t h ec h a p t e r sa sf o l l o w s ： c h a p t e r1 ，p r e f a c e ，m a i n l yi n c l u d e st h es t u d yb a c k g r o u n da n dt h em a i nw o r ko f t h i sp a p e r i i i c h a p t e r2 ，a a n sb a s i ct h e o r y m a i n l yi n c l u d e sa n n so v e r v i e w ，b r i e fi n - t r o d u c t i o no fb p n na n dr b f n na n ds o m ef u n c t i o na p p r o x i m a t i o nt h e o r e mo f a n n m a i np u r p o s ei st op r o v i d eat h e o r e t i c a lf o u n d a t i o nf o r s t u d y i n gt h ea n n s f u n c t i o na p p r o x i m a t i o na b i l i t y c h a p t e r3 , f u n c t i o na p p r o x i m a t i o ns i m u l a t i o nw i t hb p n na n dr b f n n m a i n l y i n c l u d e st h ed e s i g na n ds i m u l a t i o no fb p n na n dr b f n n u s i n gm a t l a b sn e u - r a ln e t w o r kt o o l b o x c h a p t e r4 ，r b f n nm o d e la n dm u l t i v a r i a t er e g r e s s i o nm o d e l m a i n l yi n c l u d e sr b f n n m e t h o di su s e dt os o l v em u l t i p l el i n e a rr e g r e s s i o na n dm u l t i v a r i a t en o n l i n e a rr e - g r e s s i o np r o b l e m m o r e o v e r ，w ec o m p a r et h et r a d i t i o n a lr e g r e s s i o nm e t h o dw i t h t h er b f n nm e t h o d st h r o u g hp r a c t i c a la p p l i c a t i o n s c h a p t e r5 ，r b f n nm o d e l sf o rf o r e c a s t i n gs t o c kp r i c e s a n nc a nb es e e na s b l a c k b o x ”w i t hs e l f - l e a r n i n gp o w e r ，i th a sav e r yg r e a ts u p e r i o r i t yo nt h ep r o b l e mo fn o p r e c i s em o d e l b e c a u s es t o c kp r i c e sa r en o n l i n e a rt i m es e r i e s ，w ep r o f f e rp r e d i c - t i o nm o d e lo fs t o c kp r i c eb a s e do nr b f n ni nt h i sp a p e r ，a n da p p l yt h em o d e l t op r e d i c tt h ec h i n e s es h a n g h a ic o m p o s i t ei n d e x c o n c l u s i o n m a i n l yi n c l u d e st h em a i nc o n c l u s i o n sa n ds h o r t c o m i n g so ft h i sp a - p e r ，a n dt om a k er e c o m m e n d a t i o n sf o rf u t u r er e s e a r c h t h et h i r d ，f o u r t h ，f i f t hc h a p t e r sa r ct h ec o r eo ft i l es t u d y k e y w o r d s ：n e u r a ln e t w o r k sf u n c t i o na p p r o x i m a t i o nl i n e a rr e g r e s s i o nn o n - l i n e a rr e g r e s s i o ns t o c kp r i c ef o r e c a s t i n g 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果除文中已经注明引用的内容外，本论文 不含任何其他个人或集体已经发表或撰写过的作品成果对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明本人完 全意识到本声明的法律结果由本人承担 学位论文作者签名：瓜耳力月夕年石月y 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅和借阅本人授权湖南师范大学可以将本学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等手段保存和汇编本学位论文 本学位论文属于 1 、保密口，在年解密后适用本授权书 2 、不保密目 ( 请在以上相应方框内打“) 作者签名：康耳日期：洲7 年彳月y 日 刷谧各叩边吾嗍2 垆 尹 5 7 基于径向基函数神经网络的应用研究 1 绪论 1 研究背景 多元回归分析是统计学的一个重要分支，回归分析方法是最常用的 数理统计方法，用来处理变量之间的关系，解决预测、控制、生产工艺 优化等问题，在科学研究、生产实践的各个方面都有广泛的用处【2 7 】 而在实际问题中选择合适的变量来建立回归方程不是一件很容易的事 情，用传统统计方法需要预先假设模型，即预先要知道其函数形式，然 后求出回归参数，从而确定模型，这样做出的结果往往不能令人满意； 甚至有些非线性回归问题根本无法预先确定曲线类型能否找到一种 更简单更有效的方法来解决这个问题呢? 由于a n n 是模拟人脑的结构 以及对信息的记忆和处理功能，擅长从输入输出数据中学习有用的知 识。前馈网络( 包括b p n n 、r b f n n 等) 是一种较强的学习系统，具有 复杂的非线性处理能力。目前，国内外应用最多的是b p n n 。但是， b p n n 具有计算量大、学习速度慢、网络不稳定、容易陷入局部极小等缺 点。p o w e l l 于1 9 8 7 年提出了多变量插值的径向基函数方法；m o o d ya n d d a r k e n 于1 9 8 9 提出了径向基函数神经网络模型；稍后b r o o m h e a d 等人 成功地将径向基函数神经网络用于模式识别； g i r o s ia n dp o g g i o 于1 9 9 0 得出了r b f n n 具有函数逼近性质【1 ，4 】。r b f n n 能实现从n 维空间 到m 维空间的非线性映射，不管里面的映射关系多么复杂，对于它来 说都是透明的，并且它还具有训练速度快，有比较强的抗干扰能力和 最佳唯一逼近点的优点。因此r b f n n 在回归分析和股票市场的预测中 有着很好的应用前景。 股票市场是国民经济的“晴雨表”和“报警器”，其作用不仅被政 府所重视，更受到广大投资者的关注。对股票投资者来说，未来股价变 硕士学位论文 化趋势预测越准确，对利润的获取及风险的规避就越有把握；对国家的 经济发展和金融建设而言，股票预测研究同样具有重要作用。因此对股 票内在性质及预测的研究，帮助投资者掌握投资的方法，使投资者能更 好地预测和分析股市，选择股票进行投资，优化组合投资，降低投资风 险，获得最大收益，具有重大的理论意义和诱人的应用前景。自股票出 现以来，股票预测便受到学术界的广泛关注与积极研究，国内外许多 学者对其进行了研究，提出了许多预测分析方法如证券投资分析方 法、时间序列分析法、人工智能方法等等。自2 0 世纪9 0 年代初至今， 人工智能得到了很大的发展，特别是神经网络的研究取得了划时代的 发展，并且应用于各个领域在金融领域，国内外很多学者开展了神经 网络的研究与应用。k i m o o a s a k a w a ，y o d aa n dt a k c o k a 3 5 1 等人于1 9 9 0 年开发了t o k y os t o c ke x c h a n gp r i c ei n d e x( t o p i x ) 预测系统，应用了 m o d u l a rn n 系统研究了各种市场因素之间的联系；同年k a m ij o e 3 7 1 应 用m o d u l a rn n 进行了股票市场预测；1 9 9 6 年j o v n i ar o m n a 等人 3 7 - 4 0 】 介绍了神经网络在投资，组合决策以及股票预测等金融领域中的应用； s h a u n i n nw u 4 1 】等人综合运用了传统预测与智能预测方法，提高了预 测性能；d r m a t t h i a ss c h u r m a n n 4 2 1 等人比较了神经网络与传统数理统 计方法在股票预测领域中的应用；2 0 0 6 年d r a r n a bk u m a rl a h a 4 3 1 等人 利用人工神经网络预测了孟买的股票指数；2 0 0 5 年韩文雷【4 4 】等人用 概率神经网络做了中国上证指数和深圳综合指数的涨跌预测；2 0 0 6 年 戴丹 4 5 】等人用b p 神经网络做了中国上证指数的预测。然而，由于股 票市场多噪声，不稳定的特性，这些预测依然没有达到很理想的效果。 2 基于径向基函数神经网络的应用研究 2 本文的主要工作 本论文将在总结前人研究成果的基础上，提出了作者自己的观点 和想法，并把它们付诸实践。作者的主要工作包括：首先，通过采用 m a t l a b 神经网络工具箱，用b p n n 和r b f n n 实现了函数逼近，并且 对两者的逼近效果进行了比较，结果发现r b f n n 具有较强的输入、输 出映射功能，它适合于多变量函数的逼近，只要中心选择得当，只需要 很少的神经元就可获得很好的逼近效果；r b f n n 不仅具有良好的推广 能力，而且计算量小，速度快，它还具有最佳逼近点的优点，可以说在 前向网络中r b f n n 是完成映射功能的最优网络。其次，把径向基神经 网络应用到多元线性回归和多元非线性回析中，凸显其在回归分析中 的拟合能力和预测能力；最后，作者设计了一个r b f n n 模型对中国上 证指数进行了预测，其研究的基本原理是，应用神经网络强大的非线性 逼近能力，以历史数据作为训练数据对网络进行训练，训练的结果实际 上就是拟合了一个输入输出之间的非线性映射，然后利用这个输入一 输出的函数关系，进行新的输入，得到的输出就是预测结果应用这个 r b f n n 的时间序列预测模型进行实证研究，发挥r b f n n 在时间序列 预测中的优势，以确定r b f n n 在时间序列预测中的可行性，力争使其 具有有效性与普适性，为我国股票市场基于历史数据的时间序列的预 测提供有效的手段。 3 基于径向基函数神经网络的应用研究 2 a n n 基本理论 2 1a n n 概述 1 、神经元结构 a n n 是在人类对其大脑神经网络认识理解的基础上人工构造的能 够实现某种功能的神经网络，它是理论化的人脑神经网络的数学模型， 是基于模仿大脑神经结构和功能而建立的一种信息处理系统。它实际 上是由大量简单元件相互连接而成的复杂系统，具有高度的非线性， 能够进行复杂的逻辑操作和非线性关系实现的系统。神经网络由许多 并行运算的功能简单的单元组成，这些单元类似于生物神经系统的单 元。虽然单个人工神经元的结构极其简单，功能有限，但大量神经元构 成的网络系统所能实现的行为却是极为丰富多彩的。图1 - 1 给出了一种 简化的神经元结构。 图1 1 神经元结构模型 它是一个多输入，单输出的非线性元件，其输入输出关系可描述为 也= a j i j z j b i ，y i = ，( 也) j = 1 其中巧0 = l ，2 ，n ) 是从其他细胞传来的输入信号，b t 为神经元单元 的偏置( 阈值) ，u 巧表示从细胞j 到细胞i 的连接权值( 对于激发状态， 5 硕士学位论文 哟取正值；对于抑制状态，取负值) ，礼为输入信号数目，y i 为神 经元输出，扎) 称为传递函数，有时叫做激发或激励函数，往往采用0 和1 二值函数或s i g m o i d 函数。 2 、a n n 的特征和功能 a n n 是基于对人脑组织结构、活动机制的初步认识提出的一种新型 信息处理体系。通过模仿脑神经系统的组织结构以及某些活动机理， 人工神经网络可以呈现出人脑的许多特征，并具有人脑的一些基本功 能。a n n 具有如下的特征与功能： ( 1 ) 并行分布处理。a n n 具有高度的并行结构和并行实现能力，因 而能够有较好的耐故障能力和较快的总体处理能力 ( 2 ) 自学习、自组织与自适应性。自适应性是指一个系统能改变自身 的性能以适应环境变化的能力，它是神经网络的一个重要特征。自适应 性包含自学习和自组织两层含义。神经网络的自学习是指当外界环境 发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整 网络结构参数，使得对于给定输入能产生期望的输出神经系统在外 部刺激下按一定规则调整神经元之间的连接，逐渐构建起神经网络， 这一构建过程称为网络的自组织。 ( 3 ) 通过训练进行学习。a n n 是通过研究系统过去的数据纪录进行 训练的。一个经过适当训练的神经网络具有归纳全部数据的能力因 此，a n n 能够解决那些由数学模型或描述规则难以处理的控制过程问 题。 ( 4 ) 非线性映射功能。在客观世界中，许多系统的输入和输出之间存 在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立 起数学模型。设计合理的神经网络通过对系统输入输出样本对进行学 习，能够以任意精度逼近任意复杂的非线性映射。a n n 的这一优良性 能使其可以作为多维非线性函数的通用数学模型，该模型的表达是非 解析的。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所 6 基于径向基函数神经网络的应用研究 有领域。 ( 5 ) 联想记忆功能。由于a n n 具有分布存储信息和并行计算的性能， 因此它具有对外界刺激信息和输入模式进行联想记忆的能力。这种能 力是通过神经元之间的协同结构以及信息处理的集体行为而实现的。 a n n 通过预先存储信息和学习机制进行自适应训练，可以从不完整的 信息和噪声干扰中恢复原始的完整信息，这一能力使其在图像复原、 图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。联 想记忆有两种基本形式：自联想记忆与异联想记忆自联想记忆是指， 在网络中预先存储多种模式信息，当输入某个己存储模式的部分信息 或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的 全部信息异联想记忆是指，网络中预先存储了多个模式对，每一对模 式均有两部分组成，当输入某个模式对的一部分时，即使输入信息是 残缺的或迭加了噪声，网络也能回忆起与其对应的另一部分 ( 6 ) 分类与识别功能。a n n 对外界输入样本具有很强的识别与分类 能力，对输入样本的分类实际上是在样本空间找出符合分类要求的几 个区域，每一个区域内的样本属于一类a n n 可以很好的解决对非线 性曲面的逼近，因此比传统的分类其具有更好的分类与识别能力 ( 7 ) 优化计算功能。优化计算是指在已知的约束条件下，寻找一组参 数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络 可以把待求解问题的可变参数设计为网络状态，将目标函数设计为网 络的能世函数。a n n 经过动态演变过程达到稳定状态时对应的能量函 数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对 目标函数求导，其结果是网络自动给出的。 3 、a n n 模型 大量神经元组成庞大的神经网络，才能实现对复杂信息的处理与 存储，并表现出各种优越的特性。a n n 的强大功能与其强大规模并行 互连、非线性处理以及互连的可塑性密切相关。因此必须按照一定规 7 硕士学位论文 则将神经元连接成神经网络，并使网络中神经元的连接权按一定规则 变化。a n n 的模型很多，可以按照不同的方法进行分类。其中常见的 是从神经网络内部信息传递方向来分，可以分为两种类型：前馈型网 络和反馈型网络。 前馈型网络如图1 - 2 表示的是一个单隐层的前馈网络，前馈网络 的信息处理方向是从输入层到各隐层再到输出层逐层进行的因此这 类网络很容易串联起来建立多层前馈网络。 输入层 隐层 输出层 图1 - 2 前馈型网络模型 反馈型网络在反馈网络中所有节点都具有信息处理功能，而且 每个节点既可以从外界接收输入，同时又可以向外界输出图1 - 3 表示 的是一种单层全连接结构的反馈型网络 图1 - 3 反馈型网络模型 8 基于径向基函数神经网络的应用研究 4 、按环境所提供信息的多少，a n n 的学习方式有：有监督学习 ( s u p e r v i s e dl e a r n i n g ，也称有教师学习) 、无监督学习( u n s u p e r v i s e d ，也 称无教师学习) 和自监督学习( s e l f - s u p e r v i s e d ，也称强化学习) 。传统的 a n n 学习算法有：误差纠正学习规则( 也称d e l t a 规则) 、h e b b 学习规 则和竞争学习规则 2 2b p n n 和r b f n n 简介 1 、b p n n 的结构和算法 b p n n 是由r u m e l h a r t 和m c e l e l l e m d 于1 9 8 6 年提出的，它是一种基 于b p 算法( 误差反传算法) 的多层前向网络，图1 4 是一个典型的具有 n 个输入i n 个输出的多层b p 网络。 隐层 图1 4b p n n 结构图 一个三层b p n n 的输出和输入的函数关系简单的表示为： md y 七= ，( u 踟( 鼢+ b 1 ) + b 2 ) j = l i = l 其中x = 协】表示输入矢量，u 5 ：表示输入层和隐层的权值矩阵，u 嚣 表示隐层和输出层的权值矩阵，b ，和b 。分别为隐层和输出层的域值矢 量。网络的隐层激活函数一般采用s i g m o i d 函数，输出层一般采用p u r e l i n 函数。 9 硕士学位论文 b p 算法由两部分组成：信息的正向传递与误差的反向传播。在正 向传递过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一 层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到 期望的输出，则计算输出层的误差变化值，然后反向传播，通过网络将 误差信号沿原来的连接通路反传回来，修改各层神经元的权值直至达 到期望目标。 2 、r b f n n 的结构和算法 r b f n n 主要是由输入层、隐含层和输出层构成的三层前向网络， 隐含层采用径向基函数作为激励函数。简言之，r b f n n 的培训过程是 输入空间j 基垡：睦哒射隐藏空间垡：筐噬盟输出空间 典型的具有n 个输入和1 个输出的r b f n n 结构如图1 - 5 所示 图1 - 5r b f n n 结构图 r b f n n 的输出和输入的函数关系为： m 玑( x ) = 哟咖( x ) + 幻，i = 1 ，2 ，n j = l 式中x = ( z t ，z 。，z 。) t 研为输入向量；y ；为第i 个输出单元的输 出值，m 为中心的个数；u 玎为第j 个隐神经元到第i 个输出单元的权 值；为偏置值；( ) 为r b f 层非线性传递函数。常用的r b f 层传输 1 0 基于径向基函数神经网络的应用研究 函数即非线性基函数有： 薄板样条函数 妒( x ) = x 2 l g ( x ) 多二次函数 妒( x ) = ( x 2 + c ) ，c 0 逆多二次函数 v ( x ) = ( x 2 + c ) 一1 ，c 0 高斯函数 螂) = e x p ( 一掣) 其中勺舻( 1 j m ) 是r b f 的中心；盯为宽度参数，可调节r b f 神经元的敏感程度。r b f 层传输函数妒( ) 一般取高斯函数此时输出 函数为 雌) ：m 呦酬一峻笋圳庐l ，2 ，佗 为了很好的训练一个r b f n n ，从网络的输出函数可知，r b f n n 参 数的学习包含2 部分：一是隐层神经元中心向量c 和归一化参数向量 d r 的确定，另一个是输出层权值w 阵的确定r b f n n 中所用的非线 性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函 数中心的选取，中心选取不当构造出来的r b f n n 的性能一般不能令人 满意。例如，某些中心靠的太近，会产生近似线形相关，从而带来数值 上的病变条件。由于r b f n n 中心选取是该网络能否成功用于实际的关 键。r b f n n 参数的确定有两种方法，一种是分两步完成，第一步是确 定r b f 函数的中心、宽度；第二步再确定隐层与输出层的连接权重。 如r b f n n 中心选取的k - m e a n s 聚类算法 1 9 ，2 1 】。另一种方法是r b f 函数的中心、宽度及隐层与输出层的连接权重同时用监督学习方法去 硕士学位论文 训练。如r b f n n 中心选取的正交最小二乘o l s ( o r t h o g o n a ll e a s ts q u a r e ) 算法 2 0 】。 2 3 a n n 的函数逼近定理 早在1 9 0 0 年，德国数学家希尔伯特在巴黎第二届国际数学家大会上 作了题为数学问题的著名讲演，其中对各类数学问题的意义、源泉 及研究方法发表了精辟的见解。而整个讲演的核- 1 、5 部分则是希尔伯特根 据十九世纪数学研究的成果与发展趋势而提出的第十三个问题，这就是 著名的”希尔伯特第十三个问题”( h i l b e r t sm a t h e m a t i c a lp r o b l e m s ) ，内容 涉及现代数学大部份重要领域，目的是为新世纪的数学发展提供目标和 预测成果，结果大大推动了二十世纪数学的发展。其中在第十三个问题 中，他猜测不可能用只有两个变数的函数解一般的七次方程。即七次方 程：z 7 + a x 3 + b x 2 + 凹+ 1 = 0 的根依赖于3 个参数a ，b ，c = x ( a ，b ，c ) ，并且这 一函数不能用两变量函数表示然而，他的猜测被a r n o l d 及k o l m o g o r o v 所否定。 1 9 5 7 年，苏联数学家a r n o l d 证明了任一在【0 ，1 】上连续的实函数 y ( x - ，x 。，z 3 ) 可以写成h i ( 已( x 2 ) ，z s ) 形式，这里h t 和已为连续实函 数。同时k o l m o g o r o v 证明了f ( x l ，z 3 ) 可以写成 9 h i ( e i l ( x , ) + ( i 2 ( x 2 ) + 6 3 ( z 3 ) ) i = 1 形式，这里h ；和白0 = 1 ，2 ，3 ) 为连续实函数。白的选取可与f 完全无 关。1 9 6 4 年，v i t u s k i n 又将这个猜想推广到连续可微情形。显然这些一 元函数的构造非常复杂，人们自然期望，放弃精确表示，用一些简单的 一元函数的复合来逼近多元连续函数。 随着人工神经元网络的发展，这个问题受到广泛注意，因为神经元 网络理论中的一个重要理论问题是带有一个隐层的神经元网络的逼近 1 2 基于径向基函数神经网络的应用研究 能力问题。 数学上讲，形如： 或 m ( z ) = c i o r ( a t 忪一玑 i = o 儿z ) = ：c i a 2 ( y i x + 0 i ) i = o 函数集合在c ( k ) ( 或( k ) ) 中的稠密问题这里c i ， 九，0 i r 1 ，毛，y i 形，i = 1 ，2 ，kcr n 为任意紧集，激活函数口，通常取作高斯函数， 仃2 通常取为s i g m o i d 函数。其中 称作是r b f n n 的数学表达形式，尼 则称作是b p n n 的数学表达形式。基于神经网络的逼近问题己经取得 了很多成果 2 2 2 5 】。 一些文献已经证明：只含有一个隐层的前馈网络是一个通用的函数 逼近器。也就是说，含有一个隐层的前馈网络能够逼近任意一个连续 函数 1 ，2 2 ，2 3 】。所以，我们可以用单隐层网络来逼近任意函数。下面是 几个关于a n n 的函数逼近的定理。 定理2 - 1 ： 令( ) 为有界非常量的单调增连续函数，代表p 维 超立方体 0 ，1 p ，c ( 易) 表示定义在上的连续函数构成的集合，则给定 任意函数九) ( ) 和e 0 ，存在正整数m 和一组实常数q t ，0 i 和，其中 i = l ，2 ，m ，j = 1 ，2 ，p ，使得网络输出 f ( x l ，z p ) 一厂( z 1 ，z p ) i 0 ，存在函数夕( z ) ，g ( x ) = “，七盯( o 南z + b k ) ，使得怕一刘2 0 ， 对所有的i = 1 ，2 ，m 有龇且t ；r m 这样，我们就可以叙述r b f 网络的通用逼近定理如下( p a r ka n ds a n d b e r g ，1 9 9 1 ) ： 对任何输入一输出映射函数厂( z ) ，存在一个r b f n n ，其中心集合为 t i 】罂。，公共宽度为盯 0 ，使得由该r b f n n 实现的输入输出映射函数 f ( z ) 在l p ( p 【1 ，】) 范数下接近于，( z ) 显然函数盯( z ) = 雨；砑1 习满足 以上定理的条件，可见一个三层的a n n 足以逼近任何种类的非线性问 题因此可以为备领域的预测以及模式识别等研究提供足够的理论基 础。 1 4 基于径向基函数神经网络的应用研究 3 b p n n 和r b f n n 的函数逼近仿真 第2 章已说明，一个三层前馈网络是一个通用的函数逼近器，只要 隐层有足够的神经元，则它可以任意精度的逼近某个连续函数。下面 分别用b p n n 和r b f n n 对以下函数进行仿真 3 1 仿真准备 1 、仿真问题描述 本文以函数y = 8 s i n 3 x + 0 4 x 2 + 1 0 ，x 0 ，5 】为例进行逼近，其函数 图象如图3 一l 图3 - 1 函数y = 8 s i n 3 x + 0 4 x 2 + 1 0 的图像 2 、仿真工具 本文采用m a t l a b 的神经网络工具箱进行仿真。m a t l a b 是美国m a t h w o r k s 公司于1 9 8 2 推出的数学软件，是一种著名的非线性系统分析和仿 真工具，它具有强大的数值计算能力和数据可视化能力。为支持不同 专业领域的用户，m a t l a b 还提供了大量的面向专业领域的工具箱大 1 5 硕士学位论文 大缩短了各专业领域研究人员的编程时间，使他们可以专注于本专业 问题的解决，而不必在编程上浪费大量时间。 3 、仿真步骤 1 ) 对待逼近函数进行采样生成a n n 的训练样本集：本文的采样 点为0 ：o 1 ：5 ，即从0 开始每隔o 1 采样本一直至5 ，把其作为输入样 本然后计算其相对应的函数值，把其作为目标样本。 2 ) 建立b p n n 和r b f n n ，并用上一步骤所形成的训练样本进行 反复地训练，直到满足要求，如果所建立的网络经充分训练后仍无法 达到要求，则需调整网络结构，如调整隐层节点数目；本文利用n e w c f 建立三层b p n n ，利用n e w r b 建立三层r b f n n ，语句如下： n e t l = n e w f f ( m i n m a x ( p ) ，i n ，1 】，t a n s i g , p u r e l i n ，t r a i n l m ) n e t 2 = n e w r b ( p ，t ，g o a l ，s p r e a d ) 其中，t a n s i g 为隐层传递函数，p u r e l i n 为输出层传递函数，t r a i n l m 为采用的学习算法，n 为可调节的隐层节点数目；p 输入向量，t 目 标向量，g o a l 为训练误差，训练误差的平方和，s p r e a d 为径向基层的 散布常数。 3 ) 利用n e t l 和n e t 2 对训练样本进行仿真，所用仿真函数为s i m 函 数，即y = s i m ( n e t ，p ) 4 ) 产生非训练样本，即不在训练样本空间内的样本，分别用n e t l 和n e t 2 对非训练样本进行仿真，比较其仿真误差，即可得出其推广能 力的差别 5 ) 利用作待逼近函数图像时的采样频率产生样本，分别用n e t l 和 n e t 2 对这些样本进行仿真，即可得出其待逼近函数整体逼近能力的差 别。 6 ) 对函数y = 8 s i n 3 z + o 4 x 2 + 1 0 ，z 0 ，5 】以0 ：o 1 ：5 采样并加标准 差为0 3 的高斯噪声产生的点作为训练样本，分别用n e t l 和n e t 2 对这 些样本进行仿真，即可得出两者抗噪声干扰能力的差别。 1 6 基于径向基函数神经网络的应用研究 3 2 b p n n 和r b f n n 的仿真结果比较 1 、两种网络的收敛速度比较 如图3 - 2 分别是b p n n 和r b f n n 的培训过程可以看出，r b f n n 比b p n n 快1 0 2 1 0 4 倍，且能达到 p o c f o n n a n c o t 823 4 2 0 3 0 - 0 1 1g o l d _ 0 图3 - 2 ( 左) b p n n 训练图( 右) r b f n n 训练图 2 、两种网络逼近能力的比较 1 ) 对训练样本的逼近能力的比较 b p n n 和r b f n n 对训练样本的逼近误差见图3 - 3 ，从图可以看出， b p n n 和r b f n n 的逼近精度都非常高，因此，可以认为两者对训练样 本几乎达到了完全逼近。但是，r b f n n 比b p n n 的精度更高。 图3 - 3 两种网络对训练样本的仿真误差比较图 1 7 硕士学位论文 2 ) 对非训练样本的逼近能力的比较 b p n n 和r b f n 对非训练样本的逼近误差图3 4 ，从图可以看出， r b f n n x 寸非i jj l 练样本的逼近能力要明显的高于b p n n 。 图3 4 两种网络对非训练样本的仿真误差比较图 3 ) 整体逼近能力的比较 b p n n 和r b f n n 对待逼近函数的整体逼近情况见图3 - 5 ，经分析 我们可以发现r b f n n 基本上和待逼近函数完全吻合，而没有训练的 b p n n 完全无法逼近，训练后的网络( 运行5 0 次，取效果最好的一次) 也在多个函数段上有不吻合现象。因此r b f n n 在整体逼近上也明显优 于b p n n 。 图3 _ 5 两种网络的整体逼近效果比较图 1 8 基于径向基函数神经网络的应用研究 4 ) 抗噪声干扰能力的比较 由于许多限制，样本数据或多或少带有噪声，如不规范输入往往会 造成噪声，神经网络经过学习，把样本中隐含的非线性关系分布于神 经元之间的连接权值上，通常具有的冗余性能够消除样本中噪声的影 响。图3 - 6 是分别用b p