（运筹学与控制论专业论文）径向基函数神经网络的学习算法研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：互：彪 日期： 卯6 岁岁2 歹 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：芗翻翌一导师签名： 山东大学硕士学位论文 径向基函数神经网络的学习算法研究 摘要 径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 神经网络以其简单的结构，优 良的全局逼近性能而引起了学者们的广泛关注由于r b f 神经网络的种种优越 性，使得它在函数逼近和非线性时间序列预测等方面得到广泛应用本文研究了 r b f 神经网络的各种学习算法在总结概述前人工作优缺点的基础上，本文提出 一了两种优良的改进学习算法与现存的学习算法相比，在具有良好性能的前提 下，本文的算法可以产生更紧凑的网络结构 r b f 神经网络现有的各种学习算法可以分为两类：离线学习算法和在线学 习算法在线学习算法可以有效处理反映对象特性改变的样本数据，比较适用于 实时的应用环境对于在线学习( 训练) 算法来说，后一个训练数据进入网络之 前，前一个训练数据训练网络的过程必须结束，也就是在线训练算法的每次迭 代时间必须小于样本的采样周期为了提高在线训练算法的实时应用范围，我们 必须降低算法的复杂性，加快算法的训练时间另外，我们需要关注算法的泛化 能力一般的情况下，对于r b f 神经网络来说，在达到相同的训练精度的前提下， 网络中的隐层神经元个数越少，则网络的泛化能力就越好 本文首先回顾r b f 神经网络的发展简史、网络结构及其基本的学习过程第 三章，在介绍批处理学习算法特点的基础上，详细介绍了其中的典型代表 正交最d - - 乘算法第四章详细说明了现阶段流行的各种r b f 神经网络在线学 习算法( r a n 1 ，r a n e k f 5 ，m r a n 2 2 ，g g a p - r b f ( g a p - r b f ) 2 3 - 2 4 ) ，并分析 了各种在线学习算法的优缺点 以在线学习算法m r a n 为基础，本文在第五章提出了一种改进的r b f 神经网 络在线学习算法，称为i r a n 学习算法针对m r a n 算法的计算复杂性较高，对内 存要求较大的缺点，i r a n 算法采用一种新的基于吉文斯q r 分解的递归最小二 乘算法，代替e k f 算法来进行权值的更新它既可以加快网络的收敛速度，又降 低了其复杂性i r a n 算法采用一种新的隐层神经元删除策略，有效的除去了网 络中冗余神经元，训练后的网络结构更为精简 第六章，在g u a n g - b i nh u a n g 的g g a p r b f 算法的基础上，本文提出了另一 山东大学硕士学位论文 种改进的算法，与g g a p r b f 算法和其它的在线学习算法相比，其性能表现更为 优越算法改进的两点总结如下：( 1 ) 把 3 1 中的重合度阈值的动态调整方法引入 到g g a p - r b f 算法当中，使得算法新颖性准则中的距离阈值可以在算法执行过程 中动态的获得( 2 ) 引入了径向基函数宽度的自适应调整方法这两点改进大大降 低了算法的初始化可调参数如此改进后的算法在本文中称为推广的i r a n 学习 算法( g i r a n ) 第七章，本文通过函数逼近领域中的4 个b e n c h m a r k 问题对上述各种在线 学习算法进行了计算机仿真并与现有的其它在线学习算法做了比较，仿真结果 表明了本文提出的在线学习算法i r a n 和g i r a n 的有效性，与其它在线算法相比， i r a n 和g i r a n 学习算法的运行时间较快，在需要较少隐层神经元的前提下，训 练后网络的泛化能力也较好从而为算法的实时应用提供了保障 关键词：在线学习算法，r b f 神经网络，隐层神经元，b e n c h m a r k 问题，删 除策略 2 山东大学硕士学位论文 r e s e a r c ho nl e a r n i n g a l g o r i t h m so f r a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k s a b s t r a c t b e c a u s eo fi t sg l o b a lg e n e r a l i z a t i o nc a p a b i l i t ya n ds i m p l es t r u c t u r e ，r b fn e u r a l n e t w o r k sh a v ea t t r a c t e d c o n s i d e r a b l ym o r er e s e a r c h e r s i n t e r e s t s ，a n df o u n d s u c c e s s f u la p p l i c a t i o n si nm a n yr e s e a r c ha r e a ss u c ha sf u n c t i o na p p r o x i m a t i o na n d n o n l i n e a rt i m es e r i e sp r e d i c t i o n t h i sd i s s e r t a t i o ns t u d i e st h el e a r n i n go fr a d i a lb a s i s f u n c t i o n ( r b f ) n e u r a ln e t w o r k s a f t e rs u r v e y i n gt h ev i r t u e sa n dd e f i c i e n c i e so f p r e d e c e s s o r s w o r k s ，t h i sd i s s e r t a t i o np r e s e n t st w oi m p r o v e dl e a r n i n ga l g o r i t h m st h a t a r em o r ee f f i c i e ma n dp r o d u c em o r ec o m p a c tn e t w o r k st h a ne x i s t i n ga l g o r i t h m s e x i s t i n gl e a r n i n ga l g o r i t h m sc a nb ec a t e g o r i z e di n t ot w oc l a s s e s ，o f f - l i n ea n d o n - l i n e ( o rs e q u e n t i a l ) s i n c es e q u e n t i a la l g o r i t h m sr e f l e c tm o r et i m e - v a r i a n tf e a t u r e s o ft h ep r e s e n t e ds a m p l e s t h e ya r cm o r ea p p l i c a b l et or e a l - t i m es y s t e m sw i t hr b f n e u r a ln e t w o r k s i nas e q u e n t i a ll e a r n i n ga l g o r i t h m , t h et r a i n i n gf o ras a m p l es h o u l d b ec o m p l e t e db e f o r et h en e x ts a m p l ee n t e r st h er b fn e u r a ln e t w o r k s t h ec o m p u t a - t i o n a lt i m eo fa ni t e r a t i o no ft h ea l g o r i t h ms h o u l db el e s st h a nt h es a m p l i n gi n t e r v a l o f t h es y s t e m r e d u c t i o no f t h ea l g o r i t h m sc o m p l e x i t yi sa ni m p o r t a n tp o i n tt h a tw e w o u l dc o n s i d e r a n o t h e ri m p o r t a n ti s s u ei st h eg e n e r a l i z a t i o np e r f o r m a n c eo ft h e r e s u l t i n gn e t w o r k s g e n e r a l l y , ar b fn e t w o r kw i t hf e w e rh i d d e nn e u r o n sm a yh a v e b e t t e rg e n e r a l i z a t i o np e r f o r m a n c ei ft h e yh a v et h es a m ea p p r o x i m a t i o n a c c u r a c yf o r t h et r a i n i n gs a m p l e s i nc h a p t e r3 ，ab r i e fi n t r o d u c t i o nt ot h eo f f - l i n et r a i n i n gi s g i v e n , a n dt h e o r t h o g o n a l i z e dl e a s ts q u a r e sa l g o r i t h mi sd e t a i l e d i nc h a p t e r4 ，s e v e r a ls e q u e n t i a l l e a r n i n ga l g o r i t h m sf o rr b fn e u r a ln e t w o r k s ，s u c ha sr a n i ，r a n e k f 5 ， m r a n 2 2 ，a n dg g a p - r b f ( o a p r b f ) 2 3 2 4 】a 豫d e s c r i b e d t h ea d v a n t a g e s a n dd i s a d v a n t a g e so f t h e s ea l g o r i t h m sa r cs u m m a r i z e d b a s e do nt h em r a na l g o r i t h m , a ni m p r o v e dl e a r n i n ga l g o r i t h mr e f e r r e dt oa s a ni r a ni sp r e s e n t e di nc h a p t e r5 i n s t e a do f t h ee k fa l g o r i t h mi nt h em r a n ，t h e p r e s e n t e da l g o r i t h ma d j u s t st h eo u t p u t - l a y e rw e i g h t sb yar e c u r s i v el e a s t - s q u a r e s 3 山东大学硕士学位论文 a l g o r i t h mw i t hg i v e n sq rd e c o m p o s i t i o n , r e s u l t i n gi i i f a s t e rl e a r n i n ga n dl e s s c o m p u t a t i o n a lc o m p l e x i t y n ea l g o r i t h mu s e san e wp r u n i n gs t r a t e g yt or e m o v e r e d u n d a n tn e u r o n s ，w h i c hl e a d st om o r ec o m p a c tn e t w o r k s 一 i nc h a p t e r6 ，b a s e do nt h eg g a p - r b fa l g o r i t h mp r e s e n t e db yg b h u a n g ，t h i s d i s s e r t a t i o np r e s e n t sa n o t h e ri m p r o v e dl e a r n i n ga l g o r i t h mt h a tg i v em u c hb e t t e r p e r f o r m a n c et h a ng g a p - r b fa n do t h e ra l g o r i t h m s t h ei m p r o v e m e n t sc a nb e s u m m a r i z e di nt w oa s p e c t s ( 1 ) t h ed y n a m i c a lr e g u l a t i o no f o v e d a pt h r e s h o l d 【3 1 】i s i n t r o d u c e di n t ot h eg g a p r b fa l g o r i t h m ，s u c ht h a tt h ep a r a m e t e ro fd i s t a n c e t h r e s h o l du s e di nt h en o v e l t yc r i t e r i o nc a l l b eo b t a i n e da u t o m a t i c a l l y ( 2 ) t h e r e s p o n s ew i d t h so f h i d d e nn e u r o na f eu p d a t e db yas e l f - a d j u s t m e n ta l g o r i t h m t h e s e t w oi m p r o v e m e n t sg r e a t l yr e d u c et h en u m b e ro fa d j u s t a b l ep a r a m e t e r so ft h e a l g o r i t h m 1 1 1 ei m p r o v e da l g o r i t h mi sr e f e r r e dt oa sag e n e r a l i z e di r a n ( g r o a n ) i nt h e7 t hc h a p t e r , t h ei r a na n dg i r a nl e a r n i n ga l g o r i t h m sa r ec o m p a r e dw i t h r a n ，r a n e k f , m r a n ，a n dg g a p r b f ( g a p - r b f ) a l g o r i t h m sb ys i m u l a t i o n s o nf o u rb e n c h m a r kp r o b l e m si nt h ef u n c t i o na p p r o x i m a t i o na r e a t h er e s u l t si n d i c a t e t h a tt h ei r a na n dg i r a na l g o r i t h m sc a l lp r o v i d ec o m p a r a b l eg e n e r a l i z a t i o n p e r f o r m a n c ew i t hac o n s i d e r a b l yr e d u c e dn e t w o r ks i z ea n dt r a i n i n gt i m e k e yw o r d s ：s e q u e n t i a ll e a r n i n ga l g o r i t h m ，r b fn e u r a ln e t w o r k s ，h i d d e n n e u r o n s ，b e n c h m a r kp r o b l e m s ，p r u n i n gs t r a t e g y 4 山东大学硕士学位论文 重要的符号 缩写和符号说明 r a d i a lb a s i sf u n c t i o n径向基函数 r e s o u r c ea l l o c a t i n gn e t w o r k资源分配网络 r a d i a l b a i s i sf u n c t i o nn e u r a ln e t w o r k s 径向基函数神经网络 l e a s tm e a ns q u a r e 最小均方 o r t h o g o n a ll e a s ts q u a r e s 正交最小二乘 r e c u r s i v el e a s ts q u a r e s递归最小平方算法 e x t e n d e dk a l m a nf i l t e r扩展的k a l m n 滤波器 r o o tm e a ns q u a r ee r r o r均方根误差 m e a na r i t h m e t i ce r r o r 算术平均值误差 k 隐层神经元的个数，其中的每个隐节点用七= l 足表示 c径向基函数的中心 盯径向基函数的宽度 ，神经网络的输入样本数据的维数 刀。神经网络的输出样本数据的维数 ( x 。，y 。)神经网络的输入输出数据对，其个数用i ( j = l ，2 ，柳表示 ，r隐层和输出层的连接权值 矿 径向基函数的输出 膨 滑动平滑窗的宽度 写 f n 附s s s f l ；e 雅 阱刚嗍眦邮眦眦|塞眦 山东大学硕士学位论文 第一章绪论 1 1 前言 1 1 1 人工神经网络发展历史及现状 人的大脑是自然界所造就的最高级的产物人的思维是由人脑来完成的，思 维是人类智能的集中体现人的思维主要概括为逻辑思维( 包括联想) 和形象思 维两种以规则为基础的知识系统可以被认为是致力于模拟人的逻辑思维，而人 工神经元网络则可被认为是探索人的形象思维人工神经元网络是生理学上的 真实人脑神经网络的结构和原理，以及若干基本特性的某种理论抽象、简化和 模拟而构成的一种信息处理系统从系统的观点看，人工神经元网络是由大量神 经元通过极其丰富和完善的连接而构成的自适应非线性动态系统由于神经元 之间有着不同的连接方式，所以组成不同结构形态的神经网络系统是可能的 基于此，通过研究人脑神经系统的工作原理并构造与之类似的网络系统来解决 许多实际难题具有非常重要的意义 神经网络的研究始于二十世纪中期半个多世纪以来，它经历了一个由兴起 到衰落、又由衰落到兴盛的曲折的发展历程 我们今天所知的神经网络开始于心理学家w s m c c u l l o c h 和数学家w p i t t s 在1 9 4 3 年的开创性工作，他们在研究生物神经元的基础上提出了一种简单的人 工神经元模型，即后来所谓的“m - p 模型”在该模型中，神经元的活动表现为 “兴奋”和“抑制”两个状态，其基本工作原理和现在的阂值单元模型基本相 同虽然这种形式的神经元功能较弱，但网络的计算能力巨大，这种巨大的计算 能力在于网络中有足够多的神经元以及各个神经元之间的丰富的连接，同时神 经元还有并行计算的能力卜p 神经元模型的出现，不但开创了神经网络研究的 先河，也是以后神经网络研究的理论基础 1 9 4 9 年，心理学家h e b b 发表了论著行为自组织，首先提出了一种调整 神经网络连接权值的规则，并提出了著名的h e b b 学习律直到现在，h e b b 学习 律仍然是神经网络学习中的一个极为重要的学习规则 1 9 5 7 年，美国学者r o s e n b l a t t 提出了感知器( p e r c e p t r o n ) 模型，第一次把 神经网络的研究付诸于工程实践该模型是一个具有单层处理单元的神经网络， 6 山东大学硕士学位论文 具体包括：由接受单元组成的输入层，由m p 神经元构成的联合层和输出层输 入层和联合层之间的结合可以是不完全连接，而联合层和输出层之间一般是完 全连接，用教师信号可以对感知器进行训练该模型学习的环境可以是有噪声 的，网络构造中存在随机连接，这符合动物学习的自然环境当时人们对神经网 络的研究非常乐观，认为只要将这种神经元互联成一个网络，就可以解决人脑 思维的模拟问题 然而，人工智能创始人之一的m i n s k y 和p a p e r 于1 9 6 9 年出版了颇有影响 力的 p e r c e p t r o n 一书书中分析了当时广泛使用的单层线性网络，从理论上 证明了其局限性，最典型的例子是不能解决“异或”问题m i n s k y 的悲观结论 使得对神经网络的研究进入7 低潮 8 0 年代以来，神经网络的研究再次复苏并形成热点产生这种转变的一个重 要原因是美国加州理工学院生物物理学家h o p f i e l d 在1 9 8 2 年和1 9 8 4 年分别发 表了两篇十分重要的论文在论文中，作者采用全互联的神经网络模型，利用所 定义的计算能量函数，成功地求解了计算复杂度为n p 完全型的旅行商问题 ( t r a v e l i n gs a l e s m a np r o b l e m ) ，简称t s p 问题这一突破性的进展引起了广大 学者对神经网络潜在能力的高度重视，从而掀起了研究神经网络信息处理方法 和神经计算机的热潮 尽管人们对大脑的神经网络结构、运行机制、甚至单个神经细胞的工作原 理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理，自适应 学习这些现象，已经构造出了有一定智能的人工神经网络当然，这种神经网络 仅仅是对大脑的粗略而且简单的模拟，无论在规模上还是在功能上与大脑相比 都存在着很大的差距但是，它在一些科学研究和实际的工程领域中己显示了很 大的威力随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网 络的应用必将更加深入和广泛 1 1 2r b f 神经网络发展简史 r b f 方法是用于严格多变量插值的一种传统方法b r o o m h e a d 和l o w e 最早将 r b f 用于神经网络设计之中他们在1 9 8 8 年发表的论文m u l t i v a r i a b l e f u n c t i o n a li n t e r p o l a t i o na n da d a p t i v en e t w o r k s 中初步探讨了r b f 用于 神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的 7 山东大学硕士学位论文 r b f n n 根据对人脑的研究成果，人的大脑对外界刺激的反应形式是基于感受野的， 亦即不同部位的脑细胞对外界刺激的反应强度是不同的，各个神经元的作用域 都有一个局部的范围，只有当输入在一定的范围内( 即感受野内) ，该神经元才 响应，否则不响应或响应很小基于感受野这一特性，m o o d y 和d a r k e n 在1 9 8 9 年发表文章( f a s tl e a r n i n gi nn e t w o r ko fl o c a l l y t u n e dp r o c e s s i n gu n i t s ) ， 提出一种含有局部响应特性的计算元的神经网络这种网络实际上与b r o o m h e a d 和l o w e 提出的r b f n n 是一致的他们还提出了r b f n n 的训练方法 之后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法， 比如c h e n 提出的正交最小二乘( o l s ) 算法 6 8 ：s l e e 等人提出的 h s o l ( h i e r a r c h i c a l l ys e l f - o r g a n i z i n gl e a r n i n g ) 算法 9 ；p l a t t 提出的 r a n ( r e s o u r c ea l l o c a t i n gn e t w o r k ) 在线学习算法 1 ：k a d i r k a m a n a t h a n 和 n i r a n j a n 提出的r a n e k f ( r a nv i ae x t e n d e dk a l m a nf i l t e r ) 算法 5 等 随着研究的日渐成熟，r b f n n 由于其结构简单、算法简便，被广泛的应用于 函数逼近、系统识别、时间序列预测、语音识别、自动控制等很多领域 1 2 研究动机和创新点 r b f n n 现有的各种训练算法一般都是采用所谓离线的方式，即网络的训练 过程在时间上被分成几个独立的阶段，首先要收集样本，其结束条件是已收集 的样本必须含有足够的对象信息，要求我们一开始就拥有输入空间的所有样本 信息；其次是采用不同形式的聚类方法或其它方法从样本中获取建构r b f n n 并 对网络最终性能有密切影响的网络各隐层单元“中心”，最后是校正网络输出层 权值 离线训练方式存在以下问题： ( 1 ) 如果对象特性是时变的，孤立地收集对象输入输出数据将无法真正准确 地捕捉对象的黑箱信息 ( 2 ) 如果对象特性非时变，但由于某种原因，使得所收集的样本数据不是最 充分的( 在神经网络的应用中，这在某种程度上总是存在的) ，这时，如何及时 地发现并弥补? 对离线方式，这意味着要重新训练整个神经网络，显然，这将 付出非常高的代价 山东大学硕士学位论文 总之，p 诅f n n 的离线训练方式无法有效处理反映对象特性改变的样本数据， 正是基于这种认识，进一步研究r b f n n 的在线学习( 训练) 算法有一定现实意义 对于r b f i 悄的在线学习算法而言，我们关注的指标有算法的训练时间，训 练后的网络结构复杂度( 用隐层神经元个数来衡量) 、泛化能力( 用算法的测试误 差来衡量) 和算法的学习( 训练) 精度( 用训练误差来衡量) 其中主要的指标是算 法的训练时间在实时的应用环境中，在下一个训练数据进入r b f n n 之前，算 法必须把当前的输入数据处理完毕，这就要求在线训练算法必须有较快的运算 速度另外，为了使得算法训练后的网络有较好的泛化能力和能够得到实际的 应用，在不损害其性能的前提下，网络结构复杂度必须尽可能的小因此本文 的主要研究方向为在尽量不减少算法的泛化能力和训练精度的前提下，提高算 法的运行速度和降低网络的结构复杂度 本文首先回顾了r b f 神经网络的发展简史、网络结构及其基本的学习过 程然后分析了批处理学习算法的特点并详细介绍了正交最小二乘( o l s ) 学习算 法在本文的i r a n 算法中，利用了o l s 学习算法中的误差下降速率概念来进行 隐层神经元的删除，这种新的隐层神经元删除策略可有效的除去网络中的冗余 神经元 p l a t t 在1 9 9 1 年提出的r a n 是一种动态的单隐层r b f n n ，相应的训练算法 称为囊a n 学习算法 1 ，它可以根据输入数据的新颖性动态地增加隐层神经元个 数但由于其参数调整采用l m s 方法，故网络存在收敛速度慢的缺 点k a d i r k a m a n a t h a n 和n i r a n j a n 在1 9 9 3 年用e k f 替代l m s 训练网络参数 5 ， 称为r & n e k f 算法，提高了收敛速度，但同时也增加了网络的复杂性，增加了计 算负担r a n 学习算法的另一个显著的缺点是隐层神经元只能增加不能删除， 训练结束后，所得到的网络结构并非最简，存在大量冗余神经元后来的在线学 习算法，如m r a n 算法 2 2 3 针对这一问题加入了隐层神经元的删除策略，但是权 值调整和r a n e k f 算法一样，得到的网络结构也并非最简本文在第四章详细分 析了各种在线学习算法的优缺点之后，以在线学习算法m r a n 为基础，针对m r a n 算法的计算复杂性较高，对内存要求较大的缺点，在本文的i r a n 算法中，引入 了新的权值调整策略，既加快网络的收敛速度，又降低了算法的复杂性 2 0 0 5 年，6 u a n g b i nh u a n g 针对现存的各种r b f 神经网络在线学习算法的缺 点，提出了一种新的在线学习算法，称为g g 俨r b f ( g a p - r b f ) 算法 2 3 2 4 】，使 得r b f 神经网络在线学习算法的性能得到进一步的提高本文在6 6 a p - r b f 算法的 9 山东大学硕士学位论文 基础上，针对该算法的缺点作了两点改进：( 1 ) 把 3 1 中的重合度阈值的动态调 整方法引入到g g a p r b f 算法当中，使得算法不需要事先设定万。，氏i 。和7 的值， 参数万的值可以在算法执行过程中动态的获得( 2 ) 引入了径向基函数宽度的自 适应调整方法使得g g a p - r b f 算法的性能进一步提高如此改进后的算法在本文 中称为g i r a n 算法 在本文的计算机仿真及结果分析中，通过4 个b e n c h m a r k 问题( ( 1 ) 汽车燃 油消耗量预测问题；( 2 ) 鲍鱼年龄预测问题；( 3 ) 加利福尼亚的中等住房价格预 测问题；( 4 ) 函数逼近的特殊形式：混合时间序列( m a c k e y g l a s s ) 预测问题) 对 上述各种在线学习算法进行了计算机仿真，仿真结果表明了本文提出的在线学 习算法i r a n 和g i r a n 的有效性，与其它在线学习算法相比，i r a n 和g i r a n 学 习算法的运行时间较快，在需要较少隐层神经元的前提下，训练后网络的泛化 能力也较好 1 3 论文框架 本论文的内容共分为八章第一章绪论，简单叙述了人工神经网络及r b f n n 的发展简史，本文的研究动机及创新点第二章介绍了r b f n n 的结构及其基本的 学习过程第三章在介绍批处理学习算法特点的基础上，详细介绍了批处理学 习算法的典型代表正交最小二乘算法第四章详细说明了现阶段流行的在 线学习算法并分析了其优缺点在第四章分析的基础上，第五章介绍了本文提出 的i r a n 学习算法第六章在介绍g g a p - r b f ( g a p - r b f ) 算法的基础上，详细说明 了本文提出的第二个r b f 神经网络在线学习算法“i r a n 学习算法第七章为 计算机仿真及结果分析第八章为结束语 1 0 山东大学硕士学位论文 第二章径向基函数神经网络 2 1r b f 神经网络拓扑结构 1 9 8 5 年p o w e l l 提出了多变量插值的径向基函数( r a d i a lb a s i sf u n c t i o n ， r b f ) 1 9 8 8 年b r o o m h e a d 和l o w e 将r b f 应用于人工神经网络设计，构造了径 向基函数神经网络( r b f n n ) r b f n n 由三层组成，输入层节点的作用是传递信号 到隐层；隐层节点由径向基函数构成：输出层节点通常是简单的线性函数在 r b f n n 中，从输入层到隐层的变换是非线性的，隐层的作用是对输入向量进行 非线性变换，而从隐层到输出层的变换是线性的，也就是网络的输出是隐节点 输出的线性加权和r b f 神经网络的结构如图2 1 所示： 输入层隐层输出层 图2 1r b f 神经网络基本结构 下面给出两个在本文中常用的定义： 定义2 - i 泛化( g e n e r a l i z a t i o n ) 能力：训练后的神经网络对未在训练样本 集中出现( 但具有同一规律性) 的样本作出正确反映的能力 1 0 定义2 2 过拟合( o v e r f i t t i n g ) ：在神经网络训练过程中，由于训练样本 中噪音的存在，过度的严格要求学习算法精确拟合每个样本，而导致网络被噪 声误导，泛化能力降低，称为过拟合 山东大学硕士学位论文 与其它的前向神经网络相比，r b f n n 具有良好的全局逼近性能，若r b f 神经 网络的隐层神经元足够多，它可以在一个紧集上一致逼近任何连续函数i n 它有下面的通用逼近定理： 令g ：r 一r 是一个可积的有界连续函数，且满足： l g ( x ) a x 0 令只；表示一个r b f 网络族，它由函数，：足呻r 组成，其中： f ( x ) = 艺g ( 孚) ， 上式中盯 0 ，对所有的k = 1 ，2 ，足有w i r 和吒r 这样，我们就可以叙 述r b f n n 的通用逼近定理如下( p a r ka n ds a n d b e r g ，1 9 9 1 ) ： 对任何输入一输出映像函数f ( x ) ，存在一个r b f 网络，其中心集合为h ) 厶， 径向基函数宽度为盯 0 ，使得由该r b f 网络实现的输入输出映像函数f ( x ) 在 。( p 【1 ，】) 范数下接近于厂( x ) 该定理在实际应用中为使用径向基函数设计神经网络提供了理论基础 常用的径向基函数有以下几种形式： 1 多二次( m u l t i q u a d r i c s ) 函数 缈( ，) = p 2 + 6 2 ) 7 2 b 0 ，r( 2 一1 ) 2 逆多二次( i n v e r s em u l t i q u a d r i c s ) 函数 伊，。石奔6 o ，7 矗( 2 - 2 ) 3 高斯( g a u s s ) 函数 2 伊( r ) = e x p ( - 舌) 仃 0 ，r r ( 2 - 3 ) 在本文中使用的是高斯函数，其具体形式为： 纯( x ) = e x 叫x - c j 2 , , - h ，k = l ，2 ，k ( 2 - 4 ) 其中x 是，维输入向量；c 上是第七个径向基函数的中心，是与x 具有相同维数的 向量；吼是第七个隐层神经元的径向基函数宽度i x 一气l 是向量x q 的欧几里 德范数，它通常表示x 与q 之问的径向距离，败( x ) 在吱处有唯一的最大值，随 着肛一q0 的增大，吼( x ) 迅速衰减到零对于给定的输入x 矗，只有一小部分 靠近中心气的输入被启动，即径向基函数是一个具有局部感受特性的函数形式 记f u 3 f n n 的隐层神经元( 隐层节点) 个数为足，则网络的输出形式如下； 多= ，( x ) ；h + ：e x p h x 一气0 2 刃) ， ( 2 5 ) 一 山东大学硕士学位论文 其中：w o 是偏差( b i a s ) ，w k ( 七= l k ) 是隐层和输出层之间的连接权值 2 2 r b f 神经网络的学习 通过分析r b f n n 结构的特点，可以发现主要有两个因素决定r b f n n 结构：网 络隐层神经元个数及其中心、隐层与输出层连接权值所以，一般的算法都是充 分利用r b f n n 的三层结构特点来设计学习算法第一步确定网络隐层神经元个数 与其中心，第二步确定网络的权值这种两步训练算法的重要特点是在第二步可 以直接利用线性优化算法，从而可以加快学习速度和避免局部最优，因此得到了 广泛的应用，并且，最近大多数的r b f n n 算法的改进也是围绕着这两个方面展开 的 1 2 理论和数值分析表明，r b f n n 的性能主要由隐层的中心决定而不管隐层神经 元究竟用什么样的径向基函数 1 3 即r b f 网络的结构特点主要由隐层的中心位 置和个数决定这里我们首先关注一下较简单的第三层权值的确定 由于这一过程只是来求取从隐层空间到实际输出空间的线性变换的权系数， 原理上比较简单，因而，各种r b f 学习算法对这一部分改进并不是很大目前最 常见盼几种方法是l m s 、r l s 和e k f 方法，这对于一般问题的求解都可以满足要 求，但是，我们应该看到，求隐层到输出层之间的变换权系数这一过程是一个求 解线性方程组的过程，因而也会象解方程组一样面临方程组的系数矩阵奇异的问 题l m s 算法只是通过对隐层节点输出矩阵直接求逆来求权系数w 的，而r l s 算 法只是l m s 算法的递推形式，它们都没有考虑隐层节点输出矩阵奇异的情况所 以当r b f n n 的隐层输出所构成的矩阵奇异时，l m s 和r l s 方法所求得的权系数w 的值会有较大的偏差，虽然这种情况出现的概率较小，但是一旦出现，网络的性 能也会突然下降对于该问题通常所采用的解决办法是用正交化的方法来求权系 数w 的值( 各种正交化方法的优缺点详见附录) 但是，直接采用g i v e n s 正交变换 的计算量过大，无法满足实时跟踪控制运算的需要，因此，本文所提出的i r a n 学习算法的权值训练是用递推g i v e n s 最小二乘算法( r g l s ) ，由于这一过程是采 用正交变换而得到的，因而数值特性很好，同时，又是一种递推算法，计算量比 直接用g i v e n s 正交变换要小得多，所以说，r g l s 算法既有r l s 的运算量小，速 度快的优点，又有良好的数值特性相对于l m s 算法而言，e k f 算法的收敛速度 较快 5 】，但是该算法需要调节的参数过多，计算复杂性较大，需要耗费大量的 山东大学硕士学位论文 计算机资源，从而限制了它的广泛应用 现在，我们讨论网络结构的确定问题，即隐层节点( 包括隐层神经元个数， 中心和宽度) 的选取问题不恰当的隐层节点，会使r b f 神经网络无法正确反映出 输入样本空间的实际划分，也就是说，隐层节点空间无法实现从非线性的输入空 间到线性的输出空间的转换，从而极大的降低了网络的性能，因此隐层节点的选 取成为决定r b f 神经网络性能的一个最重要的因素 由于输入向量空间的聚类数一定小于输入向量的个数，因此，最初的时候， 人们直接把隐层节点数取为输入向量的个数，即每个输入向量对应于一个隐层节 点，这样隐层神经元的中心位置也同时确定了，我们只需解线性方程组来确定输 出层权值即可以完全确定该r b f 神经网络这种方法计算量小，过程简单，适合 于一些小规模的样本问题，但是对于一些规模较大的问题，所求得的网络结构过 于复杂为此，人们又引入了k 一均值聚类以及它的改进方法 1 5 、 1 6 、 1 7 ， 该方法可以根据样本之间的空间距离实现样本的模式聚类，把距离相近的输入向 量归为一类，并把它们的算术平均值作为中心，再通过第二层权值的线陛变换来 逼近实际的输出值这样便实现了用较少的中心来表示一些规模较大的问题，该 方法对于一些输入样本数及聚类模式数给定的模式识别问题比较适用显然，k 一 均值聚类及其改进方法要求预先给定全部输入样本及其聚类中心的数目，这对某 些问题是无法实现的，特别是对于需要在线训练的r b f 神经网络来说从输入空 间中随机选取样本作为网络中心的方法同样存在这个问题，虽然对于不太复杂的 对象可以回避这个问题 对于未知的复杂非线性对象，上述各种聚类方法显得更不实用，因为我们是 无法事先确定输入样本空间的为了使r b f n n 能适用于各种问题，必须实现能根 据不同的问题而自动地确定r b f n n 的隐层节点数和相应的隐层节点参数人们在 这方面做了大量的研究工作在后面的部分中，本文将对各种方法进行进一步的 研究和讨论，并给出本文的两个新算法 1 4 山东大学硕士学位论文 第三章r b f n n 的批处理学习算法 3 1 批处理学习算法简介 从r b f n n 的结构可以看出，构造和训练一个r b f 网络就是要使它通过学习， 确定出隐层神经元的个数足、每个隐层神经元基函数的中心c 、宽度盯以及隐 层到输出层的连接权值w 这些参数的过程，从而可以完成所需要的从输入到输 出的映像对r b f n n 来说，其网络的性能主要决定于隐层神经元的选择策略和网 络中隐层到输出层的连接权值的更新过程 r b i 讯n 的学习算法根据参数修正发生的时间可以分为两类：批处理学习 ( b a t c hl e a r n i n g ) 算法和在线学习( s e q u e n t i