（计算机应用技术专业论文）径向基神经网络训练算法及其性能研究.pdf

摘要 在众多的神经网络模型中，径向基函数神经网络( r b f 神经网络) 以其网络设计采 用原理化方法，结构简单并且具有坚实的数学基础等多种优点而广泛应用于模式识别、 函数逼近、非线性系统建模、时序分析等领域。本文详细论述了r b f 神经网络的结构 和原理，并且对r b f 神经网络的多种学习算法进行了深入的研究，主要工作如下： ( 1 ) 对r b f 神经网络现有的算法进行了分类与分析，对其中的某些算法设计了仿 真实验，理解了各类学习算法的工作原理以及它们各自的优缺点，为下一步的工作奠定 基础。 ( 2 ) 从非线性回归的角度深入分析研究了r b f 神经网络的泛化理论，对径向基神 经网络的逼近误差和泛化误差进行了理论推导并且得到了一些有用的结论，在某些情况 下可以用来指导径向基神经网络结构的确定。 ( 3 ) 我们知道，对r b f 神经网络的训练过程实际上就是确定隐层结构和连接权值 的过程。本文通过对已有算法和理论的深入研究与分析，提出了三种改进的r b f 神经 网络训练算法，分别是： 基于k o h o n e n 网络与o l s 算法的数据中心选择算法。本算法利用k o h o n e n 竞争 网络对训练样本集进行了筛选，解决了传统的o l s 算法将整个训练样本集作为候选子 集而导致的正交化过程计算量惊人，算法效率非常低的缺点。 基于密度法的数据中心选择算法。本算法利用统计学中的密度法对训练样本集进 行分类，避免了人为的指定类别数而导致的分类结果盲目性太大的缺陷。 基于改进的a p c i i i 算法的数据中心选择算法。本算法根据样本的分布情况采用 动态的数据中心，而原始的a p c i i i 算法则采用统一的数据中心，这在数据分布不均匀 时并不合适。 对上面三种改进的算法分别设计了仿真实验，验证了三种算法的有效性。 关键词：径向基函数，隐层结构，数据中心，训练算法，函数逼近 t h et r a i n i n ga l g o r i t h ma n dp e r f o r m a n c e s t u d yo fr a d i a lb a s i s f un c t i o nn e ur a ln e t w o r k z h e n gm i n g w e n ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i ux i n p i n g a b s t r a c t a m o n gv a r i o u sn e u r a ln e t w o r km o d e l s ，r a d i c a lb a s i sf u n c t i o nn e u r a ln e t w o r k 0 u 3 f n 0b o a s t sf o ri t sa p p l i c a t i o no ft h ep r i n c i p l em e t h o d ，s i m p l es t 八l c n l r ea n das o l i d m a t h e m a t i c a lb a s e ，s oi ti sw i d e l ya p p l i e di np a t t e r nr e c o g n i t i o n ，f u n c t i o na p p r o x i m a t i o n , n o n l i n e a rs y s t e m sm o d e l ，a n dt i m i n ga n a l y s i s t h i sp a p e rs p e c i f i e st h es t r u c t u r ea n dp r i n c i p l e o fr b f n na n dm a k e sa i li n d e p t hr e s e a r c ho nd i f f e r e n tm e t h o d so fi t sa l g o r i t h ma sf o l l o w s ： ( 1 ) a f t e rc a t e g o r i z i n ga n da n a l y z i n gt h ee x i s t i n ga l g o r i t h m so fr b f n n ，d e s i g n i n gs o m e s i m u l a t i o ne x p e r i m e n t st os e v e r a la l g o r i t h m s ，t h ep a p e rw o r k so u tt h eb a s i cp r i n c i p l e so f v a r i o u sa l g o r i t h m sa n dt h e i r a d v a n t a g e sr e s p e c t i v e l y , t h u sl a y i n gaf o u n d a t i o nf o rt h e f o l l o w u p ( 2 ) f r o mt h ep e r s p e c t i v eo fn o n - l i n e a rr e g r e s s i o ni n d e p t ha n a l y s i so fg e n e r a l i z a t i o n t h e o r yo fr b f n n ，t h ep a p e rm a k e sat h e o r e t i c a ld e d u c t i o no na p p r o x i m a t i o ne r r o ra n d g e n e r a l i z a t i o ne r r o ro fr a d i c a lb a s i cn e u r a ln e t w o r k ，a n dt h e nd r a w ss o m eu s e f u lc o n c l u s i o n s w h i c h ，u n d e rc e r t a i nc i r c u m s t a n c e s ，m a yb eu s e da sag u i d e l i n ei nc o n f i r m i n gr a d i c a lb a s i c n e u r a ln e t w o r k ( 3 ) a s i sk n o w nt ou s ，t h et r a i n i n gp r o c e s so fr b f n n ，i nf a c t ，c o n f o r m st ot h ep r o c e s so f c o n f i r m i n gt h eh i d d e nl a y e rs t r u c t u r ea n dc o n n e c t i o nw e i g h t w i t ht h ei n d e p t hr e s e a r c ha n d a n a l y s i so ft h ee x i s t i n ga l g o r i t h m sa n dt h e o r i e s ，t h i sp a p e rp r o p o s e st h r e ei m p r o v e dt r a i n i n g a l g o r i t h m so fr b f n n ，n a m e l y , o ) t h ed a t ac e n t e rs e l e c t i n ga l g o r i t h mb a s e do nk o h o n e nn e t w o r ka n do l sa l g o r k h m t h ea l g o r i t h mu s e sk o h o n e nc o m p e t i t i v en e t w o r kt of i l t e rt ot r a i n i n gs a m p l es e t ，t os o l v et h e t r a d i t i o n a lo l sa l g o r i t h mt op u tt h eo v e r a l lt r a i n i n gs a m p l es e ta sac a n d i d a t es u b s e ta sa r e s u l to ft h ep r o c e s so fc a l c u l a t i n gt h ea m o u n to fo r t h o g o n a la m a z i n g ，a l g o r i t h me f f i c i e n c yi s v e r yl o wd i s a d v a n t a g e i i t h ed e n s i t ym e t h o db a s e dd a t ac e n t e rs e l e c t i n ga l g o r i t h m t h ea l g o r i t h mu s e st h e d e n s i t ym e t h o do fs t a t i s t i c st oc l a s s i f yt h et r a i n i n gs a m p l es e tt oa v o i dt h ef l a wt h a ta m a n - m a d et h es p e c i f i e dc a t e g o r i e sn u m b e ri st o ob l i n dt oc a t e g o r yr e s u l t t h ed a t ac e n t e r ss e l e c t i o na l g o r i t h mb a s e do nt h ei m p r o v e da p c - i i ia l g o r i t h m t h e a l g o r i t h mu s e sd y n a m i cd a t ac e n t e r sb a s e do nt h es a m p l ed i s t r i b u t i o n , w h i l et h eo r i g i n a l a p c ma l g o r i t h mu s e sau n i f i e dd a t ac e n t e r ，w h i c hw a sn o ts u i t a b l ei nu n e v e n l yd i s t r i b u t e d d a t a s i m u l a t i o ne x p e r i m e n t sa r ed e s i g n e dr e s p e c t i v e l yf o rt h e s et h r e ei m p r o v e da l g o r i t h m s t op r o v et h e i rv a l i d i t y k e yw o r d s ：r a d i a lb a s i sf u n c t i o n ，h i d d e n l a y e rs t r u c t u r e ，d a t ac e n t e r , t r a i n i n ga l g o r i t h m ， f u n c t i o na p p r o x i m a t i o n 1 i i 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：啦 日期：娜7 年j 月 2 2 日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门 ( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被 查阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用 影印、缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：羞牢塑坌 指导教师签名：踣牡 日期：如7 年r 月2 ) 日 日期：歹西7 年 月力z 日 中国石油大学( 华东) 硕士学位论文 1 1 课题的提出、背景及意义 第一章绪论昂一早珀y 匕 人工神经系统的研究可以追溯到1 8 0 0 年f r e u d 的精神分析学时期，他已经做了一 些初步工作。1 9 1 3 年，人工神经系统的第一个实践是由r u s s e l l 描述的水力装置。1 9 4 3 年，美国心理学家w a r r e nsm c c u l l o c h 与数学家w a l t e rhp i t t s 合作，用逻辑的数学工具 研究客观事件在形式网络中的描述，从此开创了对神经网络的理论研究。他们在分析、 总结神经元基本特性的基础上，首先提出了神经元的数学模型，简称m p 模型。随后， 近几十年的时间，虽然神经网络的发展历经波折，但是神经网络的发展趋势却势不可挡， 许多具备不同信息处理能力的神经网络已被提出来并应用于各个信息处理领域。神经网 络本身具有很好的计算能力，它有以下两个特点：一是大规模并行分布式结构；二是神 经网络的自学习、自组织与自适应能力以及由此而来的泛化能力。这两种信息处理能力 让神经网络可以解决一些当前还难以处理的复杂的大型问题。由于这两个优点，神经网 络在诸多领域如自动控制领域、处理组合优化问题、模式识别、图像处理、传感器信号 处理、机器人控制、信号处理、卫生保健、医疗、经济、化工领域、焊接领域、地理领 域、数据挖掘、电力系统、交通、军事、矿业、农业和气象等领域。 自1 9 5 7 年k r o s e n b l a t t 在第一届人工智能会议上展示他构造的第一个神经网络模型 以来，据统计到目前已经有数百种神经网络问世。根据h c c 公司及i e e e 的调查统计， 有1 0 多种神经网络比较著名。在这些神经网络中，r b f ( r a d i a lb a s i sf u n c t i o n s ) 神经 网络以其网络设计采用原理方法，有坚实的数学基础，具有多种优点而获得了广泛的应 用。和多层感知器相比较而言，r b f 神经网络的主要特点有：( 1 ) r b f 神经网络只有一 个隐层，结构简单；( 2 ) r b f 神经网络的隐层神经元和输出层神经元的模型不同，在网 络中起到的作用也是不同的；( 3 ) r b f 神经网络的隐层是非线性的，输出层是线性的； ( 4 ) r b f 神经网络的基函数计算的是输入向量和中心的欧式距离，并以此作为自变量； ( 5 ) r b f 神经网络使用局部指数衰减的非线性函数对非线性输入输出映射进行局部逼 近。它的优点有：( 1 ) 具有全局的非线性逼近能力l jj ；( 2 ) 相比其他神经网络具有更简 单的结构1 2 j ( 3 ) 因为神经元的局部调整而具有更快的学习速率【3 i 。它在非线性函数逼 近、时间序列分析、模式识别、信息处理、数据分类、图像处理、系统建模等方面具有 广泛的应用1 4 j 。因此，本文将对r b f 神经网络进行深入的研究。 第一章绪论 现在虽然大量的实践应用已经证明r b f 神经网络的优点，但对于r b f 神经网络本 身仍然有许多没有解决好的问题： ( 1 ) 求r b n 悄网络隐层节点的中心向量( 也称数据中心) 和扩展常数( 也称径 向基宽度或者数据宽度) 是一个难题，尤其在用于非线性系统辨识与控制时，隐节点中 心的求解目前还没有很好的方法【5 】；而对于同一组样本，如何选择合适的径向基函数的 个数，即如何确定隐层节点数目，以使网络达到要求的精度，目前也没有很好的解决办 法；另外，径向基函数类型的选择也是一个值得考虑的问题。 ( 2 ) r b f 神经网络的权值学习问题，包括有关基函数中心的选取和输出权值的修 正之间的关系，理论上，将他们同时进行优化是一个非常复杂的非线性规划问题，还没 有很好的求解方法 6 1 。 ( 3 ) 众所周知，泛化能力是衡量神经网络对未知模式的逼近或分类能力，而逼近 能力侧重于对已知模式的学习，一定程度上泛化能力比逼近能力更有意义，因此，可以 说泛化能力是衡量神经网络性能的标准。泛化能力、逼近能力、网络结构之间的关系问 题也是神经网络的研究课题之一，对于，r b f 神经网络同样存在这个问题。 上述三个问题都是r b f 神经网络面对的现实问题，为了使r b f 神经网络具有更广 泛的应用，必须对上述问题进行认真而深入的研究。 1 2r b f 神经网络的研究现状 通过阅读文献，我们可以看到目前所有对r b f 神经网络的研究基本集中在以下2 个方面： ( 1 ) 基于r b f 神经网络的应用 由于r b f 神经网络本身的一些优点，使得国内外诸多学者从它一出现就将它应用 到了各个学科的诸多方面，直至今日，仍然有不少学者将之用在一些新出现的领域，寻 找r b f 神经网络与应用工程新的结合点。例如，著名的英国华裔r b f 神经网络学者 s h e n gc h e n 和他的科研小组用r b f 神经网络作为工具研究了自适应径向基函数探测器 的波束形成 7 1 ，基于完全复数值的r b f 神经网络正交最d - - 乘回归和分类问题阎，正交 前向回归的核密度估计 9 1 ，以及基于对称r b f 神经网络的多目标非现象检测【1 伽等等； s s u r e s h 等人用r b f 神经网络研究连续多目录分类器f l l 】；t o m o h i r oa n d o 等人将i e n 化 r b f 神经网络用于非线性系统建模【1 2 1 ；李明河、王萌等人将改进的动态r b f 神经网络 用于多变量解耦控制1 3 】；姚荣斌等人研究了基于最近邻聚类的r b f 神经网络整定p i d 中国石油大学( 华东) 硕士学位论文 控制算法【1 4 j ；罗俊海等人用改进的r b f 模糊神经网络进行滤波噪声消除研究1 5 j ；于斌 等人用r b f 神经网络作为工具进行互藕逆矩阵的快速计算 1 0 q ，等等。这些应用或通过 改进p , b f 神经网络的训练算法结合已有的应用，或通过r b f 神经网络结合新的应用。 诸多自勺研究成果表明，r b f 神经网络应用的前景非常广阔，还有很多应用方面等待我们 去创新。 ( 2 ) r b f 神经网络训练算法的研究 要设计一个r b f 神经网络，包括结构设计和参数设计，结构设计是确定r b f 神经 网络的输入层，隐层节点数的问题：参数设计一般需要考虑各个径向基函数的数据中心 和数据宽度，以及隐层到输出层的权值信息。目前国内外很多学者提出的算法都是围绕 这两个方面进行的改进：j a r k k ot i k k a 采用约束优化来选择r b f 网络的输入项【1 7 1 ；英国 学者d l y u 提出了增加剪枝策略的r o l s 方法训练r b f 神经网络，可以自适应的获得 合适的网络结构和网络参数【1 8 】；s t e p h e n a b i l l i n g s 等人提出来广义多尺度r b f 神经网 络结构，用不同的径向基函数来创建r b f 神经网络，使得每一个中心向量可以使用多 个不同的径向基函数【1 9 】；w i n gw 。y 。n g 和d a n i e ls y e u n g 等人利用对神经元的敏感度分析 来确定r b f 神经网络的隐层结构【2 0 】：东南大学的魏海坤等人研究了梯度算法下r b f 神经 网络参数的变化动态，对创建r b f 神经网络结构具有一定的参考价值f 2 l 】；陈德军等人 利用“分而治之”的思想提出了混合r b f 神经网络模型，来减少在训练复杂r b f 神经 网络时耗费的时间【2 2 】；赵志刚等人提出了r b f 神经网络的混合结构优化算法，借用了 细菌群体趋药性算法来获得隐层结构f 2 3 】，等等。通过阅读文献可以看到，现在针对r b f 神经网络的训练算法基本都是采用混合两种或多种不同的其他算法来优化其结构设计 的，都没有脱离1 9 8 9 年m o o d y 和d a r k e n 提出的两阶段混合学习过程的思想，这是由 r b f 卒申经网络结构本身所决定的。后来出现的某些遗传、进化或演化算法r b f 神经网 络的结构和参数同时进行优化，虽然也取得了一些成果，但其计算量相对复杂的多，而 且应用也具有一定的局限性。 目前为止，对r b f 神经网络性能的研究基本没有突破，仍然是2 0 世纪9 0 年代由 a b a i t o n 【2 4 1 、d h a u s s l e r t 2 5 】，p n i y o g i 和f g i r o s i 2 6 】等人提出的一些理论。这说明这方面 的研究还是比较困难的，尤其是国内，几乎找不到这方面的文献资料。对这方面的研究 可以指导我们对现有算法的改进工作。 虽然r b f 神经网络的训练算法已经出现了很多，但是通过大量的文献可以看出关 于r b f 神经网络的创新点仍然在训练算法方面，多种算法的融合可以进一步改进训练 3 第一章绪论 算法的执行效率。 1 3 本文的研究思路和结构安排 1 3 1 本文的研究思路 本文拟对r b f 神经网络的产生，结构设计，训练算法以及性能进行详细的研究， 并且对i 也f 神经网络的训练算法提出几种改进的方案并分析算法性能，最后通过仿真 实验验证算法的有效性。主要研究过程如下： ( 1 ) 深入学习r b f 神经网络的工作原理，网络结构和经典的训练算法，研究各种 径向基函数的相关性质，以及用来作为r b f 神经网络隐藏层激活函数的径向基函数的 原理，径向基函数对网络结构的影响以及如何选择径向基函数等。 ( 2 ) 研究r b f 神经网络国内外出现的各种学习训练算法以及结构设计方法，将主 要的算法进行归类分析，分析每一类算法的优缺点，理解每一类算法的工作原理并且对 有条件的相关算法实现对应的仿真实验，为算法的改进奠定基础。 ( 3 ) 研究r b f 神经网络的泛化理论，包括r b f 神经网络的逼近误差和估计误差推 导的方法，并对已有的相关定理和推论进行分析，推导出有利于创建r b f 神经网络结 构的结论，使之能够指导改进的训练算法的提出。 ( 4 ) 对三种r b f 神经网络训练算法进行改进。 是为了减少正交最小二乘( o l s ) 算法的时间复杂度，通过k o h o n e n 竞争网络对 初始样本集进行粗略筛选，然后再用o l s 算法进行网络训练；之后用训练样本进行函 数逼近实验并分析性能； 基于统计理论中的密度法对训练样本进行聚类，然后找出合适的径向基个数，数 据中心和数据宽度，创建r b f 神经网络，然后用梯度下降法对网络进行训练。将该方 法应用于分类问题进行实验仿真并分析性能； 改进a p c i i i 算法，使之能够用于非线性系统的辨识，并分析改进算法的性能， 最后用两个非线性系统模型来验证实验结果。 1 3 2 本文的结构安排 本课题主要分以下几个章节进行研究分析： 第一章主要介绍了本课题的研究背景和和意义，本论文进行研究r b f 神经网络的 思路，以及论文的结构安排。 4 中国石油大学( 华东) 硕士学位论文 第二章主要介绍r b f 神经网络出现的历史背景，数学原理和工作原理，径向基函 数的性质，特点，r b f 神经网络的经典训练算法及其特点。 第三章主要研究了r b f 神经网络的各种学习训练算法，将所有方法进行分类研究， 分析算法的功能特点及性能，并且实现相关的仿真实验。 第四章主要研究了r b f 神经网络的泛化理论，包括逼近误差和估计误差的相关理 论，理解相关定理和推论的证明过程，从中获得一些可以指导r b f 神经网络结构设计 的结论。 第五章主要介绍了本论文提出的三种改进的r b f 神经网络训练算法，并分别设计 了实验仿真来验证算法的有效性，分析了这些算法的性能( 逼近能力和估计能力) 。 第六章是论文的总结，以及对未来研究方向的一些着手点。 1 4 本论文的创新点 本论文的创新点主要是： ( 1 ) 提出了一种基于k o h o n e n 网络和o l s 的r b f 神经网络训练算法。 ( 2 ) 提出了一种基于改进的密度法选择r b f 神经网络数据中心的训练算法。 ( 3 ) 改进了基于a p c i i i 算法选择r b f 神经网络数据中心的学习算法，并将改进 的算法应用于非线性系统建模实验。 ( 4 ) 通过对r b f 神经网络性能的分析，根据现有的理论结果，对r b f 神经网络的 误差表达式进行了研究。 5 第二章r b f 神经网络概述 第二章r b f 神经网络概述 本章将r b f 神经网络作为主要研究对象，介绍了径向基函数的特点，相关理论知 识，以及r b f 神经网络的出现；介绍了r b f 神经网络的经典的学习训练算法和相关知 识，以此作为后续章节的预备知识。 2 1r b f 神经网络的出现 2 1 1r b f 的定义 定义1 ：假设x ，x o 兄，以而为中心，x 至l jx o 的径向距离为半径形成的肛一0 构成的 函数系缈( 忙一i i ) 称为径向基函数。 基函数伊( | i f i ) 是非线性函数，而称为基函数的中心，基函数以输入空间的点x 与中 心之间的距离作为函数的自变量。由于距离是径向同性的，故函数驴( | | 1 | ) 称为径向基 函数。 1 9 6 3 年d a v i s 提出了高维空间的多变量插值理论【2 7 】。2 0 世纪8 0 年代后期，p o w e l l 在解决多变量有限点严格( 精确) 插值问题时引入了径向基函数技术【2 8 】，目前径向基函 数己成为数值分析研究中的一个重要领域。 常用的径向基函数有以下几种： ( 1 ) 缈( ，) = 厂卢， 0 ，甓2 n ( 2 ) 缈( r ) = ，2 ( 3 ) 缈驴) = 厂始l o g r ，k n( 薄板样条t 1 1 i n p l a ts p l i n e ) ( 4 ) 伊驴) = ( 厂2 + c 2 ) p ， o ，仨n ( 多二次方程m u l t i q u a d r i c s ) ( 5 ) p ( ，) = ( ，2 + c 2 ) 声， 0 ( 高斯函数g a u s s ) 一维情形，利用( 1 ) 作径向基在= 1 时等价于一次自然样条，而利用( 2 ) 则等 价于三次自然样条，( 3 ) 在二维情形是典型的薄板样条函数。图2 1 绘制了几种常用的 径向基函数的图像： 6 中国石油大学( 华东) 硕士学位论文 审( 归一，i b - 3 o ( r ) = ( c 2 ) 8 c = 1 ，p = - 0 5亩( r ) = 铲2 ，位= 1 图2 l 几种r b f 函数的图形 f i g 2 - 1 ：s e v e r a lr b f f u n c t i o ng r a p h i c s 2 1 - 2 径向基函数技术解决插值问题的相关理论 r b f 神经网络作为一种人工神经网络，也具备人工神经网络的般功能，而人工神 经网络的首要功能是解决非线性映射问题，也就是所谓的函数逼近问题。从神经网络的 函数逼近功能这个角度来分，神经网络可以分为全局逼近网络和局部逼近网络，当神经 网络的一个或多个可调参数( 权值和阈值) 对任何一个输出都有影响时，则称该神经网 络为全局逼近网络，如多层前馈网络，b p 神经网络等；如果对网络输入空间的某个局 部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络，如r b f 神 经网络，小脑模型网络等。利用径向基函数进行函数逼近的一个重要方法是插值，我们 需要了解一些径向基函数插值的理论，这些理论对r b f 神经网络具有重要的意义。 问题的描述：对给定的多元散乱数据 x j ，f j b l ，r ”x r ，选取径向基函数 矿：彤_ 灭，利用平移构造基函数系 缈( 牿一一8 ) 臻。并寻找插值函数，( z ) 形如( 2 1 ) 所示 f ( x ) = 坳妒( 陋一钟 ( 2 一1 ) 7 第二章r b f 神经网络概述 满足 f ( x ) = 乃，= l ，2 ，肌 我们记 f r = ，左，厶) 伊7 ( x ) = ( 缈( 0 x 一而0 ) ，妒( 0 x 一而0 ，伊( 0 x 一0 ) ) 矿= ( ，屹，) = 缈( 0 t 一一1 1 ) 贝0 上述方程组可以改写为( 2 2 ) 仍肘 仍。 。 蟛 ： 彳 五 ： ，1 w ( 2 2 ) 令表示元素为霰的v t t m 阶矩阵，和厂分别表示系数向量和期望输出向量，上式还 可以写成如下( 2 3 ) 形式： 渺= f ( 2 3 ) 其中称为插值矩阵，如果可逆，我们可以求出系数向量： 形= m 一1 f 从而得到插值函数形式如( 2 4 ) ： f ( x ) = 矿。1 f ( 2 4 ) 上面的插值方式要求插值曲面必须经过所有的训练样本点，也称为严格插值或者精确插 值，但是，这种插值方式当接近奇异时并不合适，是因为存在以下问题： ( 1 ) 由于插值曲面必须通过所有的训练数据点，但在训练数据中存在噪声时，神 经网络将拟合出一个错误的插值曲面，从而使其泛化能力下降； ( 2 ) 由于径向基函数的数量和训练样本数量相等，当训练样本数远远大于物理过 程中固有的自由度时，问题称为超定的，插值矩阵求逆时可能导致不稳定。 存在上述问题的原因是由有限数据点恢复其内部蕴含的规律是一个反问题引起的， 而且往往是不适定的。反问题是相对正问题而言的，是由结果推测原因。神经网络用于 8 中国石油大学( 华东) 硕士学位论文 解决非线性映射问题时涉及的反问题是已知输入和输出，求未知的系统。 不适定的问题最早是由h a r d m a r d 在2 0 世纪初提出的，假设在度量空间中有一个定 义域a 和值域b ，二者由一个未知的映射厂联系着，如果厂重建问题满足以下三个条件， 则问题是适定的。 ( 1 ) 解的存在性。对于每一个输入向量x a ，都存在一个输出y = f i x ) ，y b 。 ( 2 ) 解的唯一性。对任意2 个输入向量x 1 ，x 2 ，当且仅当x 1 = x 2 时有 f ( x 1 ) = f ( x 2 ) 。 ( 3 ) 解的连续性。对任何s 0 ，存在占= 8 ( e ) ，使得当d ( x i , x 2 ) o x 互 (2-11) l w 7 矽( x ) ox 最 。 则由线性方程w r 缈( x ) = 0 确定了m 维矽空间中的一个分界超平面，这个超平面使得映 射到m 维伊空间中的删个点在矽空间是线性可分的。 把上面的理论应用到r b f 神经网络中，将输入空间的模式点非线性地映射到一个 高维空间的方法是，设置一个隐层，令矽( x ) 为隐节点的激活函数，并令隐节点数m 大 于输入节点数，从而形成了一个维数高于输入空间的高维隐藏空间。如果m 足够大， 则在隐层空间输入是线性可分的。 1 3 第二章r b f 神经网络概述 2 1 3 广义r b f 神经网络 由于正则化网络的训练样本和径向基函数一一对应，当样本数很大时即尸很大时， 网络的计算量非常大，而且导致权值矩阵很大，从而在求逆时容易产生病态问题，为了 解决这一问题，可以减少隐层节点个数，即n m n p ，从而得到广义r b f 神经网络。 相对于正则化r b f 网络，广义r b f 网络有以下特点： ( 1 ) 径向基函数的个数m 与样本个数p n 不同，且m 远小于p n ； ( 2 ) 径向基函数的中心不再限制在数据点上，可由对应的学习算法确定； ( 3 ) 各径向基函数的扩展常数不再统一，由算法确定； ( 4 ) 输出函数的线性组合中可以包含阈值参数，用于补偿基函数在样本集上的平 均值与目标值之间的差别。 正则化r b f 神经网络存在很多的弊端，尤其是在对存在噪声的数据进行插值时由 于要做到精确插值，会导致插值曲线严重偏离真实，所以很少被用到。因此后面我们研 究的r b f 神经网络都属于广义r b f 神经网络类型。 2 2 径向基函数的选择 在2 1 节中我们列举了六种径向基函数，其实径向基函数还有很多种，那么我们在 设计r b f 神经网络的时候选择哪种径向基函数类型时效果会更好呢? 这里说的效果更 好包括三个方面，一是选用这种径向基函数能够使网络学习过程顺利进行；二是这种径 向基函数能够简化网络训练的计算过程；三是能够减少神经网络的训练误差。现在分别 对此三个方面进行分析。 在前面列举的六种径向基函数中，第一种至第四种由于当，- 一时伊( ，) 一0 0 ，即 c p ( r ) 是无界的，所以它们属于非局部性函数，非局部性函数对应的插值矩阵只有一个正 的特征值，所以不是正定矩阵，但是经过特殊处理之后可以使插值矩阵变成非奇异的， 因此适合于r b f 神经网络的设计；后两种径向基函数厂专o o 时，缈( ，) 一0 ，所以这两 种是局部性函数，对应的插值矩阵是正定的( 非奇异的) ，当然可以用于r b f 神经网络 的设计。由于前四种径向基函数用于网络设计时需要经过特殊的处理，这在一定程度上 使网络设计过程变得复杂，计算量相对增加，因此在具体的应用时一般选择逆多二次函 数和高斯函数，不过，p o w e l l 曾经得出了一个结论，当一个径向基函数若是无限增长的， 与其他产生正定插值矩阵的函数相比，它能以更高的精度逼近一个光滑的输入一输出映 1 4 中国石油大学( 华东) 硕士学位论文 射【2 8 1 。所以，有时候在不追求训练速度的情况下，可以采用此类径向基函数作为r b f 网络隐层的激活函数进行函数逼近方面的应用。有学者已经研究过，在不考虑速度和计 算量的前提下，采用哪一种激活函数对网络训练误差的影响并不十分明显。因此，我们 一般都是选择高斯基函数作为r b f 神经网络的隐层激活函数。 2 3r b f 神经网络的基本学习算法 r b f 神经网络是一个两层的前馈神经网络，需要我们确定隐层结构和权值信息，根 据r b f 函数的图像形状，除了要确定用多少个径向基函数之外，我们还必须知道r b f 的径向基宽度和中心向量，其中径向基宽度代表神经元的敏感度，如图2 3 ，图2 4 所 示： 图2 - 3 较小的宽度 f i g 2 - 3 ：s m a l l e rw i d t h 图2 - 4 较大的宽度 f i g 2 4 ：l a r g e rw i d t h 设计一个r b f 神经网络，包括结构设计和参数设计，结构设计主要解决如何确定 网络隐层节点数的问题；参数设计就是要确定各径向基函数的数据中心和数据宽度，隐 层到输出层的权值信息。这两方面的设计最终可统称为r b f 神经网络的学习过程，因 为对隐层节点数的确定也在学习算法之中。对数据中心的选取一般有两类方法，一种方 法是数据中心从样本输入中选择。样本密集的地方中心点可以选择多一些，样本稀疏的 地方则选择少一些，如果样本是均匀分布的，中心点也可以均匀分布，只要选择的数据 中心点具有代表性就可以。径向基函数的扩展常数是根据数据中心的分布而确定的，早 期为了避免每个径向基函数太尖或者太平，将宽度设置为参数盯= 菩，其中以。是 v j r j 所选数据中心之间的最大距离，m 是数据中心的数目。另一种方法是数据中心的自组 织选择，通过采用某些聚类算法对数据中心进行自组织选择，在学习过程中需对数据中 心的位置进行动态调节。r b f 神经网络的隐层节点数对网络的泛化能力有很大的影响， 1s 、第二章r b f 神经网络概述 所以确定聚类数目是一个关键的问题。在下一章中我们会讨论各种r b f 神经网络的学 习算法，在这儿我们先介绍两种基本的学习算法，作为下一章各种学习算法的基础。 2 3 1 基于k m e a n s 聚类的数据中心选择算法 1 9 8 9 年，m o o d y 和d a r k e n 提出了一种两阶段组成的混合学习算法。第一阶段是无 监督学习( 也称无教师学习) 阶段，根据所有的输入样本进行聚类，求得各隐层节点的 数据中心，并根据各中心之间的距离确定隐层节点的数据宽度。第二阶段是监督学习( 有 教师学习) 阶段，用监督学习算法训练输出层权值，可以采用l m s 方法或者梯度法进 行训练。在具体执行时，首先要通过试验来决定数据中心的数目，也就是r b f 神经网 络的隐节点数目。应用k m e a n s 聚类算法【3 3 】确定数据中心的算法步骤如下： 第一阶段： 变量定义： 蜀，置，砟) _ 一p 个样本；必一隐节点数；c ( 露) 一第k 次迭代时的中 心： s t e p l ：初始化。随机选择m 个互不相同的向量作为初始聚类中心： q ( 0 ) ，乞( o ) ，c m ( 0 ) s t e p 2 ：计算输入空间各样本点与聚类中心点的欧氏距离并求出最小距离的节点 d j ( k ) = l l 以一c ( 忌) l l ，p = 1 ，2 ，p ；j = 1 州2 一，m ( 2 1 2 ) s t e p 3 ：相似匹配。令厂代表竞争获胜隐层节点的下标，对每一个输入样本x 口根据 其与聚类中心的最小欧氏距离确定其归类，i ( x 口) ，即： ，( ) = n 归8 一勺( j j ) 0 ，p = 1 ，2 ，p ( 2 1 3 ) 时，x 。被归为第，类，从而将全部样本划分为m 个子集，u ( 尼) ，( 后) ， ) ， 每个子集构成一个以聚类中心为代表的聚类域。 s t e p 4 ：更新各个聚类的中心。可以采用竞争学习规则进行调整，即： 删，端叼| ，_ 刀多嚣 协 其中r 为学习率，0 r 1 。 s t e p 5 ：k = k + 1 ，转到s t e p 2 。重复上述过程直到c k 的改变量小于预设阈值。 1 6 中国石油大学( 华东) 硕士学位论文 s t e p 6 根据各中一c , , 2 _ _ i 司0 9 r e 离确定对应径向基函数的扩展常数，令： 嘭= 卿n i l c j c , i l 取扩展常数为t = 五t ，2 为重叠系数，通过试验获取。 第二阶段： ( 2 1 5 ) 设第歹个隐节点的输出为= 缈( 1 p ，一巳 ) ，则隐层输出矩阵为：。= ( ) p 。 ，教 师信号为d ；设r b f 神经网络的待定权值为w = ( w 1 ，w 2 ，w m ) ，则隐层输出矩阵为： f ( x ) = 中形= d ( 2 1 6 ) 利用的伪逆+ 得到w = + d ，其中+ = ( 7 ) _ 1 7 。 求权值还可以用最小均方学习规则，但是不如用求伪逆的方法简单。 上述学习算法具有下列缺点：聚类对初始条件敏感；类别数需要预先设定，对 聚类性能影响很大；未考虑因变量影响。该方法虽然有这些缺点，但是这种思路成了 诸多神经网络研究者进行改进算法的指导思想，后来出现的相当多的改进算法都是两阶 段的学习训练过程，主要的改进都出现在对数据样本进行合理聚类的算法上。 2 3 2 基于梯度下降法的学习算法 这种方法是将r b f 神经网络的隐节点数据中心、数据宽度和输出层权值均采用监 督学习算法进行训练，即所有参数都经历一个误差修正的学习过程。具体步骤如下： s t e p l ：设置隐层单元数目m ，并随机初始化数据中心0 ，数据宽度t 和权值。 定义目标函数e = 去已? ，p 是训练样本数，e j 为输入第f 个样本时的误差信号，定义 为e ，：z f ( z ) ：4 一mm 。g ( 0 墨一c ，l | ) ； s t e p 2 ：计算隐层单元到输出单元的权值 吨叫嚣叫驴p ( 阶，i i ) ( 2 - 1 7 ) s t e p 3 ：计算隐层单元的数据中心 8 e _ 圹坳一刁瓦 1 7 ( 2 1 8 ) 第二章r b f 神经网络概述 钙叫等= 刁壹“一c j l l ) ( x , - - j 1 e i g ( 1 1 x ,一c j ) ( 2 1 9 ) 钙2 一刁瓦2 刁虿白 一 一j ( 2 1 9 c j + 1 - - a 钟罢 ( 2 - 2 0 ) s t e p 4 ：计算数据中心的宽度 乞叫虿a e = 彳考喜删置圳弦巳8 2 ( 2 - 2 1 ) t + l - 口一理罢 ( 2 - 2 2 ) s t e p 5 ：重复步骤s t e p 2 s t e p 4 ，直到目标函数小于预设的阈值。 这种方法能够同时获得r b f 神经网络的三个参数，整体性较强，但是结果与初值 右稆女娑磊而日农扁陷入悬韶船小信 文瞩制了峪督堂习笪、洼的府阳 2 4 本章小结 r b f 神经网络的理论和径向基函数理论有着密切的联系，而径向基函数理论是数值 分析中的一个重要研究领域。大部分学者通过结合数值分析或者统计学中的一些理论对 r b f 神经网络进行研究，如通过函数逼近和插值理论进行分