（检测技术与自动化装置专业论文）基于云理论的rbf神经网络算法改进研究.pdf

摘要 摘要 本文基于云理论提出了一种用正态云来替代高斯径向基函数的r b f 神经网 络改进算法，具体实现方法为： 将r b f 聚类中心和带宽的确定问题转换为正态云参数的确定问题，进而使得 r b f 隐层的输出结果同时具有了模糊和随机的特性，充分的体现了云理论的精 髓；网络所用数据样本原有的随机因素被顺利的传递至输出层，很好的克服了 传统模糊理论“模糊不彻底”的弊端；新算法与云理论比较：因其保留了r b f 的自学习功能，从而避开了云理论应用中模糊规则提取的问题。 同时，针对改进的算法中出现的两个新的问题，本文也找到了很好的解决 方法： ( 1 ) 原有的高维云模型隶属度计算公式在维数较高时，由于求和累积项很大， 输出值陷入死区，造成网络后续无法训练。针对此问题，本文引入云的幅度系 数作为权值参量，实践证明可行，拓展了高维云的适用范围。 ( 2 ) 幅值不等的两朵云合并的问题。针对这一问题，本文提出一新的合并算 法，通过三维寻优，得到的合并后云的期望曲线参数。 以实际的污垢数据库对该改进的强算法进行检验，结果表明：该算法解决 预测问题优于传统r b f 算法，实际效果良好，同时该算法又具有良好的可移植 性。 最后，本文对预测精度进行分析，确定了课题的后续研究和改进方向。 关键词：云理论；rbf ；预测 东北电力大学硕十学位论文 a b s t r a c t a ni m p r o v e da l g o r i t h mf o rr b fn e u r a ln e t w o r k si sp r e s e n t e db a s e do nc l o u d t h e o r y , w i t hr e p l a c e dg a u s sr a d i a lb a s i cf u n c t i o nb yn o r m a lc l o u dm o d e l , t h e d e t e r m i n eo fe xa n de nf o rr b fn e tc h a n g ei n t ot h ed e t e r m i n eo fn o r m a lc l o u d m o d e lp a r a m e t e r s ，s ot h a tt h eo u to ft h eh i d d e nl a y e ri sv a g u ea n dr a n d o m ，t h e q u i n t e s s e n c eo f c l o u dt h e o r yh a sb e e ns h o w nw e l l 硼舱r a n d o mo ft h ed a t as a m p l e s u s e db yt h en e th a sb e e np a s s e dt ot h eo u tl a y e ro ft h en e ts m o o 伽y ，t h e u n c o m p l e t ev a g u e d e f e c t o ft h ec l a s s i c a l v a g u et h e o r y h a sb e e n o v e r c o m e c o m p a r e d 埘t l lc l o u dt h e o r y ，t h ei m p r o v e da l g o r i t h mn e e d sn o t t h e e x t r a c t i o no fv a g u er u l e se s s e n t i a lf o rc l o u dt h e o r yf o rt h er e s e r v a t i o no fs e l f - l e a r n i n g i nr b f a tt h es a m et i m e ，t w on e wp r o b l e m si nt h ei m p r o v e da l g o r i t h mh a sb e e n s o l v e dw e l l f i r s t l y i nm u l t i d i m e n s i o n a lc l o u dm o d e lf o r m u l aw h e nt h ed i m e n s i o ni sh i g h , t h es u m n r yi sb i ge n o u g ht om a k et h eo u ti ni n s e n s i t i v ea r e a ，s ot h a tt h en e tc a nn o tb e t r a i n e d 1 f 1 p r o b l e mi ss o l v e db yt h ec l o u dr a n g ep a r a m e t e ru s e da sw e i g h t e dv a l u e p r a c t i c eh a sp r o v e df e a s i b l ea n dt h es c o p eo fm u l t i d i m e n s i o n a lc l o u dm o d e li s e x p a n d e d s e c o n d l y ，an e wm e t h o df o rt h em e r g e ro fd i f f e r e n tr a n g ec l o u dh a sb e e n p r e s e n t e d b yt h r e e - d i m e n s i o n a lo p t i m i z a t i o n ，a f t e rm e r g e rt h ee x p e c tc u r v e p a r a m e t e ro ft h ec l o u di sg o t u s i n gf a c t u a lf o u l i n gd a t at oc h e c ku pt h ei m p r o v e da l g o r i t h mf o rr b fn e u r a l n e t w o r k sb a s e do nc l o u dt h e o r y ，t h ec o n c l u s i o ns h o w st h a tt h ei m p r o v e da l g o r i t h m i s s u p e r i o r t ot h ec l a s s i c a lr b fi n p r e d i c t i o na n dt h e a c t u a l r e s u l ti sg o o d s i m u l t a n e o u s l yt h ei m p r o v e da l g o r i t h mc a nb et r a n s p l a n t e dt om a n ye x i s t a n t i m p r o v e da l g o r i t h mf o rl 也fn e u r a ln e t w o r k s f i n a l l y ，t h ea n a l y s i so ft h ef o r e c a s ta c c u r a c yh a sb e e nd o n e ，a n dt h ef o l l o w - u p r e s e a r c ha n di m p r o v e m e n td i r e c t i o no ft h ei s s u eh a sb e e ni d e n t i f i e d k e y w o r d s ：c l o u dt h e o r y ；r b f ；p r e d i c t i o n 论文原创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。 文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法 律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申 请的论文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书； 2 学校可在相关媒体上对作者本人的行为进行通报： 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉； 4 。本人负责因论文成果不实产生的法律纠纷。 论文作者签名：翅! 刻日期：垒堕年l 月三生日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属东北电 力大学。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为东北电力大学。 论文作者签名：墨望圈日期：旦年三月三生日 导师签名 日期：逊年月望日 第1 章绪论 ! m i i , i ii i i i ii -mi 皇璺鸶笪篁 第1 章绪论 1 1课题背景 作为一种计算方法，神经计算是对符号计算和编程计算的挑战：作为一种 计算系统，人工神经系统是对v o nn e u m a n n 机和专家系统的挑战【l l 。a n n 将是 第六代计算机的核，i 2 1 。 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n ) ，是对人脑或自 然神经网络( n a t u r a ln e u r a ln e t w o r k ) 若干基本特性的抽象和模拟。人工神经网 络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制， 实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司 的创立者与领导人h e c h t - - n i e t s e n 给人工神经网络下的定义就是：“人工神经网 络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输 入作状态响应而进行信息处理。这一定义是恰当的1 3 j 人工神经网络的研究， 可以追溯到1 9 5 7 年r o s e n b l a t t 提出的感知器( p e r e e p t r o n ) 模型。它几乎与人工智 能a i ( a r t i f i c i a li n t e l l i g e n c e ) 同时起步，但3 0 余年来却并未取得人工智能 那样巨大的成功，中间经历了一段长时间的萧条。直到8 0 年代，获得了关于人 工神经网络切实可行的算法，以及以v o nn e u m a n n 体系为依托的传统算法在某 些问题( 例如：t s p 问题，t h p 梵塔问题等) 的处理方面日益显露出其力不从 心后，人们才重新对人工神经网络发生了兴趣，导致神经网络研究的复兴【4 1 。迄 今为止，已经提出了多种网络类型，如b p ，h o p e f i e l d ，c m a c ，r b f 等。与此 同时，针对各种网络类型，又提出了各种各样的训练算法。在自动控制领域， 研究的比较多，也比较成熟的是静态前向神经网络，如b p 网络。虽然己经证明， 只要有足够多隐层，b p 网可以逼近任意的非线性映射关系，但是因为误差曲面 是一个非常复杂的超曲面，所以b p 网存在着很多的问题1 5 固。其中，最大的一 个问题便是收敛速度慢，容易陷入局部极小，这显然是由于误差曲面存在着多 个局部极小点以及曲面形状过于平缓而造成的：另外的一个问题便是b p 网络结 东北电力大学硕十学位论文 构的确定，没有一定的规则可循，现在我们通常只能根据一些经验公式来大致 的确定网络的隐层节点。虽然，针对这些问题人们进行了大量的研究，但是， 我们看到改进的效果仍是不很理想。其实，以上问题的根本原因在于b p 网络 没有对输入向量空间进行有效的映射。我们知道神经网络最初是模拟人类神经 元对外界刺激反应方式而设计出来的，这一点在b p 网中的体现便是通过一个阀 值来模拟神经元的反应门限值以及非线性的s 函数来模拟神经元的非线性输出 作用。而根据对人脑的研究成果，人类大脑对外界刺激的反应形式是基于感受 野( r e c e p t i v ef i e l d ) 的，亦即不同部位的脑细胞对外界刺激的反应强度是不同的， 各个神经元的作用域都是一个局部的范围，只有当输入在一定的范围内( 即感受 野) ，该神经元才响应，否则不响应或响应很小。这一点在b p 网的神经元映射 函数中并没有得到体现，与神经元的作用原理有一定的出入，致使它的性能不 是很好。 正是基于以上对人类神经元的认识，m o o d y 和d a r k e n 提出了一种新的神经 网络结构_ r b f n ( r a d i a lb a s i sf u n c t i o nn e t w o r k ) ，即径向基函数网络。r b f n 的神经元映射函数就是我们通常所说的高斯函数。该函数的最大特点是只有当 输入与中心相等时，输出达到最大，随着输入与中心的渐渐偏离，输出也逐渐 减小，并很快趋近于零，这与实际神经元基于感受野的这一特点很相似，只有 当输入在中心附近的一定的范围内，输出响应很大，否则不响应或响应很小。 因此，r b f n 的神经元映射函数可以更确切的描述出实际神经元响应基于感受野 的这一特点，比b p 网有更深厚的理论基础，从而它的性能也大大优于b p 网。 到目前为止，已经提出了许多种r b f 网络的训练算法。r b f n n 的优良特性，使 其成为替代b p 网络的另一种神经网络，越来越广泛地应用于各个领域1 9 1 3 l 。 1 2 国内外发展概况 由r b f 网的结构可知，确定一个r b f 网主要应有两个方面参数中心和 权值，目前对r b f 网的各种改进也正是围绕这两方面展开的。权值的确定，由 于这一过程只是来求从隐层空间到实际输出空问的线性变换的权系数，原理上 比较简单，因而，改进并不是很大。目前最常见的两种方法是l m s 和r l s 方法 及其改进算l l q ；隐层节点数和隐层节点值的确定，为了使r b f n 能使适用于各 第1 章绪论 种问题，必须实现能根据不同的问题而自动地确定r b f n 的隐层节点数和隐层 节点值。人们在这方面做了大量的研究，除此之外，人们还在r b f 的学习方法 等方面做了大量工作，引入了许多最新的理论方法，取得了很多成绩。 例如：梯度下降法【1 5 1 ，b p 网络的最常用训练就是选定某种性能指标，用梯 度下降法来校正网络参数，使该性能指标取最优值，r b f 网络的训练亦可以采 用同样的方法。这样r b f 网的学习实际上就转化为一个最优化问题。由于隐层 输出到输出层之问的变换是线性变换，所以人们更多的采用是已经比较成熟的 r l s 算法另外，我们也可以象b p 网一样对上面的修正算式进行简单的改进， 如：加动量项，变步长等；基于遗传算法的r b f 学习方法【1 6 1 ，为了避免局部极 小，我们自然就想到了具有全局寻优能力的遗传算法。把r b f 网的中心值、网 络的隐层中心数和输出层的权值作为遗传算法的寻优参数，把宽度取为l ，为了 能够更好的体现出网络的复杂度和精度之间关系，根据a i c ( a k a i k e si n f o r m a t i o n c r i t r r i o n ) 准则定义目标函数这样，由该算法所求的r b f 网络结构一定是满足 给定要求的网络；基于反复迭代的r b f 学习方法【i 丌，该方法实际上是把前面所 提到的梯度下降法的一个反复运用。目标函数、网络参数的修正方法都与梯度 下降法的相一致，只是须给定一个门限值。最初时，把隐层节点数取为一个， 然后用梯度下降法经过一定次数迭代，记录最后一次时的目标函数值。之后， 使隐层节点数加一，仍象开始一样经过一定次数梯度下降迭代，如果经过迭代 之后，目标函数下降的值大于门限值，这说明增加了一个隐节点，对网络的作 用比较大，此时的隐层节点数没有使系统的目标函数达到极小，所以使隐层节 点数加一，并象上面一样继续进行迭代。一直迭代到目标函数的下降值小于门 限值，这说明此时增加一个隐层节点对网络的性能影响并不很大，没有必要再 继续使隐节点增加下去了所以，停止迭代，并确定了隐层节点数。这样，在 此基础上，对网络进行进一步的多次迭代，便可以最终确定网络的全部参数； 基于k 均值聚类的r b f 学习方法i l 射，该方法的特点是中心和权值的确定可以分 为两个相互独立的步骤。首先是无监督的中心确定阶段，把全部输入向量按照k 均值聚类法进行聚类，得到聚类中心，也就是r b f 网的中心；之后是有监督的 权值确定过程，这一过程根据系统的实际输出值和上一步所得到的网络中心值， 用l m s 方法便可以确定网络的权值。由于k 均值聚类法的聚类过程一般能够根 东北电力大学硕十学位论文 皇i i ll li i i i i l l i l l _ 1 据输入向量比较准确的确定聚类数和相应的聚类中心，因此如果已知全部输入 向量时，用该方法是能够比较精确的确定网络结构的；基于正交最小二乘法o l s 的r b f 学习方法【均捌l ，这种方法来选择r b f 网中心的思想非常清楚：每增加一 个网络中心所得到的网络精度就进一步提高，而且每次选择的下一个中心都是 在余下的部分里对误差下降贡献最大的那一个。之后，我们便可以利用求得网 络的权值。用该方法来训练网络不仅非常直观、清楚地表明了各个隐层中心节 点对网络的偏差下降率影响的大小，而且，迭代的次数也很少，一般最终确定 需要几个隐层节点，就只需要几次迭代：基于动态均值聚类的r b f 学习方法【2 z j 团】，动态聚类法是一种很有价值的动态确定网络中心的方法。事实上，对它稍 加改动便可以由它来派生出很多种方法。现在有很多种方法都是采用了该方法 的前半部分，也就是说，当输入向量与现有的全部网络中心的距离都大于距离 门限值p 时，也以该输入向量为中心增加一个聚类模式，但当与中心的最小距 离小于距离门限值p ，对网络中心的修正并不采用均值聚类的方法，而采用梯度 下降、卡尔曼滤波等其他方法进行修正。 由此可见，人们将精力集中于r b f 网络参数本身的研究和改进，忽略了网络 所用数据样本原有的随机因素，即使引入模糊理论生成的模糊r b f ，也是“不彻底 的”。而事实是数据样本的随机因素对网络的实际效果有不可忽略的影响。基于 此，作者将云理论其精髓为模糊与随机的完美结合一引入r b f 算法中， 来解决数据样本的随机因素影响网络的实际效果这一闯题，并对其进行了深入 的研究。 1 3 本文的主要研究内容 在仔细研究了云模型和r b f 网络后，我们发现，正态云与r b f 的高斯径向 基函数有惊人的类似之处他们最重要的两个参数中心和带宽是相同的，只是云 模型多了表达带宽不确定性的参数超熵。于是我们设想是否可以用正态云 来代替高斯径向基函数来解决数据样本的随机因素影响网络的实际效果这一问 题昵? 我们对这一设想进行了深入的研究和实验，最终得到了肯定的答案! 新的 算法汲取了云理论和r b f 的所有优势，又弥补了各自的不足，同时保留了r b f 的 拓扑结构新算法与三层r b f 网络算法比较：用正态云来代替高斯径向基函数， 第1 章绪论 1 l i l ti ii l l l li i ! ! 使得i 璐f 聚类中心和带宽的确定问题转换为正态云参数的确定问题，又使得r b f 隐层的输出结果同时具有了模糊和随机的特性，这正是云理论的精髓；新算法与 云理论比较：避开了云理论应用中模糊规则提取的问题，因为新算法保留了r b f 的自学习功能。 同时，针对新的算法，将原有的云变换方法做了改进，以实际的污垢数据 库资料来检验改进算法的有效性，作者做了数种数据模式下的预测，并与传统 r b f 算法的预测结果相比较，结果表明：该改进算法成功而且有效，在解决预 测问题时，较传统r b f 有优势。最后，就预测精度问题和算法的在线动态学习 问题进行了可行的探究，分析了预测偏差产生的实质原由，指出了提高预测精 度的方法和课题后续的研究方向。 东北电力大学硕上学位论文 i i i i i i ii ii l i ii i 量置舅 第2 章r b f 神经网络 本章主要介绍了关于r b f 网络的基本原理和目前的典型学习算法，并对常 用的学习算法进行比较，来说明l 溉的优势和特色。 2 t r b f 网络概述 径向基函数( r a d i a lb a s i cf u , , 懈t j o n ，r b f ) 网络基本结构为三层，同b p 网络一样，r b f 网络也是一种静态前向网络，其拓朴结构如图2 1 所示， x l 勉 x 3 蝴隐层输出层 图2 - 1r b f 拓朴结构图 隐层单元采用径向基函数，输出为隐层的加权求和。最常用的径向基函数 是高斯函数，形式为：k ( i l x m 1 1 ) = e x p ( - l 2 * l t x m l l 2 s a 2 ) ，l i x - r o l l 为空间任一点x 到某一中心m 之间的欧式距离；1 1 1 是r b f 的映射中心，用来表示各神经元感 受野中心，6 为核函数的宽度参数，用来表示神经元的对外界的作用敏感程度， 控制了函数的径向作用范围，它越小则对输入的变化越敏感。显然，r b f 的神 经元映射函数就是我们通常所说的高斯函数，该函数的最大特点是只有当输入 与中心相等时，输出达到最大，随着输入与中心的渐渐偏离，输出也逐渐减小， 并很快趋近于零，这与实际神经元基于感受野的这一特点很相似，只有当输入 在中心附近的一定的范围内，输出响应很大，否则不响应或响应很小。因此， r b f 的神经元映射函数可以更确切的描述出实际神经元响应基于感受野的这一 第2 章r b f 神经网络 ! i _ i i l l l li ii l l _ n lp lf i l l i i i 特点，比b p 网有更深厚的理论基础，从而它的性能也大大优于b p 网。 设r b f 网络结构输入层神经元节点数n ，r b f 层神经元节点数r ，输出 层神经元节点数m ，径向基层神经元j 与输入层神经元i 之间的连接权为 w 玑径向基层神经元j 与输入层n 个神经元之间的连接权向量为w 3 nz ( w 3 l ，w r j 2 ，w j n ) ，j = l ，2 ，r ，设径向基层神经元与输入层神经元之间的连 接权矩阵为w l 。径向基层采用径向基函数作为激活函数。线性输出层采用纯 线性函数作为激活函数。在r b f 网络中，m 可以通过聚类算法求得。径向基 层采用聚类方法确定训练输入样本的聚类中心，从而确定径向基层的神经元。 一般地，考虑n 维空间的p 个样本x 1 ，x 2 ，x p 首先将数据作归一化 处理，然后将p 个样本聚类。训练开始时，每个样本都可能成为聚类中心，因 此，要计算每个样本的密度指标，如果一个样本周围具有多个邻近的相似样本， 则该样本具有高密度值。半径定义了该点的一个邻域，半径以外的样本对该点 的密度指标的贡献很小。选择密度指标最高的样本为第一个聚类中心，令x c l 为选中的样本，d c l 为其密度指标。为了求下一个聚类中心，要将已选中为聚类 中心的样本除外，在剩下的样本中，将每个样本) ( i 的密度指标进行修正，避免 出现相距很近的聚类中心。通过上述聚类过程，将p 个样本聚集为m 类，从 而确定了径向基层的m 个神经元。6 可以通过聚类结果和样本的分布计算得到。 网络的输出层的训练通常采用递推最j 、- 乘算法 r b f 网络的训练分为两个阶段： 第一个阶段是，采用无导师的方式训练r b f 层的权值w i 和偏差b l 。 r b f 层的权值训练是不断地使权值向量唧趋向于某个输入向量x p ，这样得 到的w j 构成r b f 层权值矩阵w l ，结果使输入样本向量x p 在等于或趋向于 w ：i 处，使r b f 的输出为l 。当网络工作时输入任一预测样本向量，r b f 层 中的每一个神经元都按照输入向量接近每个神经元的权值向量的程度来计算其 输出值。结果是，与权值向量的距离很远的输入向量，使r b f 层的输出接近0 ， 这些很小的输出对后面的线性输出层的影响很小，可以忽略，与权值向量的距 离非常接近的输入向量。r b f 层的输出值接近l 。 第二个阶段是，采用有导师的方式训练线性输出层的权值w 2 及偏差b 2 。 在确定了r b f 层的权值w i 和偏差b 1 之后，r b f 层的输出矩阵y l 即可求 东北电力大学硕士学位论文 曼, i f!,! i i - 1 i ii 出。由y 1 计算输出层的输出矩阵y 2 ，通过使网络的输出y 2 与目标输出d 的误差小于或等于目标误差，来训练线性输出层的权值w 2 及偏差b 2 。 2 2 r b f 基本的学习算法 由r b f 网的结构可知，确定一个r b f 网主要应有两个方面参数一一中心和 权值，目前对r b f 网的各种改进也正是围绕这两方面展开的。 首先，我们来看一下第二层权值的确定。由于这一过程只是来求从隐层空 间到实际输出空间的线性变换的权系数，原理上比较简单，因而，改进并不是 很大。目前最常见的两种方法是l m s 和r l s 方法，对于一般的问题都可以满足 要求，但是，我们应该看到，求隐层到输出层之问的变换权系数这一过程是一 个求解线性方程组的过程，因而也会象解方程组一样面临方程组的系数矩阵奇 异的问题，l m s 算法只是通过对隐层节点输出矩阵直接求逆来求权系数w 的， 而r l s 算法只是l m s 算法的递推形式，他们都没有考虑隐层节点输出矩阵奇异 的情况。所以当r b f n 的各时刻隐层输出所构成的矩阵奇异时，l m s 和r l s 方 法所求得的权系数w 的值会有较大的偏差，虽然这种情况出现的概率较小，但 是一旦出现网络的性能也会突然下降。对于该问题通常所采用的解决办法是用 正交化的方法来求权系数w 的值，但是，直接采用g i v e n s 正交变换的计算量过 大，无法满足实时跟踪控制运算的需要，因此，这里我们采用的方法是用递推 g i v e n s 最小二乘法( r g l s ) ，由于这一过程是采用正交变换而得到的，因而数值 特性很好，同时，又是一种递推算法，计算量比起直接用g i v e n s 正交变换要小 得多，所以说，r g l s 算法既有r l s 的运算量小，速度快的优点，又有良好的 数值特性。另外，r b f 网作为一种静态神经网络，也类似于b p 网，存在网络的 结构确定的问题，即隐层节点数的选取问题。不恰当的隐层节点数，会使r b f 网络无法正确的反映出输入样本空间的实际划分，也就是说，隐层节点空间无 法实现从非线性的输入空间到线性的输出空间的转换，对输入向量进行聚类， 从而极大的降低了网络的性能，因此隐层节点数的选取成为决定r b f 网络性能 的一个最重要的因素。由于输入向量空间的聚类数一定小于输入向量的个数， 因此，最初的时候，人们直接把隐层节点数取为输入向量的个数。即每个输入 向量对应于一个隐层节点，这时只需解线性方程组来确定权值即可以完全确定 第2 章r b f 神经网络 目皇i i ii i i i i 一一i i 皇胃量詈皇鼍量一 该r b f 网。这种方法计算量小，过程简单，很适合于一些小规模的样本聚类问 题，但是对于一些规模较大的问题，所求得的网络结构过于复杂。为此，人们 引入了k 均值聚类的方法，该方法可以根据样本之间的空间距离实现样本的模 式聚类，把距离相近的输入向量归为一类，并把它们的算术平均值作为中心， 再通过第二层权值的线性变换来逼近实际输出值。这样便实现了用较少的中心 来表示一些规模较大的问题，该方法对于一些输入样本数及聚类模式数给定的 模式识别的问题比较适用。显然，k 均值聚类所要求的预先给定全部输入样本及 其聚类中心的数目，这对某些问题是无法实现的，但是，对于一些不太复杂对 象，我们可以预先给定一个隐层节点数，只要它与输入样本的实际聚类数相差 不是很大时，我们便可以通过梯度下降法来不断修正网络的中心值，使网络特 性逼近于实际系统，这便是梯度下降法。该方法比较简单，也是经常被使用的 一种方法。但是，对于一个未知的复杂控制对象则行不通了，我们是无法事先 确定输入样本空间的，为了使r b f n 能使适用于各种问题，必须实现能根据不 同的问题而自动地确定r b f 的隐层节点数和隐层节点值。人们在这方面做了大 量的研究，现今主要的方法有 2 4 伽 ( 1 ) 正交最小二乘法( o l s ) 优点：可以根据输入样本对输出贡献率的大小来确定中心； 缺点：只适用于批量学习，运算量较大。 ( 2 ) 遗传算法 优点：对于各种问题都适用： 缺点：运算量过大，无法应用于实时学习和控制。 ( 3 ) 动态均值聚类方法 优点：可以实时来确定网络的中心； 缺点：所求得中心与输入向量次序有关，占用存储空间过大。 ( 4 ) e r p c l 方法 优点：运算简单，收敛速度较快； 缺点：步长很难取到最佳值。 在以上的各方法中，第四种以其简单的运算过程越来越受到人们的关注。 但是我们总结后不难发现：目前人们将精力主要集中于r b f 网络中心参数和权 东北电力大学硕士学位论文 曼曼曼量| 罾ii ii l l l li i 奠 值参数本身的研究，忽略了网络所用数据样本原有的随机因素，实际上网络所 用数据样本的随机因素对网络的实际效果有不可忽略的影响，即使引入模糊理 论生成的模糊r b f ，也是“不彻底的”。基于此，我们在后续的改进算法中将云 理论一一“模糊与随机的完美结合”一一引入r b f 算法，针对数据样本的随机因 素影响网络的实际效果这一问题展开研究。 2 3 常见的几种学习方法简介 下面，我们进一步说明r b f 网的几种学习方法，并对它们的优缺点进行讨 论【2 8 3 。 2 3 1 梯度下降法 b p 网络的最常用训练就是选定某种性能指标，用梯度下降法来校正网络参 数，使该性能指标取最优值，r b f 网络的训练亦可以采用同样的方法。这样r b f 网的学习实际上就转化为一个最优化问题。由于隐层输出到输出层之间的变换 是线性变换，所以人们更多的采用是已经比较成熟的r l s 算法另外，我们也可 以象b p 网一样对上面的修正算式进行简单的改进，如：加动量项，变步长等。 这样，按照上面的公式对网络参数不断的进行循环校正，最终网络性能将达到 我们所要求的性能指标。该方法是最常用的r b f 网学习算法，运算过程简单， 采用梯度下降来修正网络的中心，l m s 算法来修正权值，但是，正如前面所说， 该方法要求所给定的隐层节点数必须与输入样本空间的聚类数相差不要很多， 如果隐层节点数大于输入样本空间的聚类数，则一方面会降低网络的学习速度， 另一方面因为过多的隐节点带来的计算误差而使r b f 网的收敛精度下降；如果 隐层节点数小于输入样本空间的聚类数，则无论网络学习多少次，最终的精度 都不能达到很高。这一点正是固定隐层节点数的一类算法的通病。 另外，r b f 网的中心宽度的值只是改变曲线的形状，对结果的影响不大， 其作用完全可以由中心和权值的作用来补偿。因此，令它的值为常数l ，这样可 以减小计算量，而且对精度的影响不大。由于这是r b f 网应用得很普遍的一种 方法，因此，在这里不详细举例了。 第2 章r b f 神经网络 i i 。 i i i p l qi i i ib 皇舅量量量皇_ 2 3 2 基千遗传算法的r 8 f 学习方法 我们知道，b p 网络的基本学习算法也是梯度下降法，由于目标函数误差曲 面极其复杂，因而造成了b p 网络收敛速度慢，且容易陷入局部极小，而对于基 于梯度下降的r b f 网学习方法中同样也面临这一问题，或者说基于梯度下降的 g b f 网并没有真正解决b p 网的这两个缺点。由于上述复杂的目标函数寻找极小 值是一个寻优问题，对于这样一个不规则的目标曲面，为了避免局部极小，覆 们自然想到了具有全局寻优能力的遗传算法。把r b f 网的中心值、网络的隐层 中心数和输出层的权值作为遗传算法的寻优参数，把宽度取为l ，为了能够更好 的体现出网络的复杂度和精度之闻关系，根据a i c ( a l a j i k c si n f o r m a t i o nc r i t r r i o n ) 准则定义目标函数。这样，由该算法所求的r b f 网络结构一定是满足给定要求 的网络。但是，我们知道遗传算法虽然能够寻找最优解，但这一过程速度慢计 算量大，显然是无法适用于实时控制等方面的要求。这一点限制了该方法的应 用。 2 3 3 基于反复迭代的r s f 学习方法 该方法实际上是把前面所提到的梯度下降法的一个反复运用。目标函数、 网络参数的修正方法都与梯度下降法的相一致，只是须给定一个门限值。最初 时，把隐层节点数取为一个，然后用梯度下降法经过一定次数迭代，记录最后 一次时的目标函数值。之后，使隐层节点数加一，仍象开始一样经过一定次数 梯度下降迭代，如果经过迭代之后，目标函数下降的值大于门限值，这说明增 加了一个隐节点，对网络的作用比较大，此时的隐层节点数没有使系统的目标 函数达到极小，所以使隐层节点数加一，并象上面一样继续进行迭代。一直迭 代到目标函数的下降值小于门限值，这说明此时增加一个隐层节点对网络的性 能影响并不很大，没有必要再继续使隐节点增加下去了，所以，停止迭代，并 确定了隐层节点数。这样，在此基础上。对网络进行进一步的多次迭代，便可 以最终确定网络的全部参数。该方法也存在着一定的问题，由于网络参数的初 值是随机给定的，因而在有限步内的迭代过程中，目标函数的下降值也具有一 定的随机性，这样所找到的网络参数在一定程度上也是不够精确的。为了提高 东北电力大学硕士学位论文 i li _ j i ii i i_i ii i i i i 审鼍皇皇一 网络参数的精度，就得加大迭代次数，这时计算量也大大增加了。另外，隐层 节点数从一开始进行迭代，当输入样本的模式数较多时，这时的效率显然很低 所以该方法只适用于一些规模较小的简单问题，对于复杂的工业控制问题是根 本无法满足实时性的需要的。 2 3 4 基于k 均值聚类的r b f 学习方法 当己知网络的全部输入向量时以及样本聚类数时，可以用k 均值聚类法来 确定网络的中心。我们知道，r b f 网络对输入响应的大小取决于输入向量与网络 中心之间的距离，输入向量与中心的距离越小，神经元的响应也就越大，所以 r b f 网的中心修正过程实质上是根据样本之间的距离对输入样本进行聚类的过 程，相互之间距离很小的输入向量归于一类，而聚类中心就是网络中心。因此， k 均值聚类法亦可以用于r b f 网络中心的确定与其他方法相比，该方法的特点 是中心和权值的确定可以分为两个相互独立的步骤。首先是无监督的中心确定 阶段，把全部输入向量按照k 均值聚类法进行聚类，得到聚类中心，也就是r b f 网的中心：之后是有监督的权值确定过程，这一过程根据系统的实际输出值和 上一步所得到的网络中心值，用l m s 方法便可以确定网络的权值。由于k 均值 聚类法的聚类过程一般能够根据输入向量比较准确的确定聚类数和相应的聚类 中心，因此如果已知全部输入向量时，用该方法是能够比较精确的确定网络结 构的。但是它要求实现确定全部输入向量和指定聚类中心的数目，这对于实际 系统是很难得到的因此，人们一直在寻求对该方法进行改进，以便能根据系 统的输入来实时的确定网络的中心，这便是我们后面要介绍的动态聚类的方法 2 3 5 基于正交最小二乘法0 l s 的r b f 学习方法 前面曾经提到过，早期时确定r b f 网中心的一种方法便是把每一个输入向 量都作为网络中心，也就是说，网络中心数与输入样本的个数是相等的该方 法显然在问题比较复杂输入向量比较多时所得到的网络规模过于庞大而不实 用。经过分析可以发现，不同的输入样本对网络的中心的影响是不一样的，有 的比较大，有的比较小如果我们能够准确的找到各样本点对网络中心影响的 大小的一个量度，那么，便可以从中取出对网络中心影响较大的作为网络中心， 第2 苹髓f 神经网络 量量皇ii ii ,i ii i i ! 薯| 量_ 便可以简化网络的结构。这便是正交最小二乘法，它使我们能够根据精度要求 以及各个样本点对中心的影响的大小来合理的确定网络的结构，该结构在满足 精度要求的前提下，中心的数量少，还不会导致数值病态情况的发生。用这种 方法来选择r b f 网中心的思想非常清楚：每增加一个网络中心所得到的网络精 度就进一步提高，而且每次选择的下一个中心都是在余下的部分里对误差下降 贡献最大的那一个。之后，我们便可以利用求得网络的权值。用该方法来训练 网络不仅非常直观、清楚的表明了各个隐层中心节点对网络的偏差下降率影响 的大小，而且，迭代的次数也很少，一般最终确定需要几个隐层节点，就只需 要几次迭代。但是，该方法中最终所确定的网络中心只是从输入向量中进行选 取的，这在很多情况下，是难以反映出系统的真正的输入向量聚类的，因此， 它最终所确定的网络结构并不一定是最优的。这在一定程度上限制了该方法的 应用。由于该方法有直观明了的优点，因此，在很多应用中可以把该方法作为 一个辅助的分析手段，即，首先用其他方法大致的确定出网络的中心，然后， 利用该方法分析各中心对网络输出影响的大小，进而，进一步优化网络的结构。 2 3 6 基于动态均值聚类的r b f 学习方法 前面我们提到过，r b f 网中心学习的目的就是把输入数据分配到一定数目 的有意义的类别中去，即根据欧氏空间中的距离来对输入向量进行聚类，而k 均值聚类正是按照欧氏距离来进行聚类的方法。但它要求预先知道聚类中心的 数目，在实际应用中，这是不可能的。因此极其需要一种自适应调整聚类中心 的一种方法，动态均值聚类法便是其中的一种。动态聚类法是一种很有价值的 动态确定网络中心的方法。事实上，对它稍加改动便可以由它来派生出很多种 方法。现在有很多种方法都是采用了该方法的前半部分，也就是说，当输入向 量与现有的全部网络中心的距离都大于距离门限值p 时，也以该输入向量为中 心增加一个聚类模式，但当与中心的最小距离小于距离门限值p ，对网络中心的 修正并不采用均值聚类的方法，而采用梯度下降、卡尔曼滤波等其他方法进行 修正。我们看到，在我们后面所要提到的几种改进方法中，都要用到这一思想， 只是把输入向量属于某个中心聚类时进行修正的那一部分作了相应的替换。上 面的过程仅是用动态聚类的方法实时的找到了网络的中心，接着，便可以采用 东北电力大学硕士学位论文 r l s 或l m s 方法来求网络的输出层的权值。 该方法的计算过程简单，计算量小，并且能实时的动态确定网络的结构， 是一种很不错的方法。但是，由计算过程可以看到，当输入向量属于某一个中 心聚类进而对该中心进行更新时要用到属于该中心的所有的全部向量，也就 是说，该方法要求我们在网络学习过程中，必须记录全部过去的输入向量，对 于一个规模较大的问题，所占用的存储空间将会很大，这是一个值得考虑的问 题，另外，该方法最大的缺点是对输入向量的次序非常敏感，原因很简单，随 着新的输入向量引起某一个中心c k 的更新，空间的位置发生了移动，变成为c ， 这时，很有可能出现这样的情况，某一个过去属于c 的向量x 与c k 的距离小 于门限值p 但是与c k 的距离却大于门限值p ，显然，这时x 己经不再属于c ， 或者是属于其他的中心聚类，或者是应为x 另开辟一个新的中心聚类。这一点， 在该算法中并没有考虑，从而，所求得的中心也就必然会有一定的偏差，另外， 这一过程显然是不确定，随着输入向量的顺序的不同，所造成的影响也不会一 样，对输入矢量的次序是很敏感的。因此，对这一方面又有了很多改进的方案， 提出了基于合成度函数等方法，其本质上都是每次对网络中心进行更新的过程 中，又重新对全部已知输入向量进行了重新分配，来避免上面所述的情况发生 其中一种便是把静态的k 均值聚类法与动态聚类法相结合起来，也就是说，对 于一个输入向，如果属于某一个聚类中心，那么中心调整的过程是对全部已知 的输入向量，按照均值聚类的方法，来重新计算新的聚类中心该方法可以解 决对输入向量次序敏感的不足，但是，由于在每次聚类中心进行调整时，都要 引入了k 均值聚类算法，极大的增加了计算量，在问题的规模稍微大一些时， 计算的速度要慢很多。因此，这是一种不太实用的方法。事实上，当来到一个 输入矢量进行中心更新时，对全部或部分中心都按照一定的规则进行调整，也 可以防止上面的情况发生。 第2 章r b f 神经网络 皇量量量_ 蔓量_ 皇皇_ _ _ | 皇曼皇量皇置量曼曹皇葛皇舅置i , i i ii 一 一 。 一 _ 2 。4 本章小结 本章对砌强网络进行了全面的综述。首先介绍r b f 网络的基本原理和目前 的典型学习算法，然后对r b f 网络所目前存在的问题做了详尽的分析，并列举 了目前常用的学习算法进行比较，找出各自的优点和不足，指出了砌强网络改 进的方向。 东北电力大学硕十学位论文 】鼍 i l li 奠皇 第3 章云理论 3 1云理论的起源和发展历程 自然语言中的最小单元是语言值，表示为语言值的概念是思维的基本细胞， 概念比数据更确切、更具备普遍性，要求发现的知识越抽象，精确性就会越差 于是，不可避免的要建立从数据到概念一定量到定性的转换模型，即定性描述 的语言值和定量表示的数值之间的互换模型。实现数值和符号之间的随时转换， 连续量和离散量之间的随时转换，建立定性和定量彼此相互联系、相互依存、 性中有量、量中有性的映射关系。互换模型应克服定性和定量相结合的形式化 倾向，定性和定量之间的转换不应该是强硬规定的，而应该尽量接近“自然”。而 且两者之间的映射要能够反映定性和定量之间的不确定性，尤其是随机性和模 糊性。随机性是指有明确定义但不一定出现的事件中所包含的不确定性。概率 论和数理统计就是研究和揭示随机现象的统计规律性