（控制理论与控制工程专业论文）基于增长剪枝联合算法的模糊神经网络结构优化研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 模糊神经网络是将人工神经网络与模糊逻辑系统相结合的一种能处理 抽象信息的网络，是智能控制理论研究领域中一个十分活跃的分支。典型的 模糊神经网络，就是被称为模糊多层感知器的模糊神经网络。这种网络主要 是根据模糊系统的结构来决定等价构造的神经网络，也就是说，使神经网络 的每层，每个节点对应模糊系统的一部分。 模糊神经网络规则层节点的数目决定了整个网络的规模和性能，包含 冗余规则的节点太多会导致网络结构的庞大；从输入到输出的响应变慢；增 加网络的计算复杂度；以及使它所表示的模糊规则库难以理解，对实际控制 产生很大影响。当网络规模过于庞大、学习效率不高或容易陷入局部极值时， 改变控制器的结构，可以改善系统的性能，并使模糊神经网络完成网络结构 的学习，得到能满足系统性能要求意义下的最佳的网络结构。因而对模糊神 经网络的结构进行优化是一种必然。 该论文一共分5 章，第1 章引言主要介绍了关于模糊神经网络基本的概 念、发展现状以及本文的主要研究内容。 第2 章探讨了目前比较常见的几种模糊神经网络优化算法，包括穷举 法、增长法、剪枝法和进化算法。 第3 章针对模糊神经网络控制结构的选择一般凭借经验，冗余节点往往 占据较大比例问题，运用了模糊神经网络增长算法，使网络从简单的很小的 规模开始增长，直到达到性能要求目标为止。并且改进了增长法，在进行一 定步数的训练后计算网络误差衰减率并判断是否增加节点，避免了由于连续 增长导致的网络瞬间膨胀，同时也减小了一定的计算量。 第4 章利用模糊神经网络剪枝算法，根据两个节点的相关程度对节点进 行合并，对参与合并操作节点相关的节点的阈值进行调整，然后计算节点合 并后的模糊神经网络的每一个节点的分散度，对分散度过小的节点进行删除 操作，同时调整相关节点的阈值，保证网络性能。 第5 章针对增长法、剪枝法各自优、缺点。将剪枝法和增长法联合运提 出一种可行的增长剪枝联合算法，即：网络从初始小规模开始增长，达到性 能指标后，再通过合并与修剪，以运算的开销换取全局最优。 西南交通大学硕士研究生学位论文第页 通过普通结构、增长法、剪枝法以及本文提出的联合算法四者得到的模 糊神经网络的大量对比实验表明，联合算法规则层节点数仅为普通模糊神经 网络的2 5 ，训练时间缩短6 1 5 ；且在同样的优化程度上联合算法的训 练时间也比单纯增长法、剪枝法分别缩短4 0 6 和7 2 9 关键字g 模糊神经网络；结构优化；模糊控制；剪枝法；增长法 西南交通大学硕士研究生学位论文第m 页 a b s t r a c t f u z z yn e u r a ln e t w o r k ( f n n ) i sak i n do fn e t w o r kc o m b i n i n ga r t i f i c i a l n e u r a ln e t w o r ka n df u z z yl o g i cs y s t e m ，c a nd e a lw i t ha b s t r a c ti n f o r m a t i o n ，a n d i ti sa l la c t i v eb r a n c hi nt h ef i e l do fi n t e l l i g e n tc o n t r o lo ft h e o r e t i c a lr e s e a r c h t h e t y p i c a lf u z z yn e u r a ln e t w o r ks t r u c t u r ei sk n o w na sf u z z ym u l t i l a y e r p e r c e p t r o n sf u z z yn e u r a ln e t w o r ks t r u c t u r e t h i sk i n do fn e t w o r ki sb a s e do n t h es t r u c t u r eo ff u z z ys y s t e mt od e t e r m i n et h es t r u c t u r a le q u i v a l e n to fn e u r a l n e t w o r k ，t h a ti st os a y ， m a k i n ge a c hl a y e ro fn e u r a ln e t w o r k ， e a c hn o d e c o r r e s p o n do n ep a r to ff u z z ys y s t e m t h en u m b e ro f n o d e si nf n n sr u l el a y e rd e t e r m i n e st h ew h o l en e t w o r k s s i z ea n dp e r f o r m a n c e c o n t a i n i n gt o om a n yr e d u n d a n tr u l en o d e sw i l ll e a dt ot h e h u g e n e s so ft h en e t w o r ks t r u c t u r ea n dt h es l o wr e s p o n s ef r o mi n p u tt oo u t p u t ； i n c r e a s et h ec o m p u t i n gc o m p l e x i t yo fn e t w o r k ，a sw e l la sd i f f i c u l t u n d e r s t a n d i n gt ot h ec o m p l i c a t e df u z z yr u l ew h i c ht h en o d e sr e p r e s e n t ，h a v ef l s i g n i f i c a n ti m p a c to nt h ea c t u a lc o n t r 0 1 w h e nl e a r n i n ge f f i c i e n c yi sn o th i g ho r i ti se a s yt og e ti n t ol o c a le x t r e m u m ，c h a n g i n gt h es t r u c t u r eo ft h ec o n t r o l l e rc a n i m p r o v es y s t e mp e r f o r m a n c e ； m a k ef n n a c c o m p l i s ht h el e a r n i n go f n e t w o r k s t r u c t u r e ，i no r d e rt og e tt h eb e s tn e t w o r ks t r u c t u r ei nt h es e n s eo fs a t i s f y i n gt h e s y s t e mp e r f o r m a n c er e q u i r e m e n t s ot h eo p t i m i z a t i o nt of n n ss t r u c t u r ei s n e c e s s a r y t h i st h e s i sf o c u s e so nt h i sp r o b l e mt om a k ef o l l o w i n gi m p r o v e m e n t s a b o u t f n n t h i st h e s i si sd i v i d e di n t oat o t a lo ff i v ec h a p t e r s ， c h a p t e rii n t r o d u c t i o n f n nb a s i cc o n c e p t sa n dd e v e l o p m e n to ft h es t a t u sq u o , a n dt h em a i ns t u d yo f t h i st h e s i s c h a p t e r i i l i s tc u r r e n tm o r ec o m m o ns e v e r a lf u z z yn e u r a ln e t w o r k o p t i m i z a t i o na l g o r i t h m s ，i n c l u d i n ge x h a u s t i v e ，g r o w t h ，p r u n i n g m e t h o da n d e v o l u t i o n a r ya l g o r i t h m c h a p t e r f o rf n nc o n t r o l s t r u c t u r ew i t ht h ec h o i c e o fg e n e r a l e x p e r i e n c e ，r e d u n d a n tn o d e so f t e no c c u p yal a r g ep r o p o r t i o np r o b l e m ，t h eu s e o ff u z z yg r o w t ho fn e u r a ln e t w o r ka l g o r i t h ms ot h a tt h en e t w o r kf r o mas i m p l e s m a l ls c a l eh a sb e g u nt og r o w ， r e a c h i n gp e r f o r m a n c et a r g e t ss of a r a n dt o 西南交通大学硕士研究生学位论文第页 i m p r o v et h eg r o w t hl a w ，m u s ts t e pi ne v e r yt r a i n i n ga f t e rt h ee r r o r r a t eo f d e c a y a n di n c r e a s e dc a l c u l a t i o nn o d e si u d g e m e n t ，t oa v o i db e c a u s eo ft h ec o n t i n u o u s g r o w t hl e dt o 觚i n s t a n te x p a n s i o no ft h en e t w o r k ， b u ta l s or e d u c eac e r t a i n a m o u n to fc o m p u t a t i o n c h a p t e ri vo ff n np r u n i n ga l g o f i t h mb a s e do nt h ec o r r e l a t i o no ft w on o d e s o l lai o i n tn o d e s ，血en o d e sa s s o c i a t e dw i m l em e r g e ro ft h en o d et oa d j u s tt h e t h r e s h o l d ，a n dt h e nc o m p u t en o d ea f t e rt h em e r g e rf n ne a c ho ft h en o d e s s c a t t e r e d ，t h es m a l ln o d e ss c a t t e r e dt h r o u g had e l e t i o n ， a tt h es a m et i m et o a d i u s tn o d et h r e s h o l d ， a n de n s u r en e t w o r kp e r f o r m a n c e c h a p t e rvf o rg r o w t h ，p r u n i n go ft h e i rr e s p e c t i v ea d v a n t a g e sa n d d i s a d v a n t a g e s t h i sc h a p t e rp r e s e n t sav i a b l es o l u t i o n ， w i l lb ep r u n i n gm e t h o d a n dt h eu s eo fg r o w t h ：f r o mt h ei n i t i a ls m a l l s c a l en e t w o r kh a sb e g u nt og r o w ， r e a c h i n gp e r f o r m a n c et a r g e t sa n dt h e nt h r o u g hm e r g e r sa n dp r u n i n g ，t ot h e c o m p u t i n go v e r h e a df o rt h eg l o b a lo p t i m u m b ya no r d i n a r ys t r u c t u r e ，g r o w t h ， a n dt h ep r u n i n go ft h ej o i n ta l g o r i t h m p r o p o s e di nt h i st h e s i sa r et h ef o u rf u z z yn e u r a ln e t w o r kn l el a r g en u m b e ro f c o m p a r a t i v ee x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mo ft h er u l e so fo r d i n a r yf u z z y n o d e so n l y2 5p e r c e n to fn e u r a ln e t w o r k s ，t r a i n i n ga n ds h o r t e nt h ep e r i o do f 61 5 a n di nt h es a m ed e g r e eo fo p t i m i z a t i o na l g o r i t h mi o i n tt r a i n i n gt i m et h a n p u r eg r o w t h ，p r u n i n gm e t h o dt os h o r t e nt h er e s p e c t i v e7 2 9 a n d4 0 6 k e yw o r d s ：f u z z yn e u r a ln e t w o r k ，s t r u c t u r eo p t i m i z a t i o n ，f u z z yc o n t r o l ， p r u n i n gm e t h o d ，g r o w t hm e t h o d 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权西南交通大学日j 以将本论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段 保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保础，使用本授权书。 ( 请在以上方框内打“4 ”) 学位论文作者签名：洳当 日期：o 宁o ￥ol 指导老师签名： 日期： 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承 担。 本学位论文的主要创新点如下： 1 以五层结构两输入单输出模糊神经网络为研究对象，通过对模糊神 经网络增长算法的研究，针对网络规则层节点数容易出现瞬间膨胀的情况， 增加了计步器，改进了普通的增长算法，使网络膨胀现象得以缓解，并减小 了计算量。 2 通过对单纯的增长算法和剪枝算法优缺点的研究，提出的增长剪枝 联合算法，把改进的增长算法和剪枝法相结合，发挥了二者长处。网络的构 造从一个小规模的简单的网络开始，自动扩展成能够符合控制精度要求的网 络。并在此基础上对得到的模糊神经网络进行进一步的优化，利用剪枝法中 的统计算法对模糊神经网络规则层神经元进行删除与合并。最后得到能达到 精度要求的，最简的模糊神经网络。联合算法的优势主要有三方面，首先联 合算法参数和剪枝算法相同，由此可以通过参数的变化对控制效果进行调 节；其次，联合算法中，由于删除合并节点操作针对是改进增长法得到的网 络，较经典网络节点少，由此引发的网络误差平方和瞬间增大问题得到了改 善，瞬间抖动仅仅为单纯剪枝算法的1 0 左右；最后，联合算法在训练时 间和训练步数上均优于单纯的增长算法和剪枝算法。 论文储擗洳迭 时间：d 号。￥t di 西南交通大学硕士研究生学位论文第1 页 1 1 智能控制的发展 第1 章引言 模糊神经网络( f u z z yn e u r a ln e t w o r k s ) 自1 9 9 3 年被提出后，引起许 多研究者的关注，成为智能控制研究领域的一个活跃的分支。研究人员也 由此设计了多种网络的结构和学习算法。标准的模糊神经网络是将将 m a m d a n i 模糊模型和多层前向网络相结合，这种网络结构简单，物理意义 明确，王立新证明了该网络的万能逼近能力，使该网络在系统控制和辨识 上都得到了广泛应用u 1 。 模糊神经网络既能有效利用语言信息又具有强大的自学习和自适应能 力，并且网络参数具有较为明确的物理意义，有助于对实际系统的理解和 分析。2 0 世纪9 0 年代初至今，模糊神经网络研究成为了一个活跃的研究领 域，涌现出大量的研究文献嫡1 。而模糊神经网络这个主要用于复杂系统的控 制方法主要有以下两个方面的应用，复杂系统辨识和复杂系统控制h 1 。 1 f n n 在复杂系统辨识中的应用 与神经网络一样，f n n 是一种本质非线性模型，易于表达非线性系统 动态特性，而且从理论上己经证明了f n n 可以作为万能逼近器，可以以任 意精度逼近连续非线性系统，因此f n n 建模和辨识方法被认为是复杂系统 辨识的一种可行的方法。 2 f n n 在复杂系统控制中的应用 几种典型的f n n 控制方案： ( 1 ) f n n 监督控制对某些复杂系统，采用传统的控制器很难实现对其 良好的控制，而操作人员却能很好地控制系统，在这种情况下，可以考虑 采用f n n 控制器代替人工控制。这种通过对人工或传统控制器进行学习， 然后用f n n 控制取代或逐渐取代原控制的方法，称为f n n 监督控制。 ( 2 ) f n n 复合控制器 将f n n 控制策略与其它控制策略( 如p 1 d 控制，最优控制，滑模变结 构控制) 相结合，构成f n n 复合控制器n2 | 。这种控制器可以充分利用常规控 西南交通大学硕士研究生学位论文第2 页 制策略成熟的设计方法，还可以利用f n n 来智能补偿系统中存在的不可测 扰动等因素的影响，提高控制品质。 但是目前对模糊神经网络的研究，大多数集中在网络模型学习算法优 化的研究上，对其结构上进行的优化研究很少n6 l 。模糊神经网络的结构存 在两方面的问题，首先如果网络过于简单，规则库很小，则不能很好的反 映控制规律的复杂性，因而不能精确地逼近目标映射。另一方面如果结构 过于复杂，则需要未知参数太多，使学习效果将不尽人意。因此，网络结 构的设计或学习的宗旨是，给定网络的训练样本条件下，结构最简单的达 到性能要求的网络就是最好的模糊神经网络。而本文所做提出的模糊神经 网络增长剪枝联合算法也是基于该标准而进行的优化。 1 2 模糊控制与神经网络各自的优缺点 模糊系统是一种基于模糊数学的控制系统，是模拟人对事件反应，利 用模糊指令对其处理的控制方法n 1 1 。特点是不需要具体精确数学模型，因 而对非线性系统来说是一种可靠高效的控制策略。一般来说，模糊逻辑系 统包括由模糊化接口、知识库、模糊推理机、反模糊化接口四部分组成， 如图1 1 所示： 图1 - 1 模糊逻辑系统 模糊控制的核心就是把人类对被控对象的决策策略归纳为一系列从条 件到结果的规则n6 1 。它与传统的控制方法相比主要的优势在于对被控对象 数学模型的包容性，不要求精确的数学模型，对控制系统中不能用数学方 式表达的不确定的对象能很好的驾驭。而且模糊控制的控制规则是人脑决 策方式的抽象，机理是来源与人脑对被控对象的控制逻辑，便于理解和更 西南交通大学硕士研究生学位论文第3 页 改。模糊控制系统具有很强的鲁棒性，对被控对象的参数变化体现出了很 强的适应性，可大量用于各种非线性的系统中。 模糊控制存在的问题在于模糊规则的建立。由于模糊控制来源于人脑， 因而模糊控制的规则数量往往相当庞大，而由此建立的规则库也及其复杂， 想要建立一个完整的控制规则和隶属度函数非常困难。而且模糊规则库建 立以后，修改的难度也相对较大，这和模糊系统的自适应强的特点是相违 背的。 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k a n n ，简称神经网络) 是一种 由计算机模拟人类大脑神经连接结构的系统。神经网络从简单的单个神经 元出发，并行工作于一定的规则下，按照设计者构造的方式进行信息的处 理。功能实现依靠网络的结构、网络节点间连接的权值大小而定。神经网 络是一种非线性系统，其存储能力和并行处理是它的最大特点。，单个神经 元结构及其简单，但由大量简单神经元所构建的神经网络系统功能却由其 构建方式不同而极其丰富n 7 您。 神经元又称作节点，其结构如图1 2 所示： x 2 x 3 x 图2 1 神经元结构模型 神经元它模仿了生物神经元最基本，也是最重要的三个n 刚，分别是： 加权一可对每个输入信号进行程度不等的加权；求和一确定全部输入信号 的组合效果；转移一通过转移函数确定其输出。 神经网络是当前研究的一个热点，它和模糊控制不同的在于它是以模 拟人脑物理连接结构做为出发点的控制方法。神经网络的好处在于可以任 意逼近复杂的非线性对象口3 1 。同层或者处于同一网络的人工神经元之间的 关系是对等并列的，因而可以采用并行处理。和模糊控制相同，神经网络 具有很强的鲁棒性与容错能力且也可以通过学习自动适应未知的系统，对 不确定系统也有很好的效果。对于神经网络，其主要的问题在于理论支持 西南交通大学硕士研究生学位论文第4 页 不充分，每个单独神经元没有实际意义，且控制过程也很难用公式或者语 言来进行描述。 1 3 模糊控制和神经网络的结合 模糊控制可以对没有精确数学模型的被控对象进行有效控制，其控制 精度是和控制规则成正比关系，但复杂的规则库的建立是及其困难的，而 被控对象参数具有的时变性更加造成控制效果不尽人意口朝。 以此相对，神经网络有非常强的任意逼近能力、学习功能与记忆能力， 可以有效的模仿人脑，对信息进行处理和存储。但是其问题在于结构设计 相对复杂，且神经网络在使用之前必须对网络之间的参数进行训练；网络 结构的设计更是没有一定的理论支持，大部分神经网络都是更加设计人员 的经验甚至是随意指定而成，没有具体的设计规范，由此导致对同一个被 控对象不同设计者使用的神经网络有很大区别，性能方面参差不齐。 最典型的模糊神经网络是一种被叫做模糊多层感知机的系统，该系统 网络结构主要是根据模糊系统功能模块来定义其相对的神经网络。就是把 模糊系统的每一部分映射到神经网络之中，以神经元来构造模糊系统。此 系统结合了模糊系统便于理解而神经网络具有自学习特点两方面优势，以 模糊神经网络规则层的节点代替了模糊系统中的规则库，使规则库存储于 神经网络之中5 1 。而规则层神经元节点的数目决定了整个模糊神经网络的 规模和性能，规则层节点的数目过大、包含的对网络贡献小的神经元比例 过高，都会导致模糊神经网络结构冗余、规模庞大，由此影响从输入到输 出的响应时间，增加了模糊规则库的理解难度，在实际的控制中产生不好 的效果防3 钔。 ，西南交通大学硕士研究生学位论文第5 页 1 4 本文的主要研究内容 本文研究的内容主要包括： 1 在未知控制模型的条件下构造一通用的能达到精度要求的模糊神经 网络；在不能到达性能要求或者网络收敛速度过慢的时候改变网络结构： 在模糊神经网络规则层逐个增加节点，适应控制模型的需求，搭建比标准 模糊神经网络较为简化的网络结构。并对普通的模糊神经网络增长法进行 改进，引入计步器，使网络恶性膨胀和计算量过大的问题得以有效的解决。 2 在训练经典模糊神经网络达到精度要求的基础上通过统计学原理对 规则层冗余节点进行合并和删除操作，并再次训练达到精度，得到比经典 网络规模较小的网络结构。 3 综合考虑增长法和剪枝法两者的优缺点，提出并实现联合算法。算法 分为两个步骤，首先利用改进的增长法使网络从一个较小的网络结构开始， 逐个增加规则层节点数目，使之成为能满足精度要求的网络。然后在达到 精度要求的基础上，利用统计学原理计算出冗余节点，利用模糊神经网络 的剪枝法对其进行合并与删除操作，到达进一步简化模糊神经网络的目的。 由此得到的网络在同等优化效果上，训练时间和训练步数均较单纯增长算 法或剪枝算法为短，更大大低于经典网络结构，且训练过程中出现的抖动 也较增长和剪枝两种算法小，优化效果比较明显。 西南交通大学硕士研究生学位论文第6 页 第2 章模糊神经网络结构的优化 2 1 典型模糊神经网络的结构 普通模糊控制系统的规则库和其隶属度函数划分的设计一般依靠设计 者的经验来进行构造，对模糊规则的自动生成难以实现。而神经网络具有 的自学习功能恰好可以弥补模糊系统这方面的不足，根据输入输出样本对 可以自动生成并且调整模糊系统的控制参数，由此可以实现模糊控制系统 的参数自学习和自动调整功能h 引。 在实际控制中模糊系统与神经网络是由公式1 1 和1 2 进行推导计算的 设神经元有n 个输入五，如x 。，则输出为： y = 厂( w j ，x ，一o j ) ( 1 1 ) 其中f 为激活函数。对于一个有n 个输入的模糊逻辑系统， 则为i f ：五= e 7 x n = 彰，t h e n ：y = g 7 由模糊推理可以得到： j l l g ( y 。) = 曼( | u f ( 薯。) 八人( j l l f ( 。) 八g ，( y 。) 其m 条规 ( 1 2 ) 比较两个公式可以发现： 1 由于神经元的阈值函数使神经元输出响应为【o ，1 区域上的连续值， 它与模糊系统的隶属函数是相似的。 2 在模糊推理中，规则前提部分( if 部分) 的极小运算相当于神经元输 入信号与加权系数的积。 3 由推理规则的结论部分( t h e n 部分) 获得最后推理值的极大运算相当 于神经元内的输入信号求和。 由此产生的模糊神经网络从结构上来看是多层感知机神经网络，从功 能上划分属于模糊系统，一般称为模糊多层感知机。该模糊神经网络每层 对应模糊系统的一部分，其结构如图1 3 所示： 西南交通大学硕士研究生学位论文第7 页 m 层 l 层 k 层 j 层 i 层 却h 1 m m 8 n 末m n 图2 1模糊神经网络结构 该网络共分五层。是根据模糊系统的工作过程来设计的，可以说是一 个神经网络实现的模糊推理系统。第二层的隶属度函数的参数和三、四层 之间以及四、五层之间的连接权是可以调整的。 第一层( i 层) ：输入层，它的输出是精确值。此层节点数为输入变量 的个数。它的作用只是直接将输入值传递到第二层。 第二层( j 层) ：隶属度函数层，实现对输入变量的隶属度划分。该层 与i 层相连的所有权值都固定为l ，每个节点的阈值都为0 。此层节点的个 数为输入变量的隶属度划分数目之和。 第三层( k 层) ：求“与”层，此层节点的数目为各输入变量的隶属度 划分数之积。该层与第二层的连接为全互连，每个节点与第二层中所有节 点相连。 第四层( l 层) ：求“或”层，这层的节点数为输出变量模糊度划分( 的 个数。每个节点分别为输出变量的一个模糊度划分。每个节点代表一个可 能的模糊规则的结果部分。 第五层( m 层) ：反模糊化层，这一层的节点个数为输出变量数。该层 与第四层的连接为全互连。该层实现清晰化操作，将即第四层各个节点的 输出，转换为输出变量的精确数值。 西南交通大学硕士研究生学位论文第8 页 2 2 典型模糊神经网络结构优化算法 目前模糊神经网络优化的研究大部分注意力集中在网络算法的改进 上，已经取得了相当不凡的成绩m 1 。模糊控制中的规则库经过学习，其作 用是以权值的形式表现出来的，那么规则的生产和更改就演化成为权值的 确定和修改。但是对于一般模糊神经网络来说，网络结构是人为的固定公 式给出的。算法的优化只是居于这个基础层面之上的对网络权值进行的训 练，是一种有限的优化。但当模糊神经网络结构并不能很好的适应当前控 制要求时，改变网络结构往往比单纯的权值优化更直接，更能达到事半功 倍的目的m 1 。而国内外目前比较常见的优化算法主要包括四类：穷举法、 增长法、剪枝法、进化算法n 刮。而本文所涉及的优化方法，是其中的增长 法和剪枝法。 2 2 1 增长法 增长法是一种自底向上的方法，其基本思想是在开始时构造一个小规 模的网络结构，在训练过程中，根据网络精度或者收敛速度的要求逐个增 加隐含层神经元节点的数量和连接，直至网络收敛，达到预订目标精度。 增长法在r b f 网和树形网( n t n ) 中的结构优化应用较多，它包括t i l i n g 法、 t j p s t a r t 法、级联相关( c a s c a d ec o r r e l a t i o n ) 法、启发式法以及其它算法四个 大类m 1 。 最常见的增长法是级联相关法；它是一种高效有监督的学习算法，是 一种能在训练过程中无须事先猜测网络的结构与大小自动增长构造出接近 最小网络的方法，构造一个适宜的小型网络。且在任何时候，仅有一层神 经元节点的权值被调整，无须反向传递误差，避免收敛速度变慢。增长算 法在每个新增加的隐层结点的时候都尽量减少误差，生成的网络泛化能力 较好晦。标准增长法从网络不包含任何节点开始，然后增加一个节点，并 建立该神经元与上下层神经元的连接，当满足增长条件时再对网络进行增 加节点操作，该方法是从深度上构造神经网络。针对多层神经网络的情况， 级联相关算法包含三个训练阶段：初始训练、输入训练和输出训练。增长 西南交通大学硕士研究生学位论文第9 页 法具有柔性和高效的特点，它的优点包括：简单明了地指定网络结构；先 找出小的结构方案；随着网络隐含神经元的递增，构造算法不易陷入局部 最小值哺引。 增长法其基本原理是在训练过程中逐步增加节点，提高结构的功能复 杂性，但问题在于很难确定网络终止增长的时刻。若网络增长的终止不得 当，就会造成两方面的问题：一方面提前终止引起网络结构过于简单，不 能满足功能复杂性的要求，另一方面终止不及时造成网络的规模过大出现 过度拟合的现象。 2 2 2 剪枝法 剪枝法是一种自顶向下方法，它从设计人员直接给出的足够复杂的， 且能满足功能需要的网络结构开始训练，待其收敛后尽可能裁减冗余的隐 层神经元或连接，随后继续训练达到收敛或直接通过某种算法对相应节点 的权值进行调整，由此可以得到能满足精度要求的网络结构。常用的剪枝 算法可分为四个大类：灵敏度法、惩罚项法、奇异值分解法、统计法。 其中本文使用的统计法是利用统计学概念计算节点的重要性，即计算 神经元节点的样本分散度和神经元节点之间的相似度。分散度代表了一个 节点每次输出的变化大小，反映了这个节点对整个网络的贡献：而样本相 似度表示的是两个节点之间的输出相似的情况，相似度越高，代表两个节 点功能重复性越强。从而得到进行判断的根据，删除分散度小的节点；并 合并作用相似度高度的节点，到达简化整个网络的目的。 西南交通大学硕士研究生学位论文第1 0 页 第3 章采用改进的增长算法优化模糊神经网络 由增长法构建的模糊神经网络控制器主要分成三个部分：模糊化神经 网络、模糊推理神经网络和模糊决策神经网络三部分构成。模糊控制规则 可分为表现规则结构的模糊逻辑和表现模糊性的模糊隶属函数，在模糊推 理中模糊逻辑和隶属函数具有相对独立性，因此优化模糊神经网络可以分 开优化模糊逻辑和隶属函数。如图3 1 为增长算法优化的模糊神经网络控制 器。 层5 层4 层3 层2 层l 图3 - 1 模糊神经网络控制器的结构 3 1 基于增长法优化模糊神经网络结构 模糊推理层 化层 由于在传统模糊神经网络中，表示模糊控制规则库的求“与”层集中 的节点最多，因此对网络结构优化归根结底集中在对规则层节点数的选择 和优化上。模糊神经网络增长法主要分为两个步骤：首先只要求网络在很 少规则层节点以较少的样本快速收敛到一个预定比较大的误差范围内。然 西南交通大学硕士研究生学位论文第11 页 后保持模糊规则数不变并在此基础上采用一定的神经网络算法训练模糊隶 属函数，要求网络在前一步训练的基础上通过对规则层节点数的增加来使 网络精度达到设定误差阈值。 3 1 1 采用增长法优化模糊推理层 采用增长算法优化模糊神经网络结构，对神经网络记忆模糊控制规则 进行训练，其优化算法流程如图3 2 所示。其中， 0 为调整输入输出层节 点的误差平方和阈值；墨为模糊神经网络输入输出层节点数f - f n n 表示神 经网络模糊化部分，e n n 表示神经网络模糊推理部分，d n n 表示神经 网络模糊决策部分。 图3 - 2 模糊神经网络增长算法流程 西南交通大学硕士研究生学位论文第1 2 页 模糊推理神经网络是一前向网络，由于隐层节点影响网络收敛速度以 及网络能否收敛于全局极值点，模糊神经网络采用在网络训练时改变隐层 节点的方法，可以提高神经网络的收敛速度，并有效地避免网络收敛于局 部极值点。 设e 为网络输出的误差平方和，d 是网络衰减率，则有 e = 寺( y 一y ；) 2( 3 1 ) d _ 掣( 3 - 2 ) e ( t m ) 式中、彰为模糊神经网络推理层的实际输出与期望输出f 为训练次 数，为训练样本序号。e ( t m ) ，e ( t m + n ) 为第m 次和第m + n 次训练后的网络 误差平方和。 神经网络的增长学习算法为： 1 设g ， 0 为给定的误差平方和收敛阀值， d 1 ，d 2 为网络衰减率的适 度范围，网络隐层节点数初值为p 。 2 设第n 步与第( n + m ) 步训练后的误差平方和与衰减率分别为e ( n ) ， d ( n ) 与e ( n + m ) ，d ( n + m ) 。在第( n + m ) 步网络隐层结构应为： 1 ) 假如d ( n + m ) d 2 ，表明网络收敛速度快，网络结构保持不变； 2 ) 假如d ( n + m ) 0 1 ，表明网络收敛速度慢，改变网络结构，隐层 节点数变为p + i ； 3 ) 假如d ( n + m ) 在区间 d 1 ，d 2 中，网络收敛速度在适度范围，可分为 以下两种情况： 如果d ( n + m ) d ( n ) ，则网络结构保持不变。 3 从后面的仿真结果可知，改变网络结构一般会瞬间增大误差，因此 新增节点的连接权值应取适当范围的随机值。 3 1 2 模糊化神经网络与模糊决策神经网络学习算法 模糊神经网络的结构学习算法学习过程中，随着网络节点的增加，模 西南交通大学硕士研究生学位论文第1 3 页 糊语言集数量增加，模糊控制规则条数增加，也就相应地提高了控制的精 度。但最佳的模糊语言集数量和控制规则的选择应根据控制要求决定，在 满足控制性能要求的前提下应尽量使网络的结构简单，由增长法构造的模 糊神经网络的优点在于它能自动找到网络的较佳结构。 初始化输入和输出变量的隶属函数，使之覆盖变量的整个取值区间。 采用b p 算法训练模糊化神经网络和模糊决策神经网络学习模糊隶属函数。 模糊化神经网络和模糊决策神经网络的学习算法的目标是使输出误差函数 e 最小： e = i x x ( y ，一y 多) 2 ( 3 - 3 ) 。l = lj = l 下面推导模糊化神经网络( f - f n n ) 和模糊决策神经网络( df n n ) 的学习 算法。 1 模糊化网络的加权输入y j i 和输出y j o 为 础舻- ( r 1 i i ( i ) i - 矿a ( 一j ) ) 2 ( 3 - 4 ) y j o = e x p ( y j l ( j ) ) ( 3 - 5 ) 其中彳( ) 、b u ) 为模糊语言集的隶属函数参数，y i i ( i ) 为模糊化网络第 i 个输入变量。 2 模糊推理网络的输出层加权输入y l i ( 1 ) 和输出y l o ( 1 ) 分别为： y l i l2 iw l k l k y k o k ；y l o , 2 百丽1 ( 3 - 6 ) 规则层加权输入y k i ( k ) 和输出y k o ( k ) 为 y k i k2 j w k j v y j o j ；y k q2 百面1 面历( 3 - 7 ) 其中聊和聊民分别为模糊推理网络第l 和k 层和第k 和j 层之间的 连接权值 3 模糊决策网络采用的是面积中心法，模糊决策网络的加权输入y m i 和输出u 为 y m i = 罗a m ，b m ，y l q( 3 - 8 ) 一 西南交通大学硕士研究生学位论文第1 4 页 y m l 。百y 鬲m 面i ( 3 - 9 ) 其中a n 、b r a t 为模糊语言集的隶属函数参数，y l i ( 1 ) 为模糊化决策网 络第1 个输入变量。 分别计算a m ，、b m ，的梯度，得 要：黑型咆b 朋( 帆d ( ，) ( 3 - 8 ) - - - _ o 中一一j ， i ljj i ，i f 捌m ，a y m io a m ， “ 一 一o f ：黑型：6 a ( a ，一u ) y l o ( 1 ) ( 3 - 9 ) m l= = - o b m ，a y m lo b m , 式中，屯2 丽o f = 一( u 一”丽1 b my l o , 。 a m 打 、 。， 因此，根据梯度算法，参数a m l 、b r a t 的迭代公式为： 蚴+ 1 ) 柏舸h 盖 岫+ 1 ) 蝴肋h 盖 ( 3 1 0 ) ( 3 1 1 ) 其中，叩为学习率，n 和n + 1 分别表示第n 和n + l 步的参数。 计算模糊推理网络的输出层的连接权值w l k 和隐层的连接权值w k j 的 梯度： 丽b e i 2 6 j y k o k ；两o e = 瓯y j o j ( 3 - 1 2 ) 4 ：旦：旦一a r l o , ：如z r m , ( 1 一咒q ) ( 3 - 1 3 ) 1d ，= 一= = d o j l j 。 a r l i ,a r l o , a r l i , “7 瓯=oe=莩旦里婴=军莓吼嘲(卜rkq)(3-14)00ykika y h , 8 y k qa r k z , n ，= = 一二_ 二= ， ，f 咒， i i i 一 午甲 “ 一 式中a = ( a m l u ) b m , 西南交通大学硕士研究生学位论文第1 5 页 计算彳j 、b j 的梯度，有： a e8 e o y j i j，2 ( r 1 0 , 一a j 、) o a ；o y j i i 翻i 。 b ，2 a ea ea 1 0 i | ，2 ( r i o , 一a f 丫。 8 b ；0 y j i lo bi j b ? 式中6 ：旦：o e o y k i k 婴：6 。吼码o y j lo y k i j ?tko y j o jo y j i ih 。 因此参数么、b j 的迭代公式为： 4 ( 拧+ 1 ) = 4 ( 刀) 一7 7 瓦o e ( 3 - 1 5 ) 以肼1 ) = b j ( 旷7 7 署 ( 3 。1 6 ) 其中，研为学习率，t 1 和n + 1 分别表示第n 和n + l 步的参数。 从上面算法可见，这种模糊具有灵活组合的特点，因此具有较广泛的 适用性。神经网络的增长算法由于能够对当前的网络状况进行判断，自动 做出增加节点的操作，只要调整其语言模糊集的隶属函数就可以自动计算 生成较好的模糊神经网络以适用于不同的控制对象，因此增长法训练的模 糊神经网络控制器具有很好的适应性。 3 1 3 改进的模糊神经网络增长算法 理想化的模糊神经网络增长算法，是在网络最需要也就是误差衰减率 低于阈值的时刻对网络规则层节点进行增节点操作，要求每次样本对训练 完成后都进行误差衰减率判断，当误差衰减率一旦低于阈值立即执行增加 操作。其具体操作如图3 3 所示： 西南交通大学硕士研究生学位论文第1 6 页 图3 3 普通增长法构造模糊神经网络 这种理想化的增长算法可能将带来两方面问题：一方面如果规则层新 增节点权值足够小( o 0 1 倍的随机小数) ，那么在持续若干次训练之后，对 整个网络贡献仍然不够大，误差衰减率并没有有效的提高，始终低于规定 阈值，且由于每次训练都会进行增加节点判断，判断结果导致规则层持续 的进行增加节点操作，将会带来网络的膨胀；另一方面，如果新增节点的 权值比较大( 随机小数) ，则有可能使网络误差平方和有增大瞬间变大，在 未