（计算机应用技术专业论文）基于容错性的模糊联想记忆学习算法的设计.pdf

摘要 模糊神经网络及其学习算法是当前人工智能中的研究热点。本文围绕模糊联想记忆 网络( f a m ) 的学习算法展开研究，对v tf a m 模型的鲁棒性和容错性进行了较深入 的探讨，其中v 指的是模糊取大算子，t 指的是一模。本文主要工作包括： ( 1 ) 基于模糊取大算子( v ) 和l 模的模糊合成，构建了一类模糊联想记忆网络( v tr a m ) 。利用弘模的模糊蕴涵算子，为这类v tf a m 模型提出了学习算法。针对训练 模式对小幅摄动可能对模糊神经网络的性能产生副作用，提出了一种新的v tf a m 对 训练模式对摄动的鲁棒性概念。理论研究表明当模满足三彩，幽汜条件时，采用该学习 算法的v tf a m 对训练模式对摄动幅度在系数为俨1 j 的条件下全局拥有好的鲁棒 性。最后用v tf a m 在图像处理方面的实验验证了理论结果。 ( 2 ) 将上述关于v tf a m 网络模型的学习算法进步深入，设计了一个基于容错 性的v tf a m 学习算法。首先分析了该网络模型的稳定性，证明了该模型的平衡点是 l y a p u n o v 稳定的。接着给出了模糊模式是模型吸引子的充要条件，而且得出了吸引子的 一个非退化的吸引域。最后在此基础上设计了一个有效的关于连接权值矩阵的解析学习 算法，证明了在一定条件下，所讨论的模糊模式均为网络的吸引子，而且各自具有非退 化的吸引域，从而此时模型具有好的容错性。 关键词：模糊联想记忆网络；厂- 模；鲁棒性；容错性；吸引子；吸引域；学习算法 a bs t r a c t f u z z yn e u r mn e t w o r k 、i t hi t sl e a r n i n ga l g o r i t h mi sar e s e a r c hc o n c e n t r a t i o ni na r t i f i c i a l i n t e l l i g e n c ed o m a i na tp r e s e n t a r o u n dt h el e a r n i n ga l g o r i t h mo ff u z z ya s s o c i a t i v em e m o r y ( f a m ) n e t w o r k ，t h er o b u s t n e s sa n df a u l t t o l e r a n c ep e r f o r m a n c eo fv - tf a mi ss t u d i e di nt h e p a p e r w i t hw h i c hvi sf u z z ym a xo p e r a t i o na n dt i st - n o r m s t h em a i nw o r k sc a nb el i s t e d a sf o l l o w s ： ( 1 ) t h i sp a p e rs e t su pac l a s so ff u z z ya s s o c i a t i v em e m o r i e sb a s e do nt h ef u z z yc o m p o s - i t i o no f f u z z ym a xo p e r a t i o n ( v ) a n dt - n o r m s ，s oc a l l e dv tf a m w i t ht h ef u z z yi m p l i c - a t i o no p e r a t o ro ft - n o r m s ，ag e n e r a ll e a r n i n ga l g o r i t h mi sp r o p o s e df o rac l a s so fs u c hv t f a m s s i n c es m a l lp e r t u r b a t i o n so ft r a i n i n gp a t t e r np a i r sm a yc a u s e ds o m ed i s a d v a n t a g et o p e r f o r m a n c eo faf u z z yn e u r a ln e t w o r k , s oan e wc o n c e p ti se s t a b l i s h e df o rt h er o b u s t n e s so fv - tf a m st op e r t u r b a t i o n so ft r a i n i n gp a t t e r np a i r s t h et h e o r e t i c a ls t u d i e ss h o wt h a tw h e nt - n o r m ss a t i s f yl i p s c h i t zc o n d i t i o n ，v tf a m sh a v eg o o dr o b u s t n e s su n d e rt h ec o n d i t i o no f t h e p e r t u r b a t i o nf a c t o ro f f l ( f l _ _ 1 ) o ft r a i n i n gp a u e mp a i r sb yt h i sl e a m i n ga l g o r i t h m f i n a l l y ，t h e e x p e r i m e n tw i t hw h i c ht h ev - tf a m a s s o c i a t e sa ni m a g ew i t ha n o t h e ri m a g ei sg i v e nt o t e s t i f yt h et h e o r e t i c a lr e s u l t s ( 2 ) p e n e t r a t i n gi n t ot h ea l g o r i t h mo fa b o v e m e n t i o n e dv - tf a m ，al e a r n i n ga l g o r i t h mo f - tf a mb a s e do nt h ef a u l t t o l e r a n c ei sd e s i g n e d f i r s t l y 、w ed i s c u s st h es t a b i l i t yo f t h e m o d e la n dp r o v et h el y a p u n o vs t a b i l i t yo ft h ee q u i l i b r i u mp o i n t s i na d d i t i o n ，w es h o ws o m e s u f f i c i e n tc o n d i t i o n su n d e rw h i c ht h ef u z z yp a r e mi st h ea t t r a c t o ro ft h em o d e la n do b t a i na n o n t r i v i a l l ya t t r a c t i v eb a s i no ft h ea t t r a c t o r l a s t l y ，w ed e s i g na ne f f i c i e n tl e a r n i n ga l g o r i t h m a b o u tt h ec o n n e c t e dw e i g h t so ft h en e t w o r kb a s e do ni t w i t hs o m ec o n d i t i o n s ，w ep r o v ea l lt h e g i v e nf u z z yp a t t e r n sa r et h ea t t r a c t o r so ft h en e t w o r ka n dt h ea t t r a c t i v eb a s i no ft h ea t t r a c t o ri s n o n t r i v i a l l yr e s p e c t i v e l y t h e r e f o r e ，o u tm o d e l sh a v eg o o df a u l t t o l e r a n c ep e r f o r m a n c e k e yw o r d s ：f u z z ya s s o c i a t i v em e m o r i e s ；t - n o r m s ；r o b u s t n e s s ；f a u l t - t o l e r a n c e ；a t t r a c t o r ； a t t r a c t i v eb a s i n ；l e a r n i n ga l g o r i t h m 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：压叶 日期：冲年6 月岁日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时 授权中国科学技术信息研究所将本论文收录到中国学位论文全文数据库，并 通过网络向社会公众提供信息服务。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 作者签名： ( 请在以上相应方框内打“ ) 压砷 新虢乏研z c ，3 日期：圳年6 月 ；日 日期：垆1 6 年 b 月弓日 第一章绪论 1 1本研究课题的学术背景及意义 在各种各样的智能控制方法中，模糊控制、神经网络控制与专家控制一直被视为三 种经典的智能控制方法。当前，基于规则的传统的专家系统逐渐被基于模糊逻辑的模 糊控制系统和神经网络控制系统所代替”。因此，模糊控制、神经网络控制以及这两者 之间交叉结合而产生的模糊神经网络，一直是近年来智能控制研究中的重点与热点。 美国南加州大学的b a r tk o s k o 在1 9 8 7 年首次提出m a x m i n 合成模糊联想记忆网络”，其 作为模糊神经网络一个重要研究领域，许多学者针对此进行了系统而深入的研究，取得 了一系列丰硕的成果，。 模糊联想记忆对训练模式对摄动的鲁棒性可以看作是模糊联想记忆网络本身的一 个非常重要的属性。若模糊联想记忆网络的这种鲁棒性属性不好，则对由专家决策或由 采集设备等途径获得的训练模式对准确度要求高，因为当训练模式对发生小幅摄动时， 都可能对某些输入产生面目全非的结果；若模糊联想记忆网络的这种鲁棒性属性好，则 可允许训练模式对有适度的小幅摄动，从而降低了专家的决策压力以及采集设备精度的 要求伸，。 自2 0 世纪8 0 年代起，随着神经网络研究的重新兴起，神经网络的容错问题和故障检 测问题就接踵而来。但是，因为神经网络的可读性较差，其研究的难度要比逻辑网络的 研究困难得多。到目前为止，对神经网络的容错性的研究尚未有很深刻的研究成果“”。 张承福在文献 1 1 中指出离开了基本要求去设计各种网络模型，讨论各种模型的优劣， 是没有意义的，容错性是对模糊联想记忆网络的一个不可或缺的基本要求，也是评判网 络模型优劣的主要标准。 模糊联想记忆网络的性能是由其网络模型和实际的连接权值矩阵所决定的，其中连 接权值矩阵又是由学习算法决定的，所以构建好的网络模型和有针对性的设计学习算法 必将有助于推动模糊联想记忆网络及其在诸如模式识别、智能控制、信号处理、计算机 视觉、优化计算、知识处理、生物医学工程等领域的应用发展。 1 2 本研究课题的来源 国内外已有不少学者探讨了规则摄动对模糊推理系统的影响问题n “。例如，应教 授以模糊关系合成c r i 算法为例对模糊逻辑系统中模糊推理的摄动问题做了开创式的 研究，；徐教授列举了模糊规则发生摄动的几种常见情况，建立了一般性的模糊推理算 法对规则摄动的鲁棒性概念【，”。将训练模式对摄动的概念推广到模糊神经网络中，研究 了训练模式对的摄动对模糊双向联想记忆网络的影响及如何控制问题【- “。然而这些研究 仅局限于某个特定网络，训练模式对的摄动对某种类别的网络影响及如何控制问题却未 见一般性的分析。而且可否从另一个角度来探讨这种训练模式对的摄动对模糊神经网络 输出结果的影响呢? 本文将以此为出发点来进行研究。 在实际应用中，输入的模糊信息常常含有噪声，因此，当输入的模糊信息含有畸变 或受到干扰而变得不完整时，要求训练好的网络同样能够回想出正确的模糊模式，即要 求系统具有良好的容错性。但f a m 网络的容错性分析比较复杂，相关的研究文献还不 多，目前还没有比较满意的结果n “”。另外如何度量该系统处理畸变输入的能力，即描 述该系统容错性的指标是什么? 可否对容错性进行解析计算呢? 本文将以此为出发点 来进行研究。 1 3 本文主要研究内容 第一章，绪论。首先讲述了本研究课题的学术背景及理论与实际意义，接着谈论了 本研究课题的来源，最后说明了本文主要研究内容及各章内容安排。 第二章，模糊联想记忆概述。首先介绍了模糊神经网络和模糊联想记忆网络的基本 概念和模型结构。紧接着基于模糊取大算子( v ) 和正模的模糊合成，构建了一类模糊联 想记忆网络( v tf a m ) ，并着重介绍了本文研究对象v tf a m 网络模型。最后简单介 绍了神经网络的学习算法和模糊神经网络的学习算法。 第三章，模糊联想记忆对训练模式对摄动的鲁棒性研究。首先利用弘模的模糊蕴涵 算子，为这类v tf a m 模型提出了一种学习算法，并提出了一种新的v tf a m 对训练 模式对摄动的鲁棒性概念。接着证明了当乃模满足l i p s c h i t z 条件时，采用上述学习算法 的v tf a m 对训练模式对摄动幅度在系数为伦l j 的条件下全局拥有好的鲁棒性。最后 用v tf a m 在图像处理方面的实验验证了理论结果。 第四章，基于容错性的模糊联想记忆学习算法的设计。首先分析了v - tf a m 网络 模型的稳定性，证明了该模型的平衡点是l y a p u n o v 稳定的。接着给出了模糊模式是模型 吸引子的充要条件，并得出了吸引子的一个非退化的吸引域。最后在此基础上设计了一 个基于容错性的有效的关于连接权值矩阵的解析学习算法，证明了在一定条件下，所讨 论的模糊模式均为网络的吸引子，而且各自具有非退化的吸引域，从而此时系统具有好 的容错性。 2 第二章模糊联想记忆概述 2 1模糊神经网络简介 模糊神经网络( f u z z yn e u r a ln e t w o r k ，f n n ) 是模糊理论同神经网络互补式结合的 产物，它汇集了模糊理论与神经网络的优点，集学习、联想、识别、自适应及模糊信息 处理于一体，即模糊神经网络既指将模糊化概念和模糊推理引入神经元的神经网络，又 指基于神经网络的模糊系统担“。前者将模糊成分引入神经网络，提高了原有网络的可解 释性和灵活性。而后者则利用神经网络结构来实现模糊系统，并利用神经网络的学习算 法对模糊系统的参数进行调整把”。 从结构上看，引入模糊运算的神经网络是由普通神经元或模糊神经元构成的。模糊 神经元与普通神经元的结构类似，只不过用模糊数学描述其中的部分参数，因此拥有处 理模糊信息的能力。常用的模糊神经元有两类：一类是处理实数输入的模糊神经元，即 “与”模糊神经元( f 模操作) ；另一类是处理模糊输入的模糊神经元，即“或”模糊神 经元( 模操作) 。 基于神经网络的模糊系统，也常被称为神经模糊系统。这类模糊神经网络按照模糊 逻辑的运算步骤分层构造，但不改变模糊系统的基本过程，比如模糊化、模糊推理和反 模糊化。通常，采用神经模糊系统的实现方法实现模糊规则提取，再利用神经网络的学 习算法对神经模糊系统的参数进行调整。由于神经模糊系统由模糊规则组成，因为模糊 规则既能通过先验知识初始化而获得，又能利用训练样本直接建立而获得，因此神经模 糊系统的学习过程既可以是数据驱动的，同时也可以是知识驱动的，从而体现了模糊神 经网络的特点。通常采用专家经验获取模糊规则，但这种方法实现起来却十分困难。而 引入神经网络后，不仅解决了先验知识不足时模糊规则的自确定问题，而且还可以实现 模糊系统的自适应功能。 2 2 模糊联想记忆网络结构 模糊联想记忆( f u z z ya s s o c i a t i v em e m o r y ，f a m ) 可以解释为对模糊记忆模式的联 想记忆存储，其网络结构如图2 1 所示。与一般联想记忆相同之处在于f a m 也可分为模 糊自联想记忆和模糊异联想记忆两大类。与一般联想汜忆不同之处在于f a m 的记忆模 式为模糊模式，且相关记忆模式之间的关联关系为某种模糊关系，。 模糊记忆模式，是指模式的各个分量是模糊的，即爿t = 加，口力，锄，其中a ，可取值 为单值型，区间值型，或模糊值型数值。而一个记忆模式的各个分量可理解为当一个模 糊事物在其特征上的隶属度时，以模糊形式表达的一个记忆向量实际上反映的就是我们 对一个模糊事物的记忆。这一记忆我们可用一个由单层反馈式网络模块组成的模糊自联 想存储器来联想存储。这种模糊自联想存储器的结构与一般自联想存储器相同，所不同 的是，其节点元为可实现模糊运算的模糊节点，而其记忆矩阵在对应网络模块转化为网 络模块的连接权值矩阵则是一个由模糊关系所确定的矩阵，即 形= m a x ( 以。) = ( ) ( 2 1 ) 其中， k = m 。)eax(qkj 这里记号“。”表示某种模糊合成算子，如取大或取小等合成运算。 若以上述方式为基础来构成自联想网络模块，则由此而构成的自联想存储器可称为 模糊自联想存储器。它所实现的是模糊自联想记忆。回想时，若以一个带有不确定性信 息的激发模式去激发一个实质上是一个模糊自联想存储器的模糊神经元，则模糊神经元 反复“回想”的结果将是一个与此激发模式在模糊意义下最贴近的模糊模式。 模糊异联想存储器也被称为模糊映射网络模块。它是一类可实现模糊异联想存储以 及模糊映射变换的网络模块。我们称由此网络模块构成的神经元为具有f a m 功能或模 糊映射功能的神经元。最基本的网络模块是f a m 的网络模块，它是一类双层双向对称 连接网络模块。当存储模式对为岛b k ) ，网络学习所得连接权值为w = 以。反时，其 联想方式为： oaj 磷或b ow 7 j 以 ( 2 2 ) 模糊双向联想记忆网络( f u z z yb i d i r e c t i o n a la s s o c i a t i v em e m o r y ，f b a m ) 是由两 组模糊节点元相互连接而成的反馈式动态网络模块，其网络结构如图2 2 所示。其中么 组有力个模糊节点元，b 组有m 个模糊节点元，同组节点间无连接，异组节点元间相互连 接。么组节点元到b 组节点元之间的连接权值矩阵为形，而b 组节点元到彳组节点元之间 的连接权值矩阵为r 。则对于任意的模糊模式对0 岛岛) ，其双向联想记忆方式为： 形。以= 反，r 。反= 以 ( 2 3 ) b 1 b b lb b m 图2 1 模糊联想记忆( f a m ) 网络结构图2 2 模糊双向联想记忆( f b a m ) 网络结构 4 2 3v - tf a m 网络模型 f a m 网络是模糊神经网络研究领域中最重要的成果之一。近二十几年来，许多学 者在f a m 的性质及其学习算法的研究中取得了一系列卓有成效的成绩2 一脚，。然而对于 f a m 系统所取得的研究成果大多是围绕m o x m i n 模糊神经网络模型嫡“，即内部运算为 基于最大一最小( v 一八) 复合运算的模糊神经网络模型。其优点是能抓住主体或特征信 息，运算简单且性质好，易于硬件实现，但缺点是有时处理信息过于粗糙，且不能根据 信息提取时不同精细程度要求来进行调整，从而给整体处理常带来副作用。广义的v 和 八运算，即是流数和碗数。模糊神经网络内部运算基于不同的模糊算子，所得到的 f a m 系统的用途和效果也会不同。在实际应用中，三角模选取的好坏会直接影响到问 题的求解结果，所以必须根据不同的情况选择合适的三角模。例如在文献 2 6 中基于模 糊取大算予和三角模哟模糊合成，构建了一类模糊双向自联想记忆网络m a x tf b a m ， 利用三角模嘞伴随蕴涵算子，为这类m a x tf b a m 提出了学习算法，并理论上证明了 该学习算法所确定的连接权值矩阵是该网络的最大连接权值矩阵，对任意输入能使 m a x tf b a m 一步迭代就进入稳定态，从而使该类网络具有全局稳定性和可靠的存储能 力，并选用三角模中的l u k a s i e w i c z 算子进行实验来验证。该文只是单独针对模糊双向自 联想记忆网络展开研究，但是利用模糊取大算子( v ) 和丁_ 模的模糊合成构造模糊联想记 忆网络，对该类网络的学习算法和性质研究还较少。因此对m a x tf b a m 网络模型的研 究进行推广就变得十分有意义。下面首先给出丁- 模及其模糊蕴涵算子的定义： 定她p 若映射t ：f o 1 】e o 。l 卜+ ( o 1 】满是： ( 1 ) 边界性：矾砂= d ，川，d = i ： ( 2 ) 单调增：va , b , c , dc o , u ，若口9 ，6 甄则耽砂5 玳矽： ( 3 ) 交换律：va , b j 以1 1 ，剀= 舱圳： ( 4 ) 结合律：v a , b , c 以u 撇孢圳= 黝缈，矽。此时称劢三角模。 定义2 2 若三角模瞒足v a 以1 1 ，矽= 口，则称r 为l 模。以下是常用的l 模： f 口， b = l 巧( 口，b ) = b ， 口= 1 ( 2 4 ) io ，其他 t o ( a ，6 ) = a 人b ( 2 5 ) 互( 口，6 ) = 口b( 2 6 ) t 2 ( a , b ) = 鼎 ( 2 7 ) 丁。( 6 ) = 五j 弋r 二j a 页e ；b j 而，五。 丁7 ( 口，b ) = 1 一m i n ( 1 ，( ( 1 一口) 7 + ( 1 - b ) 7 ) 1 砂) ，y 1 瓦( 口，b ) = m a x ( o ，a + 6 1 ) ( 2 8 ) ( 2 9 ) ( 2 1 0 ) 定义2 3 设堤一个丁_ 模，则丁的模糊蕴涵算子定义为va , b 以印 r ( 口，6 ) ：i v 川 x i r ( 口，x ) s 6 l x 【o ，l 】l 丁( 口，x ) 6 i o ( 2 1 1 ) 1 0 x o ，1 】l t ( a ，x ) s b = a 本章利用模糊取大算子( v ) 和丁_ 卡莫的模糊合成构建了一类模糊联想记忆网络( v t f a m ) ，其数学模型可描述为： m7 形 ( 2 1 2 ) 用v t 运算，式( 2 1 2 ) 可写成： 乃= 0 聊 w g = i ，2 ，叫 ( 2 1 3 ) 其中胙件，x 2 , ，列以1 1 ，y = ( y z ，y 2 , ，y d j 似口玎。肛m 凼。册为神经网络的连接 权值矩阵，w f ，印，u 为第i 个输入神经元到莉个输出神经元之间的连接权值。 2 4 学习算法 本节将分别介绍神经网络学习算法和模糊神经网络学习算法的研究概况。 2 4 1神经网络的学习算法 从学习原理角度来看，神经网络常见的学习算法有： ( 1 ) b p ( b a c k - p r o p a g a t i o n ) 误差纠正学习算法。其基本思想是由网络输出与相应的期 望输出之差来计算误差信号，从而求出网络的平均误差和，然后根据最陡梯度下降算法 求出网络的参数变化。这是应用最为广泛的学习算法之一。 设m 例表示输a x ( n ) 时神经元脏第n 个时刻的实际输出，矾例表示对应的预计输出 ( 可由训练样本给出) ，则误差信号可表示为： e k ( n ) = d k ( n ) - y k ( n ) ( 2 14 ) 误差学习的最终目的是使某个基于e k ( n ) 的目标函数达到最小，以使网络中每一输出 单元的实际输出在某种统计意义上最逼近于预计输出。一旦选定了目标函数形式，误差 纠正学习算法就成为一个典型的最优化问题。最常用的目标函数是均方误差判断，定义 为： 6 j = e 【 莓p k 2 ( 刀) 】 ( 2 1 5 ) 其中是求期望算子，乍表示对所有输出层神经元求和。上式的前提是被学习的过 程是宽平稳的，具体方法可用最陡梯度下降法。直接用腓为目标函数时，需要指导整 个过程的统计特性，为解决这一困难通常用雇时刻门的瞬时值荆代替其期望值，即： 孝( 刀) = 去( 刀) ( 2 1 6 ) 问题变为求涮对权值w 的极小值，根据最陡梯度下降法可得： z x w k j ( n ) = r l e k ( n ) x j ( n ) ( 2 17 ) 其中叮为学习步长，这就是通常所说的误差纠正学习规则。当单元的激活函数为线 性函数且眇= w 7 x 时，此规则与自适应滤波器中的w i d r o w h o f f 学规则一致。在自适应滤 波理论中对这种学习的收敛性及其统计特性有较深入的分析。 ( 2 ) h e b b 学习算法。它是根据神经心理学家h e b b 提出的学习规则来计算网络参数变 化。该规则为：当某一突触( 连接) 两端的神经元同步激活( 同为激活或同为抑制) 时， 该连接的强度应增加，反之则应减弱。用数学式子可描述为： k ( 玎) = f ( 儿( 刀) ，x ，( 疗) ) ( 2 1 8 ) 式中儿( 刀) ，x ，( 刀) 分别为两端神经元的状态，其中最常见的一种情况是： m 0 ( 刀) = ，7 ( 几( 疗) ，x j ( n ) ) ( 2 1 9 ) 由于a w 与儿( 刀) ，x j ( n ) 的相关成比例，有时称之为相关学 - j 规则。 ( 3 ) 竞争学习算法。在竞争学习时网络各输出单元相互竞争，如有某一单元较强， 则它将获胜并抑制其它单元，最后也就只有较强者处于激活状态。最常见的一种情况是 输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元较强，则它将获 胜并抑制其它单元，最后只有比较强者处于激活状态。最常用的竞争学习规则可表示为： 啪，= 肛黧鬈鬻 汜2 。， 2 4 2 模糊神经网络的学习算法 模糊神经网络系统工作时可以根据从真实系统的输入输出数据对构成的样本集来 设计系统，这个过程被称之为学习过程。与其他求输入输出关系式方法不同，模糊神经 网络的输入输出关系式是根据网络结构写出的，并且网络权值的设计往往是通过训练而 不是根据某种性能指标计算出来的。所以，应用模糊神经网络解决实际问题的关键在于 7 设计网络，而网络的设计主要包括两个方面：一方面是网络结构设计，另一方面是网络 权值的确定。前者涉及到对不同网络结构所具有的功能及其本质的认识，而后者涉及到 对不同网络权值训练所用的学习规则的掌握。正因为如此，人们对模糊神经网络进行分 类时也是有两种方法，一种是按照网络结构进行分类，另一种是按照训练权值方法进行 分类。下面介绍三种基本模糊神经网络的学习算法：分别是基于梯度下降的学习算法、 基于递推最小二乘的学习算法以及基于聚类法的学习算法。 ( 1 ) 基于梯度下降的学习算法。 基于梯度下降的学习算法首先描述系统的结构，然后根据样本集确定系统中的所有 自由参数。基于m a m d a n i 模型的模糊神经系统具有如下形式： y = f ( x ) = 善- ，恤唧 一c 手，2 ( 2 2 1 ) 式中，皖已经确定的规则数，x = 厶，x 2 , ，硝是输入，y 是输出，- j ，。和一是自 由变化的参数。上述系统可以看作是一个前馈网络系统，这样任务就转变为利用梯度下 降法训练前馈网络的参数问题，设定目标函数为： p ，= 去 ( ) 一“ 2 ( 2 2 2 ) 二一 一 其中，( ，蝣) ，p = l ，z ，为样本集中的输入输出模式对。 根据梯度下降法可以得到： y m ( g + 1 ) = _ ，( 矿口鲁l - - x i ，( g + 1 ) 硝- - i ( g ) 一口当i 。 ( 2 2 3 ) 一( g + 1 ) = 一( 加口嘉i 。 其中，q = 0 , 1 ，z ，口为学习步长。 根据复合函数的链式求导规则，可求得： 歹7 ( g + 1 ) = 一y ( 矿口争z ， ，( g + 1 ) = 一x , 7 ( q ) - t z ( f - y ) 上：9 气 二一= z 7 帮 2 2 4 di 仃i 曰 以州即j ( q ) - c t ( f - y ) 学一镣t t d 口口jj 8 其中， z ，- 酬一c 手，2 6 = z 7j i _ 甚一| | a = y j _ 一7 1 = 1 f ( x ) = a b 该算法又称为误差反向传播算法( p 肿，b a c k - p r o p a g a t i o n ) ，即即算法，也是神经网 络系统中的基本算法。实际上，适用于卯神经网络的大多数学习算法也同样适用于模 糊神经网络，如拟牛顿法、三m ( l e v e n b e r g - m a r q u a r d t ) 法和共扼梯度法等基于数值优 化的算法。 ( 2 ) 基于递推最d - 乘的学习算法。 梯度下降算法在建立模糊系统时，仅考虑了某一输入输出数据对( ，荫) 的拟合误 差。这种学习算法是在某一时刻通过调整参数以拟合输入输出数据对的。递推最d - 乘 法能令所有l 至p 的输入输出数据对的拟合误差之和达到最小。即目标函数设为： 厶：盘厂( ) 一以 2 j = 1 ( 2 2 5 ) 首先，根据显性知识( 专家经验) 确定模糊规则数从 鼽绷雌酬一c 字巾涮- - i 一擀 唧卜字巾黼镯妒。 然后，设： 臼= 歹1 ，y - - 2 ，y 肘 7 ( 2 2 6 ) 办= h 1 ，向2 ，厅肘 7 ( 2 2 7 ) 9 h 7 ： ，= l ，2 ，m ( 2 2 8 ) 则式( 2 2 1 ) 可写为： y = h r o ( 2 2 9 ) 使用递推最d x - - 乘法可以计算参数向量口： 1 秒( p ) = 秒( p 一1 ) + k ( p ) iy o h r ( 吒p ) 秒( p 1 ) l k ( p ) = p ( p 1 ) 办( 菇) l + j 1 7 ( 菇) 尸( p ) 办( ) - 1 ( 2 3 0 ) i 尸( p ) = i ，一k ( p ) h r ( p ) l 尸( p 1 ) l 一一 递推最小二乘法计算速度很快，为了克服噪声，也可以采用各种最d - 乘的改进算 法，如广义最小二乘法或辅助变量法等。但是由于递推最小二乘法只能处理本质线性的 系统，因此算法本身不包括确定的模糊基函数方法。 ( 3 ) 基于聚类法的学习算法。 在设计模糊神经系统的过程中，选择一个适当的规则数目是很重要的。但上述两种 方法均未提出一种系统地确定模糊系统规则数目的方法，没有解决模糊系统的规则数目 问题。比如梯度下降法是在训练前人为设定规则数目，递推最小二乘法是通过调整模糊 推理部分的模糊集来依次设定规则数目的边界。规则太多会导致系统变得复杂，这种复 杂的系统对于问题可能不是必需的，或者是难以设计和运行的；而规则太少又会导致系 统的作用削弱，增加系统的无效性，这种无效性往往会导致系统难以完成解决该问题的 目标。 聚类法被广泛地用于解决这类问题。聚类方法可以和模糊神经建模一起使用，把模 糊神经系统中规则的数目作为设计参数，并根据输入输出数据对来确定规则的数目。基 本思想是把输入输出数据对分成组，一组采用一条模糊规则，即模糊规则的数目等于组 的数量。模糊神经系统建模中常用的最具代表性的聚类技术有：胸值聚类、模糊c 均 值聚类、山峰聚类方法、减法聚类方法和最近邻聚类法等。 胸值聚类，已经应用到各种领域，包括图像和语音数据压缩、用径向基函数网络 进行系统建模的数据处理，以及在异构模块神经元网络的结构中任务分解。胸值聚类 算法把n 个向量x ，= ，z ，砂分为c 个组g ，一= j ，2 ，砂，并求每组的聚类中心，使得非相 似性( 或距离) 指标的价值函数( 或目标函数) 达到最小。该算法本身是迭代的，且不 能确保它收敛于最优解。胸值聚类算法的性能依赖于聚类中心的初始位置。所以，为 l o 了使它可取，要么用一些前端方法求好的初始聚类中心，要么每次用不同的初始聚类中 心，将该算法运行多次。此外，上述算法仅仅是一种具有代表性的方法；我们还可以先 初始化一个任意的隶属度矩阵，然后再执行迭代过程。 模糊c 均值聚类( 删，是用隶属度确定每个数据点属于某个聚类的程度的一种聚 类算法。1 9 7 3 年，b e z d e k 提出了该算法，作为早期硬c 均值聚类( 删方法的一种改进。 阳 优，2 个向量x ，0 = i ，2 ，叫分为c 个模糊组，并求每组的聚类中心，使得非相似性指标 的价值函数达到最小。彤膨与月嗍主要区别在于只：m 用模糊划分，使得每个给定数 据点用值在0 ，1 间的隶属度来确定其属于各个组的程度。与引入模糊划分相适应，隶属 度矩阵u 允许有取值在 0 ，1 间的元素。不过，加上归一化规定，一个数据集的隶属度的 和总等于1 。模糊c 均值聚类算法是一个简单的迭代过程。上述算法也可以先初始化聚 类中心，然后再执行迭代过程。由于不能确保陀m 收敛于一个最优解。算法的性能依赖 于初始聚类中心。因此，我们要么用另外的快速算法确定初始聚类中心，要么每次用不 同的初始聚类中心启动该算法，多次运行f c m 山峰聚类法是一种大致估计聚类中心的相对简单而有效的方法。该算法用来获取很 多高级聚类算法所需的聚类中心，也可作为一种快捷而独立的近似聚类方法。这种方法 是利用基于人类视觉上一个数据集形成聚类的原理。这种方法是在数据空间上构造网 络，其网格线的交叉部分构成了聚类中心的候选集。通过建立山峰函数这个数据密度指 标，自适应地确定聚类中心。由于必须计算所有格点上的山峰函数，因此该方法的计算 量随变量维数的增加而呈指数增长。例如，一个有四个变量且每一维有十条网格线的聚 类问题，将导致1 0 4 个需要计算的网格点。一个可替代的方法是减法聚类法，在此方法 中，聚类中心的候选集为数据点，而非网格点。用此方法，计算量与数据点的数目成简 单的线性关系，且与所考虑问题的维数无关。 最近邻聚类法是一种最简单的聚类算法。在此算法中，首先把第一个数据作为第一 组的聚类中心。接下来，如果一个数据距该聚类中心的距离小于某个预期值，就把这个 数据放到此组中，即该组的聚类中心应是和这个数据最接近的；否则，把该数据设为新 一组的聚类中心。 以上聚类方法中，最近邻聚类法可以同时获得规则数目和参数，但是该方法中必须 预先设定聚类半径，该聚类半径缺乏规范的设置方法。模糊聚类法能够较好地处理高维 数据空间的聚类问题，在复杂非线性系统模糊模型的输入模糊空间划分中得到较为广泛 的应用。其它几种聚类法需要预先设置聚类数目，同时规则的提取没有将输入输出数据 的相关特性加以考虑，聚类的结果往往是仅对输入空间的聚类划分。 2 5 本章小结 本章简述了模糊神经网络和模糊联想记忆网络，主要涉及网络模型、概念、应用、 研究方向和学习算法等。并着重介绍了本文研究对象v tf a m 网络模型及其相关概念。 本章工作为后续章节的理论证明和应用研究作了必要的铺垫和知识准备。 第三章模糊联想记忆对训练模式对摄动的鲁棒性研究 3 1 引言 在构造模糊神经网络系统时，系统的训练模式时常发生摄动，表现如下：( 1 ) 在 训练模式获取之时，因为专家的思维方式和语言的不确定性，或采集设备的精度有限， 或特有的隶属度函数和训练数据获取方法的局限性而导致；( 2 ) 在分析整理训练模式 数据库时，为了顾及模式对之间的相容性、矛盾性等，将微调训练模式而导致；( 3 ) 在 模糊神经网络系统动态运行之时，为了实现其自适应功能或因为运行条件和环境的微 变，将可能动态微调训练模式而导致。我们说的“摄动”是指小幅误差、小幅变化和不 确定，这种摄动表现为实际使用的训练模式和现实中真实的模式或最理想的模式有小幅 误差“。训练模式的摄动总是客观存在的，很自然给系统设计者带来三个忧虑：( 1 ) 所 获得的模式对最终是否已经准确到足够满足有关要求? ( 2 ) 训练模式对的小幅摄动对 模糊神经网络的性能有什么影响? 基于有小幅摄动的训练模式对训练后，神经网络的输 出和相应的现实中要求的应有输出之间是否有很大的差异昵? ( 3 ) 从什么角度来探讨 这种已知模式对的摄动对模糊神经网络输出结果的影响昵? 国内外已有不少学者研究了规则摄动对模糊推理系统的影响n “。例如应教授在文 献 1 4 中给出了模糊集合的最大摄动和平均摄动的定义，并且评估了不同模糊推理方法 的最大摄动和平均摄动，对模糊逻辑系统中模糊推理的摄动问题做了开创性的研究。徐 教授在文献 1 5 中列举了模糊规则发生摄动的常见情形，建立了一般性的模糊推理算法 对规则摄动的鲁棒性概念；就多重、链式和多维模糊推理情形，重点研究了一般性的模 糊蕴涵算子对几个重要的模糊推理算法的这种鲁棒性的影响，并分别给出了相应的充要 条件；初步尝试了通过一定的摄动制约来改善这种鲁棒性；同时指出很多现有的模糊蕴 涵算子能使得所讨论的这些推理算法拥有好的鲁棒性，此时，即使规则中的隶属度函数 有适度的粗糙或摄动，推理仍是可行的、安全的。之后，徐教授将训练模式对摄动的概 念推广到模糊神经网络中，针对训练模式对的小幅摄动可能对模糊神经网络的性能产生 副作用，提出了一般性的模糊神经网络对训练模式对摄动的鲁棒性概念，并具体分析了 典型的m a x m i nf b a m 网络，证明了f b a m 采用模糊h e b b 学习算法时系统鲁棒性好，而 采用另一个学习算法时，系统鲁棒性较差。为此，作者为后一个算法提出了一种训练模 式对摄动的控制方法，以保证f b a m 的这种鲁棒性较好n ”。然而这些研究局限在某个特 定网络，训练模式对的摄动对某种类别的网络影响及如何控制问题没有进行一般性的分 析。而且可否从另外的角度来探讨这种训练模式对的摄动对模糊神经网络输出结果的影 响呢? 为此，本章将以这些问题为出发点，针对上一章提出的v tf a m 网络模型，提 出一种新的关于连接权值矩阵的学习算法，并将该学习算法应用于这一类网络中，然后 在此基础上研究以上问题。 3 2 相关概念和引理 本文总假设，= “，z ，彬，乒以，2 ，彬为非空有限指标集。谢= 加，a 2 , ，a i j 以u 玎， a = a a l z 3 a 2 , 。n 0e - 1 1 r ，定3 1 a + z 姐= a l + z a 1 a 2 + z s a 2 , o n + n 0 c o 1 r 。 其中，若口，+ z s a ， j ，则口，+ z s a ，调整为1 ，若a ，+ a a ， 0 ，则口，+ z s a ，调整为0 。其余类 似情形可类似定义，此处略。 定灿1 t “、 令a = 砸l 。n 2 ，n 0 ( o ，l 】n ，b = p 1 b 2 b 0 ( 0 1 ro 带碱奥猢模式对组。b ) 中的彳为模式对的前件，b 为模式对的后件。 定义3 2 ， 锄，爿是 o ，1 上的万肌矩阵，称删j 州= l 茚一刮为彳+ 与么的最大摄 动误差，显然有删，= h ( a ，彳。 定义3 3 m ，当模式对翻，别变为臼+ a a ，剐，且h ( a + z l 4 ，彤对，称该模式对发生 了前件最大滠动；当模式对臼，别变为臼，b + z s b ) ，且h ( a ，b + 厶矽孝时，称垓模式对 发生了后件最大淑动；当模式对0 ，召) 变为阳+ 出，b + z s b ) 且h ( a + z s a ，v 日佃+ 厶b 矽 f 时，称该模式对发生了最大搬动。 定义3 4 设v tf a m 采用学习算法 若存在常数矽d ，对任意的训练模式对集合 s = 朋i b 副k = l ，2 ，和任意摄动幅度欺以矽，当各模式对阳如别发生最大搬摄动致 使渡成新的训练模式对集合函= 印删k = l ，2 ，。若对一切输m 以矿，基于 原训练模式对集该v tf a m 产生的输出序列所夥j 以矿t 刀和基于摄动后的训 练模式对集v tf a m 产生的输出序列所黝j 厂d ，矿，刀总满足彤夥，z s f l y 。) ，( ) ，= 豆船为整个模式对集s 的最大摄动幅度) ，则称采用学习算法肭该v f 舢, ) , k 对= f l 训练模式对集的摄动幅度在系数为声伦l 夕的条件下全局拥有好的鲁棒性。其中t 1 = l 好 l ? 2 3 。 o 定义3 5 若卜模及其模糊蕴涵算子r ，存在常数n 1 ，l ，对于 、q 。b 。c d ( o u ，谩得 位b ) 一( c d ) | 伐( a c | | b -