（电路与系统专业论文）模糊神经网络建模与结构优化研究.pdf

钡 卜 赞 位论又模糊神鲜网络建模与 结构优化研究 摘要 本文从模糊系统与 神经网络的融合形式对模糊神经网络 ( f u z z y n e u r a l n e t w o r k , p n n ) 进行分类，划分为狭义模糊神经网络、神经模糊系统和模糊神经混合系统， 并在文 ， ! 进步的进宁 j 几 细分 在完成划分后， 本文对一类模糊神经网络的建模过程进行了 研究。 借鉴于模糊系统的建模，系统化模糊神经网络的建模流程，并给出了这类模糊神经网络 的拓扑结构。钊对传统模糊神经网络存在的结构庞大的问题，本文进行了模糊神经网络 的结构优化。这里给出了 一 种新的结构优化的算法流程，采用规则前件提取，获得较少 高效的规则，对模糊神经网络进行结构优化，解决了模糊神经网络在多输入模糊系统中 的规则数日多、结构庞大的问题，以应用于多输入模糊系统。在结构学习中采用竞争算 法优化隶属函数，保证规则前件提取的高效性。新算法中参数学习采用梯度下降法调整 网络的参数。 关键词:模糊系统;神经网络:模糊神经网络:结构学习;参数学习:规则提取 倾 ! 学位论交模糊神经网络建模与 结构优化研究 a b s t r a c t i n t h i s t h e s i s , w e c l a s s i f y f u z z y n e u r a l n e t w o r k ( f n n ) f r o m c o m b i n a t i o n o f f u z z y s y s t e m a n d n e u r a l n e t w o r k a s t r a d i t i o n f u z z y n e u r a l n e t w o r k , n e u r o - f u z z y s y s t e m , a n d f u z z y - n e u r a l h y b i记s y s t e m . a n d e a c h b r a n c h i s c l a s s i f i e d m o r e . a ft e r d i s c u s s o f f n ns t y p e , w e s e a r c h t h e p r o c e s s o f f n n s m o d e l i n g o f o n e t y p e . u s e t h e p r o c e s s o f f u z z y s y s t e m s m o d e l i n g f o r r e f e r e n c e , s y s t e m a t i s m o f f n n s m o d e l in g p r o c e s s i s g a v e in 3 d c h a p t e r . t o p o lo g y s t r u c t u r e o f t h i s t y p e f n n i s a l s o i n t r o d u c e d i n t h i s c h a p t e r . s t r u c t u r e o p t i m i z e i s n e e d e d a ft e r t h e m o d e l o f f n n is b u i lt . t w o w a y s in 3 c h a p te r a r e u s e d in m a n y p a p e r s . t o o v e r c o m e t h e d i m e n s i o n a l i t y p r o b l e m o f f n n i n m u lt i- i n p u t f u z z y s y s t e m , a n e w a l g o r i t h m i s p r e s e n t e d a t t h i s c h a p t e r . t h e a l g o r i t h m o f r u l e e x t r a c t i o n i s a p p l i e d t o a c c e l e r a t e l e a r n i n g p r o c e s s a n d e x t e n d t h e a p p l i c a t i o n o f f n n t h r o u g h d e c r e a s i n g t h e n u m b e r o f r u l e s a n d e s t a b l i s h i n g s m a l l f n n s t r u c t u r e . c o m p e t i t i v e a l g o r i t h m i s u s e d t o o p t i m i z e t h e p a r a m e t e r s o f m e m b e r s h i p f u n c t i o n i n s t r u c t u r e l e a r n i n g b e f o r e r u l e e x t r a c t i o n , i n p a r a m e t e r l e a r n i n g o f t h i s a l g o r it h m , f n n s w e i g h t s a r e a d j u s t e d b y g r a d i e n t a l g o r i t h m . t h e s im u l a t i o n r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d c a n w o r k e ff e c t i v e l y k e y : f u z z y s y s t e m ; n e u r a l n e t w o r k ; f u z z y n e u r a l n e t w o r k ; s t r u c t u r e l e a r n i n g ; p a r a m e t e r l e a r n i n g ; r u l e e x t r a c t i o n 倾 争 位沦又 模糊神纤网络建模i j 结构优化研究 前言 模糊系统和神经网络是当前两种主要的智能控制技术，各有优缺点。模糊系统通过 “ 规则”的形式来从逻辑功能上模拟人脑，实现人脑思维和语言中对模糊信息的表达和 处理方式。神经网络则是直观的通过对人脑生物结构的模拟。 将神经网络的学习机制引入模糊系统，使得模糊系统具有自学习、自 适应能力;或 者借助 几 神经网络的大规模的并行分布处理结构，完成模糊的推理过程;这些模糊 系统与神经网络相结合的问题，是日前被广泛关注的问题，并产生了 “ 模糊神经网络” 。 模糊神经网络汇集了模糊系统和神经网络的优点，避免了各自的缺陷，集学习、联想、 识别、自适应及模糊信息处理于一体，应用广泛。但由于模糊神经网络是两类知识的融 合，形式复杂，概念混乱。故本文从模糊神经网络的结构方面入手，力图使得模糊神经 网络理论系统化，以便于推广应用。 木文主要讨论了 模糊神经网络的分类、建模和结构优化的问题，文章的主要内容与 安排如下。 第一章为模糊系统与神经网络的概述， 给出了基木的概念， 并分析了各自的优缺点。 第二章从模糊系统与神经网 络相互融合的角度，首先将模糊神经网络划分成狭义模 糊神经网络、神经模糊系统、神经一 模糊混合系统。在狭义模糊神经网络中又从引入模糊 概念的网络构造的层次的不同划分为模糊神经元、模糊化神经网络、模糊学习的神经网 络。而在神经模糊系统中则根据神经网络对模糊系统实现的形式的不同划分为函数实现 形式和功能实现形式。在分类介绍时，文中也给出了典型的模糊神经网络模型。 第三章的内容为模糊神经网络的建模与结构优化参照于传统的模糊系统的建模流 程， 这里将模糊神经网络中最常用的功能实现形式的神经模糊系统的建模流程系统化。 井在文中给出了这一类t s 型模糊神经网络的拓扑结构。 针对模糊神经网络在输入时的规 则数日 大，结构复杂的问题，分析了最常被采用的结构优化的方法:规则修剪和规则提 取。 第四章中给出了一种新的结构优化的方法，采用规则前件提取的方法，优化模糊神 经网 络的结构，使得这种模糊神经网络在多输入模糊系统中的应用范围得到扩展，并同 时提高了 参数学习的速度。 通过对分类辨识问 题的应用仿真，证明了该方法的有效性。 硕 学位论文 模糊神经网络建模与结构优化研究 1 . 1 1 . 1 . 1 第一章:模糊系统与神经网络概述 模糊系统 模糊控制理论的发展概况 1 9 6 5 年美国加利福尼亚大学的著名教授l .a .z a d e h首次提出了用 “ 隶属函数”概念 来定量描述事物的模糊性的 模糊集合论( f u z z y s e t s ) ， 使人们在日 常生活中的自 然语言转 化为计算机能够接受的形式，从而奠定了模糊集合论及其日后广 一 泛应用的基础。1 9 7 2 年 l .a .z a d e h 在沦 文“ a r e ti o n n a l e f o r f u z z y c o n tr o l ” 中 提出 了 模 糊控 制的 概 念， 为 模糊 控 制理论奠定了 基础d 1 1 9 7 4 年伦敦q u e e n m a r y 学院的 马 月 一 尼 ( e .h .m a m d a n i ) 首次 把模糊集合理论 用于锅 炉和蒸汽机的控制并取得了比 传统控制方式更好的效果2 1 ，这标志着用模糊逻辑进行工 业控制的开始，也宣告了 模糊控制的诞生。1 9 7 5 年英国的p .j .k i n g 和e .h .m a m d a n i 将模 糊 控制应用于反应炉搅拌池 温度的 控制中 3 1 ， 从此拉开了 模糊控制器实 用阶段的 序幕。 1 9 7 6 年荷兰学者w .j .m. .k i c k e r t 和h .r . v a n n a u t a 将模糊控制应用于一个热交换过程a l 英国 学 者r .m .t o n g 用模 糊控 制 对高 压 容 器内 部 的 压 力和 液 面 进 行 控 制 l 0 1 9 7 7 年 月 麦学 者j .j .o s t e r g a d 利 用模 糊控 制 器 对2 i - 2 0的 热 变 换 过 程 进行 控制 6 1英国 的c .p .p a p p i s 和 e .h .m a m d a n i 用模糊控制的 方法管 理十 字路口 的 交 通7 1 ， 都取 得了良 好的 结果。 1 9 7 9 年 英国 的i .j .p r o c y k 和e .h .m a m d a n i 研究了 一 种自 组织 模 糊控 制 器$ 1 ， 可以 在 控 制过程中不断修改和调整控制规则，从而使系统的控制性能不断提高。这标志着模糊控 制器开始向智能化方向发展。 1 9 8 0 年丹麦的f .l . s m i t h 公司 研制的 模糊逻辑控制系统应用于水泥窑的生产过程， 达 到了 较高的控制水准，其控制性能及鲁棒性是应用经典控制理论所难以达到的。1 9 8 5 年 日 本的t o m o h ir o t a k a g i 和m i c h io s u g e n o 提出 了t - s 模糊 模型 9 1 ， 为 系 统的 模 糊 模型 辨 识 提供了一个精确的方法。 随着这些应用的效果被越来越多的人认识，模糊控制开始在全世界的范围内开始广 泛的应用。 在日 本的应用己经非常普遍，日 本各地的 地下铁路列车的停车位置控制广泛采用模 糊控制方法，使停车位置达到非常高的精度。f u j i 电机公司开发了净水厂投药量模糊控 制系统，o mr o n公司推出了最早的商品化的模糊控制器硬件，ma t h u s i t a公司推出 了一系列应用模糊控制技术的家用电器等，这些都显示了模糊控制技术在模型不确定、 严重非线性、大时滞、难建模系统中的良 好应用前景。 硕 1 学位论义模糊神经网络建模与结构优化研究 模糊控制理论在八十年代后期有了 很大的发展，1 9 8 4年 i f s a ( i n t e r n a t i o n a l f u z z y s y s t e m s a s s o c i a t i o n ) 成立，1 9 8 5 年首届i f s a国际学术会议在西班牙召开，1 9 9 2 年i e e e f u z z y s y s t e m s 开始举行每半年一次的国际学术会议，1 9 9 3年 (!( i e e e t r a n s . o n f u z z y s y s t e m s 开始出 版，研究范围包括模糊模型、 模糊控制器、 模糊专家系统等。 模糊控制在三十余年的发展中，各力 一 面都获得了长足的进步，有很多成功的应用实 例，但仍有很多问题需要解决，如隶属函数的选择问题、模糊规则的优化提取问题等都 需要进一步解决。 1 . 1 .2模糊集合与模糊规则的 基本概念 模糊数学为模糊系统与模糊控制的发展提供了 起点和基本语言，模糊数学的基木原 理就是用模糊集合的概念取代了经典数学理论中的集合概念而发展起来的。这里将给出 模糊理论中的一些基本的概念， 模糊集合， 集合的一些运算。 语言变量和模糊 i f - t h e n 规则也是模糊系统与模糊控制的本质所在。 今 模糊集合 模糊集合不同于经典集合 ( 即非模糊集合) ，它没有精确边界。 模 糊集合 ( f u z z y s e t s ) : 设u 是一 个沦 域，、 是u的 任一元素，u 上的 模糊集a 是 指 对 于 每 一 个 元 素 。 都 有 一 个 数 / u , ( al ) e 0 , 1 与 之 对 应 ， p ， 称 为 。 对a 的 隶 属 度 。 这 意 味 着 定 义了 一 个 映 射: p a ( u ) _ o 1 1 1 映 射f a 又 称 模 糊 集 合a 的 隶 属函 数( m e m b e r s h ip f u n c t i o n ) 。 其中论域可以是离散空间， 或者是连续空间。 论 域u是模糊集的合集，在合集上可定义不同的模糊集。而论域u上的全体模糊集 所 组 成 的 集 合f ( u ) 就 称 为 模 糊 幂 集: f ( u ) 一 a ia a : u 、 1 j ( 1 - 1 ) 模糊集有多种表示方法， 最根本是要将它所包含的元素及相应的隶属函数表示出来。 它可用序偶形式来表示: a 一 ( u , p a (u )lu 。 二 ( 1 - 2 ) 令 模糊集 合的 运算 a , b 是 论 域u 上 的 两 个 模 糊 集 合 ， 隶 属 函 数 分 别 为 。 一 p a ( u ) , b = f i x ( u ) , u e u 。 所谓模糊集a 和b的并集a u b 、 交集a nb 和补集a ， 就是由 下列的隶属函数分别定义 成的模糊集。 交集 ( i n t e r s e c t i o n ) : 并集 ( u n i o n ) : p a - 1) p a i b) : ( 、 ， w, /, 8 w ) s fln u .fa u = p a ( u ) ,u ( - ) = /, n ( u ) - p a ( u ) 硕 学位沦义模糊神经网 络建模， j 结构优化研究 f i n ( u ) = 1 一 p a ( u ) t 算 子 t ( 也 称t 范 式( t n o r m ) , 满 足t : o , 1 x 0 , 1 - 0 , 1 这 里 采 用 的 t 范 式 算 : 极 小 : t ( a , b ) 一 m in ( a , b ) 二 a a b o s 算 子s ( ) 也 称s 范 式( s - n o r m ) ， 满 足s : o , 1 x 0 , 1 - 0 , 1 这 里 采 11 的 s 范 式 算 : 极 大: s ( a , b ) 一 m a x ( a , b ) 一 a v b a 集为为 补子子 令 模糊关系 普通关系描述了元素之间是否有关联，而模糊关系则描述了元素之间的关联程度。 模糊关系是普通关系的拓广和发展，普通关系是模糊关系的特例。模糊关系是模糊数学 的组成部分。当论域有限时，可用模糊矩阵表示模糊关系。它在关系的运算中带来了极 大的方便，使它成为模糊关系的主要运算工具。 所谓模糊集合a到模糊集合b的关系r，实际匕 是a、b的直积 a x b 二 ( u ,v )iu 。 u , v e v ( 1 - 3 ) 的 一 个 子 集 。 其 特 征 可以 由 隶 属 函 数p r : u x v - 0 , 1 来 描 述 。 序 t it j p a u v l 表 示 序 偶 ( u , v ) 的 隶 属 程 度 。 模 糊 关 系 具 有自 反 、 对 称 、 传 递 对 比 等 性 质 。 模糊关系还可以 进行合成，由 两个模糊关系组成一种合成关系。 设p 是ux v 上的模 糊关系，q 是v x w上的模糊关系， 则r 是u x w上的模糊关系， 它是p 0 q 的合成 其隶 属函数被定义为: p r ( u , n ) _ p l, ac) ( u , w ) 一 v , ( / ip ( u , v ) 八 p c, ( v , w ) ) ( 1 - 2 ) 模糊关系的合成可以是多种多样的。 如果把 巨 述v 代表“ 取大m a x ，八 代表“ 取 小 m i n ” 运算， 这种合成关系即为最常用的“ 最大一 最小” 值合成， 合成关系r 二 p , q. 令 语言变量 语言是人们进行思维和信息交流的重要工具。语言 可分为两种:自 然语言 和形式语 言。人们日 常所用的语言 属于自 然语言。自 然语言的特点是语义丰富、灵活，同时具有 模糊性。通常的计算机语言是形式语言。形式语言有严格的语法规则和语义，不存在任 何的模糊性和歧义。带模糊性的语言称为模糊语言，如高、矮、长、 短、 年轻、 年老等。 语言 变量是自 然语言中的词或句，它的取值不是通常的数，而是用模糊语言表示的 模糊集合。 l .a .z a d e h 为语言变量作了如下的定义: 语 言 变 量 是 由 一 个 五 元 组 ( x , t ( x ) ,u , g , m ) 来 表 征 。 其 中 x 是 变 量 的 名 称 ， u 是 x 的 论 域。 t ( x ) 是 语 言 变 量 值的 集 合 ， 每 个 语 言 变 量 值 是 定 义 在 论 域u 上 的 一 个 模 糊 集 合， g是语法规则， 用以产生语言变量x的值的名称，m是语义规则， 用于产生模糊集合的 隶属函数。 硕 学位论文 模糊神经网络建模与 结构优化研究 今 模糊规则与模糊蕴含关系 模糊规则又称模糊 i f - t h e n”规则或语言规则，实际上是模糊推理的规则的语句 实现形式。 模糊规则的一 般形式为:i f x i s a t h e n y i s b 其中a, b 分别是沦 域u和yr 的模糊集合。 x i s a ”称为前件或前 提; y i s b 为后件或结论 r=ax b=a 7 。模糊规则可用模糊关系r表示: . 刀 r ( u , v ) 一 a ( u ) b ( v ) ( 1 - 5 ) ( 1 - 6 ) 即 尸 : ( u , v ) 一 p n ( u , v ) 八 尸 。 ( u , v ) 模糊规则描述了变量x , y 之间的关系，n 个输入m个输出的规则形式为: i f x , i s a , a n d x 2 i s a z a n d 二 x i s a , t h e n y , i s b y 2 i s b z ， 二 ,y , i s 凡 此规则的前提部分是多条件的， 用a n d算子连接， 只有当“ i f ” 部分的条件都同时 满足时， t h e n 部分的结果才会产生。 前提部分采取不同的算子形成不同的规则形式， 一般还有一种 “ o r”算子，规则中“ i f ”部分的任一条件满足，就有 “ t h e n”部分 的结果。 由于一般的规则都采用a n d算子连接，实际应用中大多省略a n d算子，规则形式 如下: i f x , i s a x 2 i s a z ， 一 ， x i s a y, t h e n y , i s b y 2 i s b 2 , 二 ,y , , i s b m ( 1 - 7 ) 模糊蕴含关系也称为模糊推理。 在模糊控制中， 模糊规则实质上就是模糊蕴含关系。 在模糊逻辑中有很多种定义模糊蕴含的方法。在似然推理中主要用到的两类模糊蕴含推 理方式是:广义的肯定式推理方式和广义的否定式推理方式。 对于广义肯定式推理方式有如下的近似推理公式: b 一 a - ( a ”b ) = a r 其中结论b 是根据模糊集合a 和模糊蕴含关系a - b的合成运算得到的。同样， 对 于广义否定式推理有如下的似然推理公式: a = ( a ”b ) b 一 r - b 式中r为模糊蕴含关系， “ 。 ”是合成运算符，b 是模糊集合。 1 . 1 .3模糊逻辑系统 实际中，除语言信息之外，更多的是表现为数值的数据信息。对于一个实际模糊型 系统，也可通过测量数据或数字传感器获得反映该系统输入输出关系的数据信息。模糊 系统是能综合利用语言信息以 及数据信息的系统工具。 硕 卜 学位论义 模糊神经网络建模! j 结构优化研究 模糊系统中，语言 信息的处理是通过一组“ 1 f . . . t h e n . . ” 模糊规则来完成，而数据 信它 、 则是对系统参数，包括模糊集隶属函数中的参数进行合理调节的外部条件。 一般来说，模糊逻辑系统是指那些与模糊概念和模糊逻辑有直接关系的系统，它由 模糊产生器、 模糊规则库、模糊推理机和反模糊化器四部分组成，如图 1 - 1 所示， 模糊 产生器将论域u上的模糊集合，反模糊化器将论域yr 的模糊集合一一映射为v上的确 定的点，模糊推理机根据模糊规则库中的模糊推理知识以及出模糊产生器产生的模糊集 合，推理出模糊导论，亦即论域v上的模糊集，并将其输入到反模糊化器。 模糊系统的内部过程的输入到输出的关系也可看作模糊集合之间的映射关系。模糊 系 统 输 入 空 间 集( 定 义 域) x 二 x i , x 2 , . . . , x ， 输 出 空 间 集( 值 域 ) y 一 y i , y 2 ， 一 ， y , ; a 和b 分别为x和y 中的模糊子集; 通过隶属关系， ， 我们可以将a 和b 表示为单位超立方 体i = 0 , 1 r 和i 0, = 0 , 1 厂 中 的 一 个 点 即a 二 ( a ;， 几 ， ， 气 ) ， b 二 八 ，八 ， ， ， 气 ) ; 这 里 a 一 m a ( x , ) h i = m n ( 劝j 它 们 是 x ; 属 于 a 和 y ; 属 于 “ 的 隶 属 度 ， m a : x - 0 , 1 1 , m: y - 0 , 1 1 。 那 么 ， 基 于 模 糊 论 的 模 糊 系 统 将 模 糊 集 合a 映 射 为 模 糊 集 合b 实 际 上 ， 模糊系统s 完成的是如下的映射: s: 了 门 分 了 加 即模糊系统s 将二 维单位超立方体i 映射为: ; 维的单位超立方体p. 图1 一 1模糊逻辑系统结构 令 模糊化器: 模糊化器，也即模糊产生器，这个模块的功用在于将u分r 上的一个确定的点 二 一 ( x 7 x 2 ， 二 ， xn 了 映 射 为 一 个 模 糊 集 合 a 。 一 般 有 两 种 映 射 方 式 。 1 ) 单值模糊产生器。若模糊集合a 对支撑集x 为模糊单值，则对某一点.x = x ，有 p aj x ) 二 l a 而 对 其 余 所 有 的 x 、 的 ， 有 p ; ( x ) = o 0 2 ) 非 单 值 模 糊 产 生 器 。 当 x = 二 ， 有 p a ; ( x ) = i , 随 丫 逐 渐 远 离 二 时 ， p a j x ) 从i 开 始 衰 减 ， 例 如 ， “ ( ) 常 取 为 ex p (一 ( 一 )t (一)/ 。 ) 。 大多数应用中，经常采用第一种方法，即单值模糊产生器。 令 模糊规则库: 模糊规则库是由 若干模糊推理规则组成的， 其模糊推理规则为“ i f - t h e n ”的形式: h 6! 学位论文模糊神经网络建模与 结构优化研究 天 “ ) : i f x , is a ; , x 2 i s a ; ， 一 ， x i s a ; 丁 h e n y is b 其 中 a , b 分 别 为 u ， 二 r 和 v 二 r 的 模 糊 集 合 ， 且 二 二 ( x l ， x z ， ， 戈 ) fx i , x 2 , . ., x ) ( 卜8 ) u , x u z 、 x 认 和y f v 均为语言变量，1 二 1 , 2 , . . . , r , r 为规则总数。 可看出，x y 为模糊逻辑系统的 输 入输出。多输入输出系统可分解为多输入单输出系统，所以，本文中都以多输入单输出 系统为例 模糊规则库的获得 一 般或是从专家那里直接获得，或者通过自学习的方法获得。但 在实际应用中，并不能直接由专家提供出模糊规则。更随着神经网络技术的出现，使得 自 学习的方法得到了更多的重视。通过自学习来获得模糊规则的问题，是首先确定模糊 规则数以及隶属函数的形式，然后对隶属函数中的参数进行估计。 令 模糊推理机: 模糊推理机的功用在于，根据模糊逻辑法则， 把模糊规则库中的 模糊 i f - t h e n 规 则 转换 成 某 种映 射， 即 将: u = u , x u 2 x . . . x 认二 r 上的 模 糊集 合映 射 成v 上的 模 糊 集 么 模 糊 规 则 : 尸 。 : i f x , i s 考 ， x 2 i s 玛 ， . . , x i s 礁t h e n y i s b , 可以 被 表 示 成一 个 积 空 间 u x v 上 的 模 糊 蕴 涵可x 玛、 . . x 可- - b , 。 设u 上 的 模 糊 集 合才为模糊推理机的输入，若采用合成运算，则由 第一条模糊推理规则所导出的v上的 模糊集合b 为: p , (y ) 一 老 (际 、 。 、 、 ， ( x , y ) 八 、 (x ) 设a = 川、 川x . . . x 可，b = b , ， 因 此， 模 糊 规 则 可 简记 为a -b 令 反模糊化器: 反模糊化器的功用在于把v - r 上的模糊集合g映射为一个确定的点y e v . 经过模糊推理得到的控制输出是一个模糊隶属函数或者模糊集合，它反映了控制语 台的模糊型。但在实际应用中，要实现对物理对象的控制，需要给出确定的控制量，这 就必须从模糊数出隶属函数中找到一个最能代表这个模糊集合及模糊控制作用可能性分 布的精确量，来实现对被控对象的控制，这就是解模糊判决或者反模糊化。对于反模糊 化，目 前普遍采用的方法有: 最大隶属度法、 重心法、 系数加权平均法、 取中位数法等。 1 .最大隶属度法 最大隶属度法就是选取模糊子集中隶属度最大的元素作为输出量。如果所得到的隶 属函数曲线是平顶的，则其具有最大隶属度的元素不止一个，需要对这些最大隶属度的 元素求平均值。 2 .重心法 重心法就是取模糊隶属函数曲线与横坐标围成面积的重心作为输出。理论上应该计 o f 学位论文 模糊神经网络建模i j 结构优化研究 算输出范围内一系列连续点的重 l ,即: u 一 工 x f n ( x ) d x / 上 、 、 ( x ) d x 但实际上是计算输出范围内整个采样点 ( 即若干离散值)的重心。 ( 1 一 9 ) 这是在时i,fl j 与精 度之间的一个折衷方案。 3 .系数加权平均法 系数加权平均法的输出执行量山下式决定: u 一 艺k ; - x , 艺k ( 1 - 1 0 ) 式中 ， 系 数k . 的 选择 要根 据实际 情 况而定， 不同 的 系 统 就 决定 系统 有不同 的 相 应 特性。 当 该 系 数 选 择k ; 一 f 1 n ( x r ) 时 ， 即 取 其 隶 属函 数时 ， 就 是 重 心 法 在 模 糊 逻 辑 控 制中 ， 可 以通过选择和调整系数来改善系统的响应特性。 4 .隶属度限幅元素平均法 用所确定的隶属度值a对隶属函数曲线进行切割，再对切割后等于该隶属度的所有 儿素进行平均， 用这个平均值作为输出执行量， 这种方法就成为隶属度限幅元素平均法。 例如，当取a为最大隶属度值时， 表示“ 完全隶属” 关系， 这时a 二 1 .0 。 在 “ 水温适中” 的情 况 下 ， 4 0 c和 5 0 c的隶 属度 是 1 .0 ，求其 平 均 值 得 到输 出代 表 量 : 。 = ( 4 0 + 5 0 ) / 2 = 4 5 。 这 样 ， 当“ 完 全 隶 属 ” 时 ， 其 代 表 量 为 4 5 c 。 如果当a二 0 . 5 时，表示 “ 大概隶属” 关系，切割隶属度函数曲线后，这时从3 0 - c到 7 0 c 的隶属值都包含在其中，所以求其平均值得到输出 代表量: u 一 ( 3 0 + 4 0 + 5 0 + 6 0 + 7 0 ) / 5 二 5 0 。 这样，当“ 大隶属度”时，其代表量为5 0 c 5 .中位数法 采 用 中 位 数 法 是 p , ( z ) 的 中 位 数 作 为 : 的 清 晰 量 1 即 : o = d f ( z ) 一 f 4 : ( z ) 的 中 位 数 ， 它 满 足 : 犷 、 、间 d z = p c 间 d z ， 即 以 、 为 分 界 线 ， 、 间 与 、 轴 之 间 的 面 积 两 边 相 等 。 近二 十 年来， 模糊系统及模糊推理网 络由 于它 们在模式识别1 ( 1 2 1 3 1 ， 系 统建模 和系 统 辨识1 4 ( 5 ( 6 1 7 1 ，自 动 控制 ( 8 1 9 2 0 2 ( 1 等众多 领域的 成功应用而备受关 注。 模糊系 统与 模糊推理网络获得广泛应用的理论基础是其泛逼近性。 模 糊逻辑 系统， 按照常见的形式可分为纯 模 糊逻辑系统; 高木一 关 野( t a k a g i - s u g e n o , t - s ) 模糊逻辑系统9 1 ; 和具有模糊产生器和模糊消除器的模糊逻辑系统。 令 纯模糊逻辑系统 它是仅由模糊规则库和模糊推理机组成的系统，其特点是输入输出均是模糊集合， 如图1 - 2 所示。 模糊规则库由若干“ i f - t h e n” 模糊规则构成， 模糊推理机根据模糊关系 吕 fir: f 位论义 模糊神经网络建模与 结构优化研究 和模糊合成方法，将输入论域u二侧上的模糊集合与输出论域v二r 上的模糊集合对应 起来。模糊推理形式为: r f1 : if x , i s a ; , ， 一 ， x n , is 礁t h e n y is b ( 1 一 1 1 ) 其输入输出均为模糊集合，不易用于系统建模。 输 人悦 1 u 上的匕 模糊集合 模糊推理机 吐的 模糊集合 图 1 - 4具有模糊产生器和模糊消除器的模糊逻辑系统基木框图 在纯模糊逻辑系统的输入/ 输出端加上模糊产生器和模糊消除器，就可以直接应用到 工程系统中， 系统的基本框架如图i - 4 。 模糊产生器将u上确定的点一一映射为u上的模 糊集合，模糊消除器将v上的模糊集合一一映射为v上确定的点，这里的模糊规则库和 模糊推理机与纯模糊逻辑系统中的相同。在文献资料中，这种模糊逻辑系统常常因为主 要用作控制器， 而被称为模糊逻辑控制器， 模糊逻辑控制器是由m a m d a n i z 1 首先提出的， 己 经在许多工业过程和商业产品中得到成功应用。 这种模糊逻辑系统有许多引人注目的优点。第一，因为输入，输出均为真值变量， 特别适用于_ 程系统;第二，它提供了一种描述专家组织的模糊 i f - t h e n 规则的一 般化模式;第三，使设计者在选择模糊产生器、模糊推理机和反模糊器方面有很大的自 由度，因此对于某个特定的问题，我们可以的一个最适合的模糊逻辑系统。最后，我们 还可以为这类模糊逻辑系统提供不同的学习算法，使之能有效地利用数据和语言两类信 息 1 . 1 .4常用的模糊推理模型 在建立了输入输出语言变量及其隶属度函数，并构造完成模糊规则之后，就可以执 行模糊推理计算。模糊推理的执行结果与模糊蕴含操作的定义、推理合成规则、模糊规 则前件部分的连接词 “ a n d ”的操作定义等有关，因而有多种不同的算法。 目前常用的模糊推理合成规则是 “ 极大一一极小” x i s a -yi s b” 表达的模糊关系，则当x为a 时，按照 推理的结论b 计算如下: 合成规则，设r表示规则 “ 极大极小”规则进行 硕 7 : 位论交模糊神经网络建模j 拄 构优化研) l b = a - r = 上 e ( p ,x ( 小， ， ( x , y ) )户 ( i 一 1 4 ) 前面已经提到了多种模糊蕴含操作的不同定义，在此基础上人们提出了多种模糊推 理算法，其中较为常用的是ma m d a n i 模糊推理算法、l a r s e n 模糊推理算法，对于输出为 精确量的一类特殊模糊逻辑系统 一 - -t a k a g i - s u g e n 。 型模糊推理系统， 采用了 将模糊推理 与去模糊化结合的运算操作。 模糊推理本质上就是将一 个给定输入空1,h 通过模糊逻辑的方法映射到一个特定的输 出空间的汁 算过程。这种映射过程涉及到的隶属函数、模糊逻辑运算、 i f . . . t h e n - 规则等。 l . m a m d a n i 型 模糊 推理 算 法: ma m d a n i 型模糊推理算法采用极小运算规则定义模糊蕴含表达的模糊关系，例如规 0 1 : r: i f x i s a t h e n y i s b 表达的 模糊关 系r 。 定义为: r = a x b 二 工 rr p a ( 小， ,9 ( y ) a x , y )( 一 5 ) 当“ x i s a ，且模糊关系的合成运算采用 “ 极大极小”运算时， 模糊推理的结 论计算如下: b 一 “ b = 上 x ( p a ( x ) ( p , ( x ) p , ( y ) ) )/ y( 一 6 ) 2 . l a r s e n 模 糊 推理 算法 模糊推理算法采用乘积算法作为模糊蕴含的规则，用来定义相应的模糊关系。设规 贝 小 r : i f x i s a t h e n y i s b 表 达的 模糊 关系r r, : r ， 二 a x b 二 工 xv p , w p wa x , y )( 一 7 ) 当 x i s a ，且模糊关系的合成运算采用 “ 极大极小”运算时，模糊推理的结 论计算如下; ; ， 一 ， ， 。 一 j .r x ( p a( - ) a ( p , (x ) f 1e (y ) )i y 1 一 1 8 ) 3 . t a k a g i- s u g e n o 型 模糊 推 理 算法 与其它类型的 模糊推理方法不同， t s 型模糊推理将去模糊化也结合到模糊推理中， 其输出为精确量。零阶t s 型模糊规则具有如下形式: i f x i s a , y i s b t h e n z = k 其中，k 为常数。而一阶s 型模糊规则的形式如下: i f x i s a , y i s b t h e n z = p * x + g * y + r 上 式中，p9 ， 均为常数。 对于一 个由n 条 规则 组 成的t s 型模 糊推理结 构， 设 每条规 则 具有下面的形式: 倾 _ 学位论义模糊神经网络建樱与 结构优化7 1 究 r ， : i f x i s 孔, y i s 几t h e n 则系统总的输出用下式计算: z=2 ( i = 1 , 2 ， 二 ， n ) ， 一 艺 几 .u a op ( y a / l r 几 l,- a, ( , ) p , ( y ) ( 1 一 1 9 ) 1 . 2 神经网络 1 .2 . 1神经网络的历史发展概况 上个世纪4 0 年代早期人工神经网络开始了最初的发展，5 0 年代至 7 0 年代人工神经 网络的研究不断的经历了低潮和高潮， 至8 0 年代人工神经网络的研究再次进入高潮， 获 得 了 突飞猛进的进展。 1 9 4 3 年m c c u l l o c h 和p i t t s 建 立了 第一个 神经网 络数学 模型， 后来被称为m - p 模型 2 2 1 利用这种数学模型mc c u l l o c h 和p i t t s 说明任何逻辑函数都能用一个由互连数字神经元组 成的人 神经网络构造出来，缺点是这种网络没有学习能力。1 9 4 9 年d o n a l d h e b b 推出 了 一 种新的学习 规则一 h e b b 规则12 ; 1 , h e b b 规则的内 容为: 如果两个神经元同 时兴 奋， 则 它们之间的突触连接加强。 1 9 5 7 年， f r a n k r o s e n b l a t t 通过增加学习机制而使m - p 模型推广成为感知机(2 4 1第一 次是神经网络的 研究进入工程实践领域，由 于它具有可学习性、分布式存储和连续计算 等特性，引起了众多学者的关注，并由此推动了神经网络研究的第一次高潮 - 从6 0 年代末至7 0 年代神经网络研究进入了低潮期，这主要是由于数字计算机技术 和以逻辑推理为基础的人工智能正处于迅速发展的时期，从而使人们失去了对神经网络 研究的关注和兴趣。 这段时期神经网 络研究也取得了 一些成果， 如美国学者s .a . g r o s s b e r g 提出 了自 适 应 共 振理 论 ( a d a p t iv e r e s o n a n c e th e o r y ) : 芬 兰 学 者t .k o h o n e n 提出 了自 组 织 映 射理 论;日 本学者k . f u k u s h i m a 提出了 认知机 ( n e o c o g n i t r o n ) 模型 等， 这些理 论都 对 后来神经网络的研究和发展起了 很大的推进作用。 8 0 年代由于基于数理逻辑计算的人工智能理论在处理智能信息问题上受到挫折，同 时具有秉性和分布机制的人工神经网络的研究成果以及神经脑科学研究成果的推动， v l s i 技术和光电技术的发展都成为神经网络的实现提供了可能， 从而使神经网络的研究 弓 起了 众多 学科领域的关注。 美国 加州理工学院生 物物理学家j .j . h o p f i e l d 于1 9 8 2 年提 出了一种新的神经网络模型，它在这种神经网络的研究中首次提出了能量函数的概念， 并给出了网络的稳定性判据。 1 9 8 4 年h o p f i e l d 提出了 用运算 放大器实 现神经元的网 络模型电 路， 为 神经网 络的 硬 件实现打下了基础。1 9 8 4年 h i n t o n等人将模拟退火算法引入到神经网络中 ( b o lt z m a n ? i 学位论文 模糊a i l k , ax 1 络建模i i 结构优化研究 机网络模型) ，为解决神经网络优化计算局部机制的问题提供了一条有效的力 一 案。1 9 8 6 年d . f. . r u m e l h a r t 和j .l .m c c l e l l a n d 提出了 误差反向 传播学习算法 b p 算法， 从而解决 了多层前向神经网络的学习问题0 1 9 8 7 年美国专家r .h e t c h - n i e l s e n 提出了 对反向传播神 经网 络 ( c o n u t e r p r o p a g a t i o n ) o 1 9 8 8 年美国 加州大学的l .o . c h u a 等提出了 细胞神经网 络 模型。 进入9 0 年代后神经网络的研究在网络结构、算法、分析能力、 稳定性等各个方面都 取得了大量的研究成果，其应用也己渗透进各个领域。 1 .2 .2神经网络的基本概念 神经网络的结构和性能是山神经元、网络结构和学习规则