（计算机应用技术专业论文）基于现代优化方法的模糊神经网络设计研究.pdf

西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 基于现代优化方法的模糊神经网络设计研究1 计算机应用技术专业硕士研究生肖丽 指导教师刘光远教授 摘要 模糊神经网络系统作为模糊系统与神经网络的结合一方面弥补了纯模糊逻辑在学习方 面的缺陷，另一方面，使得神经网络这一“黑箱”问题走向透明化。由于汇聚了神经网络和 模糊系统各自的优点，近年来，模糊神经网络已经成功应用到时间序列预测、智能控制、生 物医学、模式识别、数据挖掘等多个领域。 目前，模糊神经网络的应用研究主要集中在用神经网络的结构完成模糊系统的功能，即 进行网络的构造并借助神经网络的学习能力来提取模糊规则，使之完成相应的任务。因此在 模糊神经网络的研究中，如何针对实际问题进行有效的模糊神经网络优化设计，即如何恰当 的确定模糊神经网络的规则条数和每条规则的参数以便利于神经网络实现模糊输入、模糊推 理、网络中的传播和最终结果的理解等已经成为应用模糊神经网络所面临的关键性问题。 2 0 世纪8 0 年代出现的模拟退火算法、遗传算法等为开端的现代优化方法，是 ；上优化问 题中的难解问题为主要应用对象。由于这些方法不要求目标函数连续可微、对计算数据的不 确定性有很强的适应能力、且具有灵活性好、直观性和随机性强等特点。因此在很短的时间 里就得到广泛应用，成为解决优化问题的一种有力工具，并展示出方兴未艾的强劲发展势头。 禁忌搜索算法( t a b us e a r c h ，t s ) 是一种极具特点的m e t a - h e u f i s t i c 算法。t s 通过引入 一个灵活的存储结构和相应的禁忌准则来避免迂回搜索，并通过藐视准则来赦免一些被禁忌 的优良状态，进而保证多样化的有效探索以最终实现全局优化。算法最引人注目的地方在于 其跳出局部最优解的能力。 此外另一种新的基于群智能的全局优化算法粒子群优化算法( p a r t i c l es w a r m o p t i m i z a t i o n ，p s o ) 由k e n n e d y 和e v b e r h a r t 在1 9 9 5 年提出，主要用于解决连续函数优化 问题。由于其简单、有效的特点，粒子群优化算法迅速受到各领域学者们的广泛关注。 由于禁忌搜索算法和粒子群优化算法是两个典型的基于个体智能和群智能的现代优化 方法，而模糊神经网络的优化设计也可以转换成一个组合优化问题。所以本文在对两个算法 进行分析总结的基础上，主要开展了以f 三个方面的工作： 本文受教育部科学技术重点项目( 1 0 4 2 6 2 ) 和重庆市科委基金项目( 2 0 0 3 7 8 8 1 ) 的资助。 西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 ( 1 ) 提出了一种基于模糊神经网络的混合禁忌搜索算法( f n n h t s ) ，用于网络结构和参 数的同时优化以自动获取一组精练的模糊规则。 ( 2 ) 针对模糊神经网络初始结构和参数的确定往往需要专家经验的特点，提出了一种基 于禁忌搜索的模糊神经网络分类器设计算法( t s v n n c ) 应用于解决数据挖掘中的数据分类 问题。 ( 3 ) 针对粒子群优化算法集中性搜索能力不强、搜索精度不高的不足，提出了一种基于 自适应局部搜索的粒子群优化算法( p s o a l s ) ，以增强粒子群优化算法的局部搜索能力、提 高搜索效率。将p s o a l s 用于模糊神经网络的参数学习，井采用了著名的基准函数对算法 的性能进行测试。 通过本文的研究可以看出，将现代优化方法与模糊神经网络相结合而得到的混合优化策 略具有很好的性能。基于禁忌搜索的模糊神经网络设计方法能在系统较为复杂，专家经验不 易总结的情况下对系统进行建模，使模糊神经网络具有更紧凑的结构和更高的精确度：自适 应局部搜索粒子群优化算法不仅具有很强的全局搜索能力，而且在收敛精度和速度上有了明 显的提高。它不但在模糊神经网络参数学习中获得很好的训练精度，还具有一定的普遍适用 性，可以用来解决其它组合优化问题。 关键词：现代优化方法模糊神经网络禁忌搜索粒子群优化算法 i l 西南大学硕士学位论文 基于现代优化方法的模糊神经网络设计研究 r e s e a r c ho nf u z z yn e u r a ln e t w b a s e do nm o d e r no p t i m i z a t i o n m a j o r ：c o m p u t e r a p p l i c a t i o nt e c h n i q u e s u p e r v i s o r ：p r o f l i ug u a n g s u a n a u t h o r ：x i a oi a a b s t r a c t o r k d e s i g n t e c h n i q u e ( 2 0 0 3 7 2 5 ) a st h e m e r g i n g o f f u z z ys y s t e m a n dn e u r a l n e t w o r k , f u z z y n e u r a ln e t w o r k ( b 2 q n ) c o m p e n s a t e sf o r t h es h o r t c o m i n go fl a c ko fl e a r n i n gc a p a b i l i t i e so ft h ep u r ef u z z ys y s t e m ， b e s i d e s i tm a k e st h en e u r a ln e t w o r kw 沛“b l a c kb o x 竹a t t r i b u t et r a n s p a r e n ta n di n t e r p r e t a b l e 。 b e c a u s eo fc a p i t a l i z i n go nt h es t r e n g t h so ff u z z ys y s t e ma n dn e u r a ln e t w o r k ，d u r i n gt h ep a s t c o u p l eo fy e a r s ，f n nh a se m e r g e da s o n eo ft h em o s ta c t i v ea n df r u i t f u lw a yi nt h ef i e l d so f i n t e l l i g e n tc o n t r o l ，p r e d i c t i o no ft i m es e r i e s ，b i o m e d i c i n e ，m o d e l i n g , d a t am i n i n ga n d o n t h em a i nr e s e a r c h o ff f i ni st oa p p r o x i m a t eap r o c e s so ff u z z yi n f e r e n c et h r o u g ht h e s i i c h mo fn e u r a ln e t w o r k ，n a m e l y , i ti st ob u i l das t a n d a r dn e u r a l n e t w o r k ，w h i c hi su s e dt o e x t r a c tf u z z yr o l e sw i t ht h el e a r n i n gc a p a b i l i t yo fn e u r a ln e t w o r ks o a st oa c c o m p l i s hv a r i o u s t a s k s s ot h ep r o b l e m sw ea r eo f t e nc o n f r o n t e di nf n nm o d e l i n gi st h eo p t i m a ld e s i g no ft h e s t r u c t u r ea n dp a r a m e t e r so fr q n t h a ti sh o wt oa p p r o p r i a t e l yd e c i d et h en u m b e ro ff u z z yr u l e s a n dp r e c i s e l yd e f i n et h ep a r a m e t e r so fe a c hr u l es ot h a ti t e f f e c t i v e l yi m p l e m e n t st h ef 唧 i n p u t ，f u z z yr e a s o n i n g , t h ep r o p a g a t i o ni nn e t w o r ka n dt h ei n t e q ，r e t a t i o no ff i n a lr e s u l t s b e g i nw i t ht h em e t h o d ss u c h g e n e t i ca l g o r i t h ma n ds i m u l a t e da n n e a l i n gi n1 9 8 0 s , m o d e m o p t i m i z a t i o nt e c h n i q u em a i n l yu s e df o rn p - h a r dp r o b l e m si no p t i m i z a t i o np r o b l e m s f o r t h a tt h e s em e t h o d sh a v en ou s ef o r t h ec o n t i n u i t ya n dd i f f e r e n t i a b i l i t yo ft h eo b j e c t i v ef u n c t i o n s , t h e yh a v es t r o n ga d a p t a b i l i t yf o rt h eu n c e r t a i nd a t aa n dt h et 随i 乜o fa g i l i t y , s t r o n gi n t u i t i v e n e s s a n dr a n d o n m e s s , t h e yh a v eb e e np u ti n t oa p p l i c a t i o n sb r o a d l yi nas h o r tt i m es oa st ob e c o m e a c t i v ea p p r o a c hf o rs o l v i n go p t i m i z a t i o np r o b l e m s t a b us e a r c hf f s ) a l g o r i t h mi sam e t a h e u r i s t i ca l g o r i t h m i sc a na v o i dc i r c u i ts e a r c h i n gb y u s i n gt h ef l e x i b l em e m o r ym e c h a n i s ma n dr e s p e c t i v et a b uc r i t e r i a a l s oa c c o r d i n gt o t h e a s p i r a t i o nc r i t e r i a , t sc a na s s o i ls o m eg o o ds o l u t i o ns t a t u sw h i c hi st a b u 。i nd o i n gs oi tc a ne n s u r e t h ed i v e r s i f i c a t i o ns e a r c ha n do b t a i nt h eg l o b a lo p t i m u m b e s i d e s ，a n o t h e rn e wm o d e mo p t i m i z a t i o nt e c h n i q u en a m e dp a r t i c l es w a r mo p t i m i z a t i o n 口s o ) ，i sp r o p o s e db yk e n n e d ya n de v b e r h a r ti n1 9 9 5 a sas t o c h a s t i co p t i m i z a t i o nt e c h n i q u e i 兰堕茎兰堕主兰竺堡苎 董三墨垡垡些查鲨竺堡塑塑丝塑笪塑堡! 壅 b a s e do ns w a i i ni n t e l l i g e n c e ，p s oi si n i t i a l l yu s e df o rc o n t i n u o u s s p a c e b e c a u t sa n dp s oa d gt h et w o t y p i c a lm o d e mo p t i m i z a t i o nt e c h n i q u e sb a s e do n i n d i v i d u a l m e l l g e n c ea n ds w a r mi n t e l l i g e n c er e s p e c t i v e l y ，a n dt h ep r o b l e mo fo p t i m a ld e s i g nf o r f n nc a nb et r a n s f o r m e di n t oac o m b i n a t o r i a l o p t i m i z a t i o np r o b l e m t h i sp a p e rh a sm a i n l y f i n i s h e dt h ef o l l o w i n gt h r e er e s e a r c hj o b sb a s e do nt h ea n a l y s i so ft h i st w o a l g o r i t h m s ： ( 1 ) p r o p o s e dah y b r i dt sa l g o r i t h mb a s e do i lf u z z yn e u r a ln e t w o r k w h i c hw a si n v e s t i g a t e d f o ra u t o m a t i cg e n e r a t i o no ff u z z ym l e sb yo p t i m i z i n gt h es t r u c t u r ea n dp a r a m e t e r so ff n n s i m u l t a n e o u s l y ( 2 ) a i m i n ga tt h eu s u a lm e t h o df o rd e c i d i n gt h ei n i t i a ls t r u c t u r ea n dp a r a m e t e r so ff n n d e p e n d so ne x p e r tk n o w l e d g e ，p r o p o s e daa u t o m a t i cd e s i g oa l g o r i t h mo ff n nc l a s s i f i e rb a s e do n t s ，w h i c hi su s e df o rc l a s s i f i c a t i o np r o b l e mi nd a t am 协i n 吕 ( 3 ) f o rt h a tt h el o c a ls e a r c ha b i l i t ya n da c c u r a c yo fp s oi s n tg o o d w ep r o p o s e dah y b r i d p s ob a s e do na d a p t i v el o c a ls e a r c h ，w h i c ha d dt h ea c c u r a t el o c a ls e a r c ho p e r a t o rt ot h es t r o n g g l o b a ls e a r c ha b i l i t yo fp s o t h eh y b r i da l g o r i t h mi su s e da st h el e a n i n ga t g n r i t h mo ff n n p a r a m e t e r s , a n df l l r t h e ri t sp e r f o r m a n c ei sv a l i d a t e d m a n yf a m o u sb e n c h m a r kf n n 商o n s f r o mt h er e s u l t so ft h er e s e a r c h e sg i v e ni n t h i s 牟l p e r c o m b i n i n gt h ef h na n dm o d e m o p t i m i z a t i o nt e c h n i q u e a c h i e v ee x c e l l e n tp e r f o r m a n c e t h ed e s i g nf o r 舳b a s e d i s b eu s e df o rm o d e l i n gw h e nt h es y s t e mi sc o m p l e x a n di su n e a s yt os u m m a r i z ee x p e r tk n o w l e d g e h y b r i dp s ob a s e do na d a p t i v el o c a ls e a r c hh a v es t r o n gg l o b a ls e a r c ha b i l i t yw h i l ei m p r o v i n gt h e c o n v e r g e n c e 耳”c da n da c e u r a c ys ot h a ti tc a r lb eu s e di nv a r i o u sf i e l d s k e yw o r d s ：m o d e r no p t i m i z a t i o nt e c h n i q u ea s w m m o p t i m i z a t i o n ：a l g o r i t h m 独创性声明 y9 0 1 9 7 学位论文题目：基王狸岱优毡虚造数搓捆控丝圈垒遮盐珏窥 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得西南大学或其他教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 学位论文作者：魄确签字日期：2 0 0 6 年坤月珂日 学位论文版权使用授权书 本学位论文作者完全了解西南大学有关保留、使用学位论文的规 定。有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅。本人授权西南大学研究生院可以将学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书，本论文：口不保密， 口保密期限至 年月止) 、，切 学位论文作者签名：删，、导师签名：莎。乏l 签字日期：2 0 0 6 年午月z7 日签字日期：力以年月乞夕日 学位论文作者毕业后去向： 工作单位：重鏖熬宣堂睦电话： 通讯地址：邮编： 西南大学硕士学位论文 基于现代优化方法的模糊神经网络设计研究 1 1 引言 第一章绪论 当今社会是信息化的社会，科学技术已经进入多学科互相交叉、互相渗透、互相影响的 时代。这一点，在以计算机科学与技术为核心的信息科学领域显得尤为突出。随着人们所面 临问题复杂性的日益增加，基于严格和精确的数学模型描述基础上的传统理论方法的分析与 综合技术往往显得无能为力。基于此，从2 0 世纪8 0 年代以来人们提出了现代优化方法的思 想，从最初的人工神经网络、混沌、遗传算法、进化规划、模拟退火算法、禁忌搜索算法到 最近的蚁群算法、粒子群优化算法、差分演化算法、人i z l 迁移算法等等。这些算法的思想和 内容涉及生物进化、人工智能、数学、物理科学、神经系统和统计力学等多个方面，都是基 于一定的直观基础而构造的算法。由于这些方法独特的特点和机制，为人们解决复杂问题提 供了新的思路和手段，因此引起了国内外的学者的重视，并很快掀起了该领域的研究热潮。 在现代优化方法的研究和应用中，不同优化方法之间相互结合的混合优化策略研究已经成为 一个热点研究方向。 众所周知，神经网络具有并行计算、分布式信息存储、容错能力强以及具备自适应学习 等一系列的优点。但一般来说，神经网络不适合表达基于规则的知识。在神经网络训练时， 由于不能很好地利用先验知识。是一个“黑箱”结果，因此它的结构难以得到台理的物理解 释，这是神经网络的不足。另一方面，模糊系统是以模糊逻辑为基础，通过模仿人类思维的 模糊综合判断推理来处理问题的信息处理方法。它用模糊集表示语言和结构化的知识，然后 由这些知识出发。完成基于规则的一系列推理，晟后得到结论。这些都是模糊系统的显著优 点。但是，模糊逻辑系统缺乏学习和自适应能力。往往需要专家针对具体问题给出一些必要 知识。模糊规则的获取也有一定的困难。 神经网络的研究者们试图在模拟感知、认知、自动学习等方面向前一步使人工智能更 接近人脑的自组织和并行处理等功能。然而单纯的研究神经网络来实现这一价值是很困难 的，所以必须把其它智能科学同对神经网络的研究有机地结合起来。由于模糊逻辑和神经网 络都不依赖于精确的数学模型，又都是处理不确定性非线性等问题的有力工具因此两者 有着天然的联系。自然人们想 咐g 它们有机的结合起来可以得到一个更为有效的工具模 糊神经网络系统。模糊神经网络作为模糊逻辑与神经网络的结合，一方面弥补了纯模糊逻辑 西南大学硕士学位论文 基于现代优化方法的模糊神经网络设计研究 在学习方面的缺陷，另一方面。使得神经网络这一“黑箱”问题走向透明化。模糊神经网络 不需要对象的准确模型，它以分布的方式存储信息利用网络的拓扑结构和权值分布实现非 线性映射，在神经网络框架下引入模糊规则使网络中的权值有明显的意义。迄今为止，模 糊神经网络已经在时间序列预测、智能控制、生物医学、模式识别、数据挖掘及模糊聚类等 领域得到了广泛的应用。 通常所说的模糊神经网络分为两类，一是神经网络的模糊化，是把模糊集合的概念引入 到神经元的计算的模糊神经网络，二是模糊系统的神经网络化即用神经网络的结构完成模 糊系统的功能，并利用神经网络完成规则的提取和调整。目前对模糊神经网络的应用研究主 要集中在后者，即进行网络的构造并借助神经网络的学习能力来提取模糊规则，使之完成相 应的任务。因此在模糊神经网络的研究中如何针对实际问题进行有效的网络优化设计即 如何构成良好的网络结构，并找到一组参数的组合也就是如何恰当的确定模糊神经网络的规 则条数和每条规则的参数以便利于神经网络实现模糊输入、模糊推理、网络中的传播和最终 结果的理解等已经成为应用模糊神经网络的所面临的关键性问题。大量的专家学者已经研究 出了很多有效的方法最常用的一种方法就是首先进行使用聚类、专家经验、相似性分析等 方法确定网络结构，然后再普遍采用b p 算法对参数进行调整。 然而随着模糊神经网络在各领域的成功应用。系统的复杂性与所要求的精确度之问的矛 盾变得越来越尖锐。因此越来越多的人把眼光投向现代优化方法与模糊神经网络的结合策 略，通过互相取长补短从而形成协作，产生出混合智能系统。目前遗传算法、模拟退火算 法等都已经被成功用于模糊神经网络的设计中。 相对于模拟退火和遗传算法，1 9 8 6 年，美国科罗拉多大学的科学家f r e do l o v c r 提出了 另一种全局优化算法禁忌搜索算法( t a b us e a r c h ，t s ) 。t s 是又一种搜索特点不同的 m e l a - h e u r i s t i c 算法。t s 通过引入一个灵活的存储结构和相应的禁忌准则来避免迂回搜索， 并通过藐视准则来赦免一些被禁忌的优良状态，进而保证多样化的有效探索以最终实现全局 优化。算法最引人注目的地方在于其跳出局部最优解的能力。禁忌搜索与遗传算法和模拟退 火算法最大的不同在于，后两者不具有记忆能力。迄今为止，禁忌搜索在组合优化中的应用 领域非常广阔，如调度问蹶、旅行商问题( t s p ) 等经典问题，此外还被应用到图分区、频 带分配、0 1 背包、时间表设计、电力系统设计、聚类问题等。大量的研究表明禁忌搜索 算法具有模拟退火、遗传算法等智能优化算法相当的性能甚至更为优越。 此外，另一种新的基于群智能的全局优化算法粒子群优化算法( p a r t i c l es w a r m o p t i m i z a t i o n ，p s o ) 自1 9 9 5 年由k e n n e d y 和e v b e t h a r t 提出后，迅速受到各领域学者们 2 西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 的广泛关注。粒子群优化算法是一类基于群智能的随机全局优化技术，主要用于解决连续函 数优化问题，目前已经成功应用到复杂优化问题、神经网络训练、工业系统优化等领域。但 是由于粒子群优化算法提出不久，还不够完善，所以其值得研究改进的地方还很多。 由于禁忌搜索算法和粒子群优化算法是两个典型的基于个体智能和群智能的全局优化 算法而模糊神经网络的优化设计也可以转换成一个组合优化问题。所以本文在对两个算法 进行分析总结的基础上，分别对两者在模糊神经网络设计中的结构和参数学习问题进行了研 究。首先将禁忌搜索算法作为模糊神经网络的优化设计算法，用于同时优化网络的结构和参 数。进一步提出了无需专家经验的基于禁忌搜索的模糊神经网络分类器自动设计算法，应用 于解决数据挖掘中的数据分类问题。然后，对粒子群优化算法进行研究和改进。提出了白适 应局部搜索的粒子群优化算法，将其作为模糊神经网络的参数学习算法，最后通过多维高峰 函数优化问题来验证算法的性能。 1 2 研究现状 在1 1 节中，我们已经谈到，应用模糊神经阿络到各领域的关键在于如何有效地进行模 糊神经网络的优化设计，一直以来，许多专家学者都致力于这项研究，并提出了很多有效的 方法。由于基本的模糊神经网络的优化设计包括结构和参数两个方面，因此根据学习目标的 不同。可以将模糊神经网络学习算法分为以下三类： ( 1 ) 结构学习 结构学习是确定模糊神经网络各层的节点致以及层与层之闻的连接，从而确定模糊规则 的具体形式。具体算法主要有各种聚类方法如模糊d 匀值聚类、减法聚类、k - m e a n 聚类、 由蚁群算法得来的蚁群聚类法【1 】、租糙集方法【2 】、相似性分析法1 3 1 【4 】和快速构造法【5 】【6 】 等。由于遗传算法、进化算法等不要求目标函数可微，随机性强，由此通常能产生乐观的看 法，即认为它们是“全局优化器”，理论上它们的随机性保证了在给予足够的计算时间内得 到最优解的概率非零，因此也被用于结构学习【7 】【8 】【9 1 。 ( 2 ) 参数学习 对模糊神经网络的参数进行学习，即可以把参数学习看作是一个组合优化问题，就是找 到一组参数的组合使得目标函数在此组合下晟小。这里又可以分为基于导数的优化方法和非 导数优化方法。最陡下降法和共轭梯度法与误差反传算法的结合是基于导数优化方法中的主 要算法；非导数优化方法包括遗传算法 1 0 、模拟退火算法 1 1 、免疫算法 1 2 】，随机搜索 3 西南大学硕士学位论文基于现代优化方法的模期神经网络设计研究 算法和下山单纯型算法以及近年来取得飞速发展的粒子群优化算法。此外，混合的菲导数优 化方法如免疫遗传算法 1 3 1 4 以及导数和非导数优化的组合学习方法也得到广泛研究，如 遗传算法与b p 算法的结合【1 5 】，蚁群算法与b p 算法的结合 1 6 1 等。 ( 3 ) 混合学习 混合学习即是在学习过程中，动态地进行结构调整的同时对参数进行学习，具体算法包 括用改进c p n 网络实现法、基于模糊基函数的o l s 法【1 7 】，增强学习法【1 8 】，训练剪枝法、 动态构造法【1 9 】和自组织网络法【2 0 】【9 】等。在与其它现代优化算法的结合中，目前使用最多 的是将遗传算法是作为模糊神经网络结构和参数的同时学习方法1 2 a 1 1 2 2 1 。 除结构和参数同时学习的混台学习方法外通常来讲。模糊神经网络的设计策略是先通 过结构学习确定出神经网络的结构再采用参数学习算法确定模糊系统的未定参数。 1 3 研究意义 由于模糊神经网络性能在很大程度上受网络结构的制约，一个拥有大量模糊规则的模糊 神经网络，不仅在学习速度和精确发受到冗余信息的影响，还往往与一个“黑箱”神经网络 没有多大的区别，严重的妨碍了人们对整个系统更好的了解。所以在模糊神经两络设计时。 如何构成良好的网络结构，并找到一组参数的组合也就是如何恰当的确定模糊神经网络的规 则条数和每条规则的参数以便利于神经网络实现模糊输入、模糊推理、网络中的传播和最终 结果的理解成为众多学者一直致力研究的问题。虽然目前已经提出了很多有效的方法，但是 一些使用广泛的学习算法已经证明存在不足，如b p 算法虽然具有简单等特点但它是基于 梯度的方法因而收敛速度慢且常受到局部最小点的困扰。遗传算法控制效果好，然而也 有自身参数选择困难，易早熟等缺点，粒子群优化算法简单快速，但却也存在着精度较低 易发散等缺点。所以人们一直在致力于研究种更有效的模糊神经两络优化设计算法。 禁忌搜索算法和粒子群优化算法是两种典型的现代优化方法，它们和模糊神经网络都具 有极强的解决问题能力，将两者有机的结合并应用于数据挖掘领域是一项很有意义的研究。 i s 作为一种有效的全局寻优算法只使用评价函数，不要求目标函数可微，具有简单、通 用等特点同时由于 i s 局部搜索能力强的优势，能有效避免b p 算法和遗传算法的上述缺 点。但是作者在资料学习时发现，将禁忌搜索应用到模糊神经网络优化设计的研究却非常鲜 见。仅有的也只限于模糊神经网络的参数学习。所以对禁忌搜索算法进行改进，将其作为模 糊神经网络的结构和参数的学习算法必能促进模糊神经网络的发展，也同时拓宽了禁忌搜索 4 西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 算法的应用领域，在工程应用上也具有一定的意义。同时作为一种快速高效的新的群智能进 化计算技术，p s o 算法由于受随机振荡现象的影响。往往搜索精度不高，在全局最优值附 近需要较长的搜索时同才能最终达到收敛。因此考虑如何增强粒子群算法的局部搜索能力以 提高搜索精度，改善传统p s 0 算法的求解收敛率和解的质量，对p s 0 解决神经网络训练、多 峰函数优化、模糊系统控制等问题有重要的理论和实际意义。 1 4 本文的具体工作及内容安排 本论文的具体工作包括： ( 1 ) 把模糊神经网络的结构和参数的同时优化转换为一个组合优化问题，提出了一种 基于模糊神经网络的混合禁忌搜索算法( f n n 椰) 。以非线性函数逼近和动态系统辨识 为例。研究了混合禁忌搜索算法的可行性。 ( 2 ) 针对模糊神经网络初始结构的建立往往需要专家经验的不足，提出了一种基于禁 忌搜索的模糊神经网络分类器自动设计算法( 俺d m c ) ，应用于解决数据挖掘中数据分 类问题。 ( 3 ) 针对粒子群优化算法集中性搜索能力不强、搜索精度不高的不足，提出了一种基 于自适应局部搜索的粒子群优化算法0 s o a l s ) 用于模糊神经网络的参数学习。同时采用 了大量著名的基准函数对算法的性能进行测试，并与其它已有粒子群算法进行了比较。 与具体工作相对应，本文的内容安排如下； 第一章是绪论部分，阐述了在信息化浪潮席卷全球的时代背景下，模糊神经网络的研究 现状，介绍了将禁忌搜索算法以及粒子群优化算法引入到模糊神经网络优化设计中的研究意 义。第二章，主要介绍模糊神经网络的理论基础。蔡忌搜索和粒子群优化算法的基本思想。 在第三章中，分别详细阐述t f i 州- h r s 和r 谢稍n c 算法的关键技术，并给出相应的非线性 函数逼近、动态系统辨识以及使用m i s 数据集进行性能测试的实验结果。第四章，着蘑探讨 t p s o a l s 算法的构造以函数逼近实验为例，研究了将p s o a l s 作为模糊神经网络的参数 学习算法的有效性。此外，采用了著名的基准函数对算法的性能进行测试，并与其它已有粒 子群优化算法进行比较。第六章对全文进行了总结，并提出了对未来研究工作的展望。 5 西南大学顶士学位论文基于现代优化方法的模糊神经网络设计研究 第二章模糊神经网络及两种优化方法的基本原理 前一章讲述了模糊神经阿络优化设计在应用中的重要地位，井对禁忌搜索和粒子群优化 算法做了概括介绍。为了更好的在后续章节中胡述本文的研究工作木章将介绍模糊神经网 络的理论，包括模糊推理系统和人工神经同络的基本知识，以及禁忌搜索和粒子群优化算法 的基本思想和关键技术。 2 1 模糊神经网络 模糊系统和神经网络各有自己的优势。前者抓住了人脑思维韵模糊性特点，在描述高层 知识方面有其长处，可以模仿人的综合推断来处理常规教学方法难以解决的模糊信息处理问 题；后者则以生物神经网络为模拟基础，试盈在模拟黪知、认知、自动学习等方面向前一步， 使人工智能更接近人脑的自组织和并行处理等功能然而单纯的研究神经同络来实现这一价 值是根困难的。模糊神经同络就是在这一背景下产生，作为模糊逻辑与神经网络的结合，它 能有效的发挥各自的长处并弥补其不足，集学习、联想、识别、自适应及模糊信息处理于一 体，由此而构成自适应的模糊系统。 2 1 1 模糊推理系统 模糊推理系统以模糊集台理论、模糊规则和模糊推理等概念为基础，其结构如图z 1 所 示模糊推理系统包括模糊化、模糊推理、去模蝴化三十部分。 ：一。! 图2 , 1 模糊推理系统的结构 p 自巫少y 6 西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 模糊化是对模糊推理的输入做前处理，使模糊推理的输入为模糊值。模糊推理是模糊系 统的核心部分，完成按照一系列模糊规则和某个推理机制进行推理，得出模糊结论的过程。 去模糊化是对模糊结论做后处理，得出精确的输出。应该注意的是，模糊推理系统的输入既 可以是模糊值也可以是精确值( 模糊单点) ，经过模糊推理得出的输出基本都是模糊集合。 有时为了应用的需要，对模糊推理得出的输出再进行去模糊化的处理，就得到了精确值。 目前在各种应用中广泛采用的模糊推理系统主要有三种：m 赫跏i 模糊模型n k a 掣 - - s u g e n o 模糊模型，t s u k a m o t o 模糊模型 2 3 1 。这三种模糊推理模型的区别主要在于它们的 模糊推理规则有所不同。 ( 一) u a m d a n i 模糊模型 m a m d a n i 模糊模型的典型模糊规则形式为： r ：i fji saa n dyi sb ，t h e nzi sc a 、b 和c 分别为输入变量x 1y 和输入变量z 的模糊集合。m a m d a n i 模糊模型的规则 前件和后件都是使用模糊变罱，图2 2 说明了当有两个精确输入x 和y 时，有两条规则的 m a m d a n i 模糊模型如何得到最终的输出z 。它选用极大和代敛积作t 范式和t 协范式算子， 采用极大一乘积复台而不是极人一极小复合。 t只 p-c i 一l i 、 i 厂 t l 组 zr 卢 “f 爷 i l 1 b l j z y f j ， 十j 图2 2t 范式和t 协范式分别用m i n 和m 旺算子的m a m d a j d 模糊推理系统 从图中我们可以看出，m a m d a n i 模糊模型的输出是模糊集合还必须将输出的模糊值 通过去模糊化转化为精确值才好在具体实际中应用。通常有五种对模糊集合进行去模糊化， 即从模糊集合中抽取精确数值的方式分别是面积中心法、面积等分法、极大平均法、极大 最小法和极大最大法。 7 西南大学硕士学位论文基于现代优化方法的模糊神经网络设计研究 ( = ) t a k a g i - - s u g e n o 模糊模型 t a k a g i - - s u g e n o 模糊模型的模糊规则形式为： r ：i fzi saa n dyi s 日t h e n ：i sc ，t h e nz = ，o ，y ) 其中a 和b 是规则前件中的模糊集合而z = ，o ，y ) 是规则后件中的精确函数。通常 z 一，0 ，) 是输入变量x 和y 的多项式。但是只要它能在由规则前件指定的模糊区域中恰 当描述模型的输出，则它可以是任意函数。一般当，o ，】，) 是关于变量x 和y 的一阶多项式 时，所产生的模糊推理系统被称为一阶t - s 模糊模型，当，是常数时就得到了零阶的t - s 模糊模型。它可以看作是m a m d a a i 模糊模型的特例。其中每条规则的后件由一个模糊单点 表示；或者视为t s u k a m o t o 模糊模型的一个特例，其中每条规则的后件由以中心为常数的阶 梯函数的m f 来确定。图2 3 是一个一阶t a k a g i - - s u g e n o 模糊推理模型的模糊推理过程。由 于每条规则都有一个精确输出，通过加权平均就可以得到整体输出，从而避免了m a m d a n i 模型所需的去模糊化过程。实际上，加权平均算子有时可以被加权和算子代替，以便进一步 减少计算量，特别是对模糊推理系统的训练中。但是，这一简化可能会导致m f 语言含义的 丢失，除非激励强度之和接近1 。 z l - p 1 x + q l y + z 1i p 2 耳+ 口2 y + ，2 眇权平均 z 型止坠刍 1 + 图2 3 具有两个输入变量、两模糊规则的t - s 模糊推理模型 ( - - ) t s u l 口m o t o 模糊模型 在t s u k a m o t o 模糊模型中，每个模糊i f 4 h e n 规则的后件由具有单调隶属函数的模糊集 合表示，如图2 4 所示。因此每条规则所推出的输出定义为由规则的激励强度导出的精确 数值，整体输出取各规则输出的加权平均。由于该模型没有前两个模型那么透明，故不常用。 8 西南大学硕士学位论文 基于现代优化方法的模糊神经网络设计研究 z 。堡墨! 堡垒 1 m + 职 图2 4 t s u k a m o t o 模糊模型 在上述模型中，规则数的确定是一个需要研究的问题。根据实际应用问题的需要和对问 题已有的知识，可以凭借经验确定规则数。把白变量的输入空间进行格栅划分，也是一种常 用的确定规则数的方法。若系统规则数的确定是把白变量的输入空问进行格栅划分每个区 域对应一条规则，那么如果系统共有m 个输入分量，每个输入分量在其论域上有个模糊 划分，进行格栅划分，共得到，r 2 ，个区域，所以共有r 一 r 2 r 卅条规则。 2 1 2 人工神经网络 人工神经网络是由大量简单的处理单元，称为人工神经元，广泛的互相连接而组成的复 杂网络，是能够进行并行功能推理、复杂的逻辑操作和非线性关系实现的信息处理系统。 ( 一) 人工神经元模型 人工神经元是构成神经网络的基本处理单元一般为多个输入，一个输出的非线性单元， 并且可以有多个模型，图2 5 是最典型的人工神经元模型。 该模型可以描述为： 图2 5 典型的人工神经元模型 9 西南大学硕士学位论文 基于现代优化方法的模糊神经网络设计研究 y ，2 厂。，其中s ，2 ，( 塞w 一鼍一b ) c z - ， 其中0 ，称为神经元阈值，”0 称为连接权系统，( ) 标识神经元的激励函数激励函数是 一个神经元及网络的核心，反映了神经元输入输出间的关系，不同的激励函数会形成不同的 网络，下面给出几种常用的激励函数： ( 1 )线性函数 y ；，( s ) = b ( 2 ) 符号函数 ( 3 )阶跃函数 ( 4 ) 双曲函数 s 苫0 s 和式( 2 1 7 ) 对每一个粒子的速度和位置进行更新； s t e p 4 ：检验是否符合结束条件：如果当前的迭代次数达到了预先设定的最大次数( 或达到 最小错误要求) ，则停止迭代，输出最优解，否则转到s t e p 2 。 2 3 2p s o 算法的改进 由于其简单、有效的特点，p s o 受到众多学者的重视和研究。但是虽然p s o 收敛快，特 别是在算法的早期，却也存在着精度较低，易发散等缺点，在搜索后期收敛速度明显变慢， 同时算法收敛到一定精度时，无法继续优化。所以广大学者都致力于提高p s o 算法的性能的 研究中，几种比较显著的方法如下： ( 一) 线性下降w 法 文献 3 5 研究了惯性因子w 对优化性能的影响。发现较大的w 有利于跳出局部极小， 而较小的w 有利于算法收敛，因此提出了白适应调整w 策略，即随着迭代的进行，线性地 减小w 的值，w 的计算公式如下： w 。( w 1 一w ) 。m