（控制理论与控制工程专业论文）粒子群优化算法的理论及实践.pdf

浙江大学博士学位论立 摘要 优化是人们在科学研究、工程技术和经济管理等诸多领域中缀常碰到的问 题。其疆酶是找到健嗣标函数达瓤最小或最灾妁条辞。一般流行的净贯优证方法 如牛顿法、共轭梯魔法、模式搜索法、单纯形法、r o s e n b r o c k 法和p o w e l l 法是 在问题的螭域选取一个初始点，邂过迭代找到个极馕点。随着人类生存空间蛉 扩大以及认识与改造键界范围的拓宽，人类需要对客蕊世界的翘律督更全面深入 的理解，已有许多优化方法在处理人们所筒对的复杂问题时，如离维、多极点、 函数性鹱复杂等，在勰的精度，或者求鳃所需时闯等方驻，往往缀不姥令人满意。 因此高效的优化技术成为科学工作者的研究目标之一。 现代优化方法如人工神经网络、禁忌搜索、模拟退火、遗传算法和蚁群算法 等在瓣次阚题时展现出强大港熊，宅们可趁念理的时间肉逼近复杂对象阚题毂簸 优解。选擅算法涉及神经科学、人工智能、统计力学、攘物进优等概念，很多都 是以一定的自然现象作为基础构造的算法，麒中有一些称为智能优化算法。近年 来，另终一静募懿後亿算法粒子群优德簧法( p s o ) 逐渐成为学者关注抟磺 究方向之一。它的燕簧特点是简单、收敛涟廉较快，盥所需领域翔识少。尽管粒 子群优化算法发展近十年，但无论是理论还是实践都尚朱成熟。 本文萎走势板7 磅究粒子爨偿纯算法豹霪要塞义，搂蓑奔缨7 与p s o 硪究 有关的几个基础问题，包括优化的基本概念和分类方1 辕等。随后，从p s o 算法 的基本结构、算法特点、改进方法、实现横式及应用等方面做了较为系统的研究 工作。本文靛主要磺究残暴可麴貔懿下： ( 1 ) 相对于颇有成效的交际应用而害，对p s o 算法的基础邀论研究尚较滞 后。为更清楚的认识其内在机理，本文将粒子群优化过程看成一个动态系统的演 变，采瘸线挂亵教孵藏系统豹疆究方法霹p s o 算法豹牧敛牲作7 铃轭。进一步 又导出了简化p s o 算法的收敛条件，并以此条件对原始p s o 和标准p s o 进行定 性分析。还对特定初始条件下p s o 种群中粒子的轨迹进行了仿真观察。 ( 2 ) 算法参数跫影睫算法蠖簸积效率躲关键。本文归纳出了p s o 算法的圭 要控制参数，通过标准测试函数，对p s o 算法的参数选取迸行了较为细致的研 究，总结出了一些指导性规律。此外，还提出了一种自动选取控制参数的复合粒 子嚣侥传算法，该馨法逶耀予黠壤度要求较裹，嚣对葬重耀要求不是# 常严格翁阉 浙江人学博i 学位论文 蘧。还褥该算法痘籍到了重涵热勰模垂的参数售诗璃麓中，兹栗蠢好。 ( 3 ) 为克服p s o 在高维复杂问题寻优时仍有相当可能陷入局部极小的现 象，提出一种自适应粒子群优化算法。在算法进化过程中引入种群分布熵和平均 粒距掰个灏痘函数，调节算法静探溅和开笈麓力，达弼魏出届帮援枣点，获褥全 局最优的目的。种群分布熵表达种群中的粒子在搜索空f i ! j 各个区问的分布情况， 平均粒鼹滚达种群中套粒子相互之间的分稚离教程度。探测是指粒予在较大空间 范囤内嵩开原先酌寻优轨程，缡翻薪的方翔避行攫索：拜发赠指粒子在鞍小空闽 范围内继续原先的寻优轨程进行细部搜索。采用标准测试函数和x o r 神经网络 对算法测试表明，自滔应粒子群优化算法优化效率较越，稳健性强。 ( 4 ) 舒对p s o 葬法局部毽素麓力较嚣窝存在草熟收敛静褥联，本文提密将 模式搜索方法嵌入粒子群优化算法中，以此构建混合粒子群优化算法。此外，在 搜索过程中还加入变异操作来增加弛群多样性，以避免荦申群早熟收敛。其中，局 部援索增加了葬法的开发能力，丽变异操律提高了算法的探测能力。探溺与歼敏 的平衡则通过两个域值变量来完成。测试函数研究表明，混合粒子群优化算法局 部搜索熊力有显著掇裹，且有璺褒概率搜索到全局最优点。最后，还将这种混合 算法成功地应用到了硫化催纯袈化拐始工作条件的恍纯问题中，获得良好的缩 果。 ( 5 ) b p 神经隧络是用途最广泛鲍釉网络，毽它晦学习算法存在训练遴 度慢、翁陷入局部缀小和全蜀搜索能力弱等缺点。而p s o 不要求翻标函数其商 连续性，且它的搜索县有全局性和并行性，因此构建了一个用p s o 算法训练网 络投焦的迸化享串经嬲络摸型，势将这种建撰方法应用到苯己醮胺类农药的定量梅 效关系建模中，取得了满意的结果。 总之，论文对粒子群优化算法做了较为全面深入的分析和讨论，不仅提出了 多耪夺效瓣改进措藏，两且拓宽了萁应用领域。论文最蠢对所做工幸# 进行了总终， 并提出了迸一步研究的方向。 关键b , 7 ：两部接索、避仡算法、粒子群优化、收敛性分褫、建禳、参数佳计、避 化神经嗣络、混合算法、自适应、应用 l i 渐江大学博士学位论文 a b a t r a c t m a n ys c i e n t i f i c ，e n g i n e e r i n ga n de c o n o m i cp r o b l e m sn e e dt h eo p t i m i z a t i o no fa s e to fp a r a m e t e r sw i t ht h ea i mo fm i n i m i z i n go rm a x i m i z i n gt h eo b j e c t i v ef u n c t i o n t h et r a d i t i o n a ls e q u e n t i a lo p t i m i z a t i o nm e t h o d ss u c ha sn e w t o nm e t h o d ，r o s e n b r o e k m e t h o d ，p o w e l lm e t h o de t c ，k r eo f t e nw h 毽al o c a i s e a r c ha l g o r i t h mt h a ti t c r a t i v e t y r e f i n e st h es o l u t i o no ft h ep r o b l e m u n f o r t u n a t e l y , w i t ht h ee x t e n s i o no fh u m a n a c t i v i t i e s ，t h e s et r a d i t i o n a lm e t h o d se x h i b i t e dt h e i rw e a k n e s st od e a lw i t hc o m p l e x p r o b l e m s t h e yo f t e nf a i li nw o r l d n gu p o nm a n yr e a l - w o r l dp r o b l e m st h a tu s u a l l y h a v eal a r g es e a r c hs p a c e ，m u l t il o c a lo p t i m u m ，a n de v e na r en o tw e l l - d e f i n e d ， t h e r e f o r e , e f f e c t i v eo p t i m i z a t i o nm e t h o d sh a v eb e c o m eo n eo f t h em a i no b j e c t i v e sf o r s c i e n t i t i cr e s e a r e h e m m o d e r no p t i m i z a t i o nm e t h o d ss u c ha sa r t i f i c i a ln e u r a ln e t w o r k ，t a b us e a r c h ， g e n e t i ca l o r i t h ma n da n tc o l o n ya l g o r i t h me r e ，h a v es h o w nc a p a b i l i t i e so ff i n d i n g o p t i m a ls o l u t i o n st om a n yi 魂- v # o i z c o m p l e xp r o b l e m sw 4 t h i nar e a s o n a b l ea l l l o u n to f t i m e t h e s em e t h o d sh a v ef o r g e dc l o s et i e sw i t hn e u r a ls c i e n c e ，a l t i f i c a li n t e l l i g e n c e ， s t a t i s t i c a lm e c h a n i c s ，a n db i o l o g ye v o l m i o ne t c ，s o m eo ft h e ma r ec a l l e di n t e l l i g e n t o p t i m i z a t i o na l g o r i t h m s ，r e c e n t l y , p a r t i c l es w a r mo p t i m i z a t i o n ( p s o ) a l g o r i t h mh a s b e e ng r a d u a l l ya t t r a c t e dm o r ea a e n t i o no v e ra n o t h e ri n t e l l i g e n ta l g o r i t h m p s oi s s i m p l ei nc o n c e p tf e wi np a r a m e t e r s , a n de a s yi ni m p l e m e n t a t i o n ，h o w e v e r , b o t h t h e o r ya n da p p l i c a t i o no f p s o a r es t i l lf a rf r o mm a d m e s e v e r a la s p e c t so f p s os u c h a s b a s i c s t r u c t u r e ，c h a r a c t e r s ，i m p r o v e m e n ta n d r e a l i z a t i o na r es y s t e m a t i c a l l y d i s c u s s e di no u rw o r k t h em a i nc o n t r i b u t i o n s 蕊v e ni nt h i sd i s s e r t a t i o na r ea sf o l l o w s ： l ，t h ec o n v e r g e n c eo f p s ow a si n v e s t i g a t e di nd e t a i l sf o ru n d e r s t a n d i n gc l e a r l y t h ei n t e r n a lm e c h a n i s m s t h ec o n v e r g e n c ec o n d i t i o n sw e r ed e r i v e db a s e do nt h e s i m p l i f i e dv e r s i o no fp s o f u r t h e r m o r e , t h eo r i g i n a la n ds t a n d a r dp s o ( s p s o ) w e r e a n a l y z e db ya d o p t i n gt h e s ec o n d i t i o n s 飘l et r a c k so fp a r t i c l e si np s o w e r es i m u l a t e d i nt h es p e c i f i ci n i t i a lc o n d i t i o n s 2 + t h e r ea r eaf e wc o n t r o lp a r a m e t e r su s e di ne x e c u t i n gp s oa l g o r i t h m ，t h e e f f e c t so ft h e s ep a r a m e t e r so np s op a r f o m m a e ew a ss y s t e m a t i c a l l ys t u d i e d ，a r i dt h e g u i d e l i n eo fb e r e tc h o o s i n gt h e s ep a r a m e t e r sw a ss u m m a r i z e d i na d d i t i o n ，a c o m p o s i t ep a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m ，w h i c h d e t e r m i n e st h ec 6 h t r o l l l 渐江大学博士学位论史 p a r a m e t e ra u t o m a t i c a l l yw a sp r o p o s e d ，a n dt h en e wa l g o r i t h mh a sb e e na p p l i e d s u c c e s s f u l l yt ot h ep a r a m e t e re s t i m a t i o no f h e a v y o i lt h e r m a lc r a c k i n gm o d e l 3 t oo v e r c o m et h ew e a k n e s so fp r e m a t u r e r e g a r d i n gt h ep s 0u s e d i n m u l t i - m o d a lp r o b l e m s an e w a d a p t i v ep a r t i c l es w r l t no p t i m i z a t i o n ( a p s o ) a l g o r i t h m w a sp r o p o s e db ye m p l o y i n gt h en e g a t i v ef e e d b a c ks t r a t e g y o nt h eo n eh a n d ，t h e e x p l o r a t i o n h n d e x p l o i t a t i o na b i l i t y o ft h e a l g o r i t h m w e r e r e g u l a t e dt h r o u g h i n t r o d u c i n g t w oc r i t e r i ai nt h e e v o l u t i o n a r yp r o c e s s ， i e t h e p o p u l a t i o n - d i s t r i b u t i o n - e n t r o p ya n dt h ea v e r a g e - d i s t a n c e * a m o n g s t - p o i n t s ，t op r e s e r v e p o p u l a t i o nd i v e r s i t y o nt h eo t h e rh a n d ，d y n a m i ci n e r t i aw e i g h tv a r i e dw i t hp o p u l a t i o n d i v e r s i t yw a se m p l o y e dt oi m p r o v et h ec o n v e r g e n c es p e e d ，p r e l i m i n a r ye x p e r i m e n t s u p o nm u l t i m o d a lf i m c t i o ns h o w e dt h a t ，i nc o m p a r i n gw i t hs t a n d a r dp s o ，a p s oi s m o r ee f f i c i e n tt os o l v et h ep r e m a t u r ep r o b l e mw i t hh i g h e rg l o b a ls u c c e s s i v er a t ea n d a c c u r a c y , a n di sa l s og o 醴i nc o n v e r g e n c es p e e d f i n a l l y , t h en e wa l g o r i t h mh a sb e e n a p p l i e dt ot h ex o r c l a s s i f i c a t i o np r o b l e m ，a n ds a t i s f a c t o r yr e s u l t sw e r eo b t a i n e d 4 d u et ot h el o w e rl o c a ls e a r c ha b i l i t ya n dt h el a c ko fh i g h e rd i v e r s i t yo f p a r t i c l e si np s o ，a nh y b r i dp a r t i c l es w a r mo p t i m i z a t i o n 懋p s o ) w a sp r o p o s e d ，w h e r e t h eh o o k e - j e e v e sp a t t e r ns e a r c hi sc o m b i n e dt os t a n d a r dp s ot os p e 州u pt h el o c a l s e a r c h ，a l s om u t a t i o no p e r a t i o ni se m b e d d e dt oa v o i dt h ec o m m o nd e f e c to f p r e m a t u r e c o n v e r g e n c e t h ep e r f o r m a n c eo fh p s 0w a sd e m o n s t r a t e dt h r o u g he x t e n s i v e b e n c h m a r kf u n c t i o n sa n dc o m p a r e dw i t lt h o s eb yt h ep s o ，f i n a l l y , ad e t a i l e d a p p l i c a t i o no ft h el l e wa l g o r i t h mt oo p t i m i z et h eo p e r a t i n gc o n d i t i o n sb a s e do nt h e m o d e lo f a r t i f i c i a ln e u r a ln e t w o r ka n d s u p p o r tv e c t o rm a c h i n ew e r ep r e s e n t e d + 5 p s ow a sp r o p o s e dt ot r a i nn e u r a ln e t w o r k si n s t e a do ft r a d i t i o n a l b a c k - p r o p a g a t i o nm e t h o d ，t oe s t a b l i s haq u a n t i t a t i v es t r u c t u r e - a c t i v i t yr e l a t i o n s h i p s m o d e lf o rh e r b i c i d a ln - 0 - m e t h y l * 1 - p h e n y l e t h y l ) p h e n y l a c e t a m i d e s t h ec o m b i n a t i o n o fp s oa l g o r i t h m sc o a lh e l pt h en e t w o r k st oj u m po u tf r o mt h el o c a lo p t i m a lp o i n t s t h en u m e r i c a lr e s u l t ss h o w e dt h a tt ot r a i nn e u r a ln e t w o r k sb yp s oe x h i b i t sf a s t e r c o n v e r g e n c er a t et h a nt h eb a c k - p r o p a g a t i o nm e t h o da n dp r o d u c e sn e t w o r k sw i t h b e t t e rp r e d i c t i n ga c c u r a c y k e yw o r d s ：l o c a ls e a r c h ，e v o l u t i o n a r ya l g o r i t h m ，p a r t i c l es 、n no p t i m i z a t i o n ， c o n v e r g e n c ea n a l y s i s ，m o d e l i n g ，p a r a m e t e re s t i m a t i o n ，e v o l u t i o n a r y a r t i f i c i a ln e u r a ln e t w o r k s ，h y b r i da l g o r i t h m ，a d a p t i v e ，a p p l i c a t i o n 浙试大学博1 。学位论文 第一章绪论 1 1 研究背景翱课题意义 钱他楚令吉老麴漾题，它瑟磷究魏淘鬈怒在众多方嶷孛寻我最後方案。长蠲 以来，人计】对优化问题进行探讨和研究。早在1 7 世纪，英国n e w t o n 和德国l e i b n i t z 发明的微积分就蕴含了优化的内容。而法国数学家c a u c h y 则首次采用最速梯腱 下簿法解决无魏隶貔像窝蓬。爱来针对约束谯住翔嚣又挺蠢了l a g r a n g e 幕数滚 【l 2 。人们关于优化问题的研究工作，随着历史的发展不断深入。但是，任何科 学的进步都受到历史祭件的限制。直到二十世纪四十年代，由于科学技术突飞猛 遴缝发装，龙葵是藩逮鼗字诗算缀嚣盏广泛瘦耀，蓑蕊纯趣运静研究不仅戒凳 种迫切需鼹，而且有了求解的有力工具。因此，优化理论和算法迅逋发展起来， 形成- i 1 新的学科。掇今己出现线性规划、憋数规划、目e 线性规划、几何规划、 魂态撬鲻、篷撬蔑裁、甄终漉等诲多分支。遮整饶托按术在实际瘟臻中正发挥越 来越大的作用。 随着人类生存空间的扩大，以及认识世界和改造世界范围的拓宽，常规优化 方法蟊牛顿法、共轭裙囊法、模式援索法、肇缝形法、r o s e n b r o c k 法移p o w e l ! 法已经无法处理人们所面对的复杂问题，因此高效的优化算法成为科学工作者的 研究目标之一。 二千毽纪j 卡掣代数来，一麓薪籁朗铙纯舞法褥蓟了遮速蓑袋。人工褥羟溺 络( a n n ) 在一定程度上模拟了人脑的组织结构 ”】；遗传算法( g a ) 借鉴了自 然界优胜嬲汰的进化愿想1 1 2 - 1 4 ；蚁群算法( a c o ) 受启发于自然界蚂蚁的寻径方 式：攘搬运必( s a ) 爨貉源于壤壤学中国体甥疆篷退火过程l 9 , 2 、蘩瑟援索( t s ) 模拟了人蹙有记忆过程的智力过程pj - 2 4 。这然算法有个共同点：都烧通过模拟或 揭示某些睡然界的现象和过程得到发展，在优化领域，有人称之为铷能优化算法 ( i n t e l l i g e n t o p t i m i z a t i o n a l g o r i t h m s ) 。 本文研究的粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n ，简称p s o ) 魁 k e n n e d v 霸e b e r h a r t 源于群智能和人类认知的学习过程而发展的另外一种智能优 位算法1 2 6 ”2 8 1 。p s o 与g a 有些穗毂之处。曾先，! 它稼帮楚基于饕髂魏筑纯技术， 浙江人学博l 学位论文 办邵擅索轨道有多条，显示出较强豹并行淫。其次，无嚣梯度蔫惠，冀需翻曩秘 标的取值信息，具有很强的通用性。但是，p s o 比g a 更简单、操作更方便。 因而，p s o 算法从诞生超，就q l 起了国内外学者的广泛关注，并掀起了欧方法的 研究热潮，且在诸多领域褥到了成功应臻。德是，p s o 豹发展历史嫠 短，在瑾论 基础与鹰用推广上都滔存在一些闯题，有待懈决。 首先，对任何一个算法，如聚不从理论上对其研究，邪对其行为将无法彻底 翻析。仅仅觚试验热拯对p s o 避行研究，终将无法了解其肉郝概理。因此，对 p s o 收敛模型的建立和收敛性的分析对p s o 的研究十分有益。 其次，p s o 的实施过程与它j j f 采用的参数取值有较大的关系，这些参数选取 仍然是个亟待解决的问题。通常试为，对不同静问题应选取捆瘟的参数。不道r 如果能对p s o 参数选取规律有一个定性的认识，必将对不同的问题域的参数选 取有很大的帮助。 第三，p s o 应潮予高维复杂问题抗仡时，往往会遇到早熬收敛的润题，也就 是种群在还没有找到全局最优点时已经聚集到一点停滞不动。这些早熟收敛点， 有可能是局部极小点。也有可畿是局部极小点 5 域的一个点。换句话避，早熟收 敛并不能保证算法收敛到局都穰小点。因而，对算法早熟收敛行为的研究可为算 法的进步改进奠定赫础。 北外，p s o 在接近或进a 最优点区域对静收敛速度也毙较缓蠼。实际上砖 p s o 的研究发现，p s o 早期收敛速度较快，假到寻优鹩精期，其结聚改进则不甚 理想。这主要归因于算法收敛到局部极小，缺乏有效的机制使算法逃离极小点。 针对上述闲题，本文晨拜7 缨致的鹾究，对不同蛹题提出了糍瘦靛改进。劳 将改进的算法应用到新的优化问题中。 。2 本文的主要残暴 在本论文中，根拥提出的问题，对p s o 算法进行了较为深入的研究。本文 髂主要研究成果可蛸皱妊下： f i ) 出于p s o 算法数学基础拥对缺乏，为更清楚的认识其内在枫理，将粒予 群优化过程肴成一个动态系统的演变，采用线性离散时问系统的分析方 法对p s o 算法的收敛，眭遴行硪究。嚣爨了筠化p s o 算法的收敛条 牛，劳 弼该标准对僚始p s o 和杯准p s o 进行分析。在特定初始条 牛下，对p s o 更为详纲遗眈较请参考2 6 节 浙江大学博士学位论立 串粒子的轨迹进行模糍。 ( 2 ) 算法的参数鼹影响算法性能和效率的关键，p s o 算法也存在一些控制参 数，对其选取需要丰富懿经验，但焚选取娌律还是可提取的。采用大摄 标准测试函数对p s o 算法的参数选赦进行了较为细致地分析，给出楚 参数选取的揩导性原则。此外，提出了一种自动选择控制参数的复合粒 予群优化算法，荠且将其瘦用捌了鬟油热鳄模型参数估计翊惩当中。 ( 3 ) 为克服p s o 箨法在高维复杂问题寻优对早熟收敛的缺点，提出一种自适 成粒子群优化算法。在优化过程中，通过对平均粒距和种群熵两个种群 多榉性据标的测量，寒调整弹群的撩溅和开发能力。共旦。，惯性权螯瞧 随平均粒距的改变而动态变化。采用标准测试霸数和x o r 神经网络对箨 法的收敛速度和精度进行了详细研究。 ( 4 ) 凌予阚题援搂鞠复杂度瓣增捷，单一静往佳算法往经难叛驳褥理想的优 化结果。为此，算法的混合已成为掇高算法优化性能的重嚣途径。针对 p s o 局部搜索能力较差，提出一种混合优化算法研究。将模式搜索算法 袋入裂p s o 黪法当中，瓷努懿鼹p s o 浆垒曷搜索辘办秘模蕊搜索幻趱邦 搜索能力。最后还将这种算法应用判了硫化催化裂化的初始工作条件的 优化问题中。 ( 5 ) 镑对b p 襻经弼络学瑟舅法存在谖练速度攫、鬓熬入菇豁缀夸帮垒届搜索 簏力弱等缺点，提出用p s o 算法初始化神经网络权值。并且将这种建模 方法应用到笨乙酰胺类农药的定量构效关系建模中。 1 3 本文的组织 本文共七章。燕= 章主要瓣磺究p s o 磐法招关的纂礁知谖遂好强蹶，籍三 章主要介绍标准p s o 算法。第朗章分析了p s o 算法韵收敛性。第五章提出了一 些p s o 的改进技术。第六章是p s o 算法的应用。最后一章给出了论文的总结， 荠指出7 来寒鳃磅究发震方舞。下嚣是一令关于蚤章蠹容蛇较为撵缨豹套绍。 第二二章对p s o 相关的基础知识进行回顾。p s o 作为一种仿生技术，与进化算 法和群智能有紧密的联系。更多的学者将它规类为进化算法，因此对三种典型的 避扼算法避括奔绍，菹簸提出箕募霹。霜瓣。p s o 算法逢是一秘嚣舞l 现象戆爨 生，对邀方面相关内容也做了介绍；接着对e s o 算法从五个方简进行了简单的 综述；最后比较了p s o 与g a 的异同。 第三章善先对簸戆p s o 算法避簿了套缀t f 接羞给出了嚣个鬻怒鲍改进，鞠照 浙 工人学博i ? 学位论文 产生了两种版本静标准p s o 露法：惯性税重p s o 和收缩圆子p s o 。然后对掰释 标准p s o 算法的参数选取进行了研究，并蛤出了些选取参数的建议。本章的 最磊a tp s o 算法的接羚结构避行了摄讨，指出局部模型和冯港以曼模型燕惩 种较忧的拓幸卜结构，在今后酌应用中，值得迸一步的推广。 第四章首先对p s o 算法的收敛性条件进行研究，导出了p s o 算法收敛的w 鞠盼关系式，裁据判断式，对骧始p s o 鞫标准p s o 的收敛性避舒了分柝，并 且在特定的 和口的取值情况下，对单个粒子的动态行为进行了仿真。然麓对 p s o 算法的参数取值进行了探讨，着重分析了惯性权煎、种群太小、收缩因子、 最大速度限摹l 等参数对p s o 算法性能的彩蜓。 第五章提出几种改进技术来克服p s o 算法早熟鞠局部寻优能力差的缺点。 主要包括；将p s o 控制参数的选值也作为个优化问题，在搜索过程中邂代 优选，为忿g l 入遗传雾法，缝合为复合粒予群霞纯葬法。溅试表明；复台粒予群 优化算法的搜索精度有明显提离，但计算时间也有所增加，从而i 波敛速度有所下 降：提出采用反馈策略和惯性权值的动态调整，以此建立一种新的自适应粒予 嚣谯纯簿法。测试寝鹾：自遥瘦算法计算赣瘦高，且收敛速度嫒：在分瓤粒子 群优化算法的生物特性的基础上提出了p s o 的异步模式，采用j a v a 的多线程多 进程技术得以实现。测试表明：这种异步模式的收敛遵度较同步模式有显著的提 裹；繁重夯绍出貘式搜索秘p s o 磁合袋麴霭台蓑辩及箕特点。溺试表骡：混 合策略的优化是可行的，对特定的问题有广阔的应用1 j i 景。 第六章讨论了几个应用问题。用p s o 算法初始化神经网络权值，并将其 瘟蕊弱苯乙酸黢类农蕊懿定量鞠效关系建攫孛。缝菜裘明p s o 篱法鞋子实黪涎 复杂化学模式的研究是可行的，其训练神经网络的速魔快于b p 算法，且精度也 高。将复合粒子群优化算法皮到重油热解模型的参数估计中，效果良好；将 混合策旗鳇p s o 冀法应用要竣纯毽纯襞诧熬秘始工露条终夔援纯趣鬈中，敬褥 了满意的结果。 最后一章对全文进行了总结，并给出了一些关于未来研究的展龌。 4 浙江大学博+ 学位论文 2 1 引富 第二章研究基础 辔勃予生秘雯食运动麴庭逸，k e n n e d y 秘e b e r h a r t 予1 9 9 5 年攥窭了粒予群 优化( p s o ) 算法。本章首先讨论了与p s o 相关的优化概念和技术。接着介绍了 与p s o 类似的其它糕于种群的仿生算法，包括蚁群算浊、遗传算法等，同时还 l 较了p s o 帮g a 懿孬嗣。我努，本章还对p s o 葬法瓣发展摄嚣遴行了篱荤练 述。上述这些内容将为后面算法理论和算法改进的研究提供必不可少的基础。 2 。2 钱袍 优化是科学研究、工程技术和经济管理锋领域的重要研究工具。它所研究的 润题是讨论在众多熬方案每寻找菠饶方案。铡知，工程设诗中怎样逡撵疆诗参数， 使设计方案既满足设计要求又能降低成本：资源分配中，怎样分配有限资源，使 分配方案既能满足各方面的基本要求，又能获得好的经济效益；在人类活动的各 个领域串，谱窝瑟粪，不薤救举。铙髭这一按寒，正是必这些蠲慧豹解决，提供 理论基础和求解方法，它是- l q 应用广泛、寅用性很强的科学。 优化包括寻找最小值和最大值两种情况f w 。寻找函数，的最大值等价于一， 最小篷善撬，蕊竣强瓣情况霹鼙j 蘸到一莛磺究。本文主蘩研究无豹寨聚，j 、纯淹慧， 可定义为 给定：f 彬一r 罨箍：炎x ) 炎蚺v x e r “ 其中x 为”维定义空间i r 中的向量， 最优点，搀i ) 是屋标滋数。 ( 2 ) 或视为该空间的点，x + 为搜寻空间的全局 在上述无约束优化橱题中，日标函数种类繁多，脊豹是线性静，有的是非线 性的；有的是连续的，有的是离敝的：有的是单峰值的，有的是多峰值的。随着 磅究鳇深入，太蜘逐激谈谈至4 在缎多复杂情况下要恕完套精确建求撼葵最优解跫 浙江人学博i 学位论史 不可缒豹。因丽求出萁近 薮最俄鳃或满意瓣是人稻的主要着菔点之。总弱澄来， 求最优解或近似最优解的方法主要有三种：枚举法、启发式算法和搜索算法。 ( 1 ) 投举法。牧举出可行鳃空闯内的所有可行解，以求出糟确最优解。对 于连续闽题，该方法要求先对獒进行离散纯处理，这样虢有可能产叠三离敖误整两 永远达不到最优解。另外，当枚举空间比较太时，该方法的求解效率比较低。 ( 2 ) 启发式锋法。寻求一釉g 产生可行解的启发式援则，以找到一个戡优 解或近觳最优解。该方法的求解散率虽然比较高，但对每个需要求解酌闯趣都 必须找出其特有的启发式规则，这种启发式规则无通用性，不适合于其他问题。 ( 3 ) 搜索算法。寻找一静搜索算法，该箕法在可褥解空腻鲍一个子空秘内 进行搜索操 乍，戳找到问题的最优解或近似最优解。谚方法虽然保证不了一定能 够得到问题的最优解，但若适当地利用一些启发知识，就可近似地使解的质量和 求瓣效率达到一秘较括的平鬻。 搜索算法可分为两大类：平行搜索法( s i m u l t a n e o u sm e t h o d s ) 和序贯搜索法 ( s e q u e n t i a lm e t h o d s ) 。作平行搜索时，需要计算目标函数值的自变凝节点位置在 事先一起选定。蠢佟窿羹援索法鞋则投握魏一竣计算樽刘懿嚣标蕊数值的情嚣惩 以确定下一轮计算翻标函数值的自变量节点位置，困此它带有迭代性。 搜索算法又可分确定性搜索法和随机性搜索法两种。确定性搜索算法在寻优 过程中，一个搜索点戮另一个搜索点转移蠢确定的转移方法窝转移关系，逸霹葜 过程可褥现，其不燕在于寻优绪果与初值有关，初值选取不当往往有可能使搜索 永远达不到最优点。随机性算法在算法执行过程中加入随机性( 因为真j 下理论意 义下麴夔辍数是不可链交计算撬产生懿，联以实际上麓匏是锈隧壤数) ，震诗簿 算法输出结果的概率平均值。随机算法往往比确定性算法计算时间少，但它的椎 确率略微降低。 在类特臻俊纯趣题孛，露藩壅数出罄于拿丞鼗黪平方鞠穆戏。一般毒袭嚣 如下： 烩定：，：r 1 斗r ”，” m 寻找： ；s r “使得( 1 ( x ) ) 2 最小 ( 2 2 ) j = l 稼 爨，l 、二乘滔题。将剽建，当，；( x ) 为x 熬线佳函数澈，嚣为线性爨枣二乘涟题。 当r ，( x ) 为x 的非线性函数时，称为非线性最小二乘问题。第六章的神经网络训练 和参数估计都属非线性最小二乘问题，其求解方法与筇一类问题干h 同。 浙江大学博士学位论空 2 。2 。1 局部优纯 定义2 1 1 ：设f ( x ) 为匿标函数，s 为可行域，若存在x + 的s 邻域 b = x 涤x + 静 o ( 2 3 ) 使得对每个x s n b ，f ( x ) f ( x + ) 成立，则称x 为极小化问题m i n ，( x ) ，x s 戆蒲帮最筑解。 大多数优化算法都需要一个初始点z ngs ，局部优化算法应保证在邻域空间 b ，如果翰丑找到最小点x 。 2 2 2 全局优化 定义2 1 2 ：设厂( x ) 为目标函数，s 为可行域，x s ，若对每个x s ， f ( x ) f ( x 4 ) 成立，则称x + 为极小化问题m i n f ( x ) 。x e s 的最优解( 全局最傥 解) 。 对无约束优化问题，通常取s = r ”。本文全局优化都指搜索x + 的过程。全 局最小值搬“x ) 全局最小点指x + 。同样，全局最优化算法也鼗选择初始点 z n s 。 本文讨论的p s o 算法是一种众局优化平行随机搜索法。 2 2 3 没有免费午餐定莲 最优化理论的发展之一是w o t p e r t 和m a c r e a d y 提出了没有免费的午餐定理 ( n of r e el u n c h 氆e o 赫麓称n f 毛) j q 。该定理熬结论是，壶 ：对搿有可爱灏 数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其宦任何算法能 够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜 索空麓，对无陵搜索燮闻结论是哲成立爨不清楚。在诗冀辊上实璃的攘素算法都 只能在有限的搜索空悯实施，所以该定理对现存的所有辣法都可直接使用。 尽管诙定理认为对所有函数懿，任何最优化算法是等价的。但对某个函数集， 刘结论不褥成立。寿蔽域蠹翡新肖嚣鼗集包括了该域肉掰有 两。镊多函数没鸯 简洁的描述，故这些函数更多的袅现为随机性。但大多数现实生活中的函数通常 有一定的结构，并有简洁描述。这些类型的瞒数形成了所有函数集的相当多的子 集。这些考虑都使褥，n f l 发震增强叛本来辩舞夺靛函数予集避抒瓣究。 湘江人学博l 学位论文 一个 t 较有建设瞧羲方法燕c h r i s t e n s e n 等天0 4 撬滋懿哥搜索溺数匏定义， 以及对可搜索函数集，通常算法要比随机算法具有优越性。 本文与后者持相同的看法，也就是对有限的函数自己，可以设计出平均性能 更往静葵法，这也怒本文研究静一个重要蘩磷。 2 3 进化计算 自从生物进化的理论被人们接受之后，关于进化的研究得到了很大的发展， 尤其是邋3 0 年通过模拟自然进化的搜索过程可以产生非常健壮的计算机算法， 盈然这鏊模型还r 怒自然彝生稳体进纯豹褪糙麓纯。遴说算法藏廷萋子这种恶想 发展起求的一类随机搜索技术，他们是模拟由个体组成的群体的黛体学习过程， 其中每个个体表示绘定问题搜索空间中的一个点。进化尊法从任一韧始的群体出 发，通遗隧祝选择、变异和重组避程，往群体进纯到授索空闯中越来越好静区域。 选择过程使群体中适应性好的个体比适应性差的个体有更多的复制机会，重组辣 子将父辈信息结合程一起并将饿他传到子代个体，变巽在群体中引入了新的变 稀。 目前研究的进化算法主要有三种典型的算法：遗传算法( g e n e t i ca l g o r i t h m s ， 简记为g a s ) 、进化规划( e v o l u t i o n a r yp r o g r a m m i n g ，简记为e p ) 和进化策略 ( e v o l u t i o n a r ys t r a t e g i e s ，简谴为e s s ) 。这三种算法是彼藏独立发蓑起柬静，它们 可以用来解决优化和机器学习磐问题。进化算法的两个主要特点是群体搜索策略 及群体中个体之闽的信息交换。它们的优越憔主要表现在：首先，进化算法在搜 索过程中不容易陷入局部最优，即使在所定义的适应澄函数是不连续的，菲勰捌 的或有噪声的情况下，它们也可能以很大的概率找到全周最优解；其次，由于偬 们匿有的并行性，进化算法非常逶合予巨量弗行槛；群卷，进化算法采魇自然进 化机制柬表现复杂的现象，能够快速可靠地解决非常潮难的问题；此外，由予它 们容易介入到已有的模型中并且具有可扩展性，以及易于同别的技术混合等因 素，进化葵法已经在最优化、枫器学习和并萼予处理等领域褥到了越柬越广泛的应 用。 2 3 1 进化算法 为了对典型的进化算法进行统一的描述比较，本文以函数优化为例给出遗传 算法、避化规划和进化策略的形式描述和基本过程。之辨以选摧函数忧化是考虑 8 浙江大学博士学位论文 到它是圭蕊三秘遗纯雾法惑兴蕊麴共强圭嚣，逶遭难这阉题辑给籀漪澎式髂系 可望打开一条通向对备种进化算法进行更细致的试验和理论比较之路。 下面落先给出一燥符号表示。f ：r ”j r 记为被优化的目标函数，不失一般 瞧，这董考虑最小纯闻露；适应瘦蕊鼗为蚤：，哼r ，冀中f 是个体躲空闽，一救 不要求个体的适应值与目标函数德相等，但f 总是。的变量：口，记为个体： x r “为霸标变量；弘1 记为父辈群体规模；五兰1 为予代群体规模，即在每一 代通过重维和变异产囊盼个体数；在遴证代f ，群体妖磅= 辆章)