（控制理论与控制工程专业论文）基于免疫进化算法的神经进化.pdf

、 ， at h e s i sf o rt h ed e g r e eo fm a s t e ri nc o n t r o lt h e o r y c o n t r o l 1 r e n g l n e e r l n g ：n e u r a le v o l u t i o nb a s e do ni m m u n ee v o l u t i o n a l a l g o r i t h m b y ：w a n gx i a o n a n s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rl ih o n g r u n o r t h e a s t e r nu n i v e r s i t y f e b r u a r y 2 0 0 8 _，1，一： 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名： 脚 签字e t 期：炉占；弓 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：椭 导师签名：咖留 签字日期：朋f 7 弓签字e l 期：讨、刍专 1， 1， ， il i 东北大学硕士学位论文摘要 基于免疫进化算法的神经进化 摘要 近年来，人们对生物智能系统的关注f l 益高涨。这其中，尤其以神经网络、进化算 法、d n a 计算和免疫系统最为重要。免疫神经进化是由免疫算法、进化算法、神经网 络的结合而构成的，具有解决实际问题的能力，比如模式识别能力、记忆能力、学习能 力、多样性产生能力、噪声耐受、泛化、分布式诊断和优化能力等等。基于生物学原理 的新型计算技术不断发展，目的不仅是为了更好的理解生物系统本身，更重要的在于解 决工程问题。 本文借鉴生命科学中免疫的概念与理论，研究免疫神经进化的原理、算法及应用。 首先，简单介绍上述三种算法的相关概念及性质，分析将三者结合的可行性，接着提出 了免疫进化策略与免疫遗传算法两种算法，最后将这两种算法应用于神经网络的结构和 权值的设计中，提出了基于免疫进化策略的神经进化和基于免疫遗传算法的神经进化两 种神经进化算法。在基于免疫进化策略的神经进化算法中具体对编码、亲合度设计、浓 度设计、基于浓度和亲合度的抗体选择以及抗体变异进行了描述，为了改进算法跳出局 部极小的能力，文中专门对免疫进化策略的变异算子进行了研究，经过综合比较，采用 ，了柯西算子作为算法的变异算子，仿真结果显示，虽然基于免疫进化策略的神经进化可 以在算法收敛性上满足要求，然而，由于编码问题使得算法的收敛速度较慢，本文进而 对抗体基因编码方法进行了改进，提出了基于免疫遗传算法的神经进化，在这种算法中， 抗体编码采用了混合编码，并相应的设计出抗体的亲合度函数、浓度函数，并且对交叉 变异等操作分别进行了改进，仿真实验对两种算法及其他一些神经网络设计算法进行了 比较，结果显示，对于大规模神经网络样本，基于免疫遗传算法的神经进化算法的收敛 速度优于基于免疫进化策略的神经进化。但两种算法的全局收敛性能均优于其他算法。 两种算法均可以得到最优的神经网络设计方案。 关键词：免疫进化策略、免疫遗传算法、神经进化、全局收敛 li，l、 j，l上 i 东北大学硕士学位论文a b s t r a c t n e u r a le v o l u t i o nb a s e do ni m m u n e e v o l u t i o n a r ya l g o r i t h m a b s t r a c t i nt h el a s tf e wy e a r s ，w ec o u l dp e r c e i v eag r e a ti n e a s ei ns t u d y i n gb i o l o g i c a l l yi n s p i r e d s y s t e m a m o n gt h e s e ，n e u r a ln e t w o r k s ，e v o l u t i o n a r yc o m p u t a t i o n ，d n ac o m p u t a t i o n ，a n d i m m u n es y s t e ma r ep a i da t t e n t i o nt oe s p e c i a l l y i m m u n en e u r a le v o l u t i o ni sac o m p l e xo f i m m u n ea l g o r i t h m ，e v o l u t i o n a r ya l g o r i t h ma n dn e u r a ln e t w o r k sw h i c hh a sp r o v e nt ob ea c a p a b l eo fp e r f o r m i n gs e v e r a lt a s k s ，s u c ha sp a t t e r nr e c o g n i t i o n ，l e a r n i n g ，m e m o r ya c q u i s i t i o n ， g e n e r a t i o no fd i v e r s i t y , n o i s et o l e r a n c e ，g e n e r a l i z a t i o n ，d i s t r i b u t o rd e t e c t i o na n do p t i m i z a t i o n b a s e do nb i o l o g i c a lp r i n c i p l e s ，n e wc o m p u t a t i o nt e c h n i q u e sa x eb e i n gd e v e l o p e d ，a i m i n gn o t o n l ya tab e t t e ru n d e r s t a n d i n go ft h es y s t e m ，b u ta l s oa ts o l v i n ge n g i n e e r i n gp r o b l e m r e f e r r i n gt o t h e c o n c e p ta n dt h e o r yo fi m m u n o l o g yi nb i o t i cs c i e n c e ，t h et h e o r y , a l g o r i t h ma n da p p l i c a t i o no fi m m u n en e u r a le v o l u t i o nw e r ed o n er e s e a r c ho ni nt h i sp a p e r f i r s t ，as i m p l ei n t r o d u c t i o no fi m m u n ea l g o r i t h m ，e v o l u t i o n a r ya l g o r i t h ma n dn e u r a ln e t w o r k w a so f f e r e da n dt h e f e a s i b i l i t yo fc o m b i n i n gt h e mw a sa n a l y z e d t h e nt w oa l g o r i t h m s i n c l u d i n gi m m u n ee v o l u t i o ns t r a t e g ya n di m m u n eg e n e t i ca l g o r i t h mw e r ep r o p o s e d a n dl a s t ， t h et w op r o p o s e da l g o r i t h m sw e n a p p l i e dt on e u r a le v o l u t i o n i nt h en e u r a le v o l u t i o nb a s e d o ni m m u n ee v o l u t i o ns t r a t e g y , t h ea n t i b o d ye n c o d i n g , a f f i n i t yf u n c t i o n sd e s i g n ，t h i c k n e s s f u n c t i o nd e s i g n ，s e l e c t i o nb a s e db o t ho na f f i n i t ya n dt h i c k n e s sa n dt h em u t a t i o no p e r a t i o n w e r eo f f e r e d i nt h ei m m u n ee v o l u t i o ns t r a t e g y , t h ec a p a b i l i t yo ft h em u t a t i o no p e r a t o r d e c i d e st h eg l o b a lc o n v e r g e n c eo ft h ea l g o r i t h m ，s ot h ea u t h o rd i dr e s e a r c h e so nd i f f e r e n t d i s t r i b u t i o n sa n dp r o p o s e dac a u c h ym u t a t i o no p e r a t o rw h o s es i m u l a t i o nr e s u l t ss h o w sb e t t e r t h a nt h et r a d i t i o n a lg a u s sm u t a t i o no p e r a t o r s i m u l a t i o nr e s u l t ss h o w st h a tt h en e u r a l e v o l u t i o nb a s e do ni m m u n ee v o l u t i o ns t r a t e g yc a nm e e tt h eg l o b a lc o n v e r g e n c el e v e lw h i l e t h ec o n v e r g e n ts p e e dm a yb eal i t t l es l o w e rb e c a u s eo ft h ee n c o d i n g s oi n t h en e u r a l e v o l u t i o nb a s e do ni m m u n eg e n e t i ca l g o r i t h m ，a ni m p r o v e dc o d i n gm e t h o dc o u p l e dw i t has e t o fa f f i n i t yf u n c t i o n ，t h i c k n e s sf u n c t i o n ，c t o s so p e r a t o ra n dm u t a t i o no p e r a t o rw e r ep r o p o s e d s i m u l a t i o ne x p e r i m e n t sc o m p a r e dt h et w on e u r a le v o l u t i o nm e t h o d sa n dt h er e s u l ts h o w e d t h a tt h en e u r a le v o l u t i o nb a s e do ni m m u n eg e n e t i ca l g o r i t h mb e h a v e db e t t e rc o n v e r g e n ts p e e d t h a nt h en e u r a le v o l u t i o nb a s e do ni m m u n ee v o l u t i o ns t r a t e g y a n dt h et w om e t h o d ss h o w a l m o s tt h es a m eg l o b a lc o n v e r g e n c ec a p a b i l i t y t h e s et w om e t h o d sg e to p t i m a ln e ts t r u c t u r e w i t ho p t i m a lw e i g h t s k e y w o r d s ：i m m u n ee v o l u t i o ns t r a t e g y ；i m m u n eg e n e t i ca l g o r i t h m ；n e u r a le v o l u t i o n ；g l o b a l c o n v e r g e n c e i i i 一 p-10 l f， 东北大学硕士学位论文目录 目录 独创性声明i 摘要i i a b s t r a c t i i i 第一章绪论1 1 1 引占1 1 2 课题的研究背景1 1 3 本文内容安排2 第二章神经网络、进化算法及免疫理论综述3 2 1 人工神经网络基础3 2 1 1 人工神经网络机制及发展介绍3 2 1 2 生物神经元3 2 1 3 人工神经元的数学模型4 2 1 4 人工神经网络模型5 2 1 5 神经网络的特点6 2 1 6 神经网络的主要研究方向7 2 1 7 神经进化定义7 2 2 进化算法简介7 2 2 1 进化算法的概念和基本框架7 2 2 2 进化算法分类：8 2 2 3 进化算法的特点9 2 3 免疫理论初步1 l 2 3 1 生物免疫机制的抽取1 1 2 3 2 免疫计算理论的研究背景1 2 2 3 3 免疫计算理论的研究现状1 3 2 4 ，j 、结16 第三章免疫进化策略及免疫遗传算法1 9 3 1 进化算法原理、特点及缺陷1 9 3 1 1 进化策略原理及缺陷。1 9 3 1 2 遗传算法原理、特点及缺陷分析2 l 3 2 进化算法与免疫算法结合的呵行性分析2 4 3 3 免疫进化策略2 6 一i v t0，c 东北大学硕士学位论文 目录 3 3 1 算法描述2 6 3 3 2 对变异算子的研究2 7 3 4 免疫遗传算法3 2 3 4 1 免疫优化算子3 3 3 4 2 免疫遗传算法算法描述3 3 3 5 仿真实验3 4 3 5 1 实验描述3 5 3 5 2 结果分析3 5 3 6 ，j 、结3 7 第四章基于免疫进化算法的神经进化3 9 4 1 免疫进化算法用于神经进化需要解决的几个问题3 9 4 2 基于免疫进化策略的神经进化4 0 4 2 1 基于免疫进化策略的神经进化具体实现4 0 4 2 2 仿真实验4 2 4 3 基于免疫遗传算法的神经进化4 7 4 3 1 基于免疫遗传算法的神经进化具体步骤4 9 4 3 2 仿真实验：5 l 4 4d 、结5 3 第五章总结与展望。5 5 参考文献5 7 致谢6 3 攻读硕士期间发表的论文一6 5 一v 一 一 l 东北大学硕士学位论文第一章绪论 第一章绪论帚一早珀v 匕 1 1 引言 今天，世界上各种科学技术相_ f 交叉、渗透，许多研究课题已经不能单靠一个领域 的理论和方法能够解决，许多边缘学科萨是多个领域交叉发展的结果。许多研究领域的 理论和方法越来越复杂，在信息科学领域尤为突出。由于人们面对的和研究的问题越来 越复杂，传统方法解决问题的能力越来越有限，促使人们不断寻求新的方法和手段，信 息科学领域的不断扩展证明了这一点，比如人工智能、计算机科学的迅猛发展。包括人 类本身在内，地球上生活着数千万种各类生物，各种层次、各种类型的生物体系和生物 环境本身就蕴含着无数未解之谜，也是科学家研究的热点，这些研究有助于人类更好地 理解自然和宇宙，比如人类基因密码的全部破译会大大加深人类对自身的认识。 多年来，生物成为许多发明家创新的灵感源泉，他们从生物现象中获得灵感，创立 了许多不同的方法。人们已经从许多角度开创不同的学科来研究生物体系，其中一个重 要的领域就是生物信息处理系统，许多研究人员已经在工程领域应用生物系统的信息处 理功能。生物体系尤其是人类信息处理机制显示出比目前其它人工机制方法更具灵活性 的特征，比如大脑神经网络。基于大脑神经网络原理开发的人工神经网络具有出色的非 线性映射和学习能力，已经广泛用于机器人、模式识别等多个领域。进化算法是一种生 物进化“模拟器，它的并行搜索能力已经应用于解决优化或搜索问题，还广泛应用于 经济、数学、物理、计算机科学、人工智能等多个领域和学科。这些是充分利用生物信 息处理机制的典范。 除了大脑神经系统和基因遗传，生物信息处理系统还包括免疫系统和内分泌系统。 免疫系统是一种高度进化的生物信息处理系统，它能够识别和消除病原体，具有学习、 记忆和模式识i i i i 力，因此可以研究借鉴其信息处理机制解决工程和科学问题。实际上， 对免疫系统与神经网络、模糊、进化这四种生物现象和信息处理系统的借鉴和利用已经 逐步形成一个新兴的学科一生物计算智能体系。 1 2 课题的研究背景 从基于生物体系发展的智能系统角度看，免疫计算智能和其它智能方法，如人工神 经网络、进化算法、模糊系统等计算有紧密联系；可以相互融合利用发展新型计算智能 系统和理论。现有人工免疫系统得研究实际上可得益于人工神经网络和进化算法的成 果和成功发展。从基于生物体系发展的计算智能角度看，基于免疫学的计算方法结合神 经网络和进化算法，给当前计算智能的发展提供了一个新思路，因此具有提供新颗的解 一1 一 tl，j 东北大学硕士学位论文第一章绪论 决复杂问题方法的能力；从信息科学角度看，三者结合的混合智能计算系统由于有很强 的信息处理能力，是：作常有意义的信息科学研究方向：从生物学角度看，丌发基于免疫 系统、神经网络的汁算机模型有助f 进一步认识人体系统，发展生物和医学，对发展医 学上又有人应用前景的“虚拟人”有很大帮助。 世界上众多科学家和工程人员对于免疫系统的重视和深入研究是近几年才开始的。 而利用免疫、神经网络、模糊技术等建立智能计算体系和利用免疫系统抗体多样性的遗 传机制改进遗传算法的搜索优化研究，对于多数从事计算智能或人工智能等领域研究的 人员来说，这是一个全新的领域，这方面整体发展比较缓慢，目前研究主要集中在与神 经网络和进化算法的混合应用。目前从事此项研究的研究人员主要分布在美国、英国、 巴西、日本、比利时、波兰、俄罗斯和中国等国家。以c a m p i n a s 大学的l e a n d r on d ec a s t r o 博士的研究为主，他们的研究足以展现目前这一领域的发展状况。国内最早开始此项研 究的是中国科技大学王煦法教授领导的科研小组，该小组已取得许多成果。 。本文借鉴生命科学中免疫的概念与理论，并结合国内外学者的研究成果，将免疫算 法与神经网络和进化算法等计算技术的特点进行比较，结合各自得优越性将三者结合， 给出应用方法和模型，研究基于免疫进化神经进化理论和技术，进一步丰富自然计算、 计算智能的研究范畴，是自然计算、计算智能的研究内容和应用范围更深、更广、具有 重要的理论意义和实际价值。 1 3 本文内容安排 本文第一章为序论，介绍免疫神经进化的背景与意义，发展的历史与现状：第二章 对免疫算法、进化算法、神经网络分别进行了介绍，对各自的特点进行了分析，说明了 三种智能算法结合的可行性；第三章提出了免疫进化策略与免疫遗传算法两种智能优化 算法，为免疫神经进化作算法铺挚：第四章具体介绍了基于免疫进化策略的神经进化算 法与基于免疫遗传算法的神经进化算法，并对两种算法采用相同的仿真实例对算法进行 测试。第五章对论文进行了总结并对免疫神经进化的未来发展进行了展望。 一2 一 矿 。n，ip 东北大学硕士学位论文 第二章神经网络、进化算法及免疫理论综述 第二章神经网络、进化算法及免疫理论综述 2 1 人工神经网络基础 2 1 1 人工神经网络机制及发展介绍 、生物科学家研究表明，人脑是由大量基本单元( 生物神经元) 经过复杂的相互连接 而成的一种高度复杂、非线性、并行处理的信息处理系统，每一个神经细胞都是一个简 乍 单的信息处理单元，它可由自身机制与外部环境决定它的状态，形成一定的输入输出规 则。人的神经系统具有记忆、计算、逻辑推理、对环境的感知和学习、进化以及思维等 能力。因此，从模仿人脑的组织结构和运行机制的角度出发，来探寻新的信息表示、存 储和处理方式，构造一种更接近于人类智能的信息处理系统来解决实际工程和科学研究 中由传统冯诺伊曼计算机难以解决的问题，必将大大扩展计算机的应用领域和促进科学 技术的进步。 1 9 4 3 年，生理学家m c c u u o c h 与数学家p i t t s 将生物神经元模型化，提出了一个人 工神经元m p 乜1 模型，标志着人工神经网络研究的开始，至今已经走过了6 0 多年的坎坷 道路。这期间人们曾提出了几十种较有影响力的神经网络模型，如p e r c e p t r o n ( 感知机) 咖，a d a l i n e 自适应线性元件m ，g r o s s b e r g 的自适应理论畹町，a n d e r s o n 的b s b 模型7 1 ， f u k u s h i m a 的神经认知网络理论嘞，k o h o n e n 的自组织映射网络嘲等。进入8 0 年代， h o p f i e l d 的反馈神经网络模型n 帕，以及多层b p 网络m 1 的研究是人工神经网络再次进入 蓬勃发展阶段。特别是在1 9 8 9 年，h e c h t - n i e l s o n n 幻、h o m i k 删、f u n a h a s h i n 3 等人分别独 立给出了多层b p 网络的逼近能力和计算能力订立，奠定了神经网络作为函数的一致逼 近器和模式识别分类器的理论基础。之后，涌现出一些具有实际意义的神经网络模型， 如b o l t z m a n 机n 日、径向基函数网络( r b f ) n 町、小脑模型控制网络( c m a c ) “刀等，并 ：t成功地应用于模式识别、系统仿真建模、优化计算、自动控制等实际领域 i 2 1 2 生物神经元 l 2 1 2 1 生物神经元特征 生物神经系统是由大量神经细胞( 神经元) 组成的一个复杂的互联网络。据统计， 1人类大脑约有1 0 m 一1 0 1 1 个神经元，每个神经元与1 0 3 1 0 5 个其他的神经元相互连接，从 而构成一个极为庞大复杂的网络系统。神经元的结构总体来讲可分为三个部分：胞体， l 树突和轴突。 i胞体的一头长有很多树突，呈树状l 另一头联结轴突，经轴突的许多分支与其它神 一3 一 2 1 3 人工神经元的数学模型 上面对生物神经元的结构和信息处理机制作了简要分析，旨在为人工神经元数学模 型的建立提供生物学依据。在人工神经网络中，人工神经元是最基本的信息处理单元， 是以大脑神经元结构为参照，用众多简单的人工神经元构造复杂的神经网络系统。因此， 人工神经元及其连接结构是进行神经元网络研究的基础。仿照生物神经元建立的人工神 经元数学模型可用图2 1 表示。 t 图2 1 人工神经元模型： f i g 2 1a r t i f i c i a ll 呛u i a m o d e l 一4 一 z l r 1 ： 4 东北大学硕士学位论文 第二章神经网络、进化算法及免疫理论综述 图2 1 中，bf ，j - 1 ，乏n j 为外部n 个神经元向第f 个神经元的输入信号，为第f 个神经元与外部第| f 个神经元的连接权值，9 。为第i 个神经元的激励阈值，为激励函 数( 又称传递函数，一般为非线性) ，m 为该神经元的输出，神经元的输入与输出之间 的关系为： 厅 y i 。，( ；w x 一巳) ( 2 1 ) i l i r a1 pj 这里，为s g n 符号函数或s i g m o i d 型连续函数等非线性的激励函数。 2 1 4 人工神经网络模型 由若干个人工神经元按照一定的拓扑结构连接在一起便构成了各种人工神经网络 模型。目前，人工神经元网络的主要模型已有几十种，根据神经元之间连接方式和网络 中信息流向的不同，神经元网络模型可分为两大类：没有信息反馈的前馈神经网络和具 有信息反馈的相互结合型网络，或称反馈神经网络。 前馈神经网络由输入层、中间层( 隐层) 和输出层组成，典型结构如图2 2 所示。 输入层 隐层 输出层 图2 2 具有一个隐层的前馈神经网络 f i g 2 2f e e d f o r w a r dn e u r a ln e t w o r kw i t ho n e h i d d e nl a y e r 前馈神经元网络的中间层可有若干个，每一层的神经元只能接受来自前一层神经元 的输出信息。目前研究最多和最有成效的是前馈神经元网络，它在模式识别、分类聚类、 自适应控制和学习等领域获得了成功应用。 反馈神经网络中的任意两个神经元之间都可能有连接，包括神经元到自身的反馈， 一种典型结构如图2 3 所示。 在反馈神经网络中n 帕，输入信号要在神经元之间进行反复往返传递，从某一初态开 始，经过多次的辩护处理，逐渐趋于某一稳定状态或进入周期震荡等其他状态。由于反 馈神经网络结构复杂，运行模式必须考虑反馈信息的处理问题，因而应用时困难较多， 相应的成果也较少。 一5 一 东北大学硕士学位论文 第二幸神经网络、进化算法及免疫理论综述 2 1 5 神经网络的特点 输出输出输出 输入入麓入 图2 3 反馈型神经网络 f i g 2 3f e e d b a c kn e u r a ln e t w o r k 1 ； ! t 总结起来，神经网络系统具有以下基本特性： ( 1 ) 分布存贮和容错性。信息在神经网络内的存贮是按内容分布于许多神经元中 进行的，而且每个神经元存贮多种信息的部分内容。网络的每部分对信息的存贮具有等 势作用，这类似于全息图的信息存贮性质，部分的信息丢失仍可以使完整的信息得到恢 复，因而是网络具有容错性和联想记忆特性。也正因为如此，人脑和数字计算机相比分 别表现出明显的健壮性( r o b u s t ) 和脆弱性( b r i t t l e n e s s ) 。 ( 2 ) 可塑性与自适应性和自组织性。神经元之间的连接具有多样性，各元间的连 接强度具有可塑性，相当于突触传递信息能力的变化。这使得网络可以通过学习与训练 进行自组织，以适应不同信息处理的要求。 ( 3 ) 并行处理( p a r a l l e lp r o c e s s i n g ) 性。网络的各单元可以同时进行类似处理过程， 整个网络的信息处理方式是大规模并行的。传统数字计算机则是信息处理算法串行的。 网络的大规模处理能力，使它能神奇般地完成所为“百步程序 决策。 r ( 4 ) 层次性。神经生理学研究表明，各种感觉信息进入大脑后，首先在相应初级 皮层进行加工，然后转到次级皮层和感觉联合区，再与颅顶区皮层会合，最后投射到大 ， 脑前额叶。这表明信息在大脑内的传递过程，实际上是在不同层次的神经回路中逐级地 进行加工和处理过程。 人工神经网络的目的是希望给予生物神经网络原理而设计的设备或算法具有这些 所希望的性质。 由于神经网络是一个计算模型且较之现代数字计算机功能更为强大，因此，神经网 ： 络计算机的发展前景将更加光明。 一6 一 j 东北大学硕士学位论文第二章神经网络、进化算法及免疫理论综述 2 1 6 神经网络的主要研究方向 神经网络的研究可以分为理论研究伍k 锄和应用研究n t 删两大方面。 理论研究可以分为以下两大类： ( 1 ) 利用神经生理与认知科学研究人类思维及智能机理。 ( 2 ) 利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优 越的神经网络模型，深入研究网络算法和性能，如稳定性、收敛性、容错性、鲁棒性等； 开发新的网络数理理论，如神经网络动力学、非线性神经场等。 应用研究可分为以下两大类： ( 1 ) 神经网络的软件模拟和硬件实现研究 ( 2 ) 神经网络在各个领域中应用得研究，这些领域主要包括：系统辨识、模式识 别、信号处理、知识工程、专家系统、优化组合、机器人控制等。 随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将 更加深入和广泛。 2 1 7 神经进化定义 神经进化是融合人工神经网络和进化算法的一种信息处理方法，它使用进化算法对 神经网络的拓扑结构和权值同时进行学习，在神经进化中，染色体编码代表神经网络的 参数( 包括隐层节点数，权值和阈值) ，依据自然选择的原理进行遗传操作和重新组合， 以发现针对特定问题的一个最优网络解，即生成所需要的神经网络。现有的研究实例都 证明了神经进化是一种成功的替代传统神经网络学习方法的新思路。 2 2 进化算法简介 2 2 1 进化算法的概念和基本框架 进化算法( e v o l u t i o n a r ya l g o r i t h m ，简称e a ) 是一种借鉴生物界自然选择和进化机 制发展起来的高度并行、随机、自适应搜索算法。简而言之，它使用了群体搜索技术， 将种群代表一组问题解，通过对当前种群施加选择、交叉和变异等一系列遗传操作，从 而产生新一代种群，并逐步使种群进化到包含近似最优解得状态。 下面首先给出关于进化计算的一些名词解释 种群：进化算法在最优解的搜索过程中，一般是从原问题的一组解出发改进到另一 组较好的解，在从这组改进的解出发进一步改进。在进化算法中，每一组解称为“种群” ( p o p u l a t i o n ) ，而每一个解称为一个“个体 ( i n d i v i d u a l ) 。 编码：在普通的搜索算法中，解的表达可以采用任意的形式，一般不需要进行特殊 一7 一 。 ； 叠 三种算法是彼此独立发展起来的，各自由不同的侧重点，不同的生物进化背景，各自强 调了生物进化过程中的不同特性。为了对各种进化算法方法进行分析和比较，分别对遗 传算法、进化规划和进化策略的特点作了归纳总结。 遗传算法由美国j h o l l a n d 创建，后由k d e j o n g ，d g o l d e r g 等人进行了改进。遗 传算法的主要特点是： ( 1 ) 遗传算法必须通过适当的方法对问题的可行解进行编码。解空间中的可行解 是个体的表现型，它在遗传算法的搜索空间中所对应的编码形式是个体的基因型。 ( 2 ) 在遗传算法中，个体重组技术使用交叉算子。这种交叉操作算子是遗传算法 所强调的关键技术遗传算法产生新个体的主要方法，也是遗传算法区别于其他进化算 法的主要特点。 进化策略是加世纪6 0 年代由德国的1 r e c h e n b e r g 和e s c h w e f e l 开发出的一种优化 算法，当初开发进化策略的主要是为了求解多峰值非线性函数的最优化问题。随后人 一8 一 东北大学硕士学位论文第二章神经网络、进化算法及免疫理论综述 们根据算法的不同选择操作机制提出了许多不同种类的进化策略，这些不同的进化策略 在很多工程问题上都得到了一定程度上的应用。与遗传算法相比，进化策略具有下面一 些主要特点： ( 1 ) 进化策略中各个个体的适应度直接取自它所对应得目标函数值 ( 2 ) 个体的变异操作是进化策略中所采用的主要搜索技术，而个体之间交叉操作 只是进化策略中所采用的辅助搜索技术。 ( 3 ) 进化策略中的选择运算时按照确定的方式进行的，每次都从群体中选取最好 的几个个体，将他们保留到下一代群体中 进化规划是6 0 年代由美国的l j f l g c l 等为求解预测问题而提出的一种有限状态机 进化模型，在这个进化模型中，机器的状态基于均匀随机分布的规律来进行变异，9 0 年代，d b f o g c l 又将进化规划的思想拓展到实数空间，使其能够用来求解实数空间中 的优化计算问题，并在其变异运算中引入正态分布的技术，这样，进化规划就演变成一 种优化搜索算法，并在很多实际领域中得到了应用，与遗传算法和进化策略相比，进化 规划的主要特点是： ( 1 ) 进化规划对生物进化过程的模拟主要是着眼于物种的进化过程，所以他不使 用个体重组方面的操作算子，如不使用交叉算子 ( 2 ) 进化规划直接以问题的可行解作为个体的表现形式，无需再对个体进行编码 处理，这样便于其应用。 2 2 3 进化算法的特点 为了求解各种优化问题，人们已经发展了各种各样的优化算法，如单纯形法、梯度 法、模拟退火算法、神经网络算法等。这些优化算法各有个的长处，各有各的适用范围， 也各有各的限制。相比于其他优化算法，进化算法主要的优点是： ( 1 ) 以优化变量的遗传编码为运算、搜索对象。传统的优化算法往往直接利用优 化变量的实际值本身进行优化计算，但进化计算不是直接以原优化变量的值，而是以优 化变量的某种形式的遗传编码作为运算对象。这种优化变量的编码处理方式使得我们在 优化计算过程中，可以借鉴生物学中染色体和基因等概念，可以模仿自然界中生物进化 机制与遗传变异原理，也使得我们可以方便地应用遗传、进化等操作算子，另外，对一 些非数值概念或很难用数值概念而只能用代码的优化问题( 这类问题称为非数值优化问 题) ，进化算法的这种处理方式显示其独特的优越性。 ( 2 ) 只应用“适应值 信息，而无需应用目标函数的具体值及其他辅助信息。传 统优化算法不仅依赖于直接应用目标函数的具体值，而且也往往需要应用目标函数的导 数值等其他一些辅助信息来确定搜索方向。而进化算法通常仅使用由目标函数变换来的 一9 一 东北大学硕士学位论文 第二章神经网络、进化算法及免疫理论综述 适应度值指导搜索注意到，评价个体的适应度可以不依赖于目标函数的恰好估值( 例 如只要知道排序关系) ，这使得进化计算不仅可以方便地应用于那些有目标函数的，但 很难求导数，或导数不存在的优化问题( 特别如组合优化语非光滑优化问题) ，而且， 更重要地，可应用于那些目标函数无明确表达，或有表达但不可精确估值的优化问题。 ( 3 ) 非单点操作，使用群体搜索策略。传统优化算法往往是从解空间中的一个初 始点出发而单点迭代( 从而形成一个空间中的一条轨迹) 单个点所提供的搜索信息毕 竟不多，因而其搜索效率不高，有时甚至使搜索过程陷于局部极值而停滞不前。进化计 算是从由多个个体所组成的初始种群起始的种群空间中的迭代过程( 从而形成个体空间 的多条轨迹) ，其搜索过程的每一步利用了种群中个体所提供的信息( 即群体信息) 这 些信息可以避免一些不必要的搜索的点或区域，从而提高了搜索效率，也更大程度上避 免了陷于局部极值。另外进化算法的群体搜索机制使其具有自然的并行性，从而适宜于 当代或未来以分布、并行为特征的只能计算机上发挥。 ( 4 ) 使用概率搜索机制。很多传统优化算法使用的是确定性的搜索方法，一个搜 索点到另一个搜索点的转移有确定的转移关系，这种确定性使得算法的搜索具有定向 性，从而很难达到问题的全局最优解，而且数值稳定性不好。进化计算在计算的各个步 骤使用概率转移规则，因为是一类导向随即搜索技术( d i r e c t e dr a n d o ms e a r c h ) 。特别是 其选择、繁殖( 交叉、变异等) 等操作都是以一定概率的方式进行的，采用的是“软选 择 与“让步策略 ，它能以一定概率接受不一定好的个体，从而大大提高了算法跳出 局部极值陷阱的能力。另外，概率搜索机制的一个自然优点是响应算法的稳定性 ( r o b u s t n e s s ) ，进化计算也具有这一特征。 这样，概括起来说，进化算法具有通用、并行、稳健、简单与全局优化能力强等突 出优点。 上述特别优点决定了进化算法的使用范围应该是复杂、困难得全局优化问题，而不 是通常的数值优化问题。一个优化问题称为是复杂的，通常指它具有下述特征之一： ( 1 ) 目标函数没有明确的解析表达式( 如非数值优化问题) ； ( 2 ) 目标函数虽有明确表达，但不可能恰好估值( 如大部分最优控制问题，金融 优化问题) ： ( 3 ) 目标函数有极多的峰值( m u l t i m o d a l ) ( 如d n a 计算，组合优化问题) ： ( 4 ) 多目标 对于这些复杂、困难得优化问题，已知的优化方法或者根本不可用，或者可应用但 不有效。相比之下，进化计算不但保证可应用，而且常常显得更为有效目前，进化计 算成功地应用到多目标优化问题，人工神经网络训练，数据挖掘、各种图论语网络中的 组合问题。 一1 0 一 东北大学硕士学位论文 第二章神经网络、进化算法及免疫理论综述 大量事例和迹象表明，进化计算的机理非常适合优化神经网络的结构和参数，因为 进化算法通过代表整个解集的种群进化，以内在并行方式搜索全局最优解，这对于解决 神经网络的结构及参数优化是十分诱人的。 2 3 免疫理论初步 2 3 1 生物免疫机制的抽取 当抗原侵入生物体后，免疫系统就会对其进行识别，如果抗原是曾经出现过的，相 应的记忆细胞就会被激活，经过增殖和分化产生大量抗体。免疫系统的抗原识别能力非 常强，即使是差别很小的抗原，生物的免疫系统都能分辨出来。如果侵入的抗原是从来 没有出现过的新抗原，免疫系统也能经过一系列的反应，生成相应的抗体，与抗原进行 特异性的作用，直到排除抗原为止。几乎任何一种单一的抗原都能刺激好几种抗体的合 成，虽然他们的氨基酸序列不同，但都能有效地与该抗原结合，这些抗体大量存在，通 过一个复杂的调节机制来相互促进和抑制。 根据生物免疫机制，并结合进化算法，发现生物免疫系统的运行机制与进化算法的 求解过程非常相似当抗原入侵时，通过细胞的增殖和分化作用，免疫系统可产生大量 的抗体来抵御。因而，如果把“抗原”看作遗传算法中求解优化问题的目标函数，而把 “抗体 看作优化问题的解，则生物免疫系统产生大量抗体以排除抗原的过程就十分类 似于进化算法搜索优化问题的最