遗传算法与智能算法综述

1、- PAGE 18 -智能算法综综述摘要：随着着计算机技技术的飞速速发展，智智能计算方方法的应用用领域也越越来越广泛泛，本文介介绍了当前前存在的一一些智能计计算方法，阐阐述了其工工作原理和和特点，同同时对智能能计算方法法的发展进进行了展望望。 关键词：人人工神经网网络 遗传传算法 模模拟退火算算法 群集集智能 蚁蚁群算法 粒子群算算 1 什么么是智能算算法 智能计算也也有人称之之为“软计算”，是们受受自然（生生物界）规规律的启迪迪，根据其其原理，模模仿求解问问题的算法法。从自然然界得到启启迪，模仿仿其结构进进行发明创创造，这就就是仿生学学。这是我我们向自然然界学习的的一个方面面。另一方方面，我

2、们们还可以利利用仿生原原理进行设设计(包括括设计算法法)，这就就是智能计计算的思想想。这方面面的内容很很多，如人人工神经网网络技术、遗传算法法、模拟退退火算法、模拟退火火技术和群群集智能技技术等。 2 人工神神经网络算算法 “人工神经经网络”(ARTTIFICCIAL NEURRAL NNETWOORK，简简称ANNN)是在对对人脑组织织结构和运运行机制的的认识理解解基础之上上模拟其结结构和智能能行为的一一种工程系系统。早在在本世纪440年代初初期，心理理学家MccCullloch、数学家PPittss就提出了了人工神经经网络的第第一个数学学模型，从从此开创了了神经科学学理论的研研究时代。其后

3、，FF Rossenbllatt、Widrrow和JJ. J .Hoppfielld等学者者又先后提提出了感知知模型，使使得人工神神经网络技技术得以蓬蓬勃发展。 神经系统的的基本构造造是神经元元(神经细细胞)，它它是处理人人体内各部部分之间相相互信息传传递的基本本单元。据据神经生物物学家研究究的结果表表明，人的的一个大脑脑一般有1101010111个神经元元。每个神神经元都由由一个细胞胞体，一个个连接其他他神经元的的轴突和一一些向外伸伸出的其它它较短分支支树突组组成。轴突突的功能是是将本神经经元的输出出信号(兴兴奋)传递递给别的神神经元。其其末端的许许多神经末末梢使得兴兴奋可以同同时传送给给多

4、个神经经元。树突突的功能是是接受来自自其它神经经元的兴奋奋。神经元元细胞体将将接受到的的所有信号号进行简单单处理(如如：加权求求和，即对对所有的输输入信号都都加以考虑虑且对每个个信号的重重视程度体现在在权值上有所不不同)后由由轴突输出出。神经元元的树突与与另外的神神经元的神神经末梢相相连的部分分称为突触触。 2.1 人人工神经网网络的特点点 人工神经网网络是由大大量的神经经元广泛互互连而成的的系统，它它的这一结结构特点决决定着人工工神经网络络具有高速速信息处理理的能力。人脑的每每个神经元元大约有11031104个树树突及相应应的突触，一一个人的大大脑总计约约形成1001411015个个突触。用

5、用神经网络络的术语来来说，即是是人脑具有有1014410115个互相相连接的存存储潜力。虽然每个个神经元的的运算功能能十分简单单，且信号号传输速率率也较低(大约1000次/秒秒)，但由由于各神经经元之间的的极度并行行互连功能能，最终使使得一个普普通人的大大脑在约11秒内就能能完成现行行计算机至至少需要数数10亿次次处理步骤骤才能完成成的任务。 人工神经网网络的知识识存储容量量很大。在在神经网络络中，知识识与信息的的存储表现现为神经元元之间分布布式的物理理联系。它它分散地表表示和存储储于整个网网络内的各各神经元及及其连线上上。每个神神经元及其其连线只表表示一部分分信息，而而不是一个个完整具体体概

6、念。只只有通过各各神经元的的分布式综综合效果才才能表达出出特定的概概念和知识识。 由于人工神神经网络中中神经元个个数众多以以及整个网网络存储信信息容量的的巨大，使使得它具有有很强的不不确定性信信息处理能能力。即使使输入信息息不完全、不准确或或模糊不清清，神经网网络仍然能能够联想思思维存在于于记忆中的的事物的完完整图象。只要输入入的模式接接近于训练练样本，系系统就能给给出正确的的推理结论论。 正是因为人人工神经网网络的结构构特点和其其信息存储储的分布式式特点，使使得它相对对于其它的的判断识别别系统，如如：专家系系统等，具具有另一个个显著的优优点：健壮壮性。生物物神经网络络不会因为为个别神经经元的

7、损失失而失去对对原有模式式的记忆。最有力的的证明是，当当一个人的的大脑因意意外事故受受轻微损伤伤之后，并并不会失去去原有事物物的全部记记忆。人工工神经网络络也有类似似的情况。因某些原原因，无论论是网络的的硬件实现现还是软件件实现中的的某个或某某些神经元元失效，整整个网络仍仍然能继续续工作。 人工神经网网络是一种种非线性的的处理单元元。只有当当神经元对对所有的输输入信号的的综合处理理结果超过过某一门限限值后才输输出一个信信号。因此此神经网络络是一种具具有高度非非线性的超超大规模连连续时间动动力学系统统。它突破破了传统的的以线性处处理为基础础的数字电电子计算机机的局限，标标志着人们们智能信息息处理

8、能力力和模拟人人脑智能行行为能力的的一大飞跃跃。 2.2 几几种典型神神经网络简简介 2.2.11 多层感感知网络(误差逆传传播神经网网络) 在19866年以Ruumelhhart和和McCeellannd为首的的科学家出出版的PParalllel Disttribuuted Proccessiing一一书中，完完整地提出出了误差逆逆传播学习习算法，并并被广泛接接受。多层层感知网络络是一种具具有三层或或三层以上上的阶层型型神经网络络。典型的的多层感知知网络是三三层、前馈馈的阶层网网络，即：输入层II、隐含层层(也称中中间层)JJ和输出层层K。相邻邻层之间的的各神经元元实现全连连接，即下下一层的

9、每每一个神经经元与上一一层的每个个神经元都都实现全连连接，而且且每层各神神经元之间间无连接。 但BP网并并不是十分分的完善，它它存在以下下一些主要要缺陷：学学习收敛速速度太慢、网络的学学习记忆具具有不稳定定性，即：当给一个个训练好的的网提供新新的学习记记忆模式时时，将使已已有的连接接权值被打打乱，导致致已记忆的的学习模式式的信息的的消失。 2.2.22 竞争型型(KOHHONENN)神经网网络 它是基于人人的视网膜膜及大脑皮皮层对剌激激的反应而而引出的。神经生物物学的研究究结果表明明：生物视视网膜中，有有许多特定定的细胞，对对特定的图图形(输入入模式)比比较敏感，并并使得大脑脑皮层中的的特定细

10、胞胞产生大的的兴奋，而而其相邻的的神经细胞胞的兴奋程程度被抑制制。对于某某一个输入入模式，通通过竞争在在输出层中中只激活一一个相应的的输出神经经元。许多多输入模式式，在输出出层中将激激活许多个个神经元，从从而形成一一个反映输输入数据的的“特征图形形”。竞争型型神经网络络是一种以以无教师方方式进行网网络训练的的网络。它它通过自身身训练，自自动对输入入模式进行行分类。竞竞争型神经经网络及其其学习规则则与其它类类型的神经经网络和学学习规则相相比，有其其自己的鲜鲜明特点。在网络结结构上，它它既不象阶阶层型神经经网络那样样各层神经经元之间只只有单向连连接，也不不象全连接接型网络那那样在网络络结构上没没有

11、明显的的层次界限限。它一般般是由输入入层(模拟拟视网膜神神经元)和和竞争层(模拟大脑脑皮层神经经元，也叫叫输出层)构成的两两层网络。两层之间间的各神经经元实现双双向全连接接，而且网网络中没有有隐含层。有时竞争争层各神经经元之间还还存在横向向连接。竞竞争型神经经网络的基基本思想是是网络竞争争层各神经经元竞争对对输入模式式的响应机机会，最后后仅有一个个神经元成成为竞争的的胜者，并并且只将与与获胜神经经元有关的的各连接权权值进行修修正，使之之朝着更有有利于它竞竞争的方向向调整。神神经网络工工作时，对对于某一输输入模式，网网络中与该该模式最相相近的学习习输入模式式相对应的的竞争层神神经元将有有最大的输

12、输出值，即即以竞争层层获胜神经经元来表示示分类结果果。这是通通过竞争得得以实现的的，实际上上也就是网网络回忆联联想的过程程。 除了竞争的的方法外，还还有通过抑抑制手段获获取胜利的的方法，即即网络竞争争层各神经经元抑制所所有其它神神经元对输输入模式的的响应机会会，从而使使自己“脱颖而出出”，成为获获胜神经元元。除此之之外还有一一种称为侧侧抑制的方方法，即每每个神经元元只抑制与与自己邻近近的神经元元，而对远远离自己的的神经元不不抑制。这这种方法常常常用于图图象边缘处处理，解决决图象边缘缘的缺陷问问题。 竞争型神经经网络的缺缺点和不足足：因为它它仅以输出出层中的单单个神经元元代表某一一类模式。所以一

13、旦旦输出层中中的某个输输出神经元元损坏，则则导致该神神经元所代代表的该模模式信息全全部丢失。 2.2.33 Hoppfielld神经网网络 1986年年美国物理理学家J.J.Hoopfieeld陆续续发表几篇篇论文，提提出了Hoopfieeld神经经网络。他他利用非线线性动力学学系统理论论中的能量量函数方法法研究反馈馈人工神经经网络的稳稳定性，并并利用此方方法建立求求解优化计计算问题的的系统方程程式。基本本的Hoppfielld神经网网络是一个个由非线性性元件构成成的全连接接型单层反反馈系统。 网络中的每每一个神经经元都将自自己的输出出通过连接接权传送给给所有其它它神经元，同同时又都接接收所有

14、其其它神经元元传递过来来的信息。即：网络络中的神经经元t时刻刻的输出状状态实际上上间接地与与自己的tt-1时刻刻的输出状状态有关。所以Hoopfieeld神经经网络是一一个反馈型型的网络。其状态变变化可以用用差分方程程来表征。反馈型网网络的一个个重要特点点就是它具具有稳定状状态。当网网络达到稳稳定状态的的时候，也也就是它的的能量函数数达到最小小的时候。这里的能能量函数不不是物理意意义上的能能量函数，而而是在表达达形式上与与物理意义义上的能量量概念一致致，表征网网络状态的的变化趋势势，并可以以依据Hoopfieeld工作作运行规则则不断进行行状态变化化，最终能能够达到的的某个极小小值的目标标函数

15、。网网络收敛就就是指能量量函数达到到极小值。如果把一一个最优化化问题的目目标函数转转换成网络络的能量函函数，把问问题的变量量对应于网网络的状态态，那么HHopfiield神神经网络就就能够用于于解决优化化组合问题题。 对于同样结结构的网络络，当网络络参数(指指连接权值值和阀值)有所变化化时，网络络能量函数数的极小点点(称为网网络的稳定定平衡点)的个数和和极小值的的大小也将将变化。因因此，可以以把所需记记忆的模式式设计成某某个确定网网络状态的的一个稳定定平衡点。若网络有有M个平衡衡点，则可可以记忆MM个记忆模模式。 当网络从与与记忆模式式较靠近的的某个初始始状态(相相当于发生生了某些变变形或含有

16、有某些噪声声的记忆模模式，也即即：只提供供了某个模模式的部分分信息)出出发后，网网络按Hoopfieeld工作作运行规则则进行状态态更新，最最后网络的的状态将稳稳定在能量量函数的极极小点。这这样就完成成了由部分分信息的联联想过程。 Hopfiield神神经网络的的能量函数数是朝着梯梯度减小的的方向变化化，但它仍仍然存在一一个问题，那那就是一旦旦能量函数数陷入到局局部极小值值，它将不不能自动跳跳出局部极极小点，到到达全局最最小点，因因而无法求求得网络最最优解。 3 遗传算算法 遗传算法（GGenettic AAlgorrithmms）是基基于生物进进化理论的的原理发展展起来的一一种广为应应用的、

17、高高效的随机机搜索与优优化的方法法。其主要要特点是群群体搜索策策略和群体体中个体之之间的信息息交换，搜搜索不依赖赖于梯度信信息。它是是在70年年代初期由由美国密执执根（Miichiggan）大大学的霍兰兰（Holllandd）教授发发展起来的的。19775年霍兰兰教授发表表了第一本本比较系统统论述遗传传算法的专专著自然然系统与人人工系统中中的适应性性（AAdapttatioon inn Natturall andd Arttificcial Systtems）。遗传传算法最初初被研究的的出发点不不是为专门门解决最优优化问题而而设计的，它它与进化策策略、进化化规划共同同构成了进进化算法的的主要框

18、架架，都是为为当时人工工智能的发发展服务的的。迄今为为止，遗传传算法是进进化算法中中最广为人人知的算法法。 近几年来，遗遗传算法主主要在复杂杂优化问题题求解和工工业工程领领域应用方方面，取得得了一些令令人信服的的结果，所所以引起了了很多人的的关注。在在发展过程程中，进化化策略、进进化规划和和遗传算法法之间差异异越来越小小。遗传算算法成功的的应用包括括：作业调调度与排序序、可靠性性设计、车车辆路径选选择与调度度、成组技技术、设备备布置与分分配、交通通问题等等等。 3.1 特特点 遗传算法是是解决搜索索问题的一一种通用算算法，对于于各种通用用问题都可可以使用。搜索算法法的共同特特征为： 首先组组成

19、一组候候选解； 依据某某些适应性性条件测算算这些候选选解的适应应度； 根据适适应度保留留某些候选选解，放弃弃其他候选选解； 对保留留的候选解解进行某些些操作，生生成新的候候选解。在在遗传算法法中，上述述几个特征征以一种特特殊的方式式组合在一一起：基于于染色体群群的并行搜搜索，带有有猜测性质质的选择操操作、交换换操作和突突变操作。这种特殊殊的组合方方式将遗传传算法与其其它搜索算算法区别开开来。 遗传算法还还具有以下下几方面的的特点： (1)遗传传算法从问问题解的串串集开始嫂嫂索，而不不是从单个个解开始。这是遗传传算法与传传统优化算算法的极大大区别。传传统优化算算法是从单单个初始值值迭代求最最优解

20、的；容易误入入局部最优优解。遗传传算法从串串集开始搜搜索，覆盖盖面大，利利于全局择择优。(22)许多传传统搜索算算法都是单单点搜索算算法，容易易陷入局部部的最优解解。遗传算算法同时处处理群体中中的多个个个体，即对对搜索空间间中的多个个解进行评评估，减少少了陷入局局部最优解解的风险，同同时算法本本身易于实实现并行化化。 (3)遗传传算法基本本上不用搜搜索空间的的知识或其其它辅助信信息，而仅仅用适应度度函数值来来评估个体体，在此基基础上进行行遗传操作作。适应度度函数不仅仅不受连续续可微的约约束，而且且其定义域域可以任意意设定。这这一特点使使得遗传算算法的应用用范围大大大扩展。 (4)遗传传算法不是

21、是采用确定定性规则，而而是采用概概率的变迁迁规则来指指导他的搜搜索方向。 (5)具有有自组织、自适应和和自学习性性。遗传算算法利用进进化过程获获得的信息息自行组织织搜索时，硬硬度大的个个体具有较较高的生存存概率，并并获得更适适应环境的的基因结构构。 3.2 运用领域域 前面描述是是简单的遗遗传算法模模型，可以以在这一基基本型上加加以改进，使使其在科学学和工程领领域得到广广泛应用。下面列举举了一些遗遗传算法的的应用领域域： 优化：遗传算法法可用于各各种优化问问题。既包包括数量优优化问题，也也包括组合合优化问题题。 程序设设计：遗传传算法可以以用于某些些特殊任务务的计算机机程序设计计。 机器学学习

22、：遗传传算法可用用于许多机机器学习的的应用，包包括分类问问题和预测测问题等。 经济学学：应用遗遗传算法对对经济创新新的过程建建立模型，可可以研究投投标的策略略，还可以以建立市场场竞争的模模型。 免疫系系统：应用用遗传算法法可以对自自然界中免免疫系统的的多个方面面建立模型型，研究个个体的生命命过程中的的突变现象象以及发掘掘进化过程程中的基因因资源。 进化现现象和学习习现象：遗遗传算法可可以用来研研究个体是是如何学习习生存技巧巧的，一个个物种的进进化对其他他物种会产产生何种影影响等等。 社会经经济问题：遗传算法法可以用来来研究社会会系统中的的各种演化化现象，例例如在一个个多主体系系统中，协协作与交

23、流流是如何演演化出来的的。 4 模拟退退火算法 模拟退火算算法来源于于固体退火火原理，将将固体加温温至充分高高，再让其其徐徐冷却却，加温时时，固体内内部粒子随随温升变为为无序状，内内能增大，而而徐徐冷却却时粒子渐渐趋有序，在在每个温度度都达到平平衡态，最最后在常温温时达到基基态，内能能减为最小小。根据MMetroopoliis准则，粒粒子在温度度T时趋于于平衡的概概率为e-E/(kkT)，其其中E为温温度T时的的内能，E为其改改变量，kk为Bolltzmaann常数数。用固体体退火模拟拟组合优化化问题，将将内能E模模拟为目标标函数值ff ，温度度T演化成成控制参数数t，即得得到解组合合优化问题

24、题的模拟退退火算法：由初始解解i和控制制参数初值值t开始，对对当前解重重复“产生新解解计算目标标函数差接受或舍舍弃”的迭代，并并逐步衰减减t值，算算法终止时时的当前解解即为所得得近似最优优解，这是是基于蒙特特卡罗迭代代求解法的的一种启发发式随机搜搜索过程。退火过程程由冷却进进度表(CCooliing SScheddule)控制，包包括控制参参数的初值值t及其衰衰减因子t、每个个t值时的的迭代次数数L和停止止条件S。 5 群体（群群集）智能能（Swaarm IIntellligeence） 受社会性昆昆虫行为的的启发，计计算机工作作者通过对对社会性昆昆虫的模拟拟产生了一一系列对于于传统问题题的新

25、的解解决方法，这这些研究就就是群集智智能的研究究。群集智智能(Swwarm Inteelliggencee)中的群群体(Swwarm)指的是“一组相互互之间可以以进行直接接通信或者者间接通信信(通过改改变局部环环境)的主主体，这组组主体能够够合作进行行分布问题题求解”。而所谓谓群集智能能指的是“无智能的的主体通过过合作表现现出智能行行为的特性性”。群集智智能在没有有集中控制制并且不提提供全局模模型的前提提下，为寻寻找复杂的的分布式问问题的解决决方案提供供了基础。 群集智能的的特点和优优点：群体体中相互合合作的个体体是分布式式的(Diistriibuteed)，这这样更能够够适应当前前网络环境境

26、下的工作作状态; 没有中心心的控制与与数据，这这样的系统统更具有鲁鲁棒性(RRobusst)，不不会由于某某一个或者者某几个个个体的故障障而影响整整个问题的的求解。可可以不通过过个体之间间直接通信信而是通过过非直接通通信(Sttimerrgy)进进行合作，这这样的系统统具有更好好的可扩充充性(Sccalabbilitty)。由由于系统中中个体的增增加而增加加的系统的的通信开销销在这里十十分小。系系统中每个个个体的能能力十分简简单，这样样每个个体体的执行时时间比较短短，并且实实现也比较较简单，具具有简单性性(Simmpliccity)。因为具具有这些优优点，虽说说群集智能能的研究还还处于初级级阶

27、段，并并且存在许许多困难，但但是可以预预言群集智智能的研究究代表了以以后计算机机研究发展展的一个重重要方向。 在计算智能能(Commputaationnal IIntellligeence)领域有两两种基于群群智能的算算法，蚁群群算法(AAnt CColonny Opptimiizatiion)和和粒子群算算法(Paarticcle SSwarmm Opttimizzatioon)，前前者是对蚂蚂蚁群落食食物采集过过程的模拟拟，已经成成功运用在在很多离散散优化问题题上。 5.1 蚁蚁群优化算算法 受蚂蚁觅食食时的通信信机制的启启发，900年代Doorigoo提出了蚁蚁群优化算算法(Annt C

28、oolonyy Opttimizzatioon，ACCO)来解解决计算机机算法学中中经典的“货郎担问问题”。如果有有n个城市市，需要对对所有n个个城市进行行访问且只只访问一次次的最短距距离。 在解决货郎郎担问题时时，蚁群优优化算法设设计虚拟的的“蚂蚁”将摸索不不同路线，并并留下会随随时间逐渐渐消失的虚虚拟“信息素”。虚拟的的“信息素”也会挥发发，每只蚂蚂蚁每次随随机选择要要走的路径径，它们倾倾向于选择择路径比较较短的、信信息素比较较浓的路径径。根据“信息素较较浓的路线线更近的的原则，即即可选择出出最佳路线线。由于这这个算法利利用了正反反馈机制，使使得较短的的路径能够够有较大的的机会得到到选择，

29、并并且由于采采用了概率率算法，所所以它能够够不局限于于局部最优优解。 蚁群优化算算法对于解解决货郎担担问题并不不是目前最最好的方法法，但首先先，它提出出了一种解解决货郎担担问题的新新思路；其其次由于这这种算法特特有的解决决方法，它它已经被成成功用于解解决其他组组合优化问问题，例如如图的着色色(Graaph CColorring)以及最短短超串(SShorttest Commmon SSuperrsequuencee)等问题题。 5.2 粒粒子群优化化算法 粒子群优化化算法(PPSO)是是一种进化化计算技术术(Evoolutiionarry Coomputtatioon)，有有Eberrhart

30、t博士和KKenneedy博士士发明。源源于对鸟群群捕食的行行为研究。 PSO同遗遗传算法类类似，是一一种基于叠叠代的优化化工具。系系统初始化化为一组随随机解，通通过叠代搜搜寻最优值值。但是并并没有遗传传算法用的的交叉(ccrosssoverr)以及变变异(muutatiion)。而是粒子子在解空间间追随最优优的粒子进进行搜索。 同遗传算法法比较，PPSO的优优势在于简简单容易实实现并且没没有许多参参数需要调调整。目前前已广泛应应用于函数数优化，神神经网络训训练，模糊糊系统控制制以及其他他遗传算法法的应用领领域。 粒子群优化化算法(PPSO) 也是起源源对简单社社会系统的的模拟，最最初设想是是

31、模拟鸟群群觅食的过过程，但后后来发现PPSO是一一种很好的的优化工具具。 5.2.11 算法介介绍 PSO模拟拟鸟群的捕捕食行为。一群鸟在在随机搜索索食物，在在这个区域域里只有一一块食物。所有的鸟鸟都不知道道食物在那那里。但是是他们知道道当前的位位置离食物物还有多远远。那么找找到食物的的最优策略略是什么呢呢。最简单单有效的就就是搜寻目目前离食物物最近的鸟鸟的周围区区域。 PSO从这这种模型中中得到启示示并用于解解决优化问问题。PSSO中，每每个优化问问题的解都都是搜索空空间中的一一只鸟。我我们称之为为“粒子”。所有的的粒子都有有一个由被被优化的函函数决定的的适应值(fitnness valuu

32、e)，每每个粒子还还有一个速速度决定他他们飞翔的的方向和距距离。然后后粒子们就就追随当前前的最优粒粒子在解空空间中搜索索。 PSO初始始化为一群群随机粒子子(随机解解)，然后后通过叠代代找到最优优解，在每每一次叠代代中，粒子子通过跟踪踪两个“极值”来更新自自己。第一一个就是粒粒子本身所所找到的最最优解，这这个解叫做做个体极值值pBesst，另一一个极值是是整个种群群目前找到到的最优解解，这个极极值是全局局极值gBBest。另外也可可以不用整整个种群而而只是用其其中一部分分最优粒子子的邻居，那那么在所有有邻居中的的极值就是是局部极值值。 5.2.22 PSOO算法过程程 种群随随机初始化化。 对种群群内的每一一个个体计计算适应值值(fittnesss vallue)。适应值与与最优解的的距离直接接有关。 种群根根据适应值值进行复制制 。 如果终终止条件满满足的话，就就停止，否否则转步骤骤 。 从以上步骤骤，我们可可以看到PPSO和遗遗传算法有有很多共同同之处。两两者都随机机初始化种种群，而且且都使用适适应值来评评价系统，而而且都根据据适应值来来进行一定定的随机搜搜索。两个个系统都