遗传算法在神经网络设计中的应用

1、第4卷第2期大连民族学院学报Vol.4 No.2 2002年4月 JOURNAL OF DALIAN NATIONALITIES UNIVERSITY Apr. 2002 遗传算法在神经网络设计中的应用李春时(大连民族学院计算机系,辽宁大连开发区116600摘要:通过对正被广泛应用的、智能的、并行的全局优化方法遗传算法的性能分析,并与其它算法比较,阐述了遗传算法在神经网络设计中的优越性.关键词:遗传算法;神经网络;交叉运算;变异运算中图分类号:TP399 文献标识码:A 文章编号:1009-315X(200202-0021-03一般说来,简单的算法不有效,有效的算法又不简单,从而算法的有效性和

2、简单性相互冲突. 神经网络本身是一个自组织、自适应的动态系统,传统的神经网络的学习方法多半将网络拓扑结构、权重及参数的训练分步进行,这种割裂的、静态的学习方法无法适应神经网络的动态的、自适应的特点,从而降低了网络的智能性. 遗传算法用简单的遗传操作和优胜劣汰的自然选择来指导学习和确定搜索的方向,同时优化拓扑结构,连接权重、隐节点中心和宽度参数,不要求目标函数连续,搜索具有全局性质,因此容易得到全局最优解或性能很好的次优解.1遗传算法与人工神经网络1. 1 遗传算法(G A遗传算法基于Darwin进化论及Mendel的遗传学说,首先将问题求解表示成基因型或称“染色体”,从而构成染色体群,将其置于

3、问题的环境中,根据适者生存的原则,从中选出适应环境的“染色体”进行复制再生,通过交叉、变异操作产生新一代更适合环境的染色体群. 这样,依据某种收敛条件,一代一代不断变化,最后收敛到一个最适应环境的个体上,求得问题的最优解.遗传算法与传统的算法不同,主要体现在两个方面:(1智能性,它体现在自组织、自适应和自学习性方面. 应用遗传算法求解问题的步骤是,在确定了编码方案、适应值函数及遗传算子后,算法将利用进化过程中获得的信息自行组织搜索. 因此利用遗传算法可以解决那些在结构上尚无人能理解的复杂问题.(2并行性,一是内在并行性,即遗传算法适合在目前的并行机或分布式系统上进行并行处理;二是内含并行性,由

4、于进化计算采收稿日期:2001 - 05 - 13.作者简介:李春时(1970-,女,黑龙江巴彦人,讲师.22大连民族学院学报第4卷 用种群的方式组织搜索,从而可以同时搜索解空间内的多个区域,并相互交流信息, 这种搜索方式使得它虽然每次只执行与种群规模N 成正比例的计算,而实质上已进行了大约O (N 3次有效搜索. 这使得遗传算法能以较少的计算量获得较大的收益(遗传算法的运算过程见图1.1. 2 人工神经网络(A N N 人工神经网络是基于模仿大脑的结构和功能而构成的一种信息处理方法1,即用大量的简单计算处理单元(神经元构成的非线性系统. 它具有学习能力、记忆能力、计算能力以及各种智能处理功能

5、,能够在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能. 人工神经网络主要应用在以下几个方面:非线性函数逼近、模式识别、知识处理工程和专家系统、控制及优化、金融预测与管理等. 2应用传统的神经网络设计方法多半是根据经验来设计网络的结构和确定网络的参数,然后利用梯度下降法学习网络的权系数、参数. 这一问题本身也是很困难的, 因为我们经常对应用问题的网络结构以及学习任务本身并没有很多的准备知识. 并且这些学习算法大多数是通过样本实例的学习训练来确定神经网络的权值,但并没有考虑整个网络的优化问题.遗传算法是基于进化学说的智能、并行的全局优化方法,将其应用于设计神经网络的基本思想是先用有限

6、个参数描述一个神经网络模型,再把这些参数编码为染色体,利用GA 的全局搜索能力在整个参数空间内搜索,找出符合要求的最佳参数组合,从而设计出性能优良的神经网络.具体算法:(1随机产生N 个染色体数字串,组成初始种群,其中每个染色体表示一种参数组合对应的神经网络模型;(2REPEAT 取出种群中第I 个染色体,解码后得到一种参数组合,构成一个神经网络;评价所得神经网络,计算其对应染色体的适应度;UNTIL 种群为空;进行选择、交叉、变异运算,构成下一代种群;(3新种群满足性能评价标准或到达给定代数,转到(5,否则转到(2重复执行;(4解码种群适应度最高的染色体,用其参数集构成一个神经网络,即为结构

7、最优的神经网络.染色体设计:在生物学上,染色体结构是一系列基因按层次排列而成的,上层基因控制下层基因. 根 据这一特点,将染色体设计成包括控制基因和参数基因的递阶结构,表示隐节点的控制基第2期李春时:遗传算法在神经网络设计中的应用 23因处于上级,表示参数的基因处于下级,下级基因受控于上级基因. 控制基因采用二进制编码,当取0、1不同值时,控制的相应下级基因分别处于有效或无效状态. 参数基因采用实数编码,可加强空间搜索能力. 对于只有一个隐层的网络,其编码如下图2所示: 图2 只有一个隐层的网络编码示意递阶染色体设计的遗传算法的操作不仅可以同时优化整个网络,而且层次清晰,算法本身的智能性、自适

8、应性能更好的满足设计神经网络的初衷. 使用此方法训练只有一个隐层的RBF网络较其它方法精度有很大提高3.3结论我们知道,只含有一个隐层的前馈网络是一个通用的逼近器, 可以任意逼近一个非线性函数,但这并不说明一个隐层是最好的. 文献4证明,逼近相同输入维数的函数,两个隐层的网络可能比单个隐层所需单元数少得多. 但采用传统的训练方法,增加网络的层数不仅会使问题本身变得很复杂,而且会使运算量增长. 采用遗传训练方法,将多层的网络参数设计在不同的基因级上,由于算法本身的自适应性、并行性,使多层网络的整体优化变得可行.参考文献:1 阎平凡,张长水. 人工神经网络与模拟进化计算M. 北京:清华大学出版社,

9、2001.2 潘正君,康立山,陈毓屏. 演化计算M. 北京:清华大学出版社,2000.3 郑丕谔,马艳华. RBF神经网络的递阶遗传训练新方法J. 控制与决策.2000,(2:165.4 Ramura S.Capabilities of a Four-layered Feedforward NN,Four Layer Versus Three LayerJ. IEEE Trans NN.1997,(8:251.The Application of Genetic Algorithm in Neural Network DesignLI Chun-shi(Dalian Nationalities University, Dalian Development Zone 116600, ChinaAbstract:By analyzing the widely used, intelligent and overall optimized methodgenetic algorithmand comparing it with other algorithm,