基于遗传算法的神经网络设计本科生毕业设计.doc

江西理工大学 2010 届本科生毕业设计（论文） 摘 要 随着科学技术的发展，各学科交叉渗透，利用遗传算法用于解决传统计算 所遇到的寻找最优解或准优解显得尤为重要。因此，研究能在搜索过程中自动 获得和积累有关搜索空间的知识，并能自适应地控制搜索过程，从而得到最优 解或准有解的通用搜索算法一直是令人瞩目的课题。遗传算法经实践证明特别 有效的算法。本课题将在对神经网络、遗传算法等进行基础理论研究的前提下， 注重对遗传算法的c语言实现进行研究，同时对ga在优化和神经网络训练等方面 的应用和实现进行较深入的探讨。本文阐述了将遗传算法用于神经网络权值学 习和训练的原理和方法，并详述了神经网络权值学习和训练中遗传算法的具体 实现过程。 关键词：遗传算法；神经网络；繁殖；交叉；变异；适应度 江西理工大学 2010 届本科生毕业设计（论文） abstract with the development of science and technology, infiltrated the various disciplines, the traditional use of genetic algorithms for solving encountered calculation to find the optimal solution or quasi-optimal solution is very important. therefore, the study can be automatically in the search process and the accumulation of knowledge of the search space, and can adaptively control the search process, thereby yielding the optimal solution or the quasi-solvability of the general search algorithm has been a remarkable subject. ga proven particularly effective method. this issue will be on neural networks, genetic algorithms and basic premise of theory, focusing on the c language implementation of genetic algorithm research, while ga optimization and neural network training in the areas of application and implementation of more in-depth . in this paper, genetic algorithm neural network weight learning and training principles and methods, and detailed study of neural network weights and training in the specific realization of genetic algorithm key words: genetic algorithm; neural network; fitness; crossover ;mutation breeding; 江西理工大学 2010 届本科生毕业设计（论文） 毕业设计（论文）原创性声明和使用授权说明毕业设计（论文）原创性声明和使用授权说明 原创性声明原创性声明 本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师 的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以 标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究 成果，也不包含我为获得 及其它教育机构的学位或学历而 使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均 已在文中作了明确的说明并表示了谢意。 作 者 签 名： 日 期： 指导教师签名： 日 期： 使用授权说明使用授权说明 本人完全了解 大学关于收集、保存、使用毕业设计（论文） 的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本； 学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与 阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论 文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。 作者签名： 日 期： 江西理工大学 2010 届本科生毕业设计（论文） 学位学位论论文原文原创创性声明性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名： 日期： 年 月 日 学位学位论论文版文版权权使用授使用授权书权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权 大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名：日期： 年 月 日 导师签名： 日期： 年 月 日 江西理工大学 2010 届本科生毕业设计（论文） 目 录 第一章 绪论4 1.1 遗传算法的产生及特点.4 1.2 遗传算法的发展及其应用.5 1.3 本课题的选题背景.5 1.5 本课题研究目的与意义.6 第二章 神经元网络及 bp 算法.7 2.1 神经网络概述 7 2.2 神经元的数学模型 7 2.3 bp 学习算法 9 2.4 bp 算法的原理 9 第三章遗传算法.15 31 遗传算法概述.15 3.2 遗传算法的步骤16 3.2.1 编码问题 16 3.2.3 选择 17 3.2.4 交叉 18 3.2.5 变异 19 3.2.6 全局最优收敛 19 第四章 遗传算法在神经网络中的应用.21 4.1 遗传算法与神经网络的结合21 江西理工大学 2010 届本科生毕业设计（论文） 4.2 遗传算法训练神经网络 c 语言实现22 4.2.1 用遗传算法训练神经网络的要求 22 4.2.3 遗传算法训练神经网络 c 语言实现 24 4.3 结果分析 .35 第五章 结束语.38 参考文献：.39 第一章 绪论 bp网(back propagation network)是目前应用最为广泛的神经网络，具有 相当强的输入输出映射能力但是，由于bp算法的基本思想是最小二乘法，采 用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。神经网络和遗 传算法都是比较先进的计算方法，它们已成功地应用于工业、经济管理、交通 运输、工业设计等领域，解决了许多问题。但是神经网络权值训练和学习过程 的复杂和长期性，特别是神经网络易有训练过度的缺点，这些都大大影响了神 经网络的更广泛普及和应用。遗传算法是一种高效和计算简单的优化算法，它 完全可以应用于神经网络权值的训练和学习中，提高神经网络的学习效率和学 习速度，减轻网络学习过度的问题，为神经网络的更广泛应用奠定基础。 1.11.1 遗传算法的产生及特点遗传算法的产生及特点 遗传算法是根据生物进化思想而启发得出的一种全局优化算法，并且遗传 算法是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型。它的思 想源于生物遗传学和适者生存的自然规律，是具有“生存检测”的迭代过程 的搜索算法。遗传算法以一种群体中的所有个体为对象，并利用随机化技术指 导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗 传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操 作设计、控制参数设定五个要素组成了遗传算法的核心内容。 作为一种新的全 局优化搜索算法，遗传算法以其简单通用、鲁棒性强、适于并行处理以及高效、 实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为 重要的智能算法之一。 江西理工大学 2010 届本科生毕业设计（论文） 遗传算法作为一种快捷、简便、容错性强的算法，在各类结构对象的优化 过程中显示出明显的优势。与传统的搜索方法相比，遗传算法具有如下特点： 搜索过程不直接作用在变量上，而是在参数集进行了编码的个体。此编码操作， 使得遗传算法可直接对结构对象（集合、序列、矩阵、树、图、链和表）进行 操作。搜索过程是从一组解迭代到另一组解，采用同时处理群体中多个个体的 方法，降低了陷入局部最优解的可能性，并易于并行化。采用概率的变迁规则 来指导搜索方向，而不采用确定性搜索规则。对搜索空间没有任何特殊要求 （如连通性、凸性等） ，只利用适应性信息，不需要导数等其它辅助信息，适应 范围更广。 遗传算法具有许多独特的优点: 1遗传算法从问题解的中集开始嫂索，而不是从单个解开始。 这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值 迭代求最优解的；容易误入局部最优解。遗传算法从串集开始搜索，覆盖面大， 利于全局择优。 2遗传算法求解时使用特定问题的信息极少，容易形成通用算法程序。 由于遗传算法使用适应值这一信息进行搜索，并不需要问题导数等与问题 直接相关的信息。遗传算法只需适应值和串编码等通用信息，几乎可处理任何 问题。 3遗传算法有极强的容错能力 遗传算法的初始串集本身就带有大量与最优解甚远的信息；通过选择、交 叉、变异操作能迅速排除与最优解相差极大的串；这是一个强烈的滤波过程； 并且是一个并行滤波机制。故而，遗传算法有很高的容错能力。 4遗传算法中的选择、交叉和变异都是随机操作，而不是确定的精确规则。 这说明遗传算法是采用随机方法进行最优解搜索，选择体现了向最优解迫 近，交叉体现了最优解的产生，变异体现了全局最优解的覆盖。 5遗传算法具有隐含的并行性。 遗传算法在操作上具有高度的并行性,许多研究人员都在探索在并行机和分 布式系统上高效执行遗传算法的策略。对分布并行遗传算法的研究表明,只要通 过保持多个群体和恰当控制群体间的相互作用来模拟并行执行过程,即使不使用 并行计算机,也能提高算法的执行效率。 1.21.2 遗传算法的发展及其应用遗传算法的发展及其应用 遗传算法（genetic algorithm）是一类借鉴生物界的进化规律（适者生存， 优胜劣汰遗传机制）演化而来的随机化搜索方法。它是由美国的 j.holland 教 授 1975 年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函 数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的 寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需 要确定的规则。遗传算法的这些性质，已被人们广泛地应用于组合优化、机器 学习、信号处理、自适应控制和人工生命等领域。它是现代有关智能计算中的 关键技术。 遗传算法是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型。 它的思想源于生物遗传学和适者生存的自然规律，是具有“生存检测”的迭 代过程的搜索算法。遗传算法以一种群体中的所有个体为对象，并利用随机化 江西理工大学 2010 届本科生毕业设计（论文） 技术指导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构 成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、 遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。 作为一种 新的全局优化搜索算法，遗传算法以其简单通用、鲁棒性强、适于并行处理以 及高效、实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并 逐渐成为重要的智能算法之一。 1.31.3 本课题的选题背景本课题的选题背景 当前科学技术正进入多学科互相交叉、互相渗透、互相影响的时代，生命 科学与工程科学的交叉、渗透和相互促进是其中一个典型例子，也是近代科学 技术发展的一个显著特点。但是，近年来，随着人工智能应用领域的不断拓广， 传统的基于符号处理机制的人工智能方法在知识表示、处理模式信息及解决组 合爆炸等方面所碰到的问题已变得越来越突出，有不少问题需要在复杂而庞大 的搜索空间中寻找最优解或准优解。在求解此类问题时，若不能利用问题的固 有知识来缩小搜索空间则会产生搜索的组合爆炸。因此，研究能在搜索过程中 自动获得和积累有关搜索空间的知识，并能自适应地控制搜索过程，从而得到 最优解或准有解的通用搜索算法一直是令人瞩目的课题。遗传算法就是在这种 背景下产生并经实践证明特别有效的算法。 1.4 本课题主要研究内容 学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根 据环境的变化，对权值进行调整，改善系统的行为。由 hebb 提出的 hebb 学习 规则为神经网络的学习算法奠定了基础。hebb 规则认为学习过程最终发生在神 经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在 此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有 效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在 表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。 1.51.5 本课题研究目的与意义本课题研究目的与意义 本课题任务主要是在监督学习中，利用 c 语言编程，研究通过 ga 算法直接 训练神经网络和训练初始权值的方法。将训练样本的数据加到网络输入端，同 时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强 度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经 学习可以修改权值以适应新的环境。 江西理工大学 2010 届本科生毕业设计（论文） 第二章 神经元网络及 bp 算法 2.12.1 神经网络概述神经网络概述 神经网络是大量的简单神经元按一定规则连接构成的网络系统。网络能够 模拟人类大脑的结构和功能,自1943年第一个神经网络模型mp模型提出至今，神 经网络发展非常迅速。特别是1982年提出的hopfield 网络模型和1985年提出的 bp算法,神经网络逐步得到更加广泛的应用。神经网络是由大量神经元广泛互连 形成大规模并行处理和分布式的信息存储的复杂网络系统。单一神经元可以有 许多输入、输出。神经元之间的相互作用通过连接的权重体现，神经元的输出 是其输入的函数。单一简单的神经元，经过大规模的互联形成了复杂庞大的系 统，可实现多种多样的日任务。神经网络计算的基本特征是大规模并行处理、 容错性、自适应性和自组织性。大规模并行处理指能同时处理与决策有关的因 素采用某种学习算法从训练样本中学习，并将获取的知识存储在网络各单元 之间的连接权中，神经网络和基于符号的传统k9技术相比，具有直观性、并行 性和抗噪性。目前已出现了多种网络模型和学习算法，主要用于分类、优化、 模式识别、预测和控制等领域。 2.22.2 神经元的数学模型神经元的数学模型 从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且 江西理工大学 2010 届本科生毕业设计（论文） 它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的 数学模型。工程上用的人工神经元模型如图 2-2 所示。 图 2-2 神经元的数学模型 在图 22 中， 1 x ， 2 x ， n x 是神经元的输入，即是来自前级 n 个神经元的轴 突的信息 w 是 i 神经元的阀值； 11 w ， 12 w ， n w1 分别是 i 神经元对 1 x ， 2 x ， n x 的权系数，也即突触的传递效率； i y 是 i 神经元的输出；f是激发函 数，它决定 i 神经元受到输人 1 x ， 2 x ， n x 的共同刺激达到阀值时以何种方式输 出。 从图 2-2 的神经元模型，可以得到神经元的数学模型表达式： 00 01 )( i i i u u uf (2-1) 图 2-3.典型激发函数 对于激发函数 f有多种形式，其中最常见的有阶跃型、线性型和 s 型 三种形式，这三种形式如图 23 所示。 为了表达方便；令： 江西理工大学 2010 届本科生毕业设计（论文） i u = n ij ijijx w （2-2） 则公式(2-1)可写成下式： i y =f 1 u ； (2-3) 显然，对于阶跃型激发函数有： 00 01 )( i i i u u uf （2-4） 对于线性型激发函数，有： f( 1 u )= u k ； （2-5） 对于 s 型激发函数，有： )exp(1 1 )( i ui uf （2-6） 对于阶跃型激发函数，它的输出是单位脉冲，故而这种激发函数的神经元 称离散输出模型。 对于线性激发函数，它的输出是随输入的激发总量成正比的；故这种神经 元称线性连续型模型。 对于用 s 型激发函数，它的输出是非线性的；故这种神经元称非线性连续 型模型。 阀值函数(thresh0ld function) 阀值函数又叫阶跃函数，当激活函数仅用来实现判定神经元所获得的网络 输入是否超过闭值 时，使用此函数。 netif netif netf)( （2-7） 其小，、 均为非负实数。通常，人们都用公式（27）的二值形式： 有时候，还将公式（28）中的 0 改为1，此时就变成了双极形式： netif netif netf 1 1 )( （2-8） 上面所叙述的是最广泛应用而且人们最熟悉的神经元数学模型；也是历史最长 的神经元模型。近若干年来，随着神经网络理论的发展，出现了不少新颖的神 经元数学模型，这些模型包括逻辑神经元模型，模糊神经元模型等，并且渐渐 也受到人们的关注和重视。 2.32.3 bpbp 学习算法学习算法 反向传播算法也称 bp 算法。由于这种算法在本质上是一种神经网络学习的 数学模型，所以，有时也称为 bp 模型。bp（back propagation）神经网络又称 为多层前馈神经网络，这种神经网络模型的特点是：各层神经元仅与相邻层神 江西理工大学 2010 届本科生毕业设计（论文） 经元之间有连接；各层内神经元之间无任何连接；各层神经元之间无反馈连接。 bp 算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，bp 算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故 而有时也称无反馈多层前向网络为 bp 模型。 在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。感 知机学习算法是一种单层网络的学习算法。在多层网络中它只能改变最后权 系数。因此，感知机学习算法不能用于多层神经网络的学习。1986 年，rumel hart 提出了反向传播学习算法，即 bp(back-propagation)算法。这种算法可以 对网络中各层的权系数进行修正，故适用于多层网络的学习。bp 算法是目前最 广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。 2.42.4 bpbp 算法的原理算法的原理 bp 算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图 2-4 所 示 图 2-4 网络学习结构 它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层 或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元 也称隐单元。隐层虽然和外界不连接但是，它们的状态则影响输入输出之间 的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。 设有一个 m 层的神经网络，并在输入层加有样本 x；设第 k 层的 i 神经元 的输入总和表示为 k u1 ，输出 k x1 ；从第 k1 层的第 j 个神经元到第 k 层的第 i 个神经元的权系数为 ij w 各个神经元的激发函数为 f，则各个变量的关系可用下 面有关数学式表示： ) u( f= k i k i x (2-9) 江西理工大学 2010 届本科生毕业设计（论文） 1 k j j ij k i xwu (2-10) 反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简 述如下： 1正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后， 则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元 的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不 等于期望输出，则进入反向传播过程。 2反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层 的各个神经元的权系数进行修改，以望误差信号趋向最小。 2.5 bp 算法的数学表达 bp 算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的 最速下降方法，按误差函数的负梯度方向修改权系数。 为了说明 bp 算法，首先定义误差函数 e。取期望输出和实际输出之差的平 方和为误差函数，则有： i m i yixe)( 2 1 （2-11） 其中：yi 是输出单元的期望值；它也在这里用作教师信号； m i x 是实际输出；因为第 m 层是输出层。 由于 bp 算法按误差函数 e 的负梯度方向修改权系数，故权系数 ij w 的修改量 a ij w ，和 e ij w - ij w e （2-12） 也可写成 ij w - ij w e （2-13） 其中： 为学习速率，即步长。 很明显，根据 bp 算法原则，求 ij w e 是最关键的。下面求 ij w e ；有 ij k i k i k ij w u u e w e . （2-14） 由于 江西理工大学 2010 届本科生毕业设计（论文） ji k jw xw w u x ij i k jij ij k i | 1 )( 1 (2-15) 故而 1 . k j u e w e x k i ij (2-16) 从而有 1 . k j u e w e ij xw k i ij (2-17) 令 k i u e k i d （2-18） 则有学习公式： 1 k j k iij xdw （2-19） 从公式(2-9)可知在公式(2-17)中，有 其中： 为学习速率，即步长，一般取 0-1 间的数。 从上面可知， k d1 实际仍末给出明显的算法公式，下面求 k d1 的计算公式。 k i k i k i k i u x x e u e k i d . （2-20） 从公式(2-9)可知在公式(2-20)中，有 )( k i u x uf k i k i （2-21） 为了方便进行求导，取 f 为连续函数。一般取非线性连续函数，例如 sigmoid 函数。当取 f 为非对称 sigmoid 函数时，有： )exp(1 1 )( k i u k i uf （2-22） 则有 )1 ()(1)( )( k i k i k i k i k i xxufufuf （2-23） 再考虑式(2-20)中的偏微分项e k i x ，有两种情况需考虑的： 如果 km，则是输出层，这时有 i y 是输出期望值，它是常数。由于公式(2-11) 中有 江西理工大学 2010 届本科生毕业设计（论文） )( i m i x e x e yx m i k i (2-24) 从而有 m d1 = m x1 (1- m x1 )( m x1 -yi) (2-25) 2如果 k=0.92) break; 江西理工大学 2010 届本科生毕业设计（论文） performevolution(); outputtextreport(); getch(); check(); getch(); /* 样本处理函数 */ void samplechang(void) int i; for(i=0;ibestindividual.fitness) bestindividual=populationi; best_index=i; else if(populationi.fitnesscurrentbest.fitness) currentbest=bestindividual; /* 利用“最优保存策略“（elitist model)优化进化 */ void performevolution(void) int j; if(bestindividual.fitnesscurrentbest.fitness) currentbest=populationbest_index; /*else */ populationworst_index=currentbest; /* 选择算子 */ void selectionoperator(void) int i,j,k,temp2,indexpopsize; double p,temp1,sum=0.0,msum=0.0; double cfitnesspopsize,npopsize,doublenpopsize; int intnpopsize,num=0.0; struct individual newpopulationpopsize; for(i=0;idoubleni) temp1=doublenk; doublenk=doubleni; doubleni=temp1; temp2=indexk; 江西理工大学 2010 届本科生毕业设计（论文） indexk=indexi; indexi=temp2; /*/ /*for(i=0;icfitnessindex) index+; newpopulationi=populationindex; */ for(i=num;i=avgfitness) pm=0.003; else pm=0.5; for(j=0;jmaxerror) maxerror=merror; avererror/=w; aversqurerror/=w; printf(“the average error is %fn“,avererror); printf(“the max error is%fn“,maxerror); printf(“the average e*e is %fn“,aversqurerror); 运行结果： 江西理工大学 2010 届本科生毕业设计（论文） 4.34.3 结果分析结果分析 从上述的编程及得出的结果可以画出训练完的网络图，图形如下： 图表 1 w_h_i00=-0.009286 w_h_i01=0.279081 w_h_i02=-0.047410 w_h_i10=0.176442 w_h_i11=0.237048 w_h_i12=-0.457967 w_h_i20=-0.040567 w_h_i21=-0.060117 w_h_i22=-0.462854 w_h_i30=-0.081623 w_h_i31=-0.421799 w_h_i32=-0.027859 w_h_i40=0.094330 w_h_i41=0.108993 w_h_i42=0.180352 江西理工大学 2010 届本科生毕业设计（论文） w_o_h00=0.014174 w_o_h10=-0.285924 w_o_h20=-0.199902 w_o_h30=0.079668 w_o_h40=-0.141251 w_o_h50=0.417889 随机产生 10 个检验样本来检验网络，给出误差平均值、最大误差、均方差 x1 x2 out should error 1.8500 3.2000 2.3070 2.1517 0