利用云模型和遗传算法优化BP神经网络权值

1、利用云模型和遗传算法优化 BP神经网络权值摘 要：标准BP算法主要根据训练样本确定神经网络的权值，由于BP算法采用沿梯度下降的搜索算法，因而其结果对初始权值非常敏 感，收敛速度慢，易陷入局部极小。结合正态云模型云滴的随机性和 稳定倾向性，以及遗传算法的全局搜索能力，收敛速度快等特性优化 神经网络的权值和阈值。分类实验结果表明，该算法比标准BP算法收敛速度快，分类正确率高。关键词：云模型；遗传算法；标准 BP算法；神经网络0引言BP算法(Back Propogation Algorithm)是目前应用最为广泛的神经网络学习算法，但由于BP算法采用沿梯度下降的搜索算法，因而其 结果对初始权值非常敏

2、感，不同的初始权值可能导致不同的结果以及 易陷入局部极小等问题。本文结合遗传算法的高度并行、随机、自适 应的全局性概率搜索以及正态云模型云滴的随机性和稳定倾向性特 点优化神经网络的权值和阈值。 该算法中的交叉概率、变异概率由X 条件云发生器产生。1优化原理先利用神经网络试探出最好的网络隐层结点数， 再利用本文提出 的算法调整网络的权值以及阈值，然后再用调整好的权值和阈值进行 分类。编码：对于包含一层隐藏层模式为m-n-l多层神经网络共有 q=m*n+n*l+n+l个权值和阈值需要优化，其中 m为输入层结点数，n 为隐藏层结点数，I为输出层结点数。将这q个权值和阈值记为 W=(W1, W2,W

3、q),采用实数编码，将行向量 W看作是一条染色体，而其中每个实数 Wi(i=1,2,q)是染色体的一个基因位。选择算子：采用轮盘赌和精英保留选择策略。每个染色体产生后 代的数目正比于它的适应度值的大小，并且每一代中染色体的总数保 持不变，这种方法也称为轮盘赌选择。假设群体的大小为n,个体Ai的适应度值为f(Ai)，则个体A i被选择的概率P(Ai)为：P(A i)=f(A i)刀 ni=1f(A i)交叉算子：随机产生二串长度为 q的二进制串，设有两个父代，P=(P 1,P2,P q)以及 M=(M 1,M2,M q),采用下面的方式得到两个子代：C=(C 1,C2,C q)和D=(D 1,D

4、2, ,D q),用其中的一个二进制串产生子代 C,用另一个二进 制串产生子代D。具体方法如下：如果对应二进制位为 1,则C i 为P i，对应二进制位为0,则C i为M i ;如果对应二进制 位为1,则D i为M i，对应二进制位为0,则D i为P i。交叉概率Pc由云模型产生，公式如下：Ex= En=(fmax -)/C1 He=E n/c 2En /二RANDN(En,He)p c=k 1e -(f' -Ex) 22(En )2 f > =k 3f'v变异算子：采用非一致性变异算子，设父代W=(W 1W2,W q),W i被选出来作变异，若权值的变化范围是(LW,H

5、W), 则变异结果为：WW =W 1,W 2,WWi,W q,其中 W'i=W i+(T (t,HW-Wi)W i- ° (t,W i-LW) , t 是群体演化的代数，(T (t,n )=n *(1-r(1-tT) b是一个在范M(0, n )内取值的函数，T是演化的最大代数，b是系统参数，一般取2。变异概率pm公式如下：Ex= En=(fmax -)/c1 He=En /c 2En /二RANDN(En,He)p m=k 2e -(f-Ex)22(En ) 2 f > =k 4f'v交叉概率和变异概率中的为群体的平均适应度，fmax为榔体的员大适戒度f为变异

6、个体的适应度，fW为两交叉个体中 的最大适应度值，c i(i=1,2)和k i(i=1,2,3,4)为控制参数，c 1 用来控制云的陡峭程度，根据“ 3 En "规则，-般氓3附近的 值，c 2用来控制云层的厚度，一般取10附近的值；k i可取01 之间的常数。适应度函数：遗传算法搜索目标是所有进化代中使网络的误差平 方和的最小的网络权重，而遗传算法只能朝着使适应度函数值增大的 方向进化，所以，可以根据产生的权值和阈值所对应的神经网络计算 出 BP 网络的误方*方和，适应.度因数采川谍芾的倒数即:E(X i)=12k 刀 kp=1 刀 lg=1(spg -y i pg ) 2,f(X

7、 i)=1E(X i) Jy i pg为谕入.笫p个训练样本时第g 个输出结点的输出值；s pg 为期垒Kt输出值；k为训练样本个 数；l为输出层的个数，i=1,2,丄；L为种群规模。算法具体步骤如图1所示：2实验结果采用 /ml/datasets.html 上提供的数据集(Balanee Scale),该数据集共有625条记录，每条记录有四个数字属 性和一个类标号属性，在 VC 6.0的环境下进行了分类实验。按照文 献 3 和同的条件实验屮川525个实例作为训练数据，用100 个实例作为测试数据。按每个属性对应一个输入神经元，则神经网络 的输

8、入单元数为4,由于类标号属性的取值有3个，所以输出神经元 数为3,隐层单元数人工调节，对隐藏层为210的情况进行了实验， 其中隐藏层为6时获得最好的效果。本算法实验结果与文献3的实验納只对比情况如表1所示。3算法分析遗传算法是智能优化算法的一种，它是基于自然选择和遗传变异等生物进化机制而发展起来的高度并行、随机、自适应的全局性概率搜索算法。由于要维持具有一定规模的群体，遗传算法必须同时处理搜索空间中的若干点而不像梯度下降算法那样只处理单点，从而有助于搜索全局最优点，免于陷 入局部最小。本文中的算法91%93%95%98%遗传算法的参数中交叉概率和变异概率的选择是影响遗传算法行为和性能的关键所在

9、，直接影响算法的收敛性。交叉概率越大，新 个体产生的速度就越快。然而，当交叉概率过大时，遗传模式被破坏 的可能性也越大，使得具有高适应度的个体结构很快就会被破坏； 但 是如果交叉概率过小，会使搜索过程缓慢，以至停滞不前。对于变异 概率，如果变异概率过小，就不易产生新的个体结构；如果变异概率 取值过大，那么遗传算法变成了纯粹的随机搜索算法。由X 条件云发生器产生自适应交叉概率和变异概率， 这样在一定程度上保证 群体的多样性，避免早熟，提高其全局搜索能力。实验结果表明，该 算法利用了正态云模型云滴的随机性和稳定倾向性特点，结合遗传算法训练BP神经网络，取得了比标准BP算法更优的结果。4结束语本文将

10、云模型和遗传算法结合优化神经网络权值和阈值取得了 比较好的结果，后面的研究方向是如何利用云模型来调整BP神经网络的学习率，如何利用本文中提到的算法进行实际应用， 也是一个值 得研究的问题。参考文献:1刘常昱，李德毅，杜鹢，等正态云模型的统计分析J 信息 与控制 ,2005(2).2 ZHU YUNFANG ,DAI CHAOHUA, CHEN WEIRONG , et aj.Adaptive probabilities of crossover and mutation in genetic algorithms based on cloud generators J .Journal of Computational Information Systems,20