基于局部权值阈值调整的BP 算法的研究

1、基于局部权值阈值调整的BP算法的研究刘彩红作者简介：刘彩红(1980-)，女，陕西人，硕士研究生，研究方向为人工神经网络及其应用。Email: rainbow_手机：1360 925 0662； (西安工业大学北方信息工程学院，西安)摘 要：（目的）本文针对BP算法收敛速度慢的问题，提出一种基于局部权值阈值调整的BP算法。（方法）该算法结合生物神经元学习与记忆形成的特点，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较大，那么我们就需要对未被激发的神经元权值阈值进行调整。所以本论文提出的算法是对局部神经元权值阈值的

2、调整，而不是传统的BP算法需要对所有神经元权值阈值进行调整，（结果）通过实验表明这样有助于加快网络的学习速度。关键词：BP神经网络，学习算法，距离，权值阈值调整The Study of BP Algorithm Based on a Partial Adjustment of Weight and Threshold Value LIU Cai-hong(Xian Technological University North Institute of Information Engineering ，Xian China)Abstract:The paper proposed a BP alg

3、orithm based on a partial adjustment of the weight and threshold value. According to the characteristics of biological neuron in learning and memory formation, only some neurons were stimulated to produce the output for the specific training samples, while the other part of the neurons werent stimul

4、ated. There are large difference between this part of the neurons output and target, and then we need this part neurons weight and threshold value to adjust. Therefore the algorithm proposed in this paper only adjust the weight and the threshold value of the local neurons, and this can accelerate th

5、e learning speed of the network.Keywords: BP Neural Network, Learning Algorithm, , Distance, Weight and Threshold Adjustment1 引言传统BP（Back Propagation）算法的性能依赖于初始条件，学习速度慢，学习过程易陷入局部极小。近年来，人们根据实际应用的需要对传统BP算法做了许多改进，主要有采用自适应学习率、与遗传算法结合1-2和可调隐层结构3-4等，这些方法在一定程度上优化了BP算法。但以往大多改进算法，在误差的反向传播阶段也就是训练的第二阶段，是对所有神经元

6、的权值阈值都进行修改的。针对不同的输入，神经网络激发不同的神经元，所以可以在训练的第二阶段修改部分神经元的权值阈值。2 基于局部权值阈值调整算法的改进思想本文提出的算法结合生物神经元学习与记忆形成的特点5，针对特定的训练样本，只激发网络中的部分神经元以产生相应的输出，而未被激发的神经元产生的输出则与目标输出相差较大，那么我们就需要对未被激发的神经元的权值阈值进行调整。所以本文提出的算法中对隐层神经元权值阈值的调整就只是对未被激发的隐层神经元，而不是传统的BP算法需要对所有隐层神经元进行调整。神经网络学习的过程，实际上是根据一定的学习算法调节网络中各连接权值的过程。这是因为，神经网络是通过神经元

7、之间的连接，来存储信息或知识的6。也就是说，神经网络学习得到的知识是存储在连接权上的。那么，可以通过训练样本和神经元权值之间的关系，来确定该神经元是否被这些特定的训练样本所激发，从而可以得知网络每次学习过程中需要调节哪一部分神经元。3 提出的改进BP算法3.1提出的算法描述本文提出的改进BP算法具体描述如下：（1）所有的输入层神经元无条件为获胜神经元。（2）隐层的神经元之间进行竞争。考察输入向量和隐层神经元与输入层的权值即之间的关系，关系较远的隐层神经元未被激发。因为关系较远，说明神经元记忆的内容与输入向量之间的差距较大，则它的输出值就会和目标值有所偏离，所以需要调整与它相连的权值阈值，那么该

8、神经元就是竞争获胜的隐层神经元。（3）所有的输出层神经元无条件为获胜神经元。对BP神经网络的学习算法进行如下修改：针对训练样本，神经元权值阈值的调整只发生在获胜神经元相连的路径上。传统BP神经网络中，针对每个训练样本需要对网络中所有神经元的权值阈值进行调整。3.2 距离和相似系数本文通过距离来对训练样本和神经元权值之间的关系进行度量，那么在隐含层神经元的竞争中需要用到距离和相似系数，这里加以简单介绍，具体可以参见7。要研究变量之间的关系，目前用得最多的方法有两个：一种方法是用相似系数，性质越接近的变量，它们的相似系数的绝对值越接近1，而彼此无关的变量，它们的相似系数的绝对值接近于零。另一种方法

9、是将一个向量看作P维空间的一个点，并在空间定义距离，距离越近的点归为一类，距离较远的点归为不同的类。但相似系数和距离有各种各样的定义，而这些定义与变量的类型关系极大。由于实际问题中，遇到的指标有的是定量的（如长度、重量等），有的是定性的（如性别、职业等），因此将变量（指标）的类型按间隔尺度、有序尺度和名义尺度这三种尺度来划分。不同类型的变量，在定义距离和相似系数时，其方法有很大的差异，使用时必须注意。对于间隔尺度的距离，可以通过明氏（Minkowski）距离公式来度量。对相似系数这里不再作介绍。明氏（Minkowski）距离 当时 即绝对距离当时 即欧氏距离当时 即切比雪夫距离当变量的测量值相

10、差悬殊时，采用明氏距离并不合理，常需要先对数据标准化，然后用标准化后的数据计算距离。明氏距离特别是欧式距离，是人们较为熟悉的也是使用最多的距离。但明氏距离存在不足之处，主要表现在两个方面：一，它与各指标的量纲有关；第二，它没有考虑指标之间的相关性。另外还有马氏（Mahalanobis）距离、兰氏（Canberra）距离，和明氏距离一样，它们的定义都是适用于间隔尺度变量的，如果变量是有序尺度或名义尺度时，也有一些定义距离的方法。具体应用时，要注意根据变量的类型选择合适的度量公式。本文的实验中用到的数据没有量纲的差距，并且也都只有一个指标，所以选用欧氏距离作为度量公式。3.3 提出算法的训练过程基

11、于局部权值阈值调整的BP算法，是在传统BP算法的第二阶段加入了隐层神经元的竞争，权值阈值的调整就只发生在与获胜神经元相连弧线的路径上。改进算法的具体步骤如下：1对权系数置初值。对各层的权系数置一个较小的非零随机数，但其中。2输入一个样本，以及对应期望输出。3计算各层的输出对于第k层第i个神经元的输出，有： ， ， 4计算学习误差（1）计算输入向量和隐层神经元与输入层的权值即之间的距离，距离较大的隐层神经元就为竞争获胜的神经元。（2）求各层的学习误差。对于输出层有km，有对于隐层，仅计算获胜神经元的学习误差，i为获胜神经元。 5修正局部权系数和阀值只调整与获胜神经元相连弧线的权值和阀值 其中：

12、6当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。这个学习过程，对于任一给定的样本和期望输出都要执行，直到满足所有输入输出要求为止。3.4 讨论图1 隐层神经元竞争示意图提出算法的局部调节性可用图1简单说明，图1中，灰色隐层神经元是获胜神经元，每一次学习过程对学习误差、权值的调节量以及权值的调节就只是对图中实线相连的部分，虚线的部分就不做调节。原BP算法在每一次输入输出之后更新网络的所有权值，每次都需调整从输入层到隐层的（n+1）N个连接权和隐层到输出层的（N1）m个连接权。设p为选择的隐节点数（1pN）。用改进的训练算

13、法对网络进行学习，每次仅需调整输入层到隐层的（n+1）p个连接权和隐层到输出层的（p1）m个连接权。提出训练算法在每次输入输出之后，仅需更新选择的隐单元参数。4 仿真实验在本节，我们进行仿真实验，用本章提出的算法和传统的BP算法进行对比。给出两个例子：第一个是函数逼近的例子，第二个是三分类的例子。4.1 函数逼近的例子本实例用函数逼近问题来评价提出的算法的性能。考虑如下Hermit多项式的逼近问题： 训练样本产生方式如下：样本数为N=100，其中样本输入服从区间内的均匀分布，样本输出为，为添加的噪声，服从均值为0，标准差为0.1的正态分布。产生的目标函数和一组训练样本（即图中的“+”）如图2所

14、示。构建的网络结构为：1个输入节点，10个隐节点和1个输出节点。学习率为0.003，用一组较小的随机数初始化提出算法的网络和传统BPNN的权值。用期望输出和实际输出的差的平方和，作为训练误差和泛化误差。图2 网络训练结果图两种算法的学习误差曲线，如图3所示。 传统BP算法 提出的算法图3 学习误差变化曲线图表1 提出的算法性能（函数逼近）Table 1 Performance of the prposed algorithm(approximation problem)学习算法 Learning method收敛时间 Total time of convergence(s)训练次数Number

15、 of itreations泛化误差Generaralization eror传统BP算法 BP algorithm27.016141140.1461提出算法improved algorithm17.6861330.0667从图2、图3和表1可以看出，提出算法的收敛速度比传统BP算法要快。训练时，设定的固定训练次数为：20000，最小误差为：0.85，传统BP算法收敛的次数是14114，提出算法的收敛次数是6133，是传统BP算法收敛速度的2.3倍。并且提出算法的泛化误差也要小一些。4.2 三分类的例子这是一个两概念（一个三角形和一个矩形）学习的例子，是Cohn三角形概念学习例子的推广，是一个

16、典型的多分类例子。在范围内随机产生200个均匀分布的样本，如图44所示。规定三角形内的样本属于类（“+”），矩形内的样本属于类（“”），其余样本属于类（“”）。用一个2输入3输出的3层BP网对3类样本进行学习，网络的隐节点数选为10。令类样本的目标输出为，类样本的目标输出为，类样本的目标输出为，学习参数设置如下：神经网络隐层和输出层采用标准Sigmoidal激活函数，学习率为0.1，目标误差为0.05，初始权值和偏移值取-0.1，0.1内随机值。图4 应用提出算法的网络训练结果图表2 提出的算法性能（三分类）Table 2 Performance of the prposed algorith

17、m(Three classification)学习算法Learning method收敛时间 Total time of convergence(s)训练次数Number of itreations泛化误差Generaralization eror传统BP算法BP algorithm21.75972390.0738提出算法improved algorithm14.38129560.0544青绿色线：传统BP算法黑色线： 提出的算法图5 学习误差变化曲线图从图5和表2可以看出，提出算法的收敛速度比传统BP算法要快。训练时，设定的固定训练次数为：10000，最小误差为：0.05。传统BP算法收敛的

18、次数是7239，提出算法的收敛次数是2956，是传统BP算法收敛速度的2.4倍。并且提出算法的泛化误差也要小一些。5 结论 本文提出了一种基于局部权值和阈值调整的BP算法，并且通过函数逼近和三分类的实验与传统的BP算法来进行对比。由实验结果我们可以得出以下结论：基于局部权值和阈值调整的BP算法可以提高三层BP网络的收敛速度，但对大型网络有待进一步的实验和研究。参考文献：1 Ang JH, Tan KC, Al-Mamun A. Training neural networks for classification using growth probability-based evolution J.Neurocomputing (S0925-2312), 2008, 71(16-18): 3493-3508.2 Ling SH, Lam HK, Leung FHF, Lee YS. An Improved Genetic-Algorithm-Based Neural-Tuned Neural Network J. International Journal of Computational Intelli