改进粒子群优化神经网络及其在产品质量建模中的应用

改进粒子群优化神经网络及其在产品质量建模中的应 用 王建国 1 ,2) 阳建宏 1) 云海滨 2) 徐金梧 1) 1) 北京科技大学机械工程学院,北京100083 2) 内蒙古科技大学机械工程学院,包头014010 摘 要 针对传统神经网络优化算法易陷入局部最优值的问题,在标准粒子群算法的基础上,对粒子速度与位置更新策略进 行改进,提出一种基于改进粒子群优化算法的BP神经网络建模方法.使用sinc函数、 波士顿住房数据及某钢厂带钢热镀锌生 产的实际数据进行验证.结果表明,与标准的反向传播神经网络和支持向量机相比,基于改进粒子群优化的神经网络模型可 以有效提高预测精度. 关键词 BP神经网络;粒子群优化算法;产品质量模型;带钢热镀锌 分类号 TP183 Improved particle swarm optimized back propagation neural network and its ap2 plication to production quality modeling WANG Jianguo1,2),YANG Jianhong1),YUN Haibin2), XU Jinwu1) 1) School of Mechanical Engineering , University of Science and Technology Beijing , Beijing 100083 , China 2) Mechanical Engineering School , University of Science and Technology Inner Mongolia , Baotou 014010 , China ABSTRACT In order to solve the difficulties of tendency to local optima in conditional optimization algorithms for back propagation neural network (BPNN) , with improvements in the strategy for updating the particles velocity and location , this paper proposed a new back propagation neural network modeling method based on improved particle swarm optimization. The data from sinc function , Boston housing problem and the real strip hot2dip galvanizing production in an iron and steel corporation were used for verification. The results show that , compared with the standard BPNN and support vector machine algorithms , the proposed method can effective2 ly help the BPNN to get a better regression precision and prediction performance. KEY WORDS BP neural network; particle swarm optimization; production quality modeling; strip hot2dip galvanizing 收稿日期: 2008205210 修回日期: 2008207231 基金项目:北京市自然科学基金资助项目(No. 3062012) 作者简介:王建国(1958 ) , 男,教授,博士研究生;徐金梧(1949 ) , 男,教授,博士生导师,E2mail : jwxu 获取产品质量指标与生产过程工艺参数间的对 应关系,可以预测产品质量,控制、 优化生产过程,因 而近年来得到了广泛的关注.当前比较常用的产品 质量建模方法有理论建模、 统计分析建模和人工智 能法建模等1.基于神经网络的产品质量模型的输 入和输出直接对应着生产过程参数和产品质量参 数,适用于多输入多输出的建模过程,并具有非线性 模型拟合能力,已成为近年来研究最多和应用范围 广泛的一种质量建模方法.理论上三层的前向神经 网络可以逼近任何连续的非线性函数2- 3.但是对 于复杂的网络,反向传播算法(back propagation al2 gorithm , BP) 4有可能陷入局部最小值 ,而不能保 证收敛到全局极小值.因此,神经网络训练中对权 值和阈值的优化是建模过程的重要研究内容. 粒子群优化算法(particle swarm optimization , PSO) 5是一种基于群智能方法的演化计算技术 ,属 于演化计算领域中的一个新的分支.采用粒子群算 法对神经网络的权值和阈值进行训练,可以有效避 免算法收敛到局部最小值.但是由于PSO算法在 优化过程中所有粒子都向最优解的方向移动,所以 第30卷 第10期 2008年10月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol. 30 No. 10 Oct. 2008 粒子趋向同一化,群体的多样性逐渐丧失,导致算法 后期收敛速度变慢,因而难以获得较好的优化结 果6.为了获得更好的优化效果,近年来出现了很 多改进的粒子群算法.文献7提出带惯性权重的 PSO算法,通过经验选择粒子群的参数,但算法末 期的全局搜索能力会有所下降.目前利用混合算 法8- 10的思想来改进PSO算法,可以提高PSO算 法的收敛速度. 本文在综合已有粒子群优化算法优点的基础 上,对粒子群速度与位置更新公式进行了改进,增强 了粒子群优化算法的全局搜索能力,并将其与BP 算法相结合,提出了改进粒子群优化神经网络算法 (BP based on improved particle swarm optimization , BP-IPSO).将BP-IPSO算法用于产品质量建模, 与传统方法相比,可以取得更好的预测精度. 1 标准的粒子群算法 111 全局粒子群优化算法 标准PSO算法中的粒子是同时跟踪自己的历 史最优值与全局最优值来改变自己的位置和速度 的,所以又叫做全局粒子群优化算法4.在全局粒 子群算法中,粒子个数称为种群规模m ,第i个粒 子在d维空间的位置表示为xi= ( x i1, xi2, xid ) , 速度表示为Vi= ( v i1, vi2, vid ) ( i = 1,2, m) .计算每个粒子的适应度,适应度函数一般由实 际问题中被优化的函数决定.根据每一个粒子的适 应度,更新每个粒子的个体最优值位置pb和全局最 优值位置gb,粒子通过动态跟踪pb和gb来更新其 速度和位置.粒子根据以下公式来更新其速度和位 置: vij ( t + 1)=wvij( t)+c1rand () ( p bj( t)- xij( t) )+c2rand() ( gbj-xij( t) )(1) xij ( t + 1)=xij( t)+vij ( t + 1)(2) 式中, i= 1,2, m ,表示第i个粒子; j= 1,2, d ,表示第j维空间; c1和c2为学习因子, t为迭代 次数,rand()为均匀分布在(01)之间的随机数, w 为惯性权重. 112 局部粒子群优化算法 每个粒子速度的更新主要与以下两个因素相 关 粒子自己的历史最优位置pb和粒子邻域内 最优位置lb,即在速度更新中用lb代替gb,其余保 持跟全局粒子群算法一样,这个算法称为局部粒子 群算法9.经过实践证明:全局粒子群算法收敛速 度快,但是容易陷入局部最优;局部粒子群算法收敛 速度慢,但是可以有效避免陷入局部最优.粒子的 速度和位置根据如下公式进行更新: vij ( t + 1)=wvij( t)+c1rand() ( pbj( t)- xij( t) )+c2rand () ( g bj-xij( t) )+ c3rand () ( l bj( t)-xij( t) ) (3) xij ( t + 1)=xij( t)+vij ( t + 1)(4) 式中, c3为学习因子. 2 基于改进粒子群算法的神经网络 211 改进的粒子群算法 (1)对粒子速度与位置更新策略的改进.在全 局粒子群算法和局部粒子群算法融合的基础上,对 PSO算法进行了改进.在迭代过程中计算每一个粒 子与群中其他粒子的距离.记录任何两个粒子间的 最大距离为dist-max.dist lab是当前粒子a到粒 子b的距离.如果粒子b满足dist lab/dist-max 时,认为b不属于当前粒 子的邻域U.阈值系数的选择根据迭代次数而变 化9,的表示如下: = 3t+ 016tmax tmax (5) 其中, t为当前迭代次数, tmax为最大迭代次数. 当 019时,采用全局粒子群算法 ,用式(1) 和式(2)分别来更新粒子的速度和位置.当 019 时,采用局部粒子群算法,用式(3)和式(4)分别来更 新粒子的速度和位置.BP-IPSO算法中,种群的数 目为40个,惯性权重的最大值和最小值分别为019 和0147, c1、c2和c3取标准值114967. (2)对惯性权重的改进.标准PSO算法是在运 算中线性减少惯性权重w ,容易使算法一旦进入局 部极值点邻域内很难跳出,使全局寻优的难度增大. 为了克服上述的缺点,本文对惯性权重w采用以S 形函数递减策略,以保证种群在搜索的初期保持较 高的飞行速度进行搜索,在搜索的中期让飞行速度 快速下降,在搜索的后期粒子再保持一定的飞行速 度进行最后的收敛.改进后的惯性权重按下式求 得: w= wmax-wmin 1 +e 2et/ tmax -e +wmin(6) 式中, wmax和wmin分别为最大、 最小惯性权重, t和 tmax分别为当前迭代次数和最大迭代次数, e为控制 系数,用于调节速度变化的快慢,一般e= 10. 通过对粒子速度与位置更新策略和对惯性权重 9811 第10期王建国等:改进粒子群优化神经网络及其在产品质量建模中的应用 的改进,本文提出了粒子群优化算法(IPSO),并在 此基础上对BP网络的权值、 阈值进行了优化. 212 BP-IPSO算法优化神经网络 采用改进的粒子群优化算法训练神经网络时, 首先初始神经网络层数、 输入神经元个数n1、 隐含 层神经元个数n2、 输出神经元个数n3.将连接权 Wij(在输入层和隐含层之间)、 连接权Vjk(在隐含 层和输出层之间)、 隐含层的阈值j、 输出层的阈值 k设置为在- 1,1之间的随机值,其中i1, n1 , j1, n2 , k1, n3.粒子群优化算法的最 大迭代次数设为tmax,本文中tmax= 300,误差最小 值为Emin,即BP-IPSO的误差.当前连接权值和阈 值设置为随机给定的初始值.根据粒子群规模,确 定粒子的初始速度和位置. 计算每一个网络在训练集上产生的均方误差 (mean square error ,MSE),并以此作为目标函数,构 造适应度函数,计算个体的适应度: MSE ( y i)= 1 n n i =1 ( y i- yi) 2 (7) 式中, yi为目标值, yi为预测值, n为样本数.均方 误差越小说明模型的精度越高. 适应度函数定义为: f ( x) =E( x) .(8) 利用适应度函数来判断是否需要更新粒子的 pb、lb和gb.之后,更新每一粒子不同分量上的飞 行速度,直到IPSO的迭代次数达到最大迭代次数 或训练误差小于Emin.如果训练完成后误差未达到 Emin,用梯度下降法调整Wij、Vjk 、 j和k 11 ,直到 训练达到误差Emin或迭代次数达到最大时,算法结 束. 算法的具体流程图如图1所示. 3 实验验证 311 对标准数据集的实验验证 采用sinc函数和UCI机器学习数据库中的波 士顿住房问题数据集12进行方法有效性验证.sinc 函数y= sinx/ x+ N ( 0, 2 ) , x - 10,10 ,在x 的范围内分别取400个点作为训练样本,噪声方差 2 = 011(高斯白噪声 ) , 用无噪声的100个点作为测 试样本.取20次实验的平均值作为测试误差.BP- IPSO网络结构为1- 8- 1,即输入层有1个输入节 点,隐含层有8个输入节点,输出层有1个输出节 点.图2给出BP-IPSO的预测结果.以均方误差 作为评判指标,与标准的BP神经网络及支持向量 机(support vector machine , SVM)算法进行比较,具 体的误差对比数据如表1所示. 图1 BP-IPSO算法流程图 Fig. 1 Flowchart of BP-IPSO algorithm 图2 BP-IPSO算法对sinc函数的预测与目标值的对比 Fig. 2 Comparison of actual and predicted values of sinc function by BP-IPSO 表1 三种方法的均方误差的比较 Table 1 Comparison of normalized mean square error among the three methods 方法sinc函数波士顿住房数据 BP010321010732 SVM010019010297 BP-IPSO010008010208 0911 北 京 科 技 大 学 学 报第30卷 波士顿住房问题是检验算法回归性能的基准数 据集,将BP-IPSO算法应用于波士顿住房问题的 数据集,实验中随机选取450个样本作为训练样本, 其余的61个样本作为测试样本.实验中对所有的 样本数据都进行了归一化处理,取10次实验的平均 值作为最终结果.BP-IPSO网络选择的结构为13- 20- 1,实验结果如表1所示. 从表1的 数 据 中 可 以 看 出,本 文 提 出 的 BP-IPSO算法具有更好的样本学习能力. 312 基于BP-IPSO算法的镀锌层重量质量模型 锌层重量是带钢热镀锌生产中一个重要质量指 标,吹气法镀锌工艺中气刀是控制锌层重量的关键 部件.在实际的生产工艺中,气刀的喷气压力、 气刀 喷嘴到带钢的距离、 机组运行速度和带钢厚度是影 响锌层重量的几个主要因素.本文以某钢厂带钢热 镀锌生产线的实际生产数据为样本空间,利用BP- IPSO算法建立锌层重量的质量预测模型.为了比 较本文方法(BP-IPSO模型)、 经过标准粒子群算法 优化的BP神经网络(BP based on particle swarm optimization , BP- PSO) 模型和标准的BP模型之间 的优点,本文主要采用了如下的评判指标. (1)均 方 根 误 差( root mean square error , RMSE). (2)复测定系数R2: R2= 1 - SSR SSy (9) 式中,SSR = n i =1 ( y i- yi) 2为残差平方和 ,SSY = n i =1 ( y i-yi) 2 为总偏差平方和, yi为预测值, yi为 目标值, yi为目标值的平均值, n为预测样本数. 复测定系数反映模型中某一个因变量的可解释 变异占总变异的百分比,取值在0到1之间.复测 定系数越接近1表明该因变量可解释变异占总变异 的比例越高,回归模型越适用. (3)相对预测误差(relative prediction error , RPE): RPE = n i =1 | yi- yi| n i =1 | yi| (10) 式中,RPE为相对预测误差, yi为预测值, yi为目标 值, n为预测样本数.相对预测误差越小说明模型 的预测能力越强. 建立网络结构为4- 8- 1的BP-IPSO产品质量 模型,其中输入参数分别为气刀的喷气压力P、 气刀 喷嘴到带钢的距离d、 机组运行速度v和带钢厚度 h ,输出参数是锌层的厚度.从现场的实际生产记录 中取得了一个由2 991个数据样本组成的数据集, 进行两组实验. 第一组实验:测试样本随机性选择对预测精度 的影响.在回归和预测样本数目相同的情况下,选 取不同的数据起始点,等间隔取样.分别以数据集 的第1,401,801,1 201个样本点为起始点,连续选 择1 200个样本点作为一个数据子集,共选择了四 个数据子集.每个数据子集的前1 000个样本用于 回归建模,后200个样本用于预测模型的校验.预 测结果如图3所示,相对预测误差如表2所示.从 图3中可以看到随机选择样本的情况下BP-IPSO 的预测精度要优于BP-PSO和BP,从表2可以看 图3 实验1的预测复测定系数(a)和均方根误差(b) Fig. 3 Comparison of theRsquare (a) and root mean square (b) of regression in Experiment 1 1911 第10期王建国等:改进粒子群优化神经网络及其在产品质量建模中的应用 出BP-IPSO的相对预测误差均要优于BP-PSO和 BP,说明了BP-IPSO算法对提高模型预测精度是 有效的. 表2 实验1的相对预测误差的对比 Table 2 Comparison of the relative prediction error in Experiment 1 % 方法子集1子集2子集3子集4 BP516613714613 BP-PSO610518517515 BP-IPSO419418418511 第二组实验:测试不同的回归样本数对预测精 度的影响.在数据起始点和预测样本数相同的情况 下,以等长度增加的方式选取不同的回归样本数. 以第1个样本点为起始点,分别选取1 000,1 400, 1 800,2 200个回归样本长度,其后的200个数据样 本点作为预测样本点.预测结果如图4所示,相对 预测误差如表3所示.从图4中可以看到不同的回 归样本数情况下BP-IPSO的预测精度均要优于 BP-PSO、BP,从表3可以看出在样本数逐渐增大的 情况下,BP-IPSO的相对预测误差均要优于BP- IPSO、BP,说明了BP-IPSO算法可以有效提高模型 的预测精度,因而对于产品的质量预测与控制具有 重要的意义. 图4 实验2的预测复测定系数(a)和均方根误差(b) Fig. 4 Comparison of theRsquare (a) and root mean square (b) of regression in the Experiment 2 表3 实验2的相对预测误差的对比 Table 3 Comparison of the relative prediction error in Experiment 2 % 方法子集1子集2子集3子集4 BP516610517513 BP-PSO610511419418 BP-IPSO419417510418 4 结论 提出了一种基于改进粒子群算法对BP神经网 络的权值和阈值进行优化的方法,应用标准数据集 和带钢热镀锌的实际生产数据对该方法进行了验 证.结果表明,BP-IPSO方法在产品质量建模中可 以得到更好的预测精度,为实际工业应用提供了有 益的尝试和探索. 参 考 文 献 1 He J X.System Model and Mathematics Model. Fujian: Fujian Science and Technology Press , 1995 (贺建勋.系统建模与数学模型.福建:福建科学技术出版社, 1995) 2 Irie B , Miyake S. Capability of three2layered perceptionsPro2 ceedings of IEEE International Conference on Neural Networks. San Diego , 1988 : 641 3 Wang D M , Li H D , Zhou J L , et al. Two improved study algo2 rithms for neural network structure.J Univ Sci Technol Beijing, 1997 , 19(5) : 491 (王丹民,李华德,周建龙,等. 2种改进的神经网络结构学习 算法.北京科技大学学报,1997 ,19(5) : 491) 4 Rumelhart D E , McClelland J L.Parallel Distributed Process2 ing :Explorations in the Microstructure ofCognition.Cam2 bridge : MIT Press , 1986 5 KennedyJ , Eberhart R. Particle swarm optimizationProceed2 ings ofIEEE International Conference on Neural Networks. Australia : IEEE Service Center , 1995 : 1942 6 Angeline PJ. Evolutionary optimization versus particle swarm op2 timization: philosophy and performance differences.Evol Pro2 gram, 1998 , 48(17) : 1956 7 Shi Y, Eberhart R. Empirical study of particle swarm optimiza2 tionProceeding ofCongress on Computational Intelligence. Washington , 1999 : 1945 8 Angeline P. Using selection to improve particle optimization 2911 北 京 科 技 大 学 学 报第30卷 Proceeding of IJ CNN. Washington , 1999 : 84 9 Suganthan P. Particle swarm optimizer with neighborhood opera2 torProceeding of Congress on Evolutionary Computation. Pis2 cataway , 1999 : 1958 10 Shi Y, Eberhart R. Fuzzy adaptive particle swarm optimization Proceeding of the Congress on Evolutionary Computation. Seoul , 2001 : 101 11 Chang C G, Wang D W , Liu Y C , et al. Application of particle swarm optimization based BP neural network on engineering pro2 ject risk evaluatingThird International Conference on Natu2 ral Computation ( ICNC2007). Haikou , 2007 : 750 12 UCI2MLR :University of California Irvine Machine Learning RepositoryDB/ OL . California Irvine , Tex: Universityof Cali2 fornia Irvine Libraries , 1987 2007. http :archive. ics. uci. edu/ ml/ index. html (上接第1173页) 4 Liu X J , Du B Y, Pan X B. Numerical simulation of flow and heat transfer process in a reheating furnace.J Univ Sci Technol Beijing, 2005 , 27(3) : 287 (刘向军,杜冰雁,潘小兵.步进式加热炉内流动与传热过程 的数值模拟.北京科技大学学报, 2005 , 27(3) : 287)