（热能工程专业论文）人工神经网络及其在汽轮发电机组振动故障预测中的应用.pdf

浙江大学硕士学位论文 摘要 近几年来，人工神经网络理论的研究取得了很大的进展，其应用研究几乎渗 透到各个领域。本文将人工神经网络中的b p 网络应用在汽轮发电机组的振动故 障预测中，并对其进行了深入地研究。 论文第一章阐述了汽轮发电机组故障预测技术的研究现状。提出了课题的主 要研究内容。 第二章概要地介绍了神经网络理论及b p 算法。提出了一种改进算法，使网 络的收敛速度明显提高，且有利于避免网络陷入局部最小点。 第三章是本文的重点。分析了b p 网络在用于对具有递增趋势的时间序列预 测中存在的问题，提出了改进措施的b p 网络一合成b p 网络及相应的训练算 法，并将其与其他模型的预测性能进行了比较。利用几种汽轮机振动故障趋势的 仿真数据对合成b p 网络的预测性能进行了检验。 第四章介绍了预测系统软件的功能、结构及其具体的实现过程。 第五章通过现场实测数据对合成b p 网络的预测性能进行了检验。 第六章是本文的结论与展望。对本文的工作做了一个总结，并提出了今后有 待进一步研究的问题。 关键词：人工神经网络；b p 网络；b p 算法：故障预测 浙大学硕士学位论文 a b s t r a c t i nr e c e n ty e a r s ，r e s e a r c ho na r t i f i c i a ln e u r a ln e t w o r k s ( a n n ) h a sm a d eg r e a t p r o g r e s sa n dr e s e a r c ho nt h ea p p l i c a t i o no fa n n h a sb e e nc o n d u c t e di na l m o s te v e r y f i e l dt h i sd i s s e r t a t i o nm a k e sa ni n t e n s i v es t u d yo nt h ea p p l i c a t i o no fn e t w o r k st o s t e a mt u r b i n e i nc h a p t e ro n et h eh i s t o r y , s t a t u sa n dd e v e l o p m e n to ft h ef a u l tp r e d i c t i n gf u r t u r b o g e n e r a t o ru n i t sa r ed e s c r i b e d i ta l s od e a l sw i t ht h ec o n t e n t so ft h er e s e a r c hw o r k o f t h ep r o j e c t i nc h a p t e rt w oa n na n db pa l g o r i t h ma r ei n t r o d u c e di nb r i e fa ni m p r o v e d a l g o r i t h mi sp r o p o s e d ，w h i c hc a nh e l pa c c e l e r a t ec o n v e r g e n c ea n da v o i ds i n k i n gi n t o t h el o c a lm i n i m u m t h ec h a p t e rt h r e ei sm yp a p e re m p h a s i s t h es h o r t c o m i n g so f b pn e t w o r k sw h e n i ti su s e dt op r e d i c tt h et i m e ss e r i e sw i t hi n c r e a s i n gt e n d e n c ya r ea n a l y z e dt h e na n i m p r o v e db pn e t w o r k s ，t h ec o m b i n e db pn e t w o r k s ( c b p ) ，a n di t st r a i n i n ga l g o r i t h m a r ep r o p o s e d ，a n dt h ep r e d i c t i v ep e r f o r m a n c eo fc b pi sc o m p a r e dw i t ht h eo r i g i n a l b pn e t w o r k sa n do t h e rp r e d i c t i v em o d e l sf i n a l l y , b ym e a n so fu s i n gs i m u l a t e dd a t a o f t h ef a u l t so f s t e a mt u r b i n e s ，t h ep r e d i c t i v ep e r f o r m a n c eo f c b pi sc h e c k e d i nc h a p t e rf o u rt h ef u n c t i o n ，s t r u c t u r ea n dc o n c r e t er e a l i z a t i o nc o u r s eo ft h e s o f t w a r ef u rp r e d i c t i n gs y s t e ma r ei n t r o d u c e d i nc h a p t e rf i v et h ep r e d i c t i v ep e r f o r m a n c eo fc b pi sc h e c k e db ym e a n so fu s i n g t h eo p e r a t i o nd a t a i nt h el a s tc h a p t e ro f t h i sd i s s e r t a t i o n ，t h ec o n c l u s i o na n do u t l o o ko f t h er e s e a r c h w o r ka r eg i v e ns o m ep r o b l e m sw h i c hn e e df u r t h e rr e s e a r c ha r ep o i n t e do u t k e yw o r d s ：a n n ；b pn e t w o r k s ；b pa l g o r i t h m ；f a u l tp r e d i c t i o n 学号2 q 2 q 8 2 垒窆 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得迸垄盘鲎或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：移7 ；彩签字隰州年弓月7 日 学位论文版权使用授权书 本学位论文作者完全了解逝江盘茎有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝望盘鲎可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 彭1 ；净 f 签字日期：c ) 曾万年弓月c 7 日 学位论文作者毕业后去向 工作单位： 通讯地址： 导师签名： 签字日期：伽旷年弓月勺日 电话： 邮编： 浙江大学硕士学位论文 1 1 课题的目的意义 第一章绪论 1 1 1 有利于机组故障的早期发现并及时处理 随着电力工业的迅速发展，越来越多的大型讥组陆续投入运行，机组容量的 增大使其结构和系统日趋复杂，如何保证这些机组能安全可靠地运行，对国民经 济的发展具有十分重要的意义。以往采用数目庞大的二次仪表和记录设备等对现 场机组运行状态进行显示和记录、凭经验对机组的可能故障进行判断的传统方式 已经不能适应机组安全经济运行的要求。传感器技术、信号处理技术以及计算机 技术的发展为故障预测与诊断技术的实现奠定了雄厚的基础。借助于故障预测与 诊断技术可以实现对故障的早期发现并预测其未来的发展趋势，有利于避免恶性 事故的发生，提高机组的运行可靠性。另外，借助于预测技术，还有利于及时调 整运行方式，提高机组的经济性。此外，采用故障诊断技术后使维修更有针对性， 从而缩小了停机时间，提高机组的可用率。 1 1 2 为机组由目前的定期维修过渡到状态维修奠定基础 机组的状态检测、预测与故障诊断技术是和杌组的维修分不开的。安全、经 济运行是火电机组运行的主要目标，提高火电机组的可用率以降低发电成本是实 现这一目标的主要措施之一，对火电机组进行定期预防性维修是保证其健康水平 的一项有效措施，在一定程度上可以提高机组的可用率。然而，何时应该对机组 进行维修亦即维修的周期是多少，机组的制造厂家并未给出实际上也无法给出一 个明确的规定。往往靠运行部门根据机组长期运行的经验，总结出机组的维修周 期。长期以来，火电机组运行部门一直采用定期对机组进行预防性维修的政策。 而且，定期维修政策在其他行业中也被广泛采用。 但是，由于火力发电厂是个包括锅炉、汽轮机、发电机及众多的辅助设备 的复杂大系统，各种设备的固有工作寿命及运行条件不同，导致其劣化速度不同。 这样，在安排其维修闽期时需要实行比其固有工作寿命短得多的问隔期来进行定 期维修。如果这个周期定得过短，使设备尚未出现异常时便进行维修，必然导致 维修“过剩”，造成不必要的人力和财力损失。因此，从火力发电的整个系统来 浙江大学硕士学位论文 看，各个设备采用同一维修周期是不合理的。 另外，从系统故障率的时间分布来看，系统或设备的故障率与时间的关系基 本上呈“浴盆”形曲线( 如图1 1 ) 。当采用定期预防性维修之后，其故障率曲线 如图1 2 所示。由图12 可见，在偶发故障期，设备维修后不仅不利于降低系统 的故障率，反而由于对设备的维修，使其重新进入另一个早期故障期，使系统的 故障率提高。只有在损耗期，维修才有利于降低设备的故障率。 故 障 直 故 障 蛊 图11“浴盆”式故障率曲线 定期维修点 投入运行时间 时间 ( 1 ) 早期故障期； ( 2 ) 偶发故障期；( 3 ) 损耗期 图l2维修对故障率曲线的影响 这种故障现象在我国火电机组的运行巾已经反映出来，据有关文献对 1 9 8 8 1 9 9 1 年问我国2 0 0 m w 、3 0 0 m w 机组的统计，当大修前机组的等效可用系 数e a f 8 5 时，经大修后的平均等效可用系数变化情况为： 2 0 0 m w 机组 + ll o 3 0 0 m w 机组一3 9 9 浙江大学硕士学位论文 可见，对于运行情况比较好的机组，经大修后，其等效可用系数并无明显提 高，有些机组有时甚至还反而降低。 另外，大修投运后连续运行至不同时问内发生第一次故障停机的机组台数占 总台数的百分比情况为： 机组1 - 5 天内1 5 天以内 2 0 0 m w1 6 3 0 4 3 7 0 3 0 0 m w4 00 0 7 0 0 0 这说明目前我国的机组维修水平还不高，在大修前正常运行的机组，经维修后可 能反而会认为增加一些故障。 通过上述的讨论可以发现，无论从保持设备的可靠性，还是从减少维修工 作量、节约维修费用、缩短维修时间上考虑，基于时间的定期预防维修方式都有 其本质卜的缺点。 随着机组状态监测水平的提高，在运行着的机组的表面可以对机组内部的 运行状态进行监测，这就为基于状态的维修( t h ec o n d i t i o n - b a s e dp r e d i c t i v e m a i n t e n a n c e ) 提供了前提条件。例如，通过监测和分析机组的振动状态，在故障 初期即可以为在适当的时间进行维修作好准备。与定期维修方式相反，状态维修 不规定维修周期而是根据设备的状态监测、故障诊断技术及预测技术，来及时发 现设备的运行状态并预测其未来的发展趋势，以便确定维修时间。当设备的一个 或几个特征参数下降或升高到某种规定的标准值时就进行维修，以消除其潜在的 故障，避免故障的进一步扩大。而且，由于采用了故障诊断技术，维修是针对预 测出的故障而进行的，因此，使维修的针对性增强，有利于缩短维修时问，提高 机组的可用率。 特 征 值 运行时间 图13 状态监测、预测、诊断与维修间的关系 浙江大学硕士学位论文 图1 3 所示为状态监测、预测及故障诊断之间的关系。由图1 3 可见，通过 监测及预测技术了解设备当时及未来时刻的运行状态，当预测到未来时刻的状态 特征值将超过规定值时，借助于故障诊断技术诊断出设备的故障原因及部位，即 可有针对性地对机组进行维修。 采用状杏维修，可以为机组带来下列好处： ( 1 ) 由于通过监测、预测与诊断技术来确定设备的实际运行状态，既可控制 因维修过剩而造成的维修费用上升，也可以防止故障于未然。同时还可以使运行 人员参与维修决策并确定该维修的设备，使维修更有针对性，避免了长期以来运 行人员与维修脱离的局面。 ( 2 ) 因为不规定维修周期，可以减少材料消耗量和维修工作量，又可以防止 因维修而出现的人为故障。 ( 3 ) 由于减少不必要的停机，可以提高机组的可用率。 机组的状态维修是一项庞大的系统工程，系统中任何个环节的忽视都将 引起整个系统的故障。如何在状态监测、状态预测及故障诊断基础上作出科学的 维修决策，也是目前众多学者及运行部门关心的问题，目前已经有大量文献对此 进行讨论。但是，采用状态维修的关键是对机组的运行状态进行监测、预测及诊 断。而且，监测、预测及诊断的准确度如何直接关系到维修决策的准确性，否则， 反而会造成较大的损失。因此，目前的主要工作是如何提高机组状态监测、状态 预测及故障诊断的准确性，为状态维修奠定扎实的理论基础。 1 2 汽轮发电机组状态预测技术的研究现状及存在的问题 设备故障诊断技术的研究开始于六十年代。早在六十年代初，美围的一些 公司就开始进行这方面的探索。随着火电机组监测水平及信号处理技术的提高， 特别是随着计算机技术的普及，机组的状态监测与故障诊断方法与系统相继问 世。现将国内外几种比较典型的机组状态监测与故障诊断系统介绍如下： ( 1 ) 涡轮机械状态监测系统d a t m 4 该系统由美国b e i ( b o y c ee n g i n e e r i n gi n t e r n a t i o n a l ) 公司研制于7 0 年代末 期的一种基于专家系统的状态监测与诊断系统，具有多种参数趋势分析和预报的 功能。 4 浙江大学顾士学位论文 ( 2 ) 汽轮机发电机组状态监测与诊断系统a i d 该系统是由美国西屋电气公司于1 9 7 6 年开始研制的。该监测与诊断系统也 是一种基于专家系统的状态监测与诊断系统，具有历史趋势显示功能，但无预 报功能。 ( 3 ) i q 2 0 0 0 管理与维修多功能系统 该系统由美国i r d 公司研制，它包揽了现代：【厂企业的现场实时监测、机 械状态分析、故障预报与诊断、维修计划与方案、机械设备寿命管理等一系列 庞大的模块程序包。 ( 4 ) m h m s 机械状态监测系统 该系统由日本三菱重工研制。无预报功能。 另外，美国b e n t l y 公司、法国电器研究与发展部、瑞士a b b 公司等世界多 家大公司也都在研究各自的状态监测与诊断系统。 我国在汽轮发电机组的状态监测与故障诊断方面起步比较晚，但发展速度 比较快。目前在国内已形成了十多个水平较高，有一定规模的诊断技术中心， 如西安交大，哈工大，清华，浙大，上海交大，华中理工，东南大学等单位的 诊断技术研究机构。除了学校外：还有西安热工研究所、上海成套设备研究所 以及英华达公司等进行了旋转机械振动监测与故障诊断系统的研究与开发。 从总体上看，上述各种故障诊断系统对于汽轮发电机组故障的及时诊断均 产生一定的作用。但从应用的角度看，现有的故障诊断系统主要存在的问题是： 对故障预测考虑的不多，预测方法尚需完善。 故障预测实质上是故障诊断的一部分。从现场的应用角度看，机组的状态 监测与诊断系统必须具备正确反映设备当前的运行状态、准确诊断设备潜在的 隐患及其程度，并预测未来个阶段内设备运行发展趋势这三项功能，才能满 足现场工作的需要。但从现有的故障诊断系统来看，对机组的状态监测与诊断 均得到足够的重视，而对机组运行状态的预测功能，国内的故障诊断系统目前 还很少具备。实际上，与故障诊断功能相比，从某种意义上说，状态预测是现 场生产更为迫切需要的一项功能。因为机组终究不会始终处于故障状态，现场 人员更关心的是机组继续运行下去是一种什么状态，以便心中有数，更好地指 导生产。 浙江大学硕士学位论文 上述列举的国内外各种状态监测与诊断系统中，除d a t m 4 和i q 2 0 0 0 系统 具有预测功能外，其他各系统均很少涉及到故障预测功能，有的只给出了其历 史数据趋势图，希望通过趋势图来掌握机组以后的运彳亍状态。但在机组的实际 运行中，运行情况是在不断的变化中，因而，并不经常遵照平滑外推的状态去 运行，单靠趋势图是难以对机组的未来状态进行准确预测的。 另外，从预测的方法上来看，主要有以下几种方法： ( 1 ) 趋势图分析法。这种方法在运行部门被，。泛使用。它是借助于设备运行 历史数据趋势图，希望通过趋势分析来掌握机组未来时刻的运行状态。但实际 上，由于影响机组运行状态的原因很多，机组并不经常遵照平滑外推的状态去 运行，因此单靠趋势图难以对机组未来的运行状态进行准确的预测。此外，如 果机组的运行趋势或其随机部分的统计规律发生变化时，这种预测方法更无法 对其未来的运行状态进行预测。 ( 2 ) 曲线拟合法。曲线拟合法首先建立一个曲线参数方程，然后根据系统响 应的时问序列历史数据和初值，采用平滑外椎等技术进行曲线拟合，根据该曲 线方程便可进行预测。对于曲线的参数方程比较明确的预测工作，这种方法有 较高的精度和应用效果。然而，对于机械设备进行预测，由于系统的复杂性、 非线性、时变性，很难建立起合适的曲线方程，从而难以取得好的预测结果。 ( 3 ) 时间序列法。时间序列预测法也就是通常所说的时序分析方法，这种 方法的基本思想是利用自回归滑动平均模型，根据时间序列历程求出模型中各 种参数的数值解，然后根据该模型进行预测。这种方法为线性、平稳随机时间 序列的预测提供了较好的方法。但在机组的实际运行中，线性时间序列毕竟少 见，因此，时间序列的应用受到一定的限制。 ( 4 ) 基于灰色理论的预测方法。这种方法是在研究社会、农业等抽象系统中 发展起来的，根据文献【5 6 报道，其仅适用于有一定上升或下降趋势的弱随机性 时间序列的预测。所以，灰色预测方法在对诸如汽轮发电机组的振动故障这类 随机性较强的系统进行预测中，尚需要进步的改进。 ( 5 ) 人工神经网络预测法。近几年来，人工神经网络中的b p 网络以其独特 的联想、记忆、储存和学习功能以及高度的非线性映射能力在设备的故障诊断、 故障预测中得到广泛的关注，被认为是迄今为止“最佳的映射网络”或“最佳 浙江大学硕士学位论文 的分类器构造”。目前，已经有大量文献报道利用神经网络建立预测模型在不同 领域中的广泛研究和应用。如汇率预测、产值预测、降雨量预测、电力负荷预 测、机械状态预测等。在些应用领域，如电力负荷预测，利用神经网络建立 预测模型已达到工程实用要求。用神经网络建立预测模型对旋转机械进行预测， 近几年也作了一些应用研究工作。文献 5 1 ，5 2 1 采用单一b p 神经网络对转予峰 峰值进行单步或多步预测；文献 5 4 1 论述了神经网络在故障预测中的应用。可见， 神经网络在故障预测及诊断中具有良好的应用前景。 应用b p 神经网络虽然可以对上述的渗断和预测方法进行改进，但b p 网络 在实际应川中也存在下列问题： f 1 ) 训练学习率q ( 即按梯度下降的步长) 的确定尚无理沧根据，许多文献 仅给出o n 1 这样一个经验的取值范围，并且在训练中保持定值不变。这样， 如果n 选取得比较大，虽然可以使网络的权值及阈值变化比较大，但往往使网 络的训练过程发生振荡，反而使收敛速度减慢i 如果q 选取得太小，则由于每 次迭代的权值及闽值变化比较小，同样也使网络收敛速度减慢。目前虽然已有 不少改进算法，但都不同程度地存在着一定问题。因此，提高b p 网络地收敛速 度，是当前b p 网络的一个主要工作。 ( 2 ) 网络的训练容易陷入局部最小 b p 网络的训练是一种基于梯度下降的方法，这样就存在陷入局部最小的可 能，使网络的训练无法进行下去。事实上，网络的局部最小问题与学习率的确 定问题二者是不可分割的，只是目前尚很难将这两者直接地联系起来找到一种 解决方法。 1 3 本文所作的主要工作 针对现有汽轮发电机组振动监测分析及故障诊断系统以及b p 网络在应用 中存在的问题，结合汽轮发电机组的自身特点，主要进行了以下的工作： ( 1 ) 在实际应用中，原始的b p 算法很难胜任，因此出现了很多的改进算法。 b p 算法的改进主要有两种途径，一种是采用启发式学习算法，另一种则是采用 更有效的优化算法。本文采用前者的一种改进算法，即采用动量法和学习速率自 适应调整两种策略结合的算法。采用该算法后，不仅使网络的收敛速度明显提高， 浙江大学硕上学位论文 而且还有利于避免网络陷入局部最小点。 ( 2 1 通过对常规b p 网络结构的分析，指出常规b p 网络用于具有递增( 或 递减) 趋势的时间序列预测时误差较大的原因，提出了网络输出层节点的激励函 数采用线性非饱和函数、增加了网络的输入至输出的直接连接权的合成b p 网络， 并将其与其它网络模型的预测性能进行了比较。 通过对几组仿真数据及现场实测运行数据，对合成b p 网络用于对汽轮发 电机组振动的几种典型的故障趋势预测性能进行了检验。 ( 3 1 在原来大型汽轮机组振动监测与故障诊断系统的基础上，添加了振动预 测模块，使系统功能更加完善。 浙江大学硕士学位论文 2 1 神经网络概述 第二章b p 神经网络理论 生命科学与工程科学的相互交叉、相互渗透、相互促进是现代科学发展的 重要特点之一。神经网络( n e u r a ln e t w o r k s ) 就是一门交叉学科，它是模仿生物 神经元细胞传递信息方式的一种计算机软硬件技术，从广义上讲，神经网络可以 理解为由大量与生物神经细胞类似的人工神经元高度并联、互联而成的，具有某 种智能功能的系统。其基本单元为神经元( n e u r o n ) ；神经元之问的相互作用由 连接权值( c o n n e c t i o nw e i g h t s ) 表示，与网络结构紧密联系的是学习算法，由它 将网络训练成为人们期望具有的特性。神经网络主要特征是大规模的并行处理， 分布式信息存贮，良好的适应性和有组织性，它能自适应地响应一个信息环境， 自治地演化出运算能力，是智能信息处理的主要手段之。 神经网络模型各种各样，目前已有数十种，它们是从各个角度对生物神经 系统不同层次的描述和模拟。代表性的网络模型有感知器、多层映射b p 网络、 径向基函数( r b f ) 网络、自组织特征映射( s o m ) 网络、h o p f i e l d 模型、自适 应共振网络( a r t ) 等。运用这些网络模型可以实现函数逼近、模式分类、数据 聚类、优化计算等功能。虽然神经网络有上述多种模型，但按神经元的连接方式 划分，只有二种形态：没有反馈的前向网络和相互结合型的网络。前向网络是多 层映射网络，每一层中的神经元只接受来自前一层神经元的信号，因此信号的传 递是单方向的，b p 网络是这类网络最典型的例子。在相互结合型网络中，任意 二个神经元之间都可能有连接，因此输入信号要在网络中往返传递，从一初始状 态开始，经若干次变化，渐渐趋于某一稳定状态或进入周期振荡等其它状态，这 方面的网络有h o p f i e l d 模型等。 网络学习能力体现在网络参数的调整上，参数调整方法分为有教师学习和 无教师学习两种基本方式。有教师学习的方式就是根据教师给出的正确输出模 式，校正网络的参数，使其输出接近正确模式，这类方式常采用梯度下降的学习 方法，如b p 网络算法。而无教师学习是网络在没有教师直接指点下通过竞争等 方式自动调整网络参数的学习方式，如白适应共振理论( m 汀) 等。 浙江火学硕士学位论文 2 2 神经网络模型 ( 1 ) 神经元模型 神经元模型是对生物神经元的简化和模拟，它是神经网络的基本处理单元 图21 所示为一个简化的神经元模型。 图2 1 简化的神经元模型 它是一个多输入、单输出的非线性元件，其输入输出关系可描述为： = w g x j + 6 y ，= ，( ) 其中枷= 1 2 ， 力是从其它神经元传来的输入信号，b ，为闽值，w u 表示从神 经元，到神经元i 的连接权，以) 称为传递函数。常用的传递函数苁) 有 s t e p 函数 r 0 x 0 s i g m o i d 函数 f ( x ) = 1 1 + e x p ( 】 线性函数 ，o ) = x ( 2 ) 神经网络模型 神经网络是由大量的神经元广泛互连而成的网络，根据连接方式不同，神 经网络可分为两大类：没有前馈的前向网络( 图2 2 ) 和相互连接型网络( 图2 3 ) 。 浙江大学硕士学位论文 前向网络由输入层、中间层( 或称隐层) 和输出层组成，中间层可有若干层，每 一层神经元只接受前一层神经元的输出。而相互连接型网络中任意二个神经元间 都可能有连接，因此输入信号要在神经元之间反复往返传递，从某一初始状态开 始，经过若干次的变化，逐渐趋于某一稳定状态或进入周期振荡等其它状态。 图2 2 没有反馈的前向网络 图23 相互连接型网络 在众多的人工神经网络模型中，b p 网络更适合于对复杂的机械设备进行故 障的非线性预测，被称为迄今为止“最佳的”映射网络。因此，b p 网络在设备 或系统的故障预测中占有重要的地位。 但是，在实际应用中，发现b p 网络存在着学习收敛速度慢、易陷入局部最 小等不足，在一定程度上影响了b p 网络的实用性。为此，本章采用了改进的学 习算法，大大改善了常规b p 网络的不足。 浙江大学硕士学位论文 2 3b p 网络及改进学习算法 2 3 1b p 网络及有关概念的说明 b p 网络最早是由韦伯斯( w e b o s ) 于1 9 7 4 年提出的，鲁梅尔哈特( r u m e l h r a t ) 等在1 9 8 5 年发展了反传网络学习算法。b p 刚络包括输入层、隐层和输出层，其 中隐层可以是一层也可以是多层。由于具有足够多隐层节点数的单隐层b p 网络 可以逼近任何连续函数，而且从计算的简单性上考虑，通常采用一个隐层的b p 网络。当信号输入时，首先经输入层传到隐层，经隐层节点的激励函数作用后， 再把隐层节点的输出信号传播到输出层节点，经输出层处理后给出网络的输出 值。 中 却 x , 0 各连接权及阈值修正 n 输入层 “x ) 隐层 g ( x ) 输出层 图24 典型三层b p 网络的拓扑结构及学习过程原理图 缸 图2 4 给出了一个典型的三层b p 网络的拓扑结构及学习过程原理图。图 q 为样本序号，网络输入层每输入次，定义为一个样本。设供网络训练 2 浙江大学硕士学位硷文 用的样本数共有q 个，则g = l ，2 ，q ；为输入层节点数，确l ，x q l ， x q n 为网络输入的第g 个样本。 d g ，d 卿，d 科为输入层节点的输出。由于网络的输入层节点无激 励函数，故输入层节点的输出值恒等于网络在相应节点的输入，即o q j = ，j = l ， 2 ，。 n e l q l ，n e t q i ，t i e 岛m 为对应第q 个样本时网络隐层各节点的输入值， 其值为n e t q , = w d + 6 l 。 j w l l ，w ”，w 一表示 c j 9 络隐层与输入层节点问的连接权，m 为隐层 节点数。 b f ，b ，6 盯为网络隐层节点的阈值，其值相当于输入层中某一输出值 恒为，的节点与隐层相应节点间的连接权。 0 。- ，0 o q m 为网络隐层各节点的输出值，其值为d ，= ，0 e ， 其中j f ( ) 为网络隐层节点的激励函数。 w 1 1 ，w m w 一为网络输出层与隐层节点问的连接权。其中三为输 出层的节点数。 b 1 ，6 f ，b l 为网络输出层节点的闷值。 n e , l q l ，n e t “，n e l q l 为网络输出层节点的输入值，同样有n e l q 严 m w ：d j + 巧。 在以后的公式推导中为了表达方便起见，将上述有关符号中的撇号省去，采 用表示网络隐层节点的输h ：w h 代表网络输出层与隐层节点间的连接权；6 j 表示网络输出层节点的闽值；”e 岛z 表示网络输出层节点的输入值。 y q i ，拍嘞l 为对应网络输出层节点的计算输出值，其值为y q 尸g 伽p f 曲， 甙) 为网络输出层节点的激励函数。 岛l ，岛，j 缸为对应第q 个样本网络的目标输出值。 反为网络的计算输出与目标输出之间的偏差值，根据算法的不同其表达式 也不同： ( 1 ) 单样本误差 浙江大学硕士学位论文 对应单个样本网络的输出与其相应的目标输出问的误差，其表达式为： 日= j 1 蕃l ( 白一y 一) 2 ( 2 ) 样本总误差 如果样本集中共有q 个样本，对应这q 个样本的总误差为 口 1 c 2 l e = e q = ( f 口一y q l ) 2 q = l 二口= 1l = 1 在这种网络结构中，网络的学习过程由正向计算和误差的反向传播组成。 在正向计算过程中，输入信号从输入层经隐层节点处理后传向输出层，每一层节 点的输出只影响到下一层节点的输出。如果在输出层不能得到期望的输出，则转 入反向传播，将输出信号的误差沿原来的联结通路返回。通过修改各层节点间的 联结权及闯值，使得网络的输出与目标输出问的误差达到给定的精度。 2 3 2 标准的b p 学习算法 b p 网络采用的学习算法是误差反传( b p ) 算法，是典型的有教师学习算法。 b p 学习算法分为网络的前向计算和误差的反向传播两个过程。 1 网络的前向计算过程 对于给定的训练输入样本( x q l 、x q 2 、”) ，其学习训练中的前向计算过程 如下： ( i ) 输入层节点i ，的输出等于其输入峋； f 2 1 隐层节点i 的 输入 n e l q i = w f + 6 ， ( 2 - 1 ) 输出0 。：= f ( n e t q ；) ( 3 ) 输出层节点，的 输入 输出 n e t 旷w 娲+ b y 。g ( n e 动 ( 2 - 2 ) ( 2 - 3 ) ( 2 - 4 ) 这样，就得到网络在一组初始连接权及闽值的条件下，对应某- - i ) l l 练输入样 本，网络的计算输出值。一般情况下，此时，网络对应某一输入样本的计算输出 4 浙江大学硕士学位论文 与其相应的目标输出间存在比较大的误差，因此，需要进行连接权及闽值的修正。 即，根据网络的误差情况，对连接权及阈值进行修正。 2 误差的反向传播过程 在网络的误差反向传播计算中，由梯度下降法修正后得到对应第玎个样本的 连接权及闽值修正量。 按照梯度下降法，对应第q 个样本的网络隐层节点与输入层节点间的连接权 的修正量为： 印。叫鲁 淫s ， 其中叮为学习率，学习率的取值目前尚无任何理论根据，通常取o q l 的定值。 将当分为两部分之积得： o w # 由( 2 - 1 ) 式得 堡：兰l c 3 n e t q i ( 2 - 6 ) 0 w f o n e t q 跏f oqnelqj：(n叩。，)ow 口 却vi 。 现在设吒，= 一熹 氏，称为网络隐层节点的学习误差。 则式( 2 6 ) 变为： 由( 2 - 5 ) 得 8 e q。 菇卸* ( 2 - 8 ) 印。叫鲁训，。 c z 4 ， 同理可以推得对应第g 个样本网络隐层节点闽值的修正量为： 。叫豢= 嘛 c ， 同理对于隐层节点与输入层节点1 6 1 拘连接权及隐层节点的阈值，同样有： 浙江大学硕一1 学位论文 a q w h 叫熹邓护。 一刁蒜叫万 。= 一研面o e q = 鸭，岛2 7 丽2 节岛 下面推导民，和d “的算式 对于输出层一i 点， 而 翘。 秒“ 旦一o e q 旦王 o n e t “砂“o n e t q f 老叫呱) 则将式( 2 1 4 ) 和( 2 1 5 ) 带入式( 2 1 3 ) 得： j 目f = 一( ，q f y q l ) g ( n e t 掣) 对于隐层节点，同样有： ( 2 - 1 1 ) ( 2 - 1 2 ) ( 2 - 1 3 ) ( 2 - 1 4 ) ( 2 - 1 5 ) ( 2 - 1 6 ) 一鲁一鲁蔫 无考虑上瓦t i 输来捌刚弟一坝 堕：旦，( n e l q i ) ：厂( n e t q , ) (2_18，ig n e t go n e t 、 然后计算第一项，由于隐层节点的输出值不直接对误差函数产生影响，故由复合 偏导数有： 堡：里生r 3 n e t q l a d f 台o n e t 日，o o 。 = 丢l oeq0，(兰wlioqi一-bl。3net o o i = 1 ) 耋1 叫口 ：壹墨与。 智o n e t 。f “ 浙江大学硕士学位论文 l a t w 。 k 1 将式( 2 1 8 ) 、( 2 1 9 ) 代入( 2 一1 7 ) 得，对r 隐层节点的误差为 5 q ，= f ( n e t ，) ( 2 - 1 9 ) ( 2 - 2 0 ) 由式( 2 2 0 ) 可以发现，在计算b p 网络隐层各节点的学习误差时，需要 先计算输出层节点的学习误差，亦即节点误差的计算是先从输出层开始然后 向隐层进行的，因此上述的过程称为“误差的反向传播过程”。 b p 网络的输出层和隐层节点的激励函数通常取为s i g m o i d 函数，其表达式 通常采用如下形式的函数： 冰) = m ) = 专( 2 - 2 1 ) 此时有： ，。( x ) = ，( x ) 1 一( x ) g 。( x ) = g ( x ) 【1 一g ( x ) 将其分别代入式( 2 一1 6 ) 、( 2 2 0 ) 得到网络输出层和隐层节点的学习误差 f = ( 一一q f ) j ，“( 1 一y q t ) ( 2 1 6 ) l = o q i ( 1 一o q i ) w h 占q f ( 2 - 2 0 ) # ， 则，网络输出层与隐层节点间的连接权及输出层节点的闽值修正公式为 w h o + 1 ) = w n ( t ) + 。w ( f ) 6 ，( ，+ 1 ) = b ：o ) + a 。b ，u ) ( 2 2 2 ) ( 2 2 3 ) 同理，对隐层与输入层节点间的连接权w 。及隐层节点的闽值6 ，也相应有上述关 系存在。 2 3 3 改进的b p 学习算法 标准的b p 网络学习算法存在一些不足之处：学习时间长，收敛速度慢，因 采用纯粹的梯度下降法而易陷入局部最小点，面临选择学习率的问题等等。为了 1 7 浙江大学硕士学位论文 加快网络的训练速度，避免陷入局部极小点，本文采用了改进的三层b p 网络算 法。该算法的精髓是训练中结合了附加动量法和自适应学习速率法。 附加动量法是指网络在在修正权值和闽值时，不仅考虑误差在梯度上的作 用，而且考虑在误差曲面上的变化趋势影响。它是基于反向传播法在每一个权值 变化值上加一次正比于前次权值变化的量，并根据反向传播法来产生新的权值和 闽值，带附加动量法的权值、闽值调节式为； i a w v ( f + 1 ) = ( 1 一m 。) q 6 i o j + m 。a w f ( f ) 【a b ：( f + 1 ) = ( 1 一m 。) r l s i + 研。，o ) 其中，t 为训练次数；叮为学习率；0 ，为第个输入矢量；a b ，( f ) 是第f 次 阈值变化；a w ，( 尼) 是第t 次权值变化；巧是反向传播误差导数；m 。为动量因子。 动量困予的加入使得网络权值的变化为卜次学习过程的权值变化的函数与 依据标准反向传播规则得到的本次权值变化的函数之和，动量因子的大小决定了 两者孰重孰轻的问题。当动量因子取为0 0 时，枕值的变化就是根据梯度下降法 产生( 即标准算法) ；当动量因子取为1 0 时，新的权值变化则设置为最后一次的 权值变化而与梯度没有任何关系。当进入误差曲面底部平坦区时，莎将变化很小， 于是有w 。( ，+ 1 ) 兰a w ，o ) ，从而避免了w 。= 0 出现，这有助于使网络从误差曲 面的局部极小值中跳逸出来。 其次，对于+ 个网络，要选择一个适当的学习率是件不容易的事。若对训练 初期的功效较好的学习率，对后来的训练未必合适，故本文采用自动调整学习率； 训练中检查权值的修正值是否真正降低了误差函数，若确如此，则说明所选择的 学习率值小了，可以对其增加一个量；否则，就产生了过调，就应该减小学习速 率的值，下式就是自适应学习调整公式： 1 0 5 v ( t ) 以t + 1 ) 1 0 4 e f t ) 【叩( f )d t h 8 m 可见，改进的b p 网络学习算法综合了上述两乖| 方法优点，既可找到最优解， 又可以缩短训练时间，即在提高学习效率的同时又增加了算法的可靠性。显然， 它比通常的b p 网络优越，整个网络更加稳健。 浙江大学硕士学位论文 改进的b p 学习算法的计算框图如图2 5 所示： 初始化网络权值 e 一o 给定输入样本和相应的目标输出值 计算隐层和输出层的输出值 o q i 。坂m 白) 蜘，29 0 e t q t ) 计算总误差 e ：三羔壹峨， 白适应调整学习速率r l 计算学习误差j “d 口 计算输出层权值及闽值修正量 a w l i ( t + 1 ) = m 。w f f ( d h l - m c ) - 76 护g 6 ，+ 1 ) = m 。a b e ( o + ( 1 - m e ) 目d q l 计算隐层权值及阈值修正量 嘞( t + 1 ) 2 。& w o ( t ) + o - m o ) 口j o o j a b 。( f + 1 ) 2 。a b i ( t ) + ( 1 - 。) 1 1d m n o 还有样本吗? n o iy e s l 网 图25 1 9 y e s 浙扭大学硕士学位鲶文 2 4b p 网络结构的设计及有关参数设置 b p 刚络的结构通常针对所研究问题的不同而有不同的要求。本文研究的是 汽轮机振动值预测，可将其归结为非线性时间序列的建模与预测问题。因此，这 里主要针对这问题来讨论b p 网络的结构设计方法。 1 b p 网络输入输出数据的归一化处理 ( 1 )b p 网络输入与目标输出值进行归一化处理的必要性 由rb p 网络输出层节点的激励函数采用s i g m o i d 函数，该函数值的取值范 围为 0 ，l ，即网络计算输出值的范围为 o ，i 。因此，在训练b p 网络时必须将 其目标输出值进行归一化处理。使其目标输出值也处于 o ，1 区间，这样才能保 证网络能够训练到使其计算输出值接近于相应目标输出值。 对于网络的输入值从理论上说可以在( 一o o ，+ 。) 范围内任意取值。但是， 由式( 2 9 ) 和( 2 1 1 ) 可以发现，网络隐层与输八层节点间的连接权的修正量 。与网络的输入值成正比；而输出层与隐层节点间的连接权的修正量。坼，与 隐层节点的输出值成正比。由于隐层节点的激励函数通常为s i g m o i d 函数，其输 出值处于 o ，1 范围内。这样，如果列络的输入值不进行归一化处理而处于( o 。，+ 一) 区问，必然使。大大地大于。w 2 j 而使其二者间产生较大的数值差别， 不利于网络的收敛。另外，由于。的值很大，使网络训练过程发生震荡甚至 不收敛，此时只能通过选取很小的学习率值来使。变小，但同时也使a 。胁，变 得更小，这相当于输出层与隐层节点问的连接权未参与修正。同时，为了使。， 不至于过大，网络的学习率值应选得很小，而且其输入值得数量级越大要求的学 习率值越小，使本来就很难确定的学习率的取值问题变得更加困难。凶此，从网 络收敛的角度看，网络的输入值也应该进行归一化处理，使其处于 0 ，1 区间。 ( 2 ) 归一化处理方法 b p 网络的归一化实际上就是使网络的输入及相应的目标输出值处于 o ，1 区 间，以便于用s i g m o i d 函数进行计算。 当网络用于对单变量的时间序列建模时，由于网络的目标输出值即是其输入 值的后续长度为的时间序列，因此，网络目标输出值的归一化处理可与输入值 的归一化统一进行，通常采用下式： 浙江大学硕士学位论义 z ：兰。二盘! x 一一x 。m m 其中x 表示原始值x 归一化后的值， 大和最小值。 ( 2 2 4 ) x 。x 分别表示原始序列中的最 2 b p 网络输入与输出层的设计 b p 网络的输入、输出层的节点数主要是根据问题的需要来选择的。当网络 用于剥非线性时问序列的建模与预测时，如果希望用过去的个值对未来个 时刻的时问序列值进行预测，此时网络的输入为一长度为的时间序列的值， 则网络的输入层节点数就是。网络的输出层节点数就是预测步数，即若进行 步预测，则网络输出层节点数就是。能同时进行多步预测，是b p 网络的一 个显著