（工程热物理专业论文）人工神经网络在电站空冷机组中的应用.pdf

摘要 本文利用b p ( 误差反传播前馈神经网络) 神经网络建立了某海勒式间接空 冷机组垫五窆墼笾墓和谨猩鳖堡垄塞型，并开发了相应的软件，把模拟过程利 用先进的动画演示技术实时地表现了出来。具体开展了下列研究： 1 研究了b p 的各种改进算法，提出了种新的改进方法并作了验证。 2 以某空冷机组为研究对象，用人工神经网络预测机组负荷和空冷塔散热 性能进行了研究，并针对四个典型季节分别建立了提前一小时的整点仿真模 型。( 它可以为空冷塔运行及调节提供指导，具有实用价值 3 建立了凝汽器经济运行在线监测的神经网络辨识模型，以提前预报下 时刻真空度变化趋势，发挥空冷方式的最大效益。 4 为方便所建神经网络模型在实际中的使用，开发了配套的应用软件。( 1 比 软件系统利用v i s u a lc + + 和d i r e c t 3 d 技术，可以把所建立的神经网络模型的 模拟结果实时动态地表现出来。利用m a t l a b 开发了b p 网络计算的模拟 程序，以加深使用者理解和建模的能力。广万 ， 关键词：人工神经网络；b p 算法：空冷系统；待樊 壹忱赡动画模拟 ， a b s t r a c t i nt h i sp a p e r , f o u rm o d e l sa r ed e v e l o p e dt os i m u l a t ea n di d e n t i f yt h e p a r a m e t e r s o fh e l l e r a i r - c o o l i n gs y s t e mb a s e do na r t i f i c i a l n e u r a ln e t w o r k s ，a n das o f t w a r e s y s t e mi sa l s os e tu pf o ri m p l e m e n t i n gt h es i m u l a t i o np r o c e s sb ym e a n s o fa d v a n c e d c o m p u t e rs k i l l s s i m u l a t i o ns h o w s t h a tt h et r a i n e db p ( b a c kp r o p a g a t i o n ) m o d e lc a n p r e d i c tt h ed y n a m i cp e r f o r m a n c eo f a i r - c o o l i n gs y s t e mw i t ht h es a t i s f a c t o r ya c c u r a c y t h e f o l l o w i n g i t e m sa r ei n v o l v e d ： 1 c o m b i n i n gt h ev i r t u e so ff e e d b a c kn e u r a ln e t w o r k s ，t h ep a p e rs t u d i e sav a r i e t yo f m e n d i n gw a y sa n dp r o p o s e san e wt r a i n i n ga l g o r i t h m ，w h i c hc a ns p e e du pt h er a t e o f c o n v e r g e n c ea n dr e d u c et h et r a i n i n gt i m eo f n e t w o r k s 2 f o u rd i f f e r e n tm a t h e m a t i c a lm o d e l sa r ep r o p o s e df o r d e s c r i b i n gt h ef e a t u r e sa n d d y n a m i cp a r a m e t e r so f t h ed r y - c o o l i n gt o w e r b a s e do na r t i f i c i a ln e u r a ln e t w o r k si n d i f f e r e n ts e a s o n sd u r i n ga n y e a rr e s p e c t i v e l y i ti si n s l r u e t i o n a ls i g n i f i c a t i o nf o r o p e r a t i n ga n da d j u s t i n go f a i r - c o o l e ds y s t e m 3 a n o t h e ri st h eo n l i n em o d e lf o r d e t e c t i n go p e r a t i o no f c o n d e n s a t o r sb a s e do n t h e b pn e t w o r k s ，s oa st of o r e c a s ti t sn e x tv a c u u ma h e a do f t i m e i ti se f f e c t i v et o p r o m o t e t h ea i r - c o o l i n gs y s t e mt ob e g o o d c o n d i t i o n 4 i no r d e rt om a k e a p p l i c a t i o no f t h e m o d e l sc o n v e n i e n t ，a d i g i t a ls i m u l a t i o np r o g r a m i s d e v e l o p e d t od e m o s t r a t ed y n a m i c p r o c e s s o f a i r - c o o l i n gs y s t e m sb a s e d o nr e a l t i m e a r t i f i c i a ln e u r a ln e t w o r k s k e yw o r d s ：a i r - c o o l i n gs y s t e m ；a r t i f i c i a ln e u r a ln e t w o r k s ；s i m u l a t i o n ；s y s t e m i d e n t i f i c a t i o n ；b pm e t h o d 南京理工大学2 0 0 1 年硕士论文 绪论 1 1 选题的背景 1绪论 在火力发电厂中，不仅有复杂的热工过程，而且存在着大量的随机过程( 例 如：中调指令发电量，循环水温度，大气压力等) ，这些随机因素对机组的运行 有很大的影响，一般来说，他们都是离散的随机时间序列。如果能够对他们 的发展变化预先做出预测，将更加有利于机组的运行，更好的进行生产，合理 调配生产资源，做到安全优质生产。空冷方式是工业领域的一种新的节水途径， 空冷火电机组以节水6 5 以上的优点在电力工业中的应用正在得到大力发展， 尤其是对我国广大的西北地区，一次能源蕴藏丰富，而水资源缺乏，发展空冷 发电机组则更是一种切实可行的方案。空冷是一种新的发电方式，在我国只出 现了十年左右，但是由于空冷机组的结构复杂，受气候因素( 风速、气温、湿 度等) 影响远比常规湿冷机组大，空冷机组的热力性能更加复杂。 对电厂的热工参数进行预测，以实现预测控制，同时也可以使运行管理人 员提前预知生产过程的发展趋势，对生产过程作出适时的调整。以合理调配生 产资源和调整生产过程，使机组运行更加平稳。本文试图用人工神经网络方法 对某空冷电厂目前存在的问题进行分析研究，提出有指导意义的运行或控制方 案。 1 2 空冷技术研究及其现状 空冷汽轮发电机组和常规湿冷汽轮发电机组主要差别在于汽轮机排汽的冷 却方式。常规湿冷汽轮机组的乏汽是通过凝汽器用水来冷却的；而空冷汽轮机 组的泛汽是用空气来冷却的，见图1 1 。 电力工业不仅是消耗一次性能源大户，同时也消耗大量的水资源，而水资源 是目前全世赛面临的一大难题，我国人均水资源仅为2 4 0 0 m 3 ，仅占世界平均水 平的1 4 ，世界排名1 1 0 位，已被联合国列为1 3 个贫水过之一【2 j 。 发电厂空冷技术的应用始于3 0 年代末的德国，在六七十年代应用增多。进 入8 0 年代以来，由于节约水资源和环境保护的需要，空冷技术在许多国家得到 了进一步发展。我国的水资源相对贫乏，发电厂空冷技术在我国，特别是北方 南京理工大学2 0 0 1 年硕士论文1 绪论 的富煤、贫水地区，展示了较好的发展前景。1 9 8 7 年和1 9 8 8 年，山西大同第二 发电厂的两台2 0 0 m w 机组相继引进了匈牙利的海勒式间接空冷系统。尔后， 内蒙古丰镇电厂投运了国产相应系统，太原地二发电厂的哈蒙式间接空冷系统 也投入了运行。空冷系统的运行实践表明该系统的节水效果显著，但受环境和 运行状态的影响很大。如：空冷塔在夏季出力不足，冬季换热器受冻，对机组 运行和安全生产带来很大的影响。常规湿冷机组耗水较大，1 台6 0 0m w 常规 湿冷汽轮发电机组的冷却系统年耗水10 0 0 万吨，空冷机组冷却系统基本没有冷 却水的消耗。在年平均气温较低、风大的贫水富煤地区发展空冷机组，从长远 的经济效益来看是较好的【3 】。 空冷电站有间接空冷( 图1 1 ) 和直接空冷( 图1 2 ) 两种基本型式，间接 空冷又分为海勒式( 图1 3 ) 和带表面冷凝器的间接空冷系统( 图1 1 ) 两种。 带表面冷凝器的间接空冷系统又称为哈蒙式。 1 汽轮发电机2 凝汽器3 窄冷塔 4 - 空冷散热器5 一空冷塔 图1 1 间接空冷机组冷却水系统示意图 1 - 汽轮发电机2 一直接空冷散热器3 散热风机 4 空冷塔5 - 凝结水泵 图1 2 直接空冷系统 南京理工大学2 0 0 1 年硕士论文i 绪论 图i 3 海勒式间接空冷系统 本文主要研究对象是海勒式空冷系统( 图1 _ 3 ) 。海勒系统是透平排汽的间 接空冷系统。排汽在接触式凝汽器中与冷却水直接接触而凝结。冷却水却来自 置于干冷塔基部的空冷热交换器，它在整个系统的运行及经济性中起着极为重 要的作用。冷却水和凝结水混合后经循环水泵，部分送入锅炉给水系统( 约 2 5 ) ，余下的经空冷器将热量排放给流经福戈型翅片管束的空气。离开空冷 气后的冷却水经水轮机调压后又回到接触式凝汽器，以雾状液滴与汽轮机排汽 直接接触吸收排汽热量。这就完成了一个全封闭的冷却水循环。 空冷塔是依靠热空气上浮、冷空气从底部补充的自然通风方式，在三角形 冷却器的表面进行换热，使循环冷却水冷却后的水温下降1 2 。海勒式空冷系 统中的空冷器采用福戈型翅片管束组件。系统是否成功在很大程度上去取决于 空冷器。因为所有要消散的热量最终总是要通过空冷器的翅片管传递给低速空 气，所以空冷器必定要有很大的扩展表面。于是要求单位散热量的成本低廉， 显然，传热性能要尽可能优良。同时，塔的结构成本也要低廉，压降要小。空 冷器内外的化学作用造成的设备寿命消耗也应与有关设备一致。另外，消除污 垢也要简便易行。 综上所述，海勒系统有以下特点： 具有封闭的水循环系统，水的损耗极少，可节约厂用水量。 循环水具有凝结水的纯度，所以可采用接触式凝汽器，这也就能消除表 面式凝汽器中不可避免的温度降差。 南京理丁大学2 0 0 1 年硕士论文1 绪论 接触式凝汽器比表面式凝汽器结构简单，运行维护简单，造价较低。由 于采用空气作冷却介质，因此汽轮机背压较高，且随环境温度而变化。采用空 冷塔可消除噪音和水雾，对环境有利，这也可是电厂建造在远离水源的干旱地 区。 与其他空冷机组一样，海勒式空冷机组煤耗比常规湿冷机组高( 如某 2 0 0 m w 海勒式机组在相同的环境温度下煤耗高约1 4g ( k w h ) ，并且冷却系统 一次性投资也高出常规湿冷机组冷却系统投资的( 6 - - 8 ) t 3 1 。 1 3 海勒式空冷机组存在的问题及研究进展 从国内运行的空冷机组情况看，普遍存在下列问题： ( 1 ) 环境气温影响导致机组煤耗增加 近几年来全球气温普遍升高，延长了机组在高温条件下的运行时间，气温越 高，空冷机组比湿冷机组煤耗的增加值越大。如1 9 8 8 年某空冷机组超过设计气 温2 7 3 的日历小时数为1 8 4h ，而1 9 9 7 年达到3 0 0 h 以上，造成空冷机组比湿 冷机组年平均煤耗高1 0 1 0 5g ( k w * h ) t 4 。 ( 2 ) 大风影响空冷塔冷却效果 近几年来，各方面的研究成果和机组的实际运行情况表明，大风对冷却效果 影响很大，从而影响机组的经济性。运行实践表明，风速大于6m s 时会明显影 响空冷塔的冷却效果【5 】。为了防大风的影响，常常关小百叶窗( 如图1 4 ) ，如 果机组来不及调节，结果造成了散热不畅，造成事故。以大同第二发电厂为例， 当地风速大于6r r g s 的时间为1 0 1 9h 年，其中4 、5 月份为2 2 0 h ，6 9 月份为 2 4 9h 。经计算和运行数据统计，得出因大风的影响使空冷机组年平均煤耗比湿 冷机组高1 2 1 4g ( k w * h ) h j 。 ( 3 ) 为了防冻降低了机组的经济性 冷却器安全过冬和防冻是西北地区空冷机组的一个难 题。在目前的几座空冷电厂都发生过冷却三角不同程度冻坏 的事故。当气温低于5 时为空冷塔的防冻期。三角形冷却 器的防冻原理主要是防止断流，即在冷却器的锅管中水不能 滞流。试验结果表明，冷却水在铝管内达到冰点的主要因素 是水的流速、百叶窗的开度和气温，而与水温关系不大。只 要冷却器的出水温度不小于2 0 * c ( 进塔水温3 0 3 2 ) ，凝汽图1 4 百叶窗示意图 南京理工大学2 0 0 1 年硕士论文1 绪论 器背压保持在0 0 0 4 7m p a ，即可保证安全运行。另外，空冷塔有一套防冻自动 保护系统，当水温降到1 8 c 时，百叶窗自动关闭。当水温降到1 2 c 时，安全阀 自动打开，空冷系统的水放入贮水箱中，机组停运。而内蒙古丰镇电厂的空冷 器在扇形段加了自动加热保护装置，如果温度太低时，就立即电加热升温【5 卜l f j 。 当然付出的代价是降低了效率，增加了煤耗。这也是对空冷机组运行规律没有 准确把握的带来的一个不好避免的结果。 ( 4 ) 运行缺乏经验 由于空冷技术在我国只发展了十几年，在引进、设计、制造、运行上都存 在缺陷。加上当地气候的变化及其他诸因素，一开始的数学模型或运行曲线往 往发生一定程度的改变，有时就无法保证机组处在最佳工况。 我国火电空冷机组装机总容量达1 6 0 0m w ( 占全球的7 ) ，全部为间接空 冷，其总容量为世界第三位。1 9 9 7 年初，国务院已将发展大机组空冷技术列为 国家重大科研项目。经过多方面的努力，我国的空冷技术在消化和国产化的进 步很大，取得了相当的成果。下面介绍提高空冷机组经济性的一般途径【b i f 9 】： 确保空冷塔的严密性，维护好空冷系统的冷却设备，确保冷却效果。 尽量增加空冷机组在气温低的季节的运行时间。 如果条件允许，尽量安排空冷机组在夏季检修或停备用。 在冬季不影响防冻的前提下尽量降低冷却水温。 三角形冷却器的防尘及清理要及时；要保证空冷塔的冷却效果，必须保 证三角形冷却器外表面清洁。 1 4 本文的着眼点、工作和意义 从机组运行分析中挖潜，从机组运行数据分析中及时发现问题，使空冷机组 始终处于或接近于最佳状态下运行，是本文的着眼点。本文拟利用人工神经网 络预测空冷机组的负荷变化及空冷塔热工参数，用以指导运行，具有重要的意 义和实用价值。 对电厂的热工参数进行预测，以实现预测控制，同时也可以使运行管理人 员提前预知生产过程的发展趋势，对生产过程作出适时的调整。对时间序列进 行预报，以合理调配生产资源和调整生产过程，使机组运行更加平稳。 预测学既是一门研究客观事物的特征和发展规律以估计其未来状态的学 科，也是建立在时间基础上的学科。现代预测大量运用观察、演绎和推理等分 南京理工大学2 0 0 1 年硕士论文绪论 析方法，运用数学模型和实验方法，根据客观的资料、主观的经验和教训，探 索客观事物发展变化的趋势和变化程度，并在技术上力求提高预测的精度和准 确性。 目前，对火电厂中的过程进行预测通常是建立在过程辨识和时间序列建模 的基础上，在获得过程模型时较多的是将过程在工作点附近做线性化处理，利 用线性系统辨识方法或时间序列分析方法对过程数据进行处理，所得到的是线 性模型【l 】【8 1 1 9 】【1 们。 但是，在现实世界中线性模型是不多见的，而非线性模型是普遍存在的。 特别是随着火力发电机组向大容量、高参数的方向发展，发电过程的非线性现 象愈来愈显著，因此用传统的线性模型来对电厂过程进行预报，由于抛弃了过 程的非线性特性，所以虽然在小范围获得较好的效果，但是难以在大范围获得 较好的精度。由于非线性系统的复杂性和多样性，目前只能针对某一非线性问 题发展相应的非线性模型及解法，而且有些解法的数据工具相当深奥，算法上 很难实现( 尤其在处理多维问题上) 因此限制了它在实际工程中的应用卜 1 5 j 。 近年来，神经网络研究的兴起，为解决火电厂过程的非线性和时变问题提供 了一个新的思路和解决途径。由于神经网络作为一个复杂的非线性系统，具有 良好的自学习能力、非线性逼近能力和多入多出的特点，是一种不依赖于对象 的数据模型而进行信息处理的方法。它不需要建立任何数学模型，只依靠过去 的经验来学习，从系统的数据中学习蕴藏在数据中的内在规律。因此用神经网 络实现火电厂过程预报是可行的。许多研究者在这一方面作了大量的工作【1 6 】【2 们。 但是专门针对空冷发电厂的神经网络研究并不多见。 在众多神经网络模型中，b p 神经网络是比较成熟的种。它的优点是具有 很强的非线性映射能力和柔性的网络结构。但在使用中有学习收敛速度慢，不 能保证收敛到全局最小点等问题。对于b p 网络存在的以上几种缺陷，人们对 其性能的改善作了大量的工作，提出了许多改进方案。其中研究最多的是如何 加速网络的收敛速度和尽量避免陷入局部最小点的问题。本文在第三章中重点 研究五种改进了b p 神经网络算法，并且提出了一种新的算法并进行了试验。 在本文第四章中进行了神经网络在热工仿真中的应用研究。以丰镇发电厂3 样 空冷机组为研究对象，建立空冷机组神经网络预测模型，用人工神经网络预测 机组负荷和空冷塔散热性能，可以为合理经济运行提供保证。 在本文第五章中进行了神经网络在热工过程辨识中的应用研究。以丰镇发电 6 南京理工大学2 0 0 1 年硕士论文 绪论 厂3 拌机组为研究对象，建立了空冷塔运行经济性的实时监测模型，为判断空冷 机组运行状况提供依据。 在第六章，开发了一套应用仿真软件。软件分二部分：考虑到神经网络的理 论深奥和难于理解，将神经网络的训练过程动态演示出来以加强现场调度及运 行人员的理解和应用本文给出的仿真模型能力，也为他们自己建立类似模型提 供参考；另一个是本文模型的动画模拟仿真，利用先进的动画仿真技术，把空 冷塔热工参数的变化过程( 比如百叶窗挡板开度) 实时地模拟出来，预测参数 可视、直观。 南京理工大学2 0 0 1 年硕士论文2 神经两络的基本理论 2 神经网络的基本理论 2 1 人工神经元网络的基本概念和特征 人的思维是由人脑来完成的，思维是人类智能的集中体现。根据1 9 世纪末 创建的神经元学说，使人们认识到人脑是由大约1 0 1 1 数量的神经元和1 0 1 4 1 0 ” 个突触组成的巨系统【2 ”。人工神经元网络是生理学上的真实人脑神经网络的结 构和功能，以及若干基本特性的某种理论抽象、简化和模拟而构成的一种信息 处理系统。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完 善的联接而构成的自适应非线性动态系统。由于神经元之间有着不同的连接方 式，所以组成不同结构形态的神经网络系统是可能的。每个神经元可以看作为 一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部 的生理神经元网络，他们中各神经元之间连接的强弱，按照外部的激励信号作 自适应变化，而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋 或抑制状态。据现在的了解，大脑的学习过程就是神经元之间连接强度随外部 激励信息做自适应变化的过程，大脑处理信息的结果由神经元的状态表现出来。 显然，神经元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其 基本结构相似，如图2 1 所示【2 2 】。 神经元( 即神经细胞) 是由细胞体、树突、轴突和突触四部分组成。每个 细胞体都有一个细胞核在进行着呼吸和新陈代谢等许多生化过程。整个细胞的 外部叫做细胞膜。从细胞体向外伸出许多树突和一条长的轴突，树突和轴突分 别负责传入和传出兴奋或抑制信息到细胞体。神经元的树突较短，分支很多， 是信息的输入端。轴突较长，是信息的输出端。突触是一个神经元与另一个神 经元相联系的特殊结构部位，突触包括突触前( 成分) 、突触间隙和突触后( 成 分) 三个部分。突触前( 成分) 是第一个神经元的轴突末梢部分。突触后( 成 分) 是指第二个神经元的受体表面。突触前( 成分) 通过化学接触或者电接触， 将信息传往突触后受人脑才可以有存储信息的功能。在突触体表面，实现神经 元的信息传输。树突和轴突一一对接，从而靠突触把众多的神经元连成一个神 经元网络。神经元群或者神经网络系统对外界有兴奋和抑制两种反应，兴奋指 的是相对静止变为相对活动抑制是指由相对活动变为相对静止。神经元之间 南京理工大学2 0 0 1 年硕士论文 2 神经髓络的基本理论 信息的传递形式有正负两种连接。正连接呈相互激发：负连接呈相互抑制。各 神经元之间的连接强度和极性可以有所不同，并且都可进行调整。因此人工神 经元的结构模型如图2 2 所示i 2 3 】。它是由m c c u l l o c h 和p i t t s 在1 9 4 3 年建立的， 被称为m p 模型。 图2 1 神经元结构示意图 _ 叫i 了p l 1 _ j f t ( a ) 人工神经元模型 ( b ) 激发函数 图2 2 神经元的结构模型 图中，x ，x 2 x n 为加于输入端( 突触) 上的输入信号，只为阈值，1 , t ，为神经元内部 状态，( x ) 为激发函数，y 。为输出，w l ，w ：w 。为x ，到“，连接的权值 上述模型可以描述为： “。= ( w ，一只)( 2 1 ) 儿三f ( u ，)( 2 2 ) 每一神经元的输出，或“0 “或“1 “，分别表示“抑制“、“兴奋“，即： m ，= ：东 ， 此时，每一个神经元的输入接受前一级神经元的输出，因此，对神经元i 的总 作用, ，为所有输入的加权和减去阈值( 若无闽值就不减了) ，此作用引起神经元 i 的状态变化，而神经元i 的输出y 为其当前状态了“，的函数。这就是人工神经 南京理工大学2 0 0 1 年硕士论文 2 神经网络的基本理论 元的基本模型，它很好地模拟了生物神经元的活动【2 4 】。 2 2 人工神经网络的理论与现状 人工神经网络的研究始于本世纪4 0 年代。半个多世纪以来，它经历了一条 由兴起到萧条，又由萧条到兴盛曲折发展的道路【2 5 】叫2 ”。 人工神经网络的研究始于是1 9 4 3 年，它是由心理学家w s m c c u l l o c h 和数 学家w p i t t s 所提出的m p 模型。该模型除连接权不调整外，其他与现在的阀值 单元模型基本相同。m p 模型的提出不仅具有开创意义，而且还为以后的研究 工作提供了依据。 1 9 4 9 年心理学家d o h e b b 提出了神经元之间突触强度调整的假设。他认为 学习过程是在突触上发生的，连接权的调整正比于两相连接神经元之间激活值 的乘积。这就是有名的h e b b 学习规则。直到现在，h e b b 学习规则仍然是人工 神经网络中的一个极为重要的学习规则。 5 0 年代末，f r o s s e n b l a t t 提出了著名感知机p e r c e p 舡d n 模型，这时第一 个完整的人工神经网络。这个模型由阀值单元构成，初步具备了诸如并行处理、 分布存储和学习等神经网络的一些特征，从而确立了从系统的角度研究人工神 经网络的基础。 1 9 6 0 年b w i n d r o w 和m e h o f f 提出了自适应线性单元( a d a l i n e ) 网络。它可 用于自适应滤波、预钡和模型识别。1 9 6 9 年，美国麻省理工学院著名人工智能 学者h 。m i n s k y 和s p a t e r 编写了影响很大的p e r c e p 们n 一书。该书指出：单 层的感知只能用于线性总是的求解，而对于像x o r ( 异或) 这样简单的非线性总 是却无法求解。由于m i n s k y 的悲观结论，加上当时以逻辑为基础的人工智能和 数字计算机取得了辉煌的成就从而大大降低了许多人对人工神经网络的热情及 克服理论障碍的勇气。在这之后近十年中，神经网络的研究进入了一个缓慢发 展的低潮期。 进入8 0 年代，神经网络的研究又引起了众多学科领域学者的关注，并很快 形成了热潮。其主要原因是发逻辑理论为基础的人工智能理论和v o n n e u m a r m 计算机在处理诸如视觉、听觉、形象思维、联想记忆和控制等智能处理问题上 受到了挫折；具有并行和分布机制的人工神经网络本身的研究成果发及脑科学 南京理工大学2 0 0 1 年硕士论文2 神经网络的基本理论 和神经科学研究成果的推动作用；v i i i 技术和光电技术的发展为人工神经网络 的实现提供了物质基础。由于发上原因，使人们产生个共识，即人工神经网 络可能成为未来智能良好的模式。 美国加州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科 学院院刊上发表的两篇文章，有力的推动了神经网络的研究，引起了神经网络 研究的又一次热潮。1 9 8 2 年他了一个新的神经模型- - h o p f i e l d 网络模型。他在 这种网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定 性的判据。1 9 8 4 年h o p f i e l d 提出了网络模型实现的电子电路，为神经网络的工 种实现指明了方向。h o p f i e l d 的研究成果开拓了神经网络用于联想记忆和优化 计算的新途径，并神经计算机的研究奠定了基础。 1 9 8 6 年d d r u m e l h a r t ，j l m c c l e u a n d 及其研究小组发表了两本专著： p a r r a l e ld i s t r i b u t e d p r o c e s s i n g ) ) 、e x p l o r a t i o n i nm i e t o s t r u c t u r eo f c o g n i t i o n ) ) 。 该书致力于认知微观结构的探索，特别是他们提出误差传播( b p ) 学习算法，成 为至今为止影响很大的一种网络学习方法。 8 0 年代中期以来，神经网络的应用研究取得了很大的成绩，涉及的面非常 广泛。就应用的技术领域而言，有计算机视觉，语畜的识别、理解与合成，优 化计算，智能控制及复杂系统分析，模式识别，神经计算机的研制，知识处理， 专家系统和人工智能。涉及的学科有神经生理学，数理科学，心理学，计算机 科学，微电子学，光学，生物电子学等。 针对当前人工神经网络存在的问题，今后研究的主要方向可分为理论研究和 应用研究两个方面。在理论研究方面有： ( 1 ) 利用神经生理与认知科学研究大脑思维及智能的机理。 ( 2 ) 利用神经科学基础理论的研究成果( 即前一项成果) ，用数理方法探索智 能水平更高的人工神经网络模型，深入研究网络的算法和性能，例如稳 定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，例如神经 网络动力学、非线性神经场等。 在应用研究方面： ( 1 ) 神经网络软件和硬件实现的研究。 ( 2 ) 神经网络在各个科学技术领域应用的研究。它涉及的领域很广，包括模 南京理工大学2 0 0 1 年硕士论文2 神经网络的基本理论 式识别、信号处理、知识工程、专家系统、优化组合、智能控制等。 2 3 神经网络的学习方法 神经网络的性质主要决定于以下两个因素：一个是网络的拓扑结构，另一 个是网络的学习、工作规则。二者结合起来就可以构成一个网络的主要特征。 随着网络结构和功能的不同，学习算法也各不相同。本节对神经网络的基本学 习方法的含义及特点做简要的介绍。 2 3 1 神经网络的类型 神经网络的学习问题归根结底就是网络连接权的调整问题。神经网络连接 权的确定一般有两种方式：一种是通过设计计算确定，即所谓的死记式学习： 另一种是网络按一定规则通过学习( 训练) 得到的。大多数神经网络是后一种方法 确定其网络的权限。神经网络的学习( 训练) 方法归纳起来有如下几种类型： ( 1 ) 死记式学习网络的连接权是根据某种特殊的记忆模式事先设计好的，其 值不变。以后当网络输入有关住处时，这种记忆模式就会被回忆起来。 h o p f i e l d 网络作联想记忆和优化组合计算时就属于这种情况。 ( 2 ) 有监督学习在这种学习中学习的结果，即网络的输出有一个评价的标 准，网络将实际输出和评价标准进行比较，由其误差信号决定连接权的调 整。评价标准是由外界提示给网络的，相当于有一位知道正确结果的老师 示教给，故这种学习又称为教师示教学习，其原理图如2 3 ( a ) 所示。在这 种学习中网络的连接权常根据6 规则进行调整。 ( 3 ) 无监督学习无监督学习是一种自组织学习即网络的学习过程完全是一 种自我学习的过程，不存在外部教师的示教，也不存在来自外部环境的反 馈指示网络应该输出什么或者是否正确， 学习过程如图2 3 1 ”所示。 学习系统 输入飞示教输苎 二：二：i 故又称它为无教师示教学习。其 学习系统 厂i 二壬一 ll 自我学习 i 。一 输入e 士f 二三二：i 图2 3 ( a ) 教师示教学习方式图2 3 ( b ) 无教师示教学习方式 南京理工大学2 0 0 1 年硕士论文 2 神经喇络的基本理论 ( 4 ) 自组织学习所谓自组织学习，就是网络根据某种规则反复地调整连接权 以响应输入模式的激励，直到网络最后形成某种有序状态。也就是说，自 组织学习是依靠神经元本身对输入模式的不断适应，抽取输入信号的规律 ( 如统计规律) 。一旦网络显现出输入数据的统计特征，则网络就实现了对 输入特征的编码，即把输入特征纪录下来。而且在记忆之后，当它再出现 时，能把它识别出来。自组织学习能对网络的学习过程进行度量，并优化 其中的自由参数。可以认为，这种学习的评价准则隐含于网络内部。神经 网络的这种自组织特性来源于其结构的可塑性。 2 3 2 误差逆传播 投芷 t 吉曩 图2 4b p 网络示意图 神经网络是一种具有三层或三层 以上的阶层型神经网络。上、下层之间 各神经元实现全连接，即下层的每一个 单元与上层的每个单元都实现权连接， 而每层神经元之间无连接。网络按有教 师示教的方式进行学习，当一对学习模 式提供给网络后，神经元的被激活值， 从输入层经各中间层向输出层传播，在 输出层的各神经元获得网络的输入响 应。在这之后，按减小希望输出与实际 输出误差的方向从输出层经各中间层逐层修正各连接权，最后回到输入层， 故得名“误差逆传播算法”。随着这种误差逆传播修正的不断进行，网络对输入 模式响应的正确率也不断上升。由于误差逆传播网络及其算法增加了中间隐层 并有相应学习规则可循，使其具有对非线性模式的识别能力。特别是其数学意 i 璺j 25 h o p f i e | d 网络示意 义明确、步骤分明的学习算法，更使其具有广泛的 应用前景。为方便起见，把误差逆传播网络简称为 b p ( b a c kp r o p a g a t i o n ) 网络，它的结构如图2 , 4 。 另一种重要的网络就是h o p f i d d 网络，它使每个节 点实行全互连，它的结构如图2 5 。误差逆传播神经 网络是研究最多的也是最为成熟的模型。 南京理工大学2 0 0 1 年硕士论文 2 神经网络的基本理论 如图2 4 所示，典型的b p 网络三层、前馈阶层网络，即：输入层、隐含层、 ( 也称中间层和输出层) 。各层之间实行全连接。为模拟生物神经元的非线性特 性，以s i g m o i d 函数作为激发函数。s 函数的数学表达式如2 4 所示： 厂( x ) ：乓 ( 2 4 ) 1 + p h 它的输出曲线如图2 6 ( a ) 所示： 一。7 7 ( a ) s 函数曲线 寸 ( b ) 阶跃函数曲线( c ) 向右偏移口个单位的s 函数 图2 6 非线性输出曲线 由图可知，s 函数输出曲线两端平坦，中间部分交化剧烈。当x + 5 时，f ( x ) 接近于1 ，而当x 在0 附近时( - 5 x + 5 ) ，f ( x ) 才真 正起转移作用。s 函数与阶跃函数( 如图2 6 ( b ) 所示) 相比，从形式上看具有“柔 软”性，从生理学角度看，一个人对远远低于或高于他智力的知识水平的问题， 往往很难产生强烈的思维反映；从数学角度看，6 函数具有可微分性。正是因 为s 函数更接近于生物神经元的信号输出形式，所以选用s 函数作为b p 网络 的输出函数，同时b p 学习规则本身也要求网络的输入，输出函数是可微分的( 后 面将介绍其原因) ，s 函数不但具有可微分性，而且具有饱和非线性特性，这又 增强了网络的非线性映射能力。把式2 1 代入式2 4 得： 11 b j 。f ( s j ) 2 专2 专 q 5 l + e “ j = 1 , 2 ，p 式中b ，为中间层j 单元的激活值。单元输出阀值口，是为模拟生物神经元的阀值 电位而设置的。实际上在网络学习过程中，它和各连接权一样也不断被修正。 阀值口的作用反映了s 函数的输出曲线上，是使曲线向右平行移动了口个单位， 南京理工大学2 0 0 1 年硕士论文 2 神经网络的基本理论 如图2 6 ( c ) 所示。它起到了调节神经元兴奋水平的作用。 2 3 3b p 学习过程 b p 网络的学习，是由四个过程组成：输入模式由输入层经中间层向输出层 的“模式顺差传播”过程，网络的希望输出与实际输出之差的误差信号由输出 层经中间层向输入层修正连接权的“误差逆传播”过程，同“模式顺传播”与 “误差逆传播”的反复交替进行的“记忆训练”过程，网络趋向收敛即网络的 全局误差趋向极小值的“学习收敛”过程。归起来为，“模式顺传播”一“误 差逆传播”一“记忆训练”一“学习收敛”过程。b p 网络学习规则有 时也称广义6 规则。 下面给出整个学习过程的具体步骤和流程图。 ( 1 ) 初始化给各连接权 、 ”h ) 及阀值 口，) 、 以) 赋予( - 1 ，1 ) 间的随机值。 ( 2 ) 随机选取一模式对a 。= b ? ，n ：，口：) ，耳= ，y ：，y ：) 提供给网络。 ( 3 ) 用输入模式4 = k ，n ：，口：) 、连接权 ) 和阀值p ，) 计算中间层各 单元的输入j ，；然后用函数计算中间层个单元的输出b ， 上 s ，= w 0 吒一巳j = 1 , 2 p ( 2 6 ) b j = ，b ，)，：1 2 ，p ( 2 7 ) ( 4 ) 用中间层的输出 ) 、连接权 v p ) 和阀值 以) 计算输出层各单 元的输入 l ，) ，然后用 l t ) 通过s 函数计算输出层各单元的响应 c f ) p = b j - y ， f _ l 2 ，q j = l ( 2 8 ) c ，= ，也) t = 1 , 2 ，q ( 2 9 ) ( 5 ) 用希望输出模式，k = p ，y ：，_ y ：) 、网络实际输出( c ，) 计算输出层 的各单元的一般化误差 d ? ) d j = 0 ：一c ，) g ( 1 一c ) ( 2 1 0 ) 南京理t 人学2 0 0 1 年硕士论文 2 神经嘲络的基本理论 ( 6 ) 用连接权 ) 、输出层的一般化误差 d ，) 、中间层的输出 6 ，t 计算中 间层各单元的一般化误差 e j e ；= 喜d ，v ， 。，( 1 一e ，) = ，：，p c z ， ( 7 ) 用输出层各单元的一般化误差 ) 连接权 v 。 和阀值 ，) v ，( + 1 ) = v ，。( ) + 口d ? b 。 、中间层各单元的输出 b j ) 修正 ( 2 1 2 ) _ ，= 1 , 2 ，p t = 1 , 2 ，q( 0 f l 1 ) y ，( + 1 ) = y ，( ) + a d ： ( 2 1 3 ) ( 8 ) 用中间层各单元的一般误差 e ：) 、输入层各单元的输入： a 。= k ? ，口：，口：j 修正连接权 k ) 和阀值 巳) w “( + 1 ) = ( ) + 8 k ，口： ( 2 1 4 ) i = 1 , 2 ，n ； j = 1 , 2 ，p 0 j ( + 1 ) = 0 j ( ) + p ： ( 2 1 5 ) ( 9 ) 随机选取下一个学习模式对提供给网络，返回到步骤( 3 ) ，直到全部m 个模式对训练完毕。 ( 1 0 ) 重新从m 个学习模式对中随机选取一个模式对，返回步骤( 3 ) ，直到 网络全局误差函数e 小于预先设定的一个极小值，即网络收敛或学习回数 大于预先设定的值，即网络无法收敛。 ( 1 1 ) 结束学习。 训练与测试后的网络按上述步骤( 3 ) 一( 4 ) 进行网络回想，即进行网络工 作。 在以上的学习步骤中，( 3 ) 一( 6 ) 为输入模式“顺传播过程”，( 7 ) 一( 8 ) 为网络误差的“逆传播过程”，步骤( 9 ) 、( 1 0 ) 则完成训练和收敛过程。 学习过程的流程图如图2 ，7 所示。通常经过训练的网络还应该进行性能测试。 测试的方法就是选取测试模式集合，将其提供给，检验对其分类的准确度。各 个测试模式就包含今后网络应用中将要遇到的主要典型模式。这些模式数据可 以是人实例中直接测取的，也可以是通过仿真得到的，在模式数据较少或较难 南京理 丈学2 0 0 1 年硕士论文 2 神经两络的基本理论 得的情况下，也可通过给学习模式加上适当噪声量或按一定规则插值得到。总 之，一个良好的测试集合应该不含有和学习模式完全相同的模式。 2 4b p 网络小结 图2 7 b p 学习规则流程图 误差逆误差传播神经网络无论在网络理论还是网络性能方面都是比较成熟 的。其突出的优点就是具有很强烈的非线性映射能力和柔性的网络结构。网络 的中间层数、各层的处理单元数及网络的学习系数可根据具体情况任意设定， 并且随着结构的差异其性能也有所不同。 但是误差逆传播神经网络并不是一个十分完善的网络，它存在以下一些主要 缺陷。 ( 1 ) 学习收敛速度太慢，即使一个比较简单的问题，也需要几百次甚至上 千次的学习才能收敛。在下一章中我们研究如何加速收敛的方法。 ( 2 ) 不能保证收敛到全局最小点。存在所谓“局部最小值”问题。在学习 过程中有时会发现，当学习反复进行到一定次数后，虽然网络的实际输出与希 望输出还存在很大的误差，但无论再如何学习下去，网络全局误差的速度都变 南京理工大学2 0 0 1 年硕士论文 2 神经网绍的基本理论 得十分，或者根本不再变化。这种现象就是因网络收敛于局部极小点所致。从 后面的数学推导我们将知道，b p 网络全局误差函数e ( 也就称代价函数或能量 函数) ，是个以s 函数为自变量的非线性函数。这就意味着由e 构成的连接权 不是只有个极小的抛物面，而是存在多个局部极小点的超曲面。因此，b p 网 络的收敛过程，很可能在遇到局部极小值便被“冻结”住，而无法最终收敛于 全局最小点，也就无法对学习模式准确记忆。导致b p 网络这一缺陷的原因，是 由于b p 学习规则用采了按误差函数梯度下降方向进行收敛，如图2 8 所示。 梯度下降学习法，有些象滑雪运动员，总是在寻找坡度最大的地段向下滑行， 当他处于l 点位置时，沿最大坡度路线下降， 到达局部极小点，则停止滑行。如果他是从2 点开始向下滑行，则最终他将到达全局最小点。 由此可知，b p 网络的收敛依赖于学习模式的初 始位置。适当改变b p 网络中间层的单元个数或 给每个连接权加上一个很小的随机数，都有可 能使收敛过程避开局部极小点。 小点 图2 8b p 网络的非线性空间 ( 3 ) 隐含层的层数及隐含层的单元数的选取尚无理论上的指导，而是根据经验 确定。因此网络往往有很大的冗余性，无形中也增加了网络学习的时间。 ( 4 ) 网络的学习、记忆具有不稳定性。一个训练结束韵b p 网络，当给它提供 新的记忆模式时，将使已有的连接权打乱，导致已记忆的学习模式的信 息消失。 下面以计算实椤! i 来看b p 的应用。同时，这也是下一章改进算法比较的基础。 首先我们训练一个典型异或问题，它也是用来检验神经网络有效性及收敛快慢 的一个最基本标准。 所谓异或，就是当输入二个二进制数( o 或1 ) 都为0 或l ，输出为0 ，只 有当二个输入中有一个为l 时，输出为l 。我们把学习样本和目标输出用矢量的 形式表示，即： p = 00l1 ；0l01 ；t - 01l0 。训练样本十六对，利用含一个隐 层的b p 进行学习，输入层与隐层的作用函数为双曲正切s 函