（测试计量技术及仪器专业论文）基于组合式神经网络模型的电力负荷预测.pdf

y o 9 s 6 论文摘要 本论文就短期电左鱼荭预测问题，在分析研究了国内外技术现状的基础 上，综合考虑影响负荷变化的各种因素，结合前馈型b p 神经网络和自组织 s o m 神经网络的功能特点，提出了组合式神经网络预测搓型。，并就此模型的 结构、功能和特点进行了详细的论述。还给出了预测实例，以验证该模型的 有效性。 ， l 第一章综合论述了电力负荷预测在现代电力工业中的地位及其发展现 状，阐明了本文研究的意义和方向。 第二章介绍了人工神经网络的基本原理。并针对电力负荷预测这一具体 应用领域的特点，详细论述了b p 神经网络和s o m 神经网络两种模型具体的 结构、算法和特点，对其缺点和不足也介绍了些改进方法。 第三章在分析了影响负荷变化的各种因素后，提出了组合式神经网络预 测模型，并详细论述了该模型的组织结构，工作原理和功能特点。本章还详 细介绍了该模型的各个部分在仿真中的具体实现步骤，以及有关参数的确定 方法。 第四章利用组合式神经网络模型预测，进行了普通工作日、公共假日和 春节的实际预测。从预测结果上可以看出，组合式神经网络模型的预测精度 明显优于普通的神经网络模型，并且，在大多数情况下组合式神经网络模型 都具有良好的准确性和稳定性。 第五章基于组合式神经网络模型预测的算法，利用d e l p h i 编程软件，编 写了w i n d o w s 9 8 n t 平台上的预测软件c l i p p e r l 0 。并详细介绍了该软件的功 能结构和详细的设计原理。 最后，在第六章概括论述了奉义的t 要结论，并且对今后进一步的研究 工作进行了展望。户一v 一、 一 罢 洲例 m 川眦 。 必 浙江大学工学硕士学位论文 a b s t r a c t i nt h i sd i s s e r t a t i o n ，an o v e ls h o r t t e r ml o a df o r e c a s t i n gm o d e lb a s e do n m o d u l a rn e u r a ln e t w o r k si sp r e s e n t e di nt h i sp a p e r t h ep r a c t i c a lh i s t o r i c a ld a t a w i t h i no n ey e a ri sd i v i d e di n t os e v e r a lg r o u p sb ys o m n e u r a ln e t w o r k s e a c h g r o u pi s m o d e l e db yas e p a r a t eb pn e u r a ln e t w o r k sb a s e dm o d u l e u s i n gd a t a f r o mt h ea c t u a lu t i l i t i e s ，t h es a t i s f a c t o r ya c c u r a t er e s u l t sa r eo b t a i n e di nt h ec a s e o f w e e k d a y ，w e e k e n d ，h o l i d a y s c h a p t e r 1 g i v e s ac o m p r e h e n s i v e d e s c r i p t i o n a b o u tt h er e s e a r c hw o r k s i g n i f i c a n c e a n dt h ec u r r e n tr e s e a r c hs t a t u so fl o a df o r e c a s t i n g t h er e s e a r c h o r i e n t a t i o no ft h i sd i s s e r t a t i o ni sa l s og i v e n c h a p t e r 2p r e s e n tt h ep r i n c i p a lm o d e la n dm e t h o do fa n n t h em a i nb a s i c a n nm o d e l s ( b pa n na n ds o ma n n ) a d o p t e di n t h i s d i s s e r t a t i o na r e d i s c u s s e do na s p e c to ff r a m e w o r ka n dc a l c u l a t i o nm e t h o d c h a p t e r3p r o p o s e st h e l o a d f o r e c a s t i n gm o d e lb a s e do i l m o d u l a rn e u r a l n e t w o r k so nt h ea n a l y s i so ff a c t o r s a f f e c t i n g t h el o a d t h ed e t a i l e m u l a t i n g m e t h o d so fe a c hp a r to ft h i sm o d e la r eg i v e na n dt h ep r o b l e mo fh o wt oc h o o s e t h ee m u l a t i n gp a r a m e t e ri sa l s od i s c u s s e di nd e t a i l c h a p t e r 4g i v es o m e f o r e c a s t i n gr e s u l t st h o u g ht h ea p p l i c a t i o nt oa c t u a ll o a d d a t ao ft h e s h a o x i n g e l e c t r i cp o w e r c o m p a n y t h e r e s u l t si n d i c a t et h i s s h o r t - t e r ml o a df o r e c a s t i n gm o d e li sa c c u r a t ea n dr o b u s t c h a p t e r5d e s i g na s h o r t t e r ml o a d f o r e c a s t i n gs y s t e mb a s e do nm o d u l a r n e u r a ln e t w o r k s t h i sf o r e c a s t i n gs y s t e mi sp r o g r a m m e dw i t ht h et o o lo f d e l p h i a n da b l et or u ni nw i n d o w s9 8 n t t h ed e t a i l p r o c e s s o fp r o g r a m m i n gi s p r e s e n t e d c h a p t e r6s u m m a r i z e st h em a i nr e s e a r c hc o n c l u s i o nw h i c h t h i sd i s s e r t a t i o n c o n c e r n sw i t h t h ep r o s p e c to ff u r t h e rr e s e a r c hw o r ki sa l s om a d e 浙江大学工学硕士学位论文 致 i l t - 转眼间，两年多的研究生学习即将结束，回想数载求学生涯，我深感有 幸得到许多老师、朋友以及家人的关怀和帮助。在此，我向所有关怀和帮助 我的老师、朋友和家人表示衷心的感谢和崇高的敬意。 我由衷的感谢我的导师陈耀武先生，在这两年多的学习和工作期间，始 终得到陈老师的热情关怀和悉心指导。陈老师以其渊博的学识和独特的思维 引导我完成学业，同时，他严谨求实的治学态度、不懈的工作热情和为人师 表的风范使我受益非浅，我将终生难忘。 特别感谢汪乐宇教授对我学业的关心和支持，他为我们完成学业提供了 一个学风浓厚又愉快宽松的环境。 感谢实验室周泓老师、耿晨歌老师对我的无私关心和帮助。 感谢学友王瑞荣、章琛曦在人工神经网络方面给了我诸多启发，感谢学 友李明、刘俐、徐岱、黄宝明、刘阳、杨国宗、徐小良、陈迈涛同学给我的 真诚帮助。 最后，我要由衷感谢我远在千里的父母和亲人，是他们遥远的爱给了我 生活的意义和学习的动力，使我能全心全意地完成学业。 龙洪玉 二零零一年春于求是园 塑兰查兰三兰堡圭兰堡篁塞 第一章绪论 1 - 1 电力负荷预测的意义、分类和特点 1 1 1电力负荷预测的意义 电力系统的作用应当是对各类用户尽可能经济地提供可靠而合乎标准的电 能，以随时满足各类用户的要求。用电力系统的术语来说，即使满足负荷要求。 对未来可能出现的负荷进行预测，是电力系统的重要工作。其必要性在于： 系统内的可用发电容量，在正常运行条件下，应当在任何时候都能满足系统内 负荷的要求。假如系统内发电容量不够，这应当采取必要的措施来增加发电容 量，如新增发电机组或从邻网输入必要的容量；反之，若发电容量过剩，这也 应当采取必要的措施，如有选择的停机或向邻网输出多余的电力。负荷预测不 但是电力系统本身增容规划所必不可少的，同时，也是为筹措建设资金和正确 购置设备所必须具有的信息。除此以外，对于确定未来燃料( 其他能源) 或者 需求量而言，用电量的预测是极其重要的因素。因此，未来的电网负荷变化的 趋势和特点，是电网调度部门和规划设计部门所必须掌握的基本信息之一，也 是电网的调度，运行及发展的重要的依据。 l - 1 2 电力负荷预测的分类 从大的方面来说，电力负荷预测可以分为长期、中期与短期三种。 长期与中期之间没有确切的分界线。一般而言，长期预测可长达3 0 年，而 中期预测通常为5 6 年，而短期预测则是指几周、几天、几小时甚至更短。 长期与中期负荷预测的意义在于：新的发电机组的安装( 包括装机容量的 大小，形式，地点和时间) 与电网的增容和改造，均决定于对未来若干年后的 负荷预测。 短期负荷预测的意义在于： 为了能对运行中的发电厂的出力要求提出预告，使得对发电机组出力变 化的情况事先得以估计，对于装机容量不大的孤立电网，短期负荷预测 是十分必要的： 对于一个大电网，为了经济和合理的安排本网内各发电机组的启动和停 机，以使系统在要求的安全范围内，为保持必要的旋转储备容量的耗费 浙江大学工学硕士学位论文 为最小，短期负荷预测也是必要的； 当电网进行计算机在线控制时，应当用短期负荷预测的信息来实现发电 容量的合理调度，满足给定的运行要求，同时使发电成本为最小。 由于长期和中期负荷预测涉及面相当广，需要综合考虑国民经济发展的相 关方面，常常不是一个电力系统本身所能完成的，所以，本文主要讨论电力系 统本身可以完成的短期电力负荷预测。 1 1 3 电力负荷预测的特点 电力系统的负荷在本质上来说是不可控制，虽然一些小的变化可以用频率 控制来加以影响( 如频率降低到一定程度就自动甩负荷) ；或者在某些情况下 可以在局部地区采用用电量计划分配；或者采用某种特殊的定价政策来对符合 施加影响，然而，总的来说，负荷是不可控的。了解未来负荷的可能变化的一 个最有效的方法，就是观察负荷的历史纪录。对较长时间的负荷历史记录进行 分析，一般可以看出两种变化的趋势：一种是固定变化趋势，如逐步增加和逐 步减少；另一种则是按年的、按周的、按日的变化趋势，也就是说负荷的另一 个特征，就是它具有按天、按周以及按年的周期性变化特点。因此，电力负荷 预测的一个突出特点是：为对系统负荷进行预报，要对过去的负荷历史资料( 例 如过去若干年的负荷记录) 进行分析，根据负荷变化的重要特征，针对性地提 出了一整套实际可行的方法。 电力负荷预测另一个重要特点是它的概率特型。虽然，负荷预测的结果都 使用具体数字( 或用变量) 来表示，但这些数字都有一定程度的不确定性。 概括的说，影响负荷预报结果具有某种不确定性的因素有以下几点： 描述负荷变化特性的模型以及准备用来预测的模型，总是具有一定的相 对正确性： 用回归方法来进行预测，会有统计误差； 推导出的说明性变量值亦具有不确定性，如人口统计、用户用电状态、 地区经济活动等； 行政政策与管理政策的某些不确定性； 气候条件的变化。 所以，绝对准确的电力负荷预测是难以实现，但应当尽可能地把这些不确定 因素在负荷预测过程中加以考虑。 塑兰查兰三兰堡圭兰堡丝兰 1 2 电力负荷预测的历史、现状和趋势 1 2 1电力负荷预测的历史背景 二十世纪后半叶是科学领域被人们称为能源、信息技术和宇宙探索的时代。 在能源领域，虽然不断研究开发出一些新兴的能源，以其环保、清洁、高效造 福人类。但是，这些新能源首先要转化为电能，才能真正意义上为人类广泛使 用。随着工业化步伐的加快，电网不断的延伸发展，电能越来越成为维持社会 秩序正常运转，保证人们正常生活的最基础、最重要的能源形式。因此如何科 学的安排生产计划，如何提供更安全、更稳定的电能等等，是电力系统必须解 决的课题。电力负荷预测技术就是在这种历史背景下，为适应上述要求而产生 的。 1 2 2 电力负荷预测的现状和趋势 为了实现中期和短期电力负荷预测，人们经过多年的努力，提出了许多方 法。对于中期电力负荷预测而言，目前比较成功与方便的方法，从方法原理上 大致可分为四大类，即外推法、相关法、能量法和解析法；从信息处理方面来 说，还可分为确定法与随机法。 而对于短期电力负荷预测，早期应用较广的方法主要是时间序列法，它可 分为确定性时序法和随机性时序法。前者包括序列平滑法、趋势外推法和季节 变动法；后者包括马尔可夫法和b o x - - j e n k i n s 法( 又称a r m a 模型法) 等，其 中，b o x - - j e n k i n s 法最为成功，使用最为广泛。 但是，上述的传统方法在被广泛应用的同时，也表现出很多缺陷和局限性， 如预测精度不能满足实际工程的要求，在节假日的预测效果不令人满意，加之 不具有自适应和自学习的能力，预测系统的鲁棒性没有保障等等。因此，为了 改善性能和预测精度，人们一直致力于探索研究各种新的计算方法，比如专家 系统法、灰色理论法、人工神经网络法、混沌预测法等等。这些方法将人工智 能、模糊理论或非线性数学的理论知识运用到负荷预测中，对改善预测精度， 提高系统的预测稳定性都有所裨益。特别是人工神经网络( a n n ) 被认为是非 常有效的负荷预测方法，这是由于人工神经网络可以通过学习，从复杂的样本 数据中拟合出输入输出之间高维、非线性的映射关系从而进行预测，并且运用 人工神经网络在国内也外已取得一些成功的应用实例。 随着电力工业技术的发展，电力负荷预测的精度要求愈来愈高。但是，还 没有一种公认的理想的预测算法，能满足所有电力系统的需要。要进一步改善 浙江大学工学硕士学位论文 = ：= = = ：= ! ： ：= = = = = = = = = = = = = = = = = = = = = = = = = = = = 预测效果，势必需要综合运用人工智能、人工神经网络等理论知识，有机的结 合各自的特点进行负荷预测。目前国内外也有一些这方面的研究报道，但只局 限于理论研究和实验阶段，如何将其应用到实际工程中去，仍是急需研究解决 的问题。 1 3 本论文研究的主要内容 综上所述，电力负荷预测是现代电力工业的重要组成部分。如何有效地处 理具有非线性、非平稳性的历史负荷数据，建立合理的数学模型，提高系统稳 定性，进行高精度的电力负荷的预测，必能有力地推动电力负荷预测技术的发 展。 本论文以现代电力工业中的精确短期电力负荷预测为目标，提出了一种基 于前馈性b p 神经网络和自组织s o m 神经网络的组合式神经网络的短期电力负 荷预测模型。该模型根据历史数据的负荷曲线、天气特征、天类型等综合指标， 运用自组织神经网络进行聚类分析，将历史数据分成不同的类别：对每个类别 分别建立相应的b p 神经网络模型预测；在预测时根据模式识别的结果，找到相 应的类别，再进行负荷预测。从仿真结果上看，该模型对一般的普通工作日有 很好的预测精度，对双休日、节假日和一些特殊情况也能取得较为满意的预测 效果。 本文详细阐述了组合式神经网络的短期电力负荷预测模型的建模过程，分 析了它的特点和误差成因以及在实际应用的注意事项。在此基础上，本文还设 计了一个w i u d o w s 9 8 n t 平台上的实际预测软件c l i p p e d 0 ，并详细介绍了该软 件的功能结构和详细的设计原理。 4 浙江大学工学硕士学位论文 第二章神经网络的基本原理 本章首先介绍了神经网络的基本理论，并详细介绍了b p 神经网络模型和 s o m 神经网络模型的结构和算法，并说明了各自的优缺点和适用范围。这一章 的内容提出了神经网络的基本法则，也是以后各章进行组合式神经网络模型分 析的理论基础。 2 1 神经元模型 2 1 1 生物神经元 神经元即神经细胞是生物神经系统的最基本的单元，其基本结构由细胞体， 树突和轴突组成。细胞体是神经元的主体，它由细胞核、细胞质和细胞膜三部 分构成。从细胞体向外延伸出许多突起，其中大部分突起呈树突，起感受作用， 接受来自其他神经元的传递信号，这些突起称为树突：另外，由细胞体伸出的 一条最长的突起，用来传出细胞体产生的输出信号，称之为轴突：轴突末端形 成许细的分枝，叫做神经末梢；每一条神经末梢可以与其它神经元形成功能性 接触该接触部位称为突触。 神经元之间的突触连接具有多种形式，有轴突一树突型、轴突一细胞体型、 轴突一轴突型、树突一树突型、细胞体一细胞体型、串联型等。突触多分布于 细胞体及树突处，这里，我们以轴突一树突型为例介绍突触的有关机理。 侍 图2 1 膜电位变化 细胞体相当于个初等处理器，对来自其它神经元的神经信号总体求和， 产生输出信号。由于细胞膜将细胞体内外分开，因此细胞体内外具有不同的电 位，通常是内部电位比外部低。把细胞膜内外电位之差称为膜电位。如图2 1 所示。没有神经信号输入时的膜电位为静止膜电位，一般在( 一7 0 m v ) 左右。 浙江大学工学硕士学位论文 当膜电位比静止膜电位高约1 5 m v ，即超过阈值电位( 5 5 m v ) ，该细胞变成活 性细胞，其膜电位自发地急速升高，在l m s 内比静止膜电位上升l o o m v 左右。 此后，膜电位又急速下降，回到静止时的值，这一过程称作细胞的兴奋过程。 兴奋的结果，产生一个1 0 0 m v 的电脉冲，又叫电脉冲后，即使受到很强的刺激， 也不会立刻产生兴奋，这段时间称为绝对不应期。当绝对不应期过后，暂时性 阈值变高。细胞兴奋更加困难，这段时间称为相对不应期。一般来讲，绝对不 应期约l m s ，相对不应期约数毫秒，绝对不应期和相对不应期合称为不应期。 不应期结束后，若细胞受到很强的刺激，则再次产生兴奋性电脉冲。神经脉冲 信号沿轴突传向其它细胞，在轴突的末端触及一个烧瓶结构突触前终末， 终末的突触小泡能释放神经递质( 它是一种兴奋性的或抑制性的化学物质) ，这 种递质能从突触前膜释放出，经突触间隙的液体扩散，并在突触后膜与特殊的 受体结合，改变了后膜的离子通透性，使膜电位发生变化，产生电生理反应。 突触传递过程大致如图2 2 所示。 图2 2 突触传递过程 当一个神经冲动到达突触前膜，持续约会0 5 m s 。根据突触后膜电位的变化， 将突触分为两种：兴奋性突触和抑制性突触。如果突触后膜电位随递质与受体 结合数量的增加而向零电位方向增大，那么称突触为兴奋性的；相反，如果突 触后电位随递质与受体结合数量的增大而向更负电位方向变化，那么称突触秋 抑制性的。 一个神经元把来自不同树突的兴奋性或抑制性输入信号( 突触后膜电位) 累加求和的过程，称为整合。考虑到输入信号的影响要持续一段时间( 毫秒级) ， 因此，神经过敏元的整合功能是一种时空整合。当神经元的时空整合产生的膜 电位超阈值电位时，神经元产生兴奋性电脉冲，处于兴奋状态；否则，无电脉 冲产生，处于抑制状态。可见，神经元很像一个阈值逻辑部件。 2 1 2 神经元模型 神经元模型是生物神经元的抽象与模拟。这里所说的抽象是从数学角度而 占，所谓模拟是以神经元的结构和功能而言的。 浙江大学工学硕士学位论文 x l x 2 y f 可( w j x j - a , ) j = t 图2 3 神经元模型 一般地，神经元模型如图2 3 所示，它是一个多输入单输出的非线性阈值 器件。假定x l ，x 2 ，x n 表示某一神经元的1 1 个输入：w j * 表示第j 个神经元 与第i 个神经元的突触连接强度，、a i 表示第i 个神经元的输入总和，相应于生物 神经细胞的膜电位，称为激活函数，y ，表示第i 个神经元的输出：臼，表示神经元 的阈值，那么形式神经元的输出可描述为 m 可( a i ) a i = w j ，x j 一目 j = l ( 2 1 a ) ( 2 1 b ) 式中，( a i ) 是表示神经元输入一输出关系的函数，称为作用函数或传递函数。 常用的作用函数可归结为三种形式：阈值型、s 型和伪线性型。这样，就有三 类基本的神经元型。 1 阈值型 一洲溅 m 可( 剐2 专 y 卜p 弹 ( 2 2 ) ( 2 3 ) ( 2 4 ) 浙江大学工学硕士学位论文 2 1 3 神经网络的构成与分类 神经网络可以看成是以神经元为节点，用加权有向弧连结而成的有向图。 其中，神经元是对生物神经元的模拟，而有向弧则是“轴突一树突”对的模拟， 有向弧的权值标志着两处理单元间相互影响的强弱。综合全部有向弧形成的互 联强度矩阵对应于人脑中信息的长期记忆。神经元模型用非线性函数实现单元 输入与输出间的非线性映射，其即时活跃值对应人脑中信息的短期记忆。可以 用以下8 项特征刻划一个神经网络模型： 神经元。神经元是网络的节点，是具有加工能力的处理部件； 活跃状态。设网络有n 个神经元，网络在t 时刻的活跃状态可由一n 维 向量4 俐表示，d 即为网络t 时刻的活跃状态。 联结模型。节点间是相互联接的。联结方式的不同会造成网络对同一输 入的不同输出。 传递规则。将若干神经元的输出和联接矩阵结合起来以得到某神经元 净输入的规则叫传递规则。 活跃规则。将神经元的净输入与该神经元当前活跃状态结合起来以产生 新的活跃状态的规则叫活跃规则。 输出规则。将某单元的活跃值转换到该单元对其它单元的输出的规则叫 输出规则。 学习规则。即权矩阵的修改规则。 环境。对一种模型提出要求时，总应该现给出要求该模型的工作环境， 通常可用输入空间的一个时变随机函数来表达。 目前已提出了近6 0 种神经网络模型，较为典型的比如：前向型b p 神经网 络模型、自适应谐振理论a r t 神经网络模型、h o p f i e d 神经网络模型等等。按 神经网络模型的拓扑结构可分为前馈神经网络模型与反馈神经网络模型；按神 经网络模型的性能可分为连续型与离散型神经网络模型，确定性与随机型神经 网络模型：按学习方法可以分为有教师学习神经网络模型和无教师神经网络模 型。 在本文中，主要用到了前向型b p 神经网络模型和自组织映射神经网络模型， 对于这两种神经网络模型现下面还有更详细的论述。 2 2 前馈型b p 神经网络 针对电力负荷预测这一具体应用领域，最有效也是应用最广泛的模型是以 塑兰叁耋三兰堡! ：耋堡篁兰 多层感知器为基础的前馈网络，特别是采用反向传播算法的b p 神经网络，它通 过对样本的学习，可以拟合输入输出间的高维非线性映射关系，下面主要讨论 采用b p 算法的前馈网络的结构和特性。 2 2 1前馈型b p 神经网络的结构 前馈型网络的各神经元接受前一级输入，并输出到下一级，无反馈。通常 所说的b p 模型即采用反向传播算法( b p 法) 的前馈型神经网络模型，是神经 网络模型中使用最广泛的一类。从结构上讲，b p 网络是典型的多层网络。分为 输入层，隐层和输出层，层与层之间多采用全互连方式，同一层单元之间不存 在相互连接。图2 4 给出了一个三层b p 网络结构。如下所示： 输入层隐含层输出层 图2 4 一个三层b p 神经网络的结构 b p 模型实现了多层网络学习的设想。当给定网络的一个输入模式时，它由 输入层单元传到隐层单元，经隐单元逐层处理后再送到输出层单元，由输出层 单元处理后产生一个输出模式，这是一逐层状态更新过程，称为前向传播。如 果输出响应与期望输出模式有误差，不满足要求，那么就转入误差后向传播， 将误差值沿连接通路逐层传递并修正各层连接权值。对于给定的一组训练模式， 不断用一个个训练模式训练网络，重复前向传播和误差后向传播过程，当各个 训练模式都满足要求时，我们就说b p 网络已学习好了。应该强调点，从网络 学习的角度来看，网络状态前向更新及误差信号后向传播过程中，信号后向传 播过程中，信息的传播是双向的，但是这并不意味着网络层与层之间的结构连 接也是双向的，b p 网络是一种前向网络，也是典型的有导师学习，其学习算法 足埘简单的6 学习规则推广和发展。 假设b p 网络每层包含有n 个处理单元，训练集包含m 个样本的模式对( 柳， y k ) 。对第p 个训练样本( p = l ，2 ，m ) ，单元j 的输入总和( 即激活函数) 也为a 输出记号o 则 0 a p m o ，i o p i = f ( a p j ) 2 爵1i ( 2 5 ) ( 2 6 ) 如果任意设置网络初始权值，那么对每个输入模式p ，网络输出与期望输出下般 总有误差，定义网络误差 m e = e ，( 2 7 ) p = l 印2 圭；( d 一。 ( 2 8 ) 式中，勘表示对第p 个输入模式输出单元j 的期望输出。6 学习规则的实质是 利用梯度最速下降法，使权值沿误差函数的负梯度方向改变。若权值。 的 变化量记为a p 则 ，一参 参2 考蔫2 考o p i 2 _ a a 碱 a w ”日a w i la 日 99 。 a e p 啡一豸 ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ，w i i 2 织f ，节 0( 2 1 2 ) 这就是通常听说的6 学习规则。 在b p 网络学习过程中，输出层单元与隐单元的误差的计算是不同的，下面 分别讨论。 当0 。；表示输出时，其误差 驴专一考鲁讥“d 扩 0 浙江大学工学硕士学位论文 式中，( 蕲0 _ ) 反映了输出单元_ ，的误差量，作用函数的导数项厂 ) 按比率 减小误差量。图2 5 所示为作用函数及其导数的曲线变化，显然，当激活函数 嘞值为0 时，s 型曲线上开得最快，导数厂0 面) 取极大值，误差修正量达最大。 泛“2 5 l 久 ( a ) 图2 5s 型作用函数及其导数的曲线 ( b ) 特别地，当作用函数为线性型，厂( 口。) 为一常量，由此得到感知机学习算法的 误差修正量。 当表示隐单元输出时，其误差 所以 易2 一瓦o e v = 一番瓦o o p i2 考八叫 - o e 0 0 = 莓鲁o a 茜0 0 一莩 i ap i ” ( k 表示的是与单元j 输出相连的j ：一层单元) = 厂o ) 厶 ( 2 1 4 ) 如图2 6 所示，隐层单元的误差修j 下量是通过加权求和所有与单元j 输 出相连的上一层单元的误差修正量吒，根据作用函数的导数厂7 ( a 。) 按比率减小 = = = ：= ：= =：望兰奎兰：三兰堡圭兰堡篁兰：= = ： 得到的。 一l 层层+ 1 层 6 口k 6 p t 图2 6 误差后向传播原理 b p 算法权值修正公式可以统一表示为： 阡0 ( f + 1 ) 2 蹄_ ( f ) + 节万面d ( 2 1 5 ) i ，( a p ) ( d 一d ) d w 2 i f ( o p j ) z a , w 目 ( 2 1 6 ) lt 在实际应用中，考虑到学习过程的收敛性，学习因子刁取值越小越好。厅 取值越大，每次权值的改变越剧烈，可能导致学习过程发生振荡。因此，为了 使学习因子口取值足够大，又不致产生振荡，通常在权值修正公式中再加上一 个势态项，得 ( h 1 ) 2 ( f ) + 鸭o p l + 口( ( f ) 一( 卜1 ) ) ( 2 1 7 ) 式中，口为一常数，称为势态因子，它决定上一次学习的权值变化对本次 权值更新的影响程度。 权值修正是在误差后向传播过程中逐层完成的。由输出层误差修正各输出 层单元的连接权值，在计算相连隐层单元的误差量，并修正隐单元连接权值， 如此继续，整个网络权值更新一次后，我们说网络经过了一个学习周期。期望 输出模式的要求，往往需要经过多个学习周期的迭代。 一般地，b p 学习算法描述为如下步骤： ( 1 ) 仞始化网络及学习参数，如设置网络初始权矩阵，学习因子_ j 7 、参数口等： ( 2 ) 提供训练模式，训练网络，直到满足学习要求： ( 3 ) 前向传播过程：对给定训练模式输入，计算网络的输出模式，并与模式 比较，若有误差，则执行( 4 ) ；否则，返回( 2 ) ； ( 4 ) 后向传播过程： i 计算同一层单元的误差万。，； i i 修正权值和阈值 i o + 1 ) 2 阡i ( f ) + 节j o p r + 口( j ( r ) 一。o 1 ) ) 阈值即i = o 时的连接权值： i i i 返回( 2 ) b p 网络算法流程框图如果2 6 所示 y e s 图2 6b p 网络算法流程框图 浙江大学工学硕士学位论文 2 2 2 b p 网络的训练与测试 b p 网络的学习是通过用给定的训练集训练而实现的。通常，用网络的均方 根( e r m s ) 误差来定量地反映学习的性能，其定义为： e r m s( 2 1 8 ) 式中m 表示训练集内的模式对个数； n 表示网络输出层单元个数。 在b p 网络学习过程中，按照梯度最速下降算法，均方根误差应是逐渐减 小。由于网络输入，输出模式都是实数值的，网络学习能否满足性能要求，不 是一个简单的二值判断能决定的，它是由网络的实际输出与期望输出的逼近程 度决定的。一般地，当网络的均方根误差e r m s 值低于o 1 时，则表明对给定训 练集学习已满足要求了。当然，学习指标e r m s 的上限可以根据具体应用灵活设 定。 b p 网络的学习过程是一个收敛的过程。随着一次又一次的权值修正迭代， 网络的e r m s 误差是不断减小的。但是，在一段时间内，误差随迭代次数的增加 而保持不变。而过了这段时间后，误差又迅速减小，我们称学习过程中的这种 现象为假饱和或平台现象。假饱和现象的出现并非偶然，它是与网络的初始权 值设置，权值的修正量有关的。 2 2 。3b p 网络算法的改进 b p 网络虽然是一种应用广泛的神经网络模型，但通过对上一节算法的研究 可以知道它仍存在一些缺点： ( 1 ) 从数学上看，它是一个非线性优化问题，采用了梯度下降法，因此 不可避免地存在着局部极小的问题，即网络在演化中可能收敛不到全局极小的 点，陷入局部振荡的情况； ( 2 ) 学习算法的收敛速度较慢，通常需要数千次以上的迭代； ( 3 ) 网络的隐节点个数的选取尚无理论上的指导，需根据经验确定； ( 4 ) 新加入的样本要影响到已经学习过的样本，刻划每个输入样本的特 征数目也必须要相同。 上述的几项缺点中，前两项是比较主要和根本的问题，下面就针对这两方 面提出一些改进的算法。 浙江大学工学硕士学位论文 一采用自适应学习率改善网络的收敛性能 在b p 算法中，学习率a 取多大为合适，到目前为止还没有理论根据，许多 文献仅给出o n l 或p 1 的现象，前者易使算法因修改量过大而出现振荡；后者则使算法因 修改量过小而收敛很慢。为避免这种情况的发生，将u 取为一常数值，则式变 为： a a = w j i ( t ) a o + 鸭+ 勉( f ) ( 2 2 2 ) 这时口2 莩【d “f ) 】2 ，口为网络规模和状态的函数，可经计算自动确定，因 此可称为自适应学习率，从而使学习过程变得平稳。 二解权系数的非线性方程组算法 从一般前馈神经网路模型出发，构造出一组关于权系数的非线性方程组， 通过解此方程组得到确定模型结构的权系数。考虑r p - - r ”即p 个输入m 个输 出的系统，按以下方法构造神经网络： 输入节点数为p ，隐含层节点数为n ，输出节点数为m ，作用函数采用的形 浙江大学工学硕士学位论文 式为： 厂= 专 ( 2 2 3 ) 根据前馈神经网络模型，可以得出如下方程组( 输入为u ，输出为y ) ： 记为 厂( ( 暇厂( “，) ) ) = y j = l i = 1 ，( 否( ，厄i = 1 蚶) ) - y ：( 2 2 4 ) p 厂( ( 厂( “m ) = y 。 = l i = 1 ( ，) = 0 2 斜w 1j 、= 0 l ( ，) = 0 ( 2 2 5 ) 式中阡0 ，阡勺为隐含层和输出层之间的权系数矩阵，阡0 为输入层和隐含 层之间的权系数矩阵。 令： 矿= 眈，：】( 2 2 6 ) 则w 是n ( p + m ) 维矩阵。 假定训练网络采用k 对样本( “j ，“：，y 凡，l ) ，l = l ，2 ，k 。再设k 是( p + m ) 的整数倍，则可选取隐含层节点数为n ，使n = k m ( p + m ) 。则 当l = 1 时有： 6 722 ( o o o = = = 肜肜 彤 (爿爿l ，、，【 浙江大学工学硕士学位论文 当l = k 时有 惨 形、；0 形1 ：0 r v ) = 0 ( 2 _ 2 8 ) 于是有： 以叨= k 1 ( ) 一( 形) _ ( 形) 工( ) j 1 = o ( 2 2 9 ) 显然，如此构造网络，能完全记忆k 对样本，网络训练的目的在于w 的求 解。 设旷为方程的第k 次迭代解，再点旷处用超切平面代替曲面，即用线性 方程组g ( r v ) = f ( ) + f ( 矽) ( 一w ) = 0 近似方程只叻= 0 ，则可得第k + 1 次近似解为： w “1 = w 一 f ( r v ) 1 f ( ) ，k = 0 ，l ，( 2 3 0 ) 其中f ( 矽) 是f 的j a c o b i 矩阵。 实际计算时可采用下列形式： w “1 = w + a w ，f ( 肜) + f ( ) = o ，k = 0 ，l ，( 2 3 1 ) 为避免求逆矩阵，可用如下算法： ( 1 ) 初始化，得到w o 及确定误差，岛； ( 2 ) 对于w 及只矿) ，计算f ( 缈) = ( a ，；( ) ) 。，h = 。) 。= a 。， 并记b t = f ( w ) = ( r ，庀) ( 3 ) 解方程组a k a w = 一b k 得a w ； ( 4 ) 求w “= w + a w 及f ( “) ； ( 5 ) 若忪忙0 缈0 或0 f ( “) 8 占：，则令k + 1 = k ，转到( 2 3 ； ( 6 ) 结束。 注意，每步迭代要计算k m 个分量函数l ( w ) 及k m k m 个偏导数 浙江大学工学硕士学位论文 a ，( z ( ) ) ，( i j = 1 ，2 ，k m ) 。当引入迭代因子r k ，o i 3 ，下面各式 成立： r ( 4 1 ) 2 m ” 砚( 爿- ) ”f ( 2 ) 5 m a x 仉( 彳2 ) ) m ( 爿3 ) 5 r n , a x z a a 。) ) j = l ，2 ，n 则图2 8 所示一维s o m 神经网络系统可完成一维拓扑排序影像：实际上这 个结论可以推广到二维或更高维处理单元阵列，此时必须针对事件4 。定义某种 拓扑排序关系，这可以通过对不同属性引入多个排序关系来实现。 2 0 2 - 3 3 二维阵列 二维自组织映射神经网络模型如图2 9 。 所有的输入信号x i 与一相应的输入单元相联系，每一输入单元与二维阵列 每一个处理单元均互连，二维阵列上的处理单元也称为输出单元，每个输出单 元与其相邻的8 个单元相连( 外部边界上的处理单元除外) 。 输t 入 图2 9 二维自组织映射神经网络模型 输出节点 同一组输入信号( x l ，z 2 ，x n ) 连接到所有的输入单元，这组输入信号 可以用向量表示为： 胆( x l ，x 2 ，工。) 1 r “( 2 3 3 ) 输出单元i 与所有输入单元之间连接的权向量为： 阡仁( 孵l ，孵2 ，孵。) 1 r “( 2 3 4 ) 相应地，输出单元f 的输出值0 。可以写作： o i = o = 孵7 赔孵 ( 2 3 5 ) = t 但只有满足下列条件的输出单元k 才产生输出响应： d 女2m a x o j ( 2 3 6 ) f 对于输出单元k 以及其所有8 个相邻处理单元按下式进行自适应操作( 二 维阵列边界上i i 输出单元除外，因为这些输出单元相邻处于是单元略有不同， 但也按下式进行自适应操作) ： 刖2 湍 ( 2 3 7 ) 其中：t 为时刻，旺为增益参数，分母是分子的欧几早得标准形( e u c l i d e a nn o r n l ) 。 浙江大学工学硕上学位论文 上式中权值的调整方向总是与x 方向一致( 无须监督) ，并且权向量被标准 化( n o 肌a l i z e d ) 。这种调整过程增加了活跃相邻的向量的平行性，因而促成了 自排序的形成。 k o h o n e n 仔细分析了生物神经系统后提出了如下规则： d ，= 一仍+ e r i d ，一o k ) l e s 纯= 。， ( 2 3 8 ) j = t 0 t = m a x o f 一占 其中：w 口为输出结点i 与输入结点j 之间的权值：x i 为输入j 的输入；u ( ) 为一 非线性函数： f 0 0 0 ) = n b 为一极小的正数，相当于噪音：r k 为某一系数，它与权值及横向连接有关， 一般满足如图2 1 0 ( a ) 所示的曲线，简单地可取图2 1 0 ( b ) 所示的离散值； s t 为与输出单元i 相连的输出单元的集合；d 女可以称为浮动偏压函数( f l o a t i n g b i a s f u n c t i o n ) 。 b 0 3 a 一13 a + l l1 1 8i l 咖 b 3 ( a )( b ) 幽2 1 0r k 的取值方法 在自组织过程中所需要的操作是在每个训练步骤上将权向量旋转到合适的 方向上。自组织映射神经网络模型的权值修改规则为： ) 9口u2(4 一 。也口爿 一 口o d 堑兰查兰三兰堡圭兰堡丝兰 w j ( t + 1 ) = w 烈t ) + a o i ( t ) ( x j - x b ) ( 2 4 0 ) 其中：x j 为第j 个输入单元的输入值：为输入作用门限值：d ，为第i 个输出 单元的输出值；n 为比例常数。 将上式正规化，则更精确的权值修改规则为： w!(什1)5豇w0丽(t)+磊cooi(丽t)(xj-xb) ( 2 - 4 1 ) 有时也使用如下权值修改规则： w j ( f + 1 ) ：_ 坐坐型坠型可 ( 2 4 2 ) 【( f ) + ，( f ) ( o 一) 】 k o h o n e n 算法的执行步骤可以归纳如下： ( 1 ) 初始化输入单元与输出单元连接的所有权值可以随机地选取某一个 较小的值。各个输出单元的邻接输出单元集合n e j 的选取如图2 1 1 。在图中 n e + ( f ) 表示在时刻t 时输出单元- ，的邻接单元的集合，它是随时间的增长而不 断缩小的。 ( 2 ) 输入单元接受一组新的输入( 柏，x 2 ，x n ) 。 ( 3 ) 计算所有输入单元与每个输出单元j 之间的欧几罩得距离西。 弓= ( 一( ，) 一( f ) ) 2 ( 2 4 3 ) i = 1 选取一个最小距离的输出单元，。 浙江大学工学硕士学位论文 ( 4 ) 按下式修改输出单元及广其邻接单元集合弓( f ) 中的输出单元与所 有输入单元之间的连接权值： w “t + 1 ) = w 口( t ) + 叩( t ) ( 而( t ) 一w “t ) ) ( 2 4 4 ) 其中：，e ，f _ 1 ，2 ，h ；”( t ) 为一增益项，并随时间下降到0 。 ( 5 ) 如果还有训练样本，转( 2 ) ，否则结束。 还需说明的是，权值修改也可按式( 4 9 ) 或式( 4 1 0 ) 进行。 上述过程可在一维或二维处理单元阵列上的形成信号的构造分布拓扑图。 而在初始状态下。这些一维或二维处理单元阵列上是没有这些构造分布拓扑图 的。从而利用组织映射神经网络模型这一特性，可以从外界按照某种可有序化 的在拓扑空间来抽取特征或是表达信号抽象的、概念性的元素。因此自组织映 射神经网络模型具有广泛的应用前景，主要用于语音信号的识别、模型匹配、 图像特征提取等。 2 4 本章小结 本章介绍了神经网络的基本原理和结构特点，并详细讨论了b p 神经网络 和s o m 神经网络的结构、算法。可以看出b p 神经网络的结构和性能决定了它 能用于进行信号的特征分析、信息分离以及趋势分析等各个方面