硕士论文-基于人工和模糊神经网络的电力系统负荷预测.pdf

分类号 U D C 学位论文 密级 编号区i 塑皇! 堑 基王王塑撞塑叠丝匦终丝直力丕筮筮煎亟型 L o a dF o r e c a s t i n gi nP o w e rS y s t e m sB a s e do nA r t i f i c i a la n d F u z z y N e u r a lN e t w o r k 塑塞主 指导老师姓名：隧星塑握割爱国匙熬撞 直昌太堂金星至捏堂睦 申请学位级别：亟专业名称：电应丕统丛墓自动丝 论文提交日期：2 Q Q 量生量旦论文答辩日期：至Q 壁量生鱼旦旦 学位授予甲位和日期：直昌太堂2 Q Q 5 生且旦 答辩委员会主席：圣f | = 评阅人：圣i 兰篮叠 2 0 0 5 年5 月日 基于人工和模糊神经网络的电力系统负荷预测摘要 基于人工和模糊神经网络的电力系统负荷预测 摘要 本文在分析了电力系统负荷预测的意义和方法后，阐述了人工神经网络和模 糊推理系统的一般理论，并研究了基于人工神经网络和模糊神经网络的两种负荷 预测方法。 在负荷预测中的神经网络方法中，采用两种途径来改进传统的B P 神经网络。 第一类包括使用启发式信息的技术，这些启发式技术包括可变的学习速度，使用 动量和改变比例变量等。另- 类是标准数值优化技术，主要包括共轭梯度算法和 L e v e n b e r g - M a r q u a r d t 算法等等。结果表明在训练相同次数的情况下改进后的神经 网络性能较传统的B P 神经网络有明显的提高。 本文还研究了一种用于短期负荷预测的自适应模糊神经网络。该网络集模糊 推理、神经网络算法于一体，构成基于神经网络的模糊推理系统，又称模糊神经 网络。结果显示在训练相同次数的情况下模糊神经网络性能较传统的B P 神经网络 有明显的提高。 这两种方法为负荷预测开辟了新的途径，同时也为其理论在电力系统中的应 用开拓了新思路，具有一定的理论研究价值和实际应用价值。 关键词：短期负荷预测，人工神经网络，模糊推理系统，模糊神经网络 基于人工和模糊神经网络的电力系统负荷预测 英文摘要 L o a dF o r e c a s t i n gi nP o w e r S y s t e m s B a s e dO l lA r t i f i d a la n dF u z z y N e u r a lN e t w o r k A B S T RA C T A f t e ra n a l y z i n gt h em e a n i n ga n dm e t h o d so fp o w e rs y s t e ml o a df o r e c a s t i n g ，t h e p a p e re x p l a i n st h eg e n e r a it h e o r ya n dm e a n i n go f a r t i f i c i a ln e u r a ln e t w o r k ( A N N ) a n d f u z z yi n f e r e n c es y s t e m ( F I S ) ，a n ds t u d i e sl o a df o r e c a s t i n gm e t h o d sb a s e do i la r t i f i c i a l n e u r a ln e t w o r ka n df u z z yn e u r a ln e t w o r k ( F N N ) T h ep a p e ra d o p t st w ow a y st oi m p r o v et r a d i t i o n a la r t i f i c i a ln e u r a ln e t w o r k T h e f i r s tc a t e g o r yi n v o l v e st h ed e v e l o p m e n to fh e u r i s t i ct e c h n i q u e sw h i c hi n c l u d es u c h i d e a sa sv a r y i n gt h el e a r n i n gr a t e ，u s i n gm o m e n t u ma n dr e s c a i i n gv a r i a b l e s A n o t h e r c a t e g o r y o fr e s e a r c hh a sf o c u s e do ns t a n d a r dn u m e r i c a lo p t i m i z a t i o nt e c h n i q u e s w h i c ha r em a i n l yt h ec o n j u g a t eg r a d i e n ta l g o r i t h ma n dt h eL e v e n b e r g M a r q u a r d t a l g o r i t h m T h e r e s u l t ss h o wt h e s em e t h o d sc a ng e tb e t t e r i m p r o v e m e n tt h a n t r a d i t i o n a lb a c k p r o p a g a t i o nn e t w o r k T h e n ，t h ep a p e rs t u d i e sa d a p t i v ef u z z y n e u r a ln e t w o r kf o rs h o r t _ t e r ml o a d f o r e c a s t i n g T h i sn e t w o r kc o m b i n e sf u z z yi n f e r e n c es y s t e mw i t h a r t i f i c i a ln e u r a l n e t w o r ka n df o r m sf u z z yn e u r a in e t w o r k T h er e s u l t ss h o wi tc a l la l s og e tb e t t e r i m p r o v e m e n tt h a nt r a d i t i o n a lb a c k p r o p a g a t i o nn e t w o r k T h et w om e t h o d sg i v en e ww a y sf o rl o a df o r e c a s t i n ga n da l s oai l e wt h o u g h tf o r u s i n gt h e m ，a n dh a v ec e r t a i nt h e o r e t i c a la n dp r a c t i c a lv a l u e W r i t t e nb y ：H uH o n g y u ( P o w e rS y s t e ma n dI t sA u t o m a t i o n ) D i r e c t e db y ：L i uA i g u o ( A s s o c i a t eP r o f e s s o r ) K e yw o r d s ：S h o r t t e r mL o a dF o r e c a s t i n g ，A r t i f i c i a lN e u r a lN e t w o r k ，F u z z y I n f e r e n c eS y s t e m ，F u z z yN e u r a lN e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得南昌大学或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均己在论文中作了明确的说明并表示谢意。 学位论文作者签名搠裳辱 签字日期： 珈f 年月，z 目 学位论文版权使用授权书 本学位论文作者完全了解南昌大学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权南昌大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：古同锷了 签字日期：知- 年月Iz 目 学位论文作者毕业后去向：江岛璃哩如么司超南碡勺么司 工作单位： 通讯地址：匈禺中心申花I 困姑Z o ：于 赫| i77 0c 36 引 邮编：；? 叫 基于人工和模糊神经网络的电力系统负荷预测第一章绪论 第一章绪论 1 1 负荷预测的概念和意义 电力负荷预测就是在考虑一些重要因素( 如系统运行特性、增容决策、自然 条件与社会影响) 的条件下，研究或利用一套系统地处理过去和未来负荷的数学 方法，在满足一定精度要求的条件下，确定未来某特定时刻的负荷数值f ”。 电力负荷预测是供电部门的重要工作之一，准确的负荷预测，可以经济合理 地安排电网内部发电机组的启停，保持电网的安全稳定性，减少不必要的旋转储 备容量，合理安排机组检修计划，保证社会的正常生产和生活，有效地降低发电 成本并提高经济效益和社会效益。 负荷预测的结果，还有利于决定未来新的发电机组的安装，决定装机容量的 大小、地点和时间，决定电网的增容和改进，决定电网的建设和发展。 因此，电力负荷预测工作的水平己成为衡量一个电力企业的管理是否走向现 代化的显著标志之一，尤其在我国电力事业空前发展的今天，电力负荷预测问题 的解决已经成为面临的重要而艰巨的任务。在国家电力公司近几年的科技申报项 目中，包括用电时常关键技术、电网规划在内的许多项目都是针对电力负荷预测、 市场需求预测等的研究的。可见，如何充分利用现有的数据资料、建立正确预测 理论和方法、建立相应的预测模型、提高预测精度，已成为电力系统用电预测不 容忽视的研究课题之一。 1 2 负荷预测的分类 负荷预测分为超短期负荷预测、短期负荷预测和中、长期负荷预测l z J 。 一般说来，1 以内的负荷预测为超短期负荷预测，用于安全监视、预防性 控制和紧急状态处理。特点是：口、预测时间短，由于温度等因素变化比较缓慢， 预测中可以不考虑温度的影响，但对一些特别天气事件，要根据经验考虑；b 、 要求模型预测速度快，模型本身必须有在线预测功能；c 、预测精度要求高。目 前主要算法是线性外推方法、神经网络预测法等。 日负荷和周负荷预测为短期负荷预测，分别安排日调度计划和周调度计划， 包括确定机组的启停、调峰、水火电的协调、联络线交换功率、水库调度等。特 基于人工和模糊神经网络的电力系统负荷预测第一章绪论 点是：a 、周期性强，1 天或1 周的负荷具有很强的规律性；b 、天气影响很大， 模型必须能够考虑各种天气因素的影响；c 、受节假日重大事件的影响，必须与 正常的负荷区分开。主要算法有指数分析法、回归分析法、灰色模型法、丑P 人 工神经网络预测法、组合预测法等。 月至年的负荷预测为中期负荷预测，主要确定水库的运行方式、机组的发电 安排和大修计划等。特点是：口、预测时间长，计算速度没有特殊要求；b 、规律 性强，一年1 2 个月负荷具有很强的规律性( 季节性、趋势性、周期性) ；c 、气 温、气候影响很大，模型必须能够考虑这些因素的影响；d 、用电量和预测区域 负荷构成、工农业构成比例有关。主要算法有分解法、组合预测法、人工神经元 网络预测法、多元变量法、专家系统预测法等。 电源发展规划，需要数年至数十年的长期负荷预测，包括电量和电力的预测。 主要算法有计量经济分析法、单耗法、时间序列法、相关分析法、趋势分析法等。 1 3 负荷预测的现代特征 负荷预测在经历了开始、应用和发展各阶段直到今天，形成了现代负荷预测 的分析思路、现代的负荷预测方法和技术等较为成熟的负荷预测经验和现代化的 负荷预测发展方向，也就是说，形成了现代负荷预测的特征。了解和掌握这些特 征，对研究和应用负荷预测技术是很有帮助的。 现代负荷预测有以下几个明显的特征： 1 、预测定量化的特征 当前电力负荷预测的结果越来越要求定量化表示，这就要求在未来的负荷预 测中，不仅给出概括性的描述，更重要的是给出详细的数字化量级说明。电力行 业面对“短、频、快”信息时代，对未来的关心，已远远不满足于定性的了解，更 加要求有确切的数量和时间的概念，即要求负荷预测的数量化。另外，定量化的 负荷预测越来越多地借助于数学方法，这是信息时代决定的准确量化的要求。 2 、面对数据分析的特征 面对数据分析的特征是信息时代发展影响负荷预测的结果。从预测的发展趋 势看，今后的预测方法会越来越多地建立在拥有大量的信息数据的基础上。这包 含两方面内容：一方面是信息时代的发展，使得负荷信息数据的量多；另一方面， 由于信息不全面或其它因素，使得许多数据的可靠性和正确性值得怀疑，而数学 基于人工和模糊神经网络的电力系统负荷预测第一章绪论 模型首先要求初始的信息数据必须正确，这使得必须首先对负荷数据进行必要的 分析和处理，然后再进行使用。 3 、定量与定性预测结合的特征 由于电力负荷预测变化的复杂性，有时候仅使用定量分析难于进行全面的预 测，当预测结果与实际情况接近时，定量预测可以起到良好的效果，但当预测结 果与实际情况差别较大而所用的模型方法又正确时，就必须对负荷预测做定性分 析，必要时对原始数据进行定性与定量的两种预测分析，二者缺一不可。 4 、重视预测效益和质量的特征 预测效益是指通过负荷预测可能带来的效益，预测质量即通常所说的预测效 果。重视预测效益和质量也是现代负荷预测的一个重要特征，是电力进入市场和 社会时代发展的动力。 5 、动态预测特征 动态预测特征指的是预测的短期化、经常化和模型自适应化。预测期越短， 精度越高，越有利于模型的动态特征。经常化和模型自适应化是相互联系的，一 方面人们充分认识到了负荷预测盼重要特征，需要频繁地做预测分析；另一方面， 不断吸收新的信息数据可以及时发现预测方法或模型的不足之处并加以调整。 6 、综合预测的特征 综合预测是指两种以上模型和方法的运用，包括定性与定量的两种方法的组 合。由于各种预测方法都有它的适应范围和局限，综合预测兼有多种方法的长处， 因而可以得到较为可靠和精确的预测结果，对于较为复杂的预测项目或对象，采 用综合预测的方法可以取得意想不到的成果。 7 、应用非线性预测的特征 现代负荷预测的一个基本问题是对非线性动态复杂系统的探索。负荷预测系 统中包含大量的元素，呈现多层次结构，内部相互关联，与外界环境相互制约， 形成开放性系统；输入输出之间并不满足许多一般方法的应用，神经网络所具有 的非线性变化和高度的并行处理能力，对呈现非线性动态关系的系统的预测提供 了帮助。 8 、向智能化预测技术发展的特征 由于计算机软硬件技术的发展和成熟，负荷预测技术也向着智能化的方向发 基于人工和模糊神经网络的电力系统负荷预测 第一章绪论 展，这也是目前预测技术研究的前沿课题。智能化的预测技术包括两方面的内容： 一是预测方法选取的智能化；二是预测过程实现的计算机软件化。 以上这些负荷预测的特征，指明了负荷预测发展和应用的方向，对负荷预测 的深入研究提供了思路，也提供了方法论的依据和基础。 1 4 几种常用的负荷预测方法 最近几年，由于电力供应趋于平衡，特别是经济效益及系统稳定的要求，对 负荷预测的准确性要求也越来越严格。随着大型计算机的应用，负荷预测技术也 多种多样，下面介绍一些常用的负荷预测方法。 1 4 1 弹性系数法1 3 1 设x 为自变量，Y = f ( x ) 可导，则s 。= ( a y l y ) l ( d x l x ) 称为弹性系数。一般 取x 为国民生产总之，Y 为用电量。电力弹性系数的概念自从国外引入以来，便被 视为衡量电力工业和国民经济发展关系的重要指标。一般而言，占。 1 表明电力 工业的发展超前于国民经济的发展。反之，F 。 1 说明电力工业的发展滞后于国 民经济的发展。但近几年，E g ；D 弹性系数连续多年低于l 【3 】，而国民经济仍保持较 高的增长速度，导致经济增长与用电增长关系处于非正常状态。 1 4 2 卡尔曼滤波法1 3 1 卡尔曼滤波法又称为状态空间法。其指导思想是：把负荷分解为确定分量和 随机分量，确定分量一般用一阶线性模型描述和预测，随机分量可用状态变量表 示，通过建立状态空间模型进行负荷预测。如考虑非线性，则应采用广义卡尔曼 滤波法。 在这种方法中，负荷是通过状态方程和输出方程来建模的。卡尔曼滤波法在 实际应用中最大的困难在于估计噪音的统计特性，如测量噪音和系统噪音方差。 最新的技术是采用极大似然估计，来决定量测噪音和系统噪音方差。 1 4 3 指数平滑预报法1 3 1 1 4 1 基于人工和模糊神经网络的电力系统负荷预测第一章绪论 用过去数周的同类型目的相同的时间的负荷组成一组时间上有序 _ y ( f ) ，y ( f ) ，y O 一1 ) ，对该数组进行加权平均，计算时应该加大新近数据的权系数， 减少陈旧数据的权系数，以体现过程的时变性。 这些方法的共同点是，将电力需求作为一个整体，根据某个单一的指标进行 预测，方法虽然简单，但比较笼统，且很难反映现代经济、政治、气候等条件的 影响。因此，应该采用先进的计量经济模型、投入产出模型、数学规划模型、气 候影响协调模型等进行预测。 1 4 4 回归分析法i a l l S l 回归预测是根据负荷过去的历史资料，建立可以进行数学分析的数学模型， 对未来的负荷进行预测。基本特点是将预测目标的因素作为自变量，将预测目标 作为因变量。回归分析法中，自变量是随机变量，因变量是非随机变量，又给定 多组自变量和因变量资料，研究各种变量之间的相关关系。利用得到的经验回归 方程式来表示变量之间的定量关系，预测系统将来的负荷值。 当采用历史数据外推得到未来每小时负荷，回归分析法是假定负荷变化趋势 是固定的，并没考虑任何非正常数据作为坏数据，所以不能预测节假日、周末和 天气突变等其它影响负荷的因素。 1 4 5 时问序列法l a l l 6 1 时间序列法是通过差分处理将负荷时间序列的线性趋势和周期分量都清除 掉，得到一个平稳序列，实质上是剩下随机波动分量，然后专门对这个波动分量 进行预测。最后通过差分逆运算，求出实际预测值。具体模型有：自回归模型、 滑动平均模型和自回归滑动平均模型。 由于时间序列法一般是假定负荷曲线是平衡的时间序列，但实际上电力系统 的负荷并非是平稳时间序列，因此当用它来预测周末、节假目或季节变化周期时， 预测精度就比较差，同时复杂的模型技术和巨大的计算量也是它的缺点。 1 4 6 灰色预测法1 7 1 灰色系统理论【3 J 将一切随机变化量看作是在一定范围内变化的灰色量，常用 基于人工和模糊神经网络的电力系统负荷预测 第一章绪论 累加生成( A G O - A c c u m u l a t e dG e n e r a t i n gO p e r a t i o n ) 和累减生成( I A G O I n v e r s e A c c u m u l a t e dG e n e r a t i n gO p e r a t i o n ) 的方法将杂乱无章的原始数据整理成规律性较 强的生成数据列。用灰色模型( G M G r a yM o d e l ) 的微分方程作为电力系统单一指 标( 如负荷) 预测时，求解微分方程的时间响应函数表达式即为所求的灰色预测模 型，对模型的精度和可信度进行校验并修正后即可据此模型预测未来的负荷。此 法适用于短、中和长三种类型的负荷预测。 灰色预测法在建立模型时不需要计算统计特征量，从理论上讲，可以使用于 任何非线性变化的负荷指标预测；但其不足之处是其微分方程指数解比较适合于 具有指数增长趋势的负荷指标，对于具有其它趋势的指标则有时拟合灰度较大， 精确度难以提高。 1 4 7 专家系统法f 3 j 专家系统是一个用基于知识的程序设计方法建立起来的计算机系统，它拥有 某个领域内专家的知识和经验，并能像专家那样运用这些知识，通过推理，在这 个领域内做出智能决策，所以一个完整的专家系统是由四部分组成的，即知识库、 推理机、知识获取部分和界面。 对于专家系统最重要的部分是知识库，一方面需要足够的知识，而且知识与 数学规则之间的转化是非常重要的。 专家系统法需要对一段时间的数据进行精确的分析，从而得出各种可能引起 负荷变化的因素，其分析本身就是一个耗时的过程，并且某些复杂的因素( 如天 气因素) 即使知道其对负荷的影响，但要准确定量地确定他们对负荷的影响也常 常是很困难的事。 1 4 8 模糊逻辑法f 8 l 电力系统负荷预测问题可作为多输入多输出未知动态系统来处理，具有去模 糊的模糊逻辑系统可以识别和以任意精度在一个简单设备上去逼近任意未知非 线性动态系统。 在每周负荷趋势中，有某种周期变化在工作日之间、周末之间、月与月之间、 季与季之间同- d , 时都存在某种相似性。已证明，模糊逻辑系统具有从大量数据 基于人工和模糊神经网络的电力系统负荷预测第一章绪论 中描绘这种相似性的能力，因此只要有足够历史数据，就能识别负荷趋势中存在 的相似性。 因此利用模糊逻辑系统去识别和预测负荷是合理的，可是如何实现这种预测 或换句话说，如何去识别这种相似性或未知动态系统仍然是一个难题。 1 4 9 神经网络法p l 运用神经网络技术进行电力负荷预测，其优点是可以模仿人脑的智能化处 理，对大量非结构性、非精确性规律具有自适应性功能，具有信息记忆、自主学 习、知识推理和优化计算的特点。特别是，其自学习和自适应功能是常规算法和 专家系统技术所不具备的。因此，预测被当作人工神经网络( 简记为 A N N ( A r t i f i c i a lN e u r a lN e t w o r k ) ) 最有潜力的应用领域之一。许多都试图用反传 学习算法训练A N N ，以用作时间序列预测。误差反向传播算法又称 B P 0 3 a c k p r o p a g a t i o n ) 法，提出一个简单的人工神经网络模型，就能实现从输入到 输出间非线性映射任何复杂函数关系。因此，可以将影响电力负荷最大的几种因 素作为输入，取得较好的预测结果。 人工神经网络法被认为是一种非常有效的负荷预测技术，在国内外已经取得 了许多成功的应用实例【9 】【1 0 】 1 1 】【1 2 1 3 l ，这些论文采用了一些改进神经网络的方法 来进行预测，一般有两种途径。第一类包括使用启发式信息的技术，这是源于对 标准反向传播算法误差曲面特定性能的研究。这些启发式技术包括可变的学习速 度，使用动量和改变比例变量等。另一类是标准数值优化技术。其实训练前向神 经网络减少均方误差只是一个数值优化的问题。由于数值优化作为一个重要的研 究课题已经有四五十年了，因而从大量已有的数值优化技术中选择快速训练算法 是比较合理的。主要包括共轭梯度算法和L e v e n b e r g M a r q u a r d t 算法( 牛顿算法 的变形) 等等。本文主要针对其在短期负荷预测中的应用进行讨论。 1 4 1 0 模糊神经网络法l 将模糊技术与神经网络进行有机的结合是模糊技术与神经网络深入研究和 发展的一种必然趋势。随着模糊信息处理技术和神经网络技术研究的不断深入， 将模糊技术与神经网络技术进行有机结合，从而构造出一种可“自动”处理模糊信 基于人工和模糊神经网络的电力系统负荷预测 第一章绪论 息的模糊神经网络或称为自适应模糊系统，已引起越来越多的科技工作者的研究 兴趣和关注，成为当前一个重要的研究热点。 1 4 1 1 优选组合预测法1 3 】1 4 】 优选组合预测有两类概念：一是指将几种预测方法所得的预测结果，选取适 当的权重进行加权平均：二是指在几种预测方法中进行比较，选择拟合优度最佳 或标准离差最小的预测模型进行预测。组合预测方法是建立在最大信息利用的基 础上，它最优组合了多种单一模型所包含的信息。 优选组合预测法在建立模型时受到两方面的限制：一个是不可能将所有在未 来起作用的因素包含在模型中：另一个是很难确定众多参数之间的精确关系。所 以其预测精度是很难提高的。 1 5 本文的主要工作 本文在进行电力系统负荷预测时主要做了阻下几个方面的工作： 1 、本文首先介绍了负荷预测的概念、意义及分类，然后对介绍了现代常用 的几种负荷预测方法，并分析了各种方法的优缺点。 2 、对人工神经网络的基本概念、基本原理进行了简要的简述。针对传统的 人工神经网络的训练速度对大多数实际应用来说都太慢的缺点，本文介绍了人工 神经网络一些变形和改进，使之能显著提高训练速度并使算法实用化。 3 、本文将各种改进的人工神经网络算法应用于电力系统负荷预测。研究工 作主要有历史负荷数据的准备、负荷数据的预处理和神经网络的结构设计等等。 结果表明在训练相同次数的情况下改进后的神经网络性能较传统的B P 神经网络 有明显的提高。 4 、将人工神经网络和模糊系统进行结合在现代得到了迅速的发展。本文对 模糊神经网络的基本理论进行了介绍，并研究了人工神经网络和模糊系统的异同 点和融合的各种形态。 5 、在简单的介绍了人工神经网络和模糊系统结合的产物自适应模糊神 经网络后，再将其应用于电力系统负荷预测。主要研究了基于减法聚类在自适应 模糊神经网络的学习算法和应用。 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 第二章人工神经网络简介 2 1 人工神经网络的概念 2 1 1 定义 ( 1 ) H e c b 卜_ N i e l s e n ( 1 9 8 8 年) 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无 向讯号通道互连而成。这些处理单元( P E P r o c e s s i n gE l e m e n t ) 具有局部内存， 并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据 需要被分成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相 应处理单元的信号，信号的大小不因分支的多少而变化口习。 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操 作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元 的所有输入信号的当前值和存储在处理单元局部内存中的值。 强调：并行、分布处理结构；一个处理单元的输出可以被任意分枝，且 大小不变；输出信号可以是任意的数学模型；处理单元完全的局部操作。 ( 2 ) R u m e l l h a r t ，M c C l e l l a n d 和H i n t o n 1 ) 一组处理单元；2 ) 处理单元的激活状态；3 ) 每个处理单元的输出函数： 4 ) 处理单元之间的联接模式；5 ) 传递规则；6 ) 把处理单元的输入及当前状态 结合起来产生激活值的激活规则：7 ) 通过经验修改联接强度的学习规则；8 ) 系 统运行的环境( 样本集合) 。 ( 3 ) S i m p s o n ( 1 9 8 7 年) 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放 模式的加权边，并且可以从不完整的或未知的输入找到模式。 2 1 2 关键点 ( 1 ) 信息的分布表示 ( 2 ) 运算的全局并行与局部操作 ( 3 ) 处理的非线性特征 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 2 1 3 对大脑基本特征的模拟 1 ) 形式上：神经元及其联接 2 ) 表现特征：信息的存储与处理 2 1 4 别名 - 人工神经系统( A N N A r t i f i c i a lN e u r a lN e t w o r k ) 神经网络( N N N e u r a lN e t w o r k ) 自适应系统( A d a p t i v eS y s t e m s ) 、自适应网( A d a p t i v e N e t w o r k s ) 联接模型( C o r m e c t i o n i s m ) 神经计算机( N e u r o c o m p u t e r ) 2 2B P 人工神经网络的基本原理 对于适合电力负荷预测的神经网络而言，目前主要是采用M L F N ( M u l t i l a y e r F e e d f o r w a r dN e u r a lN e t w o r k 前馈多层神经网络) 。它是目前应用最广、发展最迅 速的人工神经网络之一。用于负荷预测的前馈多层神经网络主要有B P ( B a c k p r o p a g a t i o n ) 反向传播神经网络和R B F ( R a d i a lB a s i s F u n c t i o n 径向基函数) 神经网络，本文采用B P 人工神经网络进行电力负荷预测。 2 2 1 概述 l 、B P 算法的出现 非循环多级网络的训练算法小组的R u m e l h a r t 、H i n t o n 和W i l l i a m s l 9 8 6 年独 立地给出了B P 算法清楚而简单的描述1 9 8 2 年，P a k e r 就完成了相似的工作1 9 7 4 年，W e r b o s 已提出了该方法。 2 、弱点：训练速度非常慢、存在局部极小点问题、算法不一定收敛。 3 、优点：广泛的适应性和有效性。 2 2 2 基本的B P 算法1 1 6 1 1 1 7 1 1 1 s l 反向传播神经网络是由误差信号反向传播而得名。它选用前向网络，网络模 型分为3 层：输入层、输出层和中间层( 如右图片所示) 。基本上，误差反向传 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 播学习是由两个过程组成：一次前向通过和一次反向通过。在前向通过中，输入 向量通过输入层输入，经过神经网络的各层一层一层的向前传播。最后产生一个 输出作为网络的实际响应。在前向传播的过程中网络之间的连接权值是固定不变 的。令一个过程就是反向通过过程。在反向通过中，各层神经元之间的连接权值 全部根据误差修正规则来调整，其中误差信号是由前向传播过程得到的网络响应 和目标响应之差得到的。当误差达到一定的要求的时候就停止网络的训练。 口口口 输出层元 隐层 输入层 口口口 图2 1 神经网络结构示意图 所谓B P 算法，主要有以下两种方式： 逐一学习方式：每一次取一个训练样本，利用该样本的输出误差调整个神经 元的阈值和连接值，直至收敛；再取下一个训练样本进行调整，重复这一过程， 直至对所有样本都满足精度要求。 批量学习方式：一次性将所有训练样本全部输入，利用其总体的输入误差调 整各神经元的阈值和连接权，反复进行直至收敛。 多层网络的B P ( B a e k p r o p a g a t i o n ) 算法是L M S 算法( L e a s tM e a nS q u a r e 均方 误差算法，是单层网络的算法，对于单层线性网络，反向传播算法退化为L M S 算法。) 的推广，他们都是最速下降算法的近似，其中性能指数是均方误差。L M S 算法和反向传播算法的区别在于它们对于导数的计算方式上。对单层的线性网 络，误差是网络权值的显式函数，其相对于权值的导数较为容易求得。在具有非 线性的传输函数的多层网络中，网络权值的关系十分的复杂。为了计算导数，需 要使用微积分的链法则。 下面简单介绍一下最速下降算法的过程。设网络有M 层，算法的输入是一 个网络正确行为的样本集合： A ，f 。) ， p ：，f ：) ， ，t a ) 。 在这里P 。是网络的输入，f 。是对应的目标输出。每输入一个样本，便将网 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 络输出与目标输出相比较。算法将调整网络参数以使均方误差( 性能指标) 最小 化： F ( x ) = E e 7 e 】= E ( f 一口) 7 0 一口) ( 2 1 ) 和单层网络的L M S ( L e a s tM e a nS q u a r e ) 算、法- - 4 1 ，用户( x ) 来近似的逼近性能 指标 户( x ) = e t ( 七) g ( _ j ) = ( f ( ) 一盘( 七) ) 7O ( ) 一d ( 七) ) ( 2 2 ) 这里，均方误差的期望值被第k 次迭代是的均方误差所代替。 B P ( B a c k p r o p a g a t i o n ) 算法的第一步是通过网络将输入p 向前传播： a o = P ( 2 3 ) 口”+ 1 = 厂”+ 1 ( 阡7 “+ 1 a ”+ 6 ”+ 1 ) ，m = O ，1 ， f l ( 2 - 4 ) d ：口”( 2 - 5 ) 接下来的一步是通过网络将敏感性反向传播： S ”= 2 户”( H ”) O 一口) ( 2 6 ) S “= 户“0 ”) ( 形”1 ) 7 S m + lm = M 一1 - , 2 ，1 ( 2 - 7 ) 在这公式里 F ( ”“) = a i a g f ”( n ? ) ，f ”O ? ) 一，f ”( ”二) J ( 2 - 8 ) 产m ( n ? ) ：丛生( 2 - 9 ) 厂”( n ? ) 2 等 最后，使用近似的最速下降法更新权值和偏置值： ”( t + 1 ) = W 4 ( 后) 一：，4 ( d ”。) 7 b ”( 七+ 1 ) = b “( ) 一筒” i 2 ( 2 1 0 ) ( 2 1 1 ) 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 通过上面的过程，将迭代过程一直进行下去，直到网络响应和目标函数之差 F ( x ) 达到某一可以接受的水平，然后将训练好的网络用于负荷预测。 2 3 B P 人工神经网络的改进 基本的反向传播算法收敛速度很慢，用基本的反向传播算法去进行负荷预 测，训练将会花去数天甚至数星期的时间。因此提高算法的收敛速度是很关键的 问题。一般提高收敛速度有两种途径。第一类包括使用启发式信息的技术，这是 源于对标准反向传播算法误差曲面特定性能的研究。这些启发式技术包括可变的 学习速度，使用动量和改变比例变量等。另一类是标准数值优化技术。其实训练 前向神经网络减少均方误差只是一个数值优化的问题。由于数值优化作为一个重 要的研究课题己经有四五十年了，因而从大量已有的数值优化技术中选择快速训 练算法是比较合理的。主要包括共轭梯度算法和L e v e n b e r g - M a r q u a r d t 算法( 牛 顿算法的变形) 等等。 2 3 1 B P 算法的启发式改进 ( 1 ) 动量B P 算法( M O B P M o m e n t u mB a c k p r o p a g a t i o n ) 在误差曲面中，当算法开始发散时总是在收敛的极小值附近来回的震荡。受 到它的启发，可以采用平均改变参数的方法对轨迹进行过滤，平滑掉振荡产生一 个稳定的轨迹。 将最速下降算法( S D B P S t e e p e s tD e s c e n tB a c k p r o p a g a t i o n ) 的参数更新公式 变为： A W ”( _ j ) = 塌4 似一1 ) 7 ( 2 1 2 ) 公式 A b ”( 七) = 塌” ( 2 1 3 ) 当动量滤波器加到参数的改变后，得到了下述反向传播的动量改进( M O B P ) A W l ( k ) = r a w “( 七一1 ) 一( 1 一，) 船“( a m - I ) 7 ( 2 - 1 4 ) 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 A b ”( 七) = 归6 ”( k 一1 ) 一( 1 一，) 船 ( 2 - 1 5 ) 在这里，是动量系数他是一个大于O 小于l 的随机数。 另外权值矩阵使用了动量项后，可以在维持算法稳定的前提下使用更高的学 习速度。动量的另一个特征是当轨迹进入某个一致的方向后，它可以加速收敛。 ( 2 ) 可变学习速度的B P 算法( V L B P V a r i a b l eL e a r n i n gr a t eB a c k p r o p a g a t i o n ) 由误差曲面的形状可以得到启发，在较为平坦的曲面区域可以适当的提高学 习速度，而在曲率增大的区域应该适当的减小学习的速度。具体如下： 如果一次权值改变后平方误差( 在整个训练集上) 的递增超过某个百分数 ( 典型值为1 5 ) ，则权值改变被取消，学习速度乘以一个小于1 的因子，动 量系数( 如果有的话) 设为0 。 如果数值改变后的平方误差递减，则接受权值更新，学习速度乘以大于1 的 因子。如果过去的设置为0 ，则恢复到原来的值。 如果平方误差递增不超过，则接受权值更新，但学习速度和动量系度都不变。 ( 3 ) V L B P 和M O B P 的优缺点 相对于V L B P 而言，M O B P 易于实现，并可以用批处理的或增量处理模式， 并且它的速度明显快于最速下降算法( S D B P - S t e e p e s tD e s c e n tB a c k p r o g a g a t i o n ) 。 他需要选择动量系数，但，的取值范围限于 0 ，1 内，并且算法对它的选择并 不敏感。V L B P 方法比M O B P 要快，却只能用批处理方式。所以它需要更多的 存储空间。V L B P 需要选择5 个参数，算法是相当鲁棒的，但参数的选择能影响 收敛速度，并且是与实际问题相关的。 2 3 2 数值优化技术 数值优化技术的目标是构造优化性能指数F ( x 1 的算法。优化的目的是求出 F ( z ) 最小化的x 的值。首先给定一个初始猜测值，然后按照下式进行最优点 迭代： + l = k + 仇 ( 2 - 1 6 ) 或 1 4 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 A x t = ( x 一砟) = 口P P ( 2 1 7 ) 这里向量P 。代表个搜索方向，一个大于零的纯量吼为学习速度，它确定 了学习步长。数值优化技术根据搜索方向P 。的不同而不同。 2 3 2 1 最速下降法【1 9 1 1 2 0 1 当用式2 】6 进行最优点迭代时，函数应该在每次迭代时都减小，即 F ( x k + 1 ) F ( x 女) 设F ( z ) 在的一阶泰勒级数展开 ( 2 1 8 ) F ( + I ) = ，( 耳+ A r k ) z ，( 靠) + A r k ( 2 - 1 9 ) 要使V ( x ) F ( x 。) ，上式右边的第二项必须为负，即 g f n v I = 瑾k g k T p k ( 0 ( 2 2 0 ) 这里为选择的较小的正数，因此就有g ；以 0 ，而当方向向量与梯度反 向时，函数递减速度最快。所以最速下降方向的向量为P = 一g I 得到最速下降法的步长迭代公式为 其中g t = V F ( x ) I 。 1 、稳定的学习速度 假定性能指数F ( x 1 是一个二次函数 ( 2 2 1 ) m ) = 1 2 x r A x + d 7 f + c ( 2 2 2 ) 要使最速下降算法有稳定的学习速度，则必须为一个常数a 。 基于人工和模糊神经网络的电力系统负荷预测第二章人工神经网络简介 2 口 一 其中“，如， ) 为矩阵A 的特征值，k 为特征值中的最大值。 2 、沿直线工= 坼+ P 最小化 ( 2 2 3 ) 选择学习速度的另一种方法是用每次迭代的性能指数N , J , 4 9 。即选择 使下式最小化： F ( x k + P 女) ( 2 2 4 ) 上式对的导数为 ； F ( x I + 口P * ) = V F ( x ) 7l 扣靠p 。+ 口。p ；V2 F ( x ) l ：耳P 。 ( 2 2 5 ) d 口。 “ 设这个导数为零并求出坼为 2 一币g 瓦P k ( 2 2 6 ) p ；A k p 2 2 3 2 2 牛顿法1 1 9 1 1 2 0 1 牛顿法的是基于二阶泰勒级数的： F ( x k + 1 ) = F ( x k + A x 小F ( x k ) + g ；如+ 圭出：4 瓴 ( 2 - 2 7 ) 牛顿法的原理是求，( x ) 的二次近似的驻点。用上式求这个二次函数对出。的 梯度并设它为零，则有 g + A I 瓴= 0 ( 2 - 2 8 ) 得到牛顿法的步长迭代公式为： x t + 1 = z t 一4 ，g t ( 2 - 2 9 ) 基于人工和模糊神经隔络的电力系统负荷预测 第二章人工神经网络简介 其中 2 3 2 3 共轭梯度算法1 1 9 I I 加1 4 = V 2 F ( x ) I 。 共轭梯度算法的迭代步长公式为： 沿直线x 。= 坼+ 仇最小化确定学习速度 其中 P o = g o P t = 一g t + 以P I l ( 2 3 0 ) ( 2 3 1 ) ( 2 3 2 ) 展= 墨d g k - 盟l P k - 1 或孱2 蠹或肛如A g f _ 眼 g 型。 ( 2 - 3 3 ) 其中g I = V F ( x ) I ；，h g V g = g 一g k a 2 3 2 4 L e v e n b e r g - M a r q u a r d t 算法1 卿瞄州 L e v e n b e r g M a r q u a r d t 算法是牛顿算法的变形，用以最小化那些作为其他非线 性函数平方和的函数。这非常适合于性能指数是均方误差的