（运筹学与控制论专业论文）基于模糊神经网络的电力负荷短期预测.pdf

中文摘要 电力负荷预测水平己成为衡量电力系统运行管理现代化的标志之一， 电力系统的正确调度、规划和运行都离不开电力负荷预测，准确的负荷预 测不仅对电力系统的安全、可靠、经济运行起着重要作用，同时也是潜在 节约能源的方法。尤其是准确的短期负荷预测更具有重要的意义。负荷预 测的影响因素较多，不只由负荷本身的历史数据决定，还要受众多非负荷 因素的影响。 本文分析了电力系统负荷预测的意义和方法，介绍了电力短期负荷预 测的特点及研究现状。阐述了人工神经网络和模糊理论的相关概念和原 理，分析了它们各自的优缺点以及它们之间的互补性。介绍了模糊神经网 络的类型和训练算法。 最后，本文针对电力负荷的特点，综合考虑温度、日期类型等对日最 大负荷的影响，将模糊神经网络模型应用于电力系统的短期负荷预测中， 详细介绍了预测模型建立的全过程。通过对e u n i t e 网络提供的实际数据 进行详细分析，确定了影响日最大负荷的相关因素，进而选择了合适的模 糊输入建立相应的模糊神经网络预测模型，取得了较为理想的预测结果。 结论充分证明了模糊神经网络在短期电力负荷预测方面的巨大潜力。同时 也表明，对电力负荷的影响因素的研究仍具有重要的现实意义。 关键词：短期负荷预测，人工神经网络，模糊理论，模糊神经网络 a b s t r a c t t h el e v e lo fl o a df o r e c a s t i n gi so n eo ft h em e a s u r e so fm o d e r n i z a t i o no f p o w e rs y s t e mm a n a g e m e n t i ti si m p o r t a n tf o rm a k i n gp l a n s ，d i s t r i b u t i n ge l e c t r i c i t y i tc a nh e l ps a v i n gt h ee n e r g ys o u r c e s ol o a df o r e c a s t i n g ，e s p e c i a l l ya c c u r a t e s h o r t - t e r ml o a df o r e c a s t i n gi so fg r e a ti m p o r t a n c et op o w e rs y s t e m t h e r ea r e m a n yf a c t o r st h a ta f f e c ts y s t e m1 0 a d , s u c ha sh i s t o r yd a t ao fl o a d , m a n yn o n - l o a d f a c t o r s 1 1 1 ed i s s e r t a t i o na n a l y z e st h em e a n i n ga n dm e t h o d so fp o w e rs y s t e ml o a d f o r e c a s t i n g ，e x p l a i n st h eg e n e r a lt h e o r ya n dm e a n i n go fa r t i f i c i a ln e u r a ln e t w o r k i n t r o d u c e sf u z z yt h e o r ya n ds t u d i e so ff u z z yn e u r a ln e t w o r k f i n a l l y , a c c o r d i n gt ot h ef e a t u r e so fp o w e rl o a da n dc o n s i d e r i n gt h ec o m b i n e d i n f l u e n c eo ft e m p e r a t u r ea n dd a yt y p e ，a na p p r o a c hb a s e do nf u z z yn e u r a ln e t w o r k i sp r o p o s e df o rs h o r t - t e r ml o a df o r e c a s t i n g a f t e ra n a l y z i n gt h eo r i g i n a ld a t a p r o v i d e db ye u m t en e t w o r k , a n dd i s c u s s i n gt h ei n f l u e n c i n gf a c t o r so fd a i l yp e a k l o a d , w ec h o s et h ea p p r o p r i a t ei n p u t sf o ro u rn e t w o r ka n db u i l daf u z z yn e u r a l n e t w o r kf o r e c a s t i n gm o d e l r e s u l 协s h o wt h a tf u z z yn e u r a ln e t w o r ki sv e r y e f f e c t i v ei nt h es h o r t - t e r ml o a df o r e c a s t i n g 1 1 1 es t u d yo fi n f l u e n c i n gf a c t o r so f s h o r t - t e r ml o a df o r e c a s t i n gi sa l s os i g n i f i c a t i v e k e yw o r d s ：s h o r t - t e r ml o a df o r e c a s t i n g ，a r t i f i c i a ln e u r a ln e t w o r k , f u z z yt h e o r y , f u z z y n e u r a ln e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得苤鲞盘茔或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：签字日期：勿口7 年月g 日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规 定。特授权鑫盗盘鲎可以将学位论文的全部或部分内容编入有关数据库进 行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 寸诒嘤 签字日期：加司年月彦1 9 导师签名：叔莉 签字日期：0 吖7 年月了日 第一章绪论 1 1 课题的提出和意义 第一章绪论 随着我国电力事业的发展，电网管理日趋现代化。负荷预测问题的研究 也越来越引起人们的注意，并已成为现代电力系统科学中的一个重要的领域。 在实践中，无论是制定电力系统规划还是实现电力系统自动化，进行相应的 负荷预测都是必不可少的。 众所周知，电力系统的作用应当是对各类用户提供可靠而合乎质量要求 的电能，以随时满足各类用户的要求，而用户所消耗的电能即为负荷。负荷 的大小与特性，无论是对电力系统设计或是对于运行研究而言，都是极为重 要的因素。所以，对负荷的变化与特性，有一个事先的估计，是电力系统发 展与运行研究的重要内容。 所谓预测就是根据系统过去及现在的信息，利用系统的特性，建立模型， 向后推算出未来的系统信息。而电力系统的负荷预测是指在充分考虑一些重 要的系统运行特性，增容决策与自然条件的情况下，利用一套系统地处理过 去与未来负荷的方法，决定未来某特定时刻或某些特定时刻的负荷值。电力 系统负荷预测包括最大负荷功率、负荷电量及负荷曲线的预测。最大负荷功 率预测对于确定电力系统发电设各及输变电设备的容量是非常重要的。电力 系统对未来要发生的负荷功率进行预测的必要性在于：系统内的可用发电容 量，在正常运行条件下，应当在任何时候都能满足系统内负荷的要求。假如 发电容量不够，则应当采取必要的措施来增加发电容量，如新增发电机组或 从临网输入必要的容量；反之，若发电容量过剩，则也应该采取必要的措施， 如有选择的停机或向临网输出多余的功率。为了选择适当的机组类型和合理 的电源结构以及确定燃料计划等，还必须预测负荷电量。负荷曲线的预测可 为研究电力系统的峰值、抽水蓄能电站的容量以及发输电设备的协调运行提 供数据支持。 负荷预测根据目的的不同可以分为超短期、短期、中期和长期：超短 第一章绪论 期负荷预测是指未来1 h 以内的负荷预测，在安全监视状态下，需要5 l o s 或 l - - 5 m i n 的预测值，预防性控制和紧急状态处理需要l o m i n 至1 h 的预测值。 短期负荷预测是指日负荷预测和周负荷预测，分别用于安排日调度计划和周 调度计划，包括确定机组起停、水火电协调、联络线交换功率、负荷经济分 配、水库调度和设备检修等，对短期预测，需充分研究电网负荷变化规律， 分析负荷变化相关因子，特别是天气因素、日类型等和短期负荷变化的关系。 中期负荷预测是指月至年的负荷预测，主要是确定机组运行方式和设备大 修计划等。长期负荷预测是指未来3 - - 5 年甚至更长时间段内的负荷预测， 主要是电网规划部门根据国民经济的发展和对电力负荷的需求，所作的电网 改造和扩建工作的远景规划。对中、长期负荷预测，要特别研究国民经济发 展、国家政策等的影响。 综上所述，电力系统的正确调度、规划和运行都离不开电力负荷预测， 准确的负荷预铡不仅对电力系统的安全、可靠、经济运行起着重要作用，同 时也是潜在节约能源的方法。随着改革的不断深化，电力系统也需要适应市 场需求，降低发电成本，提高竞争能力，为此，1 9 9 8 年政府决定在电力工业 引入竞争机制，计划从2 0 0 1 年至2 0 1 0 年在厂网分开的基础上建立起规范，竞 争，有序的发电市场。2 0 1 0 年后再在营销环节逐步引入竞争机制。各发电厂 需要按各自的上网电价竞价发电以达到节省能源，降低总发电成本的目的。 随着电力企业内部电力市场的建立和发展，企业的效益问题成为各企业管理 者首要关注的问题。企业的各项工作均服务于提高企业经济效益，促进企业 发展。在电力企业中，负荷预测的结果直接影响着企业的经济效益。负荷预 测是电力市场中的重要的基本数据，在满足用户用电的同时可以减少电能成 本和电价，负荷预测对经济效益的影响更加直接，从而显得益发重要。负荷 预测是实现电力市场的必备条件，具有重要的理论意义和实用价值。 1 2 短期负荷预测的特点及研究现状 短期负荷预测的一个突出特点，就是要依靠负荷的历史记录，对过去的 负荷进行分析，进而对未来做出预测。电力系统的负荷在本质上来说是不可 第一章绪论 控的。虽然一些小的变化可用频率控制加以影响，或者在某些情况下可以在 局部地区采用电量计划分配，或者采用某种特殊的电价政策来对负荷施加影 响，然而，总的说来，由于各种因素的影响，负荷是不可控的。因此，了解 未来短期内负荷的可能变化的一个最为有效的方法，就是观察负荷的历史记 录。负荷的另一个特征就是它具有按天，按周以及按年的周期性变化特点， 而短期负荷预测正是密切注意到负荷的这两个重要特征，有针对地提出一套 可行的办法。 电力系统的短期负荷预测分为离线预测和在线预测。离线预测就是进行 按天，按周，按月的负荷预测。它是指在一定的预测区间内，需要进行逐步 预测并不是步步改变预测模型。所以，要求在一定的预测区间内，给定一个 通用的预测模型。在线预测则进行按分，按小时的负荷预测。为了能使模型 在任何时候都能精确的反映过程特性，可以按照预测误差随时的连续的调整 模型的参数甚至改变模型阶数，而在必要的时候甚至可以转化模型形式。 本文采用离线预测，下面介绍短期预测的步骤： ( 1 )确定要预测的量以及预测量的时间间隔。 ( 2 ) 按同样的时间间隔，对所要预测的量，取足够的历史记录，有时 候甚至需要历史记录资料的采样时间间隔小于预测量的时间间隔。 ( 3 ) 分析负荷的历史资料，判断用什么样的模型最适于描述这个负荷 变化过程。 ( 4 ) 对所建立的模型，根据模型本身的特性及己知负荷记录资料对它 进行辨识与参数的粗估计。 ( 5 ) 进行参数的精确估计。 ( 6 ) 进行模型适用合理性的检验。 ( 7 )建立预测模型。 ( 8 ) 在预测过程中，对预测模型进行必要的校正。 长期的实践中人们开发了许多种负荷预测方法，传统的基于统计学的负 荷预测方法大致有两种，即时间序列法x 儿t 刮和回归分析法瞄r 儿制。早期的预测技 r n la ：n 1r 第一章绪论 术主要是时间序列法，它分为确定性时序法和随机性时序法，前者包括时间 序列平滑法，趋势外推和季节变动法等；后者包括马尔可夫法和b o x j e n k i n s 法( 又称a r m a 模型法) 等，其中b o x - j e n k i n s 法最成功，使用最广泛。但这 些方法被广泛应用的同时，也表现出很多缺陷和局限性，如预测精度不能满 足实际工程的要求，在节假日的预测效果不令人满意，加上不具备自适应和 自学习的能力，预测系统的鲁棒性没有保障等。 时间序列法一般都是建立在假定负荷是稳定发展变化的基础上，没有考 虑天气对负荷的影响，故面对天气骤变或突发事件时预测误差较大。这些方 法的优点是所需历史数据少，工作量小。确定是没有考虑负荷变化的因素， 只适用于负荷变化比较平稳的前提下进行的预测。 回归算法能够考虑进天气影响和特殊日负荷的特点，但它需要大量数据 的参与计算，同时一般均假设各变量之间是简单的线性关系，而负荷与天气 等变量之间是动态的、非线性的关系，对此，回归算法便不能很好地解决：另 外，部分假设天气与负荷之间是动态、非线性关系的回归算法也只是通过简 单的变量代换来拟合这种非线性关系，故均不能较好地反映负荷与天气间的 关系5 1 。 近年来科研工作者逐渐将一些新的理论应用于负荷预测中，提出了一些 负荷预测的新方法。其中主要包括：短期负荷预测的趋势外推预测技术，灰 色预测技术以及人工智能技术。 电力负荷虽有随机、不确定的一面，但却有明显的变化和发展趋势。根 据各行业负荷变化的规律，运用趋势外推技术进行负荷预测能够得到较为理 想的结果。外推法有线性趋势预测、对数趋势预测、二次曲线趋势预测、多 项式趋势预测、季节型预测和累计预测等方法。外推法的优点是所需的数据 量较少。缺点是如果负荷出现变动，会引起较大的误差。 灰色预测技术是以灰色系统理论为基础建立的灰色预测技术，可在数据 不多的情况下找出某个时期内起作用的规律，建立短期负荷预测的模型。和 第一章绪论 其他预测方法相比，该方法也存在一定的局限性。当数据离散度越大，即数 据灰度越大时，其预测精度越差，目前有对灰色模型( g m ) 进行的改进，取得 了一定的效果。 作为人工智能的重要技术之一的专家系统在短期负荷预测中也得到了 定的应用。专家系统是建立于人类专家知识上的逻辑推理模型。在实际应用 中一般与某种其他方法( 如人工神经网络) 相结合，把实际运行人员的经验应 用于负荷预测系统中。然而，由于将人类专家的经验解释为规则的过程比较 困难，使其在实际工程中的应用受到了一定的限制。 9 0 年代初人工神经网络( a r t i f i c i a l n e u r a l n e t w o r k 简称a n n ) 方法被引入 到电力负荷预测之中，并己取得了许多成功的实例1 。a n n 是由大量简单 的神经元以一定的方式连接而成的。单个神经元的作用是实现输入到输出的 一个非线性函数关系。它们之间广泛的连接组合就使得整个a n n 具有了复杂 的非线性特性。a n n 将大量的信息隐含在其连接权上，根据一定的学习算法 调节权值，使神经网络实现从m 维空间向n 维空间复杂的非线性映射。由于短 期负荷受各种因素，如天气因素、日类型及是否节假日的影响，呈现的是复 杂、非线性的特性。所以神经网络非常适于解决电力短期负荷预测问题。但 是，影响负荷的某些因素属于模糊信息，而神经网络不具备处理和描述模糊 信息的能力。此外，神经网络采用的是典型的黑箱( b l a c k - b o x ) 型的学习模 式，当学习完成后，神经网络所获得的输入输出关系无法用被人接受的方式 表示出来。 模糊理论具备处理模糊语言信息的能力，能够将某些人类语言或信息表 示成计算机可以识别的数字代码，可模拟人类智慧进行判断和决策。近年来， 国内学者已开始研究将模糊集理论应用于负荷预测，模糊理论在电力系统中 的应用越来越多n 别。 模糊方法和神经网络二者的互补性是非常明显的。它们相似之处在于都 侧重于处理实际中由不确定性、不精确性引起的系统控制问题。而差别在于 第一章绪论 神经网络对于知识的抽取和表达比较困难，模糊信息处理方法却善于模拟人 的经验处理一些不确定信息：另一方面，模糊系统很难从样本中直接学习规 则，且在模糊推理中会增加模糊性，而神经网络则有较强的学习能力，可以 利用联想记忆降低模糊性。这样就产生了模糊神经网络预测方法，它是现代 软计算概念中的重要内容。综合上述分析，可以看出模糊神经网络在短期负 荷预测方面的确具有极大的优势，虽然现在已有许多关于这方面的理论研究 报告，但实际应用的并不很多u 纠副。本文中采用模糊神经网络技术来建立负 荷预测模型，经验证，模型具有运算精度高，收敛速度快等优点。 1 3 本文的主要工作 1 、 本文首先介绍了负荷预测的概念、意义及分类，然后介绍了现代常用的 几种负荷预测方法，并分析了各种方法的优缺点。 2 、 对人工神经网络的基本概念、基本原理进行了简要的阐述。针对传统的 b p 算法收敛速度太慢的缺点，本文介绍了b p 算法的一些变形和改进，使之能 显著提高训练速度并使算法实用化。 3 、 对模糊理论的相关概念和原理进行简要的介绍，介绍神经网络与模糊理 论结合的各种组合方式。 4 、以e u n i t e 的数据为例，详细介绍建立电力负荷预测模型的全过程。并将 结果与e u n i t e 参赛结果进行比较，从而显示模糊神经网络用于电力负荷预 测的优势 第二章人工神经网络简介 第二章人工神经网络简介 2 1 人工神经网络的概念 ( 1 ) h e c h t - n i e l s e n ( 1 9 8 8 年) 一 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接 的无向信号通道互连而成。这些处理单元( p e - p r o c e s s i n ge l e m e n t ) 具有局部内 存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出 可以根据需要被分成希望个数的许多并行联接，且这些并行联接都输出相同 的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化n 6 3 。 处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行 的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达 处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 强调：并行、分布处理结构；一个处理单元的输出可以被任意分 枝，且大小不变；输出信号可以是任意的数学模型；处理单元完全的局 部操作。i ( 2 ) r u m e l l h a r t ，m c c l e l l a n d 和h i n t o n 1 ) 一组处理单元；2 ) 处理单元的激活状态；3 ) 每个处理单元的输出函数； 4 ) 处理单元之间的联接模式；5 ) 传递规则；6 ) 把处理单元的输入及当前状态 结合起来产生激活值的激活规则；7 ) 通过经验修改联接强度的学习规则； 8 ) 系统运行的环境( 样本集合) 。 ( 3 ) s i m p s o n ( 1 9 8 7 年) 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来 存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 关键点： 第二章人工神经网络简介 ( 1 ) 信息的分布表示： ( 2 ) 运算的全局并行与局部操作； ( 3 ) 处理的非线性特征。 对大脑基本特征的模拟： 1 ) 形式上：神经元及其联接； 2 ) 表现特征：信息的存储与处理。 2 2b p 网络的基本原理盼1 9 3 对于适合电力负荷预测的神经网络而言，目前主要是采用 m l f n ( m u l t i l a y e r f e e d f o r w a r d n e u r a l n e t w o r k 前馈多层神经网络) 。它是目前 应用最广、发展最迅速的人工神经网络之一。用于负荷预测的前馈多层神经 网络主要有b p ( b a c k p r o p a g a t i o n ) 反向传播神经网络和r b f ( r a d i a lb a s i s f u n c t i o n 径向基函数) 神经网络。文本将采用的是b p 神经网络，下面将主要介 绍b p 神经网络。 2 2 1b p 算法的概述 1 b p 算法的出现 非循环多级网络的训练算法小组的r u m c l h a r t ，h i n t o n 和w i l l i a m s l 9 8 6 年独 立地给出- j b p 算法清楚而简单的描述。1 9 8 2 年，p a k e r 就完成了相似的工作， 1 9 7 4 年，w e r b o s 己提出了该方法。 2 弱点：训练速度非常慢、存在局部极小点问题、算法不一定收敛。 3 优点：广泛的适应性和有效性。 第二章人工神经网络简介 2 2 2 基本的b p 算法 反向传播神经网络是由误差信号反向传播而得名。它选用前向网络，网 络模型分为3 层：输入层、输出层和中间层( 如图2 一l 所示) 。基本上，误差反向 传播学习是由两个过程组成：一次前向通过和一次反向通过。在前向通过中， 输入向量通过输入层输入，经过神经网络的各层一层一层的向前传播。最后 产生一个输出作为网络的实际响应。在前向传播的过程中网络之间的连接权 值是固定不变的。另一个过程就是反向通过过程。在反向通过中，各层神经 元之间的连接权值全部根据误差修正规则来调整，其中误差信号是由前向传 播过程得到的网络响应和目标响应之差得到的。当误差达到一定的要求的时 候就停止网络的训练。 输出屠元 隐层 输入璎 图2 1 神经网络结构示意图 所谓b p 算法，主要有以下两种方式： 逐一学习方式：每一次取一个训练样本，利用该样本的网络输出与目标 变量的误差调整个神经元的阈值和连接值，直至收敛；再取下一个训练样本 进行调整，重复这一过程，直至对所有样本都满足精度要求。 批量学习方式：一次性将所有训练样本全部输入，利用其总体的输出与 目标变量的误差调整各神经元的阈值和连接权，反复进行上述过程直至收敛。 多层网络的b p ( b a c k p r o p a g a t i o n ) 算法是l m s 算法( l e a s tm e a ns q u a r e ) 均 9 第二章人工神经网络简介 方误差算法的推广。l m s 是单层网络的算法，对于单层线性网络，反向传播 算法退化为l m s 算法。他们都是最速下降算法的近似，其中性能指数是均方 误差。l m s 算法和反向传播算法的区别在于它们对于导数的计算方式上。对 单层的线性网络，误差是网络权值的显式函数，其相对于权值的导数较为容 易求得。在具有非线性的传输函数的多层网络中，网络权值的关系十分的复 杂。为了计算导数，需要使用微积分的链法则。 下面简单介绍一下最速下降算法的过程。设网络有m 层，算法的输入是 一个网络正确行为的样本集合： 扔，) ， p 2 ，, 2 ， ，饧) 。 ( 2 1 ) 在这里是网络的输入，乞是对应的目标输出。每输入一个样本，便将 网络输出与目标输出相比较。算法将调整网络参数以使均方误差( 性能指标) 最小化。 f ( x ) = e p r 刁= e ( r 一口) r ( r 一口) ( 2 - 2 ) 和单层网络的l m s 算法一样，用声( x ) 来近似的逼近性能指标 ( x ) = ，( 七) p ( 七) = ( f ( 七) 一口( 七) ) r ( f ( 七) 一口( 七j ) ( 2 3 ) 这里，均方误差的期望值被第七次迭代的均方误差所代替。b p 算法的第 一步是通过网络将输入p 向前传播： 口o2 p ( 2 - 4 ) 口”1 = ”1 ( 形洲口”+ 6 ”1 ) ，m = 0 ，l 1 一，m 一1 ( 2 5 ) 口= 口材( 2 - 6 ) 第二章人工神经网络简介 接下来的一步是通过网络将敏感性反向传播： 在这公式里 s 肘= - 2 多( 胛”) ( f 一口) ( 2 7 ) ，：南( 矿) ( 形附- ) rs 删，聊：m 一1 ，2 ，1 ( 2 8 ) 歹”( 矿) = 优口g 户( 砰) ，产( 霹) ，产( 略) ( 2 9 ) 户) = 掣 最后，使用近似的最速下降法更新权值和偏置值： 矿”( 七+ 1 ) = ”( 七) 一口s ”( a m - i ) r ( 2 1 1 ) 妒( 七+ 1 ) = 6 ”( k ) - a s ” ( 2 1 2 ) 通过上面的过程，将迭代过程一直进行下去，直到网络响应和目标函数 之差f ( 工) 达到某一可以接受的水平，然后将训练好的网络用于负荷预测。 2 3b p 网络的改进 基本的反向传播算法收敛速度很慢，用基本的反向传播算法去进行负荷 预测，训练将会花去数天甚至数星期的时间。因此提高算法的收敛速度是很 关键的问题。一般提高收敛速度有两种途径。第一类包括使用启发式信息的 技术，这是源于对标准反向传播算法误差曲面特定性能的研究。这些启发式 技术包括可变的学习速度，使用动量和改变比例变量等。另一类是标准数值 优化技术。其实训练前向神经网络减少均方误差只是一个数值优化的问题。 由于数值优化作为一个重要的研究课题己经有网五十年了，因而从大量己有 第二章人工神经网络简介 的数值优化技术中选择快速训练算法是比较合理的。主要包括共轭梯度算法 和l e v e n b e r g - m a r q u a r d t 算法( 牛顿算法的变形) 等等。 2 3 1b p 算法的启发式改进 ( 1 ) 动量b p 算法( m o b p - m o m e n t u mb a c k p r o p a g a t i o n ) 在误差曲面中，当算法开始发散时总是在收敛的极小值附近来回的震荡。 受到它的启发，可以采用平均改变参数的方法对轨迹进行过滤，平滑掉振荡 产生一个稳定的轨迹。 将最速下降算法( s d b p - s t e e p e s td e s c e n tb a c k p r o p a g a t i o n ) 的参数更新公 式变为： a l z ”( 七) = 吨，q m - i ) a b ”k ) = - a s ” ( 2 - 1 3 ) ( 2 - 1 4 ) 当动量滤波器加到参数的改变后，得到了下述反向传播的动量改进 ( m o b p ) 公式： 形”( 七) = 雄形”( 七一1 ) 一( 卜y ) 口，( 口”。1 ) ， ( 2 1 5 ) a b ”( 七) = 必扩( 七一1 ) - ( 1 - y ) a s ” ( 2 1 6 ) 在这里y 是动量系数，它是一个大于0 d , 于1 的随机数。 另外，权值矩阵使用了动量项后，可以在维持算法稳定的前提下使用更 高的学习速度。动量的另一个特征是当轨迹进入某个一致的方向后，它可以 加速收敛。 第二章人工神经网络简介 ( 2 ) 可变学习速度的b p 算法( v l b p - v a r i a b l el e a r n i n gr a t e 由误差曲面的形状可以得到启发，在较为平坦的曲面区域可以适当的提 高学习速度，而在曲率增大的区域应该适当的减小学习的速度。具体如下： 如果一次权值改变后平方误差( 在整个训练集上) 的递增超过某个百分数( 典 型值为1 一5 ) ，则权值改变被取消，学习速度乘以一个小于l 的因子，动量系 数( 如果有的话) 设为o ；如果数值改变后的平方误差递减，则接受权值更新， 学习速度乘以大于1 的因子。如果过去的设置为0 ，则恢复到原来的值：如果 平方误差递增不超过，则接受权值更新，但学习速度和动量系数都不变。 v l b p 和m o b p 的优缺点 相对于v l b p 而言，m o b p 易于实现，并可以用批处理或增量处理模式， 并且它的速度明显快于最速下降算法( s d b p s t e e p e s t d e s c e n t b a c k p r o g a g a t i o n ) 。他需要选择动量系数y ，但y 的取值范围限于 0 ，1 内， 并且算法对它的选择并不敏感。b p 方法比m o b p 要快，却只能用批处理方 式。所以它需要更多的存储空间。v l b p 需要选择5 个参数，算法是相当鲁棒 的，但参数的选择能影响收敛速度，并且是与实际问题相关的。 2 3 2 数值优化技术 数值优化技术的目标是构造优化性能指数，( 工) 的算法。优化的目的是求 出f ( x ) 最小化的工的值。首先给定一个初始猜测值而；然后按照下式进行最 优点迭代： x k + i 。x t + a k p k 缸= ( t + l 一_ ) = - c t k p ( 2 1 7 ) ( 2 - 1 8 ) 第二章人工神经网络简介 这里向量n 代表一个搜索方向，一个大于0 的纯量q 为学习速度，它确 定了学习步长。数值优化技术根据搜索方向p k 的不同而不同。 即 ( 1 ) 最速下降法2 0 3 当用公式( 2 - 1 7 ) 进行最优点迭代时，函数应该在每次迭代时都减小， ，( 五+ 。) f ( 气) 。 设，( 工) 在的一阶泰勒级数展开： ，( 五+ 。) - - r ( x , + 蝇) ，( _ ) + 咄 ( 2 1 9 ) 要使f ( 气+ ；) ，( 以) ，上式右边的第二项必须为负，即 最a x k = c 【t 最p k 0 ( 2 2 0 ) 这里为选择的较小的正数，因此就有g ：p 。 0 ，而当方向向量与梯度反向 时，函数递减速度最快。所以最速下降方向的向量为a = 一& 得到最速下降法的步长迭代公式为 其堍= v 即) l 。 1 稳定的学习速度 假定性能指数，( z ) 是一个二次函数 ( 2 - 2 1 ) 第二章人工神经网络简介 f ( z ) = 血材z + c ( 2 - 2 2 ) 要使最速下降算法有稳定的学习速度，则必须为一个常数口， 口 。其中 ，五，五) 为矩阵a 的特征值，k 为特征值中的最大值。 2 沿直线+ l = 耳+ n 最小化 选择学习速度的另一种方法是用每次迭代的性能指数最小化。即选 使下式最小化： ，( + n ) 。 上式对的- , - 9 数为 瓦d ，( + 以) 予玎( z ) ，i ， 见+ 衍v 2 ，( 工) l “以( 2 2 3 ) 设这个导数为零并求出为 ( 2 ) 牛顿法 铲一耘r k “t r k 牛顿法是基于二阶泰勒级数的： ( 2 - 2 4 ) ，( ) = f ( 以+ 瓴) f ( ) + g ：瓴十三时4 缸 ( 2 _ 2 5 ) 牛顿法的原理是求尸( x ) 的二次近似的驻点。用上式求这个二次函数对 瓴的梯度并设它为零，则有断+ 4 缸= 0 得到牛顿法的步长迭代公式为： 第二章人工神经网络简介 其中a k = v 2 f ( x ) l 吨。 ( 3 ) 共轭梯度算法制2 1 3 共轭梯度算法的迭代步长公式为： x k = a k p k 沿直线+ ；= x k + 级最小化确定学习速度 其中 p 0 2 一g o p = 一g k + p t p d 矗= 畿交展= 蠹或展= 警 其中& = v r ( x ) ，啊且= & 一& 。 ( 4 ) l e v e n b e r g m a r q u a r d t 算法 ( 2 - 2 6 ) ( 2 - 2 7 ) ( 2 - 2 8 ) ( 2 - 2 9 ) l e v e n b e r g - m a r q u a r d t 算法是牛顿算法的变形，用以最小化那些作为 其他非线性函数平方和的函数。这非常适合于性能指数是均方误差的神 经网络训练。 l e v e n b e r g - m a r q u a r d t 算法的迭代步长公式为： 瓴= ，r ( x k ) j ( x k ) + 以叮1 ，7 ( t ) 。( ) ( 2 3 0 ) 第二章人工神经网络简介 其中 其中 - 厂( x ) = a ，i嬲1叱1鸲1 a 乩a 万：，：a 町j 纠 鸲。鹌。鸽。 a n r i _ , 。驯，：a 矿。j 驯 i；!i； 啦杈丝啦 a 叫j a 一_ a 叫，卫 纠 鸽，：粥，：蟹。j鸽，： a 叫j a 吐：a k 叫 ； ： v r = 【y l ，k 一，h 】= q 乞p ，红t l ，争 2 ，争，口 ； ，= k ，而，x n = 万i 。，z z r i ：，研，反一，哆 ； r = q x s u , n = s 1 ( r + 1 ) + s 2s 1 + 1 ) + + s ”( s 材_ + 1 ) 。 2 4 几个问题的讨论 2 4 1 步长问题 ( 2 - 3 1 ) b p 网络的收敛是基于无穷小的权值修改量。如果步长太小，收敛速度 就非常慢。如果步长太大，可能会导致网络的瘫痪和不稳定。采用了自适应 步长后，使得权值修改量能随着网络的训练而不断变化。 1 9 8 8 年， w a s s e r m a n 7 2 4 2 局部极小点问题 神经网络的性能曲面存在局部极小点，为了避开局部极小点，可以采用 第二章人工神经网络简介 修改w 、b 的初值的办法。但这种办法并不总是有效，因此要取w 、b 的多个 初始权值，进行结果比较。 2 4 3 网络瘫痪问题 在训练中，权值可能变得很大，这会使神经元的网络输入变的很大，从 而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的 训练步长会变的非常小，进而将导致训练速度降得非常低，最终导致网络停 止收敛。 2 4 4 稳定性问题 在输入样本对神经网络的权值进行修改时，权值的变化十分的不稳定。 因此用输入样本后得到的修改量的综合量对权值进行修改，而不是每输入一 个样本都修改权值。 第三章模糊理论与模糊神经网络简介 第三章模糊理论与模糊神经网络的简介 3 1 模糊理论1 的形成与发展 在一般人的印象中，经典数学应该是精确的，严格的说不应该是模糊的。 但模糊现象的确客观存在于人类思维，社会现象和自然现象中，为了描述这 类现象而产生了模糊数学。在此，“模糊这个词并不是一个贬义词，而是客 观事物的准确反映。而且，随着科学技术的发展和互相渗透，过去有些与数 学无关或关系不大的学科，如生物学、心理学、医学、语言学等，都迫切要 求数学化和定量化，而这些学科又包含了大量的模糊概念，不能或不便应用 经典数学描述。所以只能改变数学本身，使其适应于更广泛的学科。 模糊数学诞生于1 9 6 5 年，它的创始人是美国加利福尼亚大学的自动控制 专家扎德( l a z a d e h ) ，在他的第一篇论文模糊集合( f u z z ys e t s ) 中，首 先引入了隶属函数( m e m b e r s h i pf u n c t i o n ) 的概念。隶属函数的取值范围是闭 区间 o ，1 中的任何实数，从而打破了经典数学“非对则错”、“非0 即1 ”的 局限性，用 0 ，1 间的数来描述中间过渡状态。隶属函数等于0 或1 只是一 种极端情况，或者说，确定性只是模糊性的特殊情况。扎德建立了模糊集合 论的基础，首次运用数学方法来描述模糊现象，这无疑是一件具有开创意义 的工作。 具体地说，模糊逻辑是建立在模糊集合基础上的。传统集合对集合中的 对象关系进行严格划分，一个对象要么是完全属于这个集合，要么就完全不 属于这个集合，不存在介于两者之间的情况。模糊集合则是具有灵活的隶属 关系，它允许在一个集合中部分隶属。对象在集合中的隶属度可以取o 1 之 间的任何值，而不像在传统集合中非得是严格的0 或l 。这样，模糊集合就可 以从“不隶属”到“隶属”逐渐地过渡。这样，像“快”、“慢 、“冷”、“热” 这些本来在集合中无法解决的含糊概念就可以在模糊集合中得到表达，这就 为计算机处理这类带有含糊性的信息提供了一种方法。温度2 5 0 c 是暖还是 热? 用传统的集合概念回答，这要么是暖要么是热；但是用模糊术语回答则 第三章模糊理论与模糊神经网络简介 是“两者都有一些，即算暖又算热”。表面看这种含糊是无意义的，但实际上 却可通过对这些渐变安排特定的数字，再进行模糊逻辑推理来消除模糊性。 例如，对温度2 5 。c 作这样的分类，它隶属于暖的程度是0 6 ，隶属于热的程 度是0 4 ，然后再用这些数值去求对问题的精确解。 控制论的创始人维纳在谈到人胜过任何最完善的机器时说：“人具有运用 模糊概念的能力”。人脑的重要特点之一，就是能对模糊事物进行识别和判决。 如何使计算机能够模拟人脑思维的模糊性特点，使这部分自然语言作为算法 语言直接进入计算机程序。 模糊数学产生后，客观事物的确定性和不确定性在量方面的表现，可做 如下划分： 模糊数学是研究和处理模糊现象的，所研究的事物概念本身是模糊的， 即一个对象是否符合这个概念难以确定，这种由于概念的外延模糊而造成的 不确定性称为模糊性( f u z z i n e s s ) 。在 0 ，1 上取值的隶属函数就描述了这种 模糊性。 模糊数学一经出现就表现出其强大的生命力和渗透力。2 0 世纪7 0 年代以 后，在广泛的领域内得到了很快的发展： 以天气预报为例，如“多云 、“偏南风、“中到大雨”等气象术语都是 模糊概念，应用模糊数学进行天气预报已有若干成功的先例。再如，医疗诊 断，一些症状如“食欲不振”、“头痛”、“疲乏无力 等也都是模糊概念。某 种疾病实际上是众多症状的模糊集合，根据某位医学专家多年的临床经验， 编制程序后用计算机进行诊断时，应用模糊数学可以取得良好的效果。 模式识别、人工智能和专家系统是近年发展起来的前沿学科，这些学科 的共同特点之一是让计算机尽可能的模拟人的思想方法。如前所述，人的思 维和推理过程常常是带有模糊性的。所以，模糊数学也已广泛应用于这些领 域。 第三章模糊理论与模糊神经网络简介 在社会学和经济学中也存在着大量的模糊概念，而且大都是复杂的多因 素影响和互相作用的大系统。如果用经典数学对其进行描述、估计或预测是 十分困难的，而应用模糊数学对其进行研究，可得到较好的效果。由此诞生 了一门新的学科一一模糊经济学。 模糊数学在工业生产和管理方面也得到了广泛的运用，如生产过程控制、 单机自动控制及交通管制等，现已形成了自动控制和模糊数学的- - f - j 交叉学 科一一模糊控制工程。 由上可看出，模糊数学打破了普通集合论的束缚。它己经在模糊决策、 模糊控制、模糊专家系统、模糊数据库、模糊模式识别、模糊数字模拟电路、 模糊神经网络以及模糊计算机和模糊软件等许多领域取得了令人瞩目的成 就。 我们认识到模糊数学并不是“模糊的数学，它是采用严格的精确的数 学手段来处理“模糊 的现象以达到消除“模糊”的一门数学。实际上它是 人类认识能力的深化和精确的反应。大量的事实表明许多事物过分的追求精 确反而使结果更模糊；相反，适当的模糊处理反而达到更精确的目的。其关 键在于如何寻求适当的数学语言来描述事物的模糊性。 但是“模糊”二字也给这一门学科带来了许多麻烦，特别是在科学技术 高度发展的西方，他们的科学技术发展史实际上就是一部追求精确的定量的 历史，并己经形成了根深蒂固的传统。他们认为任何- - 1 7 学科要想成为科学， 都必须与数学联系起来，要能够用数学来精确的描述它，而且越精确越好。 在许多工程实际问题中隶属函数是由专家根据自己求解问题的经验而主观确 定的：于是就有人认为隶属函数的确定具有主观臆断性，带有人为的经验和 技巧色彩，从而是靠不住的，不科学的。有人把模糊理论与概率论混为一谈； 同时将模糊理论用于控制领域时，由于控制理论本身还存在一些问题，它还 是个正在逐步完善的理论，于是就有人认为，用模糊逻辑实现的控制系统用 经典的控制或现代的控制理论也能够实现，模糊逻辑没有不可代替的作用。 正是由于以上偏见极大的影响到了模糊理论的发展，甚至是使模糊理论在7 0 第三章模糊理论与模糊神经网络简介 年代末和8 0 年代初几乎从科技领域里消失。连z a d e h 本人也都几乎停止了自 己的研究工作。然而模糊理论却在日本得到了长足的发展。现在日本到处可 以看到应用模糊理论而生产的各种产品，“模糊”已经深深的渗透到日本人民 的日常生活中，同时日本的企业家也将这些产品推销到欧洲和美国。 3 2 模糊集的相关概念和原理 3 2 1模糊子集 定义：设给定论域x ，其上的一个模糊子集a 是指，对v x x ，都指定 了一个数以( x ) 【o ，1 】与x 对应，它称为x 对彳的隶属度池3 。这意味着作了一 个映射： 心：x 一【o ，1 】 这个映射称为a 的隶属函数。隶属度有时也记做彳( 工) 。 上述定义说明，论域x 上的模糊子集a 由隶属函数心( x ) 来表征，通过