（水利水电工程专业论文）人工神经网络在清江长期调度中的应用研究.pdf

华中科技大学硕士学位论文 摘要 随着社会生产的发展和科学技术水平的提高，我国电力的供需矛盾越来越突出。 为了大力发展电力工业，除了大力加快水电建设外，还必须贯彻节约方针，加强对整 个电力系统和电站的科学管理，不断提高运行管理水平和经济效益。作为提高水电站 经济运行效益的重要一环，梯级水电优化调度越来越显示出它的重要性。本文在原有 各种长期优化调度方法的基础上，将人工神经网络理论应用到梯级水库调度系统的长 期调度中去，可望解决现有方法手段难以解决和不能解决的一些复杂问题，并可能开 、 辟一条新的研究思路和研究途径。尼 ， 本文以“清江梯级水电站优化调度决策支持系统”为实例，在理论和方法上对梯 级水电站长期优化调度问题作了深入的探讨。主要研究成果如下： l 、介绍了我国和世界的水能水资源概况，在国民经济发展中所起的重要作用， 明确了水利水电开发的意义。 2 、在研究了水库优化调度的一些基本概念、方法、分类的基础上，重点提出了 水库长期优化调度的概念和意义，为下面章节对清江梯级调度长期优化调度 系统的研究打下了基础。 3 、分析了人工神经网络理论的发展历史和基本理论，人工神经网络的学习方法， 多层前向网络和b p 网络的基本知识和公式推导，b p 网络的设计分析过程， 以及在应用中应该注意的问题。 4 、拓析了清江梯级水电站优化调度决策支持系统课题的来源、清江水电系统的 概况，项目开发的意义、原则以及拟达到的目标以及项目拟进行的主要研究 内容。j 提出了三个梯级水电站长期优化调度的计算模型，分别是长期发电效 ， 益最大、长期调峰电量最大以及长期耗水量最小优化模型，分别描述了目标 函数和约束条件，并重点分析了长期发电效益最大优化调度模型。 5 、结合清江梯级水电站优化调度决策支持系统课题，在人工神经网络的指导下， 探讨了基于b p 网络的梯级电站长期调度的研究方法。 华中科技大学硕士学位论文 6 、对全文的工作进行了总结，并对有待进一步研究的问题进行了探讨。，7 l 一+ ? 关键字：长期优化调度人工享串经网终b p 算法撵级电沾 i i 华中科技大学硕士学位论文 a b s t r a c t w i t ht h e d e v e l o p m e n t o fs o c i a l p r o d u c t i o n a n di m p r o v e m e n to ft h es c i e n t i f i c t e c h n o l o g y , t h ec o n f l i c to f e l e c t r i cp o w e rs u p p l ya n dd e md e m a n dm o r ea n dm o r es t a n d o u t t od e v e l o pe l e c t r i cp o w e r i n d u s t r y , p e o p l em u s ta b i d e t h ep r i n c i p l eo f s a v i n g ，e n h a n c e s c i e n t i f i c m a n a g e m e n to fw h o l et h ep o w e rs y s t e ma n dp o w e rs t a t i o n ，i m p r o v em a n a g e l e v e lo fr i ma n de c o n o m i c a lb e n e f i t b a s e do nt h ep o a t h e o r y , t h ea r t i f i c i a ln e u r a ln e t w o r k t h e o r yb eu s e dt o s o l v et h el o n g t e r m g e n e r a t i o no p t i m i z a t i o no f t h eq i n j i a n gc a s c a d e d m u t i h y d r o p l a n t si nt h i sp a p e r i tc a n b ee x p e c t e dt os o l v et h ec o m p l i c a t e dp r o b l e m s ，w h i c h i sd i f f i c u l tt os o l v e b ye x i s t i n gm e t h o d i t a l s om a y i n a u g u r a t ea n e w w a y o f r e s e a r c h t h i sd i s s e r t a t i o n ，f o c u s i n go nt h el o n g - t e r mo p t i m a ld i s p a t c h i n go fh y d r o e l e c t r i cp l a n t s y s t e m s ，s t u d i e st h e o r e t i c a l l ya n dm e t h o d i c a l l yo n t h ep r o b l e m so ft h el o n g - t e r m o p t i m a l g e n e r a t i o ns c h e d u l i n g t h em a j o r r e s e a r c hw o r ki so u t l i n e da sf o l l o w s ： 1 、i n t r o d u c e ds i t u a t i o no fe n e r g yo f h y d r o p o w e ra n d t h ei m p o r t a n tf u n c t i o ni nt h e c o u n t r y se c o n o m y , d e f i n i t u d e t h em e a n i n go f t h eh y d r op o w e r e x p l o i t a t i o n 2 、b a s e do ni n t r o d u c e ds o m eb a s ec o n e e p t 、m e t h o d sa n dc l a s s i f i c a t i o n ，i n t r o d u c e d t h ec o n c e p ta n ds i g n i f i c a n c eo fl o n g - t e r mo p t i m a ld i s p a t c h i n go fh y d r o e l e c t r i c p l a n ts y s t e m s ，b a s e d f o rt h e q i n j i a n g c a s c a d e dm u t i h y d r o p l a n t si nt h en e x e c h a p t e r 3 、i n t r o d u c e dt h ei m p r o v e m e n th i s t o r ya n db a s i ct h e o r yo fa n na n dt h ea n n s s t u d ym e t h o d s ，t h eb a s i ct h e o r ya n dt e s t i f y o ft h eb pn e t w o r k ，t h ea n a l y s i s p r o c e d u r eo ft h eb p n e t w o r kd e s i g na n dw h a ts h o u db en o t i c e di np r a c t i c a l l y u s i n g 4 、i n t r o d u c e dt h ec o n c e p to f c a s c a d e dh y d r o e l e c t r i co p t i m i z e dl o n g t e r ms c h e d u l i n g ， t h ea s s o c i a t i o no fr u n o f fa n dt h ep e e ko fw a t e rb e t w e e nm u t i h y d r o p l a n t i s d e s c r i b e d t h r o u g ht h eo b j e c t i v et om a x i m i z et h el o n g t e r me n e r g yp r o d u c t i o n ， 华中科技大学硕士学位论文 一：= = = = ；= = = = = = = = = = = = = = = = = = = = = = # t h ea d j u s tp e e ke n e r g yp r o d u c t i o na n dt om i n i m i z et h el o n g t e r mc o n s u m p 1 0 no f w a t e r t h r e ec a l c u l a t i n gm o d e lo fc a s c a d e dh y d r o e l e c t r i co p t i m i z e dl o n g t e 肿 s c h e d u l i n ga r ep r e s e n t e da n d t h e i ra i mf u n c t i o na n dr e s t r i c t i o na l ea l s od e s c r i b e d t h e e m p h a s i s i st h ef i r s tm o d e l 5 、p u tf o n v a r dm er e s e a r c hm e t h o do f t h el o n g t e r mg e n e r a t i o no p t i m i z a t i o nb a s e d o nb pn e t w o r k 6 、s u m m a r i z e dt h i sd i s s e r t a t i o n ，a n dt h ep r o b l e m s f o rf u r t h e rw o r ka r e d s c l k l s s e dt o o k e y w o r d s ：l o n g t e r mg e n e r a t i o no p t i m i z a t i o n a n nb pa l g o r i t h m c a s c a d e d h y d r op l a n t l v 华中科技大学硕士学位论文 1 1 水能水资源概况 1综述 1 1 1 世界水能水资源概况 水能是大自然赐予人类的取之不尽、用之不竭的可再生能源，充分开发和利用水 能资源，可以节约有限的矿产能源，保持资源利用的可持续性。开发水电，除了获取 大量电能外，还具有防洪、灌溉、航运、旅游、养殖等综合社会效益。水电还是清洁 的能源，它在生产过程中不会污染环境，并且以其可持续发展的优势受到人类的青 睐，因此不论是发达国家，还是发展中国家，都是优先开发利用水能资源。世界各国 水电在电力生产中所占的比重都较大，如巴西水电装机容量为5 2 4 2 7 m w ，其水电比例 占9 6 ：挪威水电比例更高，可达9 9 2 ，因此优先开发水电是世界各国电力发展 的共同选择。锄 1 1 2 中国水能水资源概况 我国是人口众多、资源相对不足的国家，在现代化建设中必须实施可持续发展战 略。建国以来，我国水电事业建设取得了很大成就。1 9 4 9 年，全国水电容量仅3 6 0 m w ， 到2 0 0 0 年底，我国水电装机容量已达7 5 0 0 万k w ，占全国总装机容量的2 4 4 。然 而，我国已丌发的水能资源只占可开发量的1 8 ，其开发利用的前景还十分广阔。目 前，我国电力工业已确定水电重点抓好“两江两河”的丌发，即长江中上游干支流、 澜沧江、黄河上游和红水河。并逐步实现将优质的水电西电东送，以缓解东部电力供 应的紧张局面，提高供电质量，以适应国民经济发展的需要。“” 1 1 3 水能水资源发展前景 中国的水力资源开发程度低，开发前景广阔。水力资源分布的特点反映出中国的 水电丌发必将是重点开发中西部水电，特别是西部水电基地。实行“西电东送”，为 了解决河流径流特性差的问题，需要重点建设具有调节能力水库的电站。根据国家水 电生产发展规划，到2 0 1 0 年，也就是中国丌始水电建设1 0 0 年时，水电装机容量应 华中科技大学硕士学位论文 力争达到1 5 5 亿k w 以上，我国的水电装机容量将超过美国居世界第一，完成从资源 第一大国到生产第一大国的转变。2 0 1 1 - - 2 0 4 9 年，我国达到或超过中等发达国家的水 平，人均装机以l k w 计，全国总装机约1 5 亿k w 。这时装机约4 3 亿k w ，基本完成 常规水电的开发，开发率达到8 5 一9 0 左右。西电东送的规模超过l 亿k w ，东中 部受电区和风电发展比较集中的地区，抽水蓄能电站也将相应得到发展，装机规模将 达到o 7 亿k w 。水电装机总量达到5 亿k w ，占总装机的比例约为3 3 。中国的水 电技术将达到世界领先水平，进一步由生产数量上的水电第一大国，成为在水电数量、 质量、科技、管理、效益等方面全面领先、真正意义上的水电第一大国。 2 3 】 2 4 】 华中科技大学硕士学位论文 2 水电优化调度的意义 2 1 水电优化的基本概念 从古至今，水资源的开发利用，历来是各国人民在生产建设和科学实践中的重要 课题。水利水电系统中水电站及其水库优化课题或者问题，虽然在不同情况下各不相 同，但都可概括为，在已知系统结构类型、水电站及其水库、系统其他组成单元的功 能、任务、参数、特性等原始依据和各种信息及约束条件下，为满足国民经济各有关 部门和社会的要求，按水库运行调度基本原则，利用一定优化理论方法和技术，制定 和实现对水能、水资源的最优利用和控制方式，即寻求系统和水电站及其水库的最优 运行调度方式、最优策略和最优决策，也即是在不改变水电站现有动力设备和水工建 筑结构的条件下，运用优化理论、现代控制论和系统工程方法，借助计算机编制出水 库最优调度方案及优化调度图，结合径流预报，满足电力系统和综合利用部门要求 指导水库实现最佳控制运用，达到增加发电量或增加电力产值，最大限度地节约一 次能源的目的。 2 2 水电优化调度的基本原则 水电站及其水库运行调度的基本原则是，在首先确保工程本身安全的前提下，分 清发电与防洪及其它综合利用任务之间的主次关系，统一调度，使水库综合效益尽可 能大；当工程安全与满足供电、上下游防洪及其它用水要求发生矛盾时，应当首先考 虑工程安全；当供电的可靠性与经济性发生矛盾时，应当首先满足可靠性要求。“” 2 3 水电优化调度的主要内容 电站及其水库运行调度的主要工作内容包括，编制最优的或合理的运行调度方 案、方式和计划；按所编制的方案、方式和计划根据面临的实际情况和信息进行实时 调度和操作控制，尽可能实现最优调度；进行运行调度资料的记录、整理和分析总结； 华中科技大学硕士学位论文 开展其它有关的各项工作，如收集和复核工程、设备及上下游特性等，组织有关建筑 物和设备的运行特性试验；开展水文气象预报，建立健全各项运行调度规程和规章制 度，丌展有关科学试验研究和技术革新等。“ 2 4 水库优化调度分类 水库调度可按用途、目的进行分类，一般有以下几种方式： 2 4 1 按水库目标分类 l 、防洪调度。防洪调度方式是根据河流上下游防洪及水库的防洪要求、自然条件、 洪水特性、工程情况而合理拟定的。为此，必须绘制防洪调度线，该线是指为满 足安全拦蓄设计洪水的要求，汛期各时刻水库必须预留库容的指示线。 2 、兴利调度。兴利调度一般包括发电调度、灌溉调度以及工业、城市供水与航运对 水库调度的要求等。 3 、综合利用调度。如果水库担任有发电、防洪、灌溉、供水、航运等方面的任务， 则在绘制调度曲线时，应根据综合利用原则，使国民经济各部门要求得到较好的 协调，使水库获得较好的综合利用效益。“o 2 4 2 按水库数目分类 l 、单一水库调度。调度目标只有一个水库，它是水库群联合调度的基础，随着水电 事业的发展，单一水库的调度越来越少。 2 、水库群的联合调度。水库群的联合调度按其结构形式又可分成三种：并联水库群， 即电力系统中位于不同河流或位于同一河流的不同支流上的水库群，并联水库群 各水库间有电力联系而无水力联系：梯级水库群( 串联) 调度，位于同一条河流 的上、下游形成串联形式的水库群，这些水库之问除了电力联系以外，还有水力 联系；混联水库群，是串联和并联的组合形式。“3 2 4 3 按调度周期分类 水库调度实际是确定水库运行时期的供、蓄水和调节方式。根据水库运行的周期 长短可分长期调度和中、短期调度。 4 华中科技大学硕士学位论文 l 、长期调度。对于具有年调节以上性能的水库，首先要安排调度年度内的运行方式、 供水、蓄水的情况。具体内容是以水电厂水库调度为中一i i , ，包括电力系统的长期 电力电量平衡、设备检修计划的安排、备用方式的确定、水库入流预报和分析、 洪水控制和水库群优化调度等。 2 、短期调度与厂内经济运行。短期调度主要研究的内容是，电力系统的r ( 周) 电 力电量平衡；水火电厂有功、无功负荷在各电厂间的优化分配；备用容量的确定 和合理的接入方式；水电厂水库的r 调节和上游水位变动、下游不稳定流对最优 运行方式的影响等。n “ 以上几种分类都是以纯水电系统为对象的，此外还有按电网结构分的水、火电混 合电力系统长期优化调度。在混合电力系统中，常采用所有火电厂在计算调度期总燃 料费用最小为优化准则，建立相应数据模型，按一定的优化方法制定和实现水电站、 火电厂联合长期最优运行调度方式，即各水电站、火电厂之间在整个调度期的系统负 荷分配方式及各水电站水库的最优运行调度方式。 2 5 水库调度优化方法 水库调度优化方法，是指对系统优化课题的数学模型进行优化求解的方法，也称 优化技术。从数学角度看，优化就是求极值，是应用数学的一个分支。水利电力系统 优化调度的优化方法可分为单目标( 标量) 优化方法和多目标( 向量) 优化方法，应 当根据所建立的数学模型类别适当选用。 1 、单目标( 标量) 优化方法 对无约束的单目标课题的数学模型，求最优解采用求条件( 约束) 极值的优化方 法。如果是等值约束，且约束条件数m 与变量数n 相等，则课题的解是约束方程的交 点，是唯一的，但不是最优解。若n m ，则等式约束上各点都是可行解，且其中必有 一个最优解：若n ) 一书。他们从理论上证明了单层感知器能 力有限，不能处理异或问题，得出了悲观的结论，再加上当时的科学技术发展的状况， 使得人工神经网络的研究陷入了一个近十年的缓慢发展低潮期。 在七十年代，神经网络研究中仍提出了一些重要的模型，这些模型至今仍在应用。 s t e p h e n g m s s b e r g 和g a i l c a r p e n t e r 于1 9 6 9 年共同提出了一种自适应共振理论( a r t ) ， 华中科技大学硕士学位论文 后来又提出了两种形式的网络模型，即a r t l 模型和a r t 2 模型，它们分别适用于二 值输入和连续输入，其学习算法是自组织的，无需导师信号；1 9 7 2 年，芬兰学者t e u r o k o h o n e n 提出了自组织特征映射网络，与a r t 网络学习算法一样，它也是一种无监 督学习算法。0 8 1 ”】 进入八十年代，神经网络的研究取得了突破性的进展。1 9 8 2 年和1 9 8 4 年，美国 加州工学院物理学家j o h nj h o p f i e l d 提出了一种单层全互联的神经网络模型一一 h o p f i e l d 网络模型。该模型巧妙地引入了“能量函数”的概念，从而确定了神经网络 对应动力系统的稳定性，且得到了其解轨道演化到能量函数的局部极小值点的结论。 继此之后，h o p f i e l d 提出了该网络简明集成电路实现及其一系列应用研究，这为神经 计算机的研制奠定了基础，同时也开拓了神经网络用于联想记忆和优化计算的新途 径。1 9 8 4 年a t tb e l l 实验室利用h o p f i e l d 理论研制出了第一个神经网络芯片。 h o p f i e l d 的成就将人工神经网络的研究推向了高潮。八十年代神经网络的另一个最重 要成就是d a v i de r u m e l h a r t 和j a m e sl m c c l e l l a n d 及其研究组发表的并行分布处理理 论( p d p ) ，其中提出了多层前馈网络误差反传算法b p ( b a c kp r o p a g a t i o n ) 算法。 b p 算法的成功证明了多层网络的强大的解算能力和学习能力，否定了m i n s k y 等人关 于多层网络感知能力差的推测。r u m e l h a r t 和m c c l e l l a n d 等人被公认领导了现代人工 神经网络( a i n ) 技术的复兴。此外其他学者也对神经网络研究的发展作出了贡献， 如c a i a n i e l l o 的记忆方程( m e ) 丰富了学习与记忆的“突触修正假说”，y c l e e 等将 h o p f i e l d 网络的二阶关联模型推广到高阶，l a p e d e s 和f a r b e r 提出了主从双重网络系 统。 九十年代以来，a n n 模型种类已达到4 0 多种。在这些a n n 模型中，研究和使 用得较多的主要有：多层前馈神经网络、自组织特征映射神经网络、h o p f i e l d 神经网 络和对向传播神经网络。神经网络的研究热潮引起了世界各国的普遍关注，美国、欧 洲、r 本等国家和地区都投入大量资金开展这方面的研究。目前，神经网络理论的应 用已经渗透到各个领域。在认知科学、神经科学、工程应用、计算机科学物理科学等 众多领域，形成了很多a n n 模型的应用研究分支。 2 8 1 华中科技大学硕士学位论文 4 2 人工神经网络理论简介 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) ，又称联接机制模型( c o n n e c t i o n m o d e l ) 或并行分布处理模型( p a r a l l e dd i s t r i b u t e dp r o c e s s i n gm o d e l ) ，是目前国际上 的前沿研究领域，是一门涉及数学、物理学、脑科学、心理学、认知科学、计算机科 学、人工智能等学科的新兴交叉学科，它被广泛地应用于预测预报、优化计算、模式 识别、知识工程等研究领域，取得了一系列令人鼓舞的研究成果。f s f 1 3 1 人的大脑的神经系统是由成为脑细胞的l o “到1 0 佗个神经元组成，每个神经元可 直接与1 0 0 0 到2 0 0 0 0 个其他神经元相互作用。大脑强大的功能来自大量的多层次的 神经元的相互连接。 神经元是大脑处理信息的基本单元，它的结构如图4 1 所示。它是以细胞体为主 体，出许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的 枝干。它主要由细胞体、树突、轴突和突触( s y n a p s e ，又称神经键) 组成。 图4 1 生物神经元示意图 细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心，还是 接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体，它是神经元的输入 通道，接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最粗的一条树枝 纤维体，即神经纤维，其长度从几个微米到l m 左右。它是神经元的输出通道。轴突 木端也有许多向外延伸的树枝状纤维体，称为神经术梢，它是神经元信息的输出端， 华中科技大学硕士学位论文 用于输出神经元的动作脉冲。轴突有两种结构形式：髓鞘纤维和无髓鞘纤维，两者传 递信息的速度不同，前者约为后者的1 0 倍。一个神经元的神经末梢与另一神经元树 突或细胞体的接触处称为突触，它是神经元之问传递信息的输入输出接口。每个神经 元约有1 0 3 10 4 个突触。1 8 1 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神 经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其闽值电位后， 突触前膜将向突触间隙释放神经传递的化学物质( 乙酰胆碱) 。由于这种化学物质的扩 散，使位于突触后膜的离子通道( i o nc h a n n e l ) 开放，产生离子流，从而在突触后膜产 生j 下的或负的电位，称为突触后电位。突触有两种：兴奋性突触和抑制性突触。前者 产生正突触后电位，后者产生负突触后电位。一个神经元的各树突和细胞体往往通过 突触和大量的其他神经元相连接。这些突触后电位的变化，将对该神经元产生综合作 用，即当这些突触后电位的总和超过某一阎值时，该神经元便被激活，并产生脉冲， 而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送，从而 实现了神经元之间信息的传递。突触传递信息有一定的延迟时间，对于温血动物一般 为0 3 1 m s 。 当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲动效 应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前同时传来 的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空间累加都会对 突触后电位产生影响。 人工神经网络中的人工神经元( 有时也成为计算单元或计算节点) ，模拟了大脑 神经元的这些简单特性。1 5 3 人工神经网络是人工智能范畴中连接主义的代表，由大量功能简单的处理单元 人工神经元广泛连接而成，它可以从节点特性、网络结构和学习规则三方面来表 征。神经网络的信息处理由节点之间的相互作用来实现，知识与信息的存储表现为神 经元问分布式的物理联系，网络的学习和识别决定于各神经元连接权值的动态演化过 程。所以，神经网络是一个具有高度非线性的超大规模并行的自适应信息处理系统。 华中科技大学硕士学位论文 乏 l 图4 - 2 神经元结构 神经元是神经网络的基本单元，从数学模型上看是一个多入单出的映射，如图4 2 所示。设其第i 个输入为i i ，连接五与神经元之间的权值为w i ，n e t 为所有输入的 加权和，则神经元的输出d 为 脚2 莩呲 0 = f k e f ) 一般取激励函数，( ) 为区间( 0 ，1 ) 或( 一1 ，1 ) 内单调递增非线性函数，因此神经网络的 节点特性为非线性。 神经网络的基本思想是从仿生学的角度对人脑的神经系统进行模拟，使机器具有 人脑那样的感知、学习和推理等智能。因此在结构上从模仿人脑中神经元相互连接的 方式出发，神经网络可分为前馈式和反馈式两大类。前馈式网络分层排列，每个神经 元只与前一个神经元连接，著名的感知机模型和b p 网络即为典型的前馈网络。反馈 式网络各神经元与其它神经元相连，如h o p f i e l d 网络。此外，还有前馈和反馈混合型、 层内互联抑制型等网络。这些都是从人脑神经系统的多种连接形式上得到启发后建立 的。1 8 1 2 6 】 神经网络节点的非线性及其大规模并行分布的物理结构，使其具有高度的非线 性，能同时处理大量的高维数信息，并具有高度的鲁棒性和容错能力。这f 是神经网 络目前得到广泛重视的重要原因。 4 3 神经网络的学习方法 人工神经网络近似函数、处理信息的能力完全取决于网络中各种神经元之f n j 的耦 华中科技大学硕士学位论文 合权值。对于较大规模的网络，权值不可能一一设定，因此网络本身必须具有学习的 功能，即能够从范模式的学习中逐渐调整权值，使网络整体具有近似函数或处理信息 的功能。 按照学习方式，网络学习可分为两大类：无教师学 习( s u p e r v i s e dl e a r n i n g ) 和有教 师学 习( u n s u p e r v i s e dl e a r n i n g ) 。无教师学习也称为无监督学习，这是指供网络学习的 数据仅有一批输入数据。无导师学习的一种方法是迭代自组织学习。网络在初始状态 下，形均设置为一正小数，通过反复加载这批数据输入网络，使网络不断受到刺激， 但与曾经受到的刺激相同或相近时，矿以某一系数增大，重复加入的同种刺激使相应 的增加到接近1 的某值。这一学习过程有点类似于多元分析中的聚类分析，学习的 结果使网络具有某种“记忆”能力以致形成“条件反射”。无教师学习方法用于一种 称为值组织网络学习过程中，前向神经网络不采用这种方法。【8 】【2 6 】【5 3 】 臣口j 坠囝 图4 3 无教师指导的学习框图 有导师学习也叫做有监督学习，在学习时，需要一批输入输出数据，也叫做学习 样本，这些样本涉及到所处理的实际问题。例如，用神经网络建立某实际系统的数学 模型时，可以通过实验，获得反映实际系统输入输出关系的数据，并将这些数据作为 网络的学习样本。【1 7 】【1 8 】 图4 4 有教师指导的学习框图 设学习样本为( x ，x ：，x ：f 2p 。9 ) ( p = 1 , 2 ，p ) ，这罩p 为样本总数。将 样本的输入数据z m 加载到网络的输入层后，在确定网络的结构和向量形后( 这罩仅 是初步确定矽，或是随机给出形值) ，按照有关计算方法，计算网络的输出 一碎善 入一 + 输一 一境一一环一 华中科技大学硕士学位论文 y 印( = 1 , 2 ，) ，将网络的输出值y 扣与实际值如进行比较，得到计算误差，按照一 定的方法修改值，使网络朝着能币确响应的方向不断发展，直到网络的输出与期望 的输出之差在允许的范围之内。 一般以网络输出的误差平方和： 1p ， = 去( f 扣一y 如) 2 ( 4 2 ) 厶p = l k = i 为最小，作为网络学习的理想结果，大部分文献中，将式( 4 2 ) 定义的称为能量函数。 用人工神经网络解决实际问题时，首先要确定网络的结构和网络中各层神经元所 选用的激发函数，然后就是确定网络中神经元之问的连接权以及神经元的阈值，也就 是确定向量的值。确定矿的方法和过程称为人工神经网络的学习，也叫做对网络 的训练。网络学习中常用的方法有以下几种： 4 3 1 h e b b 学习规则1 3 3 1 基于对生理学和心理学的长期研究，d 0 h e b b 提出了生物神经元学习的假设，即 当两个神经元同时处于兴奋状态时，它们之间的连接应当加强( h e b b ，1 9 4 9 ) 。这一假设 可用下式来描述 q ( i + 1 ) = ( ) + ，f i ， ( 4 3 ) 这罩 ( 七) 一一连接从神经元i 到神经元j 的当前权值； ，一神经元巧的激活水平 h e b b 学习规则是一种无教师学习方法，它只根据神经元连接间的激活水平改变权 值，因此这种方法亦称相关规则。 当，f = o 一只，y f = f ( i i ) = 1 ( 1 + e x p ( - i f ) ) ( 4 4 ) ， h e b b 学习规则改写为： 口( + 1 ) = ( 女) + y i y ， ( 4 5 ) 另外，根据神经元状态变化来调整权值的h e b b 学习称为微分h e b b 学习 华中科技大学硕士学位论文 ( d i f f e r e n t i a lh e b b i a nl e a r n i n g ) ，可描述如下： o ) i j ( 女+ 1 ) = f ( ) + 【( y ，( 七) 一y ，( 七一1 ) 】k y ，( 女) 一y ，( 女一1 ) j ( 4 6 ) 4 3 2 梯度下降法 假设下列准则函数 ，( 矽) = 三川，玎= i 1 ( m ) 一f ( w ，动2 ( 4 7 ) 其中，】，( 尼) 代表希望的输出，p ( ，) 为网络的实际输出，w 是网络的所有权值组成 的向量，e ( w ，尼) 为矿( ，七) 对】，( 七) 的偏差现在的问题是如何调整w 使准则函数最小。 梯度下降法( g r a d i e n t d e c e n t m e t h o d ) 可用来解决此问题，其基本思想是沿着j ( w ) 的负 梯度方向不断修正w ( k ) 值，直到j ( w ) 达到最小值。这种方法的数学表达式为： w ( k + 1 m 州t ) 卜铡h 。， s ， 其中，是控制权值修正速度的变量，j ( w ) 的梯度为： 百o j ( w ) h 旷叫附) 翌驴h 。， ( 4 - 9 ) 在上述问题中，把网络的输出看成是网络权值向量w 的函数，因此网络的学习就是根 据希望的输出和实际的网络输出之间的误差平方最小原则来修正网络的权向量。根据 不同形式的p ( ，七) ，我们可推导出相应的万规则和b p 算法： j 规则： 在b w i d r o w 的自适应性元件( a d a l i n e ：a d a p t i v e l i n e a re l e m e n t ) q b ，自适应线性神 经元的输出可表示成： p ( ，j | ) = w 7 x ( t )( 4 一l o ) 其中，矿= ( ，q ，。) 7 为权向量，x ( 七) = ( x 。，x ，。) 矗、为k 时刻的输入模式。因 此准则函数j ( w ) 的梯度为： 华中科技大学硕士学位论文 百o j ( w ) 一( 嘲堡筹笋b ：叫附m 吣州，( 4 - 1 1 ) 当( ) = 口州x 。| | 2 时，我们有以下的w i d r o w 6 规则： 职1 ) 硼+ 谛“叭n 协 ( 4 - 1 2 ) 这里a 是控制算法稳定性和收敛性的常数。当0 口 2 时，上述算法保证稳定收敛， 但实际上常取o 1 a o 和任意l 2 函数f ：【0 ，1 】”斗r ，存在一个三层b p 网络，它 可在任意占平方误差精度内逼近，r 。1 1 4 1 1 4 9 l 华中科技大学硕士学位论文 4 4 2b p 网络学习公式推导 b p 网络学习公式推导的指导思想是，对网络权值( ，矗) 的修正与闽值( 口) 的 修f ，使误差函数( e ) 沿负梯度方向下降，b p 网络三层节点表示为，输入节点：x ， 隐节点：y ，输出结点：0 ，。 输入节点与隐节点间的网络权值为。，隐节点与输出结点间的网络权值为矗。 当输出结点的期望输出为t 时，b p 模型的计算公式如下 l 、隐节点的输出： y ，= 厂( z ，一b ) = f ( n e t ，) 其中n e t ，= _ 一只。 ， 2 、输出结点的计算输出： o i = 厂( 瓦y ，一q ) = f ( n e t ，) i 其中n e t ，= 矗咒一只。 i 3 、输出结点的误差公式 e = 三军( r ，一q ) 2 = 三军( r ，一，( 军瓦y ，一岛) ) 2 ( 4 1 5 ) ( 4 1 6 ) = 圭莩( r ，一厂( 莩毛厂( 莩x ，一只) 一岛) ) 2 ( 4 - 1 7 ) ( 1 ) 对输出结点的公式推导 堕：堕监：堕一a o , a t l i 铃a o k8 t q8 0 t8 t ” e 是多个q 的函数，但只有一个d ，与瓦有关。各q 间相互独立。其中 ( 4 1 8 ) 署= 净z 蛾刮，鲁叫卜。，( 4 - 1 9 ) 华中科技大学硕士学位论文 则 设输入节点误差 一of 0 0 1 i n f e t i ：厂( n e t t ) y o r, i o n e t t8 t h 一 嚣- - ( 卜。f ) 厂+ r ) 。y 4 = 一( f ，一0 1 ) f ( n e t ，) 则 署一弧 ( 2 ) 对隐节点的公式推导： 8 = i 0 0 , o y ：a | i 旦：f y 堕塑盟 ( 4 2 0 ) ( 4 2 1 ) ( 4 2 2 ) ( 4 - 2 3 ) e 是多个0 ，函数，针对某一个对应一个y ，它与所有d ，有关( 上式只存在对，的 求和) ，其中 则 设隐节点误差 则 盖= 净2 心刮百0 0 叫f f _ d ，) ( 4 2 4 ) 彗：旦警：厂( 删，) 掣：厂1 ( 棚，) 瓦( 4 - 2 5 ) o y fo n e t to y ，砂 瓦a n e - t i ：厂+ ( 删，) 一， d 珊i ( 4 2 6 ) a o e f 2 一莩( f ，一q ) 厂( n 甜，) 矗厂。( n e r r ) 工7 ( 4 2 7 ) = 忑喁i f j ( n e t i 、x i = 厂。( n e t ，) 8 1 t ，i ( 4 2 8 ) 华中科技大学硕士学位论文 o e ：- 6 + (429)ix s 面2 h 吃w 由于权值的修正乃，a c o 。正比于误差函数沿梯度下降，则有 缱| 2 一q 瓦o f = 椰， 4 = ( t ，一o i ) 厂( n e t ，) “2 一q a o 姐e i = q 6 i x i 口国： 。 嗔= f 。( n e t ，) 4 矗 ( 4 3 0 ) ( 4 - 3 1 ) ( 4 3 2 ) ( 4 3 3 ) 假设b p 网络结构如图所示。共有m 层( 不包括输入层) ，第l 层的节点数为n l ，y ：”代 表第，层节点女的输出，且由下式表示 - - y 。( t ：叨n y 弘1 ) - 芝国抄? 一， y ：) - 厂( 硭)k = l 2 ，n l 这里吲”为连接第，一1 层节点到第，层节点七的权向量，y 0 = x 。 给定教师信号( x ，y ) 后，网络的权值将被调整，使下列准则函数最小 e ( 矿) = 吉8 y p l l 2 = 圭善( k e ) 2 其中坟为网络的输出，且吱= y ：m ) 。 f 4 3 4 ) ( 4 3 5 ) r 4 3 6 ) 由梯度下降法，我们可以求得e ( 缈) 的梯度来修正权值，即权向量彬7 的修f 量可由 下式求得 这罩，对于输出层： a w ：川羔= 叫。， a 矽” 。 ( 4 3 7 ) 华中科技大学硕士学位论文 对其它层 耐”= ( 1 一r ) 厂( f ) r 4 3 8 ) 月“l 科o = 孵“”占厂( 霉“) 1 = i 2 ，m 一1 ( 4 3 9 ) j = l 因此误差的计算是从输出层向输入层的方向进行，这就是b p 算法( 误差反向传播 算法) 名字的由来一般而言，函数厂( “) 常取s i g m o i d 函数，即 f ( u ) 2 百面1 丽 这时f ( u ) 的倒数可用乘积来表示，使计算简单化。 厂( “) = 厂( “) ( 1 一厂( “) )( 4 - 4 1 ) 对于给定的不同的教师信号，按照上述的方法，不断反复地修正权值，使网络的 输出接近所有的希望输出。b p 算法的流程图如图4 - 6 所示。初始化就是选择w 的初 权值，一般取零左右很小的随机数。4 】【4 9 1 图4 _ 6b p 算法流程图 华中科技大学硕士学位论文 4 4 3b p 算法公式汇总 l 、输出结点的输出o t 计算公式： ( 1 ) 输入节点的输入：x 。 ( 2 ) 隐节点的输出：y = 厂( 口x ，一b ) ， 其中连接权值，节点阈值只 ( 3 ) 输出结点输出：o 。= ，( t o y ；一q ) 其中连接权值弓，节点阈值辞。 2 、输出层( 隐节点到输出结点问) 的修正公式( 输出结点的期望输出：t ，) ( 1 ) 误差控制： p 所有样本误差： e = e k 占，其中一个样本误差 e k = 妙一研 其中p 为样本数，n 为输出结点数。 ( 2 ) 误差公式：4 = ( f ，一o t ) d ，( 1 一d ，) ( 3 ) 权修正值：矗( 七十1 ) = t , ( k ) + r l g ，y f ，其中k 为迭代次数。 ( 4 ) 阈值修正：只( + 1 ) = o a k ) + 4 3 、隐节点层( 输入节点到隐节点数) 的修j 下公式 ( 1 ) 误差公式：蕾= y l ( 1 一y i ) 4 死 i ( 2 ) 权值公式：0 3 d ( + 1 ) = ( 七) + r 4 x ， ( 3 ) 闽值修f ：o i ( k + 1 ) = b ( ) + 叩6 3 6 华中科技大学硕士学位论文 4 4 4b p 网络的设计分析 在进行b p 网络设计前，一般应从网络的层数、每层中的神经元个数、初始值以 及学习方法等方面来进行考虑： 1 、网络的层数 理论上早已证明：具有偏差和至少一个s 型隐合层加上一个线性输出层的网络， 能够逼近任何有理函数。增加层数主要可以更进一步的降低误差，提高精度，但同时 也使网络复杂化，从而增加了网络权值的训练时间，而误差精度的提高实际上也可以 通过增加隐含层中的神经元数目来获得，其训练效果也比增加层数更容易观察和调 整，所以一般情况下，应该优先增加隐含层中的神经元数。 2 、隐含层的神经元网络的层数 网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元个数来获得。 这在结构实现上，要比增加更多的隐含层要简单的多。那么究竟选取多少个隐含节点 才合适? 这在理论上并没有一个明确的规定。在具体设计时，比较实际的做法是通过 对不同神经元数进行训练比较对比，然后适当地加上一点余量。 3 、初始权值的