（水力学及河流动力学专业论文）改进lm型bp模型的降雨径流预报.pdf

大连理工大学硕士学位论文 摘要 降雨径流预报的预测结果是制定水资源系统运行方案的基础并可以广泛地应用在 防治洪水、干旱保护、环境保护、水库调度、水电站运行、航运管理和水资源分配等领 域中。但是由于降雨径流内在机制的复杂性及人类活动的影响，所以以往的预报精度往 往不尽如人意。因此，降雨径流的研究迫切需要引入新的理论和方法。在这种形式下， 本论文把基于改进的l m 型b p 神经网络模型应用于降雨径流的预报计算上，为提高降 雨径流的预报精度提供了一条有效的途径。本文结合对松花江干流河道抗洪能力分析研 究的项目进行了以下几个方面的工作： ( 1 、对l m ( l e v e n b e r g m a r q u a r d t 优化方法与b a y e s i a n 正则化方法) 型b p 神经网 络模型进行如下改进：采用两轴法计算流域的平均日降雨量；把汛期和枯水期分开 来建模。 ( 2 1 利用改进的l - m 型b p 网络模型对松花江干流流域做洪水预报，并与传统方法 进行对比。实验表明，采用新方法的预报精度较高，能较好的反映计算流域的降雨径流 规律。 ( 3 1 结合l - m 型b p 神经网络建立了一套可靠实用的松花江流域河网水动力学模型。 对松花江的局部流域和较大范围流域都做了洪水预报。预报结果证明，本文建立的松花 江河网水动力学模型，计算精度较高，使用方便，为今后综合开展松花江水环境数学模 型研究打下了较好的基础。 关键词：降雨径流预报；人工神经网络；改进的l _ _ 型即算法；两轴法 改进l m 型b p 模型的降雨径流预报 s t u d y o nt h em o d e lo fr a i n f a l l r u n o f f f o r e c a s t i n gb a s e d o ni m p r o v e d l mb pn e t w o r k a b s t r a c t t h er e s u l to fr a i n f a l l r u n o f ff o r e c a s t i n gi sr e q u i r e df o re f f e c t i v eh y d r o p o w e rr e s e r v o i r m a n a g e m e n ta n ds c h e d u l i n g i tc a l lb ew i d e l yu s e di nm a n yf i e l d ss u c ha sf l o o dc o n t r o l , d r o u g h tp r o t e c t i n g , e n v i r o n m e n tp r o t e c t i n g ，o p e r a t i o no fr e s e r v o i r , r u n n i n go fh y d r o p o w e r s t a t i o n , s h i pm a n a g e m e n ta n dw a t e rr e s o u f c ed i s t r i b u t i o n i tc a ns h o wh u g ee c o n o m i cv a l u ei n o p e r a t i o no f r e s e r v o i rh y d r o p o w e rs t a t i o n b u tt h ep r e c i s i o no f t h er e s u l ti sn o ts a t i s f a e t o r yt o i l sb e c a u s eo f t h ec o m p l e x i t yo f i n t r i n s i cf l o wm e c h a n i s ma n dt h ei n f l u e n c eo f h u m a na c t i v i t y t ot h er i v e rb a s i n s o ，n e wt h e o r ya n dm e t h o d sa r eb e i n gu r g e n t l yn e e d e df o r t h es t u d yo nt h e r a i n f a l l - r u n o f ff o r e c a s t i n g u n d e rt h e s ec o n d i t i o n s t h em o d e lb a s e do nt h e i m p r o v e d l e v e n b e r g m a r q u a r d tb pn e t w o r ki sa p p l i e di nr a i n f a l l - r u n o f ff o r e c a s t i n g ，a n dp r o v i d e sa n e f f e c t i v ea p p r o a c ht oi m p r o v ea c c u r a c yo fr a i n f a l l r l m o 仃f o r e c a s t i n g t h ef o c u so ft h ep a p e r c o m b i n e dw i t ht h ep r o j e c to fs o n g h u ar i v e rd r a i n a g ea r e ai sa sf o l l o w s ： ( 1 ) i no r d e rt oi m p r o v el e v e n b e r g - m a r q u a r d tb pr a i n f a l l - r u n o f ff o r e c a s t i n gm o d e l ，t h i s p a p e ru s e st h et w o a x i sm e t h o dt oc a l c u l a t ea v e r a g ep r e c i $ ) r a t i o nr a i nf a l l ；a n ds e p a r a t e st h e f l o o ds e a s o na n dl o ww a t e rs e a s o n ( 2 ) a ni m p r o v e dl e v e n b e r g - m a r q u a r d tb pn e t w o r km o d e lw a sd e v e l o p e dt of o r e c a s t r i v e rf l o wi nt h es o n g h u ar i v e rd r a i l l ；a g ea r e a 田1 er e s u l to ft h es i m u l a t i o ua n dc o m p a r a t i v e e x p e r i m e n ti n d i c a t e st h a tt h en e t w o r km o d e lp r o p o s e db yt h i sp a p e rc a nb ea p p l i e dm o r e s u c c e s s f u l l yi nt h ec o m p l i c a t e dr i v e rn e t w o r k ( 3 ) ac r e d i b l ea n da p p l i e dh y d r a u l i cd y n a m i c sm o d e lb a s e do nl e v e n b e r g - m a r q u a r d tb p n e t w o r ki sa p p l i e dt os o n g h u ar i v e r & a i n a g ea r e a , a n dt h em o d e lp r o p o s e db yt h i sp a p e rc a n b ea p p l i e dh i g h e ra c c u r a c ya n dm o r ec o n v e n i e n c e k e yw o r d s ：r a i n f a l l - r u n o f f f o r e c a s t i n g ；a r t i f i c i a ln e u r a ln e t w o r k s ：i m p r o v e dl - mb p n e t w o r k ；t w o - a x i sm e t h o d 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工作 及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学 或者其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究 所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：丝鱼亟日期：三二兰塞z 月5 0 妇 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名：! 垒毖 导师魏垂羔 力丛年丝月主旦日 大连理工大学硕士学位论文 1 绪论 1 1 问题的提出和研究意义 水是人类赖以生存的自然资源之一。与其它资源不同，水资源是一种动态资源，它 随时间、空间的变化而变化。在我国，由于水资源在时间、空间上的分布极不均匀，造 成某些地区干旱少雨，而另一些地区洪涝成灾。自1 9 4 9 年以来，我国兴修了大量的水 利工程，在水资源综合利用方面发挥了很大的作用，但由于受水文预报水平的限制，不 能准确地预报降雨和径流，减少了水利工程防洪和兴利调度可能产生的巨大效益。 径流预报是泛指利用数学模型对流域的径流趋势进行预测。其预测结果是制定水资 源系统中长期运行方案的基础并可以广泛的应用在防治洪水、干旱保护、环境保护、水 库调度、水电站运行、航运管理和水资源分配等领域中，尤其对水库和水电站运行调度 具有极大的经济价值。但是由于径流内在机制的复杂性及人类活动的影响，所以径流预 报的精度往往不尽如人意。实际上，径流的形成系统是一个超大规模的非线性动力学系 统，从预报的角度讲，如能建立描述该动力系统的动力方程是最好的，但这几乎是不可 能的，这主要是因为水文现象的发生和发展往往受到许多因子的综合作用，而这些因子 和预报结果之间的关系有时很难用确切的函数关系来描述。 一 当前，水文预报研究仍处于发展阶段，严重滞后于生产实际的需要。水文预报的模 型虽然很多，但目前还没有一种模型对所有的水文序列来说都适用，预报模型的实用性 仍是有待研究的问题。所以，对一个具体的水文序列预报问题，目前较为有效的方法是 通过分析，尝试和检验等步骤，最终找到合适的模型。 人工神经网络是一门新兴的交叉科学，也是目前国内外研究十分活跃的前沿领域。 人工神经网络是一个由简单信息处理单元组成的高度相关的网络系统，是非线性动力学 系统，在水资源系统预报问题的广泛应用中表现了如下优点： ( 1 ) 人工神经网络的应用不需要基本过程的前期知识。 ( 2 ) 人工神经网络在研究中不需识别过程各部分之间的复杂关系。 ( 3 ) 人工神经网络既不需要约束，也不需要事先假定解的结构，它总是收敛于一个 最优解。 ( 4 ) 人工神经网络能并行处理，快速处理大量信息。 ( 5 ) 人工神经网络是高度非线性网络，具有良好的非线性逼近能力。 9 0 年代以来，人工神经网络在水文预报中的应用逐渐增多。国内外的专家学者在这 方面做了大量的工作，实践证明，人工神经网络强大的非线性特点和容错能力，使一些 改进l - m 型b p 模型的降雨径流预报 用其他方法难以获得理想效果的预报问题的解决成为可能，众多试验表明它在水文预报 中的应用是相当成功的。 1 2 水文模型的发展状况 1 2 1 降雨径流预报的发展 传统的降雨径流预报方法是从工程水文学计算方法直接移植的。其间也有众多新创 的方法在实践中尝试和应用。几十年来，降雨径流预报实践对各种方法进行了客观的考 验、筛选和淘汰，只有那些适应报讯资料条件并且预报精度可靠的方法才能保留下来。 有些方法虽然可行，但在相比之下略为逊色的，也从第一线逐渐退至第二线“】。 众所周知，水文科学从经验性阶段向近代科学的转变，降雨径流预报技术形成当今 形态的起点是在2 0 世纪3 0 年代。根据水文学发展的特点，可以分为萌芽时期( 1 6 0 0 年以前，为了生产需要) 、奠基时期( 1 6 0 0 1 9 0 0 年，实验水文学的兴起) 、实践时期 ( 1 9 0 0 1 9 5 0 ，深入讨论水文规律，理论联系实际) 和现代化时期( 水文学理论的深入 研究和有关学科的渗透) 【2 1 几个阶段。原先水文预报主要是经验型的，如1 9 3 1 年霍顿 ( h o r t o n ) 在文献 3 1 中提出的下渗理论。1 9 3 2 年，谢尔曼( s h e r m a n ) 在文献 4 1 中提出 的预报流域汇流单位线法。1 9 3 5 1 9 3 8 年，麦卡锡( m c c a r t h y ) 在美国总结了以“马 斯京于法”著称的洪水演算预报方法【5 】。1 9 3 8 年，美国斯奈德( s n y d e r ) 在文献“综合 单位线”中，提出了对短缺资料地区使用综合单位线的预报方法。以后纳希又提出瞬时 单位线法等方法，这些都是沿用至今的基本洪水预报技术。但是，这些方法存在诸多缺 陷，如逻辑推理上不严密，方案不规范、不客观，在时空上不能外延等拍】。于是，开始 用数学的方法去描述和模拟水文循环的过程，产生了水文模型的概念【7 】。 目前国内外典型的概念性水文模型有：s t a n f o r d 模型、s a c r a m e n t o 模型、t a n k 模型、 c l s 模型、b o u g h t o n 模型和新安江模型。水文模型将复杂的水文过程概化成数学物理方 程并在计算机上实现，这样整个流域的产汇流问题就归结为模型结构与模型参数的问 题。当一个流域的模型结构和参数确定后，系统就完全确定了，就能把任何输入过程确 定地转化为输出过程。从这点看来，水文模型有它独特的优点。但预报模型在实际的应 用中却常常难以达到传统预报方法的精度。这是因为现有的流域水文模型为概念性模 型，主要借助于概念性元素或经验函数关系来模拟水文过程，这样的模拟往往只涉及现 象的表面而不涉及现象的本质和物理机制，因而模型的许多参数缺乏明确的物理意义， 只反映有关影响因素对流域径流形成过程的平均作用 g 】。而且现有水文模型有很多参数 大连理工大学硕士学位论文 靠优选获得，这种方法对实测资料的依赖性很大，当所选用洪水资料的代表性有问题时， 就很难获得满意的结果。在这种情况下，“实时”概念引入了水文预报当中。 事实上，“实时”( r e a l t i m e ) 是计算机用语。控制理论上的实时预报的核心技术 是利用“新息”( 当前时刻预报值与实测值之差) 导向，对系统模型或者对预报做出现 时校正。系统动态识别( 亦称参数自适应估计) 及卡尔曼滤波( k a l m a nf i l t e r i n g ) 就是 这类方法的典型代表。最早将卡尔曼滤波应用于水文预报研究的是日本学者h i n o ，1 9 7 0 年在文献9 1 中提出，并在文献f l o l 中加以发展。 1 9 8 0 年以来，美国开展了关于萨克拉门托流域模型( 美国气象局n w s ) 用于实时 预报的研究。1 9 8 0 年，凯特尼迪和伯拉斯发表了论文“用概念性水文进行实时预报，【“】， 报告了对n w s 模型进行实时化处理的第一个研究。此文中用的n w s 模型是略经简化 了的，这一工作在1 9 8 2 年由波沙大( p o s a d a ) 和伯拉斯在论文“一个大概念性降雨一 径流模型的自动参数估计：一种极大似然法【1 2 】”中，推广到萨克拉门托原模型中。论文 提出了一种新算法。此后围绕这种新的算法，许多学者在n w s 模型参数自动识别、过 滤器使用中参数矩阵的确定方面进行了一系列研究。 在国内，虽然现代洪水预报起步较晚，但进步十分明显。除了取得了一系列令人瞩 目的成就之外，国内现代洪水技术还有许多独特的特点，比如比较注重基础理论研究， 十分注意研究成果的实用性等，这里就不再叙述。 1 2 2 预报模型的发展 以前常用的水文预报模型一般可以分为概念性和分布式两种，上面提到的都属于概 念性模型。但自从1 9 6 9 年f r e e z e 和h a r l a n t ”1 第一次提出了关于分布式物理模型的概念 以来，分布式水文模型就得到了越来越快的发展。三个欧洲机构提出的s h e 模型 1 4 1 是 最早的分布式水文模型代表，它充分考虑了截留、下渗、土壤蓄水量、蒸发量、地表径 流、融雪径流等水文过程。另外还有一些考虑流域空间特性、输入输出空间变化的分布 式物理模型，如c e q u e a u 模型瞰1 和s u s a 模型f l 旬等。国内在这一方面起步较晚，但也 取得了一定的成绩，其中包括李兰等 1 7 - 1 8 1 提出的包括小流域产流、汇流、流域单宽入流 和上游入流反演、河道洪水演进4 个部分的分布式水文模型，郝振纯等口钟建立了大尺度 分布式流域水文模型，郭生练等珊1 提出的基于d e m 的分布式流域水文物理模型，俞鑫 颖等 2 1 1 提出的冰雪融水雨水混合水文模型等。这些分布式水文模型与概念性模型相比， 用严格的数学物理方程表述水文循环的各子过程，参数和变量中充分考虑空间的变异 性，并考虑不同单元间的水平联系，对水量和能量过程均采用偏微分方程模拟。但是由 于观测手段不够完善，掌握的资料信息不充分，和人类知识水平有限，这种模型常不得 改进l - m 型b p 模型的降雨径流预报 不采用简化或假设的形式表述物理规律。实际上，建立严格意义的分布式模型是非常之 难，不仅要求高深的数学工具，同时要求使用模型的人具备相当丰富的经验和知识技能。 理论上的分布式模型是很难实现的，现有的分布式模型常包含有不少的简化和假设，因 此实用时需要大量的数据进行率定。在模型率定后，通常是使用少量的参数来代表流域 地理特性。而且由于人类认知水平的限制，在这种水文模拟模型中，不得不忽略降雨一 一径流过程的空间分布不均匀性、时变特性和随即性( z e a l a n d 等) ，难以真正体现 分布式模型的特性和发挥其优势，所以分布式物理模型最终一般也沦为参数化的准分布 式的模型。 从而固守传统的水文规律，在解决问题之前先确定一个模式，把思路局限在以往的 经验上，在很多时候是行不通的。这种根据所掌握的物理规律，事先假设模型结构，然 后进行率定的建模方式可以称之为模型驱动的方式，这样建立的模型可称之为模型驱动 模型( m o d v l - - d r i v e nm o d e l s ) 。这种模型是建立在所掌握的规律是正确的假设之上的， 如果由于人类认识水平的局限，所归纳出的规律并不十分正确，则这种建模途径是十分 危险的，会带来先入为主的偏见，直接影响到所建模型的精度。 现在由于计算机软、硬件的日益成熟，功能迅猛增强，许多凭借于计算机的高速计 算功能而得以发展的人工智能技术，如人工神经网络( 心n ) 、遗传算法、模糊逻辑、 决策树等，受到了广大的科学工作者和工程师们的青睐，在水资源管理上的应用成上升 趋势。相对于先假定模式的模型驱动模型，使用人工智能技术从大量实测数据中建立的 模型可以称为数据驱动模型( 又称“黑箱”模型，主要指建立在系统分析上的模型) 2 3 - 2 4 1 。 用于建立数据驱动模型的技术又称为数据挖掘技术( d a t am i n i n gt e c h n i q u e s ) 【”制。数 据挖掘技术一般不太注重数据序列的分布及其统计规律，而是通过直接对数据本身的分 析、研究，以挖掘数据本身所有潜在的规律【“2 ”。这种模型不像以往的模拟技术，事先 假设一个模式，而后把实测数据往上进行生硬的拟合，而是直接从数据中搜寻，归纳出 数据中蕴含的潜在的知识或规律，在没有固定模式的情况下发现、挖掘系统演变的规律 性的东西。由于不事先假定一个固定的模式，可以避免人们在认识有误时错误的假定， 这样得到的模型可以客观地描述系统内部的真正构成，不受以往知识的束缚，从而找到 系统输入输出之间的合理的关系。人工神经网络正是这种数据挖掘技术 2 9 - 3 0 】。总之，采 用新技术，获取更多的信息源是水文模拟发展的一个趋势，随着计算机技术和一些交叉 学科的发展，水文模型的发展将变得更加迅猛。 1 3 选题背景 本论文是以吉林省嫩江一松花江千流河道抗洪实际工程为背景进行研究的。 大连理工大学硕士学位论文 松辽流域位于我国东北部，包括辽宁、吉林、黑龙江三省和内蒙古自治区东部四盟 ( 市) 及河北省承德市的一部分。总面积为1 2 3 8 万平方千米。松辽流域洪水主要发生 在7 9 月。松花江洪水主要来自嫩江和第二松花江的上游山区及广大区间，洪水传播 时间较长，涨落较慢；辽河流域洪水主要来自上游山区、丘陵，洪水峰高量小，陡涨陡 落。松辽流域洪水灾害频繁，有记载以来，松花江、辽河共发生过9 8 次较大洪水，平 均每2 年一次，其中1 9 3 2 、1 9 5 3 、1 9 5 7 、1 9 9 5 、1 9 9 8 等年份洪灾损失较大。目前，主 要江河防洪能力与国家防洪标准和流域规划要求尚有一定差距，松花江流域重要 级支流除牡丹江、讷谟尔河和洮儿河外基本无控制性枢纽工程，防洪主要靠堤防，对洪 水的调控能力较弱，致使汛期抗洪抢险处于被动局面，迫切需要加强防洪工程建设。 流域概况见图1 1 。 图1 1 流域概况 f i g 1 1g e n e r a ls i t u a t i o no f d r a i n a g ea r e a 为了搞好松花江的防洪与水资源调度工作，水利部松辽水利委员会提出了嫩江一 松花江干流河道行洪能力分析研究方案。本次研究的主要任务是建立将水文学与水动 改进l - m 型b p 模型的降雨径流预报 力学相结合的河网一流域分区模型，同时开发流域模型与智能计算分析相结合的水利信 息系统。建立嫩江、第二松花江和松花江干流的流域分区模型的目的是提供流域水体与 水力要素随时间、空间演变的数值模拟系统，从而为分析与预报提供可靠、准确的数据 基础。智能计算分析模块是利用长期积累的观测数据及大量的数值模拟数据，通过神经 网络智能计算算法，利用基于知识、学习与训练的电子封装，进行模型的参数优化，大 大提高了防洪预案设计、防洪决策和水资源调度的效率。 1 4 论文的组织结构和研究内容 1 4 1 论文组织结构 全文共分5 章，第1 章是论文的绪论，第2 章介绍了人工神经网络的基本理论，第 3 章是b p 神经网络的介绍，第4 章和第5 章是全文的核心部分，阐述了如何建立降雨 径流模型，并把改进的l - m 型b p 神经网络模型应用于松花江的降雨径流计算中，同时 对计算的结果进行了分析。结合松花江干流河道抗洪能力的计算，说明了本论文基于改 进的l - m 型b p 神经网络的降雨径流预报新方法具有运算速度快、简便易用并且预报精 度较高等特点，为降雨径流预报的分析研究提供了一种有效可靠的途径和方法。 全文的组织结构框图如图l2 所示： 1 绪论 l i 2 人工神经网络基本理论 3 b p 神绎网络模犁 l 4 降雨径流预报模型 j 5 模型应用实例 图1 2 全文组织结构框图 f i g 1 2o r g a n i z a t i o no f w h o l e - l e n g t h 大连理工大学硕士学位论文 1 4 2 研究内容 第l 章是绪论，阐述了本文所研究问题的提出及其研究背景，回顾了降雨径流计算 的发展现状，并说明了降雨径流研究的重要性及其积极意义。最后综述了论文的研究目 的、方法及主要工作内容。 第2 章是人工神经网络的基本理论，本章阐述了有关人工神经网络的基本理论，详 细地介绍了神经网络的定义、发展历程、学习方法、分类和特点以及神经网络各种模型 的优缺点。 第3 章是b p 神经网络模型，本章主要介绍了b p 神经网络模型，阐述了经典b p 算 法及其存在的问题，同时还介绍了m a t l a b 神经网络工具箱，并应用m a t l a b 神经 网络工具箱对经典的b p 算法进行改进，最后详细阐述了本文所采用的 l e v e n b e r g - m a r q u a r d t 型b p 神经算法。 第4 章是降雨径流预报模型，本章讨论了降雨径流预报的意义，并系统地阐述了本 论文在构建神经网络模型时是如何对模型加以改进的：基于各雨量站对径流模拟的影响 不同的特点，采用两轴法计算流域平均臼雨量；把汛期和枯水期分开来建模，使降雨径 流模型的预报更为准确。最后利用改进型l - m ( l e v e n b e r g - m a r q u a r d t 优化方法与b a y e s i a n 正则化方法) 算法，建立了改进的b p 网络降雨径流模型。 第5 章是模型应用实例，本章详细介绍了松花江流域的概况，并基于改进的l m 型 b p 神经网络建立了干流流域的降雨径流预报模型，把计算结果与现有的其他方法进行 了对比，发现新方法能更好的反映计算流域的降雨径流规律。最后结合改进的l m 型 b p 神经网络建立了一套可靠实用的松花江流域河网水动力学模型，实验证明本文所建 立的松花江流域河网水动力学模型，预报精度较高，使用方便，为今后综合开展松花江 水环境数学模型研究打下了较好的基础。 1 5 本章小结 本章主要阐述了论文所研究问题的提出及研究背景，回顾了降雨径流计算的发展现 状，并说明了降雨径流研究的重要性及其积极意义。最后综述了论文的研究目的、方法 及主要工作内容。 改进l - m 型b p 模型的降雨径流预报 2 人工神经网络基本理论 2 1 神经网络概论 探讨人脑思维的奥秘是人类长期以来的梦想。自从公元前亚里士多德时代开始，人 们就开始研究具有思维能力的机器。第一台电子计算机的问世使这方面的研究有了实质 性的进展。1 9 5 6 年，人工智能技术的出现，使人们又朝思维机器的研究方向进了一步。 现在，神经网络技术又为人们进一步了解人脑思维的奥秘开辟了新的途径。 人工神经网络( a r t i f i c i a ln e m v a ln e t w o r k s ) 是由大量类似于神经元的处理单元相互联 接而成的非线性复杂网络系统。它是在现代神经科学研究成果的基础上提出的，试图通 过模拟大脑神经网络处理、记忆信息的方式完成人脑那样的信息处理功能。这将对计算 机及其应用的发展产生巨大的影响。利用人工神经网络的学习功能、联想记忆功能、分 布式并行信息处理功能，来解决专家系统中的知识表示，获取和并行推理问题。人工神 经网络是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相 渗透而发展起来的一门综合性新学科。 到目前为止，虽然什么是人工神经网络，学术界有各种各样的说法和定义，但就其 本质而言，人工神经网络是研究如何制造出入造的智能机器或智能系统，来模拟人类智 能活动的能力，以延伸人们智能的科学。至于人类智能活动的能力是什么含义，人们也 是有共同认识的。一般地说是人类在认识世界和改造世界的活动中，由脑力劳动表现出 来的能力，更具体一些可概括为： ( 1 ) 通过视觉、听觉、触觉等感官活动，接收并理解文字、图象、声音、语言等各 种外界的“自然信息”，这就是认识和理解世界环境的能力。 ( 2 ) 通过人脑的生理与心理活动以及有关的信息处理过程，将感性知识抽象为理性 知识，并能对事物运动的规律进行分析、判断和推理，这就是提出概念、建立方法，进 行演绎和归纳推理、做出决策的能力。 ( 3 ) 通过教育，训练和学习过程，日益丰富自身的知识和技能，这就是学习的能力。 ( 4 ) 对变化多端的外界环境条件，灵活地做出反应，这就是自我适应的能力。 总之，人类神经网络是涉及信息描述和信息处理的复杂过程，因而实现人工神经网 络是一项艰巨的任务。尽管如此，这门学科还是引起了许多科学和技术工作者的浓厚兴 趣，特别是在计算机科学和技术飞速发展和计算机应用日益普及的情况下，许多学者认 为实现人工神经网络的手段已经具备，人工神经网络开始走向实践阶段。 一8 一 大连理工大学硕士学位论文 目前研究人工神经网络主要有两条途径。一条是心理学家、生理学家们认为大脑是 智能活动的物质基础，要揭示人类智能的奥秘，就必须弄清大脑的结构，也就是要从大 脑的神经元模型着手研究，搞清大脑信息处理过程的机理，这样人工智能的实现就可迎 刃而解。显然由于人脑有上百亿神经元，而且现阶段要进行人脑曲物理模拟实验还很困 难因而完成这个任务极其艰巨。但可以看出这一学派是企图创立“信息处理的智能理 论”作为实现人工神经网络的长远研究目标的，这个观点是值得重视的。另一条是计算 机科学家们提出的从模拟人脑功能的角度来实现人工智能，也就是通过计算机程序的运 行，把从效果上达到和人类智能行为相似作为研究目标，这个观点比较实际，目前引起 较多人的注意。 总之不论从什么角度来研究人工神经网络，都是通过计算机来实现，因此可以说人 工神经网络的中心目标是要搞清楚实现人工智能的有关原理，使计算机更智慧、更聪明、 更有用。 2 2 神经网络发展历程 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即人工神 经网络的研究，经历了一条曲折的路程。大致分为兴起、萧条和兴盛三个时期。 4 0 年代初，美国m cc u l l o c h 和p i m s 从信息处理的角度，研究神经细胞行为的数学 模型表达，提出了二值神经元模型。肝模型的提出开始了对神经网络的研究进程。1 9 4 9 年心理学家h e b b 提出著名的神经元之间突触联系强度可变的假设。他认为学习过程是 在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假设提出的 学习率为神经网络的学习算法奠定了基础。 5 0 年代末，r o s e n b l a t t 提出感知机，第一次把神经网络的研究付诸工程实践。这是 一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的学习环境是 有噪声的、网络构造中存在随机连接，这符合动物学习的自然环境当时人们对神经网 络研究过于乐观，认为只要将这种神经元互连成一个网络，就可解决人脑思维的模拟问 题，以后碰到了理论上和实现技术上的困难，加上其它因素的影响，使得对神经网络的 研究进入了低潮。 6 0 年代，美国著名人工智能专家m i i l s k y 和p a p e r t 对r o s e n b l a t t 的工作进行了深入 研究，出版了有较大影响的感知机一书，指出感知机的功能和处理能力的局限性， 甚至连x o r ( 异或) 这样的问题也不能解决，同时也指出如果在感知器中引入隐含神经 元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络 学习算法。因此m i n s k y 的结论是悲观的。另一方面，由于6 0 年代以来集成电路和微电 改进l - m 型b p 模型的降雨径流预报 子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为 目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带 来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传 统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能 途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、 可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了萧 条时期。不过，还是有不少学者扎扎实实地继续着神经网络模型和学习算法的基础理论 研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射， 认知机网络模型理论，b s b 模型等等，为神经网络的发展奠定了理论基础。 进入8 0 年代，神经网络的研究进入了“柳暗花明又一村”的新境界，一个竞相研 究神经网络和设计构造神经计算机的热湖在世界范围内掀起。世界各地举行了多次有关 神经网络的学术会议，出台了许多著名的模型。1 9 8 2 年，美国加州理工学院物理学家 j j h o p f i e l d 提出了一种新的神经网络h n n 。他引入了“能量函数”的概念，使得网络 稳定性研究有了明确的判据。h n n 的电子电路物理实现为神经计算机的研究奠定了基 础，并将其应用于目前电子计算机尚难解决的计算复杂度为n p 完全型的问题，例如著 名的“巡回推销员问题”( t s p ) ，取得很好的效果。从事并行分布处理研究的学者，于 1 9 8 5 年对h o p f i e l d 模型引入随机机制，提出了b o l t z m a n n 机。1 9 8 6 年r u m e l h a r t 等人在 多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法( b p 算法) ， 解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可 以完成许多学习任务，解决许多实际问题。1 9 8 7 年6 月电气和电子工程师协会( 砸e e ) 在美国圣地亚哥举行了首次神经网络，有1 8 0 0 多人出席。同年国际神经网络学会( i n n s ) 成立。两年多时间，i n n s 学会成员就达3 0 0 0 多人。1 9 8 8 年1 月神经网络杂志创刊， 1 9 9 0 年3 月i e e e 神经网络会刊问世。我国于1 9 8 9 年1 0 月在北京召开了一个非正式的 神经网络会议，称为神经网络及其应用研讨会，并印制了一本文集。在1 9 9 0 年1 2 月和 1 9 9 1 年1 2 月分别召开了第一、第二届神经网络学术会议。i e e e 和玳n s 联合召开的 l i c n n 9 2 已在北京举行。与此同时，许多软件公司推出各种神经网络软件，神经网络 的理论和应用研究都得到迅速发展。美国工程引索( e i ) 每年摘录有关神经网络方面的 文章都在6 0 0 0 篇以上。 近十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息 处理领域，如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算 机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件包、神 经网络芯片以及电子神经计算机的出现，体现了神经网络领域的各项研究均取得了长足 大连理工大学硕士学位论文 进展。同时，相应的神经网络学术会议和神经网络学术刊物的大量出现，给神经网络的 研究者们提供了许多讨论交流的机会。神经网络正处于大规模、多领域应用的积累阶段， 它的应用涉及到社会的各个领域，尤其是在水利行业引起了广泛重视，如水质预测、水 库优化调度、地下水管理、水土资源规划、水利工程体形优化以及工程结构动力网络模 型等。但是，在降雨径流预报方面，应用人工神经网络建立模型仍不是很成熟。 2 3 神经网络学习方法 2 3 1 学习机理 神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成组，称 为层。每一个处理单元有许多输入量( x ，) ，而对每一个输入量都相应有一个相关联 的权重( 形) 。处理单元将经过权重输入量( x 。形) 相加( 权重和) ，而且计算出唯 一的输入量( y ，) 。这个输出量是权重和的函数( ，) 。，为传递函数。对于大多数神经 网络，当网络运行的时候，传递函数旦选定，就保持不变。然而，权重是变量，可以 动态的进行调整，产生一定的输出。权重的动态修改是学习中最基本的过程。对单个的 处理单元，权重的调整很简单，但对大量组合起来的处理单元，调整权重类似于智能过 程，网络最重要的信息存在于调整过的权重之中。 2 3 2 学习方式 有两种不同的学习方式或训练方式，即有指导的训练和没有指导的训练。很明显， 指导下的学习或训练需要“老师”来进行指导，教师既是训练数据本身，不但包括有输 入数据，还包括有在一定输入条件下的输出。网络根据训练数据的输入和输出来调节本 身的权重，使网络的输出符合实际的输出。没有指导下的学习过程指训练数据只有输入 没有输出，网络必须根据一定的判断标准自行调整权重。 ( 1 ) 有指导学习 在这种学习方式中，网络将应有的输出与实际输出数据进行比较。网络经过一些训 练数据组的计算后，最初随机设置的权重经过网络的调整，使得输出更接近实际的输出 结果。所以学习过程的目的在于减小网络应有的输出与实际输出之间的误差。这是靠不 断调整权重来实现的。 对于指导下的学习网络，在可以实际应用之前必须进行训练。训练的过程是用一组 输入数据与相应的输出数据输进网络，网络根据这些数据来调整数据，也同时告诉网络 相应的输出应该是什么。网络经过训练后，若认为网络的输出与应有的输出间的误差达 到了允许范围，权重就不再改动了。这时网络可用新的数据去检验。 改进l - m 型b p 模型的降雨径流预报 ( 2 ) 无指导学习 在这种学习方式下，网络不靠外部的影响来调整权重。也就是说在网络训练过程中， 只提供输入数据而无相应的输出数据。网络检查输入数据的规律或趋向，根据网络本身 的功能进行来进行调整，并不需要告诉网络这种调整是好是坏。这种无指导进行学习的 算法，强调一组组处理单元间的协作。如果输入信息使使处理单元组的任何单元激活， 整个处理单元组的活性就增强。然后处理单元组将信息传递给下一层单元。 目前对无指导下的训练机理还不充分了解，还是一个继续研究的课题。在现实生活 中，有许多问题无法在事先有充分的例子使网络进行学习。 2 3 3 学习规则 ( 1 ) h e b b 规则 h e b b 规则是由d o n a l dh e b b 在1 9 4 9 年提出的。他的基本规则可归纳为：如果处理 单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时 量单元的连接权重就要被加强。 ( 2 ) d e l t a 规则 d e l t a 规则是最常用的学习规则，其要点是改变单元问的连接权重来减小系统实际 输出与应有输出间的误差。这个规则也叫w i d r o w - h o f f 规则，首先在a d a l i n e 模型中应 用，也可称为最小均方差规则。 ( 3 ) 梯度下降规则 这是对减小实际输出和应有输出问误差方法的数学说明。d e l t a 规则是梯度下降规 则的一个例子。梯度下降规则的要点为：在学习过程中，保持误差蓝线的梯度下降。 “) k o h o n e n 学习规则 该规则只用于无指导训练网络。在学习过程中，处理单元竞争学习的机会。具有高 的输出单元是胜利者，有能力阻止它的竞争者并激发相邻的单元。只有胜利者才能被输 出，也只有胜利者与其相邻的单元可以调节权重。 ( 5 ) 后传播的学习方法 误差的后传播技术一般采用d e l t a 规则，此过程涉及两步，首先是正反馈，当数据 输入网络，网络从前往后计算每一个单元索输出，将每个单元的输出与应有的输出进行 比较，并计算误差。第二步是向后传播，从后向前重新计算误差，并修改权重。完成这 两步后，才能输入新的数据。这种技术一般用在三层或四层网络。对于输出层，已知每 个单元的实际输出和应有的输出，较易计算误差，技巧在于如何调节中间层单元的权重。 ( 6 ) c j r o s s b e r g 学习方法 大连理工大学硕士学位论文 s t e p h e ng r o s s b c r g 结合h e b b 模型，建立了新的模型。g r o s s b e r g 模型将每个神经网 络划分为由星内( i n s t a r s ) 和星外( o u t t a r s ) 的单元组成。星内单元是接受许多输入的 处理单元，而星外单元是指其输出发送到许多其他处理单元的单元。如果一个单元的输 入和输出活动激烈，其权重的改变就大。如果总的输入或输出小，权重的变化就很小。 对不重要的连接，权重可能接近于零。 2 4 神经网络的分类和特点 2 4 1 分类 根据不同的标准，网络可分为以下四大类： ，。卜阶线性关联网络彤，j 而) ( 】) 按照连接突触的性质分为1 高阶非线性关联网茹z 籀) ( 2 ) 按照网络的性鼢为震葚嚣朔纠删 ( 3 ) 按照网络的结构分为 f 前馈网络( 如：感知器、梯度、肼，、r b f 随机逼近、自适应等网络) i 反馈网络( 如：昂翟力娩凋络等) 按照学习方式分为嚣霈蓦差黎黧黧妣自组织网络等) 2 4 2 特点 人工神经网络是采用物理可实现的器件或采用现有的计算机来模拟生物体中神经 网络的其些结构与功能，并反过来用于工程或其它的领域。人工神经网络的着眼点不是 用物理器件去完整地复制某些事物，而是采纳其可利用的部分来克服目前计算机或其他 系统不能解决的问题，如学习、识别、控制和专家系统等。与现代计算机相比( 表2 1 简要地列出了两者的差别) 有以下特点： ( 1 ) 人工神经网络在结构上与耳前的计算机根本不同，它是由许多小的处理单元互 相联接而成，每个处理单元的功能简单，但大量简单的处理单元集体的、并行的活动得 到预期的识别，计算的结果，具有较快的速度。 ( 2 ) 人工神经网络具有很强的容错性，即局部的或部分的神经元损坏后，不影响全 局的活动。 改进l - m 型b p 模型的降雨径流预报 ( 3 ) 人工神经网络所记亿的信息是存储在神经元之间的权中，从单个权看不出其储 存信息的内容，因而是分布式的存贮方式。 ( 4 ) 人工神经网络具有十分强的学习功能，人工神经网络的连接权和连接结构都可 以通过学习而得到。 表2 1 现代计算机与人工神经网络的区别 t a b 2 1d i f f e r e n c e o f c o m p u t e r a n d a n n 2 5