（概率论与数理统计专业论文）fir神经网络及其在洪水预报上的应用.pdf

华中科技大学硕士学位论文 摘要 由于人工神经网络( a n n ) 具有强的学习能力、实时性的潜能、良好的鲁棒性、容 错性和非线性等，因此在当前国内外众多领域，ann 技术的应用日益广泛，在水文 预报的应用中也取得了丰硕的成果。本文首先阐述了a n n 的发展和研究现状及其应用 状况，并且，特别介绍了b p 和f i r 神经网络；然后，分析了国内外在a n n 的泛化能 力、a n n 在水文预报的应用和洪水演进上所取得的成果及研究现状。在这些基础上， 提出了本文的内容，并取得了如下成果： 1 针对a n n 的泛化能力、学习时间和收敛性对训练样本的依赖，本文在大样本 时，提出用聚类分析的方法来挑选样本，减少训练样本的数量以提高质量和收敛性， 节省学习时间；对于像洪水这种特征的数据，在建立动态a n n ( 如f i r 神经网络) 模型 时，用插值对样本作数据平滑，以减小系统误差，从而达到提高泛化能力的目的。并 通过实例，验证了这些策略是可行的，取得了较好的预期效果。 2 钍对在现有的水文预报中所采用的a n n ，以b p 网络为主，都是静态的网络， 这与水文序列本身是一个动态系统相矛盾。为了更好的防洪避害，需要精度高实时的 洪水预报。引入动态f i r 神经网络于洪水预报，并和b p 神经网络预报的效果进行了 比较。结果证明：f i r 神经网络的精度比采用改进算法的b p 网络的要好，而且，模 型参数少，收敛快。同时，在一定条件下，f i r 网络可完全等价于b p 网络，因而它 具有更广泛的应用范围。 3 针对目前对河道洪水演进的研究方法主要是水动力学方法和水文学方法，它 们对河道水情和地形资料要求太高，实箍难，实时性差。引入对这些资料要求不高， 并能很好辨识洪水演进机制的非线性动态f i r 神经网络于应用中。而且，对于数据预 处理，打破惯例，提出基于输出变量的不同的规格化处理方法。实例证明，基于f i r 神经网络的洪水演进，精度高，实施容易，实时性好。表明它比b p 网络更能辨识洪水 演进的机制。而且，两种网络较好的效果，表明提出的数据预处理方法是合理的。 最后对全文进行了总结，并对有待进一步研究的问题进行了讨论。 关键词：b p 神经网络f i r 神经网络泛化能力聚类分析插值洪水预报 洪水演进数据预处理 一一 1 华中科技大学硕士学位论文 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) h a sv e r ys t r o n gl e a r n i n ga b i l i t y , r e a l - t i m ep o t e n t i a l ， g o o dr o b u s ta n dn o n l i n e a rm a p p i n ga b i l i t y , e r e ，i sn o wb e i n gm o r ea n dm o r ea p p l i e dt o p r o b l e m so fm a n yf i e l d s m u c hs u c c e s sh a sb e e na c q u i r e di nh y d r o l o g i c a lf o r e c a s t i n g f i r s t l y , t h i sp a p e rd i s c u s s e st h es t u d yo f a n na n di t s a p p l i c a t i o n ，e s p e c i a l l y , b pa n d f i r n e u r a l n e t w o r k t h e n ，t h ed e v e l o p m e n t a n dt h e m a j o r r e s e a r c hi n t e r e s t s o ft h e g e n e r a l i z a t i o na b i l i t yo fa n n ，h y d r o l o g i c a lf o r e c a s t i n gi na n n a n df l o o dr o u t i n ga r e a n a l y z e d b a s e d o n t h e s e ，n e wm e t h o d s a r er a i s e da n dr e s e a r c hr e s u l t sa r el i s t e da sf o l l o w s ： 1 ) c o n s i d e r i n gt h eg e n e r a l i z a t i o na b i l i t yo fa n n ，l e a r n i n gt i m e a n dc o n v e r g e n c e d e p e n d o n t r a i n i n gs a m p l e s ，s a m p l e sa r es e l e c t e db yc l u s t e r i n ga n a l y s i si nt h i sa r t i c l e t h u s ， a m o u n t so fs a m p l ea l er e d u c e da n dt h e ya r ei m p r o v e d s a m p l e sd a t a ，j u s tl i k ef l o o d d i s c h a r g e ，a r es m o o t h e db yi n s e n i n gi nd y n a m i ca n n ( s u c ha sf i rn e u r a ln e t w o r k ) m o d e l sb u i l d i n gs ot h a tb e t t e rg e n e r a l i z a t i o na b i l i t ya r eg a i n e d t h ec o n t r a s te x p e r i m e n t s h o w st h em e a s u r e sa r ef e a s i b l ea n dh a v eg o o dr e s u l t s 2 ) a n na p p l i e dt oh y d r o l o g i c a lf o r e c a s t i n g ，a r em o s t l yb p n e u r a ln e t w o r k ，s t a t i c ，a n d c o n f l i c t i n gw i t hh y d r o l o g i c a ls e r i e sw h i c h i sd y n a m i c s y s t e m i no r d e r t oa v o i de f f e c t i v e l y f l o o d d i s a s t e r , h i g h e ra c c u r a c y f l o o df o r e c a s t i n gi s i m p o r t a n c e d y n a m i cf i rn e u r a l n e t w o r ki sa d o p t e dt of l o o df o r e c a s t i n ga n dh a sb e r e rp e r f o r m a n c et h a nb pn e u r a ln e t w o r k a n de x t e n d se x t e n s i o no n t oi t 3 ) u pt on o w , f l o o dr o u t i n gi sm o s t l ym o d e l e di nh y d r o d y n a m i ca n dh y d r o l o g y m o d e i sw h i c hu n f e a s i b l ea n dn e e dm u c hi n f o r m a t i o n f i rn e u r a ln e t w o r kc a r lo v e r c o m e t h ed e f e c t sa n di d e n t i f ya v a i l a b l yf l o o dr o u t i n gr u l e t h er e s u l t si sj u s tt h a t m o r e o v e r , a n e wm e t h o di nd a t a p r e t r e a t m e n ti sg i v e n a n d g o o do u t c o m e i so b t a i n e d f i n a l l y , as u m m a r y i sg i v e na n ds o m e p r o b l e m s t ob ef a r t h e rs t u d i e da r cd i s c u s s e d k e y w o r d s ：b p n e u r a ln e t w o r kf i rn e u r a ln e t w o r k g e n e r a l i z a t i o na b i l i t yi n s e r t i n g c l u s t e r i n ga n a l y s i s f l o o df o r e c a s t i n gf l o o dr o u t i n gd a t a p r e t r e a t m e n t i i 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承 担。 学位论文作者签名：逸乏绔 日期：中年铲月珂日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子舨，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：起 秀 日期加阡月：7 日 指导教师签名： 同呓婀 日期：o 午年平月田日 华中科技大学硕士学位论文 1 1 a n n 技术概述 1 1 1a n n 的发展史 1 绪论 从1 9 4 3 年美国心理学家w a r r e nsm c c u l l o c h 和数学家w a t e rhp i t t s 合作提出 的第一个神经元模型( m p 模型) 问世到现在，人工神经网络( a r t i f i c i a l n e u r a l n e t w o r k ， a n n ) 技术发展经历了半个多世纪。大致可以分为四个阶段：1 、早期阶段：这一阶 段主要是提出了有关神经网络的理论和一些简单的感知器模型。2 、2 0 世纪7 0 年代的 过渡：主要是提出了各种不同的网络模型，开展了a n n 理论、增加了网络的功能和 各种学习算法的研究等，为今后研究神经网络理论、数学模型和体系结构等方面打下 了坚实的基础。3 、2 0 世纪8 0 年代的新高潮：提出了著名的h o p f i e l d 网络，b o l t z m a n n ( 玻尔兹曼) 机，最重要的是给出了多层网络的误差反传算法，即鼎鼎大名的b p 算 法，它的出现把神经网络的发展带向新高潮。4 、2 0 世纪8 0 年代后期以来的热潮：随 着第一届国际神经网络学术会议的召开，掀起了人类向生物学习、研究和开发及应用 神经网络的热潮。这段时期以来，神经网络理论的应用取得了令人瞩目的进展，被广 泛应用于各个领域，主要有：模式识别和图像处理、控制和优化、预报和智能管理系 统、通信和空间科学等，表现出强大的生命力。 1 1 2 简化的神经元模型 a n n 由大量的人工神经元组成，人工神经元是对生物神经元的简化和模拟，它是 神经网络的基本信息处理单元。图1 - 1 为简化的神经元结构，它是一个多输入、单输 出的非线性元件，其输入输出关系可描述为： = o - o , ，y ，= f ( s ，) ( 1 - i ) j = l 其中x ，( ，= 1 , 2 ，m ) 是从其它神经元传来的输入信号，谚为神经元的阈值，w 。表示 l 一 l 华中科技大学硕士学位论文 z 1 z 2 ： x 卅 工o = 一1 图1 - 1 简化的神经元模型 从神经元到神经元i 的连接权值( 对于激发状态，w 。取正值；对于抑制状态，w “取 负值) ，聊为输入信号数目。y ，为神经元输出，为传递函数或激活函数，往往采用 阈值型函数或s 型函数，他们是连续和非线性的。 1 1 3 激活函数 神经网络可以有效地实现输入空间到输出空间的非线性映射，激活函数功不可 没。输出层神经元一般采用线性激活函数，f ( x ) = x ；隐含层神经元往往采用阈值型函 数或s 型函数 阈值型函数 m ，= ；鬟 m z ， s 型函数通常是在( o ，1 ) 或( - 1 ，1 ) 内连续取值的单调可微分的函数，用的最多 的有两个：一个是s i g m o i d 函数，另一个是双曲正切函数。 s i g m o i d 函数的表达式为： 八力2 鬲i 高p o)(1-3) 图像如( 图l 一3 ) 所示； 双曲正切函数的表达式为： m ) = 羔1 e x 篇p ( p 。) ( 1 - 4 ) + 一撖l 图像如( 图1 叫) 所示： 华中科技大学硕士学位论文 j t c x 】 图1 之s i g m o i d 函数图 _ 代x ) 1 夕 倒1 3 双曲正切函数t a n h 图 以s i g m o i d 函数为例，当口= 1 时， 弛) 。寿o m ) 1 ，y 1 ， 0 和任意三：函数厂： o ，l 】”斗r ”，存在一个三层b p 网络，它 可在任意平方误差精度内逼近厂。 虽然b p 定理告诉我们，只要用三层的b p 网络就可实现l 函数，但实际上，还 是有必要使用更多层的b p 网络，其原因是：当问题太复杂，用三层b p 网络来实现三：， 往往需要大量的隐含层神经元，而使用多层网络可减少隐含层神经元数。但如何选取 网络的隐含层数和神经元数，虽然有不少专家学者致力于这项研究，但是还没有确切 的方法和理论，通常凭对学习样本和测试样本的误差交叉评价的试错法选取。 b a k i r t z i s 等人【3 】的研究表明，中间层神经元个数不会对预测精度产生显著的影响，但 会影响a n n 的训练时间。 1 1 6 州n 的优点和不足 神经网络技术作为一种新型的应用技术，在众多领域得到了广泛的应用，这与它 所具有的优点有关，主要表现在： ( 1 ) 学习能力。学习能力是神经网络具有智能的重要表现，即通过训练可抽象出 训练样本的主要特征，表现出强大的自适应能力。 ( 2 ) 鲁棒性和容错能力。在传统的串行运行体系计算机中，信息分布在独立的存 储单元中，任何部件内存的损坏都将导致整个信息的无效。丽在神经网络中，信息则 分散在神经元的连接上，单个的连接权值和神经元都没有多大的用途，但它们组合起 来，就能从宏观上反映出一定的信息特征。对个别神经元和连接权值的损坏，并不会 对信息特征造成太大的影响，表现了神经网络强大的鲁棒性( 受干扰时自动稳定的特 性) 和容错能力。在输入信号受到定干扰时，输出也不会有较大的畸变。神经网络 的信息分布特性，还使经过训练的神经网络具有强大的联想能力。 ( 3 ) 实时性。神经网络是对人脑结构和功能的模拟，但更偏重对结构的模拟。神 经元在处理信息时是各自独立的，它们分别接受输入，作用后产生输出。这种并行计 算的处理，使得它有可能、有潜力用于实时快速处理信息。 2 华中科技大学硕士学位论文 ( 4 ) 非线性。神经网络可以有效地实现输入空间到输出空间的非线性映射。寻求 输入到输出问的非线性关系模型，是水文界普遍面褊的问题。对大部分无模型的非线 性系统，神经网络能很好地模拟。因此，神经网络成为非线性系统研究的重要工具。 ( 5 ) 适应与集成。神经网络能够适应在线运行，并能同时进行定量和定性操作。 神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的信号，解决 输入信息间的互补和冗余问题，并实现信息集成和融合处理。这些特别适于复杂、大 规模和多变量系统的模拟。 ( 6 ) 硬件实现。神经网络不仅能够通过软件而且可借助硬件实现并行处理。近年 来，些超大规模集成电路实现硬件已经问世，丽且可从市场上购烈。这使得神经网 络具有快速和大规模处理能力的实现网络。 同时我们也应该看到，神经网络发展到今天已经成为一门活跃的边缘性交叉学科， 但是作为一种人类模拟人脑功能的发展方向，它和人脑的感知、识别、学习、联想、 记忆、推理等智能还相差很远，作为一门新技术还有其不足之处。 ( 1 ) 神经网络在人工智能方面还需要进一步提高，它离人脑的多向思维能力还有 很大的一段距离； ( 2 ) 神经网络的泛化能力与收敛性需要在以后的发展中进一步改善： ( 3 ) 神经网络的泛化能力与收敛性依赖于学习样本的数量和质量； ( 4 ) 神经网络的学习速度一般e b 较慢，为满足实时控制的需要，必须予以提高； ( 5 ) 神经网络隐含层神经元数的确定仍然没有一个成熟的理论来指导。 ( 6 ) 神经网络是一个黑箱模型，对问题不能给出物理解释。 1 1 7 a n n 的发展前景 展望未来，在近十年研究趋势的背景下，享申经网络理论的主要前沿领域包括以下 几个方面的问题。 ( 1 ) 神经网络与其它算法相结合。 将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可以通过它们的结合来 达到相辅相成、各取其长、优势互补的作用。比如神经网络的并行处理和容错能力强， 9 华中科技大学硕士学位论文 具有自学习能力的知识性，但是其知识表达困难，学习速度慢，而模糊逻辑可利用专 家经验处理不确定信息，对知识的表达很方便，但难以学习，推理过程模糊性增加， 将神经网络和模糊控制结合起来用于控制系统中，可为系统提供非参数模型、控制器 模型； ( 2 ) 神经网络与智能机器之间的关系要更加明确。 神经网络是由大量处理单元组成的非线性、自适应、自组织系统，是在现代神经科 学研究成果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种新 的机器，使之具有人脑的信息处理能力。同时通过不断探索人类智能的本质以及联结 机制，并用人工系统复制或部分复制，制造各种智能机器，使人类有更多的时间和机 会从事更为复杂的工作； ( 3 ) 神经网络在算法上将有重大发展。 现在的神经网络模型并没有完全攻克组合爆炸问题，只是把计算量转交给了学习 算法来完成，具体说，增加处理机数目一般不能明显增加近似求解的规模。有些神经 网络的计算时间与神经元的多少关系不大，却与学习的样本有明显的依赖关系。值得 注意的是，尽管采用大规模并行处理机是神经网络计算的重要特征，但我们还应寻找 其它有效方法，建立具有计算复杂性、网络容错性的计算理论； ( 4 ) 网络结构和神经元芯片的作用将不断扩大。 神经网络结构的研究是神经网络成功应用的前提，它体现了算法和结构的统一， 是硬件和软件的混合体。未来的研究主要是针对信息处理功能，将系统、结构、电路、 器件和材料等方面的知识结合起来。如大量神经网络计算机和神经元芯片应用于高科 技领域，给神经网络理论和方法赋予新的内容，同时也提出了新的理论课题。 1 2a n n 在水文预报上的应用现状 为了充分利用水资源以及防范洪涝灾害，需要对未来的水文事件进行预报和预测。 如在防洪斗争中，通过预报能事先提供洪水发生和发展变化的信息，特别是在特大洪 水来临之前，若能根据预报准确的掌握洪水动向，就可以事前做好防洪抢险的准备。 由于影响水文预报的因素很多，而且这些因素大部分是随机的和未知的，这使 1 0 华中科技大学硕士学位论文 得预报的精度和预见期受到了很大的制约。人工神经网络是在研究生物神经系统的启 示下发展起来的种信息处理方法，它借助于被研究对象过去己积累的信息，通过两 络模型自身的学习，获取信息中隐含的知识，从而建立起相应的数学模型。由于人工 神经网络的自适应性和自组织性使它具有很强的学习能力，它的并行处理机制、分布 存储方式使得它具有满足实时性要求的潜能和具有良好的鲁棒性和容错性，因此在当 前国内外众多领域，ann 技术的应用日益广泛。国内外许多专家学者尝试将a n n 技 术应用于水文预报领域中，如降雨径流预报、河道洪水预报、水质和水量预报等，采 用的模型主要是b p 神经网络模型，以探讨了a n n 运用的可行性和实用性。经过国 内外学者的不懈努力，取得了比较丰硕的成果。 径流过程是一个涉及到水文、气象及力学的复杂的力学系统，到目前为止，在径 流预报问题上所建立的模型主要是随机性模型。虽然这类模型有一定的适用性，但对 于径流过程的物理机制并非完全随机的，因此所建模型的适用性也是有限的。许多学 者指出，河川径流、降雨、径流等现象中都存在着混沌过程，而混沌是看似随机的确 定性过程，由于混沌系统对初始条件的敏感依赖性而使其时间以后的行为成为“随机 的“，这正是随机模型的有限运用性的根源。有鉴于此，科学家们将混沌与水文联系 起来，建立水文混沌分析方法，以使水文研究有所突破。权先璋【4 1 在文献中针对酒l l 径流非线性动力学混沌系统过程，介绍了径流的混沌识别、径流重构相空间技术及径 流序列的混沌预报方法，在此基础上，以葛洲坝水库为例，对其目径流进行预报，获 得了满意的结果。a n n 模型是通过学习来找出输入变量和输出变量之间的关系，正 是径流的混沌性，非完全随机性，给a n n 技术在水文预报的应用，在理论上提供了 可行性。 a n n 与河网在结构上具有相似之处，两者都是由各个内部结构通过并联或串联 形成一个相互制约的整体结构。通过调整系统内部各个“神经元“之间的相互作用达 到系统输入、输出之间的最优或平衡。因此a n n 理论在一定程度上可以用于复杂河 网的模拟a 在实际的洪水预报中，针对流域具体情况，对影响流域出口断面的输入因 子进行若干修定，形成了许多不同的预报模型，但模型的结构较为类似。由于河流径 流量依赖于气象因素和流域状态，同时具有很强的相关性，因此在应用b p 神经网络 1 1 华中科技大学硕士学位论文 作径流模拟和预报时较为困难。对此，杨荣富等人 5 “1 提出了当考虑的重点是径流时 序变化上的自相关性时，建立实时输出反馈网络；当考虑的重点是流域状态因素影响 时，建立奢侈输出反馈网络，取得了较好的效果。王栋等人【7 1 为了克服传统b p 算法 的固有缺陷，提出基于改进型前馈神经网络的流域产流预报模型，采用混合g n b f g s 算法训练网络，并用实例验证了算法的有效性。苑希民等人闱利用b p 神经网络，采 用最h - - 乘快速收敛算法，建立了多沙河道的洪水预报模型，以黄河流域下游河道 为例进行验证计算，研究结果与实测结果吻合良好，证明了该模型的有效性。冯利华 【9 】利用b p 网络建立了洪水预报模型，它以河道上下游洪峰水位作为模型的输入输出 变量，计算得到的精度非常高。另外，他还就常见的水文预报内容进行了讨论，认为 a n n 应用于河道水文预报是可行的。 b p 神经网络的学习一般都采用最速下降法，由于该方法会使优化目标函数陷入 局部极小，虽然有一些方法，诸如遗传算法、学习自动记忆及模拟退火法等可以避免 局部极小，但一般需要巨大的工作量，而r b f 神经网络可以有效解决以上问题，它 f ， 为多层前馈神经网络的学习提供了一种新颖而有效的途径。黄国如等u o 将神经网络用 于感潮河段洪水水位预报，得到了较高的计算精度。除此之外，覃光华川将e l m a n 神经网络用于雅砻江流域的年流量预报，能克服l a p 神经网络的缺点，有更好的精度。 在水文预报中，除了上述的基于算法的改进，更优网络的引入外，还有一些学者， 如杨荥富等人【1 2 将流域概化为若干个水库，利用水量平衡和菲线性水库原理与神经 网络结合，英国i r w e l l 流域的s a l f o r d 大学控制站的径流及以上6 个降雨站的观测资料 进行了模拟，模型对流域的日和月径流时序变化模拟效果较好，对洪水过程模拟尚需 进一步的研究。李义天等人建立了基于河网水沙运动特点的a n n 模型，他们的工 作为探索a n n 在水文预报中的物理意义，指出了条路。 在国外，用于水文预报的a n n 也主要是b p 神经网络。如：最早把a n n 引入水 文预报的l o r r a i 等人 i4 1 ，应用b p 神经网络来进行降雨径流模拟计算和预报，得到了 相当好的计算精度。h s u 等人【l i 将b p 神经网络应用于美国密西西比的l e a f 流域的水 文建模研究中，并同滑动平均自回归模型a r m a 和s a c r a m e n t o 土壤水文计算模型比 较。结果表弱：用a n n 建模优于其他两种方法。该文指出，尽管a n n 方法在水文 1 2 华中科技大学硕士学位论文 建模中不存在具有物理意义的模型结构和模型参数，但它只需输入和输出数据而不需 要模型结构假设，而且网络经过训练和学习，其中各神经元上的权重系数实际上已经 隐含了我们尚不能明了的参数和模型结果，因此它不失为水科学研究中可供选择的一 种有效方法。 此外，y b d i b i k e ，d o l o m a t n e & m b a b b o t t i 一7 】将神经网络理论与水动力学 模型结合，利用水动力学模型为神经网络提供网络学习样本，再用训练好的神经网络 对重要河段航深、二维流场中重要位置的水流运动( 包括水位、流速、流向以及流量 等要素) 进行预测，取得了令人鼓舞的结果神经网络模型和水动力模型的有机结合避 免了水动力学模型计算量大、计算速度慢难以满足实时预报的要求等问题，同时利用 水动力学模型给神经网络提供训练样本，弥补了神经跨络在重要河段和区域缺乏资料 而应用受到局限的困难 1 ，3 洪水演进研究现状 在洪水演进方面，国内外的成果有很多【1 8 1 。长江干支流众多水位站及控制性水文 站，为研究长江中下游洪水演变规律提供了宝贵的基本资料。8 0 年代初期提出了基于 水文学方法的大湖演进模型。模型根据长江中下游洪水特性、水文铡站分布及复杂的 水系分布，将宜昌一湖口划分为4 段，每段运用槽蓄关系及水位流量关系反映水流的 水量平衡及动量守恒。此方法收到了较好的实际效果，为长江中下游防洪规划方案的研 究提供了很好的计算手段。“八五”攻关 1 9 1 对河段的划分作了细化，大湖演进真实地 反映了洪水演变，且获得了主要站的水位、流量成果，但缺乏更多主要站的水文成果， 模型不能很好地反映局部的治理方案。故到了9 0 年代，国内外一些高等院校、科研院 所提出用计算水力学建立中下游洪水演迸模型。1 9 9 5 年南京水文水资源研究所与长江 水利委员会规划处合作，提出了利用水文学与计算水力学相结合的途径解决复杂河网 区的水流模拟，模型的建立对一些局部治理方案的研究得到了较好的效果，并用于洞 庭湖区综合治理方案的研究比较。武汉水利电力大学及长江科学院也提出了中下游一 维洪水演进模型。丹麦水力学研究所( d h i ) 也将他们建立的较为成熟的m i k e 1 l 模型 应用到长江，建立了m i k e 1 1 长江暴雨洪水预报模型，且试用于1 9 9 8 年长江中下游 1 3 华中科技大学硕士学位论文 洪水的预报。除此之外，还有利用二维有限体积法和一二维非恒定流模型的数值模拟 方法【2 0 】等。 下面简要介绍水文学洪水演进模型 洪水演进计算满足水量平衡及动力平衡，以圣维南方程组表示为： a z f 0 一面2 1a 矿 go t ( 1 2 1 ) 将( 1 4 1 ) 1 拘( 1 ) 式连续方程离散化有： + ，：+ q 支。+ q 支：一9 9 2 = r ( k k ) ( 1 - 2 2 ) 式中，：始末时刻河段上断面入流；q 1 ，a ：始末时刻河段下断面出流； q 点l ，g 支：时段始末河段支流入流或分流的累加值a 入流为“+ ”，分流为“”； k ，以始末时刻河段蓄量。 l 一2 t ) 1 ) 时，f i r 神经网络等价于一个有正+ 1 个输入神经元，隐含层和输出层 神经元数分别不变的b p 神经网络。从而，在某种意义上说，b p 神经网络是一种简单 的f i r 神经网络。 2 4f i r 神经网络的建立 在f i r 神经网络的建立上，最需要考虑的是网络规模。b p 神经网络的建立主要 考虑输入神经元数、隐含层数和隐含层神经元数，输出层神经元数由问题本身决定。 相应的，f i r 神经网络的建立需考虑时延数t 、隐含层数和隐含层神经元数。网络规 模与研究对象的复杂程度不匹配会影响其泛化能力。网络规模的确定尚没有一定的理 论依据，规模过小，不能逼近复杂对象：规模过大，易引起过拟合。虽然神经网络具 有通用逼近性，但其证明建立在不限定网络规模及样本数量的前提下。实际应用中， 1 9 华中科技大学硕士学位论文 在有限的样本、计算时间和存储量的条件下，需寻找一个与研究对象复杂程度相匹配 的阿络；对于隐含层数，如果问题不是太复杂，一个隐含层就够了。对于复杂的问题， 用三层网络来实现，往往需要大量的隐含层神经元，而使用多层网络可减少隐含层神 经元数。但如何选取网络的隐含层数和神经元数，虽然有不少专家学者致力于这项研 究，但是还没有确切的方法和理论，通常凭对学习样本和测试样本的误差交叉评价的 试错法选取。所以，对于f i r 神经网络时延数e 、隐含层神经元数，目前为止还是用 学习样本和测试样本的误差交叉评价的试错法选取。 2 0 华中科技大学硕士学位论文 3 1 引言 3 提高神经网络泛化钱力的策略 神经网络建模的理论依据是：通过对输入输出数据对( 训练样本) 的学习，建立 起a n n 模型，该模型能够以任意精度逼近紧集上的任何非线性函数。学习的目的是学 到隐含在数据对背后的规律，对具有同一规律学习集以外的数据，该神经网络仍具有 正确的响应能力，称为泛化能力【3 4 】。对于预报问题，泛化能力就是检验样本的预报精 度。泛化能力差，就是常说的网络存在过拟合。提高泛化能力，就是为了避免过拟合 现象。a n n 模型的这种建立方式，决定了它的泛化能力、收敛性和学习时间对训练样 本的依赖。所以，训练样本的数量和质量以及如何处理是一个研究的关键。 文献 3 5 - 3 刀曾对提高泛化能力问题，对训练样本作过一些探讨，主要是考虑样本的 覆盖范围，减小资料中大、小值之间的差距。但实践证明，这些方法县能加快训练速 度，但对提高泛化能力不明显。文献【3 8 】从训练样本的构成入手，提出了两种训练策略， r 即择优检验和加权检验。前者通过计算比较，选择最优的训练样本；后者对不同训练 样本的评定结果进行加权，以得到最终的结果。但是，这种方法不可靠。完全依赖于 当时的检验样本来确定最后的模型。陈传波等人 3 明把大样本分解，提出在大样本数据 的神经网络学习问题中引入聚类算法，将原始数据集划分为若干子集。对每类模式， 采用一个适当的神经网络学习系统的规律和行为。计算检验样本对各子集的隶属度， 以之为权，对每个网络的输出进行加权平均，得到较为精确的最终网络集输出。以解 决大样本情况引起的网络结构复杂、收敛性和泛化能力差等神经网络的固有问题。文 献j 给出了一幅精度随训练数据变化的图，如图3 1 。可见，在训练数据达到一定 量时，训练数据的增加对提高泛化能力不明显。而训练数据多，会增加训练时间，收 敛性差。因此，当训练数据很多，即为大样本时，要在保证样本覆盖面的情形下，适 当选择样本，找到”k n e ep o i n t ”。文献【4 1 建议训练用数据的选择方法是将网络中计 算的权重数乘以2 ：文献【4 2 】提出训练数据组应在2 3 之间，为输入参数的维数。 由于神经网络样本点是在高维空间超曲面上去取定的，故要取得明确的样本数计算公 2 1 华中科技大学硕士学位论文 式目前尚有一定难度。 对于像e l m a n 等的递归神经网络和f i r 神经网络等，它们是动态网络，网络的输 出不仅与当前输入有关，而且与系统的前一些时刻的输入及状态有关，故需要样本数 据从时间上看是连续的。对不连续的且波动很大的地方，要做数据平滑，否则的话， 网络会记住错误信息，影响泛化能力。 针对上述分析，本文在大样本时，提出用聚类分析的方法来挑选样本，减少训练 样本的数量以提高质量和收敛性，节省学习时间；对于像洪水这种时间上不连续，而 且在不连续点，波动很大的特征的数据，在建立动态神经网络( 如f i r 神经网络) 模 型时，用插值对样本作数据平滑，来减小系统误差，从而达到提高泛化能力的目的。 并基于m a t l a b ，分别给出了实例验证。 a c c u r a c y 图3 - 1 训练数据与精度图8 0 1 3 2 聚类分析和数据平滑简述 聚类分析：属无指导的学习，基本思路是按照某种准则，将样本空间的数据集合 划分为表现不同系统行为或作用规律的一些子集。系统聚类法是聚类分析中应用最为 广泛的一种方法。基本原理是：首先将一定数量的样品或指标各自看成一类，然后根 据样品( 或指标) 的亲疏程度，将亲疏程度最高的两类进行合并，然后考虑合并后的 类与其它类之间的亲疏程度，再进行合并。重复这一过程，直至将所有的样品( 或指 标) 合并为一类。衡量亲疏程度的指标有两种，即距离和相似系数。距离是将每个样 品看成是m 个变量对应的m 维空间中的一个点，然后在该空间中所定义的，距离越近， 则亲密程度越高。相似系数接近于l 或一l 时，认为样品或指标之间的性质比较接近； 2 2 华中科技大学硕士学位论文 相似系数接近于0 时，认为样品或指标之间是无关的( 具体的参见h 3 1 ) 。 数据平滑：这里所说的指从离散点列直接插值出一列离散点，对数据平滑，具体的这 里不再描述( 具体的参见 删) 。插值的方法很多，如线性插值l i n e a r 、三次样条插值 s p l i n e 等，要根据实际具体问题选择方法。 3 3 应用实例1 这里以长江主要大站宜昌站1 9 3 1 年到1 9 8 3 年之间的1 2 年的大水年分区洪水流 量为例，洪水流量以天为时段，每年从5 月11 3 至1 0 月3 1 日共计1 8 4 个时段。各年 排序如表3 1 。利用聚类分析挑选前后的样本，分别建立基于时间序列分析的a n n 模 型，本文采用常用的b p 神经网络，即用当前和过去洪水流量( x ( r ) ，x ( t 一1 ) ，x ( t - t i ) ) 作为输入，来预测未来洪水流量x ( f + 1 ) 。 表3 一l各年排序表 壁量! ! ：! !坚 年份 i93 1 19 3 ， 1 ， l9 ，s19 5 9l ”4 ，1 7 75l9 l 口1 s 1 l9 9 2l ，s 3l 下面给出建模步骤： - ( 1 ) 选定后两年1 9 8 3 、1 9 6 6 年作为检验样本，前l o 年作为训练样本。 ( 2 ) 数据预处理：由于激活函数取值在0 和1 之间，为了以后计算处理拟合和 预报效果方便以及防止部分神经元达到过饱和状态，需对原始数据进行规格化处理 【5 】，公式如下： 一( f ) ：坠型型l + d ，( 眦0 】，a ：坐) ( 3 - 1 ) 、。 m a x ( x ) 一m i n ( x ) 。、。 2 77 式中x ( r ) ，x 。( r ) 分别为变换前后的变量，x ( t ) z ，本文取o 8 ，则口= 0 1 ，这 时x ( r ) o 1 ，0 9 】。 ( 3 ) b p 网络模型结构选择：输出层神经元数由问题本身决定，这里为1 个，对 于输入和隐含层神经元数，本文对多种结构进行尝试，通过试错法和误差的灵敏度分 析方法，最终选择模型结构为：4 7 1 ，网络结构如图3 2 。即输入层神经元数为4 个， 2 3 华中科技大学硕士学位论文 z r f 、 x ( t n 球一刁 对f 一3 、 输入层 y “+ 1 ) 隐含层输出层 图3 - 2 b p 神经网络结构图 分别是z ( r ) 、x o 1 ) 、z 0 2 ) 、x ( f 一3 ) ，隐含层神经元数为7 个，输出层神经元是 y ( t + 1 ) ，预见期为一天，建立网络。 ( 4 ) 网络的训练和算法实现：权和闽值的初始化取 一l1 上的随机数。我们采 用前面1 1 5 介绍的后三种b p 算法，即学习率自适应、快速算法和l m 法，在m a t l a b 工具箱里对应的训练函数分别为t r a i n g d a 、t r a i n g d x 、t r a i n l m ，训练直到训练样本和检 验样本的均方误差( m e a n s q u a r ee i t o r ，r o s e ) 几乎都不再减小为止。 1n m s e 。寺( 删一y ( f ) ) 2 ( 3 - 2 ) 如图3 3 ，训练到一定次数后，均方误差几乎不再减小。由于权和阈值的初值对收敛 有影响，采用一样的初始值。 图3 - 3 训练、检验m s e 随训练次数变化图 ( 5 ) 用训练好的网络对训练样本进行拟合，检验样本进行预测。 2 4 华中科技大学硕士学位论文 ( 6 ) 根据文献【4 i4 2 1 和4 7 1 的网络结构，显然远远超过了训练用的数据，为大 样本。对前l o 年的训练样本进行聚类分析，采用距离作为聚类指标进行最短距离法 作系统聚类( 方法原理可参见文献f 7 】) ，得到图3 - 4 ，1 0 个洪水年分为六类： 图3 4 洪水年分类的系统聚类图 b 1 = 1 ( 1 9 3 1 ) ，6 ( 1 9 7 4 ) ， ；b 2 = f 4 ( 1 9 5 8 ) ，8 ( 1 9 8 0 ) ，9 ( 1 9 8 1 ) ) ：b 3 = 2 ( 1 9 3 5 ) ： b 4 = 5 ( 1 9 6 9 ) ，7 ( 1 7 5 ) ；b 5 = i 0 ( 1 9 8 2 ) ) ：b 6 = 3 ( 1 9 5 4 ) ) 。图3 5 为洪水年样本分类图， 可见每一类都很有代表性。 x1 0 一x1 0 广_ 言可藉习5 厂_ 7 而i 闾 妇卜融叭1 f 吾而万蜀o 。f 石河亩蜀。 飚l 隔基八| ：影u lj 圃；圆 幽3 5 洪水年样本分类曲线图 ( 7 ) 为了保证训练样本的覆盖面，在每类中随机选一年的数据作为训练样本， 这里就选每类的第一年数据作为训练样本，检验样本不变。 ( 8 ) 通过试错法和误差的灵敏度分析方法，最终选择模型结构为：4 7 1 。这也 况明了选择样本没有减少信息。继续使用上面建立的网络、权和闽值的初始值，及算 法。训练网络，并用训练好的网络对检验样本进行预测。 一 2 5 6 4 2 o o 5 华中科技大学硕士学位论文 泛化能力以常用的用于评价预测精度的指标：均方误差m s e 和平均相对误差 m a p e ( m e a n a b s o l u t e p e r c e n t a g ee r r o r ) 为比较指标。 m a p e = 旧( f ) 一y ( r ) i d ( t ) - 1 0 0 ( 3 - 3 ) 最后效果对比如表3 2 ：其中每种算法的第一行为采用全部训练样本的结果，第 二行为采用聚类分析挑选的训练样本的结果。 从表3 2 的实例效果分析得：采用聚类方法挑选训练样本后，虽然对网络的泛化 能力影响不明显，对收敛性( 训练次数) 有所提高，但可以大大减少学习时间。也就 是建模的时间，从而为解决实时行要求提供了一种方法。 表3 2采用的训练样本聚类前后的效果比较 3 4 应用实例2 仍然采用实例l 的数据，利用插值作数据平滑前后的样本，分别建立基于时间序 列分析的f i r 神经网络模型。 图3 - 6 不同大水年两洪水交替图 由于只是汛期流量，这个数据显然不连续，而且，从图3 - 6 看，它代表了任两 _ i 一 华中科技大学硕士学位论文 个大水年洪水期的流量在交替时的图，头年1 0 月和下年5 月的日流量比较平稳，波 动很小，但是在两年之间波动很大。直接用于动态f i r 神经网络，会让网络记住错误 信息，影响泛化能力，需用插值作数据平滑，以尽量减小由此引起的误差。从图上看， 洪水曲线比较光滑，故可采用s p l i n e 插值。再从点的分布密度考虑，本文选择插5 个点。图3 7 是在图3 - 6 交替处插5 个点后的图，可见，交替处不再显得那么突兀， 达到了数据平滑的目的。 模型建立：仍然选用前1 0 年数据为训练样本，后2 年数据为检验样本。利用前 面预处理后的数据，采用原时间序列直接建模和插值后的时间序列建模。 图3 7 用s p l i n e 插值后的3 - 6 图 通过试错法和误差的灵敏度分析方法，选定网络结构为：1 5 一i ， 瓦，乏 = 【21