（通信与信息系统专业论文）加权模糊隶属度多模型rbf网络及其应用.pdf

武汉理工大学硕士学位论文 摘要 人工神经网络已经在很多领域得到了成功的应用，但由于缺乏严密的理论 体系的指导，其应用效果往往取决于使用者的经验。h a n s e n 和s a l m o n 于1 9 9 0 年开创性地提出了神经网络集成方法，他们证明可以通过简单地训练多个神经 网络并将其结果进行合成，就能显著地提高神经网络系统的泛化能力；因为该 方法易于使用且效果明显，因此被视为一种非常有效的工程化神经计算方法。 客观气象要素预报在地区天气预报中有非常重要的作用。传统方法一般采 用统计分析、m o s 预报、经验预报等手段。不同于传统的预报方法，本文采用 神经网络技术，在时间序列分析的原理上，通过神经网络集成，建立多模型网 络，通过提取历史气象要素观测资料来构造和训练网络模型。主要工作包括以 下几个方面： 一、简要阐述了天气预报的几种方法，介绍了迅猛发展的神经网络技术及 其在大气科学领域中的应用和前景。 二、介绍了径向基函数神经网络模型结构、泛化能力和常用的学习算法， 对多层前馈网络的泛化能力做了研究分析，对目前提高神经网络泛化能力最有 效的方法一神经网络集成的一般理论、研究现状与实现进行了探讨分析。 三、针对神经网络在复杂问题中的学习问题，提出基于专家网络的r b f 网 络模型m r b f n 和基于神经网络集成思想的加权模糊隶书度多模型r b f 网络f 删。 对两种模型给出了算法和仿真实例。 四、利用时间序列分析的原理，引入f 删网络模型，对一定区域内的单站 气象要素，建立预测未来多小时内的多种气象要素如温度、气压、湿度、风向 风速、能见度等基本观测值的多模型网络。并用实际数据进行了预测研究。 本文研究表明，通过神经网络集成技术，可以有效提高神经网络的泛化能 力。集成后的神经网络，更适合在工程领域进行应用。本文提出的网络模型和 技术在在气象预报领域的应用取得了良好的效果。应用神经网络对气象要素进 行客观预报，可以为预报技术的模式提供了一个新的发展方向。 关键词：r b f 神经网络；神经网络集成；多模型网络；时间序列分析 武汉理工大学硕士学位论文 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) a l r e m yh a sb e e na p p l i e di nm a n yf i e l d sa n d a c h i e v e dp l e n t i f u lf r u i t s a l r e a d y h o w e v e r , p r a c t i c a lp r o b l e mt h a t h a sc o m et o p r o m i n e n c ei st h a ta n n sa l eu n s t a b l ep r e d i c t o r s n e u r a ln e t w o r k e n s e m b l ei s a l e a n i n gp a r a d i g mw h e r eac o l l e c t i o no faf i n i t en u m b e ro fa n n si st r a i n e df o r s a l l l e t a s k i to r i g i n a t e sf r o mr e s e a r c hw o r ko f h a n s e na n ds a l e m o no n1 9 9 0 ，w h i c hs h o w s t h a tt h e g e n e r a l i z a t i o na b i l i t y o fan e u r a ln e t w o r ke n s e m b l es y s t e mc a nb e s i g n i f i c a n t l yi m p r o v e dt h r o u g he n s e m b l i n gan e m b e ro f a n n s o b j e c t i v ew e a t h e re l e m e n tf o r e c a s t i n gh a st h ev e r yi m p o r t a n te f f e c ti nc e r t a i n a r e aw e a t h e rf o r e c a s t i n g t r a d i t i o nm e a n ss u c ha ss t a t i s t i ca n a l y s i s ，m o sf o r e c a s t i n g e x p g r i e n c ef o r e c a s t i n ge t ca r eu s u a l l ya d o p t e d i nv i e wo ft h ew e a k n e s s e so fs i m p l e n e u r a ln e 铆o r kf o rw e a t h e r cf o r e c a s t i n g , an e wa n dm o r ee f f e c t i v ew e a t h e r f o r e c a s t i n gm o d e lc a l l e dm u l t i - m o d e lr b f n e u r a ln e t w o r k si sd e v e l o p e di nt h i sp a p e r b a s e do nt i m es e r i e s a n a l y s i s a n dn e u r a ln e t w o r k e n s e m b l i n g t h e n m a i n c o n t r i b m i o n so f t h i sd i s s e r t a t i o na r es u m m a r i z e da sf o l l o w s ： f i r s t l y , s e v e r a lw e a t h e rf o r e c a s t i n gm e t h o d sh a v eb e e ni n t r o d u c e di nt h i sp a p e r i t i si m p o r t a n tt h a ti n t r o d u c e da n nt e c h n o l o g yd e v e l o p m e n ta n da p p l i c a t i o ni n a t m o s p h e r ef i e l d s s e c o n d l y , t h es t r u c t u r ea n da l g o r i t h mo fr b f n nh a sb e e ni n t r o d u c e d t h e t h e o r ya n ds o l v i n gm e t h o d so fi m p r o v i n gg e n e r i l a z t i o na b i l i t yf o rn e u r a ln e t w o r kh a s b e e na n a l y s e d i ti si m p o r t a n tt h a ti n o d u c e dn e u r a ln e t w o r ke n s e m b l et e c h n o l o g y t h e o r ya n da p p l i c a t i o n n u r u a ln e t w o r ke n s e m b l ei st h em o s te f f e c t i v em e t h o di n i m p r o v i n gg e n e f i l a z t i o na b i l i t yf o rn e u r a ln e t w o r ka tp r e s e n t t h i r d l y , a i m i n g a tt h e l e a r n i n gp r o b l e mu s i n gn e u r a l n e t w o r ki nc o m p l e x p r o b l e m s ，ae x p e r tn e t w o r kr b fm o d e lm r b f na n dam u l t i m o d e lr b fn e t w o r k m o d e lf w mb a s e do nw e i g h t e df u z z yd e g r e eo f m e m b e r s h i p sa r ep r e s e n t e d t h et w o m o d e l sa r eg i v e na l g o r i t h ma n ds i m u l a t i o nr e s u l t s l a s t l y , m a k eu o ft h et i m es e r i e sa n a l y s i s ，l c a di n t of w mn e t w o r km o d e l ，t o 武汉理工大学硕士学位论文 c e r t a i na r e as i n g l es t a t i o nw e a t h e re l e m e n t ，b u i l dam o d e lf o rf o r e c a s t i n gw e a t h e r e l e m e n ts u c ha st e m p e r a t u r e ，p 嗍s u r e ，h u m i d i t y , w i n dd i r e c t i o n , w i n ds p e e d ， v i s i b i l i t ye t c t h r o u g hn e u r a ln e t w o r ke n s e m b l et e c h n o l o g y , g e n e r a l i z a t i o ne r r o r so fn e u r a l n e t w o r k sa 北e f f e c t i v er e d u c i n g a n di tc a l lb ef i t t e d i na p p l i c a t i o ni np r o j e c tf i e l d m o r e t h en e t w o r km o d e la n dt e c h n o l o g yp r e s e n t e di nt h i sp a p e ra c h i e v e db e t t e r r e s u l ta n dc a l lp r o v i d ean e w d e v e l o p m e n td i r e c t o r yi nw e a t h e rf o r e c a s tf i e l d k e y w o r d s ：r b fn e u r a ln e t w o r k ；n e u r a ln e t w o r ke n s e m b l e ；m u l t i - m o d e ln e t w o r k s ； t i m es e r i e sa n a l y s i s i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：嫩日期：4 。压 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：蜱导师签名： 武汉理工大学硕士学位论文 第1 章绪论 1 1 课题研究背景及意义 气候系统是一耗散的、具有多个不稳定源的高阶非线性系统，其复杂的内 部相互作用和自由变化导致了气候的可变性和复杂性，也导致了气候变化的多 尺度特性 1 , 2 1 。目前我们对岩石圈、水圈、冰雪圈、生物圈( 包括人类活动) 等气 候作用范围了解甚少，所积累的资料精度和完备性相当缺乏，因此就目前人类 对气候系统的了解而言，要建立起精确的反映气候系统变化的非线性动力学方 程组是不可能的，这就给气候变化预测的理论动力学研究带来了极大的困难。 就目前来说，我们赖以进行短期气候预测的根据有两个：一是对气候变化进行 了严密的监视，利用各种仪器在全球范围进行了定时观测，从而积累了关于它 过去和现在情况的大量数据；二是气候系统为一物理系统，我们通过物理学和 数学的研究，获知了一些气候变化所遵循的物理规律，并用数学语言加以表示。 天气预报是根据具体区域的气候背景、天气演变特点，通过多种基于天气 学理论的预报方法以及相应的预报模型而制作出来的。正是气候系统的非线性、 可变性和复杂性，在一定层度上造成天气预报困难和不准确性。作为经济建设 和国防建设服务的重要支持手段，天气预报、气候预测越来越多的显示出它的 重要性和必要性。随着国民经济和科学技术的发展，天气预报的方法和技术水 平也在逐步提高，预报的准确性也相对提升。 随着计算机技术的飞速发展，各行业系统信息化的不断提升，信息技术与 行业技术的融合将极大的改善传统行业技术的特点，对行业工作效率的提升产 生很大影响。就气象行业来说，随着计算机处理速度的飞速提升，特别是大型 超级计算机的投入使用，是预报技术特别是数值预报技术等方面有了很大的改 善，但是在实际的天气预报过程中，传统的预报模式还是广泛存在，而面临当 前的信息技术浪潮，我们改进气象预报模式方面依然没有取得很大的进展，信 息技术与气象方面的结合还只是停留在表面，如何对当前通过观测手段、计算 手段等方式获得的广泛数据进行分析、整理、挖掘，真正获取这些资料中隐藏 的诸多非线性、关联的信息，还是摆在我们当前应用的一个难题。随着气象科 武汉理工大学硕士学位论文 学技术的发展，人们通过自身的观察、实验、经验积累，已经发现了很多新的 预报理论和方法，并且在实际使用中得到了一些应用。但是，我们应该看到在 这些实际应用中，很多方法因为这些或那些原因还没有得到广泛的推广和使用， 预报方式以主观预报和数值预报等手段为主。有鉴于于此，本文采用数据库技 术，利用通过时间序列分析和神经网络等技术，充分挖掘气象数据中的各种信 息，对未来逐个时次的气象要素进行客观预报，为气象预报技术发展提供了一 个新的方向和方法。 1 2 课题及其相关研究方法的现状 1 2 1 气象预报的基本方法 气象预报作为一门预测学科，主要有三种预报模式： 一、建立数值模型。通过建立各种复杂的数学方程( 多是非线性方程) ，大自 然的各方面的变化进行数学上的表述，这就是数值模型。数值模型建立的过程 ( 建模) 需要考虑到那些不确定因子，但会对它们进行取舍，忽略某些影响比较 小的因子，使模型在准确与效率之间尽可能取得平衡。 二、统计预报。自然学科可以通过统计分析的手段来做预测( 即统计预报) ， 通过统计某一现象在历史上特定的环境前提下出现的概率，来推测它在未来存 在类似环境前提时出现的可能性。与数值模型更多的注重于原因的分析以及运 用数学理论来表述所不同的是，统计预报更多的是关心各种影响因予与现象出 现之间的相关性，通过概率统计的方法，找出相关性最大的某些因子作为预报 着眼点。 三、主观预报。通过人的主观判断和经验积累来对未来天气做出预测，它 依赖于工作者自身经验的积累。 今后天气预报发展的趋势是以客观预报为主( 运用数值预报、统计预报等客 观工具) 、主观预报为辅( 预报员个人经验和判断作为有力的补充) 。 预报方法介绍： 目前我国气象台、站天气预报的一些方法、思路、依据的原理、步骤以及 预报技术中的一些问题作简括的介绍。 ( 1 ) 天气图预报方法 天气图预报方法已有1 0 0 多年历史，自从有电报后，各地同时间观测的气 2 武汉理工大学硕士学位论文 象资料能及时集中到各国的气象中心，分析出天气图。从天气图上看到一个个 高、低压系统在移动着，这类天气系统在移动过程中给各地带来了天气变化。 我们从天气图上分析出天气系统，预报它们在未来的移动和强度变化( 包括生成 和消1 2 ) ，就能推论各地区未来天气的变化，这就是天气图预报方法的主要依据。 我们分析各种天气图或其他辅助图表，目的就在于及时分析出引起各地天气变 化的天气系统。天气图分析正确与否，是天气图预报方法的前提。天气图预报 方法首先要做出天气形势预报，即预报出天气图上已有的天气系统，它们未来 的移动和强度变化，同时还要判断有无新生的天气系统产生。 在天气形势预报中，最简单的方法是外推法，即假定未来天气系统的移动 和变化与起始时刻的情况相同，这种方法也称作持续性法。其次是气象员在长 期天气预报的实践中，总结出有关天气系统移动或强度变化的经验预报规则， 这些经验规则在天气形势预报中也有很大作用。此外，从动力气象学的一些理 论中，也可以推论出一些有关天气形势预报的规则。气象员根据这些就可以作 出未来的天气形势预报。 近3 0 年来，由于电子计算机的出现，趋向于改由机器作天气形势预报图， 这种预报称作数值预报，图表示数值预报的内容。数值预报的第一步要求对所 预报的天气系统从生成到消亡的主要物理过程有所认识，并将其概括成一组物 理定律；第二步将这组物理定律用数学方程组表达出来，并且对这个方程组用 电子计算机来求解。由于电子计算机的速度和容量有限，对方程组必须作适当 简化；第三步将起始时刻的各层天气图资料编入机器；第四步由机器对这组议 程进行求解，便算出未来各个时刻、各个地点和各高度上的高压面高度、温度、 湿度和风速矢量的三个分量u v w 的预报值。 电子计算机在作压、温、湿、风的预报时，是一小段一小段时间往前预报 的。例如，根据起始时刻的天气图，先算出l o 分钟以后的预报图，然后将这张 预报图作为起始时刻的天气图，算出1 0 分钟以后的预报图。这样一步一步连续 作下去，便能算出未来2 4 小时或4 8 小时的预报图。如果得到一张2 4 小时预报 图，先后要作一百次左右的预报。假如我们要计算的站点( 在数值预报中称作网 格点) 为5 0 x 5 0 = 2 5 0 0 点，高度取1 0 层，对各个站各个高度预报六个气象要素( 压、 温、湿和三个风速分量) ，作一次2 4 小时预报就需要进行一千五百万次运算。 目前各国探空站的密度大约相隔4 0 0 5 0 0 公里有一个站，所以由数值预报作出 的各种形势预报图，只能抓住大尺度天气系统的活动，小于4 0 0 公里的中小天 武汉理工大学硕士学位论文 气系统便预报不出来。 由电子计算机作出的天气形势预报图，比用手工方法制作预报图要客观。 根据检验结果，高空天气形势图，用电子计算机制作的比手工制作的要好。对 地面天气图来讲，两种方法制作的效果差不多。目前开展数值预报业务的国家 发布的各种天气形势预报图，大多是由机器作出并经过气象员修改后才发出的。 天气形势预报图作出后，根据天气形势再作出各地区的天气( 阴、晴、雨、 雪和灾害性天气等) 预报。天气预报困难较大，即使天气形势预报正确，天气预 报不一定就报对，因为天气形势和天气并不是一一对应的。所以，从天气形势 预报过渡到具体的天气预报，主要依靠气象员的判断，这样，气象员的经验就 很重要。气象员在长期预报实践中，将本地区的重要天气编成档案或分成类型， 天气形势预报确定后，从档案中找出最类似的过去个例或天气型，根据它们作 出天气预报。在过去3 0 年中，天气形势预报进展很快，但从天气形势过渡到具 体天气预报，却没有很大进展，这是目前天气图预报方法中的问题之一。 ( 2 ) 统计预报方法 有些单站气象要素( 如最高、最低气温、云量、能见度以及某种危险天气等) 的预报，不容易用天气图预报方法做出，往往采用统计预报方法。统计预报方 法的种类很多，这里不能一一介绍，只讲一讲统计预报方法的基本思路和步骤。 设p 是我们要预报的量( 例如雨量) ，将预报量p 同其他一些气象要素 恐屁，凰) 进行统计分析，求出一个一元多次复相关回归方程关系式。得到 了上式以后便可求出预报量。 要得到有效的统计预报方法，怎样选择预报因子是个关键。预报因子的选 择，要以气象员的经验和有关预报量的天气学知识作基础，从大量气象资料中 选取最有效的预报因子。我国气象台站在选预报因子时，不但根据气象员自己 的经验，而且还运用群众的经验，或以它为线索选取，在选取有效的预报因子 时，将预报量p 同许多预报因子进行单相关分析，同时从天气学角度分析这种 相关有没有意义。只有将这两者结合起来，才能选出有效的预报因子。过去有 一些统计预报方法，由于单凭机械地求统计相关，不考虑其物理意义，预报效 果就不好。如果有电子计算机，可以选择许多观测站的气象要素或各个高空站 各高度上的气象要素来作预报因子。这时必须作出某个预报因子与预报量p 的 相关系数水平分布图或垂直分布图，然后从天气意义上分析这种相关性分布的 特征，由此再选定某一站的或某一高度上的气象要素作预报因子。 4 武汉理工大学硕士学位论文 有效预报因子决定后，根据数理统计学中的判别法和相关分析法，作出预 报量( p ) 出现不出现的判别式，以及预报量( p ) 数量大小的预报方程。如果有电子 计算机，很容易求得这两个方程。最后要对这两个预报方程的精确度作检查。 图给出统计预报的程序。 近3 0 年来，概率与统计学方法在美国以及法国、日本等发达国家的气象学 发展中发挥着重要的作用，我国与这些国家相比尚存在着较大的差距。 ( 3 ) 动力学预报与统计预报的结合 数值预报是根据动力学中的议程计算出来的，所以也称动力学预报。只要 给出起始时刻的各层天气图资料，就可以确定未来任何时刻压、温、湿、风等 分布的情况。这种预报在数学上也称作确定论预报。统计预报是以概率论作基 础，预报量与预报因子的回归方程所示关系，在概率论上已达到某种置信的程 度，因此，在大多数情况下，如果预报因子出现，预报量也就出现。但并不能 保证在任何时候都这样。从预报上讲，确定论最理想，但目前还达不到这一步， 不过统计预报方法仍是很有用处的。气象员应该将这两类预报方法结合起来作 用，预报效果就会好些。 预报是根据现在推论未来，所以在统计预报方法中，预报因子的选择都是 取起始时刻或过去时刻的气象参数。但有一些预报量同它出现时刻的气象条件 关系最密切，例如，就降水来说，它与降水出现时刻的上升运动强弱和空气中 水汽含量大小的关系最密切，所以选择雨量的预报因子，最好取在预报时刻的 因子，这时预报因子本身也是个预报量。有了动力学预报以后，从动力学预报 得出各地各高度上压、温、湿和u ，v ，1 6 三个风速分量预报值，并且从这些基 本物理量还可算出其他许多物理量( 如温度平流、涡度平流、水汽输送通量、稳 定度指数等等) 。将这些由机器给出的、预报时刻的物理参量与要求预报的量求 出统计关系式。求法与图所讲的程序相同。这种由动力学预报方法和统计预报 方法相结合的方法，称作由动力学预报模式得出的统计预报，简称m o s 。近二、 三年好几个国家已采用这种预报方法，由这个方法可以作出各地的2 4 小时最高、 最低气温预报，1 2 3 6 小时各地降水量预报，各地能见度、云量和低云高度的 预报，以及某种灾害性天气( 如大风、暴雨、强雷暴) 出现与不出现的判别预报。 这类预报都是直接从电子计算机作出的。所以电子计算机在作出各种天气形势 预报图的同时，也给出全国选定台站的前述诸气象要素的预报。国家气象中心 将天气形势预报图和m o s 预报传给各级气象台站。台站气象员将m o s 预报 武汉理工大学硕士学位论文 和当地所作的预报结合起来，作出较准确的预报。天气形势预报和m o s 预报 的结合可能是今后国家气象中心预报业务一个有希望的方向。 最近2 0 年来，美国等国家出现的一些新的科学思想、理论和方法不断引用 于大气科学。诸如突变理论、非平衡态理论、混沌、吸引子、分维数理论等， 都用数学思维和数学描述进一步揭示了天气气候变化的随机性和混沌性本质。 同时信息化技术也在气象预报中发挥了越来越大的作用。 当前我国气象预报技术基本达到和接近发达国家水平，但是在很多方面还 是存在一定差距，特别是统计预报方法方面，这与我国气象界重“动力”轻“统计” 的观念有很大影响。近3 0 年来，概率与统计学方法在美国以及法国、日本等发 达国家的气象学发展中发挥着重要的作用，我国与这些国家相比尚存在着较大 的差距。 1 2 2 人工神经网络的发展历史与现状 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k , a n n ) ，亦称为神经网络( n e u r a l n e t w o r k , a n n ) ，是由大量处理单元( 神经元n e u r o n s ) 广泛互连而成的网络，是 对人脑的抽象、简化和模拟，反映人脑的基本特征。2 0 世纪8 0 年代后期以来， 人工神经网络的理论和应用研究都有了较大的发展，其重要原因之一是，神经 网络方法在图像、信号处理、模式识别、智能控制和计算机技术等众多学科领 域取得了大量的应用研究成果【3 】，在建模、时间序列分析、模式识别、信号处理 以及控制等方面得到广泛的应用。 然而，神经网络从开始研究到发展不是一帆风顺的，经历了兴起到低潮， 再转入新的高潮的曲折发展道路。 ( 1 ) 初期阶段 1 9 世纪9 0 年代，美国心理学家w i l l i a mj a m e s 发表了心理学原理一书， 论述了相关学习、联想记忆的基本原理，对人脑功能作了创见性的工作。他指 出：当前基本的脑细胞曾经一起相继被激活过，其中一个受到刺激重新激活时， 会将刺激传播到另一个。同时，j a m e s 认为，在大脑皮层上任意点的刺激量，是 其他所有发射点进入该点的总和。1 9 1 3 年，人工神经系统第一个实践是r u s s e l l 描述的水力装置。1 9 4 3 年，美国心理学家w s m c c u l l o h 与数学家w h p i r t s 合作， 用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了 对神经网络的理论研究。他们首先提出了二值神经元的m p 模型，论述了有一定 6 武汉理工大学硕士学位论文 数量输入作用下超过某一阈值，神经元才兴奋，突触联系的神经元之间只有兴 奋和抑制两种方式。 1 9 4 9 年，心理学家d o h e b b 出版行为构成一书，在该书中首先建立了 被称为h e b b 算法的连接权训练规n t 4 j 。他认为学习的过程就发生在两个神经细 胞相互连接的突触处，并首先提出了神经元权值的修改方案h e b b 学习规则至今 都产生深刻影响。2 0 世纪5 0 年代，e r o s e n b l a t 首次设计制作著名的感知器【5 ，6 ，7 l ， 提出了一种具有三层网络的结构，第一次从理论研究转入工程实现阶段，从工 程角度出发，研究了用信息处理神经网络模型，这是一种学习和自组织的心理 学模型，它基本符合神经学原理，尽管比较简单，却具有神经网络的基本性质， 如分布存储、并行处理、可学习性、连续计算等。这些神经网络的特性与当时 串行离散符号处理的电子计算机及相应的人工智能技术有本质的不同，为此引 起众多研究者的兴趣，在2 0 世纪6 0 年代掀起一次研究神经网络的高潮。 1 9 6 2 年，b e r n a r dw i d r o w 和m a r c i a nh o 仃提出了一种连续取值的线性加权 求和阈值网络，即自适应线性元件网络【8 9 ，1 0 ，1 1 1 ，也可以看成是感知器的变形，它 成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神 经网络理论上创造了一种被人们熟知的w i d r o w - h o f f 学习训练算法，即x x x 算 法或l m s ( 最小均方) 算法，并用硬件电路实现人工神经网络方面的工作，为今天 用大规模集成电路实现神经网络计算机奠定了基础。 ( 2 ) 低潮阶段 1 9 6 9 年，人工智能创造人之一m a r v i nm i n s k y 和s e y m o u rp a p e r t 出版一本名 为感知器的专著，书中指出线性感知器功能是有限的，简单的神经网络只 能进行线性分类和求解一阶谓词问题，而不能进行非线性分类和解决比较复杂 的高阶谓词问题 1 2 , 1 3 】。他还指出，与高阶谓词问题相应的应该是具有隐含单元的 多层神经网络。在当时的技术条件下，他们认为在加隐含单元后，想找到一个 多层网络的有效学习算法是极其困难的。由于微电子技术不发达，用电子管或 晶体管为基本元件，体积大、价格贵，当时用计算机实现大规模的神经网络的 研究是不可能的，更难制作可以实际应用的装置。又因串行计算机正处于迅速 发展时期，以符号逻辑处理方法的人工智能研究也取得很大成就，此时人工神 经网络的研究者们难以得到产业界的支持和响应，为神经网络提供的研究基金 枯竭了，在这种情况下，专家们不得不放弃神经网络领域的课题，使研究工作 的发展进入了低潮时期，进展极其缓慢。 7 武汉理工大学硕士学位论文 虽然从事神经网络研究的人员和发表的论文大幅度减少，但仍然有学者继 续进行研究。1 9 6 9 年，美国波士顿大学自适应中心的s t e p h e ng r o s s b e r g 和 c a r p e n t e r 提出了著名的自适应共振理论模型1 1 4 , 1 5 , 1 6 , 1 7 , 1 8 】，其中论述到，若在全部 神经结点中有一个结点特别兴奋，其周围的所有结点将受抑制。此理论在当前 的神经网络中仍然应用。 ( 3 ) 复苏阶段 进入2 0 世纪7 0 年代，即使是处于低潮时期，仍有不少研究工作者坚持不 懈地努力工作，提出了各种不同的网络模型，增加网络的功能和各种学习算法 的研究，为后来神经网络理论、数学模型、网络结构体系等奠定一些基础。1 9 7 0 年和1 9 7 3 年，日本学者k u n i h i k of n k u s h i m a 研究了视觉和脑的空间和时间的人 工神经系统，提出了神经认知网络理论及认识机能方面的模型。1 9 7 2 年，芬兰 的t k o h o n e n 教授提出了自组织映射理论【1 9 , 2 0 , 2 1 1 ，并称神经网络结构为联想存 储器”。同一时期，美国生理和心理学家j a n d e r s o n 提出另一个类似的神经网络， 称为“交互储存器”【2 2 2 3 捌。他们在网络结构，学习算法和传递函数方面的技术几 乎完全相同。t k o h o n e n 的自组织映射模型是一种无导师学习网络，主要用于模 式识别和分类、语言识别等场合，随后还研究出了联想记忆网络。t k o h o n e n 主 要是针对网络结构与训练算法的生物仿真及模型的研究。 1 9 8 0 年，日本学者福岛邦彦发表的“新知识机”，他综合出一种具有进行模 式识别能力的神经网络模型。这种网络起初为自组织的无导师训练，于1 9 8 3 年 改为有导师训练，以便能更好地反映设计模式识别的工程师立场。福岛邦彦给 出的神经认识机能识别o 9 十个数字。 进入2 0 世纪7 0 年代后，科学取得了新的重大成果。p r i g o g i n e 提出了非平 衡系统的自组织理论( 耗散结构理论) ，获得了诺贝尔奖。数理科学家研究非线性 系统，发现诸如“混沌”的动力学性质。h a k e n 研究了大量元件联合行动而产生有 序的宏观表现，通过元件之间的相互作用，系统结构由无序到有序，系统功能 由简单到复杂，类似于生物系统的进化和自组织过程以及认知系统的学习过程。 又由于神经和脑科学研究方面，在感觉系统特别是视觉研究中发现的侧抑制原 理，感受野的概念。皮层的功能柱结构以及信息的平行处理和层次加工的观点， 被证明是神经系统处理信息的普遍原则。 被大家一致公认的神经网络研究复苏的主要标志是，1 9 8 2 年美国加州理工 学院物理学家j o h njh o p f i e l d 教授发表的一篇具有里程碑性的论文，他提出一种 8 武汉理工大学硕士学位论文 递归网络- h o p f i e l d 网络【2 5 ，2 6 捌，将网络作为一个动态系统，引入能量函数训 练该系统，网络存在的能量局部极小问题。 1 9 8 6 年，贝尔实验室宣布制成神经网络芯片，在这之前不久，以美国认知 心理学家d e r u m e l h a r t 和j l m c c e l l a n d 为首的p d p 研究小组发表了多层神经 网络学习的误差反向传播算法【2 8 ，2 9 1 ( 简称b p 算法) ，至1 9 8 8 年发表了并行分布 式处理( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g 简称p d p ) 一书共三卷，书中涉及到神经 网络的三个主要特征，即结构、神经元的转移函数( 传递函数) 和它的学习训练方 法。p d p 这部书最重要的贡献之一是发展了多层感知机的反向传播训练算法， 将学习结果反馈到中间层次的隐结点，改变其连接权值，以达到预期的学习目 的。如果说j o h n j h o p f i e l d 燃起了神经网络复苏之火，从而使神经网络的研究掀 起了新的高潮，而p d p 网络的提出，对新高潮的到来起到了推波助澜的作用。 ( 4 ) 新高潮阶段 2 0 世纪8 0 年代后期新商潮的到来，应该说是1 9 8 7 年6 月2 1 日，以在美国 圣地亚哥第一届国际神经网络学术会议的召开为开端。会上宣告了国际神经网 络协会的成立及神经网络计算机科学的诞生，而且还展示了有关公司和大学开 发的神经网络计算机方面的产品和芯片。随后，由三位世界著名神经网络学家， 美国波士顿大学的s t e p h e ng r o s s b e r g 教授、芬兰赫尔辛基技术大学的t e n v o k o h o n e n 教授及日本东京大学的甘利俊教授，首次创办了世界第一份神经网络杂 志( n e u r a ln e t w o r k ) 。接着国际电气工程师与电子工程师学会( i e e e ) 相继也成 立了神经网络。当前各国发展的重点是以应用为导向，采取长远计划发展与近 期效果相结合方法，以研究更高性能的混合计算机为目标，使神经网络在工业 技术应用上发生更大的突破和新的发展。 神经网络的理论、应用、实现及开发工具的迅猛发展，使人工神经网络的 发展涉及神经生理科学、认识科学、心理学、数理学、信息科学、微电子学、 光学及生物电子学等学科综合的前沿性学科。人工神经网络技术与当前技术相 结合，如与人工智能( a i ) 、视觉、语言、识别系统、图象处理、机器人及医学 等的结合，会带来处理更快、开发更容易和应用性更强的前景。未来神经网络 的发展有如下几个方向： ( 1 ) 神经网络的理论基础，如神经网络的学习能力、样本复杂性等。 ( 2 ) 神经网络的实际应用，如工程应用、信号处理、预测、建模、分类、优 化计算等。 9 武汉理工大学硕士学位论文 ( 3 ) 提高神经网络的泛化能力( 预测精度) 的方法，如神经网络集成。 ( 4 ) 神经网络与遗传理论、模拟退火理论、混沌理论、概率统计等理论的融 合，寻求更好的神经网络构造与训练算法。 ( 5 ) 新型神经网络如随机神经网络、概率神经网络、协同神经网络、混沌神 经网络、量子神经网络等。 我国脑功能和神经网络课题的研究，早在4 0 年前就已经进行，对于人工神 经网络能力的研究，是在2 0 世纪8 0 年代才开始。1 9 8 0 年，涂序彦先生发表生 物控制论一书，书中系统地介绍了神经元和神经网络的结构、功能和模型。 1 9 8 8 年，北京大学组织召开了第一次关于神经网络的讨论会，一些知名学者在 会上作了专题报告。1 9 8 9 年，北京和广州等地召开了神经网络及其应用讨论会 和第一届全国信号处理神经网络学术会议。1 9 9 0 年2 月，由中国电子学会 及计算机学会等八个学会联合发起并组织了中国第一次神经网络会议，参加人 数4 0 0 余人，搜集到会议记录中的论文3 5 8 篇，内容涉及生物、人工神经网络 模型、理论、分析应用及实现等各方面。1 9 9 1 年由1 3 个单位发起和组织召开了 第二次全国神经网络会议，录用论文2 8 0 篇。1 9 9 1 年成立中国神经网络学会， 大大推动了中国学术界及工程界在人工神经网络理论及应用方面的研究。经过 1 0 年的发展，我国人工神经网络的研究和应用正迈向新的高科技时代。 1 2 3 人工神经网络预测在气象领域中的应用 近年来，随着神经网络的发展与完善，人们开始利用尝试用神经网络对非 线性系统进行模拟和预测，并取得了很好的效果。人工神经网络是一种大规模 并行的非线性动力系统，具有较强的处理非线性问题的能力，因而在预报中显 示了很好的应用前景。早在1 9 8 0 年代，国外的一些科学家就尝试将神经网络应 用于气象预报，并取得了一定的成果。我国对人工神经网络方法的研究起步较 晚，但在近几年里也取得了不少成果。 某一天气因子的多年值按时间序列画成二维图，一定是一条非线性的，且 很难找到与其对应的曲线。这样就给天气的模拟和预测带来很大困难。气象预 报模型具有很长的发展历史，除了运用传统的数理统计方法之外，人们一直在 创造新的理论和方法，利用最先进的仪器和手段，如气象卫星、遥感、电子计 算机，来研究更准确、更宽广的时空范围内的天气预报模型。目前，农业上应 用比较广泛的是天气模拟模型，这类模型通过以往的气象观测资料，来研究某 1 0 武汉理工大学硕士学位论文 一地区天气或气候特征，既而再利用这些天气或气候特征来模拟该地区的一年 四季每天的各项天气数据，即通常所说的天气发生器。它只研究一般特征，不 回答未来短期或长期内天气将如何变化。天气模拟模型的研究起步较晚，国外 大约是从7 0 年代开始的。目前国际上已经建立了多个模拟逐日天气资料的模型， 如美国的w h e a t h e r m a n 系统和w g e n 模型等。 近年来，人们开始利用尝试用神经网络对非线性系统进行模拟和预测，并 取得了很好的效果。1 9 8 7 年，n e u r a lw a r e 公司开发设计了天气预报系统，它 是一个神经网络的模拟程序，可用于模拟未来3 天的天气情况。m c c a n n1 9 9 2 年利 用神经网络预测了短期暴雨【3 l 】。严绍瑾等1 9 9 5 年通过神经网络b p 型三层映射模 式，利用1 9 4 6 1 9 7 9 ( 1 9 8 0 ) 年南京月平均气温资料序列作为学习样本，对 1 9 8 0 ( 1 9 8 1 ) 年南京l 1 2 月的平均气温预测，预测值与实测值的相关系数为 o 9 7 ( 0 9 8 ) ，如果按各月资料建立序列，则预测值与实测值的相关系数为 o 9 9 ( 0 9 9 ) p 2 j 。郭光等1 9 9 6 年用b p 模型对我国东部6 个城市( 上海等) 1 9 9 1 年( 特大 洪水) 和1 9 9 4 年( 干旱) 的汛期降雨进行预测，模型预铡的旱涝总体趋势与实况相 符，并预测了1 9 9 5 年的夏季降水，说明了用神经网络天气预测的可行性【3 3 】。金 龙等1 9 9 6 年对水面蒸发计算的人工神经网络方法进行研究，用人工神经网络方 法计算值与实测值之间的误差均小于1 0 3 4 。严绍瑾等1 9 9 5 年还利用神经网络 b p 模型对月降水进行了预报d 5 1 。路志英等2 0 0 4 年采用多模型神经网络综合预报 方法进行了降水预报冈。 目前，在国内外大气学科中有关神经网络方法的应用研究内容涵盖了气象 学科的很多方面，其中包括：中短期天气预报，短期气候预测，气候模式，数 值预报产品释用预报，农业气象，土壤水分预报，强对流天气，卫星资料处理， 雷达资料的预报应用，云图识别，能见度预报，大气温度廓线反演，水面蒸发 计算，厄尔尼诺预报，台风预报，温度时间序列预报，空气污染预报，以及观 测资料优化处理等。金龙【3 7 1 综述了人工神经网络技术发展及在大气科学领域的 应用。 1 3 本文研究的主要内容 神经网络以其本质非线性和自学习功能，在各个方面得到了广泛应用。它 通过对训练样本的反复训练、学习，从原始数据中提取“信息”，逼近这些数据 所蕴涵的规律，尽管这些规律用传统的数学方法难以精确描述，但却可以通过 武汉理工大学硕士学位论文 神经网络对原始数据的学习来得到。因此可以利用神经网络来建立同一气象要 素或不同气象要素在时间、空间上的对应关系，或者利用已有的定性的气象规 律用神经网络建立不同气象要素之间的关系，以此来完成对缺测数据的恢复和 异常数据的修正。 本文利用时间序列分析的原理，引入神经网络模型，对一定区域内的单站 气象要素，采用神经网络技术，建立预测未来多小时内的多种气象要素如温度、 气压、湿度、风向风速、能见度等基本观测值的多模型网络。全文结构安排如 下： 第一章：介绍了天气预报的几种方法，介绍了人工神经网络的发展简史和 神经网络技术在大气科学中的应用。 第二章：介绍径向基函( r b f ) 数神经网络的结构，泛化能力和学习算法，分 析了神经网络泛化理论和改善方法，研究提高泛化能力的重要方法神经网 络集成，对研究现状，实现方法和理论分析做了介绍。 第三章：针对神经网络在复杂问题中的学习问题，提出基于专家网络的r b f 网络模型m r b f n 和基于神经网络集成思想的加权模糊隶书度多模型r b f 网络 f 硼。对两种模型给出了算法和仿真实例。 第四章：采