人工神经网络方法介绍

人工神经网络方法介绍,概况原理及计算方法气象中的应用,BP人工神经网络方法应用简介,南京信息工程大学气象台,人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,人工神经网络的主要哲学基础就是它们具有通过范例进行学习的能力，或者更技术地来说，它们可以系统地改进输入数据且能反映到输出数据上。,一、概况,发展人工神经元定义人工神经网络的特性人工神经网络的基本类型人工神经网络的主要学习方法人工神经网络的典型模型,1、发展,神经学作为一门科学始于19世纪末。1875年意大利解剖学家用软色体法识别单个神经细胞。1889年创立神经元学说。本世纪初，电生理技术开始发展，神经系统各种反射活动得到详细研究。50年代末60年代初，Rosenblatt提出Perceptron（知觉器），WidrowAdaline（自适应线性元件）。,1986年Rumelhart和Mccelland提出了多层网络的“误差反向传播算法（BP）”。改变了这一状况，使网络模式走向实用化。目前人工神经网络的学习方法已发展有许多，如：递推最小二乘法、投影算法、反向传播算法等。,Rumelhart，McClelland提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J.McClelland,DavidRumelhart,2、定义,人工智能神经网络是由大量简单元件（模拟人的大脑）广泛相互连接而成的复杂网络系统。人工神经元结构包括输入、功能函数处理和输出。（如图）,神经元结构示意图,人工神经元,生理神经元,输入,输出,WX,函数处理,生理处理,感觉,反应,单向,多向,另一网络的输出,初始输入,该网络输出,并行分布处理非线性映射通过训练进行学习适应和集成硬件实现,3、网络的一般特性,4、人工神经网络的基本类型,递归网络前馈网络,5、人工神经网络的主要学习方法,有师学习无师学习强化学习,6、人工神经网络的典型模型,自适应谐振理论（ART.）双向联想存储器（BAM）博尔茨曼（Boltzmann）反向传播网络（BP）对流传播网络（CPN）Hopfield网认知机（Neocogntion）感知器（Perceptron）自组织映射网（SOM）,二、人工神经网络原理算法,数学原理BP算法计算步骤,1、数学原理,近似定理,对于任意的和任意的函数f：，存在3层型神经元网络，使之在的均方误差精度范围内，可得出f的近似。,2、BP网络原理算法BP(backpropagate)，指采用s型活化函数、法则训练的多层映射网络。在参数适当时，能收敛到较小的均方误差。法则一种后向传递并修正误差的训练学习方法。,BP算法原理,S型活化函数,1,算法推导,活化函数,设网络：输入输出目标输出,输出层,隐层,网络误差,令,对输出层,对隐层,以上即为S形多层神经网络的法则，即BP算法。,所以权重修正,实际应用中，增加一些参数，是为了减少从一个训练样本转换到另一个训练样本时较大误差引起的系数过调量。,学习参数加权因子,网络均方误差,法则就是从某一初始权矢量出发，逐步改变权系数，使网络误差减少。最后得到适宜的权系数。,3、计算步骤,选取训练样本对、初始化权阵。,阀值,将选取的样本输入矢量作用于输入端，从输入层到输出层计算：从输出层反向计算误差并修正权阵：,重复（23步），当所有的样本使用一次，即完成一个训练周期时，计算网络误差：重复（24步），进行下一轮训练周期，得到下一轮网络误差：,计算误差改变量：当误差改变量小于某允许值时，终止训练，得到一组权阵。,和,训练对、权阵,计算输出,计算误差并修正权阵,判断kN?,计算网络误差,判断误差改变量允许值,输出权阵和阀值,下一个样本,下一轮训练,三、人工神经网络方法在气象中的应用,正反问题人工神经网络的特点与其他方法的比较气象应用方面介绍,正问题：即已知事物相互联系的规律，求解问题的解。反问题：即事物相互联系的规律未知，只知一些现象。气象中有不少问题受实验条件的限制，到目前还没了解清楚，就属于反问题。如：长期预报。求解反问题的方法：动力学建摸（线性）、人工智能（神经网络、专家系统）,1、正反问题,2、人工神经网络的特点,从数学本质上看，非线性神经元构成的网络具有很强的自学习能力和对环境的适应能力；从应用对象看，人工神经网络方法擅长处理知识背景不很清楚的、模糊的、随机的大通量信息；,从求解的目标看，它致力于搜寻非精确的满意解，而放弃目标解的高度精确性，因而有效地提高了问题求解的效率和实际解算问题的能力。,3、与其他方法的比较,大规模并行处理，便于信息的综合良好的容错性有学习功能，网络的大量参数均由学习（训练）得到，而不是人为设定。这一点很重要，这意味从原始数据中提取信息，逼近规律，而不是人为赋予规律。,举例简单地说：MOS(模式输出统计法）是线性分析、逐步求解；卡尔曼滤波是线性分析、逐步求解；神经网络则是线性与非线性分析、逐步求解。,4、气象应用方面介绍,在气象领域，国外加拿大和美国开展应用较早。国内也进行了一些开发研制工作。一般应用于预报和分类分析。如：采用多个预报因子指标分析预报最低气温、异常降水等。,人工神经网络进行气象预测的精度，与初选的预报因子有关。因此，对于人工神经网络的构筑，需要有对气象现象的敏锐洞察以及对大气物理的深刻理解。必须求出具有大气物理学的合理性，并抓住现象本质的未知关系。,举个例子：,用人工神经网络方法模拟预报我国东部夏季三类降水型,一类雨型,二类雨型,三类雨型,1、找预报因子,预报因子海温：1区（30-50N，180-140W）；2区（10S-10N，180-140W）高度场：3区（35-60N，150E-150W）-（10-30N，150E-150W）4区（10-30N，100-150E）-（30-60N，100-150W）5区（10-30N，100-150E）-（40-60N，70-110E）,模拟与试报结果,实际模拟雨型12311500211213029,实际试报雨型123130020003202,错误模拟年为：52（3-2）68（3-2）84（2-1）89（2-3）试报错年为：93（3-1）98（3-1）用40年训练，错4年；试报7年错2年。,四、人工神经网络的优点及局限性,与其他类型的计算方法，人工神经网络具有一些明显的优点，但它并不是万能的。对于一个明智的工程技术人员来讲，在应用人工神经网络时，应同时了解其优点与局限性，以便能更好地确定人工神经网络对特定问题的适用性。,人工神经网络只不过是另一种计算机建模工具而已，但与一些著名的、传统的计算机建模方法相比，具有一些明显的优点。这些优点包括：(1)自适应性：人工神经网络具有对周围环境的自适应或学习的能力。当给人工神经网络以输入-输出模式时，它可以通过自我调整使误差达到最小，即通过训练进行学习。对于某些难以参数化的因素，可以通过训练，自动总结规律。,4.1人工神经网络的优点,(2)容错性：在输入-输出模式中混入错误信息，对整体不会带来严重的影响。与传统的经验曲线拟合模型相比，人工神经网络对噪声和不完整信息的敏感程度要低。原因是：在经验模型中，每一自变量通常都起重要作用，但在人工神经网络中，每一个节点只反映问题的一个微特征，因此，如果某一节点的输入不完整或带有噪声，这一输入在人工神经网络中所体现出的影响不会那么严重。人工神经网络能够处理不完善的问题，能比其他适用性差的经验模型更有效地归纳、得出实质性结论。(3)模式识别性能：人工神经网络能够很好地完成多变量模式识别。在化学工程中,过程控制与故障诊断包含了大量的模式识别。,(4)外推性：人工神经网络有较好的外推性，即从训练中，从部分样本中学到的知识推广到全体祥本。(5)自动抽提功能：人工神经网络能通过采用直接的(有时是不精确的)数值数据进行训练，并能自动地确定原因-结果关系。(6)在线应用的潜力：人工神经网络的训练可能要花费大量的时间，但训练一旦完成，它们就能从给定的输入很快地计算出结果。由于训练好的网络能在不到1s的时间里得出计算结果，所以它有可能在控制系统中在线使用。但是应该注意，此时的人工神经网络必须是离线训练好的。,4.2人工神经网络的局限性：(1)训练时间长：人工神经网络需要长时间的训练，有时可能使之变得不实用。大多数简单问题的网络训练需要至少上千次迭代，复杂问题的训练可能需要多达数万次迭代。根据网络的大小，训练过程可能需要主机时间几个到几十个小时。(2)需大量训练数据：人工神经网络在很大程度上取决于训练时关于问题的输入-输出数据，若只有少量输入-输出数据，一般不考虑使用人工神经网络。(3)不能保证最佳结果：反向传播是调整网络的一个富有创造性的方法，但它并不能保证网络能恰当地工作。训练可能导致网络发生偏离，使之在一些操作区域内结果准确，而在其他区域则不准确。此外，在训练过程中，有可能偶尔陷入“局部最小”。,(4)不能保证完全可靠：尽管这一点对所有的计算问题均适用，但对人工神经网络尤其如此。例如在故障诊断中，对于某些故障，误诊率可能只有1%，而对同一问题的其他故障，误诊率可能高达33%。重要的是：事先无法知道(用反向传播训练)哪些故障比其他故障更易于出现误诊。因此，对于需要近乎100%可靠的军事问题，在采用人工神经网络时必须小心谨慎。另外，对于一些“操作性的”问题，如训练集过