信息与计算科学专业毕业论文神经网络在数学建模中的应用

摘 要神经网络（Neural NetworkNN）是当今最具魅力的一个新兴学科生长点,已发展成为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数学建模中的应用也非常的广泛。本文首先概述了人工神经网络的基础理论，接着阐述了神经网络的模型、结构、分类、特性。然后针对应用的目的，介绍了数学建模中常用两种的神经网络。常用的神经网络主要有两种：一种是基于误差反传算法的前馈神经网络，即BP神经网络，主要用来实现非线性映射；另一种是自组织神经网络，即SOM网，主要用来聚类和模式识别。神经网络在数学建模中比较擅长的是联想记忆，作分类器，作预测，作参数选择，作控制器等等，这些问题都可以通过神经网络进行解决。应用实例为2005年数学建模竞赛原题，使用“BP神经网络逼近法”预测算法模型，计算了观测站各时间段的预测值。“BP神经网络逼近法”为通用算法，优点是计算灵活，尤其对稳态随机过程的逼近效果较好，对精度要求比较高的问题，可以很好的解决，而且可以作整体预测，因此是目前最流行的算法。它解决了两个实际问题，其一为函数逼近问题，其二为预测问题，重点论述了如何结合实际应用问题来进行数据预处理、网络建立、网络训练及结果分析，展示BP神经网络在应用上的能力。最后，本文简要展望神经网络网络的发展前景，我们有理由相信，只要我们坚持不懈地努力，来自神经网络理论研究的一些新理论和新方法必将给2l世纪科学研究带来源源不断的动力。关键词： 神经网络 数学建模 BP神经网络 自组织神经网络 AbstractThe neural network (Neural Network-NN) is now the most valuable emerging discipline among newly-born science. It has developed into a new heat topic in modern science and technology, and its rapid development will have a huge influence on the entire information science. Neural network has also been widely applied to building up mathematic mold.The paper firstly outlines the basis of artificial neural network theory, and then elaborated on the model of neural networks, the structure, the classification and the properties. Then introduce the two commonly used mathematical modeling of neural networks according to the purpose of application. There are mainly two commonly used neural networks: one is based on the back-propagation algorithm for feed forward neural networks, that is, BP neural network, which is mainly used to achieve non-linear mapping; the other one is the self-organizing neural network, that is, SOM network, which is mainly used for clustering and pattern recognition.What make the neural network excels in mathematics modeling is its associative memory, and its ability to work as the sorter to make prediction and parameter choice, to work as the controller and so on. Through the neural network these functions can be easily work out.The application example is in the 2005 mathematics modeling competition, the usage of “the BP neural network approximation” to forecast the algorithm model, and to calculate the predicted value of different time periods in the observe station. “The BP neural network approximation” is the universal algorithm, the advantage is that its computation is flexible, especially when it is applied to the stable state stochastic process and to the accuracy required question, it produces good solutions. Moreover it can make a whole prediction; therefore it is at present the most popular algorithm. It has solved two practical problems, one is the approximation of function question, and the other is the forecast problem. The BP neural network approximation focus on elaborating how to deal with the data previously, to do the network establishment, the network training and the result analysis along with the practical application, and upon this to demonstrate the ability of BP neural network in practical application. Finally, this article will briefly forecast the neural networks developing prospects; we have reasons to believe that so long as we relentlessly keep moving forward, we will certainly give the scientific research of 2l century resourceful energy from neural network researches new theories and new methods.Key words：Neural network Mathematical modeling Back Propagation Network Self-Organizing feature Map目 录1 前言12 神经网络基本理论12.1 什么是神经网络12.2 人工神经网络基础12.2.1 生物神经元模型12.2.2 人工神经元模型22.2.3 处理单元的激活转移函数32.2.4 M-P模型52.3 神经网络模型52.4 人工神经网络的训练52.4.1 无导师学习62.4.2 有导师学习72.5 神经网络特性83 BP神经网络93.1 BP神经网络结构93.2 BP网络的Matlab编程实现及讨论113.3 学习算法讨论124 自组织特征映射神经网络（Self-Organizing feature Map）134.1 SOM网简介134.2 SOM网的生物学基础134.3 SOM网的拓扑结构144.4 SOM网的权值调整域144.5 SOM网的学习算法155 神经网络在数学建模中的应用举例165.1 神经网络在数学建模中解决哪类问题165.1.1 联想记忆165.1.2 分类和聚类175.1.3 优化计算175.1.4 预测175.2 应用举例：雨量预报方法的评价（2005数学建模竞赛题目C题，见附录B）185.2.1 问题重述：185.2.2问题的条件和假设：185.2.4 模型分析与求解195.2.5 问题一的分析205.2.6 预测算法设计：205.2.7 两种算法对六小时降雨量预报方法准确性分析245.2.8 问题二的求解算法255.2.9问题的结论265.2.10 模型的评价286 神经网络的发展展望29致 谢31参 考 文 献32Abstract33附 录341 前言人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点主要是具有非线性特性、学习能力和自适应性，是模拟人的智能的一条重要途径。它是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息。网络的信息处理由单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成绩在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了广泛的应用2 神经网络基本理论2.1 什么是神经网络人工神经网络简称神经网络，是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互联构成，是一个大规模的非线性自适应系统。1988年，Hecht-Nielsen曾给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互联而成。这些处理单元（PE-Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。人工神经网络除了可以叫做并性分布处理系统（PDP）外，还可以叫做人工神经系统（ANS）、神经网络（NN）、自适应系统（Adaptive Systems）、自适应网（Adaptive Networks）、联接模型（Connectionism）、神经计算机（Neurocomputer）等。2.2 人工神经网络基础2.2.1 生物神经元模型神经元（即神经细胞）是脑的基本组成单位，从人脑的结构来看，它由大量的神经细胞组合而成。这些细胞相互连接，每个细胞完成某种基本功能，如兴奋和抑制，它们并行工作，整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同特征，通常可以将其分为细胞体、树突和轴突三个区，如图1所示。图1 生物神经元结构细胞体由细胞核、细胞质和细胞膜等组成；树突是精致的管状延伸物，是细胞体向外伸出的许多较短的分支，围绕细胞体形成灌木丛状，它们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。人脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过神经元系统中的接合部（即突触）由一个细胞传递至另一个细胞。突触有两种类型：即兴奋型和抑制型。当输入脉冲使细胞膜电位升高，超过动作电位的阈值时，产生正的电位的称为兴奋型突触；当输入脉冲使细胞膜电位下降至动作电位的阈值时，产生负的电位的称为抑制型突触。由于轴突的末端分出许多末梢，它们与其他神经元的树突（和细胞体、轴突）构成一种称为突触的结合部，树突在突触接收信号后，将它传递给细胞体，信号在那里积累，激起神经元兴奋或抑制，从而决定神经元的状态。2.2.2 人工神经元模型神经元是神经网络的基本处理单元，一般表现为一个多输入、单输出的非线性器件通用的结构模型如图2所示。图2 神经元结构模型其中，为神经元的内部状态，为阈值，为输入信号，表示与神经元连接的权值，表示某一外部输入的控制信号。 （1.1）神经元模型常用一阶微分方程来描述，它可以模拟生物神经网络突触膜电位随时间变化的规律。2.2.3 处理单元的激活转移函数激活转移函数是一个神经元的重要组成部分，转移函数也称为激励函数，它描述了生物神经元的转移特性，激活函数的基本作用是： 控制输入对输出的激活作用。 对输入、输出进行函数转换。 将可能无限域的输入变换成指定的有限范围内的输出。常用的激活函数有以下几种： 阈值型函数这种激活函数将任意输入转化为或两种状态输出，有时称为硬限幅函数，如图3（a）所示，其表达式为（1.2）或 （1.3）其主要特征是不可微、阶跃型，常应用于M-P模型、感知器模型及Hopfield模型。 线性型函数线性型函数可将输入转化为任意值输出，即将输入原封不动地输出，而不像阈值型函数的输出只是两种状态，其输入输出关系如图3（b）所示，线性函数表达式为（1.4） 分段线性型（饱和型）函数实质上，饱和型函数是阈值型函数和线性型函数的综合，如图3（c）所示，其表达式为（1.5）其主要特征是不可微、阶跃型，常用于细胞神经网络，如模式识别、文字识别或噪声控制等。 S（Sigmoid）型函数S型激活函数将任意输入值压缩到或的范围内，常用的S型函数有对数函数，即（1.6）或双曲正切函数，即（1.7）如图3（d）、（e）所示，其主要特征是可微、阶跃型，常用于BP（Back Proragation）模型或Fukushina（认识机/神经认识机）模型。图3 激活转移函数2.2.4 M-P模型将人工神经元的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloch-Pitts模型，简称M-P模型，也可以称之为处理单元（PE-Processing Element）2.3 神经网络模型神经网络是由大量的神经元广泛互联而成的网络。根据连接的方式不同，神经网络可以分成两大类：没有反馈的前向网络和相互结合性网络。前向网络由输入层、中间层（或叫隐层）和输出层组成，中间层可有若干层，每一层的神经元只接受前一层神经元的输出。而相互连接型网络中任意两个神经元间都有可能连接，因此输入信号要在神经元之间反复往返传递，从某一初态开始，经过若干次的变化，渐渐趋于某一稳定状态或进入周期振荡状态。目前虽然已有数十种的神经网络模型，但已有的神经网络可分成三大类，即前向网络（Feedforward NNs）、反馈网络(Feedback NNs)和自组织网络（Self-organizing NNs）。2.4 人工神经网络的训练人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblat给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。但是，人工神经网络的表达能力有限，这就大大限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将来由样本向量构成的样本集合（被简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的联接权，使得网络能将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。从学习的高级形式来看，一种是有导师学习，另一种是无导师学习，而前者看起来更为普遍些。无论是学生到学校接受老师的教育，还是自己读书学习，都属于有导师学习。还有不少时候，人们是经过一些实际经验不断总结学习的。也许这些应该算做无导师学习。从学习的低级形式来看，恐怕只有无导师学习的学习形式。目前为止，我们还没能发现在生物神经系统中有导师学习是如何发生的。在那里还找不到“导师”的存在并发挥作用的迹象，所有的只是自组织、自适应的运行过程。2.4.1 无导师学习无导师学习（Unsupervised Learning）与无导师训练（Unsupersived Training）相对印。该方法最早由Kohonen等人提出。虽然从学习的高级形式来看，人们熟悉和习惯的是有导师学习，但是，人工神经网络模拟的是人脑思维的生物过程。而按照上诉说法，这个过程应该是无导师学习的过程。所以无导师训练方式是人工神经网络的较具说服力的训练方法。无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以致网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。在训练过程中，相应的无导师训练算法用来训练的样本集合中蕴含的统计特性抽取出来，并以神经元之间的联接权的形式存于网络中，以致网络可以按照向量的相似性进行分类。虽然用一定的方法对网络进行训练后，可收到较好的效果。但是，对给定的输入向量来说，它们应该被分成多少类，某一个向量应该属于哪一类，这一类的输出向量的形式是什么样的，等等，都是难以事先给出的。从而在实际应用中，还要求进行将其输出变换成一个可以理解的形式的工作。另外，其运行结果的难以预测性也给此方法的使用带来一定的障碍。主要的无导师训练方法有Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接学习（Randomly Connected Learning）等。其中Hebb学习律是最早被提出的学习算法，目前的大多数算法都来源于此算法。Hebb算法是D.O.Hebb在1961年提出的，该算法认为，联接两个神经元的突触的强度安下列规则变化：当两个神经元同时处于相同状态时被加强，否则被减弱。可用如下数学表达式表示： （1.8）其中，、分别表示神经元到的联接在时刻t+1和时刻t的强度，、为这两个神经元在时刻t的输出，为给定的学习率。2.4.2 有导师学习在人工神经网络中，除了上面的介绍的无导师训练外，还有导师训练。有导师学习（Supervised Learning）与有导师训练（Supervised Training）相对应。虽然有导师训练从生物神经系统的工作原理来说，因难以解释而受到一定的非议，但是，目前看来，有导师学习却是非常成功的。因此，需要对有导师学习方法进行研究。在这种训练中，要求用户在给出输入向量的同时，还必须同时给出对应的理想输出向量。所以采用这种训练方式的网络实现的是异相联的映射。输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤是：（1）从样本集合中取一个样本；（2）计算出网络的实际输出O；（3）求；（4）根据D调整权矩阵W；（5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。有导师训练算法中，最为重要、应用最普遍的是Delta规则。1960年，Widrow和Hoff就给出了如下形式的Delta规则： （1.9）也可以写成 （1.10） （1.11）Grossberg的写法为 （1.12）更一般的Delta规则为 （1.13）上述式子中，、分别表示到的联接在时刻t+1和时刻t的强度，、为这两个神经元在时刻t的输出，为神经元的理想输出，、分别为神经元和的激活状态。2.5 神经网络特性自适应学习的能力神经网络的信息处理和存储是在节点间连接权上进行的, 在其自适应自学习过程中不断完善自己, 具有创新的特点。神经网络的自适应自学习过程, 属于一个递归调用过程, 每学习一遍, 检查输出信号是否达到了要求, 若尚未达到规定值, 则自动地调整内部各参数, 继续进行学习。神经网络自适应自学习的目的旨在验证其输出层的实际输出值与所需输出值的误差, 使其减至最小。在自适应自学习过程中误差值逐渐减小, 直至达到允许值为止。它不仅可处理各种变化的信息, 而且在处理信息的同时其自身亦在不断地变化, 即通过其某种自学习机制, 自身总结经验, 可对一些无规律的问题, 作出及时的反应与对策。整体性和系统性单个神经元仅作简单运算, 而大量神经元通过互连成网络之后具有自适应自学习的功能, 善于联想、概括、类比和推广的整体运算能力, 会产生出某种向一致的整体效应。神经网络具有理智而敏捷的判断思维, 可处理一些环境信息颇为复杂、知识背景不清晰、推理规律模糊、信息模式多变、甚至相互矛盾的问题, 可从典型实例中正确处理具体事例, 给出最终会令人满意的结果。大规模并行处理信息的能力神经网络处理信息快速、准确, 其信息处理是在大量单元中并行而有层次地进行, 它不易出差错, 且处理速度较之数字式卜算机快得多。极强的容错和抗噪能力任何局部的损坏不会影响整体的结果, 它会自动进行修正。神经网络具有高度分散的信息存储方式, 在神经网络中, 一个信息并不是存放于一个地方, 而是分布于整个网络内,网络中每一处又能存人多个信息, 即使网络局部系统受损, 亦不致降低整个网络的整体效能仅在某种程度上减慢处理速度, 但其处理速度仍远高于普通计算机, 查询任一部分信息, 有关的信息皆可回忆出来, 恢复其原始信息。3 BP神经网络3.1 BP神经网络结构BP神经网络由多个网络层构成，通常包括一个输入层、若干个中间层和一个输出层。BP网络的特点是：各层神经元仅与相邻层神经元之间有连接；各层内神经元之间没有任何连接；各层神经元之间也没有反馈连接。BP网络具有很强的非线性映射能力，根据Kolrnogorov定理，一个3层BP神经网络能够实现对任意非线性函数进行逼近。一个典型的3层BP神经网络模型如图4所示。图4 典型的三层BP神经网络结构设BP网络的输入层、中间层和输出层分别有NI、NJ和NK个神经元。中间层第j个神经元的输入为： （3.1）式中，为输入层中第个神经元到中间层第个神经元的权值；为输入层中第i个神经元的输出。输出层第k个神经元的输入为： （3.2）式中，为中间层中第个神经元到输出层第个神经元的权值；为中间层中第k个神经元的输出。输入层、中间层和输出层的输出分别为： （3.3） （3.4） （3.5）式中和分别为中间层第个神经元和输出层第个神经元的阈值。BP网络的训练采用基于梯度法的学习律，其目标是使网络输出与训练样本的均方误差最小。设训练样本为P个，其中输入向量为；输出向量为；相应的教师值(样本)向量为。则第P个样本的均方误差为： （3.6）式中， 和分别为第k个输出神经元第p个样本的教师值和实际输出值。输出层的权值调整为： （3.7） （3.8） 式中，为学习率；为动量因子。中间层的权值调整为： （3.9） （3.10）阈值的调整与权值相类似，不再赘述。3.2 BP网络的Matlab编程实现及讨论设要求逼近的函数为，其中训练结束设置样本权值阈值初始化误差足够小？计算各层误差计算各层输出修正权值和阈值。网络采用2-5-1结构，即输入层2个节点，隐层5个节点，输出层1个节点。输出层的和中间层采用标准Sigmoid函数。实现流程如图5所示，具体步骤如下。 初始化。权值和阈值取随机数；确定学习率 和动量因子；设定学习误差准则。 N 设置样本。将、在给定范围内均匀lO等 分，产生121个训练样本。 Y 前向传播：根据式(3.1)(3.5)计算各层输出。 N 后向传播：根据式(3.8)和式(3.10)计算各层误差。 Y 根据式(3.7)和式(3.9)调整权值和阈值。 全部样本是否都已训练?若否，则返回步骤 进行下一样本训练。 图5 BP网络实现流程计算总性能指标。全部样本的误差函数为判断性能指标是否满足要求：？若已满足，则训练结束；否则返回步骤。 经过3845次学习(=O03，无动量项)后达到设定误差=01，误差曲线如图6所示。用训练好的BP网络对测试样本进行测试，测试样本为、在给定范围内均匀20等分产生441个数据。测试误差均值为-0.0027，方差为0.0012，测试数据用Matlab中的Mesh()三维画图函数得到如图7所示结果，程序见附录A。 图6 BP学习误差曲线 图7 仿真结果 3.3 学习算法讨论在实际应用中，BP算法存在着训练时间长、收敛速度慢的缺点。在BP基本算法中增加动量项是一种常用且有效的方法，通过实验对改进学习算法中学习率和动量因子对收敛速度的影响进行仿真研究。不同学习率和动量因子时所需的学习次数如表1所示。表1 不同学习率和动量因子下所需的学习次数0.010.020.030.040.050.30.40.50.60.70.8795068175683454931422266404134442875230717421181270223201941156511958432045175814751196927678165014211195975769568从表1结果中可以看出：当学习率不变时，增大动量因子，所需学习次数随之减少。当动量因子不变时，增大学习率，所需学习次数随之减少，但学习率不能过大，否则将可能导致学习算法不收敛。增加动量项后对学习速度有明显改善。如，当=O.5时，学习次数通常只需无动量项时的50，当=0.8时，学习次数通常只需无动量项时的25。BP网络是一种无反馈的多层前向神经网络，有很强的函数逼近能力，应用非常广泛。通过一个二元函数逼近的实例，对BP网络的构造和程序实现进行了研究。针对BP网络存在训练时间长、收敛速度慢的缺点，采用动量项的学习算法能有效提高学习速度，不同参数对BP网络的收敛速度有很大影响，仿真结果表明，较大的学习率和动量因子能提高学习速度，但过大的取值则可能导致学习算法不收敛。4 自组织特征映射神经网络（Self-Organizing feature Map）4.1 SOM网简介1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。4.2 SOM网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。4.3 SOM网的拓扑结构SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层，如图8。 (a)一维线阵 (b)二维平面线阵图8 SOM网的拓扑结构4.4 SOM网的权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。如图9，这种调整可用三种函数表示：图9 权向量调整函数表示以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。4.5 SOM网的学习算法Kohonen 学习算法(1)初始化对输出层各权向量赋小随机数并进行归一化处理，得到，；建立初始优胜邻域；学习率赋初始值。(2)接受输入从训练集中随机选取一个输入模式并进行归一化处理，得到，。(3)寻找获胜节点 计算与的点积，从中选出点积最大的获胜节点。(4)定义优胜邻域以为中心确定t 时刻的权值调整域，一般初始邻域较大，训练过程中随训练时间逐渐收缩。(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： （4.1）式中，是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数。流程图如图10。初始化、归一化权向量W： j=1,2,m建立初始优胜邻域Nj*(0)学习率h(t)赋初始值输入归一化样本，p1,2,P计算点积，j=1,2,m选出点积最大的获胜节点j*定义优胜邻域Nj*(t)对优胜邻域Nj*(t)内节点调整权值：i=1,2,n jNj*(t)N Y结束 图10 Kohonen学习算法程序流程5 神经网络在数学建模中的应用举例5.1 神经网络在数学建模中解决哪类问题5.1.1 联想记忆所谓联想记忆是指：设给定m个样本。当输入时，要求输出（可以等于，这就是记忆的功能）。现在，当输入为时，其中为噪声，希望其输出仍为，这就是联想的功能，即当输入与有一些误差时网络仍然“认得”出是，故称之为联想。网络既能记忆，又能联想，故称之为有联想记忆能力。 联想有两种类型，一种是由联想到，另一种是由联想到（一般）5.1.2 分类和聚类设有一样本集k，它分成m个互不相交的类：。若当约定当属于时令其输出y的第i个分量为1，其余分量为0，用式子表示为 （5.1）若给定的网络能完成上诉功能，则称对应的网络有分类功能力。聚类：设给定一样本集k，再给定一分类的要求；希望网络能将集中的样本按要求自动分成若干个类。具有这种能力的网络就称为具有聚类能力。分类与聚类略有不同，分类指每个样本对应哪一类，预先是知道的；而聚类则指每个样本对应哪一类预先是不知道的（它是由分类的要求所决定的）。5.1.3 优化计算求在某种约束条件下，达到最优解的计算，同常称之为优化计算。一般，我们将优化条件存贮在神经网络的权系数和阈值中，网络的工作状态以动态方程式描述。然后，取一初始值，当系统的状态趋于稳定时，网络的解（输出）就是我们所求的最优化的解。5.1.4 预测用神经网络进行预测，首先要采集训练样本，然后选择神经网络模型，训练神经网络，训练好的神经网络才有预测能力。用神经网络来进行预测的过程如图11所示网络模型选择神经网络学习神经网络拟合预测结果预测模型校验预测模型校验网络模型选择神经网络学习神经网络拟合预测结果理论、数据等图11 神经网络用于预测的过程其中网络模型的选择就是根据具体对象选择合适的神经网络进行预测，主要包括模型类型(连接方式、学习算法等)、网络规模(神经网络层数、隐含节点个数、输入输出个数等)。神经网络学习是根据历史数据调整神经网络的连接权值和阈值，使得神经网络模仿历史数据中的因果关系。神经网络拟合是用调整好了的连接权值和阈值的神经网络来拟合历史数据，这反映了神经网络对历史数据中的因果关系的模拟情况。预测模型校验是用检验样本输入训练好的神经网络，得到预测输出，再与实际数据进行对比测试误差，这反映了神经网络的泛化能力。待神经网络拟合和预测模型校验都达到要求，就可以进行预测。5.2 应用举例：雨量预报方法的评价（2005数学建模竞赛题目C题，见附录B）5.2.1 问题重述：雨量预报对农业生产和城市工作和生活有重要作用。我国某地气象台和气象研究所正在研究6小时雨量预报方法，即每天晚上20点预报从21点开始的4个时段（21点至次日3点，次日3点至9点，9点至15点，15点至21点）在某些位置的雨量，这些位置位于东经120度、北纬32度附近的5347的等距网格点上。同时设立91个观测站点实测这些时段的实际雨量，由于各种条件的限制，站点的设置是不均匀的。预测点的经纬度、41天的预测数据、及实测点的经纬度、41天的实测数据分别给出。本文要求建立数学模型对下述预测效果进行评价：建立数学模型，来评价两种6小时雨量预报方法的准确性。气象部门将6小时降雨量分为6等：0.1-2.5毫米为小雨，2.6-6毫米为中雨，6.1-12毫米为大雨，12.1-25毫米为暴雨，25.1-60毫米为大暴雨，大于60.1毫米为特大暴雨。若按此分级向公众预报，如何在评价方法中考虑公众的感受？5.2.2问题的条件和假设：1在本题中，假设所有预测数据和观测数据及预测点和观测站的经纬度坐标值均有效，即不考虑人为因素造成的无效数据或误差。2在同一时间段降雨量呈连续分布，即同一时间段内预测点及其所围成的区域内每一点降雨量函数值形成一个连续曲面。3当两地距离大于某个确定时，假设两地降雨量没有必然联系。4在问题二中，假设当预测值在等区间而预报为相邻降雨等级时，认为观众可以接受。5.2.3 符号说明：表示个等距网格点上第行、第列的经纬度坐标(; )。：表示91个观测站的经纬度坐标()。：分别表示第一、二种预测方法对预测点第天第时间段的预测值 (;)。：表示观测站第天第时间段的观测值(; ; )。：分别表示第一、二种预测方法对观测站第天第时间段的预测值(; )。：表示观测站到预测点的距离。：表示观测站预测值和观测值差的绝对值。：预测值与观测值误差的绝对值的数学期望。：表示预测值和观测值误差绝对值的方差。：分按时间段进行降雨量等级预报时公众满意度函数。：公众对预测方法的平均满意度。5.2.4 模型分析与求解根据题目提供的预报点的经纬度、及观测站的经纬度，通过描点，可以得到如下预报点及观测站位置如图12：图12 预测点及观测站分布图其中“”表示预测点的位置，“*”表示观测站的位置。从图中可以看出，预报点分布较均匀，而观测站分布不规则，它主要集中在北纬2934度、东经118123度之间。5.2.5 问题一的分析本题已经给出了一段时间内若干预报点及观测站的降雨量预报值及实际观测值，要求评价两种6小时预报降雨量方法的准确性。要检验准确性，只能通过对预报点的预报数据进行分析，建立起一个预测模型，通过预测模型预测观测站的预测值，然后将预测值与观测值进行比较，得到预测准确性的评价方法。首先将利用插值算法，建立相关数学模型，对观测站的降雨量进行预测。由于插值算法比较多，我将用三种具有代表性的算法计算所有观测站的降雨量预测值，然后再利用相关的评价算法，对前两种预测算法进行相应的评价。5.2.6 预测算法设计：由于此问题数据量大，选择算法非常关键。模型结构简单，计算量小，预测准确性好，是我的目标。但是，熊掌鱼翅不可兼得，我将给出三种预测模型，它们各有所长。预测算法1 (最邻近点插值法)人们最容易想到的、最简单的一种算法是最邻近点插值法。这种算法的思想，就是将与最邻近的点的预测值作为观测站的观测值所对应的预测值，即, （5.2）这是一种最简单的插值算法，这种算法简单直观，计算量小，对于数据量大，对预测精度要求不是太严格，预测值随时间变化比较快时，用这种快速算法不失为一种有意义的算法。我利用此算法对观测站的降雨量进行了观测，得到如图13，图14所示的预测值。 图13 最邻近插值算法预测6月23日四个时间段各观测站方法2下的预测值图14 最邻近点插值算法对所有观测站41天每天4个时段两种方法的预测值预测算法2 (反距离加权平均法) 由于观测站处的降雨量不仅与它最邻近点的降雨量有关，而且与它周围的降雨量存在着密切的关系，对处降雨量的预测，应考虑邻近网格点预测值对它的影响。将寻找的一个方形邻域，只考虑这个方形邻域内的点对预测的影响。对于，给出如下算法：定义到的距离如下： （5.3）则两种预测方法对点在第天、第时间段的预测值定义为： （5.4）其中。这个算法叫“反距离加权平均”法，又称Shepard方法。其基本思想是对于，对处的预测值的影响随它们之间距离的增大而减小。这种算法与最邻近点插值法相比，具有如下优点：(1) 此算法充分考虑了观测站邻近点对观测站预测值的影响。同时，认为预测点对观测站预测值的影响随距离增大而减小的假设也较合理。(2) 由于数据量大，如果在对每一个观测站进行预测时，都考虑所有预测网点对它的影响，就会因为计算量大而很难实现，同时，也会因为计算过程产生的计算误差而导致计算效果降低。从而在这里寻找的一个方形邻域，只考虑方形邻域内的预测网点的预测值对它的影响，这样得到的预测值不仅比算法1更合理，而且计算量不会有太大增加。取，通过计算，得到两种预测方法在91个站点41天每天4个时段的全部预测值，;(如图15所示)。 图15 反距离加权平均法预测所有站点所有时间段降雨量预测值3预测算法3 (BP神经网络算法)上面两种算法都只是利用某观测站邻近预测点的信息对其进行独立预测，也就是说只考虑观测站周围一个点或若干个点对它的影响，而没有将所有预测点的信息进行整体考虑，这些算法具有较大局限性。为此，给出另一种算法，这种算法和前面两种算法不同，它是基于逼近理论，充分考虑一个紧集上的点对全部观测站预测值的影响的基础上建立起来的一种整体预测算法。这就是现在最流行的算法之一“三层BP神经网络算法”。BP网络可看作是一个从输入到输出的高度非线性映射，网络学习公式的推