数学建模之神经网络

1、实用文案神经网络神经网络不需要做许多假设和和复杂的数学表达式， 只用通过学习样本进行训练、BP神经网络1.1简介BP神经网络由输入层、隐层和输出层三层构成。对于 BP神经网络，网络的 性能受局部不准确试验数据的影响很小。所以BP神经网络有很强的容错性。缺点：训练时间较长，求得的解可能是局部极小解。若R是输入量的个数，叫是隐层第i个神经元与输出层第K个神经元的连接 权值，bi是阈值。则通用神经元模型如下:将多个神经元模型串起来会得到n个神经元输出，第i个神经元输出为Rni 八 kd ikXk bi第i个神经元经过任意传递函数后得到输出为小=f (n) = log sig(nj |tan sig(

2、nj purelin (nJBP神经网络的应用沼泽草炭土结构特性及模型研究(下载文档)2.1步骤构造建模方案根据输入与输出关系写出表达式，如三输入，一输出的非线性函数表达式为二二f (d,q,；)相对应的BP神经网络结构为隐含隹吃含隹岩上层设Xj, y-01分别表示BP网络三层节点的输入节点，隐节点，输出节点。 叫 表示输入节点和隐节点之间的网络权值，表示隐节点和输出节点之间的网络 权值，我们用梯度法对BP网络的权值进行修正，采用sigmoid函数。若输出节 点期望输出ti ,则有输入节点至隐节点的公式为：阈值修正：q(k T)-u(k) .、.一误差:aj=yi(1 -yi 应 SiTi1权

3、面正：j (k , 1)=%(k) , j隐节点至输出节点的公式为：n若有p个样本数，n个输出节点数，则一个样本的误差为ek=£ Hk)-oi(k) |，控p制误差范围是Eekk：阈值修正：N(k1)"(k)、权值修正：TH (k +1)=TMk) +” y,(k为迭代次数)误差：-I = (tl -ol) ol (1 - ol)输出节点的计算公式为：隐节点的输出：yi = f（£必为仇）,其中为输入节点的输入，®ij为连接权值，税为节点阈值。输出节点的输出：Oi=f （工玉yi -9i）,其中Tj为连接权值，61为节点阈值。BP算法参数优化一般选取初始

4、权值的范围为：（-1, +1）,用in,out分别表示输入层，输出层的节点数，s表示样本训总数，则隐含节点 数的大约取值:hide - in out - s/ out程序框图如下:改进BP神经网络针对BP可能出现局部最小解的问题，我问用带动量因子算法对BP算法学习过程进行改进。方法是在BP算法的基础上往每个权值的变化上再加一项正比于 前次权值变化的值，同时由方向传播来产生新的传播变化。用K, c分别表示训练次数和动量因子，c 一般取0.95左右，则权值调节为：Lwj (k 1) =(1 -c)、iPjcWj (k)|_b(k 1)=(1-c):i c_bi(k)、RBF神经网络RBF神经网络是

5、一种三层前向网络，首先用径向基函数作为隐含层节点的“基” 构成隐含层空间，对输入矢量进行一次性变化，将低维的模式输入映射到高维空 间内，然后通过对隐含层接点输出的加权求和得到输出。RBF网络结构如下输入层 障含层输出层2.1 RBF网络的应用广州铁路枢纽运货量预测(下载文档)沼泽草炭土结构特性及模型研究(下载文档)2.2 步骤(1)用K均值聚算类算法计算基函数中心聚类中心di(i =1,2,|,m)的初始化，一般用最初的m个训练样本作为di的值按照最近邻规则将样本集合分组，即将 Xt(t=1,2,IH,n)分到中心是di的输入样本聚类集合9i(i = 1,2,11 Lm)中，所以有Xt亡4且d

6、i =min |xt -di |将聚类中心重新调整，用mi表示日i的输入样本数，计算a中样本的平均值,即聚类中心di = 为 E Xt.R若聚类中心有变化则重复以上步骤，否则进入下一步。得到RBF网络最终基函数中心。(2)方差的计算选取高斯函数为彳向基函数，用dmax表示选取中心间的最大距离，则方差为_d maxi ., i = 1,2, I M , m.1 2 m(3)最小二乘法计算权值用dk表示相对于输入Xk的期望，yk表示网络的计算输出，一般误差准则是平 方误差最小，即2 (d kj - ykj )由于基函数的参数G和仃已经确定，误差E只是权重的函数，要使E达到最 小，则有.：Eijn

7、J 'I1 M2一二, 'ykj dkj'、exp -72 v XkmGm=0-wijk T j 3i 1_ 2- m 1|将上式写成矩阵形式AW=C,求解此线性方程组即得到wo例题：广州铁路枢纽运货量预测根据表1预测广州铁路枢纽的货运量表1 1995-2006年广州铁路枢纽货运量年份1典519%国97"我19992500货运量3709.2753WJ12OL079373Z12I3$!L 浜3931.763年册3WI2W2003一200520««货运量39go. 5463864J093539525406172g4O9S.6914127,653

8、解：(1)预测目标及时间序列的转换假设广州铁路枢纽货运量的时间序列值为：X = x(1),x(2),|,x(n),预测模型中n=12,其中2005年，200年的数据在建立预测模型时不做学习训练样本，只在后面做测试样本，检验模型预测效果。多数情况下，预测货运量的年增量即预测x(n+i)-x(n +i -1)的差值比直接据测x(n+i)的绝对值最为输出效果更好。因此，时间序列可转换为Y=y(1),y(2),|H,y(n-1)o 其中,y(i) =x(i+1) x(i),i =1,2,川,n 1。从而将预测目标转换为通过 Y预测y(n+i),i =0,1,2,| ,转换结果如表2。表2 199620

9、06年广州铁路枢纽货运量增长值及其化后结果年份6火取尸1997池2000增长值，万吨100.767-263.951-125.772320407白一化 结果0.05158210.042554S0.0C6OS33CJ1990120.0645191年份2001M卬八03002R）厅S2003患）2004乂”厅20052006Mil）" UDo 勺6塔长埴1万吨48,785-H6 力 7-324.7M5283034L524$8329归一化 结果C.O3735670,02085470088329 叩00243260.0256455 ；(2)数据的预处理由于学习方法要求输入层的输入值在0,1之间

10、,其输出范围也要求在0,1之日 但是由表1可知收集到的铁路货运量增长值并没有落在这一范围内，使收集到白 数据与网络模型算法要求的数据不 T ，致使学习样本无法输入到网络模型中去 达/、到学习与预测的目的。因此，必须对收集到的数据进行归一化处理。， y, -min Y 厂10n式中，y；为第i个增长值的实际值；minY为序列中的最小值;n为序列中绝对4最大的值的位数，这里n=4,化后的结果如表2。(3)时间序列向标准表格形式的转换在实际的预测中，对某一年货运量土外长值的预测结果影响最大的是本年度前几 年的货运量增长值，越接近该年的货运量增长值，对该年的影响越大。为使模型能多次重复使用，并充分利用

11、已有信息，我们将新数据不断加入到模型中，去掉一些 较为陈旧的数据，则可获得既能体现未来发展趋势的数据，又能维持模型的计算量 不变。所以，如果把时间序列的窗口设定为 4,即以连续4年归一化后的货运量增长值来预测第5年归一化后的货运量增长值。如 2006对年归一化后的货运量增长值 进行预测，使用的是2002年2005年的归一化后的货运量增长值。(4) RBF网络的建立根据题，我们建立的网络是输出层为 5个结点，输出层为1个节点的神经网络 模型。采用实验的方法，通过选取不同的模型均方性能指标，分析获得相应的结果。隐 含层基函数选取的是高斯基函数，中心训练方法采用的是K均值聚类算法。选取 模型的性能指

12、标为0.01。学习与训练数据如表3所示。表3时间序列向标准表格形式的转换(窗口序号输入fit输出最/0-5)%-4)%-3)At-2)yv-o0。阊回210.04255486 州6g330.019W120.06451910.03巾56710.04255480,01990120.06451910.O373M7WOS54720,01012QM451910.03735670.(>20fi547030由加必优451刃0.QJ73567ff.020857Q0-0«52?8740.06451910.037356700,08529470,02432650.03735670。府 5298710

13、,0243 找稼漉56455利用RBF神经网络进行枢纽货运量的预测，并与BP神经网络比较。其中BP 神经网络预测模型与RBF神经网络预测模型一样是基于时间增长值序列，学习率 自适应调整策略利用数值优化法来实现反传算法，隐含层的节点数为5。通过建立好的模型去预测2007 2008年的货运量，结果如下表4所示。表4 2000 2006年广州铁路枢纽实际货运量与预测值分析年粉变际贽 运政位，万 吨）RBF种鲤网骆ft#误差怅万吨）椅 对 课 宴 （%）BP神经网络绝对 误差7位，万 吨）L对谟落W刈3931.73位6工5M.23Lj638062125J3.19Q J632491 3 J5409200

14、3980.53901.67S.85133870,31I0J2J6寸1必）的7且跖n可样200386433935.170.881.84012.514B.25.E229893U14本2003S39536622142.74.037】6.9ITU5,01325S762393铝2004066«374923U.47135想5S投？B.2a457晒4220125桂 验 棒 本20054098.691H35J47150J573.704321&7615.4420064127.6532781631】3。3443J2117J4.23，1必6384.18平均误落U3.482UJ75.3 S从表4上可以看出，基于径向基（RBF）的神经网络的平均误差为 3.48%,BP神经 网络的平均误差5.38%,这就说明基于径向基的神经网络输出的结果更精确、 误差 更小，可以更好更有效地对铁路货运量进行预测。故将1995 2006年广州铁路枢纽铁路货运量时间序列转换为 1995 20