数学建模BP神经网络论文

1、数学建模BP神经网络论文BP神经网络算法原理：输入信号Xi通过中间节点(隐层点)作用于输出节点，经过非线形变换，产生输出信号yk,网络训练的每个样本包括输入向量 X和期望输出量d ,网络输出值y与期望输出值d之间的偏差，通过调整输入节点与隐层节点的联接强度取值wj和隐层节点与输出节点之间的联接强度 Tjk以及阈值，使误差沿梯度方向下降，经过反复学习 训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。 变量定义：设输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元输入向量：X X)

2、,X2，,xn隐含层输入向量：hihii,hi2,"1,hip隐含层输出向量：ho hOi,hO2,hop输出层输入向量：yiyii, yi2,，yiq输出层输出向量： yoyoi, yo2,，yoq期望输出向量：do di,d2,dq输入层与中间层的连接权值：Wih隐含层与输出层的连接权值:who隐含层各神经元的阈值:bh输出层各神经元的阈值:bo样本数据个数：k 1,2,m激活函数：f 1 qc误差函数：e (do(k) yo°(k)22o i算法步骤：Step1.网络初始化。给各连接权值分别赋一个区间(-1,1)内的随机数，设定 误差函数e,给定计算精度值 和最大学习

3、次数 Mk个输入样本x(k)'(幻属也),Xn(k)及对应期望输出do(k)dl(k),d2(k),dq(k)hih(k)nWihXi(k) bh h 1,2,，p 和输出 hoh(k) f(hih(k) h 1,2，, i 1及输出层各神经元的输入yio(k)yoo(k)f(yio(k) o 1,2，pPWhohoh(k) bo o 1,2,q 和输 h 1Step4.利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导o(k)。e e yioWhoyioWhoyio (k)pWhohMk)bo)hWhoWhohoh(k)yio1 q2( (do(k) yoo(k)22

4、o iyio(do(k) yo°(k)y。(k)(do(k) yoo(k)f (yio(k)4o(k)Step5.利用隐含层到输出层的连接权值、输出层的o(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数h(k)。e yioWhoyio Whoo(k)hoh(k)e hih(k)Wihhih(k)Wihhih (k)Wihn(WihXi(k) bh) j Xi(k)Wihehih(k)1 q2(-(do(k) yoo(k)2) 2 o 1hoh(k)1 q2(一(do(k) f(yio(k)2)2 o 1hoh(k)hoh(k)hih(k)hoh(k) hih(k)1 qp2(

5、-(do(k) f(Whohoh(k) bo)2 o 1h 1hOh(k)hOh(k)q(do(k) yo°(k)f (yio(k)Who o 1q(o(k)Who)f (hih(k)之 h(k) o 1hih(k) hOh(k)hih(k)o(k)和隐含层各神经元的输出来修正连接权值Who(k) oWho(k)N 1 NWho WhoWhoo(k)hOh(k)o(k)hOh(k)h(k)和输入层各神经元的输入修正连接权Wih(k)。Wh(k)ehih(k)N 1 NWihWihStep8.计算全局误差。Whhih(k)h(k)x(k)Whh(k)Xi(k)1 m2m k 1yo(k

6、)2q(do(k)o 1Step9.判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的 最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三,进入下一轮学习。算法流程图:参数确定：确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了 BP网络。确定这些选项时有一定的指导原则，但更多的是靠经验和试凑。1.样本数据采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样 本。而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的 性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10犯上）和测试样本（1

7、0犯上）3部分 /输出变量般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入 变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个, 也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络 模型效果会更好，训练也更方便。由于BP神经网络的隐层一般采用 Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在要对输入数据进行预处理的变量进行

8、统一的预处理般要求对不同变量分别进行预处理,01之间。因此也可以对类似性）如果输出层节点也采用Sigmoid转换函数，输出变量也须作相应的预处理，否则，输出变量也可以不做预处理。但必须注意的是，预处理的 数据训练完成后，网络输出的结果要进行反变换才能得到实际值。再者，为保证建立 的模型具有一定的外推能力，最好使数据预处理后的值在之间。标准化：d 3dmaxmindmin一般认为，增加隐层数可以降低网络误差，提高精度，但也使网络复杂化，从而 增加了网络的训练时间和出现“过拟合（overfitting） ” 造成网络的性能脆弱，泛化 能力（generalization ability） 下降。Ho

9、rnik等早已证明：若输入层和输出层采用 线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLPR络能够以任意精 度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。输入层2xN1x1z17w ihyN2wk.2 hjx22z2TN3图 三层BP网络的拓扑结构在BP网络中，若隐层节点数太少，网络可能根本不能训练或网络性能很差；若 隐层节点数太多，虽然可使网络的系统误差减小，但一方面使网络训练时间延长，另 一方面，训练容易陷入局部极小点而得不到最优点， 也是训练时出现“过拟合”的内 在原因，但是目前理论上还没有一种科学的

10、和普遍的确定方法。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力， 确定隐层节点数的最基本 原则是：在满足精度要求的前提下取尽可能紧凑的结构， 即取尽可能少的隐层节点数。 因此，合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删 除法和扩张法确定。图BP网络常用的传递函数BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出值在 0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1 之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多 个隐层，该层中的神经元均采用

11、sigmoid型传递函数，输出层的神经元则采用线性传 递函数，整个网络的输出可以取任意值。学习率影响系统学习过程的稳定性。大的学习率可能使网络权值每一次的修正量 过大，甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛； 但过小的学习率导致学习时间过长，不过能保证收敛于某个极小值。所以，一般倾向 选取较小的学习率以保证学习过程的收敛性（稳定性），通常在0.8之间。BP算法决定了误差函数一般存在（很）多个局部极小点，不同的网络初始权值 直接决定了 BP算法收敛于哪个局部极小点或是全局极小点。因此，要求计算程序必 须能够自由改变网络初始连接权值。由于Sigmoid转换函数的特性，一

12、般要求初始权值分布在之间比较有效。10.收敛误差界值Emin在网络训练过程中应根据实际情况预先确定误差界值。 误差界值的选择完全根据 网络模型的收敛速度大小和具体样本的学习精度来确定。当 Emin值选择较小时，学 习效果好，但收敛速度慢，训练次数增加。如果 Emin值取得较大时则相反。网络模型的性能和泛化能力：训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力（推广性），即有效逼近样本蕴含的内在规律，而不是看网络模型对训练 样本的拟合能力。判断建立的模型是否已有效逼近样本所蕴含的规律，主要不是看测 试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样本和检验

13、样本的 误差。非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效逼近训练样本所蕴含的规律，否则，若相差很多（如几倍、几十倍甚至上千倍） 就说明建立的网络模型并没有有效逼近训练样本所蕴含的规律，而只是在这些训练样 本点上逼近而已，而建立的网络模型是对训练样本所蕴含规律的错误反映。算法的特点：1 .非线性映照能力。神经网络能以任意精度逼近任何非线性连续函数。在建模 程中的许多问题正是具有高度的非线性。2 .并行分布处理方式。在神经网络中信息是分布储存和并行处理的，这使它具很强的容错性和很快的处理速度。3 .自学习和自适应能力。神经网络在训练时，能从输入、输出的数据中提取出规

14、律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形 的能力。神经网络的学习也可以在线进行。4 .数据融合的能力。神经网络可以同时处理定量信息和定性信息，因此它可以用传统的工程技术（数值运算）和人工智能技术（符号处理）。5 .多变量系统。神经网络的输入和输出变量的数目是任意的， 对单变量系统与1 变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题算法的缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数。算法的改进：1.利用动量法改进BP算法标准BP算法实质上是一种简单的最速下降静态寻优方法，在修正w k时，只照第k步的负梯度方向进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度 方向，从而常常使学习过程发生振荡，收敛缓慢。动量法权值调整算法的具体做法是: 将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上，作为本的实际权值调整量，即：w