BP神经网络算法预测模型.doc

BP神经网络结构及算法1986年，Rumelhart和McCelland领导的科学家小组在Parallel Distributed Processing一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播算法(Error Back Proragation,简称BP)进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常釆用误差反向传播算法，人们也常把多层前馈网络直接称为BP网。釆用BP算法的多层前馈网络是目前应用最多的神经网络。BP神经网络的结构BP网络有三部分构成，即输入层、隐含层(又称为中间层)和输出层，其中可以有多个隐含层。各层之间实现完全连接，且各层神经元的作用是不同的：输入层接受外界信息；输出层对输入层信息进行判别和决策；中间隐层用来表示或存贮信息。通常典型的BP网络有三层构成，即只有一个隐层。三层BP神经网络的结构可用图1表示。图1 三层BP神经网络机构图BP神经网络的学习算法BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐含层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐含层向输入层逐层反传、并将误差分摊给各层的所有神经元，从而获得各层神经元的误差信号，此误差信号即作为修正各神经元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的，权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出误差减少到可接受的程度，或进行到预先设定 的学习次数为止，标准BP算法流程见图2。图2 标准BP算法流程在实际的应用中，三层前馈网络基本就能满足人们的需求，即一个输入层、一个隐含层和一个输出层，由于只有一个隐含层，所以也称为单隐层BP网络。三层前馈网中，输入向量为 P=p1,p2,pj,pRT，如加入p0=1，可为隐层神经元引入阈值；隐层输出向量为Z=z1,z2,zk,znT，如加入y0=1，可为输出层神经元引入阈值；输出层输出向量为Y=y1,y2,yjymT；期望输出向量为T=t1,t2,tjtmT。输入层到隐层之间的权值矩阵用V表示，V=v1,v2,vkvqT，其中列向量vk为隐层第k个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，W=w1,w2,wjwmT，其中列向量vj为输出层第j个神经元对应的权向量。下面具体分析各层信号之间的数学关系。对于输出层，有：yj=fntj j=1,2,m ntj=k=0qwkjzk j=1,2,m 其中yj为输出层的输出，ntj为输出层第j个神经元的净输入，fx为转移函数，wkj是隐层第k个神经元与输出层第j个神经元之间的权值。zk是隐层第k个神经元的输出值。对于隐含层，有：zj=fntk k=1,2,q ntk=i=0nvikpi k=1,2,q 其中ntk是隐层第k个神经元的净输入，vik是隐层第k个神经元与输入层第i个神经元之间的连接权值，xi是输入层第i个神经元的输入值。 以上两式中转移函数fx均为单极性Singmoid函数共同构成了三层前馈网的数学模型。一般定义误差函数E作为衡量网络性能的标准，即性能指数，在网络的性能良好时E很小，反之则很大。在网络的期望输出与实际输出不等时，一般将E定义为均方误差，即：E=Y-T2=j=1myj-tj2 将上述误差定义式展开至隐层得：E=j=1myj-fntj2=j=1myj-fk=0qwkjzk2 进一步展开至输入层得：E=j=1myj-fk=0qwkjfntk2= j=1myj-fk=0qwkjfi=0Rvikpi2 从上式可以看出，网络中性能指标E是wkj和vik的函数，因此调整wik和vij的值可以改变E。由于我们的目的是使E不断的减小，所以权值的调整量要与E的负梯度成正比，即：wkj=-Ewkj j=0,1,2m;