bp神经网络算法

BP神经网络算法三层BP神经网络如图:目标输出向量312n312n设网络的输入模式为％=(%,%2，...xJt,隐含层有h个单元，隐含层的输出为J二(y/J2，...乙)叽输出层有m个单元，他们的输出为z=(z],z2,...Zm)T，目标输出为t=((,12，.「tm)T设隐含层到输出层的传递函数为了，输出层的传递函数为g于是：J=f(£wx-0)=f(£wx)：隐含层第j个神经元的输出；其中jijiijii=1i=0w=—0,x=1zk=gdwkyj):输出层第k个神经元的输出j=0此时网络输出与目标输出的误差为£=1£(t-z)2，显然，它是w和w的函数。2kkijjkk=1下面的步骤就是想办法调整权值，使£减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长n，每次沿负梯度方向调整n个单位，即每次权值的调整为:

AwpqdeAwpq-n-一，”在神经网络中称为学习速率dwpq可以证明：按这个方法调整，误差会逐渐减小。BP神经网络（反向传播）的调整顺序为：1）先调整隐含层到输出层的权值h设vk为输出层第k个神经元的输入r=£wky^j=0dwjk1£dwjk1£(t-z)21£(t—z)22kk2kkk=1dwjkk=1dkjk复合函数偏导公式复合函数偏导公式若取g(%)=f若取g(%)=f(%)=则g'(uk)=e-vk(1+e-vk)21+e-vk(1-1+e-vk)=zk(1-Q于是隐含层到输出层的权值调整迭代公式为:w(t于是隐含层到输出层的权值调整迭代公式为:w(t+1)=w(t)+nz(1—z)jjkjk2）从输入层到隐含层的权值调整迭代公式为：de2£e2£2）从输入层到隐含层的权值调整迭代公式为：de2£e2£（「edydudwijk=1dwijk=1djj——jdujjdwij其中uj为隐含层第j个神经元的输入：w%ijii=0注意：隐含层第j注意：隐含层第j个神经元与输出层的各个神经元都有连接de即▼涉及所有的权值w，djijde因此守j于是：k=0—z)2dzde因此守j于是：k=0—z)2dzdudzkkk

dudy_=—£(t—z)f(u)wkkk=0kjkdwijk=1dwij£{(t-zkk=0)f'(u)w}f'(u)%=-§kkjkji因此从输入层到隐含层的权值调整迭代为公式为:因此从输入层到隐含层的权值调整迭代为公式为:w(t+w(t+1)=w(t)+瑜%ijij时间人数（单位：万人）机动车数（单位：万辆）公路面积（单位：万平方公里）公路客运量（单位：万人）公路货运量（单位：万吨）199020.550.60.0951261237199122.440.750.1162171379199225.370.850.1177301385199327.130.90.1491451399199429.451.050.2104601663199530.11.350.23113871714199630.961.450.23123531834199734.061.60.32157504322199836.421.70.32183048132199938.091.850.34198368936200039.132.150.362102411099200139.992.20.361949011203200241.932.250.382043310524200344.592.350.492259811115200447.32.50.562510713320200552.892.60.593344216762200655.732.70.593683618673200756.762.850.674054820724200859.172.950.694292720803200960.633.10.79434622180420102011例：下表给出了某地区公路运力的历史统计数据，请建立相应的预测模型，并对给出的2010和2011年的数据，预测相应的公路客运量和货运量。0.98801.026873.390075.55003.96354.0975functionmain()clcclearall;closeall;SamNum=20;TestSamNum=20;functionmain()clcclearall;closeall;SamNum=20;TestSamNum=20;ForcastSamNum=2;HiddenUnitNum=8;InDim=3;OutDim=2;%清屏%清除内存以便加快运算速度%关闭当前所有figure图像%输入样本数量为20%测试样本数量也是20%预测样本数量为2%中间层隐节点数量取8,比工具箱程序多了1个%网络输入维度为3%网络输出维度为2%原始数据%人数(单位：万人)sqrs=[20.5522.4425.3727.1329.4530.1030.9634.0636.4238.0939.1339.99...41.9344.5947.3052.8955.7356.7659.1760.63];

%机动车数(单位：万辆)sqjdcs=[0.60.750.850.91.051.351.451.61.71.852.152.22.252.352.52.6...2.72.852.953.1];%公路面积(单位：万平方公里)sqglmj=[0.090.110.110.140.200.230.230.320.320.340.360.360.380.49...0.560.590.590.670.690.79];%公路客运量(单位：万人)glkyl=[5126621777309145104601138712353157501830419836210241949020433...22598251073344236836405484292743462];%公路货运量(单位：万吨)glhyl=[123713791385139916631714183443228132893611099112031052411115...133201676218673207242080321804];p=[sqrs;sqjdcs;sqglmj];%输入数据矩阵t=[glkyl;glhyl];%目标数据矩阵[SamIn,minp,maxp,tn,mint,maxt]=premnmx(p,t);%原始样本对(输入和输出)初始化rand('state',sum(100*clock))%依据系统时钟种子产生随机数rand是产生0到1的均匀分布，randn是产生均值为0，方差为1的正态分布rand(n)或randn(n)产生n*n阶矩阵，rand(m,n)或randn(n)产生m*n的随机数矩阵NoiseVar=0.叫％噪声强度为0・01(添加噪声的目的是为了防止网络过度拟合)Noise=NoiseVar*randn(2,SamNum);%生成噪声SamOut=tn+Noise;%将噪声添加到输出样本上TestSamIn=SamIn;样本容量偏少TestSamOut=SamOut;TestSamIn=SamIn;样本容量偏少TestSamOut=SamOut;%最多训练次数为50000%最多训练次数为50000%学习速率为0.035%目标误差为0.65*10A(-3)%初始化输入层与隐含层之间的权值MaxEpochs=50000;lr=0.035;E0=0.65*10A(-3);W1=0.5*rand(HiddenUnitNum,InDim)-0.1;B1=0.5*rand(HiddenUnitNum,1)-0.1;%初始化输入层与隐含层之间的阈值W2=0.5*rand(OutDim,HiddenUnitNum)-0.1;%初始化输出层与隐含层之间的权值%给中间变量预先占据内存B2=0.5*rand(OutDim,1)-0.1;%%给中间变量预先占据内存ErrHistory=[];fori=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum));%隐含层网络输出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);%输出层网络输出Error=SamOut-NetworkOut;%实际输出与网络输出之差SSE=sumsqr(Error)%能量函数(误差平方和)

ErrHistory=[ErrHistorySSE];ifSSE<E0,break,end%如果达到误差要求则跳出学习循环%以下六行是BP网络最核心的程序%他们是权值(阈值)依据能量函数负梯度下降原理所作的每一步动态调整量Delta2=Error;Delta1=W2'*Delta2.*HiddenOut.*(1-HiddenOut);dW2=Delta2*HiddenOut';dB2=Delta2*ones(SamNum,1);dW1=Delta1*SamIn';dB1=Delta1*ones(SamNum,1);%对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;%对输入层与隐含层之间的权值和阈值进行修正W1=W1+lr*dW1;B1=B1+lr*dB1;endHiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum));%隐含层输出最终结果%还原网络输出层的结果NetworkOut=W2*HiddenOut+repmat(B2,1,TestSamNum);%%还原网络输出层的结果a=postmnmx(NetworkOut,mint,maxt);x=1990:2009;newk=a(1,:);newh=a(2,:);x=1990:2009;newk=a(1,:);newh=a(2,:);%网络输出客运量%网络输出货运量figure;subplot(2,1,1);plot(x,newk,,r-o*jx,glkyl,,b--+*)%绘值公路客运量对比图；legend('网络输出客运量','实际客运量')；xlabel('年份');ylabel('客运量/万人')；subplot(2,1,2);plot(x,newh,'r-o',x,glhyl,'b--+')%绘制公路货运量对比图；legend('网络输出货运量','实际货运量')；xlabel('年份');ylabel('货运量/万吨')；%利用训练好的网络进行预测%当用训练好的网络对新数据pnew进行预测时，也应作相应的处理pnew=[73.3975.553.96354.09750.98801.0268];%