(完整版)bp神经网络算法

1、BP神经网络算法三层BP神经网络如图:传递函数g传递函数f目标输出向量一输出层，输出向量值为wjk隐含层，隐含层输出向量输入层，输入 向量设网络的输入模式为x(xx2，Xn)T,隐含层有h个单元，隐含层的输出为y(y1，y2,yh)T,输出层有m个单元，他们的输出为 z (Zi，Z2,Zm)T ,目标输出为t (ti，t2,tm)T设隐含层到输出层的传递函数为f ,输出层的传递函数为 gnn于是：yj f ( WjXi ) f ( WjXj：隐含层第j个神经元的输出；其中 Woj, Xo 1i 1i 0hZk g( Wjk yj)：输出层第k个神经元的输出 j 01 m2十一此时网络输出与目标

2、输出的误差为一 (tk zk),显然，它是 wj和wjk的函数。2 ki下面的步骤就是想办法调整权值，使减小。由高等数学的知识知道：负梯度方向是函数值减小最快的方向因此，可以设定一个步长，每次沿负梯度方向调整个单位，即每次权值的调整为：wpq ,在神经网络中称为学习速率pq wpq可以证明：按这个方法调整，误差会逐渐减小BP神经网络（反向传播）的调整顺序为:1）先调整隐含层到输出层的权值h设Vk为输出层第k个神经元的输入VkWjkyjj 0复合函数偏导公式一1一、右耳g（x） f则gwe Vk(1 eVk)211K(1 K)Zk(1zk)于是隐含层到输出层的权值调整迭代公式为：2）从输入层到隐

3、含层的权值调整迭代公式为：n其中Uj为隐含层第j个神经元的输入：ujwjxi涉及所有的权值 wij ,因此yji 0注意：隐含层第j个神经元与输出层的各个神经元都有连接，即(tkk 0Zk)f(Uk)Wjk m (tk zj4yj k ozUk yj于是：时间人数（单位： 万人）机动车数 （单位：万 辆）公路面积（单 位：力平方公 里）公路客运量 （单位：万 人）公路货运量 （单位：万 吨）199020.550.60.0951261237199122.440.750.1162171379199225.370.850.1177301385199327.130.9r0.149145P1399199

4、429.451.050.2104601663199530.11.350.23113871714199630.961.45r0.23123531834199734.061.60.32157504322199836.421.70.32183048132199938.091.850.34198368936200039.132.1510.362102411099200139.992.20.361949011203200241.932.250.382043310524200344.592.350.492259811115200447.32.50.562510713320200552.892.60.593

5、3442167622006 155.732.70.593683618673因此从输入层到隐含层的权值调整迭代为公式为: 例：下表给出了某地区公路运力的历史统计数据,请建立相应的预测模型，并对给出的2010和2011年的数据,预测相应的公路客运量和货运量200756.762.850.674054820724200859.172.950.69 :42927208032009 :60.633.10.79 :4346221804201073.39003.96350.9880201175.55004.09751.0268%清屏function main() clcSamNum=20;%输入样本数量为 2

6、0TestSamNum=20;%测试样本数量也是 20ForcastSamNum=2;HiddenUnitNum=8;InDim=3;OutDim=2;%预测样本数量为2%中间层隐节点数量取 8%网络输入维度为 3%网络输出维度为 2%原始数据，比工具箱程序多了clear all;close all;%清除内存以便加快运算速度%关闭当前所有figure图像%人数(单位：万人)sqrs=20.55 22.44 25.37 27.13 29.45 30.10 30.96 34.06 36.42 38.09 39.13 39.99 .41.93 44.59 47.30 52.89 55.73 56.

7、76 59.17 60.63;%机动车数(单位：万辆)sqjdcs=0.6 0.75 0.85 0.9 1.05 1.35 1.45 1.6 1.7 1.85 2.15 2.2 2.25 2.35 2.5 2.6. 2.7 2.85 2.95 3.1;%公路面积(单位：万平方公里)sqglmj=0.09 0.11 0.11 0.14 0.20 0.23 0.23 0.32 0.32 0.34 0.36 0.36 0.38 0.49 . 0.56 0.59 0.59 0.67 0.69 0.79;%公路客运量(单位：万人)glkyl=5126 6217 7730 9145 10460 11387

8、 12353 15750 18304 19836 21024 19490 20433 .22598 25107 33442 36836 40548 42927 43462;%公路货运量(单位：万吨)glhyl=1237 1379 1385 1399 1663 1714 1834 4322 8132 8936 11099 11203 10524 11115 .13320 16762 18673 20724 20803 21804;p=sqrs;sqjdcs;sqglmj; % 输入数据矩阵t=glkyl;glhyl;%目标数据矩阵SamIn,minp,maxp,tn,mint,maxt=prem

9、nmx(p,t); % 原始样本对(输入和输出)初始化 rand(state,sum(100*clock)%依据系统时钟种子产生随机数rand是产生0到1的均匀分布，randn是产生均值为 0,方差为 1的正态分布 rand(n)或randn(n)产生n*n阶矩阵，rand(m,n)或randn(n)产生 m*n的随机数矩阵NoiseVar=0.01;%噪声强度为0.01 (添加噪声的目的是为了防止网络过度拟合)Noise=NoiseVar*randn(2,SamNum); % 生成噪声SamOut=tn + Noise;%将噪声添加到输出样本上TestSamIn=SamIn;%这里取输入样本

10、与测试样本相同因为样本容量偏少TestSamOut=SamOut;%也取输出样本与测试样本相同MaxEpochs=50000;% 最多训练次数为50000lr=0.035;E0=0.65*10A(-3);%学习速率为0.035%目标误差为0.65*10人(-3)W1=0.5*rand(HiddenUnitNum,InDim)-0.1;% 初始化输入层与隐含层之间的权值B1=0.5*rand(HiddenUnitNum,1)-0.1;% 初始化输入层与隐含层之间的阈值W2=0.5*rand(OutDim,HiddenUnitNum)-0.1; %初始化输出层与隐含层之间的权值B2=0.5*ran

11、d(OutDim,1)-0.1;% 初始化输出层与隐含层之间的阈值ErrHistory=;% 给中间变量预先占据内存for i=1:MaxEpochsHiddenOut=logsig(W1*SamIn+repmat(B1,1,SamNum); %隐含层网络输出NetworkOut=W2*HiddenOut+repmat(B2,1,SamNum);% 输出层网络输出Error=SamOut-NetworkOut;% 实际输出与网络输出之差SSE=sumsqr(Error)% 能量函数(误差平方和)ErrHistory=ErrHistory SSE;if SSEE0,break, end% 如果达

12、到误差要求则跳出学习循环% 以下六行是BP 网络最核心的程序% 他们是权值(阈值)依据能量函数负梯度下降原理所作的每一步动态调整量Delta2=Error;Delta1=W2*Delta2.*HiddenOut.*(1-HiddenOut);dW2=Delta2*HiddenOut;dB2=Delta2*ones(SamNum,1);dW1=Delta1*SamIn;dB1=Delta1*ones(SamNum,1);% 对输出层与隐含层之间的权值和阈值进行修正W2=W2+lr*dW2;B2=B2+lr*dB2;% 对输入层与隐含层之间的权值和阈值进行修正W1=W1+lr*dW1;B1=B1+

13、lr*dB1;endHiddenOut=logsig(W1*SamIn+repmat(B1,1,TestSamNum); %NetworkOut=W2*HiddenOut+repmat(B2,1,TestSamNum);a=postmnmx(NetworkOut,mint,maxt);x=1990:2009;newk=a(1,:);newh=a(2,:);figure ;subplot(2,1,1);plot(x,newk,r-o,x,glkyl,b-+) legend( 网络输出客运量, 实际客运量);xlabel( 年份 );ylabel( 客运量/万人);subplot(2,1,2);plot(x,newh,r-o,x,glhyl,b-+) legend( 网络输出货运量, 实际货运量);xlabel( 年份 );ylabel( 货运量/万吨);% 利用训练好的网络进行预测隐含层输出最终结果% 输出层输出最终结果% 还原网络输出层的结果% 时间轴刻度% 网络输出客运量% 网络输出货运量% 绘值公路客运量对比图；% 绘制公路货运量对比图；% 当用训练好的网络对新数据pnew 进行预测时，也应作相应的处理pnew=73.39 75.553.9635 4.09750.9880 1.0268;%2010 年和 2011 年的相关数据；pnewn=tra