BP网络拟合函数

神经网络模型拟合函数一、实验目的本实验要求在掌握神经网络基本工作原理和函数拟合的方法基础上，针对相同的拟合目标函数，通过利用不同的模型结构和参数的神经网络模型进行拟合，对比拟合效果的好坏，进而了解神经网络模型结构与参数的影响。二、实验要求针对给定的目标函数，利用1-6-1结构和1-4-2-1结构的神经网络模型进行函数的拟合与逼近，对比两种结构模型的逼近性能。三、实验步骤1. 选取20个训练样本，即输入，期望输出为；2. 选择MLP网络结构为1个输入神经元、6个隐含层神经元和1个输出神经元。神经元的激励函数为sigmoid函数；3. 初始权系数为(0,1)之间的随机数，学习步长；4. 利用BP算法获得权系数的最终解；5. 按照上述方法构造1-4-2-1结构的神经网络模型，并求出权系数的稳定解；6. 选择30个测试样本数据集，测试两种神经网络模型的实际输出与期望输出之间的误差，7.绘制两种模型的逼近输出曲线，并给出对比结果分析。四、实验结果及分析1. BP网络结构为1个输入神经元、6个隐含层神经元和1个输出神经元，神经元的激励函数为sigmoid函数：1.1.选取学习步长为0.09，输入样本数为20，学习次数为30000，权系数随机选取时，用matlab仿真五次，并记录学习时间，学习结果（见表1），发现学习时间多为7s左右，学习最终误差大多数达不到设定的精度（ei0.008），但直观感觉学习曲线还是基本吻合原函数的，若增加学习次数或样本数也许可以使此模型更好地拟合原函数。分析最终学习出的权系数发现学习的权系数之间没有什么关联，可能原因是：一、不同初始值学习出的最终权系数本来就没有关联；二、因为最终学习误差没到一定精度，所以看不出关联。表 1第几次仿真运行时间最终权系数拟合结果图17.767 sw1 =(1.4589，0.1636，-1.3342，0.1092，0.9572，-1.8571)w2 =(6.1455, -0.3605, 8.1985, -0.3278, 4.1471, 2.1016)yw1 =(6.2579，-0.4063，-2.5669，-0.3627，5.4280，0.2218)yw2 =4.877927.602 sw1 =(2.0482，2.3622，1.2250，-2.3501，-0.2934， 2.0613)w2 =(-1.9550, -2.4554, 8.4405, 4.7966, -0.4549, -1.9782)yw1 =(0.3576，0.6044，5.7897，-5.1541，-0.0204，0.3659)yw2 =-2.220132.878 sw1 =(-2.0206，-2.6524，1.2468，0.6983，-0.1150，0.7635)w2 =(6.3110, 3.6906, 4.9476, 2.8276, -0.5951, 3.2270)yw1 =(-4.4254，-1.2603，5.5122，3.5155，-0.1126，3.9495)yw2 =5.335247.836 sw1 =(-1.8007，3.1166，1.2598，0.5411，-0.2735，-0.2147)w2 =(6.6765, -3.3357, 7.9065, 1.4715, -0.5287, -0.2842)yw1 =(-3.7010，1.0896，5.8843，1.8326，-0.2481，0.0211)yw2 =1.612658.813 sw1 =(1.3316, -1.1620, -0.2335, -1.1645, 0.5635, 1.3760)w2 =(8.5691, 3.0901, -0.4827, 3.1438, -0.1171, -3.1291)yw1 =(6.2115, -1.3614, -0.0511, -1.6251, -0.0967, 2.6769)yw2 =1.3161观察表中运行时间，可以发现第三次拟合的运行时间明显短于其他拟合运行时间，并且迭代次数只有12000次，而每次运行程序，数值都没有人为改变，只有初始权系数是随机变化的。从中可以推测，初始权系数的取值可以影响拟合时间的多少及拟合程度。对所有仿真的运行时间相加，减去最大值和最小值后，取平均值，即：Taverage=(7.767 s+7.602 s+2.878 s+7.836 s+8.813 s)- 2.878 s-8.813 s)/3=7.735s可以发现运行时间在7.7s左右。对比最终权系数，发现具有随机性，看不出其中有什么联系。表中拟合结果图除了第三次的图不太一样外，其他的拟合结果图基本相似，都是迭代了30000次，学习误差没有达到设定的精度。而第三次最终只迭代学习了12000次，误差就达到了设定精度，但看直观的拟合图像基本是一样的，看不出什么区别。1.2.选取学习步长为0.09，学习次数为30000，权系数随机选取，但输入样本数改为100时（见表2），发现学习时间多为35s以上，学习最终误差虽未达到设定的精度（ei0.008），但直观感觉学习曲线还是基本吻合原函数的。分析最终学习出的权系数发现学习的权系数之间没有什么关联。表 2第几次仿真运行时间最终权系数拟合结果图139.352 sw1 =(2.0181, -3.1591, -2.0850, 0.5193, 0.4977, 1.2213)w2 =(5.1003, 6.5521, 6.3695, 2.7038, 2.4822, 7.5514)yw1 =(6.6049, -8.0391, -1.3650, 3.0031, 2.7913, 7.6082)yw2 =7.8514237.614 sw1 =(-3.1640, 2.1073, 1.2552, 0.4190, -2.0758, 0.5700)w2 =(6.5986, 5.3191, 7.2380, 2.2673, 6.2767, 3.2738)yw1 =(-8.1248, 6.9484, 7.7579, 2.5368, -1.3679, 3.6256)yw2 =7.8281335.207 sw1 =(1.3025, 0.4218, -3.0477, -2.2298, 2.1413, 0.5459)w2 =(7.0325 2.2766 6.9295 5.8441 5.5486 2.9856)yw1 =(7.9755, 2.5862, -7.8449, -1.5053, 7.0819, 3.4263)yw2 =7.9847430.451 sw1 =(-2.7814, -1.7513, 1.1731, -3.2119, 0.7666, 2.0331)w2 =(3.5709, 3.7746, 6.6366, 6.1380, 4.5029, 5.4025)yw1 =(-0.7576, -1.7589, 7.1772, -8.2682, 4.7234, 6.6557)yw2 = 7.3498538.875 sw1 =(1.1318 -0.3320 1.8463 -3.3330 -1.9643 2.2687)w2 =(9.5849 -1.5516 5.3685 6.0329 4.6742 -2.5273)yw1 =(6.8992, -0.8180, 5.9989, -8.4456, -1.6713, 0.3477)yw2 =3.7008观察表中运行时间，可以发现第四次拟合的运行时间稍微短于其他拟合运行时间，迭代次数只有25000次，证明了初始权系数的取值可以影响拟合时间的多少及拟合程度。对所有仿真的运行时间相加，减去最大值和最小值后，取平均值，即：Taverage=( 39.352 s+37.614 s+35.207 s+30.451 s+38.875 s)- 30.451 s -39.352 s)/3=37.232s可以发现运行时间在37s左右。对比最终权系数，发现前三次最终权系数的值相近，只是位置不同，但后两次权系数并没有发现与前三次相联系的可能，也许最终学习得出的权系数真的没有什么特点。表中拟合结果图基本相似，除了第四次迭代了25000次外，学习误差达到了设定的精度，其他都是迭代了30000次，学习误差没有达到设定的精度。2. 选择构造1-4-2-1结构的神经网络模型，神经元的激励函数为sigmoid函数：2.1.选取学习步长为0.09，输入样本数为20，学习次数为30000，权系数随机选取时，用matlab仿真，记录学习时间，学习结果（见图1），发现学习时间为15.773 s，学习最终误差大多数达不到设定的精度（ei0.008），且通过图像直观发现拟合情况不佳。图 12.1.1.增加学习次数为300000，其他不变，用MATLAB仿真五次（见表3）表 3第几次仿真运行时间最终权系数拟合结果图122.306 sw1 =(0.8130 1.5268 1.5300 3.6261)w2 = (-1.7547 -2.6751 -2.4102 -2.5601; -5.2035 -3.9733 -4.2818 -3.8407)w3 =(7.2364 -8.0701)yw1 =(4.9603 4.0800 4.0289 1.4395)yw2 =(-3.2993 -13.3778)yw3 =-4.6433231.523 sw1 =(1.5029 0.5369 1.7205 0.6061)w2 =(-3.1964 -2.6664 -2.7390 -2.4232; -3.3600 -3.7732 -4.0094 -4.0952)w3 =(9.1703 -9.4338)yw1 =(0.0051 3.4199 4.7422 3.9509)yw2 =( -3.4278 -9.6349)yw3 =-5.0927326.048 sw1 =(2.3462 1.5111 0.8153 1.3517)w2 =(-2.7921 -2.3308 -1.5733 -1.9519; -3.2636 -3.6410 -5.0709 -3.7608)w3 =(8.2448 -8.7918)yw1 =(0.2361 4.0364 5.1403 3.4867)yw2 =(-3.3986 -11.7317)yw3 =-4.92274156.903 s538.852 sw1 =(0.6056 1.6828 0.5409 1.5202)w2 =( -2.4187 -2.8522 -2.6163 -3.0890; -4.1194 -3.9613 -3.8082 -3.5003)w3 =(9.2592 -9.4979)yw1 =(4.0081 4.6497 3.5271 0.0138)yw2 =(-3.3276,-9.6161)yw3 =-5.1184观察表中运行时间，可以发现第四次拟合的运行时间长于其他拟合运行时间，且第四次的拟合是失败的，所以尚未记录其最终权系数。对所有仿真的运行时间相加，减去最大值和最小值后，取平均值， 得Taverage=32.132s。可以发现运行时间在32s左右。对比最终权系数，虽然权系数的值不同，但正负号是一样的，说明BP网络拟合最终权系数还是有些未明的关系的。表中拟合结果图基本相似，但迭代次数不同，大多数迭代次数在10的4次方数量级上。因学习次数为300000，样本数为100时，运行时间太慢，所以改变学习次数为30000，增加样本数至100，观察记录实验结果（见表4）。发现运行时间增加了一倍左右，且容易拟合不出原函数。表 3第几次仿真运行时间最终权系数拟合结果图157.229 sw1 =(0.7338 2.4116 0.4824 2.4703)w2 =(-4.9514 -3.2205 -4.1551 -4.3019; -1.8855 -3.7428 -2.2014 -3.5910)w3 =(-10.7908 9.9855)yw1 =(5.0272 0.5050 3.7726 7.1310)yw2 =(-9.3574 -3.8264)yw3 =-5.9047246.831 sw1 =(0.2749 2.3077 0.9744 2.4026)w2 =(2.3041 2.3207 6.0849 4.6401; 2.9563 3.2658 0.7978 3.1780)w3 =(10.3745 -10.1701)yw1 =(1.1745 0.3161 6.5889 6.9511)yw2 =(9.0404 4.1969)yw3 =-5.1751360.041 sw1 =(0.5842 2.5109 2.4184 0.6145)w2 =(-4.3387 -4.4441 -3.3150 -4.4195; -2.4395 -3.3548 -3.7811 -2.3694)w3 =(-10.9426 9.9935)yw1 =(4.1459 7.1979 0.4668 4.3039)yw2 =(-9.7491 -3.8890)yw3 = -6.0719479.550 s579.583 s观察表中运行时间，可以发现第四次，第五次拟合的运行时间长于其他拟合运行时间，且第四次和第五次的拟合是失败的，所以尚未记录其最终权系数。对所有仿真的运行时间相加，减去最大值和最小值后，取平均值， 得Taverage=65.607s。可以发现运行时间在65s左右。对比最终权系数，权系数的值不同，正负号也不一样，BP网络最终拟合的权系数似乎毫无规律。表中拟合结果图基本相似，迭代次数大多在10的4次方数量级上。通过实验对比两种结构的BP神经网络，发现1-6-1结构的BP神经网络不比1-2-4-1差，且增加样本数并不是一定就好。在时间要求尽量短，样本数少的情况下，1-6-1结构的BP网络模拟情况明显好于1-4-2-1的BP网络，但若给足够长的时间，1-2-4-1的BP网络拟合情况还是较好的。这次实验，我们试图寻找出学习出的最终的权系数之间的关系，但目前还没发现这种联系。四、实验程序1. 1-6-1结构：function bpcos1%用BP神经网络拟合0.5*(1+cos(x)函数，三层神经元，第一层一个，第二层六个，第三层一个，激励函数为sigmoid函数。%固定输入权重为1，第一层神经元阈值为0%*初始化*l=0.9; %学习步长n=20; %输入样本数cell=6; %第一层神经元数times=30000; %学习次数x=(linspace(0,2*pi,n);%选取样本点t=0.5*(1+cos(x); %学习拟合的函数w1=rand(cell,1)*0.05; %第一层连接权系数的初始值w2=rand(1,cell)*0.05; %第二层连接权系数的初始值yw1=rand(cell,1)*0.05; %第一层阈值初始值yw2=rand*0.05; %第二层阈值初始值y=rand(1,n)*0.05; %输出初始值counts=1; %计数e=zeros(1,times); %均方差%*学习过程*for i=1:times ei=0; for a=1:n %遍历样本 net1=w1*x(a)-yw1; out=logsig(net1); %第一层输出 net2=w2*out-yw2; y(a)=logsig(net2); %y(a)=net2; %第二层输出（y） det2=(t(a)-y(a)*y(a)*(1-y(a); det21=(t(a)-y(a); %det2=det21; det1=(det2*(w2).*out).*(1-out); w1=w1+det1*x(a)*l; %更新权系数 w2=w2+(det2*out)*l; yw1=-det1*l+yw1; yw2=-det2*1+yw2; ei=ei+det212/2; %累积误差 e(i)=ei; end if ei0.008 break; end counts=counts+1;end%*逼近曲线*for a=1:n net1=w1*x(a)-yw1; out=logsig(net1); net2=w2*out-yw2; y(a)=logsig(net2); %y(a)=net2;end%*画图*subplot(2,1,1)plot(x,t,b-,x,y,k*-); %画原函数及bp拟合图grid on;title(BP method, y=sin(x);xlabel(x);ylabel(y=sin(x);if(countstimes) count=1:counts; sum=counts;else count=1:times; sum=times;endsubplot(2,1,2);plot(count,e(1:sum); %画误差图grid on;title(BP算法学习曲线);xlabel(迭代次数);ylabel(均方误差);end2. 1-4-2-1结构：function bpcos%用BP神经网络拟合0.5*(1+cos(x)函数，四层神经元，第一层一个，第二层4个，第三层2个，第四层一个，激励函数为sigmoid函数。%固定输入权重为1，第一层神经元阈值为0%*初始化*l=0.09; %学习步长n=100; %输入样本数cell1=4; %第二层神经元数cell2=2; %第三层神经元数times=30000; %学习次数x=(linspace(0,2*pi,n);%选取样本点t=0.5*(1+cos(x); %学习拟合的函数w1=rand(cell1,1)*0.05; %第一层连接权系数的初始值w2=rand(cell2,cell1)*0.05; %第二层连接权系数的初始值w3=rand(1,cell2)*0.05;yw1=rand(cell1,1)*0.05; %第一层阈值初始值yw2=rand(cell2,1)*0.05;yw3=rand*0.05; %第二层阈值初始值y=rand(1,n)*0.05; %输出初始值counts=1; %计数e=zeros(1,times); %均方差%*学习过程*for i=1:times ei=0; for a=1:n %遍历样本 net1=w1*x(a)-yw1; ou