BP神经网络预测理论及程序-学习

12、智能算法

12.1人工神经网络1、人工神经网络的原理假如我们只知道一些输入和相应的输出，但是不清楚这些输入和输出之间的具体关系是什么，我们可以把输入和输出之间的未知过程看成是一个“网络”,通过不断的网络输入和相应的输出进行“训练”（学习），网络根据输入和对应输出不断调整连接网络的权值，直到满足我们的目标要求，这样就训练好了一个神经网络，当我们给定一个输入，网络就会计算出一个相应的输出。2、网络结构神经网络一般有一个输入层，多个隐层，和一个输出层。隐层并非越多越好。如下图所示：12.2Matlab神经网络工具箱MATLAB神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型，如感知器、BP网络和RBFNN等。它由nftool,nctool,nprtool,nntraintool和nntool组成。主要应用于函数逼近和数据拟合、信息处理和预测、神经网络控制和故障诊断等领域。在实际应用中，针对具体的问题，首先需要分析利用神经网络来解决问题的性质，然后依据问题的特点，提取训练和测试数据样本，确定网络模型，最后通过对网络进行训练、仿真等检验网络的性能是否满足要求。具体过程如下：(1)确定信息表达的方式，主要包括数据样本已知；数据样本之间相互关系不明确；输入/输出模式为连续的或离散的；数据样本的预处理；将数据样本分成训练样本和测试样本。(2)网络模型的确定。确定选择何种神经网络以及网络层数。(3)网络参数的选择，如输入输出神经元个数的确定，隐层神经元的个数等。(4)训练模式的确定，包括选择合理的训练算法、确定合适的训练步数、指定适当的训练目标误差等(5)网络测试，选择合理的样本对网络进行测试。简单来讲就是三个步骤：建立网络(newXX)—训练网络(trainXX)—仿真网络(sim)12.3BP神经网络的Matlab相关函数BP算法的基本思想：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。权值不断调整的过程就是神经网络的学习训练过程。BP神经网络的设计内容：（1）网络层数的确定。模式样本较少时，选用较少的隐层节点，一般采用两层BP网络；当模式样本较多时，减少网络规模，可以增加一个隐层。（2）输入层节点数的确定。输入层起到缓冲存储器的作用，其节点个数取决于输入矢量的维数。（3）输出层节点数的确定。取决于两个方面，输出数据类型和表示该类型所需的数据大小。当BP网络用语模式分类时，以二进制形式来表示不同模式的输出结果，则输出层的节点数可根据分类模式数来确定。若待分类模式的总数为m，则有两种方法确定输出层的节点数：1）节点数即待分类模式总数m，输出为对应的第j个分量为1，其余为0；2）节点数取经验值log2m，对应m种输出模式的二进制编码。（4）隐层节点数的确定。一般通过反复测试获取较好的节点数。对于模式识别/分类的BP网络，根据经验公式n=n1+n0+a，n1为输入节点数，n0为输出节点数，（5）传输函数。一般采用S型函数fx=11+6）训练方法及其参数选择。Matlab工具箱提供了多种训练函数可供选择。Matlab工具箱中与BP神经网络相关的函数：(1)创建一个BP网络的函数newff,调用形式为：net=newff();在对话框中创建一个BP网络net=newff(PR,[S1S2...SN],{TF1TF2...TFN},BTF,BLF,PF);PR:由每组输入(共R组)元素的最大值和最小值组成的R×2维德矩阵；Si：第i层的长度，共有N层;TFi:第i层的传递函数，默认为tansig；BTF:BP网络的训练函数，默认为trainlm；BLF:权值和阈值的学习算法，默认为learngdm;PF网络的性能函数，默认为mse.(2)传递函数有logsig,dlogsig(导函数),tansig(双曲正切),dtansgi,purelin,dpurelin等(3)学习函数有learngd(梯度下降权值/阈值学习函数)，learngdm(梯度下降动量学习函数)等(4)训练函数有trainbfg(BFGS准牛顿算法),traingd,traingdm等;(5)性能函数有mse,msereg,mae等(6)显示函数有plotperf,plotes(误差曲面),plotep,errsurf等.举例1：>>p=[12;-11;-21;-40]';>>t=[0.20.80.80.2];>>net=newff([-11;-11],[51],{'logsig','logsig'},'traingd');>>net.trainParam.goal=0.001;>>net.trainParam.epochs=5000;>>[net,tr]=train(net,p,t);>>saveBPnet1net;>>loadBPnet1net;>>p1=[12;-11;-21;-40]';>>a2=sim(net,p1);>>a2=a2>0.5a2=0110另一新版本程序：>>p=[12;-11;-21;-40]';>>t=[0.20.80.80.2];>>feedforwardnet(5,'traingd');>>>>net=newff([-11;-11],[51],{'logsig','logsig'},'traingd');>>net.trainParam.goal=0.001;>>net.trainParam.epochs=5000;>>[net,tr]=train(net,p,t);>>saveBPnet1net;>>loadBPnet1net;>>p1=[12;-11;-21;-40]';>>a2=sim(net,p1);>>a2=a2>0.5a2=1110程序解释：Matlab程序如下：%定义输入向量和目标向量p=[12;-11;-21;-40]';t=[0.20.80.80.2];%创建BP网络并定义训练函数及参数net=newff([-11;-11],[51],{'logsig','logsig'},'traingd');net.trainParam.goal=0.001;net.trainParam.epochs=5000;%训练神经网络[net,tr]=train(net,p,t);125saveBPnet1net;%保存网络%仿真网络loadBPnet1net;%加载网络p1=[12;-11;-21;-40]';a2=sim(net,p1);a2=a2>0.5注：在新版本的Matlab中，创建前馈BP神经网络的函数已经更新为feedforwardnet(hiddenSizes,trainFcn)，相应的程序修改为：%定义输入向量和目标向量p=[12;-11;-21;-40]';t=[0.20.80.80.2];%创建BP网络并定义训练函数及参数feedforwardnet(5,'traingd');%训练神经网络[net,tr]=train(net,p,t);saveBPnet1net;%保存网络。例2：BP网络用于曲线拟合>>p=-1:0.1:0.9;>>t=[-0.832-0.423-0.0240.3441.2823.4564.023.2322.1021.504...0.2481.2422.3443.2622.0521.6841.0222.2243.0221.984]t=Columns1through8-0.8320-0.4230-0.02400.34401.28203.45604.02003.2320Columns9through162.10201.50400.24801.24202.34403.26202.05201.6840Columns17through201.02202.22403.02201.9840>>net=feedforwardnet(15);>>net.trainParam.epochs=2500;>>net.trainParam.goal=0.001;>>net.trainParam.show=10;>>net.trainParam.lr=0.005;>>net=train(net,p,t);>>saveBPnet2net;>>p=-1:0.1:0.9;t=[-0.832-0.423-0.0240.3441.2823.4564.023.2322.1021.504...0.2481.2422.3443.2622.0521.6841.0222.2243.0221.984];>>holdon>>plot(p,t,'r*');>>loadBPnet2net;>>r=sim(net,p);>>plot(p,r);>>perf=perform(net,t,r)perf=0.6447>>holdoff;12.4RBF神经网络的Matlab相关函数RBF神经网络的主要特点有：（1）RBF神经网络只有一个隐层，结构简单；（2）RBF神经网络的隐层神经元和输出层神经元的模型不同，在网络中起到的作用也是不同的；（3）RBF神经网络的隐层是非线性的，输出层是线性的；（4）RBF神经网络的基函数计算的是输入向量和中心的欧式距离，以此作为自变量；（5）RBF神经网络使用局部指数衰减的非线性函数对非线性输入输出映射进行局部逼近。它的优点有：（1）具有全局的非线性逼近能力；（2）相比其他神经网络具有更简单的结构]；（3）因为神经元的局部调整而具有更快的学习速率。它在非线性函数逼近、时间序列分析、模式识别、信息处理、数据分类、图像处理、系统建模等方面具有广泛的应用.Matlab工具箱中与RBF神经网络相关的函数：newrb:新建一个RBF神经网络，逐个增加隐层神经元的个数，使误差满足要求。net=newrb(P,T,goal,spread,MN,DF)P：R-by-QmatrixofQinputvectorsT：S-by-QmatrixofQtargetclassvectorsgoal：Meansquarederrorgoal(default=0.0)spread：Spreadofradialbasisfunctions(default=1.0)MN：Maximumnumberofneurons(defaultisQ)DF：Numberofneuronstoaddbetweendisplays(default=25)newrbe:快速创建一个RBFNN，径向基神经元的数目等于输入样本数，如果输入像两个数很多时会导致网络规模很大，所以更常用的是newrb函数。net=newrbe(P,T,spread)P：RxQmatrixofQR-elementinputvectorsT：SxQmatrixofQS-elementtargetclassvectorsspread：Spreadofradialbasisfunctions(default=1.0)例

3：RBFNN

用于曲线拟合（续例

2）Matlab程序如下：>>p=-1:0.1:0.9;t=[-0.832-0.423-0.0240.3441.2823.4564.023.2322.1021.504...0.2481.2422.3443.2622.0521.6841.0222.2243.0221.984];>>net=newrb(p,t,0.1,0.2,20,5);NEWRB,neurons=0,MSE=1.73865NEWRB,neurons=5,MSE=0.0901476>>p=-1:0.1:0.9;t=[-0.832-0.423-0.0240.3441.2823.4564.023.2322.1021.504...0.2481.2422.3443.2622.0521.684