基于BP神经网络的数据分类PPT演示课件

基于BP神经网络的数据分类,姓名：丁莉学号：30856015指导老师：周润景日期：2009.7.1,1,1.1BP网络简介1.2BP网络模型1.3学习规则1.4网络程序设计1.5BP网络应用,1,2,3,4,5,2,1.1BP网络简介,反向传播网络(Back-PropagationNetwork，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射,3,在人工神经网络的实际应用中，BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等，80%90%的人工神经网络模型是采用BP网络或它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。其主要思想是从后向前（反向）逐层传播输出层的误差，以间接计算出隐层误差。算法分为两个部分：第一部分（正向传播过程）输入信息从输入层经隐层逐层计算各单元的输出值；第二部分（反向传播过程）输出误差逐层向前计算出隐层各单元的误差，并用此误差修正前层权值。,1.1BP网络简介,4,1.2网络模型,一个具有r个输入和一个隐含层的神经网络模型结构,5,1.2网络模型,BP网络具有一层或多层隐含层，除了在多层网络上与其他的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数0，1或符号函数1，1BP网络经常使用的是S型的对数或正切激活函数和线性函数,6,1.3学习规则,BP神经网络是一前向结构无反馈的非线性映射系统，能较好地拟合非线性系统的输入与输出关系。BP网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向负梯度方向。其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。,7,1.3学习规则,假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T,8,1.3学习规则,信息的正向传递隐含层中第i个神经元的输出输出层第k个神经元的输出定义误差函数,9,1.3学习规则,利用梯度下降法求权值变化及误差的反向传播输出层的权值变化其中同理可得,10,1.3学习规则,利用梯度下降法求权值变化及误差的反向传播隐含层权值变化其中同理可得,11,1.3学习规则,对于f1为对数S型激活函数，对于f2为线性激活函数,12,1.4网络程序设计,（1）网络的初始化（2）训练参数初始化（3）网络训练（4）网络仿真（5）显示结果下面进行分步介绍：,13,1.4网络程序设计,以上所有的学习规则与训练的全过程，可以用MATLAB中的函数trainbp.m来完成它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差TPdisp_freqmax_epocherr_goallrW，B，epochs，errorstrainbp(W，B，F，P，T，TP),14,1.4网络程序设计,在训练之前要对网络进行初始化，并设置好训练参数。网络的输入向量：网络的目标向量：网络初始化程序：,15,1.4网络程序设计,%创建一个BP网络，隐含层有s1个神经元，传递函数为tansig，中间层有s2个神经元，传递函数为logsig，训练函数为批梯度下降函数traingdnet=newff(minmax(p),s1,s2,tansig,logsig,traingd);%训练步数为X%目标误差为Enet.trainParam.epochs=X;net.trainParam.goal=E;,16,1.5BP网络应用,BP网络的输入和输出层的神经元数目由输入和输出向量的维数确定。输入向量由A,B,C这三列决定，所以输入层的神经元数目为3。输出结果有四种模式，在这里设为1、2、3、4代表4种输出，因此输出层的神经元个数为4。隐含层节点数的确定：其中m为输入层节点数，n为输出层节点数，a为【1，10】之间的常数。因为此处是3输入4输出的神经网络，所以隐含层节点数选择12。,17,1.5BP网络应用,源程序代码:%构建训练样本中的输入向量pp1=1739.94373.31756.77864.45222.85877.881803.58;1675.153087.0516521647.313059.542031.661583.12;2395.962429.471514.982665.92002.333071.182163.05;p2=2352.12401.3363.341571.17104.8499.852297.28;2557.043259.943477.951731.043389.833305.753340.14;1411.532150.982462.861735.332421.832196.22535.62;p3=2092.621418.791845.592205.362949.161692.621680.67;3177.211775.891918.813243.743244.441867.51575.78;584.322772.92226.491202.69662.422108.971725.1;p4=2802.88172.782063.541449.581651.52341.59291.02237.63;3017.113084.493199.761641.581713.283076.623095.683077.78;1984.982328.651257.213405.121570.382438.632088.952251.96;p=p1p2p3p4;,18,1.5BP网络应用,%构建训练样本中的目标向量tt1=0100100;1010001;0000000;0001010;t2=0110110;1001000;0000001;0000000;t3=0000000;0010011;1001100;0100000;t4=01000111;00001000;10100000;00010000;t=t1t2t3t4;,19,1.5BP网络应用,%创建一个BP网络，隐含层有12个神经元，传递函数为tansig%中间层有4个神经元，传递函数为logsig,训练函数为trainlmnet=newff(minmax(p),12,4,tansig,logsig,trainlm);%训练次数默认为100net.trainParam.epochs=500;%训练的目标默认为0net.trainParam.goal=0.01;,20,1.5BP网络应用,%神经网络训练net=train(net,p,t);%测试样本进行分类p_test=1702.81877.93867.811831.49460.692374.982271.891783.64198.831494.631597.031598.931243.132336.313542144.47426.311507.13343.072201.942232.431580.11962.41495.181125.1724.221269.071802.071817.361860.45;1639.791860.962334.681713.113274.773346.983482.971597.993250.452072.591921.521921.081814.072640.263300.122501.623105.291556.893271.723196.223077.871752.071594.971957.441594.393447.311910.721725.811927.41782.88;2068.741975.32535.11604.682172.99975.31946.72261.312445.082550.512126.761623.333441.071599.632373.61591.512057.81954.512036.94935.531298.872463.041835.953498.022937.732145.012701.971966.352328.791875.83;y=sim(net,p_test);,21,TRAINLM,Epoch0/500,MSE0.437703/0.01,Gradient7675.18/1e-010TRAINLM,Epoch25/500,MSE0.129899/0.01,Gradient44.6286/1e-010TRAINLM,Epoch37/500,MSE4.18645e-007/0.01,Gradient0.00721979/1e-010TRAINLM,Performancegoalmet.可见网络经过37次训练后即可达到误差要求，结果如下图：,1.5BP网络应用,22,可以看到网络具有非常好的学习性能，网络输出与目标输出的误差已经达到了预先的要求。,1.5BP网络应用,23,1.5BP网络应用,对预测样本值的仿真输出结果是y=Columns1through100.00000.00000.00000.00001.00001.00001.00000.01381.00000.00000.00000.00000.00000.00000.00000.00000.00001.00000.02680.0000第3种第3种第1种第3种第4种0.00000.00000.00001.00000.00000.00000.00001.00000.00000.01381.00001.00000.00000.00000.00000.00010.00010.00000.00001.0000第2种第2种第3种第4种第1种,24,1.5BP网络应用,Columns11through200.00000.00000.00380.00001.00000.91270.99920.00000.00020.00000.00000.00070.00780.99960.00001.00000.00001.00000.00000.0000第4种第3种第1种第2种第4种0.00001.00000.00001.00000.00000.99970.00001.00000.00000.00000.00050.00000.00000.00001.00000.00000.00000.00000.00000.0001第3种第4种第3种第4种第2种,25,1.5BP网络应用,Columns21through300.00000.00000.00000.00380.00370.00001.00000.99970.00000.00001.00000.00000.00000.00780.00760.00010.00000.97311.00001.0000第2种第3种第3种第1种第1种1.00000.00000.00000.00000.00000.00000.01381.00001.00000.99960.00000.00000.00000.00000.00000.00001.00000.00000.00000.9294第4种第1种第3种第3种第3种,26,1.5BP网络应用,27,1.5BP网络应用,28,1.5BP网络应用,将上面结果与正确分类结果进行对比：经过对比以后发现除了有2个数据分类与正确结果不同，其他用BP神经网络进行数据分类与正确分类结果基本一致。出现数据分类错误的原因：1.可能是训练的次数不够，可以通过增加训练次数来改善。2.可能是BP神经网络训练函数trainlm对这个数据分类有不完善的地方，可以通过改变其他的训练函数来完成。,29,带动量变速率最速下降法的BP算法(采用Matlab工具箱的训练函数traingda，学习速率取0.5，速率增长系数1.2,速率下调系数0.8)，训练的性能曲线如图所示。,1.5BP网络应用,30,共轭梯度法(采用Matlalb，工具箱的训练函数traincgb)。训练的性能曲线如图所示。,1.5BP网络应用,31,1.5BP网络应用,动量项的引入使得调节尽快脱离这一平坦区，有助于缩短向极值逼近的时间，所以动量项的引入，加快了学习速度。共轭梯度法在二次型较强的区域能使目标函数收敛较快。而一般目标函数在极小点附近的性态近似于二次函数，故共轭梯度法在极小点附近有较好的收敛性。综上所述，在计算过程的第一阶段，最速下降法是比较理想的寻优方法，而在最优点附近，由于接近于二次型函数，宜采用共轭梯度法。,32,参考文献,1.模式识别（第二版）边肇