数学建模之BP神经网络ppt课件

.,1,BP神经网络(BackProragation-BP),.,2,1人工神经网络概述,.,3,所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。,前言,.,4,粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。,.,5,人工神经网络是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。,.,6,由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。需要指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于较低的水平。,.,7,生物神经网,构成：,生物神经元由:细胞体(Cellbody)树突(Dendrite)轴突(Axon)突触(Synapse),.,8,工作过程：从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。神经元间信息的产生、传递和处理是一种电化学活动。神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。,.,9,人工神经元,人工神经元是对生物神经元的模拟。模拟生物神经网络应首先模拟生物神经元：人工神经元(节点)。从三个方面进行模拟：节点本身的信息处理能力节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整),.,10,人工神经元的基本构成：输入：X=(x1，x2，xn)权系数：W=(w1，w2，wn)T输入与输出具有如下关系：其中为阈值，是激发函数；它可以是线性函数，也可以是非线性函数,.,11,常见的激活函数有以下几种类型：,1、阶梯函数,2、线性函数,3、非线性：Sigmoid函数,.,12,.,13,人工神经网络的分类,按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐含层）和输出层，各层顺序相连互连型网络结构：网络中任意两个节点之间都可能存在连接路径按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出,.,14,按网络连接的拓扑结构分类：层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连,单纯型层次型结构,.,15,按网络连接的拓扑结构分类：互连型网络结构：网络中任意两个节点之间都可能存在连接路径,局部互连型,.,16,人工神经网络的分类(C.),按网络内部的信息流向分类：前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行,前馈型网络,.,17,人工神经网络的分类(C.e),按网络内部的信息流向分类：反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出,反馈型网络,.,18,建立和应用神经网络的步骤,（1）网络结构的确定包含网络的拓扑结构和每个神经元相应函数的选取；（2）权值和阈值的确定通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权值和阈值使得网络输出与理想输出偏差尽量小；（3）工作阶段用带有确定权值和阈值的神经网络解决实际问题，也叫模拟（simulate）。,.,19,神经网络的应用,人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP神经网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。,.,20,2BP神经网络概述,.,21,BP算法BP(BackProragation，BP)误差反向传播算法1986年，Rumelhart和McCelland领导的科学家小组ParallelDistributedProcessing一书它是有指导训练的前馈多层网络训练算法，是靠调节各层的权值，使网络学会由输入输出对组成的训练组。其核心思想是将输出误差以某种形式通过隐含层向输入层逐层反传，即：信号正向传播；误差反向传播执行优化的方法是梯度下降法最常用的激活函数是Sigmoid函数,.,22,BP算法BP网络模型,输入层,隐含层,输出层,.,23,BP算法BP网络的数学模型输入向量：X=(x1,x2,xi,xn)T隐含层输出向量：Y=(y1,y2,yj,ym)T输出层输出向量：O=(o1,o2,ok,ol)T期望输出向量：d=(d1,d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐含层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),.,24,3BP算法流程及实现,.,25,应用之例1：蠓虫的分类,已知的两类蠓虫的数据如表：,翼长触角长类别1.821.14Apf1.961.18Apf1.861.20Apf1.271.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af,目标值0.90.90.90.10.90.90.90.1,翼长触角长类别1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af,目标值0.10.10.10.10.10.10.1,.,26,问题：1、制定一种方法，正确的区分两类蠓虫；2、对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3个标本，用所得到的方法加以识别。,.,27,输入数据有15个，每个输入有两个指标。输出数据为两个类别，共15个输出。建模：（输入层，隐含层，输出层，每层的节点应取多少个？）建立神经网络,.,28,MATLAB中BP神经网络的重要函数和基本功能生成一个前馈BP网络:newff()newff函数的格式为：net=newff(PR,S1S2.SN,TF1TF2.TFN,BTF,BLF,PF）PR：Rx2的矩阵以定义R个输入向量的最小值和最大值；Si：第i层神经元个数；（注：不将输入层计算在内）TFi：第i层的激活函数，默认函数为tansig（双曲正切S型）函数；BTF：训练函数，默认函数为trainlm（梯度下降）函数；BLF：权值/阈值学习函数，默认函数为learngdm（带动量项的BP学习规则）函数；PF：性能函数，默认函数为mse函数。,.,29,具体算法如下：,%清空环境变量clcclear%输入样本数据p1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;%Afp2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00;1.28,2.00;1.30,1.96;%Apfp=p1;p2;pr=minmax(p);%输入向量的最小值和最大值%输出样本数据goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6);%绘图plot(p1(:,1),p1(:,2),h,p2(:,1),p2(:,2),o),.,30,%网络创建net=newff(pr,3,2,logsig,logsig);%隐含层有3个节点，输出层有2个节点，隐含层神经元的激活函数为S型对数函数logsig，输出层神经元的激活函数为S型对数函数logsig。训练函数为默认函数trainlm（梯度下降）函数；权值/阈值学习函数为默认函数learngdm（带动量项的BP学习规则）函数；性能函数为默认函数为mse函数。net.trainParam.show=10;%显示中间结果的周期为10net.trainParam.lr=0.05;%整批学习中的学习效率为0.05net.trainParam.goal=1e-10;%最小二乘目标误差设定值为1e-10net.trainParam.epochs=50000;%训练次数为50000次%训练网络以及测试网络net=train(net,p,goal);%对网络进行模拟y0=sim(net,p)；y0(find(y0=0.5)=1;%问题2的分类x=1.241.80;1.281.84;1.402.04;y=sim(net,x)；y(find(y=0.5)=1;,.,31,应用之例2：居民生活用水量预测,已知的居民生活用水量数据如表：,.,32,问题：1、建立1999-2010生活用水量的预测模型；2、预测2011年的生活用水量。,.,33,预测方法采用滚动预测方式，即用前几年的用水量来预测下一年的用水量，如用1999、2000、2001年的用水量为输入，预测2001年的用水量，或用2001、2002年、2003年、2004年的用水量为输入，预测2005年的用水量。如此反复直至满足预测精度要求为止。建模：建立3层BP神经网络，各层神经元之间形成全互联连接，各层次内的神经元之间没有连接。输入层的节点数为输入向量的分量数4个，隐含层的节点数与输入层的节点数相同为4个，输出层的节点数为输出向量的分量数为1个，即用前面几年的居民生活用水量对后一年的居民生活用水量进行预测。,.,34,%清空环境变量clc;clearall;%输入样本数据y=xlsread(shysl.xls,sheet1,B2:B35);t=xlsread(shysl.xls,sheet1,C2:C35);p1=y(1:29);p2=y(2:30);p3=y(3:31);p4=y(4:32);p=p1;p2;p3;p4;%进入网络的数据矩阵pr=minmax(p);%输入向量的最小值和最大值%输出样本数据gaol=y(5:33);,具体算法如下：,.,35,%网络创建net=newff(pr,4,1,logsig,logsig,traingdx);net.trainParam.show=10;%显示中间结果的周期为10net.trainParam.lr=0.0000001;%整批学习中的学习效率为0.0000001net.trainParam.goal=50;%最小二乘目标误差设定值为50net.trainParam.epochs=500000;%训练次数为500000次net=train(net,p,gaol);%训练网络以及测试网络y0=sim(net,p);%对网络进行模拟v=net.iw1,1；%输入层到隐含层的权值w=net.lw2,1；%隐含层到输出层的权值b1=net.b1,1；%隐含层的阈值b2=net.b2,1；%输出层的阈值mse=sum(gaol-y0).2)；%计算均方误差%绘图k=t(5:33);plot(k,gaol,k,k,y0,r);%预测2011年的生活用水量x=y(30:33);y=sim(net,x),.,36,1、BP神经网络水（处理）系统的模拟与预测,作业,.,37,样本,.,38,检验样本,.,39,2、下表为某药品的销售情况，构建三层BP神经网络对药品的销售进行预测,.,40,3、利用BP网络预测公路运量问题预测该地区2010年2011年得公路客运量和公路货运量。根据有关部门数据，该地区2010年和2011年的人数分别为73.39和75.55万人，机动车数量分别为3.9635和4.0975万辆，公路面积将分别为0.9880和1.0268万平方米。,.,41,某地区20年公路运量数据年份人口数量机动车数量公路面积公路客运量公路货运量20.550.60.095126123722.440.750.116217137925.370.850.117730138527.130.900.149145139929.451.050.2010460166330.11.350.2311387171430.961.450.2312353183434.061.600.3215750432236.421.700.3218304813238.091.8