BP神经网络在分类与预测中的应用解析.ppt

一、BP神经网络二、徽章的分类三、光催化臭氧氧化处理自来水,BP神经网络在分类与预测中的应用,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。,(1)探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。(2)探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,(1)生理结构的模拟,用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（ArtificialNeuralNetwroks，简称ANN）方法。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,(1)生理结构的模拟,(2)宏观功能的模拟,从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,(1)理论研究,ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,(1)理论研究,(2)实现技术的研究,探讨利用电子、光学、生物等技术实现神经计算机的途径。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,(1)理论研究,(2)实现技术的研究,(3)应用的研究,探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,人工神经网络是由具有适应性简单的单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实物体所作出的交互作用。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(1)巨量并行性(2)信息处理和存储单元的有机结合(3)自组织自学习功能,1.1.6ANN研究的目的和意义,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(1)通过揭示物理平面与认知平面之间的映射,了解它们相互联系和相互作用的机理,揭示思维的本质，探索智能的本源。,1.1.6ANN研究的目的和意义,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。,1.1.6ANN研究的目的和意义,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(3)研究仿照脑神经系统的人工神经网络,将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。,1.1.6ANN研究的目的和意义,1.1.7神经网络研究的发展,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(1)第一次热潮(40-60年代未)1943年，美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型,即MP模型.1958年，F.Rosenblatt等研制出了感知机(Perceptron）。,1.1.6ANN研究的目的和意义,1.1.7神经网络研究的发展,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.1研究ANN目的,1.1.2研究ANN方法,1.1.3ANN的研究内容,1.1.4人工神经网络概述,1.1.5脑神经信息活动的特征,(2)低潮(70-80年代初)(3)第二次热潮1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络，他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质。1987年首届国际ANN大会在圣地亚哥召开,国际ANN联合会成立，创办了多种ANN国际刊物。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.8神经网络基本模型,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1.9人工神经网络研究的局限性,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.8神经网络基本模型,（1）ANN研究受到脑科学研究成果的限制（2）ANN缺少一个完整、成熟的理论体系（3）ANN研究带有浓厚的策略和经验色彩（4）ANN与传统技术的接口不成熟,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1.9人工神经网络研究的局限性,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.8神经网络基本模型,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1.9人工神经网络研究的局限性,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.1.8神经网络基本模型,一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性.尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断,特征提取和预测等问题,ANN往往是最有利的工具.另一方面,ANN对处理大量原始数据而不能用规则或公式描述的问题,表现出极大的灵活性和自适应性。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型(简称BP网络),目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法,1.2.1BP神经网络概述,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,1.2.1BP神经网络概述,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。,(1)非线性映射能力,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。,(2)并行分布处理方式,(1)非线性映射能力,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。,(2)并行分布处理方式,(3)自学习和自适应能力,(1)非线性映射能力,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）,(2)并行分布处理方式,(3)自学习和自适应能力,(4)数据融合的能力,(1)非线性映射能力,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,(2)并行分布处理方式,(3)自学习和自适应能力,神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式,不必考虑各子系统间的解耦问题。,(4)数据融合的能力,(5)多变量系统,(1)非线性映射能力,BP神经网络在分类与预测中的应用,一、BP神经网络,1.1神经网络(ArtificialNeuralNetwroks,简称ANN),1.2BP神经网络,1.2.1BP神经网络概述,1.2.2BP神经网络特点,1.2.3BP神经网络模型,1.2.3BP神经网络模型,(1)激活函数(传输函数）必须处处可导一般都使用S型函数,Sigmoid函数,对数Sigmoid函数,1.2.3BP神经网络模型,(2)使用S型激活函数时BP网络输入与输出关系,1.2.3BP神经网络模型,输入,输出,(2)使用S型激活函数时BP网络输入与输出关系,1.2.3BP神经网络模型,输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内.,输入,输出,1.2.4BP神经网络的标准学习算法,1.2.4BP网络的标准学习算法,(1)学习的过程在外界输入样本的刺激下，不断改变网络连接的权值，以使网络的输出不断地接近期望的输出。(2)学习的本质对各连接权值的动态调整(3)学习规则权值调整规则，即在学习过程中网络各神经元的连接权值变化所依据的一定调整规则。,1.2.4BP网络的标准学习算法,将误差分摊给各层的所有单元-各层单元的误差信号,修正各单元权值,(4)算法思想A.学习的类型有导师学习B.核心思想将输出误差以某种形式通过隐层向输入层逐层反传,A.正向传播输入样本输入层各隐层输出层B.判断是否转入反向传播阶段若输出层的实际输出与期望的输出（教师信号）不符.C.误差反传误差以某种形式在各层表示修正各层单元的权值.D.网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,1.2.4BP网络的标准学习算法,(5)算法核心,(6)网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元(7)变量定义,1.2.4BP网络的标准学习算法,输入向量,隐含层输入向量,隐含层输出向量,输出层输入向量,输出层输出向量,1.2.4BP网络的标准学习算法,(8)算法步骤,1.2.4BP网络的标准学习算法,第一步，网络初始化给各连接权值分别赋一个区间(-1，1)内的随机数,设定误差函数e，给定计算精度值和最大学习次数M。,第二步，随机选取第k个输入样本及对应期望输出,(8)算法步骤,1.2.4BP网络的标准学习算法,第三步，计算隐含层各神经元的输入和输出,(8)算法步骤,1.2.4BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。,第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。,(8)算法步骤,1.2.4BP网络的标准学习算法,(8)算法步骤,1.2.4BP网络的标准学习算法,第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。,(8)算法步骤,1.2.4BP网络的标准学习算法,第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。,(8)算法步骤,1.2.4BP网络的标准学习算法,第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,(8)算法步骤,1.2.4BP网络的标准学习算法,1.2.4BP网络的标准学习算法,情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负,实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。,(9)BP算法直观解释,(9)BP算法直观解释,1.2.4BP网络的标准学习算法,情况二直观表达误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少,1.2.5BP神经网络的学习算法的MATLAB实现,1.2.4BP网络学习算法的MATLAB实现,(1)MATLAB中BP神经网络的重要函数和基本功能,1.2.4BP网络学习算法的MATLAB实现,newff()功能建立一个前向BP网络格式net=newff(PR，S1S2.SN1，TF1TF2.TFN1，BTF，BLF，PF)说明net为创建的新BP神经网络；PR为网络输入向量的取值范围的矩阵；S1S2SNl表示网络隐含层和输出层神经元的个数；TFlTF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm;BLF表示网络的权值学习函数,默认为learngdm；PF表示性能数，默认为mse。,(1)MATLAB中BP神经网络的重要函数和基本功能,tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能对数Sigmoid激活函数格式a=logsig(n)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,1.2.4BP网络学习算法的MATLAB实现,(1)MATLAB中BP神经网络的重要函数和基本功能,net.trainParam.epochs：最大训练步数。不过当误差准则满足时，即使没达到此步数也停止训练。缺省为100。net.trainParam.goad：网络误差准则，当误差小于此准则时停止训练，缺省为0。net.trainFcn：训练算法。缺省为trainlm，即Levenberg-Marquardt算法。还可使用traingdx，即带动量的梯度下降算法；traincgf，即共轭梯度法。其它可看matlab帮助:help-contents-NeuralNetworkToobox-NetworkObjectReference;help(net.trainFcn),1.2.4BP网络学习算法的MATLAB实现,(1)MATLAB中BP神经网络的重要函数和基本功能,1.2.4BP网络学习算法的MATLAB实现,(1)MATLAB中BP神经网络的重要函数和基本功能,例下表为某药品的销售情况，,1.2.4BP网络学习算法的MATLAB实现,(2)实例,现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点,隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个,输出层的激活函数为logsig,并利用此网络对药品的销售量进行预测,预测方法采用滚动预测方式,即用前三个月的销售量来预测第四个月的销售量,如用1、2、3月的销售量为输入预测第4个月的销售量,用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.1065;%以第四个月的销售量归一化处理后作为目标向量T=0.73080.13900.10870.35200.10650.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1,隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数.net=newff(01;01;01,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T);,1.2.4BP网络学习算法的MATLAB实现,(2)实例,1.2.4BP网络学习算法的MATLAB实现,BP网络应用于药品预测对比图,(2)实例,由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度使其进一步缩小,徽章问题是一个典型的分类问题。我们可以用一个具体的例子描述：在某个国际会议上，参加会议的280名代表每人收到会议组织者发给一枚徽章，徽章的标记为“”或“”。会议的组织者声明：每位代表得到徽章“”或“”的标记只与他们的姓名有关，并希望代表们能够找出徽章“”与“”的分类方法。由于客观原因，有14名代表没能参加此次会议。按照代表们找出的方法判断，如果他们参加会议将得到的徽章类型。,徽章问题的背景,BP神经网络在分类与预测中的应用,二、徽章的分类,BP神经网络在分类与预测中的应用,徽章问题的背景,二、徽章的分类,BP神经网络在分类与预测中的应用,徽章问题的背景,二、徽章的分类,14名未参加会议的代表,BP神经网络在分类与预测中的应用,徽章问题的背景,二、徽章的分类,BP神经网络在分类与预测中的应用,徽章问题的背景,二、徽章的分类,14名未参加会议的代表,BP神经网络在分类与预测中的应用,模型一,我们先做第一种尝试，将人名的前五个字母进行编号，az分别对应025，即每个人名的特征值是一个长度为5的一维列向量,总共280个人名就是个5*280的矩阵p，作为网络输入。将题目中的徽章问题量化，假设徽章为则为1,徽章为则为0,就形成一个1*280的矩阵t，作为目标输出。,BP神经网络在分类与预测中的应用,将这些特征值作为训练样本,通过Matlab的工具箱对BP分类算法进行训练，并确定权值，具体程序，注释及结果如下：,模型一,BP神经网络在分类与预测中的应用,net=newff(025;025;025;025;025,100,1,logsig,purelin,trainlm);/创建一个神经网络，每个字母所对应的量化值的输入范围025，神经网络有2层，第一层有100个神经元，第二层1个，传递函数分别是S型和线性，训练方式=init(net);/初始化神经网络net.trainParam.min_grad=1e-020;/设定最小梯度值，提高训练效果net=train(net,p,t);TRAINLM,Epoch0/100,MSE4.78695/0,Gradient4628.35/1e-020TRAINLM,Epoch25/100,MSE0.000969475/0,Gradient4.93588/1e-020TRAINLM,Epoch50/100,MSE6.16266e-005/0,Gradient4.48141/1e-020TRAINLM,Epoch72/100,MSE4.00219e-031/0,Gradient1.53435e-013/1e-020TRAINLM,MaximumMUreached,performancegoalwasnotmet.,模型一,BP神经网络在分类与预测中的应用,训练次数与训练精度的关系图,BP神经网络在分类与预测中的应用,将用于训练的输入数据p代入训练后的神经网络，输出结果为a矩阵,模型一,a=sim(net,p)a=Columns1through91.00000.00001.00001.00000.00001.0000-0.00001.00001.0000Columns10through181.00001.00001.00001.00001.0000-0.00001.0000-0.00001.0000（后面数据略）,将它和用于训练的目标输出矩阵t对比可以看出，吻合得很好,BP神经网络在分类与预测中的应用,模型一,a=sim(net,n)a=Columns1through81.38890.85041.00000.9551-0.0006-0.05151.0000-0.7714Columns9through141.07760.99772.06550.46730.47941.0000,将14个待分类的人名的前五个字母编码输入神经网络，得到的结果如下：,可以看到,这个结果不是很好,由很多介于0和1之间的数字,从这里的分析可以看出,选取字母的编码作为特征值是合理的，但需要对特征值的选取方案进行细化。,BP神经网络在分类与预测中的应用,模型二,对所给出的280个人名取特征值,我们将人名的第一个字母的进行编号，az分别对应025，并将这些特征值带入到BP网络中去进行训练，具体程序如下：,net=newff(025,100,1,logsig,purelin,trainlm);net=train(net,p,t);TRAINLM,Epoch0/100,MSE36.4541/0,Gradient10111.3/1e-010TRAINLM,Epoch6/100,MSE0.115783/0,Gradient7.80296e-013/1e-010TRAINLM,Minimumgradientreached,.trainParam.min_grad=1e-020;net=train(net,p,t);TRAINLM,Epoch0/100,MSE0.115783/0,Gradient7.80296e-013/1e-020TRAINLM,Epoch3/100,MSE0.115783/0,Gradient1.18794e-012/1e-020TRAINLM,MaximumMUreached,performancegoalwasnotmet.,BP神经网络在分类与预测中的应用,模型二,从训练情况可以看出，在误差值比较大的时候训练就停止了，将输入p带入训练后的矩阵，发现输出结果与t很不一致，说明这里找不到分类的规律。,BP神经网络在分类与预测中的应用,模型三,对所给出的280个人名取特征值,我们将人名的第二个字母的进行编号，az分别对应025，并将这些特征值带入到BP网络中去进行训练，具体程序如下：,BP神经网络在分类与预测中的应用,模型三,net=newff(025,100,1,logsig,purelin,trainlm);net=init(net);net.trainParam.epochs=100;net.trainParam.min_grad=1e-020;net=train(net,p,t);TRAINLM,Epoch0/100,MSE1.33712/0,Gradient889.071/1e-020TRAINLM,Epoch7/100,MSE0.00352734/0,Gradient2.11219e-012/1e-020TRAINLM,MaximumMUreached,performancegoalwasnotmet.a=sim(net,p),训练后的BP神经网络,输入参加训练的数据p,验证数据，可以看出，和所给人名所对应的徽章满足的很好，所得到的数据如下：,BP神经网络在分类与预测中的应用,模型三,a=Columns1through80.98770.00000.98770.9877-0.00000.98770.00001.0000Columns9through160.