BP神经网络ppt课件

一般而言,ANN与经典计算方法相比并非优越,只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面,ANN对处理大量原始数据而不能用规则或公式描述的问题,表现出极大灵活性和自适应性。,人工神经网络,1,人工神经网络,例,1981年生物学家格若根（WGrogan）和维什（WWirth）发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：,翼长触角长类别1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af,翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af,2,问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80);(l.28，1.84)；（1.40，2.04）问它们应分别属于哪一个种类？,解法一：,把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中6个蚊子属于APf类；用黑点“”表示；9个蚊子属Af类；用小圆圈“。”表示得到的结果见图1,图1飞蠓的触角长和翼长,3,思路：作一直线将两类飞蠓分开,例如；取A（1.44，2.10）和B(1.10，1.16)，过AB两点作一条直线：y1.47x-0.017其中X表示触角长；y表示翼长,分类规则：设一个蚊子的数据为（x,y）如果y1.47x-0.017，则判断蚊子属Apf类；如果y1.47x-0.017；则判断蚊子属Af类,4,分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属于Apf类,5,缺陷：根据什么原则确定分类直线？,若取A=(1.46,2.10),B=(1.1,1.6)不变，则分类直线变为y=1.39x+0.071,分类结果变为：(1.24,1.80)，(1.40,2.04)属于Apf类；(1.28,1.84)属于Af类,哪一分类直线才是正确的呢？,因此如何来确定这个判别直线是一个值得研究的问题一般地讲，应该充分利用已知的数据信息来确定判别直线,6,再如，如下的情形已经不能用分类直线的办法：,新思路：将问题看作一个系统，飞蠓的数据作为输入，飞蠓的类型作为输出，研究输入与输出的关系。,7,BP神经网络模型与学习算法,8,前馈神经网络模型,三层前向网络,9,（1）是否存在一个BP神经网络能够逼近给定的样本或者函数。,两个基本问题,（2）如何调整BP神经网络的连接权，使网络的输入与输出与给定的样本相同。,10,Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J.McClelland,DavidRumelhart,11,BP神经网络模型,激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出,12,BP神经网络模型,输出的导数,根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内,13,BP网络的标准学习算法,学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,14,BP网络的标准学习算法-算法思想,学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,15,BP网络的标准学习算法-学习过程,正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,16,BP网络的标准学习算法,网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;,17,BP网络的标准学习算法,输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：,18,BP网络的标准学习算法,第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出,19,BP网络的标准学习算法,第三步，计算隐含层各神经元的输入和输出,20,BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。,21,BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。,22,BP网络的标准学习算法,23,BP网络的标准学习算法,第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。,24,BP网络的标准学习算法,第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。,25,BP网络的标准学习算法,第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,26,BP网络的标准学习算法,BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。,27,BP网络的标准学习算法,BP算法直观解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。,28,（1）隐层数及隐层神经元数的确定：目前尚无理论指导。（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。（3）训练数据预处理：线性的特征比例变换，将所有的特征变换到0，1或者-1，1区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。（4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。,BP算法的设计,29,30,31,32,33,BP神经网络在模式识别中的应用,模式识别研究用计算机模拟生物、人的感知，对模式信息，如图像、语音等，进行识别和分类。传统人工智能的研究部分地显示了人脑的归纳、推理等智能。但是，对于人类底层的智能，如视觉、听觉、触觉等方面，现代计算机系统的信息处理能力还不如一个幼儿园的孩子。神经网络模型模拟了人脑神经系统的特点：处理单元的广泛连接；并行分布式信息储存、处理；自适应学习能力等。神经网络模式识别方法具有较强的容错能力、自适应学习能力、并行信息处理能力。,34,BP神经网络在模式识别中的应用,例设计一个三层BP网络对数字0至9进行分类。,每个数字用97的网格表示，灰色像素代表0，黑色像素代表1。将每个网格表示为0，1的长位串。位映射由左上角开始向下直到网格的整个一列，然后重复其他列。选择BP网络结构为63-6-9。97个输入结点，对应上述网格的映射。9个输出结点对应10种分类。使用的学习步长为0.3。训练600个周期，如果输出结点的值大于0.9，则取为ON，如果输出结点的值小于0.1，则取为OFF。,35,测试结果表明：除了8以外，所有被测的数字都能够被正确地识别。对于数字8，神经网络的第6个结点的输出值为0.53，第8个结点的输出值为0.41，表明第8个样本是模糊的，可能是数字6，也可能是数字8，但也不完全确信是两者之一。,BP神经网络在模式识别中的应用,当训练成功后，对如图所示测试数据进行测试。测试数据都有一个或者多个位丢失。,BP神经网络的特点,非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。(overfiting,书呆子现象)容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,36,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能,37,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能newff()功能建立一个前向BP网络格式net=newff(PR，S1S2.SN1，TF1TF2.TFN1，BTF，BLF，PF)说明net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1S2SNl表示网络隐含层和输出层神经元的个数；TFlTF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。,38,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,39,BP神经网络学习算法的MATLAB实现,例2-3，下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,40,BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.0000;%以第四个月的销售量归一化处理后作为目标向量T=0.73080.13900.10870.35200.00000.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法net=newff(01;01;01,5,1,tansig,logsig,traingd);net.train