BP神经网络与实例修改版ppt课件

1、人工神经网络人工神经网络Artificial Neural Netwroks -ANN1;.2什么是人工神经网络？什么是人工神经网络？T.KoholenT.Koholen的定义：的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。”同时是目前最流行的人工智能控制四大应用方法之一。（基于知识的专家系统、模糊同时是目前最流行的人工智能控制四大应用方法之一。（基于知识的专家系统、模糊控制、神经元网络控制、学习

2、控制）控制、神经元网络控制、学习控制） 3人工神经网络目的与意义人工神经网络目的与意义 争取构造出尽可能与人脑具有相似功能的计算机，即争取构造出尽可能与人脑具有相似功能的计算机，即ANNANN计算机。研究仿照脑神计算机。研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。机所难以达到的效果。 4神经元神经元p 当神经细胞透过神经突触与树突从当神经细胞透过神经突触与树突从其它神经元输入脉波讯号后，经过其它神经元输入脉波讯号后，经过细胞体处细胞体处，产生一个新的脉波讯，产生一

3、个新的脉波讯号。如果脉波讯号够强，将产生一号。如果脉波讯号够强，将产生一个约千分之一秒个约千分之一秒100 100 毫伏的脉波讯毫伏的脉波讯号。这个讯号再经过轴突传送到它号。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的的神经突触，成为其它神经细胞的输入脉波讯号。输入脉波讯号。p 如果脉波讯号是经过兴奋神经突触如果脉波讯号是经过兴奋神经突触（excitatory synapseexcitatory synapse），则会增），则会增加脉波讯号的速加脉波讯号的速；相反的，如果；相反的，如果脉波讯号是经过抑制神经突触脉波讯号是经过抑制神经突触（inhibitory synapseinhi

4、bitory synapse），则会减），则会减少脉波讯号的速少脉波讯号的速。因此，脉波讯。因此，脉波讯号的速号的速是不仅取决于输入脉波讯是不仅取决于输入脉波讯号的速号的速，还取决于神经突触的强，还取决于神经突触的强。p 而神经突触的强而神经突触的强可视为神经网可视为神经网储存信息之所在，神经网储存信息之所在，神经网的学习的学习即在调整神经突触的强即在调整神经突触的强。5空间整合、时间整合空间整合、时间整合p 空间整合：同一时刻来自不同神经元的输入空间整合：同一时刻来自不同神经元的输入信号，作用于神经元的不同突触，形成的突信号，作用于神经元的不同突触，形成的突触电位将会代数相加。触电位将会代数

5、相加。p 时间整合：神经元对不同时刻通过同一个突时间整合：神经元对不同时刻通过同一个突触输入的神经脉冲有代数求和功能。触输入的神经脉冲有代数求和功能。6阈值电位阈值电位p 神经元对其他神经元的激励呈现非神经元对其他神经元的激励呈现非线性响应，如果膜电位高于阈值电线性响应，如果膜电位高于阈值电位，则该神经元进入兴奋状态，产位，则该神经元进入兴奋状态，产生一个尖峰脉冲，如果小于，则进生一个尖峰脉冲，如果小于，则进入抑制状态，此时没有脉冲输出。入抑制状态，此时没有脉冲输出。7细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输8神经网络研究的发展神经网络研究的发展(1)(1

6、)第一次热潮第一次热潮(40-60(40-60年代未年代未) ) 1943 1943年年, ,美国心理学家美国心理学家W.McCullochW.McCulloch和数学家和数学家W.PittsW.Pitts在提出了一个简单的神经元模在提出了一个简单的神经元模型，即型，即MPMP模型。模型。19581958年，年，F.RosenblattF.Rosenblatt等研制出了感知机。等研制出了感知机。(2)(2)低潮低潮(70-80(70-80年代初年代初):): 1969 1969年，年，MITMIT学者学者M.MinskyM.Minsky和和S.PapertS.Papert编写了影响巨大的编写了

7、影响巨大的PerceptronPerceptron一书，指一书，指出单层的感知机只能用于线性问题求解。出单层的感知机只能用于线性问题求解。(3)(3)第二次热潮第二次热潮 1982 1982年，美国物理学家年，美国物理学家J.J.HopfieldJ.J.Hopfield提出提出HopfieldHopfield模型，它是一个互联的非线性模型，它是一个互联的非线性动力学网络动力学网络. .他解决问题的方法是一种反复运算的动态过程他解决问题的方法是一种反复运算的动态过程, ,这是符号逻辑处理方法所这是符号逻辑处理方法所不具备的性质不具备的性质. 1987. 1987年首届国际年首届国际ANNANN大

8、会在圣地亚哥召开，国际大会在圣地亚哥召开，国际ANNANN联合会成立，创办联合会成立，创办了多种了多种ANNANN国际刊物。国际刊物。19901990年年1212月，北京召开首届学术会议。月，北京召开首届学术会议。9人工神经元人工神经元数学模型数学模型10其中其中x x（x x1 1，x xm m）T T 输入向量，输入向量，y y为输出，为输出，w wi i是权系数（连接强度），是权系数（连接强度），为阈值，为阈值，f（X）是激活函数。）是激活函数。miiixwfy1)(11BP神经网络神经网络p RumelhartRumelhart，McClellandMcClelland于于198519

9、85年提出了年提出了BPBP网络的误差反向传播网络的误差反向传播BP(Back Propagation)BP(Back Propagation)学习算法学习算法p BPBP算法基本原理算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 12BP神经网络模型神经网络模型p 三层三层BPBP网络网络1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT BP算法是由两部分组成：信息的正向传递与

10、误差的反向传播。13神经网络的学习神经网络的学习X1：衣服X3：面部特征X2：身高01W1W2W3增加权值减小权值识别系统miiixwfy1)(14学习本质学习本质p 学习的过程：学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。p 学习的本质：学习的本质：对各连接权值的动态调整15BP网络的标准学习算法网络的标准学习算法- -算法思想算法思想p 核心思想：核心思想：将输出误差以某种形式通过隐层向输入层逐层反传将误差分摊给各层的所有单元将误差分摊给各层的所有单元各层单元的误差信号各层单元的误差信号修正各单元权值修正各单元权值16学习类型学习类

11、型p 有监督或称有导师的学习，这时利用有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；给定的样本标准进行分类或模仿；p 无监督学习或称无为导师学习，这时，无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体只规定学习方式或某些规则，则具体的学习内容随系统所处环境的学习内容随系统所处环境 （即输入（即输入信号情况）而异，系统可以自动发现信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑环境特征和规律性，具有更近似人脑的功能。的功能。有导师的学习无导师的学习17BP网络的标准学习算法网络的标准学习算法- -学习过程学习过程p 正向传播：正向传播：输入样本输

12、入层各隐层输出层p 判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符p 误差反传误差反传误差以某种形式在各层表示修正各层单元的权值p 网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止18BP网络的标准学习算法网络的标准学习算法 p 网络结构网络结构输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元p 变量定义变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量; 12,nxxxx12,phihihihi12,pho hoh

13、oho12,qyiyiyiyi12,qyoyoyoyo12,qdddod19BP神经网络模型神经网络模型p 激活函数激活函数必须处处可导一般都使用一般都使用S S型函数型函数 p 使用使用S S型激活函数时型激活函数时BPBP网络输入与输出关系网络输入与输出关系输入输出1122.nnnetx wx wx w1f()1enetynet,11)(xexf; 1)(0 xf20BP网络的标准学习算法网络的标准学习算法输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数: 误差函数：ihwf( ) howhb1,2,kmob211( )

14、( )2qoooedkyo k21BPBP神经网络概述神经网络概述22BPBP神经网络概述神经网络概述23BPBP神经网络概述神经网络概述24BPBP神经网络概述神经网络概述25BP网络的标准学习算法网络的标准学习算法p 第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。p 第二步第二步, ,随机选取第随机选取第 个输入样本及对应期望输出个输入样本及对应期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod26BPBP网络的标准学习算法网络

15、的标准学习算法p 第三步，计算隐含层、输出层各神经元的输入和输出第三步，计算隐含层、输出层各神经元的输入和输出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq隐含层：输出层：27BPBP网络的标准学习算法网络的标准学习算法p 第四步，利用网络期望输出和实际输出，计算误差函数第四步，利用网络期望输出和实际输出，计算误差函数e e对输出层的各神经元的偏对输出层的各神经元的偏导数导数 。 ohoohoeeyiwyiw( )( )( )ph

16、ohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok211( )( )2qoooedkyo k28BPBP网络的标准学习算法网络的标准学习算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp 第五步，利用隐含层到输出层的连接权值、输出层的第五步，利用隐含层到输出层的连接权值、输出层的

17、和隐含层的输出计算误差和隐含层的输出计算误差函数对隐含层各神经元的偏导数函数对隐含层各神经元的偏导数 。 ( )hk( )ok29BPBP网络的标准学习算法网络的标准学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohoohqohohhoho kd

18、kyo kyi kwhi kk whi kk 30BPBP网络的标准学习算法网络的标准学习算法p 第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权和隐含层各神经元的输出来修正连接权值值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk31BPBP网络的标准学习算法网络的标准学习算法p 第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。和输入层各神经元的输入修正连接权。 ( )hk1( )( )( ) ( )( )( ) ( )hih

19、hiihhihNNihihhieehi kw kk x kwhi kwwwk x k32BPBP网络的标准学习算法网络的标准学习算法第八步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最第八步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。步，进入下一轮学习。 33BPBP网络的标准学习算法网络的标准学习算法p BPBP算法直观解释算法直观解释 当误差对权值的偏当误差对权值的偏导数大于零时，权

20、值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，出大于期望输出，权值向减少方向调整，权值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whohoewe0，此时，此时who034BPBP网络的标准学习算法网络的标准学习算法p BPBP算法直观解释算法直观解释当误差对权值的偏导数当误差对权值的偏导数小于零时，权值调整量小于零时，权值调整量为正，实际输出少于期为正，实际输出少于期望输出，权值向增大方向望输出，权值向增大方向调整，使得实际输出与期调整，使得实际输出与期望输出的差减少。望输出的差减少。hoewe0who35BPBP神经网络的特点神

21、经网络的特点p 非线性映射能力非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。p 泛化能力泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。p 容错能力容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 36BPBP神经网络的应用实例神经网络的应用实例例例1 1： 基于人工神经网络的基于人工神经网络的BaTiO3陶瓷配方研究陶瓷配方研究p 清华大学材料科学与工

22、程系新型陶瓷与精细工艺国家重点实验室清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室, ,郭栋郭栋, ,王永力等人应王永力等人应用神经网络算法对用神经网络算法对BaTiO3的配方的研究。该成果发表在硅酸盐学报上。的配方的研究。该成果发表在硅酸盐学报上。p 因陶瓷的性能对配方中各变量极为敏感因陶瓷的性能对配方中各变量极为敏感, , 且掺杂剂之间有时存在复杂的交互作用且掺杂剂之间有时存在复杂的交互作用, ,新新型介电陶瓷材料的研制或原有材料的改进一般都要进行型介电陶瓷材料的研制或原有材料的改进一般都要进行 “ 炒菜式炒菜式” 、“试凑法试凑法”的实验摸索过程。的实验摸索过程。p 正确了解不

23、同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。37基于人工神经网络的基于人工神经网络的BaTiO3陶瓷配方研究陶瓷配方研究p 其中其中BaTiO3 固定而其它固定而其它5 个个掺杂剂掺杂剂参数为参数为输入输入变量变量。p 以室温损耗以室温损耗d f, 室温介电常数室温介电常数25 和和- 55125 温度范围内相对于室温的最大容温变化温度范围内相对于室温的最大容温变化率绝对值率绝对值K作为输出量。作为输出量。该实验输入有5 个神经元而输出层有 3 个神经元. 38 以实验结果作为对以实验结果作为对ANNANN的训练数据

24、的训练数据39初始化：输入层和中间层的连接权值；初始化：输入层和中间层的连接权值； 中间层和输出层之间的连接权值；中间层和输出层之间的连接权值； 学习速率为学习速率为 0.15 ； 初始权值范围在初始权值范围在- 0. 3 到到 0. 3 之间；之间； 最大叠代次数和均方根误差为最大叠代次数和均方根误差为 5000 次和次和 0. 01。40p 对配方中各组分对所需指标的影响规律采用对配方中各组分对所需指标的影响规律采用 ANN 模型进行了分析模型进行了分析, 这对于获得介电这对于获得介电陶瓷多性能指标的优化配方具有重要的指导作用陶瓷多性能指标的优化配方具有重要的指导作用, 表明人工神经网络技

25、术在陶瓷这种表明人工神经网络技术在陶瓷这种多成分多相的复杂材料的研究中具有广阔的应用前景多成分多相的复杂材料的研究中具有广阔的应用前景.41例例2：基于：基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法 为了解决滑坡地质灾害传统预测方法中出现的综合性、实用性不强等问题，本文为了解决滑坡地质灾害传统预测方法中出现的综合性、实用性不强等问题，本文研究用基于优化参数设置的研究用基于优化参数设置的BP BP 神经网络模型来预测滑坡地质灾害。该方法基于神经网络模型来预测滑坡地质灾害。该方法基于BP BP 神神经网络，顾及与滑坡地质灾害产生紧密相关的地质条件和环境因素，对经网络，顾及

26、与滑坡地质灾害产生紧密相关的地质条件和环境因素，对BP BP 神经网络神经网络的输入层、隐含层、输出层的参数进行优化的输入层、隐含层、输出层的参数进行优化; ; 再由历史的经验数据通过训练、泛化建再由历史的经验数据通过训练、泛化建立基于立基于BP BP 神经网络的地质灾害预测模型神经网络的地质灾害预测模型; ;最后，按照最后，按照0 0 和和1 1 的组合结果对滑坡地质灾的组合结果对滑坡地质灾害进行预测。害进行预测。 本文利用该模型对汶川地震诱发的滑坡地质灾害进行分析预测，结果表明本文利用该模型对汶川地震诱发的滑坡地质灾害进行分析预测，结果表明: : 该模该模型的预测结果与实际结果吻合度达到型

27、的预测结果与实际结果吻合度达到86% 86% 90% 90%，预测精度较高，验证了基于改进的，预测精度较高，验证了基于改进的BP BP 神经网络预测滑坡地质灾害的方法是实际可行的。神经网络预测滑坡地质灾害的方法是实际可行的。42基于基于BP 神经网络的滑坡地质灾害预测方法神经网络的滑坡地质灾害预测方法输入层：地层岩性、坡度、坡高、切割深度、震中距、地震烈度这六项作为输入层，输入层：地层岩性、坡度、坡高、切割深度、震中距、地震烈度这六项作为输入层，即输入层节点数为即输入层节点数为6 6。隐含层：隐含层设置为一层，为了尽可能地避免隐含层：隐含层设置为一层，为了尽可能地避免“过拟合过拟合”现象并保证神经网络模型现象并保证神经网络模型的训练能力和泛化能力，对于有的训练能力和泛化能力，对于有m m 个输入节点的个输入节点的BP BP 网络，取网络，取( 2m + 1) ( 2m + 1) 个隐含节点个隐含节点会有较好的效果，所以隐含层上应设置会有较好的效果，所以隐含层上应设置13 13 个节点。个节点。输出层：设输出层：设BP BP 神经网络的输出层有两个节点，每个节点的输出值为神经网络的输出层有两个节点，每个节点的输出值为1 1 或或0 0，组合有，组