BP神经网络与实例修改版

1、人工神经网络Artificial Neural Netwroks -ANN,什么是人工神经网络？,T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。” 同时是目前最流行的人工智能控制四大应用方法之一。（基于知识的专家系统、模糊控制、神经元网络控制、学习控制）,人工神经网络目的与意义,争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。,神经元,当神经细胞透过神经突触与树突从其它神经元输入脉

2、波讯号后，经过细胞体处，产生一个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之一秒100 毫伏的脉波讯号。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。 如果脉波讯号是经过兴奋神经突触（excitatory synapse），则会增加脉波讯号的速；相反的，如果脉波讯号是经过抑制神经突触（inhibitory synapse），则会减少脉波讯号的速。因此，脉波讯号的速是不仅取决于输入脉波讯号的速，还取决于神经突触的强。 而神经突触的强可视为神经网储存信息之所在，神经网的学习即在调整神经突触的强。,空间整合、时间整合,空间整合：同一时刻来自不同神经元的输入信号，作用于神

3、经元的不同突触，形成的突触电位将会代数相加。 时间整合：神经元对不同时刻通过同一个突触输入的神经脉冲有代数求和功能。,阈值电位,神经元对其他神经元的激励呈现非线性响应，如果膜电位高于阈值电位，则该神经元进入兴奋状态，产生一个尖峰脉冲，如果小于，则进入抑制状态，此时没有脉冲输出。,神经网络研究的发展,(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机。 (2)低潮(70-80年代初): 1969年，MIT学者M.Minsky和S.Papert编写了

4、影响巨大的Perceptron一书，指出单层的感知机只能用于线性问题求解。 (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。,人工神经元数学模型,其中x（x1，xm）T 输入向量，y为输出，wi是权系数（连接强度），为阈值，f（X）是激活函数。,BP神经网络,Rumelhart，McClelland于1985年

5、提出了BP网络的误差反向传播BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。,J. McClelland,David Rumelhart,BP神经网络模型,三层BP网络,BP算法是由两部分组成：信息的正向传递与误差的反向传播。,神经网络的学习,X1：衣服,X3：面部特征,X2：身高,0,1,W1,W2,W3,增加权值,减小权值,识 别 系 统,学习本质,学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地

6、接近期望的输出。 学习的本质： 对各连接权值的动态调整,BP网络的标准学习算法-算法思想,核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,学习类型,有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿； 无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。,有导师的学习,无导师的学习,BP网络的标准学习算法-学习过程,正向传播： 输入样本输入层各隐层输出层 判断是否转入反向传播阶段： 若输出层的实

7、际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止,BP网络的标准学习算法,网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量;,BP神经网络模型,激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出,BP网络的标准学习算法,输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值

8、: 样本数据个数: 激活函数: 误差函数：,BP神经网络概述,BP神经网络概述,BP神经网络概述,BP神经网络概述,BP网络的标准学习算法,第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出,BP网络的标准学习算法,第三步，计算隐含层、输出层各神经元的输入和输出,隐含层：,输出层：,BP网络的标准学习算法,第四步，利用网络期望输出和实际输出，计算误差函数e对输出层的各神经元的偏导数 。,BP网络的标准学习算法,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出计算误差

9、函数对隐含层各神经元的偏导数 。,BP网络的标准学习算法,BP网络的标准学习算法,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。,BP网络的标准学习算法,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,BP网络的标准学习算法,第八步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,BP网络的标准学习算法,BP算法直观解释 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出

10、的差减少。,BP网络的标准学习算法,BP算法直观解释 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。,BP神经网络的特点,非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小

11、。,BP神经网络的应用实例,例1： 基于人工神经网络的BaTiO3陶瓷配方研究 清华大学材料科学与工程系新型陶瓷与精细工艺国家重点实验室,郭栋,王永力等人应用神经网络算法对BaTiO3的配方的研究。该成果发表在硅酸盐学报上。 因陶瓷的性能对配方中各变量极为敏感, 且掺杂剂之间有时存在复杂的交互作用,新型介电陶瓷材料的研制或原有材料的改进一般都要进行 “ 炒菜式” 、“试凑法”的实验摸索过程。 正确了解不同掺杂剂的作用规律及相互影响一直是本领域研究的一个难点。,基于人工神经网络的BaTiO3陶瓷配方研究,其中BaTiO3 固定而其它5 个掺杂剂参数为输入变量。 以室温损耗d f, 室温介电常数2

12、5 和- 55125 温度范围内相对于室温的最大容温变化率绝对值K作为输出量。,该实验输入有5 个神经元而输出层有 3 个神经元.,以实验结果作为对ANN的训练数据,初始化：输入层和中间层的连接权值； 中间层和输出层之间的连接权值； 学习速率为 0.15 ； 初始权值范围在- 0. 3 到 0. 3 之间； 最大叠代次数和均方根误差为 5000 次和 0. 01。,对配方中各组分对所需指标的影响规律采用 ANN 模型进行了分析, 这对于获得介电陶瓷多性能指标的优化配方具有重要的指导作用, 表明人工神经网络技术在陶瓷这种多成分多相的复杂材料的研究中具有广阔的应用前景.,例2：基于BP 神经网络的

13、滑坡地质灾害预测方法,为了解决滑坡地质灾害传统预测方法中出现的综合性、实用性不强等问题，本文研究用基于优化参数设置的BP 神经网络模型来预测滑坡地质灾害。该方法基于BP 神经网络，顾及与滑坡地质灾害产生紧密相关的地质条件和环境因素，对BP 神经网络的输入层、隐含层、输出层的参数进行优化; 再由历史的经验数据通过训练、泛化建立基于BP 神经网络的地质灾害预测模型;最后，按照0 和1 的组合结果对滑坡地质灾害进行预测。 本文利用该模型对汶川地震诱发的滑坡地质灾害进行分析预测，结果表明: 该模型的预测结果与实际结果吻合度达到86% 90%，预测精度较高，验证了基于改进的BP 神经网络预测滑坡地质灾害

14、的方法是实际可行的。,基于BP 神经网络的滑坡地质灾害预测方法,输入层：地层岩性、坡度、坡高、切割深度、震中距、地震烈度这六项作为输入层，即输入层节点数为6。 隐含层：隐含层设置为一层，为了尽可能地避免“过拟合”现象并保证神经网络模型的训练能力和泛化能力，对于有m 个输入节点的BP 网络，取( 2m + 1) 个隐含节点会有较好的效果，所以隐含层上应设置13 个节点。 输出层：设BP 神经网络的输出层有两个节点，每个节点的输出值为1 或0，组合有( 0，1) 和( 1，0) 两种情况，分别代表了滑坡的两种状态， ( 0，1) 表示不会发生滑坡; 而( 1，0) 表示会发生滑坡。当然也可能出现( 0，0) 和( 1，1) 的情况，这两种情况没有任何意义，只能表示无效结果。这种表示方式清楚明了，可以较快地给工作人员以警示，及时为滑坡灾害做出防范措施。 最后，把最大训练次数规定在2000 次，实际输出与期望输出的平方和误差需满足精度为0.035。,基于BP 神经网络的滑坡地质灾害预测方法,导入训练样本集，训练后的效果演示图如图4所示。 从图4 中可以发现，曲线在训练次数为680 次左右时停止，并没有抵达