BP人工神经网络的基本原理、模型与实例

.,第8章人工神经网络方法,2016年4月27日,.,本讲大纲：,人工神经网络的基本概念误差反向传播(BP)神经网络,.,8.1人工神经网络的基本概念,从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。应用领域：模式识别系统辨识预测预估数据挖掘经济学,.,8.1人工神经网络的基本概念,人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述：,.,8.1人工神经网络的基本概念,先来看一个单一输入的神经元模型输入变量：x1连接权重：w1激活函数：f(),.,8.1人工神经网络的基本概念,.,8.1人工神经网络的基本概念,单极sigmoid函数,.,8.1人工神经网络的基本概念,双曲函数,.,8.1人工神经网络的基本概念,增加激活阈值后的神经元模型输入变量：x1连接权重：w1激活函数：f(),小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,.,8.1人工神经网络的基本概念,当输入增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(),小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,.,8.1人工神经网络的基本概念,.,8.1人工神经网络的基本概念,当多个神经元组合起来时，人工神经网络的总体结构如下：,.,8.1人工神经网络的基本概念,当层数增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(),小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,.,8.1人工神经网络的基本概念,初始输入、权重和偏倚值,小练习：请你算一算，各节点的净输入和净输出分别是多少？,.,8.1人工神经网络的基本概念,净输入和输出的计算,-0.7,0.1,0.332,0.525,-0.105,0.474,.,8.1人工神经网络的基本概念,思考：如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？,.,8.1人工神经网络的基本概念,初始输入、权重和偏倚值,小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多少？,.,8.1人工神经网络的基本概念,净输入和输出的计算,-0.522,0.082,0.6276,0.4795,-0.1842,0.5459,.,8.1人工神经网络的基本概念,神经网络运算的难点之一：如何高效地确定各个连接权值W与激活阈值自动确定权值与阈值的过程称为神经网络学习（训练）。,.,8.1人工神经网络的基本概念,神经网络的学习方式：监督学习非监督学习激励学习,.,8.2误差反向传播(BP)神经网络,反向传播算法分二步进行，即正向传播和反向传播。1正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。,.,8.2误差反向传播(BP)神经网络,.,8.2误差反向传播(BP)神经网络,每个节点输入端误差Errj的计算,Err4=-0.0087,Err5=-0.0065,0.332,0.525,Err6=0.1311,1-0.474,0.1311w46,0.1311w56,.,8.2误差反向传播(BP)神经网络,权重和偏倚更新的计算,.,参考资料,(美)韩