人工神经网络的基本原理模型与实例ppt课件.pptx

第8章 人工神经网络方法,1,.,本讲大纲：,人工神经网络的基本概念 误差反向传播(BP)神经网络,2,8.1人工神经网络的基本概念,从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。 应用领域： 模式识别 系统辨识 预测预估 数据挖掘 经济学 ,3,8.1人工神经网络的基本概念,人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述：,4,8.1人工神经网络的基本概念,先来看一个单一输入的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (),净输入：w1x1 输出：f w1x1,5,8.1人工神经网络的基本概念,神经元模型的传递函数f ()一般采用sigmoid函数或双曲函数，给出表达式如下： 或 当神经元的加权输入和 i=1 w i x i 大于激发阈值时，神经元处于激发态，网络的输出 f i=1 w i x i 为正，否则为抑制态，输出为负。,f(x)= 1 1+ e x,f(x)= 1 e x 1+ e x,6,8.1人工神经网络的基本概念,单极sigmoid函数,f(x)= 1 1+ e x,7,8.1人工神经网络的基本概念,双曲函数,f(x)= 1 e x 1+ e x,8,8.1人工神经网络的基本概念,增加激活阈值后的神经元模型 输入变量：x1 连接权重：w1 激活函数：f (),激活阈值： 净输入：w1x1- 输出：f w1x1,小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,9,8.1人工神经网络的基本概念,当输入增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (),激活阈值： 净输入：w1x1+w2x2- 输出：f w1x1+w2x2,小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,10,8.1人工神经网络的基本概念,给定n个输入变量：x1,x2,xn以及相对应的权值变量w1,w2,wn，一个传递函数f ()，激发阈值变量，输出变量为y，有如下神经元模型：,其中x1 xm这m个变量是与此神经元连接的上一层神经元的输出，或者为网络的原始输入变量。在实际操作中，可以将-1看作此神经元的第m+1个输入，把激发阈值变量作为相应的权值变量。,11,8.1人工神经网络的基本概念,当多个神经元组合起来时，人工神经网络的总体结构如下：,12,8.1人工神经网络的基本概念,当层数增加时的神经元模型 输入变量：x1， x2 连接权重：w1，w2 激活函数：f (),激活阈值： 净输入：w1x1+w2x2- 输出：f w1x1+w2x2,小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？,13,8.1人工神经网络的基本概念,初始输入、权重和偏倚值,小练习：请你算一算，各节点的净输入和净输出分别是多少？,14,8.1人工神经网络的基本概念,净输入和输出的计算,-0.7,0.1,0.332,0.525,-0.105,0.474,15,8.1人工神经网络的基本概念,思考： 如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？,16,8.1人工神经网络的基本概念,初始输入、权重和偏倚值,小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多少？,17,8.1人工神经网络的基本概念,净输入和输出的计算,-0.522,0.082,0.6276,0.4795,-0.1842,0.5459,18,8.1人工神经网络的基本概念,神经网络运算的难点之一： 如何高效地确定各个连接权值W与激活阈值 自动确定权值与阈值的过程称为神经网络学习（训练）。,19,8.1人工神经网络的基本概念,神经网络的学习方式： 监督学习 非监督学习 激励学习,20,8.2 误差反向传播(BP)神经网络,反向传播算法分二步进行，即正向传播和反向传播。 1正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。,21,8.2 误差反向传播(BP)神经网络,BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。计算方法如下，设当前单元为j： Errj=Oj(1-Oj)(Tj-Oj) （若j为输出层节点） Errj为节点j从输出端误差(Tj-Oj)反向传播而来的的输入端误差，其中Oj为神经元 j的净输出，Oj(1-Oj)为f(x)=1/(1+e(-x)的导函数，Tj为单元j的期望输出。 Errj=Oj(1-Oj) （若j为隐藏层节点） 为下一层所有与j相连的节点的输入端误差与连接权值的加权和，其中wjk是单元 j到它的下一个层中单元k的连接权重，Errk是单元k的输入端误差。 wij=ErrjOi 为学习步长，计算连接权值改变量wij的方式可概括为“两头抓”，即上一层单元i的输出Oi与单元j的输入端误差Errj相乘，再乘以学习步长量。 wij=wij+wij,22,8.2 误差反向传播(BP)神经网络,每个节点输入端误差Errj的计算,Err4= -0.0087,Err5= -0.0065,0.332,0.525,Err6= 0.1311,1-0.474,0.1311 w46,0.1311w56,23,8.2 误差反向传播(B