BP人工神经网络的基本原理模型与实例培训课件

BP人工神经网络的基本原理模型与实例本讲大纲：人工神经网络的基本概念误差反向传播(BP)神经网络2BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。应用领域：模式识别系统辨识预测预估数据挖掘经济学……3BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述：4BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念先来看一个单一输入的神经元模型输入变量：x1连接权重：w1激活函数：f(·)

w1x1f(·)

w1x15BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

6BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单极sigmoid函数

7BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念双曲函数

8BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念增加激活阈值后的神经元模型输入变量：x1连接权重：w1激活函数：f(·)

w1x1f(·)

w1x1-θ

-1小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1w1θ10.20.49BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念当输入增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.410BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

w1w2wmxmx2x1............f(·)

-1

11BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念当层数增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.413BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6初始输入、权重和偏倚值小练习：请你算一算，各节点的净输入和净输出分别是多少？14BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单元j净输入Ij净输出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6净输入和输出的计算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.47415BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念思考：

如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？16BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218初始输入、权重和偏倚值小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多少？17BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单元j净输入Ij净输出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6净输入和输出的计算-0.5220.0820.62760.4795-0.18420.545940.192+0-0.306-0.408=-0.5225-0.306+0+0.194+0.194=0.0826-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.18421/(1+e-0.522)=0.62761/(1+e-0.1)=0.47951/(1+e-0.1842)=0.5459与0.474相比更接近“1”了18BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念神经网络运算的难点之一：如何高效地确定各个连接权值W与激活阈值θ

自动确定权值与阈值的过程称为神经网络学习（训练）。19BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念神经网络的学习方式：监督学习非监督学习激励学习20BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络反向传播算法分二步进行，即正向传播和反向传播。1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。21BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络

22BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络单元j计算误差Errj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6每个节点输入端误差Errj的计算Err4=-0.0087Err5=-0.00650.3320.525Err6=0.13111-0.4744[0.332•(1-0.332)]•(0.1311)•(-0.3)5[0.525•(1-0.525)]•(0.1311)•(-0.2)6[0.474•(1-0.474)]•(1-0.474)-0.0087-0.00650.13110.1311•w460.1311•w5623BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络权重或偏差新值w46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2+(0.9)(-0.0087)(1)=0.192w15-0.3+(0.9)(-0.0065)(1)=-0.306w240.4+(0.9)(-0.0087)(0)=0.4w250.1+(0.9)(-0.0065)(0)=0.1w34-0.5+(0.9)(-0.0087)(1)=-0.508w350.2+(0.9)(-0.0065)(1)=0.194θ6-0.1+(0.9)(0.1311)(-1)=-0.218θ5-0.2+(0.9)(-0.0065)(-1)=-0.194θ40.4+(0.9)(-0.0087)(-1)=0.408权重和偏倚更新的计算24BP人工神经网络的基本原理模型与实例参考资料(美)韩家炜,(美)坎伯(Kamber,M.),等.数据挖掘:概念与技术,第3版[M].机械工业出版社,2012.张兴会.数据仓库与数据挖掘技术[M].清华大学出版社,2011.25BP人工神经网络的基本原理模型与实例BP人工神经网络的基本原理模型与实例本讲大纲：人工神经网络的基本概念误差反向传播(BP)神经网络27BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念从数学和物理方法以及信息处理的角度，对人脑神经网络进行抽象，并建立某种简化模型，称为人工神经网络。应用领域：模式识别系统辨识预测预估数据挖掘经济学……28BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数，反映的是输入变量到输出变量间的复杂映射关系。先给出单个人工神经网络的一般模型描述：29BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念先来看一个单一输入的神经元模型输入变量：x1连接权重：w1激活函数：f(·)

w1x1f(·)

w1x130BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

31BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单极sigmoid函数

32BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念双曲函数

33BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念增加激活阈值后的神经元模型输入变量：x1连接权重：w1激活函数：f(·)

w1x1f(·)

w1x1-θ

-1小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1w1θ10.20.434BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念当输入增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.435BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念

w1w2wmxmx2x1............f(·)

-1

36BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念当层数增加时的神经元模型输入变量：x1，x2连接权重：w1，w2激活函数：f(·)

w1x1f(·)

w1x1+w2x2-θ

-1w2x2小练习：请你算一算，当初始输入、权重和激活阈值为如下数值时，该神经元的净输入和输出分别是多少？x1x2w1w2θ100.20.40.438BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6初始输入、权重和偏倚值小练习：请你算一算，各节点的净输入和净输出分别是多少？39BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单元j净输入Ij净输出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6净输入和输出的计算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.47440BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念思考：

如果想要让神经网络的期望输出尽可能接近“1”这个数值，请问应该调整网络的哪些参数？41BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218初始输入、权重和偏倚值小练习：若将各权值与阈值换成以上各值，各节点的净输入和净输出分别是多少？42BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念单元j净输入Ij净输出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6净输入和输出的计算-0.5220.0820.62760.4795-0.18420.545940.192+0-0.306-0.408=-0.5225-0.306+0+0.194+0.194=0.0826-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.18421/(1+e-0.522)=0.62761/(1+e-0.1)=0.47951/(1+e-0.1842)=0.5459与0.474相比更接近“1”了43BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念神经网络运算的难点之一：如何高效地确定各个连接权值W与激活阈值θ

自动确定权值与阈值的过程称为神经网络学习（训练）。44BP人工神经网络的基本原理模型与实例8.1人工神经网络的基本概念神经网络的学习方式：监督学习非监督学习激励学习45BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络反向传播算法分二步进行，即正向传播和反向传播。1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。46BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络

47BP人工神经网络的基本原理模型与实例8.2误差反向传播(BP)神经网络单元j计算误差Errj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6每个节点输入端误差Errj的计算Err4=-0.0087