有监督和BP神经网络课件

基于神经元网络的智能控制神经元网络的特点：1）非线性2）分布处理3）学习并行和自适应4）数据融合5）适用于多变量系统6）便于硬件实现基于神经元网络的智能控制神经元网络的特点：1）非线性1神经网络的发展历史始于19世纪末20世纪初，源于物理学、心理学和神经生理学的跨学科研究。现代研究：20世纪40年代。从原理上证明了人工神经网络可以计算任何算术相逻辑函数。可以认为是神经网络领域研究工作的开始。人工神经网络第一个实际应用出现在20世纪50年代后期，FrankRosenblatt提出了感知机网络和联想学习规则。在60年代，由于缺乏新思想和用于实验的高性能计算机，曾一度动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。神经网络的发展历史始于19世纪末20世纪初，源于物理学、心理2有两个新概念对神经网络的复兴具有重大的意义：其一：用统计机理解释某些类型的递归网络的操作，这类网络可作为联想存储器；其二：在20世纪80年代，几个不同的研究者分别开发出了用于训练多层感知器的反传算法。有两个新概念对神经网络的复兴具有重大的意义：3神经网络的应用航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞机控制系统，自动驾驶优化；器，飞行部件模拟，飞行器部件故障检测器汽车：汽车自动导航系统，担保行为分析器银行：支票和其他公文阅读器，信贷申请的评估器国防：武器操纵，目标跟踪，目标辨识，面部识别、新型的传感器，声纳．雷达和图像信号处理(包括数据压缩、特征提取、噪声抑制、信号／图像的识别)神经网络的应用航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞4电子：娱乐：金融：保险：制造：医疗：石油、天然气：机器人：有价证券：电信：交通：电子：石油、天然气：5生物学的启示人工神经网络却没有人脑那么复杂，但它们之间有两个关键相似之：

首先，两个网络的构成都是可计算单元的高度互连(虽然人工神经元比生物神经元简单得多)。其次，处理单元之间的连接决定了网络的功能。生物学的启示人工神经网络却没有人脑6●神经元网络的简化模型●神经元网络的简化模型7ai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统︰︰ai1ai2ainbi1bi2bimwiy1y2ynu18式中aij和bik为权系数，i,j=1,2,…,n,k=1,2,…m.n个加法器可以写成向量形式：——N维列向量——N维列向量（单元输出）——N×N维矩阵——N×M维矩阵——M维列向量（外部输入）——M维常向量式中aij和bik为权系数，i,j=1,2,…,n,9▲线性动态系统典型的有：▲静态非线性系统典型的有：g(x)g(x)g(x)xxx阈值函数阈值函数Sigmoid函数▲线性动态系统典型的有：▲静态非线性系统典型的有：g(x10∑∑（双极型）Sigmoidu1uiiu1uiiyiyiAdline(自适应线性网）单层感知器(Perceptron)▲不同的部件可以组成不同的网络︰︰∑∑（双极型）Sigmoidu1uiiu1uiiyiy11Kuiyjyi离散Hopfield网y1y2y3y4u1u2u3u4Kuiyjyi离散Hopfield网y1y2y3y4u112yjyiuixi连续的Hopfield网●按学习的方法神经元网络可分成二类：1）有监督的学习网络：感知器误差反传网络（BP）小脑模型连接控制器（CMAC）模块（组合）网络增强学习网络yjyiuixi连续的Hopfield网●按学习的方法神经13●有监督的神经网络1）感知器网络感知器是前馈(正向传输)网络,所有节点都是线性的.●●●●●●●●●●●●x1x2xnb1b2bm权向量W2）无监督学习网络竞争学习和Kohonen网络Hopfield网络双向联想存贮器（BAM）Boltzman机●有监督的神经网络1）感知器网络感知器是前馈(正向传输)网14输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与输出的差别。是学习因子这学习规则即是著名的学习规则。随着学习迭代次数k的增加，保证网络的收敛。●反传（BP）网络误差反传（学习算法）（BP）网络与感知器的主要差别在于：（BP）网络的节点是非线性的。采用广义

学习规则。输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与15●反传（BP）网络的结构图一个输入层，一个输出层，多个隐层。jpp1xp1xpntpk

tpmOp1OpnOp2隐层wj1wjn输入层隐层输出层信息流······pm●反传（BP）网络的结构图jpp1xp1xpntpk 16隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p的关系：学习过程：定义输出误差隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p17学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏导，最后得到二个权值改变的重要公式：学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏18初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy初始化加输入和期望输出计算隐层和输出层的输出迭代次数加119重要结论

具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。扁平激励函数定义：f:R[0,1]或[-1,1]是非减函数,

扁平激励函数的参数.理论证明:多层前馈网络是一种通用逼近器

重要结论具有至少一个隐层的多层前馈网络，如果隐层单20讨论隐层的数目和节点的数目,何谓合适?是否收敛到全局最优?(涉及多维误差曲面的不确定性)3)收敛的速度问题。(涉及隐层节点输出的相互耦合和梯度下降法本身的缺点）讨论隐层的数目和节点的数目,何谓合适?21作业阅读：MartinT.Haguan等著，戴葵等译.神经网络设计.机械工业出版社，北京：2002.9：第11章、第12章有关BP算法的内容作业阅读：MartinT.Haguan等著，戴葵等译.神22学习：就是修改神经网络的权值和偏置值的方法和过程(也称这种过程是训练算法)学习的目的：为了训练网络来完成某些工作学习的分类：有监督学习：竞争学习：无监督学习：学习规则由一组描述网络行为的实例集合(训练集)给出：{p1,t1}、{p2,t2}、。。。{pq,tq}，其中，pq为网络的输入，tq为相应的正确(目标)输出。当输入作用到网络时，网络的实际输出与目标相比较，然后学习规则调整网络的权值和偏置值，从而使网络的实际输出越来越接近于目标输出。增强学习与有监督的学习类似，只是它并不像有监督的学习一样为每一个输入提供相应的目标输出，而是仅仅给出一个级别，这个级别(或评分)是对网络在某些输入序列上的性能测度。当前这种类型的学习要比有监督的学习少见。看起来它最为适合控制系统应用领域。在无监督的学习中，仅仅根据网络的输入调整网络的权值和偏置值，它没有目标输出，乍一看这种学习似乎并不可行：不知道网络的目的是什么，还能够训练网络吗?实际上，大多数这种类型的算法都是要完成某种聚类操作，学会将输入模式分为有限的几种类型，这种功能特别适合于诸如向量量化等应用问题。返回学习：就是修改神经网络的权值和偏置值的方法和过程(也称这种过23基于神经元网络的智能控制神经元网络的特点：1）非线性2）分布处理3）学习并行和自适应4）数据融合5）适用于多变量系统6）便于硬件实现基于神经元网络的智能控制神经元网络的特点：1）非线性24神经网络的发展历史始于19世纪末20世纪初，源于物理学、心理学和神经生理学的跨学科研究。现代研究：20世纪40年代。从原理上证明了人工神经网络可以计算任何算术相逻辑函数。可以认为是神经网络领域研究工作的开始。人工神经网络第一个实际应用出现在20世纪50年代后期，FrankRosenblatt提出了感知机网络和联想学习规则。在60年代，由于缺乏新思想和用于实验的高性能计算机，曾一度动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引入新的概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。神经网络的发展历史始于19世纪末20世纪初，源于物理学、心理25有两个新概念对神经网络的复兴具有重大的意义：其一：用统计机理解释某些类型的递归网络的操作，这类网络可作为联想存储器；其二：在20世纪80年代，几个不同的研究者分别开发出了用于训练多层感知器的反传算法。有两个新概念对神经网络的复兴具有重大的意义：26神经网络的应用航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞机控制系统，自动驾驶优化；器，飞行部件模拟，飞行器部件故障检测器汽车：汽车自动导航系统，担保行为分析器银行：支票和其他公文阅读器，信贷申请的评估器国防：武器操纵，目标跟踪，目标辨识，面部识别、新型的传感器，声纳．雷达和图像信号处理(包括数据压缩、特征提取、噪声抑制、信号／图像的识别)神经网络的应用航空：高性能飞行器自动驾驶仪，飞行路径模拟，飞27电子：娱乐：金融：保险：制造：医疗：石油、天然气：机器人：有价证券：电信：交通：电子：石油、天然气：28生物学的启示人工神经网络却没有人脑那么复杂，但它们之间有两个关键相似之：

首先，两个网络的构成都是可计算单元的高度互连(虽然人工神经元比生物神经元简单得多)。其次，处理单元之间的连接决定了网络的功能。生物学的启示人工神经网络却没有人脑29●神经元网络的简化模型●神经元网络的简化模型30ai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统︰︰ai1ai2ainbi1bi2bimwiy1y2ynu131式中aij和bik为权系数，i,j=1,2,…,n,k=1,2,…m.n个加法器可以写成向量形式：——N维列向量——N维列向量（单元输出）——N×N维矩阵——N×M维矩阵——M维列向量（外部输入）——M维常向量式中aij和bik为权系数，i,j=1,2,…,n,32▲线性动态系统典型的有：▲静态非线性系统典型的有：g(x)g(x)g(x)xxx阈值函数阈值函数Sigmoid函数▲线性动态系统典型的有：▲静态非线性系统典型的有：g(x33∑∑（双极型）Sigmoidu1uiiu1uiiyiyiAdline(自适应线性网）单层感知器(Perceptron)▲不同的部件可以组成不同的网络︰︰∑∑（双极型）Sigmoidu1uiiu1uiiyiy34Kuiyjyi离散Hopfield网y1y2y3y4u1u2u3u4Kuiyjyi离散Hopfield网y1y2y3y4u135yjyiuixi连续的Hopfield网●按学习的方法神经元网络可分成二类：1）有监督的学习网络：感知器误差反传网络（BP）小脑模型连接控制器（CMAC）模块（组合）网络增强学习网络yjyiuixi连续的Hopfield网●按学习的方法神经36●有监督的神经网络1）感知器网络感知器是前馈(正向传输)网络,所有节点都是线性的.●●●●●●●●●●●●x1x2xnb1b2bm权向量W2）无监督学习网络竞争学习和Kohonen网络Hopfield网络双向联想存贮器（BAM）Boltzman机●有监督的神经网络1）感知器网络感知器是前馈(正向传输)网37输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与输出的差别。是学习因子这学习规则即是著名的学习规则。随着学习迭代次数k的增加，保证网络的收敛。●反传（BP）网络误差反传（学习算法）（BP）网络与感知器的主要差别在于：（BP）网络的节点是非线性的。采用广义

学习规则。输入与输出的关系：权矩阵可以按下式求解：学习规则：代表输入与38●反传（BP）网络的结构图一个输入层，一个输出层，多个隐层。jpp1xp1xpntpk

tpmOp1OpnOp2隐层wj1wjn输入层隐层输出层信息流······pm●反传（BP）网络的结构图jpp1xp1xpntpk 39隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p的关系：学习过程：定义输出误差隐层节点j输出和输入节点p的关系：输出节点k和隐层输出节点p40学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏导，最后得到二个权值改变的重要公式：学习的目的是要使以下定义的误差平方和最小：因此，要求以下的偏41初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy初始化加输入和期望输出计算隐层和输出层的输出迭代次数加142重要结论

具有至少一个隐层的多层前馈网络，如果隐层单元足够多，那么，利用扁平激励函数和线性多项式集成函数，可以对任意感兴趣的函数逼成到任意精度。扁平激励函数定义：f:R[0,1]或[-1,1]是非减函数,

扁平激励函数的参数.理论证明:多层前馈网络是一种通用逼近器

重要结论具有至少一个隐层的多层前馈网络，如果隐层单43讨论隐层的