智能控制理论教案_神经网络控制PPT参考课件.ppt

1、主讲：范立南 沈阳大学信息工程学院,智能控制理论及其应用 第3章 神经网络控制,1,3.1 神经网络的发展和应用 3.2 神经网络的特性 3.3 生物神经元的结构与功能 3.4 人工神经网络模型与变换函数 3.5 典型前馈神经网络BP网络 3.6 典型反馈神经网络 Hopfield网络 3.7 神经网络控制原理 3.8 神经网络的应用实例,第3章神经网络控制,2,神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展，更主要的原因在于发展新型计算机和人工智能新途径的迫切需要,神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点,3,神经网络控制是一种基本上不依赖于模型的控制

2、方法,适用于具有不确定性或高度非线性的控制对象,具有较强的适应和学习功能,是智能控制的一个重要分支领域,4,3.1 神经网络的发展和应用,神经网络的研究至今有60多年的历史，其发展道路曲折，目前已得到较深入而广泛的研究与应用,1943年，心理学家McCulloch和数理学家Pitts提出形式神经元数学模型，通常称为MP模型 1949年，D.O.Hebb提出调整神经网络连接权的规则（ Hebb 学习规则） 1958年，F. Rosenblatt提出感知机模型，用于模式分类,5,3.1 神经网络的发展和应用,1969年M.Minsky和S.Papert发表专著“感知机”，指出线性感知机功能有限 7

3、0年代，神经网络研究处于低潮,6,3.1 神经网络的发展和应用,1982、1984年，美国物理学家J. J. Hopfield发表2篇文章，提出一种反馈互连网，称Hopfield网，开拓了神经网络用于联想记忆和优化计算的新途径,7,3.1 神经网络的发展和应用,1986年，美国加州大学学者 D. E. Rumelhart（鲁梅尔哈特 ）和J. L. McClelland（麦克莱兰 ）提出多层前馈网的反向传播算法（Back Bropagation），简称BP网络或BP算法,David Rumelhart,James McClelland,8,3.1 神经网络的发展和应用,1987年，在美国召开第

4、1届国际神经网络会议 1990年12月，国内首届神经网络大会在北京举行,9,3.1 神经网络的发展和应用,发展趋向及前沿问题 对智能和机器关系问题的认识将进一步增长 神经计算和进化计算将有重大的发展 神经网络结构和神经元芯片的作用将不断扩大,10,3.1 神经网络的发展和应用,模式识别与图像处理 印刷体和手写体字符识别 语音识别 签字识别 指纹识别 人脸识别 癌细胞检测 心电图和脑电图分类 目标检测与识别,11,3.1 神经网络的发展和应用,控制与优化 化工过程控制 机械手运动控制 电弧炉电极控制 石油精练和食品工业中优化控制,12,3.1 神经网络的发展和应用,预测与管理 股票市场预测 有价

5、证券管理 借贷风险分析 信用卡管理 机票管理,13,3.1 神经网络的发展和应用,通信 自适应均衡 路由选择 其它 导航 电机故障检测 多媒体技术等,14,3.2 神经网络的特性,神经网络是受人和动物神经系统启发，利用大量简单处理单元互联而构成的复杂系统，以解决复杂模式识别与行为控制问题,人工神经网络是一种非线性的映射方式，它将输入的特征值映射到网络的输出分类结果，并可依照其分类的误差大小或某些能量函数来调整网络中的加权值使其达到收敛,这些方法模仿人的生理学习功能，并能够将输入信息结合到分类规则中去,15,3.2 神经网络的特性,神经网络对于解决模式识别问题来说比其他方法具有3点突出的优势,对

6、问题的了解要求较少,可以实现特征空间较复杂的划分,适合于用高速并行处理系统来实现,16,3.2 神经网络的特性,并行分布处理 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力 特别适于实时控制和动态控制,17,3.2 神经网络的特性,非线性映射 神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力 这一特性给非线性控制问题带来新的希望,18,3.2 神经网络的特性,通过训练进行学习 神经网络是通过所研究系统过去的数据记录进行训练的 一个经过适当训练的神经网络具有归纳全部数据的能力 因此，神经网络能够解决那些由数学模型或描述规则难以处理的控

7、制过程问题,19,3.2 神经网络的特性,适应与集成 神经网络能够适应在线运行，并能同时进行定量和定性操作 神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理 这些特性特别适于复杂、大规模和多变量系统的控制,20,3.2 神经网络的特性,硬件实现 神经网络不仅能够通过软件而且可借助硬件实现并行处理 由超大规模集成电路实现的硬件已经面世 这使得神经网络具有快速和大规模处理能力的网络,21,3.2 神经网络的特性,总之，神经网络具有 自学习 自适应 自组织 大规模并行处理 等特点 在自动控制领域展现了广阔的应用前景,2

8、2,3.3 生物神经元的结构与功能生物神经元的结构,人脑是由大量的神经元(神经细胞)组合而成 神经元之间互相连接 神经系统的基本构造是神经元 是处理人体内各部分之间相互信息传递的基本单元 据神经生物学家研究的结果表明，人的大脑一般有10101012个神经元,23,3.3 生物神经元的结构与功能生物神经元的结构,大多数神经元由一个细胞体和突两部分组成,24,3.3 生物神经元的结构与功能生物神经元的结构,25,3.3 生物神经元的结构与功能生物神经元的结构,细胞体由细胞核、细胞质和细胞膜组成 突分两类，即轴突和树突,26,3.3 生物神经元的结构与功能生物神经元的结构,轴突是个突出部分，细胞体向

9、外伸出的最长的一条分支，即神经纤维，把本神经元的输出发送至其它相连接的神经元 远离细胞体一侧的轴突端有许多分支，称轴突末梢 轴突通过轴突末梢向其他神经元传出神经冲动,27,3.3 生物神经元的结构与功能生物神经元的结构,树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连 树突相当于细胞输入端，树突用于接收周围其它神经元的神经冲动（生物信号） 神经冲动只能由前一级神经元的轴突末梢传向下一级神经元的树突或细胞体，不能作反向的传递,轴突和树突共同作用，实现了神经元间的信息传递,28,3.3 生物神经元的结构与功能生物神经元的结构,神经元具有两种常规工作状态：兴奋与抑制，即满足“01”率

10、 当传入的神经冲动使细胞膜电位升高超过阈值（约为40mv）时，细胞进入兴奋状态，产生神经冲动并由轴突输出 当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出,29,3.3 生物神经元的结构与功能生理神经元的功能,脑神经生理学研究结果表明，每个人脑大约含有10101012个神经元，每一神经元又约有103104个突触 神经元通过突触形成的网络，传递神经元间的兴奋与抑制 大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维,30,3.4 人工神经网络模型与变换函数,人工神经网络(Artificial Neural Networks: ANN)是反映人脑结构及功能的一

11、种抽象数学模型 一个人工神经网络是由大量神经元结点互连而成的复杂网络，用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为 人工神经网络是由大量的简单计算处理单元(神经元) 通过极其丰富和完善的连接而构成的自适应非线性动态系统,31,3.4 人工神经网络模型与变换函数,一个基于人工神经网络的智能系统是通过学习获取知识后建立的 从本质上讲，人工神经网络的学习是一种归纳学习方式，它通过对大量实例的反复学习，由内部自适应过程不断修改各神经元之间互连的权值，最终使神经网络的权值分布收敛于一个稳定的范围 神经网络的互连结构及各连接权值稳定分布就表示了经过学习获得的知识,32,3.4 人工神经网络模

12、型与变换函数人工神经元的组成,人工神经元模型,33,3.4 人工神经网络模型与变换函数人工神经元的组成,神经网络在两个方面与人脑相似： （1）神经网络获取的知识是从外界环境中学习得来的 （2）互连神经元的连接强度，即突触权值，用于储存获取的知识 用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标,34,3.4 人工神经网络模型与变换函数人工神经元的组成,可把ANN看成是以处理单元为结点，用加权有向弧(链)相互连接而成的有向图 其中，处理单元是对生物神经元的模拟，而有向弧则是轴突-突触（轴突末梢）-树突对的模拟 有向弧的权值表示两处理单元间相互作用的强

13、弱 在简单的人工神经网络模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性,35,3.4 人工神经网络模型与变换函数,决定神经网络整体性能的三大要素 （1）神经元（信息处理单元）的特性 （2）神经元之间相互连接的形式拓扑结构 （3）为适应环境而改善性能的学习规则,36,3.4 人工神经网络模型与变换函数人工神经元的组成,该神经元模型的输入输出关系为 其中 称为阈值 称为连接权系数 称为输出变换函数，或激励函数，或激活函数，或传递函数,37,3.4 人工神经网络模型与变换函数常用的变换函数,变换函数实际上是神经元模型的输出函数,一般

14、为非线性函数,用以模拟神经细胞的兴奋、抑制及阈值等非线性特性,经过加权加法器和线性动态系统进行时空整合的信号s，再经变换函数f(s)后即为神经元的输出y y=f(s),38,3.4 人工神经网络模型与变换函数常用的变换函数,比例函数,可微，不常用,39,3.4 人工神经网络模型与变换函数常用的变换函数,符号函数（双向阈值函数）,不可微，类阶跃，零均值,40,3.4 人工神经网络模型与变换函数常用的变换函数,饱和函数,可微，零均值,41,3.4 人工神经网络模型与变换函数常用的变换函数,双曲函数,可微，类阶跃，零均值,42,3.4 人工神经网络模型与变换函数常用的变换函数,阶跃函数（阈值函数）,

15、不可微，类阶跃，正值,43,3.4 人工神经网络模型与变换函数常用的变换函数,S形（ Sigmoid ）函数,可微，类阶跃，正值,44,3.4 人工神经网络模型与变换函数常用的变换函数,高斯函数,可微，类脉冲,45,3.4 人工神经网络模型与变换函数,上述非线性变换函数的显著特征 突变性 饱和性 正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性,46,3.4 人工神经网络模型与变换函数人工神经网络结构,将大量功能简单的基本神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，即神经网络结构,网络结构一般由许多个神经元组成,每个神经元有一个单一的输出,输出可以连接到很多

16、其他的神经元,其输入有多个连接通路,每个连接通路对应一个连接权系数,47,3.4 人工神经网络模型与变换函数人工神经网络结构,神经网络是一个具有如下性质的有向图 对于每个结点有一个状态变量 结点i到结点j有一个连接权系数 对于每个结点有一个阈值 对于每个结点定义一个变换函数 最常见的情形为,48,3.4 人工神经网络模型与变换函数人工神经网络结构,根据神经元之间连接的拓扑结构不同，神经网络结构可分为两大类 层状结构 网状结构,层状结构的神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向连接，一般同层内的神经元不能连接,网状结构的神经网络中，任何两个神经元之间都可能双向连接,49

17、,3.4 人工神经网络模型与变换函数人工神经网络结构,常见的神经网络结构 前向网络（前馈网络）,50,3.4 人工神经网络模型与变换函数人工神经网络结构,常见的神经网络结构 反馈网络,51,3.4 人工神经网络模型与变换函数人工神经网络结构,常见的神经网络结构 相互结合型网络,52,3.4 人工神经网络模型与变换函数人工神经网络结构,常见的神经网络结构 混合型网络,53,3.5 典型前馈神经网络BP网络感知机（感知器）,基本感知机是一个两层网络 分为输入层和输出层 每层由多个处理单元（神经元）构成,54,3.5 典型前馈神经网络BP网络感知机（感知器）,感知机的学习是典型的有教师学习（训练）

18、训练要素：训练样本、训练规则 当给定某一训练模式时，输出单元会产生一个实际的输出向量，用期望输出与实际输出之差修正网络权值,55,3.5 典型前馈神经网络BP网络感知机（感知器）,权值修正采用学习规则，感知机的学习算法为 对于： 式中： 表示t时刻输出 表示输入向量的一个分量 表示t时刻第i个输入的加权值 表示阈值 表示变换函数,56,3.5 典型前馈神经网络BP网络感知机（感知器）,式中： 表示学习因子，在（0，1区间取值 表示期望输出（教师信号） 表示实际输出,57,3.5 典型前馈神经网络BP网络感知机（感知器）,令 输入状态为： 或0 因输入可能是前一级的输出，因此感知器输入与输出取值

19、一般都为1或0,58,3.5 典型前馈神经网络BP网络感知机（感知器）,权值变化量与3个量有关：输入状态、输出误差、学习因子 当且仅当输出单元有输出误差且相连输入状态为1时，修正权值，或增加一个量或减少一个量 学习因子 控制每次的误差修正量 的取值一般不能太大，也不能太小，太大会影响学习的收敛性，太小会使权值收敛速度太慢，训练时间太长,59,3.5 典型前馈神经网络BP网络BP网络模型,BP模型，即误差反向传播神经网络,BP在神经网络中使用最广泛,BP网络是典型的多层网络,分为输入层、隐含层、输出层,层与层之间多采用全互连方式,同一层单元之间不存在相互连接,60,3.5 典型前馈神经网络BP网

20、络BP网络模型,BP网络的基本处理单元（输入层单元除外）为非线性输入输出关系， 对于连续系统，一般选用S型变换函数，即 且处理单元的输入、输出值可连续变化,61,3.5 典型前馈神经网络BP网络BP网络模型,BP网络模型实现了多层网络学习的设想,当给定网络的一个输入模式时，它由输入层传到隐含层单元，经隐含层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式，故称为前向传播,如果输出响应与期望输出模式有误差，且不满足要求，则转入误差反向传播，即将误差值沿连接通路逐层向后传送，并修正各层连接权值,62,3.5 典型前馈神经网络BP网络BP网络模型,图给出了多层前向网络中的一部分，有

21、两种信号在流通,前向工作信号和反向误差信号,63,3.5 典型前馈神经网络BP网络BP网络模型,工作信号（用实线表示）：是施加输入信号后向前传播直到输出层产生实际输出的信号，是输入和权值的函数 误差信号（用虚线表示）：网络实际输出与应有输出间的差值即为误差，由输出层开始逐层反向传播,64,BP神经网络结构,3.5 典型前馈神经网络BP网络BP学习算法,65,3.5 典型前馈神经网络BP网络BP学习算法,权值和节点偏移（阈值）的初始化 给定输入矢量和所希望的输出矢量 计算实际输出矢量 梯度计算 对输出层,66,平方误差 其中 希望响应, 实际响应, 是输出层中的节点数 为使误差函数最小化,与误差

22、相对于权值的偏导数成比例地调整权值梯度下降法 其中 是步长，或称学习算子或学习率 而,3.5 典型前馈神经网络BP网络BP学习算法,67,得到 其中 而 则 同理对隐层,3.5 典型前馈神经网络BP网络BP学习算法,68,权值学习 即 改进算法 其中 变步长， 阻尼系数(动量因子、惯性因子) 回到直到求出最优解,3.5 典型前馈神经网络BP网络BP学习算法,69,3.5 典型前馈神经网络BP网络BP学习算法,从上述推导可见，求k层的误差信号需要后一层的，因此误差函数的求取是一个始于输出层的反向传播的递归过程，所以称为反向传播学习算法 通过多个样本的学习，修正权值，不断减少误差，最后达到满意的结

23、果，对全部学习样本都有误差为0，即权值W不再被修改，说明W已经收敛于稳定的权值分布，则学习过程中止,70,3.5 典型前馈神经网络BP网络BP学习算法,学习算法的中止条件： 实际上，中止条件可以设定宽松一些，例如，可设定为满足以下两个条件之一即可中止： 对全部学习样本满足输出偏差 ，其中 是初始设定的允许偏差 迭代次数（训练次数）达到初始设定的最大迭代次数,71,3.5 典型前馈神经网络BP网络BP学习算法,BP算法程序框图,72,3.5 典型前馈神经网络BP网络BP学习算法评价,BP算法的基本思想是把一组样本的输入输出问题变为一个非线性优化问题，用优化中普遍使用的梯度下降算法来实现网络的实际

24、输出与期望输出之间的方差最小，完成神经网络的训练任务。 BP网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有良好的泛化能力,73,3.5 典型前馈神经网络BP网络BP学习算法评价,主要优点： 非线性映射能力 能学习和存储大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。 只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 只要有足够多的隐含层和隐结点，BP网络可以逼近任意的非线性映射关系,74,3.5 典型前馈神经网络BP网络BP学习算法评价,泛化能力 当向网络输入训练时未曾见过的非样

25、本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 BP网络的学习算法属于全局逼近的方法，因而具有较好的泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,75,3.5 典型前馈神经网络BP网络BP学习算法评价,适用于 神经网络主要基于所测量的数据对系统进行建模、估计和逼近，故可应用于如分类、预测及模式识别等方面,对于那些几乎没有规则，数据不完全或者多约束优化问题，适合于用神经网络,由于BP网络具有很好的逼近非线性映射的能力，因而可用于信息处理、图像识别、模型辨识、系统控制等,76,3.5 典型前馈神经网络BP网络BP学习算法评价

26、,主要缺点： 收敛速度慢 局部极值 难以确定隐含层和隐结点的个数,77,3.5 典型前馈神经网络BP网络BP学习算法评价,当所给数据不充分或不存在可学习的映射关系时，神经网络可能找不到满意的解,有时很难估价神经网络给出的结果,神经网络中的连接权系数是千万次数据训练后的结果，对它的意义很难给出明显的解释，对输出结果的影响也是非常复杂的,78,3.5 典型前馈神经网络BP网络BP学习算法评价,神经网络的训练是很慢的，有时需要付出很高的代价,付出代价指一方面由于需要收集、分析和处理大量的训练数据，同时还需相当的经验来选择合适的参数,79,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问

27、题,产生数据样本集 包括 原始数据的收集 数据分析 变量选择 数据的预处理,80,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,产生数据样本集 在大量的原始测量数据中确定最主要的输入模式，减少输入数据之间的相关性，找出最主要的量作为输入,确定输入量后，往往要进行尺度变换，变换到-1,1或0,1的范围,进行数据预处理目的是使神经网络更容易学习和训练,数据预处理主要用到信号处理或特征提取技术,81,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,在神经网络训练完成后，需要有另外的测试数据来对网络加以校验，测试数据应是独立的数据集合,例如：将收集到的可用数据随机

28、分成两部分，其中2/3用于网络的训练，另外1/3用于将来的测试，随机选取的目的是为了尽量减少这两部分数据的相关性,82,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,确定网络的类型和结构,根据问题的性质和任务的要求选择合适的网络类型,在网络的类型确定后，剩下的问题是选择网络的结构和参数,83,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,确定网络的类型和结构 以BP网络为例，需选择 网络的层数 每层的结点数 初始权值 阈值 学习算法 数值修改频度 结点变换函数及参数 学习率 动量项因子等参数,84,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和

29、几个问题,确定网络的类型和结构,有些项的选择有一些指导原则，但更多的是靠经验和试凑,对于具体问题若输入和输出变量确定后，网络输入层和输出层的结点个数也随之确定,85,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,确定网络的类型和结构 对于隐含层的层数可先考虑只选择一个隐含层,隐含层结点数的选择原则是：在能正确反映输入输出关系的基础上，尽量选取较少的隐含层结点数，而使网络尽量简单,若采用某种方法选择得到的隐含层结点数太多，可考虑采用两个隐含层,为了达到相同的映射关系，采用两个隐含层的结点数常比只用一个隐含层时少,86,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几

30、个问题,训练和测试,网络中的权值体现着把输入模式映射到网络所需的知识,最初，被给定问题域的权值是未知的，直到找到有用权值之前，神经网络不能解决这个问题,寻找有用权值集合的过程，称为训练,训练首先提供训练样本（集合），由输入样本和与之相对应的代表正确分类的输出组成,87,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练和测试 在训练过程中对训练样本数据需要反复地使用,对所有样本数据正向运行一次并反传修改连接权一次称为一次训练（或一次学习），这样的训练需要反复地进行下去直至获得合适的映射结果,训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质关系，从而对于未经训练的

31、输入也能给出合适的输出，即具备泛化功能,88,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练和测试 网络训练过程包括从训练集合到权值集合的映射,至少在给定误差内，该组权值对训练集矢量给出正确的输出结果,网络所学正是训练集合所致,如果合理选择训练集合，并且训练算法有效，那么，网络应能正确地预测出不属于训练集合的输入量对应的输出具有泛化能力,89,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练和测试 网络的性能主要用泛化能力来衡量，它并不是用对训练数据的拟合程度来衡量，而是要用一组独立的数据来加以测试和检验,在用测试数据检验时，保持连接权系数不改变，

32、只用该数据作为网络的输入，正向运行该网络，检验输出的均方误差,90,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练和测试 把神经网络应用于模式识别问题包括两个截然不同的阶段,在网络训练阶段，调整网络权值以表现问题域,第二阶段或称工作阶段，权值固定不变，并且当把实验数据或实际数据输入到网络时，网络能够在误差范围内正确地预测计算出结果,91,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练阶段,92,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,工作阶段（测试阶段）,93,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个

33、问题,训练和测试 实际操作时，可以训练和测试交替进行，即每训练一次，同时用测试数据测试一遍，画出均方误差随训练次数的变化曲线,从误差曲线可见，在使用测试数据检验时，均方误差开始逐渐减少，当训练次数再增加时，测试检验误差反而增加,误差曲线上极小点所对应的即为恰当的训练次数，若再训练即为“过度训练”,94,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,均方误差曲线,95,3.5 典型前馈神经网络BP网络训练神经网络的具体步骤和几个问题,训练和测试 对于网络隐含层结点数的选择若采用试验法，也需训练与测试相结合，最终用测试误差来衡量网络的性能,均方误差与隐含层结点数也有与图类似的关

34、系，因此也不是结点数越多越好,选择结点数的原则是：选择尽量少的结点数以实现尽量好的泛化能力,96,模式识别框图,图像识别系统主要部分 图像信息的获取 信息的加工和处理，提取特征 判断或分类,BP应用举例基于BP神经网络的图像模糊分类研究,97,神经网络训练与学习的预处理,不变矩矢量标准化 实质是对输入矢量实行线性映射 特征转换为0,1之间 设图像不变矩输入矢量X的最大值为 ， 最小值为 ，则不变矩矢量标准化过程可描述为,BP应用举例基于BP神经网络的图像模糊分类研究,98,以BP网络做模糊分类,使用模糊化的方法先对输入特征数据做预处理 将得到的归属值代替目标输出，介于01之间的值 每一个图像模

35、式归属于某一类是以其0到1的数字代表其归属程度，其中1与0分别代表最高与最低的归属度,BP应用举例基于BP神经网络的图像模糊分类研究,99,实现过程 选择BP网络的实际输出中具有最大值的输出节点所在的位置标号 则该位置标号对应一个具体的输出类别 如果BP网络的实际输出节点同时存在多个最大值，则做出拒绝判断,BP应用举例基于BP神经网络的图像模糊分类研究,竞争选择,100,BP神经网络的训练与识别,BP应用举例基于BP神经网络的图像模糊分类研究,101,实验结果与分析,实验对象选用不同脏器的10幅医学图像,BP应用举例基于BP神经网络的图像模糊分类研究,基于面矩的BP神经网络模式识别实验,102

36、,将每幅图像做多比例缩放和多角度旋转变化 训练集由原始尺寸、缩小一半、放大一倍并各自旋转0、90、180、270得到120幅图像组成 测试集由原始尺寸、缩小一半、放大一倍并各自旋转45、135、225、315得到120幅图像组成 训练集和测试集中的图像互不重叠 训练集的样本结构为第1类别样本的12幅图像；第2类别样本的12幅图像；第10类别样本的12幅图像 测试集的样本结构与训练集的相同,BP应用举例基于BP神经网络的图像模糊分类研究,实验结果与分析,103,采用三层BP网络拓扑结构 输入层节点数7 隐含层节点数9 输出层节点数取10,实验结果与分析,104,标准化后的特征矢量(部分1),实验

37、结果与分析,105,标准化后的特征矢量(部分2),实验结果与分析,106,训练集中经模糊化预处理后期望目标归属值输出(部分),实验结果与分析,107,测试集的实际目标输出值(部分),实验结果与分析,108,识别结果,同一类别不同图像间的不变矩是相同或相近的 不同类别的图像其不变矩特征有着比较明显的差异 选择不变矩作为图像的识别特征是合理的,实验结果与分析,109,均方根误差曲线，趋于平稳时的均方根误差值为0.0692,实验结果与分析,110,3.6 典型反馈神经网络 Hopfield网络,反馈神经网络（Feedback Neural Network）是一种动态网络，需要工作一段时间才能达到稳定

38、,该网络主要用于联想记忆和优化计算,反馈神经网络首先由Hopfield提出，通常称为Hopfield网，引入“能量函数”概念，给出了神经网络稳定性的判断依据,根据网络的输出是离散量或是连续量， Hopfield网络也分为离散（1982年）和连续（1984年）两种,111,3.6 典型反馈神经网络 Hopfield网络,在反馈神经网络系统中，输入数据决定反馈网络系统的初始状态,经过一系列状态转移后，如果系统能逐渐收敛于稳定状态，那么这个稳定状态就是反馈神经网络经计算后的输出结果,一个反馈神经网络是否收敛于稳定状态，网络稳定性问题是反馈神经网络的最重要问题,属于无教师学习：当输入的实例模式进入神经

39、网络后，网络按预先设定的规则（Hebb）自动调整权值,112,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,离散Hopfield神经网络（DHNN）是离散时间系统,是一个单层网络,共有n个神经元结点,网络是全互连的,每个结点输出均连接到其他神经元的输入,所有其他神经元的输出均连到该神经元的输入,113,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,离散Hopfield神经网络结构,114,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,对每一个神经元结点，工作方式同前，即 其中 为阈值， 为输出变换函数 若 则相应的D

40、HNN称为无自反馈的DHNN，否则，称为有自反馈的DHNN。 后面讨论均为前者,115,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,对于离散Hopfield网络， 通常取为二值函数 即 或,116,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,若反馈神经网络在k=0时有任意输入数据 ，从初态 开始，存在某一个有限时刻k，从k时刻之后的神经网络状态不再发生变化，即有 则称神经网络是稳定的 k时刻的网络状态称为神经网络的稳定状态，也就是神经网络的输出结果,只有当反馈神经网络是稳定的，才能得出稳定的计算输出结果,117,3.6 典型反馈神经网络

41、Hopfield网络离散Hopfield网络,DHNN的稳定性与DHNN工作方式有关 DHNN两种工作方式 异步方式（串行方式） 每次只有一个神经元结点进行状态的调整计算，其他结点的状态均保持不变，即 其调整次序可随机选定，也可按规定的次序进行,118,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,DHNN两种工作方式 同步方式 所有的神经元结点同时调整状态，即 其矩阵形式为 其中： 是向量 W是由 所组成的 矩阵 是向量函数，它表示,119,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,该网络是动态反馈网络 其输入是网络的状态初值 输出是网

42、络的稳定状态,120,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,稳定性和吸引子 若将稳定与某种优化计算的目标函数相对应，并作为目标函数的极小点 则初态朝稳态的收敛过程便是优化计算过程 该优化计算是在网络演变过程中自动完成的 定义：若网络的状态 满足 ，则称 为网络的稳定点或吸引子,121,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,关于DHNN的串行（异步）稳定性定理 定理（ Hopfield 定理）：设N是一个n阶神经网络，则N由（W,）唯一定义。对于离散Hopfield 网络，若按异步方式调整状态，且W为一对称矩阵，（且W的对角线元

43、素非负，即 ，注：对于无自反馈DHNN， ），则对于任意初态，网络都最终收敛到一个吸引子（稳定状态）。,122,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,关于DHNN的并行（同步）稳定性定理 定理（ Hopfield 定理）：对于离散Hopfield 网络，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN， ），则对于任意初态，网络都最终收敛到一个吸引子（稳定状态）。,123,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,关于DHNN的并行（同步）稳定性定理 定理（Goles定理）

44、：对于离散Hopfield 网络，若按同步方式调整状态，且连接权矩阵W为对称阵，（且W的对角线元素非负，即 ，注：对于无自反馈DHNN， ），则对于任意初态，网络都最终收敛到一个吸引子（稳定状态）或状态空间中长度小于等于2的极限环。长度为2的极限环上的状态满足,124,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,若变换函数取符号函数，则稳定点（稳定状态、吸引子）应满足 或 对于符号函数，一般可以取阈值 0,125,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,例：网络只有两个节点，变换函数取符号函数，阈值 0。串行方式，W对称,可见，W对称

45、，则有稳定点。网络有2个节点，共有4个状态，即（1，1）（1，1）（1，1）（1，1），按稳定点的判断方法， （1，1） （1，1）是稳定点,126,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,例：网络有三个节点，权矩阵为,127,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,W满足对称且对角线非负，所以有稳定点 网络有3个结点，所以共有8个状态（阈值取为0） 其中只有2个状态即（1，1，1）和（1，1，1）是稳定状态，因为其满足稳定点判断公式，其余状态都会收敛到与之邻近的稳定状态上（如下图）,128,3.6 典型反馈神经网络 Hopfie

46、ld网络离散Hopfield网络,状态演变图,129,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,这种网络有一定的纠错能力，由上图可见 如测试向量是（1，1，1），（1，1，1）和（1，1，1），它们都会收敛到稳态（1，1，1）上 如测试向量是（1，1，1），（1，1，1）和（1，1，1），它们都会收敛到稳态（1，1，1）上,130,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,为讨论网络的稳定性，定义神经网络系统的能量函数（Lyapunov函数）如下： 异步方式 同步方式,131,3.6 典型反馈神经网络 Hopfield网络离散Hopf

47、ield网络,由于神经元结点的状态只能取1和1（或1和0）两种状态，因此上述定义的能量函数 是有界的 令 可推导出，在异步方式下如W为对称阵；在同步方式下如W为非负定对称阵，则不论出现什么情况，均有 ，即 随状态变化而单调递减，由于 有下界，所以 将收敛到能量极小点，不再变化，为一个常数，则网络将最终收敛到一个吸引子,132,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,作为一个迭代网络，神经元输出状态被容许一次一次地进行更新直到收敛,当能量函数达到最小值并且再计算时没有神经元状态改变，就认为网络已经收敛,当按规定方式进行更新时， Hopfield网络总是收敛到能量最

48、小状态，并且一旦进入这种状态，任一神经元的状态都不会改变,133,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,对于同步方式，对连接权矩阵W的要求更高，若不满足W为非负定对称矩阵的要求，则神经网络可能出现自持振荡即极限环,由于异步工作方式比同步方式有更好的稳定性能，实用时较多采用异步工作方式,异步方式的主要缺点是失去了神经网络并行处理的优点,134,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,吸引子的性质（不加证明） 若 是网络的一个吸引子，且 则 也一定是该神经网络的吸引子 若 是网络的吸引子，则与 的海明距离 的 一定不是吸引子，海明距

49、离定义为两个向量中不相同的元素个数 若 是网络的吸引子，且 则 的 一定不是神经网络的吸引子,135,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,吸引域 为能实现正确的联想记忆，对于每个吸引子应该有一定的吸引范围，这个吸引范围称为吸引域 定义：若 是吸引子，对于异步方式，若存在一个调整次序可以从 演变到 ，则称 弱吸引到 ；若对于任意调整次序都可以从 演变到 （而不是其它吸引子），则称 强吸引到,136,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,吸引域 定义：对所有属于 范围内的 ，均有 弱（强）吸引到 ，则称 为 的弱（强）吸引域,注

50、：对于同步方式，由于无调整次序问题，所以相应的吸引域也无强弱之分,注：对于异步方式，对同一个状态，若采用不同的调整次序，有可能弱吸引到不同的吸引子,137,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 为保证异步方式时稳定收敛，W应是对称阵 为保证同步方式时稳定收敛，W应是非负定对称阵，要求较高 设计W一般只保证异步方式收敛 对于给定的样本必须是网络的吸引子，而且要有一定的吸引域，这样才能实现联想记忆功能,138,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 常见的无教师学习方法是H

51、ebb学习规则，是一种调整神经网络连接权的规则，是基于对生物神经元的下述学习假设：当两个神经元同时兴奋或同时抑制时，则它们之间的连接强度应当加强 该学习规则的意义是：连接权的调整正比于两个神经元活动状态的乘积，连接权是对称的，神经元到自身的连接权为0,139,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 设给定m个样本 （全部状态的一部分），并设 （即结点状态为1和1），则按Hebb规则设计连接权为 或,140,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 写成矩阵形式为 其中I为单

52、位矩阵,141,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 设给定m个样本 ，当网络结点状态为1和0即 时，则按Hebb规则设计连接权为 或,142,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络,连接权的设计Hebb学习规则 写成矩阵形式为 其中,143,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,设离散Hopfield网络的结构图如图 其中 两个样本为,144,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,离散Hopfield网络的结构图,145,

53、3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,首先根据Hebb规则求得连接权矩阵为 这里,146,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,验证 和 是否为网络的吸引子,147,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,可见，两个样本 和 均为网络的吸引子 事实上，由于 ，只要其中一个是吸引子，根据前面的性质，另一个也必为吸引子,下面再考察这两个吸引子是否具有一定的吸引能力，即是否具备联想记忆的功能,148,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,（1）设 ，比

54、较靠近 用异步方式按结点1（最佳路径），2，3，4的调整次序演变网络 即 可见，只需异步方式调整一步即收敛到,149,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,（2）设 ，比较靠近 用异步方式按结点1，2，3，4的调整次序演变网络 即 可见，只需异步方式调整一步即收敛到,150,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,（3）设 ，这时它与 和 的海明距离均为2 若用异步方式按结点1，2，3，4的调整次序调整网络 即,151,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,即 可见此时 调整二步收敛

55、到了,152,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,若用异步方式按结点3，4，1，2的次序调整网络 即,153,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,即 可见此时 调整二步收敛到了 对于不同的调整次序， 既可弱收敛到 也可弱收敛到,154,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,对该例用同步方式进行计算，仍取 为 和 三种情况 （1） 可见此时 收敛到了,155,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络举例,（2） 可见此时 收敛到了,156,3.6 典

56、型反馈神经网络 Hopfield网络离散Hopfield网络举例,（3） 可见，它将在两个状态之间跳跃，产生极限环为2的自持振荡。原因在于连接权矩阵W不是非负定阵，所以出现了振荡,157,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络练习,神经网络有两个结点，变换函数为符号函数，阈值0，并行方式，W反对称，即 讨论神经网络的稳定性情况（调整多少步能达到稳定状态），设初始状态,158,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络练习,解答：,159,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络练习,可见 构成一个长度为4

57、的振荡环 结论：并行方式，W反对称且对角线元素为0，在一定条件下神经网络将收敛于一个长度为4的环,160,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络作业,假设希望在图示的Hopfield网络中存储两个模式。要存储的模式如下：,161,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络作业,串行方式，变换函数为阶跃函数，阈值0，网络的初始状态为 要求： 1. 采用Hebb学习规则设计连接权矩阵W 2. 判断所给样本是否为吸引子 3. 按结点2，4，1，3次序调整网络，求 4. 若按结点1，2，3，4次序调整网络，求 5. 问从初态开始调整几步能达到稳定状态 6. 讨论若为同步方式，其稳定情况,162,3.6 典型反馈神经网络 Hopfield网络离散Hopfield网络作业提示与解答,权值学习规