课件：常见神经网络模型.ppt

1,智能控制技术,中国计量学院自动化教研室 谢 敏,2,智能控制技术,第4章 人工神经元网络模型 4.1 引言 4.2 常见神经网络模型,3,4.2 常见神经网络模型,一、感知器 感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：,4.2 常见神经网络模型,4,一、感知器,4.2 常见神经网络模型,感知器的数学模型： 其中：f.是阶跃函数或符号函数，并且有 是阈值。,5,感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下： 即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。 感知器的分类边界是：,4.2 常见神经网络模型,一、感知器,6,在输入样本只有两个分量x1，x2时，则有分类边界条件： 即 w1x1+w2x2-=0,4.2 常见神经网络模型,一、感知器,7,感知器的学习算法： 感知器的学习算法目的在于找寻恰当的权系数w(w1，w2，wn)，使系统对一个特定的样本x(x1，x2，xn)能产生期望输出y。当x分类为A类时，期望值y1；X为B类时，y=0。,4.2 常见神经网络模型,一、感知器,8,4.2 常见神经网络模型,一、感知器,感知器的学习算法： 1、初始化：置权系数w为最小的随机数； 2、训练：输入一样本x(x1，x2，xn)以及它的期望输出y*； 3、计算实际输出： ； 4、计算误差： ； 5、修改权系数和阈值 ； 6、转2，直到误差满足要求。,9,4.2 常见神经网络模型,一、感知器,例：有一组训练向量，对单输出感知器有：X1=-1，1，-2，0T， X2=-1，0，1.5，-0.5T， X3=-1，-1，1，0.5T，设初始权值为Wi（0）= 0.5，1，-1，0T,=0.3，期望输出为Y1=0，Y2=0， Y3=1，试训练感知器网络。,10,4.2 常见神经网络模型,一、感知器,从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。 由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。,11,4.2 常见神经网络模型,一、感知器,感知器实质是一个分类器，可以用于实现逻辑函数。 其分类条件是样本是线性可分的。 例：用感知器实现逻辑函数X1UX2的真值：,12,4.2 常见神经网络模型,一、感知器,以X1UX2 1为A类，以X1UX2 =0为B类，则有方程组：,令 W1=1，W2=2，则有：1 取 =0.5，则有：X1+X2-0.5=0,13,4.2 常见神经网络模型,一、感知器,逻辑与,逻辑或,逻辑异或,14,二、BP网络,4.2 常见神经网络模型,1986年，Rumelhart提出了一种利用误差反向传播（Back Propagation ）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：,1、由输入层、隐含层、输出层组成； 2、同层节点之间没有互连； 3、每层节点的输出只影响下层节点； 4、激励函数多为S型。,15,二、BP网络,4.2 常见神经网络模型,BP网络的数学模型： 设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：,16,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法： 反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。 1输入信号正向传播 输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。 2误差信号反向传播 在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。,17,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法： 1、初始化：置权系数w为最小的随机数； 2、训练：给出输入样本x=（x1，x2，xn ）以及期望输出y=（y1，y2,yn）； 3、计算输出：按顺序计算隐含层、输出层各神经元输出； 4、计算期望输出与实际输出的误差； 5、修改输出层的权系数和阈值； 6、修改隐含层的权系数和阈值； 7、转3，直到误差满足要求。,18,二、BP网络,4.2 常见神经网络模型,BP网络的学习算法： 例：P.77 4-1,19,二、BP网络,4.2 常见神经网络模型,车牌数字识别,神经网络对图形的旋转、平移敏感，车牌照数字的获取中不可避免的存在这一类问题，所以要首先对图形进行处理。,分割后的数字图像 ：,原始图像 ：,20,二、BP网络,4.2 常见神经网络模型,车牌数字识别,BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取0-9共十个数字作为待识别数字，每个数字取6个样本进行训练，共有60个训练样本，另取10个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于0.5，则认为系统无法识别。 该网络采用BP算法，能正确识别车牌数字： 7 3 0 5 1,21,三、Hopfield网络,4.2 常见神经网络模型,1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。 Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。 对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。,22,三、Hopfield网络,4.2 常见神经网络模型,Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。,离散Hopfield网络,23,三、Hopfield网络,4.2 常见神经网络模型,离散Hopfield网络,对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=Y1(t),Y2(t),.,Yn(t)T 因为Yj(t)(j1n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。,24,三、Hopfield网络,4.2 常见神经网络模型,几个概念： 1、DHNN的状态：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。 2、稳定状态： 神经网络从任一初态Y(0)开始运动，并存在某一有限时刻ts，从ts以后神经网络的状态不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。,25,三、Hopfield网络,4.2 常见神经网络模型,状态转移： 单个神经元：激活：01，1 0 未激活：状态保持 整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。,26,三、Hopfield网络,4.2 常见神经网络模型,离散Hopfield网络,对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。,27,三、Hopfield网络,4.2 常见神经网络模型,状态转移举例： P.82 例 4-3 问题：为什么各个状态的排列有层次呢？,28,三、Hopfield网络,4.2 常见神经网络模型,能量函数： 能量函数是一个Liapunov函数。 定理4-1 离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。 给定一个初始状态，则DHNN网络的状态总是沿着能量减小的方向变化，最终收敛到稳定状态。 例：4-4 计算网络中各状态的能量。,29,三、Hopfield网络,4.2 常见神经网络模型,Hopfield网络的一个功能是可用于联想记忆，这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回味和思忆。 DHNN网络的能量极小状态又称为能量井，为信息的存储记忆提供了基础。将要记忆的信息与能量井一一对应，则当输入某一模式时，神经网络就能通过状态转移实现联想记忆。,30,三、Hopfield网络,4.2 常见神经网络模型,学习记忆阶段： 对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。 联想会议阶段： 当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据，但是通过状态不断变化，最后状态会稳定下来，最终的状态是和给定向量最接近的样本向量。,31,三、Hopfield网络,4.2 常见神经网络模型,举例：设计一个具有两个能量井-1，1和1，-1的Hopfield网络。,32,三、Hopfield网络,4.2 常见神经网络模型,连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。连续Hopfield网络和离散Hopfield网络不同的地方在于其激励函数不是阶跃函数，而是S形的连续函数。,连续Hopfield网络,33,三、Hopfield网络,4.2 常见神经网络模型,当Hopfield网络的神经元激励函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。 在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。这样，大量的优化问题都可以用连续的Hopfield网来求解。,后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用,主要经营：网络软件设计、图文设计制作、发