人工神经网络的基本模型

1、2006-5-9,北京科技大学 自动化系,1,第二章 人工神经网络的基本模型,北京科技大学 信息工程学院 付冬梅 62334967,2006-5-9,北京科技大学 自动化系,2,第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数 人工神经网络的学习算法概述 人工神经网络的基本拓扑结构,2006-5-9,北京科技大学 自动化系,3,生物神经元结构 （1）细胞体: 细胞核、细胞质和细胞膜。（2）树突：胞体短而多分枝的突起。相当于神经元的输入端。（3）轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。（4）突触：神经元间的连接接口，每个神经元约有1万10万

2、个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。（5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能 产生兴奋与抑制。,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,4,生物神经元结构,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,5,生物神经元功能,（1）兴奋与抑制：当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，

3、由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经 冲动。 （2）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,6,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,人工神经元的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元

4、接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性。,2006-5-9,北京科技大学 自动化系,7,图2.1 MP神经元模型,（a）,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,基本MP模型,2006-5-9,北京科技大学 自动化系,8,f(x)：作用（激发）函数是一种阶跃函数。 从神经元的结构示意图上可见：当输入yj的加权和 大于 域值 时，神经元的输出yi =1，即神经元处于“兴奋状态”； 反之，当输入yj的加权和 大于域值 时，神经元的输 出yi =0，

5、即神经元处于“抑制状态” 在基本MP模型中取整数。,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,9,人工神经元模拟生物神经元的一阶特性。 输入：Y=（ y0， y1，y2，yn） 联接权：W=（ w0， w1，w2，wn）T 网络输入：netj=wjiyi 向量形式：netj=WY,MP模型的另一种形式,令 ，则MP 神经元模型可以表示为：,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,10,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,M-P模型从哪些方面刻画

6、了自然神经元？ 前面已介绍过生物（自然）神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态； 阈值作用：即超过某一阈值则神经元兴奋； 多输入单输出特性； 空间叠加性； 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时间的交叉叠加性，但其它生物神经元功能都具备。,2006-5-9,北京科技大学 自动化系,11,M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。 其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。

7、因此M-P人工神经元是整个人工神经网的基础。,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,12,2.1 人工神经元的基本模型,第二章 人工神经网络的基本模型,对M-P人工神经元进行改进的主要方式有如下几个方面: 神经元的内部改造：对人工神经元取不同的非线性函数； 对输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。 神经网络的结构上的改造：人工神经元之间的联接形式不同。 算法的改进：在人工神经网络权值和阈值取求的方法上 不同。 其它形式的改造。,2006-5-9,北京科技大学 自动化系,13,激活函数执行对该神经元所

8、获得的网络输入的变换，也常称为激励函数、活化函数：o=f(net) 线性函数（Liner Function） f(net)=k*net+c,2.2 几种典型的激活函数(Activation Function),第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,14,2、非线性斜面函数(Ramp Function), if net f（net）= k*net if |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2.2 几种典型的激活函数(Activation Function),第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,15,

9、-,o,net,0,2.2 几种典型的激活函数(Activation Function),第二章 人工神经网络的基本模型,阈值函数（Threshold Function）阶跃函数,2006-5-9,北京科技大学 自动化系,16,2.2 几种典型的激活函数(Activation Function),第二章 人工神经网络的基本模型,其他形式的作用函数:不同的作用函数，可构成不同的神经元模型。,非对称型Sigmoid函数:简称S型作用函数，是可微的，用下式表示： 如图(a)和(b),或,2006-5-9,北京科技大学 自动化系,17,第二章 人工神经网络的基本模型,对称型,Sigmoid,函数,是可

10、微的，用下式表示：如图(a)和(b),或,，,或,，,2006-5-9,北京科技大学 自动化系,18,对称型阶跃函数,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,19,第二章 人工神经网络的基本模型,高斯函数: 是可微的，分一维和高维，用下式表示：如图(a)和(b),2006-5-9,北京科技大学 自动化系,20,神经元演示 非线性作用函数（激发函数）,2.2 几种典型的激活函数(Activation Function),第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,21,非线性作用函数1,非对称型Sigmoid函数,2006-5-9,

11、北京科技大学 自动化系,22,非线性作用函数2,对称型Sigmoid函数,2006-5-9,北京科技大学 自动化系,23,非线性作用函数3,非对称型阶跃函数,2006-5-9,北京科技大学 自动化系,24,非线性作用函数4,对称型阶跃函数,2006-5-9,北京科技大学 自动化系,25,非线性作用函数,2006-5-9,北京科技大学 自动化系,26,非线性作用函数5,高斯RBF(一维),2006-5-9,北京科技大学 自动化系,27,非线性作用函数5,高斯RBF（二维）,2006-5-9,北京科技大学 自动化系,28,非线性作用函数5,高斯RBF（二维）,2006-5-9,北京科技大学 自动化

12、系,29,非线性作用函数6,B样条函数（次）,2006-5-9,北京科技大学 自动化系,30,非线性作用函数6,B样条函数（1次）,2006-5-9,北京科技大学 自动化系,31,非线性作用函数,2006-5-9,北京科技大学 自动化系,32,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习过程就是调整权值的过程。,1、竞争学习 2、有监督学习 3、无监督学习 4、Hebb和Delta学习 5、有、无监督混合学习 6、随即自适应学习模拟退火 7、模糊学习 等等,几种常见类型学习算法：,2006-5-9,北京科技大学 自动化系,33,对于竞争学习规则，有三个基本元素： 1

13、.一个神经元集合，这些神经元除了一些随机分布的突触权值之外是完全相同的，并且由于突触权值的不同而对一个给定的输入模式集合由不同的响应。 2.在每个神经元的强度上给定一个极限。 3.一个机制，它允许神经元为响应一个给定输入子集的权利而竞争，从而使得每次只有一个输出神经元或者每组只有一个神经元是激活的（即，“开”）.竞争获胜神经元被叫做胜者通吃（winner-takes-all）神经元。,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,竞争学习,2006-5-9,北京科技大学 自动化系,34,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,竞争学习,按照标准

14、的竞争学习规则，作用于突触权值wkj的改变量,wkj定义为,获胜神经元k的输出信号yk被置为1；竞争失败的所有神经元的输出信号被置为0。我们有:,2006-5-9,北京科技大学 自动化系,35,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,有教师学习（称为监督学习）,神经网络的参数可以综合训练向量和反馈回的误差信号进行适当调整。,2006-5-9,北京科技大学 自动化系,36,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,如果我们能给定一个设计好的算法来使成本费用最小，而且有足够的输入/输出的数据集，那么有指导的学习系统往往可以较好地完成诸如模式分类

15、，函数逼近之类的任务。,有教师学习（称为监督学习）,误差信号可以定义为：神经网络实际输出与预期响应之差。这种调节可以逐步而又不断反复地进行，其最终目的就是要让神经网络模拟老师学习样本；从统计的角度来看，这种模拟是最优的。,2006-5-9,北京科技大学 自动化系,37,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,无教师学习模式中没有老师来监视学习过程的。即神经网络没有任何带标号的例子可以学习参考。这学习模式又分2类：,无教师学习（称为无监督学习）,加强学习/神经动态规划,2006-5-9,北京科技大学 自动化系,38,2.3 人工神经网络的学习算法概述,第二章 人工神经

16、网络的基本模型,无教师学习（称为无监督学习）,无监督学习,在无监督或自组织学习系统中，不再有外在的老师或者评价来监督学习的过程。提供独立于任务的表示质量的度量，要求网络学习该度量而且参数将根据这个度量来逐步优化网络。 为了实际地使用无监督系统，我们可能会使用竞争性学习规则。,2006-5-9,北京科技大学 自动化系,39,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习任务,模式联想,存储阶段,回忆阶段,2006-5-9,北京科技大学 自动化系,40,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习任务,模式识别,模式识别将收到的模式或信号置以一

17、个预先定义好的分类号。 识别机设计成一个采用监督学习算法的多层前馈网络。,2006-5-9,北京科技大学 自动化系,41,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习任务函数逼近,逼近问题其实是一个很完整的监督学习网络系统。其中xi是输入向量，而di是期望的反馈向量。反之，完全可以将监督学习网络系统看成是一个函数逼近问题。,2006-5-9,北京科技大学 自动化系,42,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习任务函数逼近,神经网络的函数逼近问题实际上也是逼近一个未知输入输出映射函数问题：,系统识别模块图,2006-5-9,北京科技大

18、学 自动化系,43,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,学习任务函数逼近,逆模式系统图,2006-5-9,北京科技大学 自动化系,44,Hebb学习规则,按照生物学的条件反射原理，Hebb构造了一种简单的 神经网络权值调整原则：若第 i 与第 j 个神经元同时处于兴 奋状态，则它们间的联接应加强。即：,这和“条件反射”学说一致，并已得到证实。,2.3 人工神经网络的学习算法概述,第二章 人工神经网络的基本模型,2006-5-9,北京科技大学 自动化系,45,Delta学习规则（误差校正规则 如梯度方法、BP算法）,Widrow和Hoff的写法： Wij(t+1)=Wij(t)+(yj- aj(t) neti(t) 也可以写成： Wij(t+1)=Wij(t)+ Wij(t) Wij(t)=jneti(t) j=yj- aj(t) Grossberg的写法为： Wij(t)=ai(t)(netj(t)-Wij(t) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，netj(t)，Wij(t) 其中：ai(t)是网络目标输出； yj是网络计算输出； netj(t)网络内部叠加信号； Wij(t)网络权值。,2006-5-9,北京科技大学 自动化系,46,2.4 人工神经网络的基本拓扑结构,第二章 人工神经网络的基本模型,四种常见