人工神经网络的基本模型

1、2006-5-9，第二章人工神经网络的基本模型，北京科学技术大学信息工学学院附属冬梅FDM 2003 62334967，2006-5-9，2， 第二章人工神经网络的基本模型人工神经网络的基本模型几个典型的激活函数人工神经网络的学习算法概述人工神经网络的基本拓扑，2006-5-9，3，生物神经元结构(1)细胞：细胞核，细胞质和细胞膜。 (2)树突：细胞短且多分支的突起。 相当于神经元的输入端。 (3)轴突：细胞上最长枝的突起，也称为神经纤维。 边缘有很多神经末端传递着一点神经脉冲。 (4)突触：神经元间的接口，每个神经元约有1万10万个突触。 神经元通过其轴突的神经末端，通过突触与另一神经元的树

2、突结合，实现信息的传递。 由于突触的信息传递特性是可变的，形成了神经元之间结合的灵活性，称为结构的可塑性。 (5)细胞膜电位：神经细胞受到电、化学、机械刺激后产生兴奋和抑制。 2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，2006-5-9，4，生物神经细胞的结构，2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，2006-5-9，5，生物神经细胞的功能，(1)兴奋和抑制：神经细胞调整细胞膜的电位，超过动作电位的阈值时，就会变成兴奋状态，产生神经脉冲，从轴突神经的末端排出一点。 传递给神经元的冲动，经过和降低细胞膜电位，低于阈值时，为了抑制状态，不产生神经冲动。 (2)学

3、习和遗忘：神经元结构的可塑性增强和减弱了突触的传递作用，神经元具有学习和遗忘的功能。 2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，2006-5-9，6，2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，人工神经细胞的6个基本特征：1)神经细胞及其结合2 )神经元之间的结合强度决定信号转导的强弱神经元间的耦合强度根据训练而变化4 )信号可以是刺激的也可以是抑制的5 )一个神经元所接收的信号的累积效果，可以决定其神经元的状态6 )每个神经元具有“阈值”。 神经元是构成神经网络的最基本的单元。 人工神经元模型必须具有生物神经元的六个基本特性。 2006-5-9、7、图2.1

4、 MP神经元模型、(a )、2.1人工神经元的基本模型、第二章人工神经网络的基本模型、基本MP模型、2006-5-9、8、f(x ) :作用(激发)函数是阶梯函数从神经元的结构图可以看出，当输入yj的加权和大于域值时，神经元的输出yi=1，即神经元处于“兴奋状态”，而当输入yj的加权和大于域值时，神经元的输出yi=0，即神经元为“ 2.1人工神经元的基本模型，第二章人工神经网络的基本模型，2006-5-9，9，人工神经元模拟生物神经元的一次特性。 输入： Y=(y0，y1，y2，yn )连接权限： W=(w0，w1，w2，wn)T网络输入： netj=wjiyi向量格式： netj=WY， M

5、P模型的另一形式、指令、MP神经元模型是：2.1人工神经元的基本模型，第二章人工神经网络的基本模型2006-5-9，10，2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，M-P模型是什么样的前面介绍的生物(自然)神经元在兴奋或抑制两种状态下工作的特征的阈值作用：超过某个阈值神经元就兴奋的多输入单输出特性空间重叠性可塑性结合：突触部分的结合强度可以调节。MP模型不能实现生物神经元在空间时间上的交叉重叠，但具有其他生物神经元的所有功能。 关于2006-5-9、11、M-P模型在人工神经网络中的地位，首先，M-P模型是在所有人工神经细胞中最初建立的，它显示了很多方面生物神经细胞所具有的基

6、本特性。 其次，虽然目前还有很多其他形式的人工神经元，但很多都是根据M-P模型进行不同的修改，通过改进转换而发展起来的。 因此，M-P人工神经元成为整个人工神经网的基础。 2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，2006-5-9，12，2.1人工神经细胞的基本模型，第二章人工神经网络的基本模型，改进M-P人工神经细胞的主要方法有以下：神经细胞的内部改造输入和输出神经网络的结构改造：人工神经元之间的结合形态不同。 算法的改进：求人工神经网络权重和阈值的方法不同。 其他形式的改造。 2006-5-9，13，激活函数执行此神经元获得的网络输入的转换，经常被称为激活函数，激活函数：

7、 o=f(net )线性函数f (net )=k * net c， 2.2一些典型的激活函数第二章人工神经网络的基本模型是2006-5-9、14，2、非线性斜面函数、 if net f(net)=k*net if |net|0，常数被称为饱和值2.2一些典型的激活函数，第二章人工神经网络的基本模型，2006-5-9，15，o，net，0，2.2一些典型的激活函数，第二章人工神经网络的基本模型阈值函数2006-5-9、16、2.2几个典型的激活函数、第二章人工神经网络的基本模型、其他形式的作用函数：的不同的作用函数可构成不同的神经元模型。非对称型Sigmoid函数：简称为s型作用函数，用以下的式

8、子表示：图(a )和(b )，2006-5-9，17，第二章人工神经网络的基本模型，对称型，Sigmoid，函数， 是微小的，以下公式表示的2006-5-9，18，对称阶梯函数，第二章人工神经网络的基本模型，2006-5-9，19，第二章人工神经网络的基本模型，高斯函数：是可微分的，一维和高维， 2006-5-9、20、神经元表示非线性作用函数(激励函数)的2.2几个典型的激活函数、第二章人工神经网络的基本模型、2006-5-9、21、非线性作用函数1、非对称型Sigmoid函数、2006-5-5 对称Sigmoid函数，2006-5-9，23，非线性作用函数3非对称阶梯函数，2006-5-9

9、，24，非线性作用函数4，对称阶梯函数，2006-5-9，25，非线性作用函数，2006-5-9，26， 2006-5-9、27、非线性作用函数5、高斯RBF (二维)、2006-5-9、28非线性作用函数5、高斯RBF (二维)、2006-5-9、29、非线性作用函数6、b样条函数(0次)、2006-5-9、30 b样条函数(一次)，2006-5-9，31，非线性作用函数，2006-5-9，32，2.3人工神经网络的学习算法概述，第二章人工神经网络的基本模型，学习过程是调整权重的过程。1、竞争学习2、监督学习3、无监督学习4、Hebb和Delta学习5、无监督混合学习6、即时适应学习模拟退火

10、7、模糊学习等几种常见类型的学习算法：2006-5-9，33，竞争学习规则有三个基本要素： 2 .给每个神经元的强度带来界限。 3 .一种机制，允许神经元根据给定的输入子集的权利进行竞争，其中一次只有一个输出神经元或每组只有一个神经元被激活(即，“开”)。 竞争胜神经元被称为胜利者通食(winner-takes-all )神经元。 2.3人工神经网络的学习算法概要，第二章人工神经网络的基本模式，竞争学习，2006-5-9，34，2.3人工神经网络的学习算法概要，第二章人工神经网络的基本模式，竞争学习，标准作用于突触权重值wkj的变化量，其中wkj是胜利神经元k的输出信号yk定义为1的竞争失败的

11、所有神经元的输出信号设置为0。 我们有：2006-5-9，35，2.3人工神经网络的学习算法概要，第二章人工神经网络的基本模型，教师学习(称为监督学习)，神经网络的参数通过综合训练矢量和反馈的误差信号适当调整2006-5-9、36、2.3人工神经网络的学习算法概述、第二章人工神经网络的基本模型可以提供为最小化成本而设计的算法，并且只要存在足够的输入/输出数据集，指导学习系统就可以是模式有教师学习(称为监督学习)，误差信号可定义为神经网络的实际输出和预期响应的差。 这个调节可以阶段性地且反复地进行，其最终目的是让神经网络模拟老师学习样品，在统计上，这个模拟是最合适的。 2006-5-9，37，2

12、.3人工神经网络的学习算法的概要，第二章人工神经网络的基本模式，无教师学习模式中没有教师监视学习过程。 也就是说，神经网络没有标签的例子可以作为参考。 该学习模式分为两种：无教师学习(称为无监督学习)，强化学习/神经动态计划，2006-5-9，38，2.3人工神经网络的学习算法概要，第二章人工神经网络的基本模式，无教师学习(称为无监督学习)，无监督学习，无监督学习，无监督学习提供代表任务无关质量的测量，使网络学习测量，并且根据测量阶段性地优化网络. 为了实际使用无监视系统，也有可能使用冲突学习规则。 2006-5-9，39，2.3人工神经网络的学习算法的概要，第二章人工神经网络的基本模型，学习

13、任务，模式联想，记忆阶段，回忆阶段，2006-5-9，40，2.3人工神经网络的第二章人工神经网络的基本模式、学习任务、模式识别、模式识别放在预先定义的分类编号中。 识别器设计了采用监视学习算法的多层前馈网络。、2006-5-9、41、2.3人工神经网络的学习算法概要、第二章人工神经网络的基本模型、学习任务函数接近、逼近问题的是完整的监视学习网络系统。 在此，xi是输入向量，di是所希望的反馈向量。 相反，可以把监视学习网络系统视为函数近似问题。2006-5-9，42，2.3人工神经网络的学习算法概述，第二章人工神经网络的基本模型，学习任务函数的近似，神经网络函数的近似问题也实际上接近未知的输

14、入输出映射函数的问题：系统识别模块43，2.3人工神经网络的学习算法概述第二章人工神经网络的基本模型，学习任务函数近似，逆模型系统图，2006-5-9，44，Hebb学习规则，生物学条件反射原理，Hebb构建了简单的神经网络权重调整原则： 也就是说、和“条件反射”学说一致，被证实了。 2.3人工神经网络的学习算法的概要、第二章人工神经网络的基本模型、2006-5-9、45、Delta学习规则(坡度法、BP算法等误差补偿规则) Widrow和Hoff的标记： wij (t1)=neti(t )是比wij (t1)=wij (t ) wij (t )=jneti (t )j=yj-aj (t )

15、gross Berg的标记： Wij(t)=ai(t) (netj(t)-Wij(t ) )更常见的三角形) yj是网络计算输出netj(t )网络内部重叠信号Wij(t )网络权限值。 2006-5-9，46，2.4人工神经网络的基本拓扑，第二章人工神经网络的基本模型，4种常见类型的网络结构1，向前型2，反馈型3，随机型4，自组织竞争型，2006-5-9，406 2.4人工神经网络的基本拓扑，第二章人工神经网络的基本模型，前向网络的特点1 .神经元层次，多层序列2 .层间无连接3 .方向进出。 应用最广泛，前向网络，2006-5-9，48，2.4人工神经网络的基本拓扑，第二章人工神经网络的基本模型，反馈网络，反馈网络的特征：网络反馈到内部连接2006-5-9，49，2.4人工神经网络的基本拓扑，第二章人工神经网络的基本模型，Output和Input的连接(全反馈)特征：1.内部向前2 .输出反馈到输入。 Hop