神经网络基础课件

1、1 第二章 神经网络基础 本章简单地介绍生物神经元、神经 元模型、人工神经网络模型及其学习算法。 2 第二章第二章 神经网络基础神经网络基础 2.1 生物神经元模型生物神经元模型 2.2 人工神经元模型人工神经元模型 2.3 网络拓扑结构类型网络拓扑结构类型 2.4 人工神经网络模型人工神经网络模型 2.5 神经网络的学习神经网络的学习 2.6 小结小结 3 2.1 生物神经元模型生物神经元模型 n神经元是脑组织的基本单元，是神经系统结构与功神经元是脑组织的基本单元，是神经系统结构与功 能的单元。据统计大脑大约包含能的单元。据统计大脑大约包含 个神经元，个神经元， 每个神经元于大约每个神经元于

2、大约 个其他的神经元相连接，个其他的神经元相连接， 构成一个极为庞大而复杂的网络，即生物神经元网构成一个极为庞大而复杂的网络，即生物神经元网 络。生物神经元网络中各神经元之间连接的强弱，络。生物神经元网络中各神经元之间连接的强弱， 按照外部的刺激信号做自适应变化，而每个神经元按照外部的刺激信号做自适应变化，而每个神经元 又随着所接受的的多个激励信号的综合结果呈现出又随着所接受的的多个激励信号的综合结果呈现出 兴奋与抑制状态。大脑的学习过程就是神经元之间兴奋与抑制状态。大脑的学习过程就是神经元之间 连接强度随外部刺激信息做自适应变化的过程，大连接强度随外部刺激信息做自适应变化的过程，大 脑处理星

3、系的结果有个圣经元状态的整体效果确定。脑处理星系的结果有个圣经元状态的整体效果确定。 11 1.4 10 35 1010 4 n生物神经元基本结构生物神经元基本结构 细胞体（细胞体（Cell body） 树突树突 (Dendrite) 轴突轴突 （Axon） 突触突触 （Synapse） 每一个神经元都通过突触每一个神经元都通过突触 与其他神经元联系，突触的与其他神经元联系，突触的“连接强度连接强度”可随可随 系统受到训练的强度而改变。系统受到训练的强度而改变。 生物神经元结构生物神经元结构 5 n生物神经元功能生物神经元功能 兴奋与抑制兴奋与抑制 传入神经元的冲动经整和后使细胞膜电位升高，传

4、入神经元的冲动经整和后使细胞膜电位升高， 超过动作电位的阈值时即为兴奋状态，产生神超过动作电位的阈值时即为兴奋状态，产生神 经冲动，由轴突经神经末梢传出。传入神经元经冲动，由轴突经神经末梢传出。传入神经元 的冲动经整和后使细胞膜电位降低，低于阈值的冲动经整和后使细胞膜电位降低，低于阈值 时即为抑制状态，不产生神经冲动。时即为抑制状态，不产生神经冲动。 学习与遗忘学习与遗忘 由于神经元结构的可塑性，突触的传递作用可由于神经元结构的可塑性，突触的传递作用可 增强与减弱，因此神经元具有学习和遗忘的功增强与减弱，因此神经元具有学习和遗忘的功 能。能。 6 2.2 人工神经元模型人工神经元模型 n人工神

5、经网络是在现代神经生物学研究基础上提人工神经网络是在现代神经生物学研究基础上提 出的模拟生物过程以反应人脑某些特性的计算结出的模拟生物过程以反应人脑某些特性的计算结 构。它不是人脑神经系统的真实描写，只是特的构。它不是人脑神经系统的真实描写，只是特的 某种抽象、简化和模拟。某种抽象、简化和模拟。 n人工神经元是对生物圣经元的一种形式化描述，人工神经元是对生物圣经元的一种形式化描述， 他对生物神经元的信息处理过程进行抽象，应用他对生物神经元的信息处理过程进行抽象，应用 数序语言予以描述，对生物神经元的结构与功能数序语言予以描述，对生物神经元的结构与功能 进行模拟，并用模型图予以表达。进行模拟，并

6、用模型图予以表达。 7 1943年，年，McCulloch-Pitts(麦克洛奇皮兹麦克洛奇皮兹) 根据生物根据生物 神经元的动作原理提出了神经元模型，即神经元的动作原理提出了神经元模型，即M-P模型，模型， 经过不断改进，形成目前广泛应用的形式神经元模型。经过不断改进，形成目前广泛应用的形式神经元模型。 对于神经元的处理机制，该模型在简化的基础上提出对于神经元的处理机制，该模型在简化的基础上提出 以下以下6点点 假设进行描述：假设进行描述： 1. 每个神经元都是一个多输入单输出的信息处理单元每个神经元都是一个多输入单输出的信息处理单元 2. 突触分兴奋性和抑制性两种类型突触分兴奋性和抑制性两

7、种类型 3. 神经元具有空间整合特性和阈值特性神经元具有空间整合特性和阈值特性 4. 神经元输入与输出间有固定的时滞，主要取决于突神经元输入与输出间有固定的时滞，主要取决于突 触的延迟触的延迟 5. 忽略时间整合作用和不应期忽略时间整合作用和不应期 6. 神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度 均为常数均为常数 8 n人工神经元是对生物神经元的一种模拟与简化。人工神经元是对生物神经元的一种模拟与简化。 它是神经网络的基本处理单元。下图显示了一种它是神经网络的基本处理单元。下图显示了一种 简化的人工神经元结构。它是一个多输入、单输简化的人工神经元

8、结构。它是一个多输入、单输 出的非线性元件。出的非线性元件。 人工神经元结构模型人工神经元结构模型 9 n人工神经元输入输出关系可描述为人工神经元输入输出关系可描述为 1 n ijiji j ii Iw x yf I 其中其中xj (j = 1,2, n)是从其它神经元传来的输入信号是从其它神经元传来的输入信号 wji表示从神经元表示从神经元j到神经元到神经元i的连接权值的连接权值 i 为阈值为阈值 f()称为激发函数或作用函数称为激发函数或作用函数 (2-1) 有时为了方便起见，常把有时为了方便起见，常把 看成是恒等于看成是恒等于1的输的输 入入x0的权值，这时式的权值，这时式(2-1)的和

9、式可写成的和式可写成 1 n ijij j Iw x 0ii w 0 1x i 10 n输出激发函数输出激发函数f()又称为变换函数，它决定神经又称为变换函数，它决定神经 元元(节点节点)的输出。该输出为的输出。该输出为1或或0，取决于其输入，取决于其输入 之和大于或小于内部阈值。函数一般具有非线性之和大于或小于内部阈值。函数一般具有非线性 特征。下面几个图表示了几种常见的激发函数。特征。下面几个图表示了几种常见的激发函数。 (1) 阈值函数阈值函数(见图见图(a),(b) 当当yi取取0或或1时，时，f(x)为图为图(a)所示所示 的阶跃函数：的阶跃函数： 1,0 ( ) 0,0 x f x

10、 x 11 当当yi取取-1或或1时，时，f(x)为图为图 (b)所示的所示的sgn函数：函数： 1,0 sgn( )( ) 1,0 x xf x x (2) 饱和型函数饱和型函数(见图见图 (c) 1 1, 11 ( ), 1 1, x k f xkxx kk x k 12 (4)双曲函数双曲函数(见图见图(d) ( )tanh( )f xx 1 ( ),0 1exp() f x x (5)S型函数型函数(见图见图(e) 神经元的状态与输入作用之间的关系是在神经元的状态与输入作用之间的关系是在(0, 1)内内 连续取值的单调可微函数，称为连续取值的单调可微函数，称为Sigmoid函数，函数，

11、 简称简称S型函数。当型函数。当 趋于无穷时，趋于无穷时，S型曲线趋于阶型曲线趋于阶 跃函数，通常情况下，跃函数，通常情况下， 取值为取值为1。 13 (6)高斯型函数高斯型函数(见图见图(f) 在径向基函数构成的神经网络中，神经元的结构可在径向基函数构成的神经网络中，神经元的结构可 用高斯函数描述如下：用高斯函数描述如下： 22 / ( ) x f xe 14 2.3 网络拓扑结构类型网络拓扑结构类型 n层次型结构层次型结构n互联型结构互联型结构 网络的学习算法将在今后的小节中介绍。网络的学习算法将在今后的小节中介绍。 15 神经网络的连接模式神经网络的连接模式 n层内连接层内连接 本层内部

12、神经元之间的连接，可用来加强层内本层内部神经元之间的连接，可用来加强层内 神经元之间的竞争。神经元之间的竞争。 n循环连接循环连接 指神经元到自身的连接。用于不断增强自身的指神经元到自身的连接。用于不断增强自身的 激活值，使本次的输出与上次的输出相关。激活值，使本次的输出与上次的输出相关。 n层间连接层间连接 指不同层之间的连接。这种连接用来实现信号指不同层之间的连接。这种连接用来实现信号 传递。可以是前向的也可以是反向的。传递。可以是前向的也可以是反向的。 16 2.4人工神经网络模型人工神经网络模型 n人工神经网络是以工程技术手段来模拟人脑神人工神经网络是以工程技术手段来模拟人脑神 经网络

13、的结构与特征的系统。经网络的结构与特征的系统。 n利用人工神经元，可以构成各种不同拓扑结构利用人工神经元，可以构成各种不同拓扑结构 的神经网络。的神经网络。 n就神经网络的主要连接形式而言，目前已有数就神经网络的主要连接形式而言，目前已有数 十种不同的神经网络模型，其中前馈网络和反馈十种不同的神经网络模型，其中前馈网络和反馈 网络是两种典型的结构模型。网络是两种典型的结构模型。 17 (1)前馈神经网络前馈神经网络 前馈神经网络，又称前向网络。如下图所示，神经前馈神经网络，又称前向网络。如下图所示，神经 元分层排列，有输入层、隐层元分层排列，有输入层、隐层(亦称中间层，可有若亦称中间层，可有若

14、 干层干层)和输出层，每一层的神经元只接受前一层神经和输出层，每一层的神经元只接受前一层神经 元的输入。元的输入。 18 目前，大部分前馈网络都是学习网络，它们目前，大部分前馈网络都是学习网络，它们 的分类能力和模式识别能力一般都强于反馈的分类能力和模式识别能力一般都强于反馈 网络，典型的前馈网络有感知器网络、误差网络，典型的前馈网络有感知器网络、误差 反向传播反向传播(BP)网络等。网络等。 19 (2)反馈型神经网络反馈型神经网络 反馈神经网络的结构如图所示。若总节点（神经元）反馈神经网络的结构如图所示。若总节点（神经元） 数为数为N，则每个节点有，则每个节点有N个输入和一个输出，即所有个

15、输入和一个输出，即所有 节点都是一样的，它们之间都可相互连接。节点都是一样的，它们之间都可相互连接。 20 Hopfield神经网络是反馈网络中最简单且应用神经网络是反馈网络中最简单且应用 广泛的模型，它具有联想记忆的功能，如果广泛的模型，它具有联想记忆的功能，如果 将将Lyapunov函数定义为寻优函数，函数定义为寻优函数，Hopfield 神经网络还可以用来解决快速寻优问题。神经网络还可以用来解决快速寻优问题。 21 2.5 神经网络的学习神经网络的学习 n人工神经网络最有吸引力的特点就是它的学习能人工神经网络最有吸引力的特点就是它的学习能 力。学习方法是体现人工神经网络智能特征的主力。学

16、习方法是体现人工神经网络智能特征的主 要指标，离开了学习算法，人工神经网络就失去要指标，离开了学习算法，人工神经网络就失去 了自适应、自组织和自学习的能力。了自适应、自组织和自学习的能力。 n人工神经网络的学习过程就是对它的训练过程。人工神经网络的学习过程就是对它的训练过程。 所谓所谓训练训练，就是在将由样本向量构成的样本集合，就是在将由样本向量构成的样本集合 输入到人工神经网路的过程中，按照一定方式去输入到人工神经网路的过程中，按照一定方式去 调整神经元之间的连接权。使网络能将样本集的调整神经元之间的连接权。使网络能将样本集的 内涵以连接权矩阵的方式存储起来，从而使网络内涵以连接权矩阵的方式

17、存储起来，从而使网络 在数据输入时可以给出适当的输出。在数据输入时可以给出适当的输出。 22 n目前神经网络的学习方法有多种，按有无教师信目前神经网络的学习方法有多种，按有无教师信 号来分类，可分为有教师学习、无教师学习和再号来分类，可分为有教师学习、无教师学习和再 励学习等几大类。在有教师的学习方式中，网络励学习等几大类。在有教师的学习方式中，网络 的输出和期望的输出（即教师信号）进行比较，的输出和期望的输出（即教师信号）进行比较， 然后根据两者之间的差异调整网络的权值，最终然后根据两者之间的差异调整网络的权值，最终 使差异变小。在无教师的学习方式中，输入模式使差异变小。在无教师的学习方式中

18、，输入模式 进入网络后，网络按照预先设定的规则（如竞争进入网络后，网络按照预先设定的规则（如竞争 规则）自动调整权值，使网络最终具有模式分类规则）自动调整权值，使网络最终具有模式分类 等功能。再励学习是介于上述两者之间的一种学等功能。再励学习是介于上述两者之间的一种学 习方式。习方式。 23 有教师学习有教师学习 n有教师学习，也称有监督学习，假设教师和神经有教师学习，也称有监督学习，假设教师和神经 网络同时要对从周围环境中抽取出来的训练向量网络同时要对从周围环境中抽取出来的训练向量 （即例子）做出判断，教师可以根据自身掌握的（即例子）做出判断，教师可以根据自身掌握的 一些知识为神经网络提供期

19、望响应。一些知识为神经网络提供期望响应。 n期望响应一般都代表着神经网络完成的最优动作。期望响应一般都代表着神经网络完成的最优动作。 神经网络的参数可以在训练向量和误差信号的综神经网络的参数可以在训练向量和误差信号的综 合影响下进行调整。误差信号可以定义为神经网合影响下进行调整。误差信号可以定义为神经网 络实际响应与预期响应之差。这种调整可以逐步络实际响应与预期响应之差。这种调整可以逐步 而又反复地进行，其最终目的就是要让神经网络而又反复地进行，其最终目的就是要让神经网络 模拟教师信号。模拟教师信号。 24 有教师学习有教师学习 25 n利用这种手段，教师对环境掌握的知识就可以通利用这种手段，

20、教师对环境掌握的知识就可以通 过训练最大限度的传授给神经网络。当条件成熟过训练最大限度的传授给神经网络。当条件成熟 时，就可以将教师信号排除在外，让网络完全自时，就可以将教师信号排除在外，让网络完全自 主地应对环境。主地应对环境。 n可以采用训练样本的平方误差作为性能测试标准，可以采用训练样本的平方误差作为性能测试标准， 它可以定义为系统的一个带自由参数的函数，该它可以定义为系统的一个带自由参数的函数，该 函数可以看作一个多维误差函数可以看作一个多维误差-性能曲面，简称误性能曲面，简称误 差曲面。差曲面。 n后面将要讨论的后面将要讨论的Delta学习算法属于有教师学习。学习算法属于有教师学习。

21、 它是一种闭环反馈系统，但未知的环境不包含在它是一种闭环反馈系统，但未知的环境不包含在 循环中。循环中。 26 n实际误差曲面是所有可能的输入输出的平均。有实际误差曲面是所有可能的输入输出的平均。有 教师学习系统能够处理有用信息，根据系统当前教师学习系统能够处理有用信息，根据系统当前 的行为计算出误差曲面的梯度。误差曲面上任何的行为计算出误差曲面的梯度。误差曲面上任何 一点的梯度指的是指向最速下降方向的向量。一点的梯度指的是指向最速下降方向的向量。 n给定一个设计好的算法来使代价函数最小，而且给定一个设计好的算法来使代价函数最小，而且 有足够的输入有足够的输入-输出数据集，那么有教师学习往往输

22、出数据集，那么有教师学习往往 可以很好地完成诸如模式分类、函数逼近等任务。可以很好地完成诸如模式分类、函数逼近等任务。 27 无教师学习无教师学习 n在无教师学习范例中，没有教师监视学习在无教师学习范例中，没有教师监视学习 过程，即神经网络没有任何例子可以学习。过程，即神经网络没有任何例子可以学习。 无教师学习又可分为两类：无教师学习又可分为两类： 自组织学习自组织学习 无监督竞争学习无监督竞争学习 28 无教师学习无教师学习 29 (1) 自组织学习自组织学习 n即网络的学习过程完全是一种自我学习的过程，即网络的学习过程完全是一种自我学习的过程， 不存在外部教师的示教，也不存在来自外部环境不

23、存在外部教师的示教，也不存在来自外部环境 的反馈指示网络应该输出什么或者是否正确。的反馈指示网络应该输出什么或者是否正确。 n自组织学习过程中，网络根据某种规则反复地调自组织学习过程中，网络根据某种规则反复地调 整连接权以响应输入模式的激励，直到网络最后整连接权以响应输入模式的激励，直到网络最后 形成某种有序状态。也就是说，自组织学习是靠形成某种有序状态。也就是说，自组织学习是靠 神经元本身对输入模式的不断适应，抽取输入信神经元本身对输入模式的不断适应，抽取输入信 号的规律号的规律(如统计规律如统计规律)。一旦网络显现出输入数。一旦网络显现出输入数 据的统计特征，则网络就实现了对输入特征的编据

24、的统计特征，则网络就实现了对输入特征的编 码，即把输入特征码，即把输入特征“记忆记忆”下来。而且在记忆之下来。而且在记忆之 后，当它再出现时，能把它识别出来。后，当它再出现时，能把它识别出来。 30 自组织学习能对网络的学习过程进行度量，自组织学习能对网络的学习过程进行度量， 并优化其中的自由参数。可以认为，这种学习的并优化其中的自由参数。可以认为，这种学习的 评价准则隐含于网络内部。神经网络的这种自组评价准则隐含于网络内部。神经网络的这种自组 织特性来源于其结构的可塑性。织特性来源于其结构的可塑性。 (1) 自组织学习自组织学习 31 (2) 无监督竞争学习无监督竞争学习 n在无监督竞争学习

25、系统中，没有外部的教师或则在无监督竞争学习系统中，没有外部的教师或则 评价来监督学习的过程。要求网络学习该度量而评价来监督学习的过程。要求网络学习该度量而 且自由参数将根据这个度量来逐步优化。且自由参数将根据这个度量来逐步优化。 n为了完成无监督竞争学习规则，神经网络包括两为了完成无监督竞争学习规则，神经网络包括两 层：输入层和竞争层。输入层接受有用的数据。层：输入层和竞争层。输入层接受有用的数据。 竞争层由相互竞争的神经元组成，采用竞争层由相互竞争的神经元组成，采用“胜者全胜者全 得得”的策略，具有最大总输入的神经元的输出置的策略，具有最大总输入的神经元的输出置1， 赢得竞争而被激活，其它神

26、经元置赢得竞争而被激活，其它神经元置0，连接权的调，连接权的调 整仅在获胜神经元与输入之间进行，其他皆不变。整仅在获胜神经元与输入之间进行，其他皆不变。 32 再励学习再励学习 n把学习看作试探评价（奖或惩）过程，学把学习看作试探评价（奖或惩）过程，学 习机选择一个动作（输出）作用于环境之习机选择一个动作（输出）作用于环境之 后，使环境的状态改变，并产生一个再励后，使环境的状态改变，并产生一个再励 信号（奖或惩）反馈至学习机。学习机依信号（奖或惩）反馈至学习机。学习机依 据再励信号与环境当前的状态选择下一动据再励信号与环境当前的状态选择下一动 作作用于环境，选择的原则是使受到奖励作作用于环境，

27、选择的原则是使受到奖励 的可能性增大。的可能性增大。 33 常用学习规则常用学习规则 nHebb规则规则 nDelta规则（最小均方差规则）规则（最小均方差规则） n概率式学习规则概率式学习规则 n竞争式学习规则竞争式学习规则 n梯度下降规则梯度下降规则 nKohonen(克豪南克豪南)学习规则学习规则 n逆误差传播规则逆误差传播规则 34 (1) Hebb学习规则学习规则 nHebb学习规则是一种联想式学习方法学习规则是一种联想式学习方法 n1949年年生物学家生物学家D.O. Hebbian基于对生物学和心理基于对生物学和心理 学的研究，提出了学习行为的突触联系和神经群理学的研究，提出了学

28、习行为的突触联系和神经群理 论。认为突触前与突触后二者同时兴奋，即两个神论。认为突触前与突触后二者同时兴奋，即两个神 经元同时处于激发状态时，它们之间的连接强度将经元同时处于激发状态时，它们之间的连接强度将 得到加强，这一论述的数学描述被称为得到加强，这一论述的数学描述被称为Hebb学习规学习规 则则 nHebb学习规则是一种无教师的学习算法，它只根据学习规则是一种无教师的学习算法，它只根据 神经元连接间的激活水平改变权值，因此这种方法神经元连接间的激活水平改变权值，因此这种方法 又称为相关学习或并联学习又称为相关学习或并联学习 35 Hebb学习规则学习规则 () T jj Wf W X X

29、 () T j rf W X 权向量的调整公式为权向量的调整公式为 权值的调整量与输入输出的乘积成正比。经常出现权值的调整量与输入输出的乘积成正比。经常出现 的模式对权向量有最大的影响。为此，的模式对权向量有最大的影响。为此，Hebb学习规学习规 则需预先设定权饱和值，以防止输入和输出正负始则需预先设定权饱和值，以防止输入和输出正负始 终一致时出现权值无限制增长。终一致时出现权值无限制增长。 学习信号简单的等于神经元的输出学习信号简单的等于神经元的输出 36 Hebb学习过程框图学习过程框图 37 (2) Delta规则（最小均方差规则）规则（最小均方差规则） n由美国由美国Standford

30、大学的大学的Windrow教授于教授于60年代提年代提 出出 n常用的规则之一常用的规则之一 n改变单元间的连接权重来减小系统实际输出与期改变单元间的连接权重来减小系统实际输出与期 望输出之间的误差，也称为最小方差规则望输出之间的误差，也称为最小方差规则 n适用于自适应信号处理、非线性系统控制、线性适用于自适应信号处理、非线性系统控制、线性 系统辨识等系统辨识等 38 其中，其中，dp代表期望的输出代表期望的输出(教师信号教师信号) yp=f (WXp) 网络的实际输出网络的实际输出 W是网络的所有权值组成的向量：是网络的所有权值组成的向量： 2 11 1 () 2 PP ppp pp Edy

31、E 01 ,T n Wwww 01 , T ppppn Xxxx 假设误差准则函数为：假设误差准则函数为： Xp为输入模式：为输入模式： 1, 2,pP训练样本数训练样本数 39 现在的问题是如何调整权值现在的问题是如何调整权值W ，使准则函数最小。，使准则函数最小。 可用梯度下降法来求解，其基本思想是沿着可用梯度下降法来求解，其基本思想是沿着E的负的负 梯度方向不断修正梯度方向不断修正W值，直到值，直到E达到最小，这种方法达到最小，这种方法 的数学表达式为的数学表达式为 1 () i P p p ii E W W E E WW 2 1 () 2 ppp Edy 其中其中 40 ppppp i

32、p ipipp EEEy X WWy ()() pppip dyfX 用用 表示表示 , 则有则有 p p WX 1 ()() P ipppip p WdyfX W的修正规则为的修正规则为 上式称为上式称为 学习规则，又称误差修正规则。学习规则，又称误差修正规则。 41 ppp ip ppp EEy X y 定义误差传播函数定义误差传播函数 为为 规则实现了规则实现了E中的梯度下降，因此使误差函数达到中的梯度下降，因此使误差函数达到 最小值。但最小值。但 学习规则只适用于线性可分函数，无学习规则只适用于线性可分函数，无 法用于多层网络。法用于多层网络。误差反向传播误差反向传播(Back Pro

33、pagation, 简写为简写为BP ) 网络的学习算法称为网络的学习算法称为BP算法，是在算法，是在 规规 则基础上发展起来的，可在多层网络上有效地学习。则基础上发展起来的，可在多层网络上有效地学习。 42 n概率式学习的典型代表是概率式学习的典型代表是Boltzmann机学习规则。机学习规则。 它是基于模拟退火的统计优化方法，因此又称模它是基于模拟退火的统计优化方法，因此又称模 拟退火算法拟退火算法 nBoltzmann机模型是一个包括输入、输出和隐层机模型是一个包括输入、输出和隐层 的多层网络，但隐层间存在互联结构且网络层次的多层网络，但隐层间存在互联结构且网络层次 不明显不明显 n由于

34、模拟退火过程要求高温使系统达到平衡状态，由于模拟退火过程要求高温使系统达到平衡状态， 而冷却（即退火）过程又必须缓慢地进行，否则而冷却（即退火）过程又必须缓慢地进行，否则 容易造成局部最小，所以这种学习规律的算法收容易造成局部最小，所以这种学习规律的算法收 敛速度较慢。敛速度较慢。 (3)概率式学习规则概率式学习规则 43 () ijijij Wpp Boltzmann机的训练过程，就是根据规则：机的训练过程，就是根据规则： 对神经元对神经元i，j 间的连接权值进行调整的过程。间的连接权值进行调整的过程。 式中，式中， 为学习速率为学习速率 pij 表示网络受到学习样本的约束且系统达到表示网络

35、受到学习样本的约束且系统达到 平衡状态时第平衡状态时第i个和第个和第j个神经元同时为个神经元同时为1的的 概率概率 表示系统为自由运转状态且达到平衡状态表示系统为自由运转状态且达到平衡状态 时第时第i个和第个和第j个神经元同时为个神经元同时为1的概率的概率 ij p 44 调整权值的原则是：当调整权值的原则是：当 时，则权值增加，否时，则权值增加，否 则减少权值。这种权值调整公式称为则减少权值。这种权值调整公式称为Boltzmann机机 学习规则，即学习规则，即 ijij pp (1)( )(), 0 ijijijij w kw kpp 当当 小于一定值时，学习结束。小于一定值时，学习结束。

36、ijij pp 45 n竞争学习属于无教师学习方式。这种学习方式竞争学习属于无教师学习方式。这种学习方式 利用不同层间的神经元发生兴奋性联接，以及利用不同层间的神经元发生兴奋性联接，以及 同一层内距离很近的神经元间发生同样的兴奋同一层内距离很近的神经元间发生同样的兴奋 性联接，而距离较远的神经元产生抑制性联接。性联接，而距离较远的神经元产生抑制性联接。 n在这种联接机制中引入竞争机制的学习方式称在这种联接机制中引入竞争机制的学习方式称 为竞争式学习。它的本质在于神经网络中高层为竞争式学习。它的本质在于神经网络中高层 次的神经元对低层次神经元的输入模式进行竞次的神经元对低层次神经元的输入模式进行竞 争识别。争识别。 (4) 竞争式学习规则竞争式学习规则 46 n竞争式学习的思想来源于人脑的自组织能力。竞争式学习的思想来源于人脑的自组织能力。 大脑能够及时地调整自身结构，自动地向环境大脑能够及时地调整自身结构，自动地向环境 学习，完成所需执行的功能而并不需要教师训学习，完成所需执行的功能而并不需要教师训 练。竞争式神经网络亦是如此，所以又把这一练。竞争式