自组织神经网络ppt课件

1、第四章自组织神经网络SONN)SONN概述概述在人类的认识过程中，除了从教师那里得到知识外，还有一在人类的认识过程中，除了从教师那里得到知识外，还有一种不需求经过教师，自动向环境学习的才干，这种仅依托环境种不需求经过教师，自动向环境学习的才干，这种仅依托环境刺激的刺激的“无师自通的功能称为自组织学习方法。无师自通的功能称为自组织学习方法。在网络构造上，它普通是由输入层和竞争层构成的两层网络。在网络构造上，它普通是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向衔接，而且网络没有隐含层。有时两层之间各神经元实现双向衔接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向衔接。竞争层各神

2、经元之间还存在横向衔接。1区域性：视觉，听觉，预言了解，运动控制；区域性：视觉，听觉，预言了解，运动控制；2自组织：遗传加上学习；自组织：遗传加上学习；3记忆方式：一群元对应于一个方式；记忆方式：一群元对应于一个方式；4兴奋刺激规律：墨西哥草帽型，中间强度大，逐渐衰减，兴奋刺激规律：墨西哥草帽型，中间强度大，逐渐衰减，远离中心的遭到抑制。远离中心的遭到抑制。SONN概述概述在学习算法上，它模拟生物神经系统依托神经元之在学习算法上，它模拟生物神经系统依托神经元之间的兴奋、协调与抑制、竞争的作用来进展信息处置间的兴奋、协调与抑制、竞争的作用来进展信息处置的动力学原理指点网络的学习与任务，而不像大多

3、数的动力学原理指点网络的学习与任务，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的神经网络那样是以网络的误差或能量函数作为算法的准那么。准那么。以竞争型神经网络为根底可以构成一些具有自组织以竞争型神经网络为根底可以构成一些具有自组织才干的网络。如才干的网络。如:自顺应共振实际自顺应共振实际Adaptive Resonance Theory网络网络,自组织特征映射自组织特征映射Self-Organizing Feature Map网络，对向传播网络，对向传播Counter Propagation网络。网络。竞争学习原理竞争学习原理竞争学习网络的第一个层次是输入层次，它接受输入样本。竞

4、争学习网络的第一个层次是输入层次，它接受输入样本。第二个层次是竞争层次，它对输入样本进展分类。对于某个第二个层次是竞争层次，它对输入样本进展分类。对于某个神经元神经元i的一切衔接权之和为的一切衔接权之和为1，即，即设输入样本为二值向量，各元素取值为设输入样本为二值向量，各元素取值为0或或1，竞争层单元，竞争层单元j的的形状按下式计算：形状按下式计算：1011;1ijijiwwimjn 1mjijiisw x竞争学习原理竞争学习原理在在WTA(Winner Takes All)机制中，竞争层上具有最大加权机制中，竞争层上具有最大加权的神经元的神经元j博得竞争胜利，其输出为博得竞争胜利，其输出为1

5、,0jijssi ijy其它竞争后的权值按下式修正竞争后的权值按下式修正()iijijxwwM其中其中为学习参数为学习参数(01,普通取普通取0.01-0.03)，M为输入层上输出为输入层上输出值为值为1的神经元个数，即：的神经元个数，即：1miiMx竞争学习原理竞争学习原理当当xi=1时，权值添加，而当时，权值添加，而当xi0时，权值减小。即时，权值减小。即当当xi活泼时，对应的第活泼时，对应的第i个权值就添加个权值就添加,否那么就减少。否那么就减少。由于一切的权值之和为由于一切的权值之和为1，故当第，故当第i个权值添加或减少个权值添加或减少时，对应的其他权值就能够减少或添加。式中的第二时，

6、对应的其他权值就能够减少或添加。式中的第二项那么保证整个权值的调整能满足一切权值的调整量项那么保证整个权值的调整能满足一切权值的调整量之和为之和为0，即，即1111()(1 1) 0mmmijiijiiiwxwM 竞争学习原理竞争学习原理例例: 给出一个竞争学习网络，如下图，要求经过训练将输入方式给出一个竞争学习网络，如下图，要求经过训练将输入方式集划分为两类。设输入方式为：集划分为两类。设输入方式为：1234(101)(100)(010)(011)XXXX分析所给出方式之间的分析所给出方式之间的Hamming间隔间隔(两两个二进制输入方式不同形状的个数个二进制输入方式不同形状的个数)，其方，

7、其方式的类似性可用下面的矩阵表示：式的类似性可用下面的矩阵表示：0132102332012310ijH竞争学习原理竞争学习原理所谓两个方式彼此类似，是指其所谓两个方式彼此类似，是指其Hamming间隔小于某个常间隔小于某个常量。本例中，量。本例中，x1、x2彼此类似，彼此类似，x3、x4彼此类似。前两个彼此类似。前两个方式方式x1、x2与后两个方式与后两个方式x3、x4的的Hamming间隔较大。因间隔较大。因此，输入方式自然可分为两类。网络训练完成后，得到如下此，输入方式自然可分为两类。网络训练完成后，得到如下两类：两类：每一类包含两个输入方式，同一类方式的每一类包含两个输入方式，同一类方式

8、的Hamming间隔为间隔为1，不同类方式的不同类方式的Hamming间隔为间隔为2或或3。网络的分类原那么来源。网络的分类原那么来源于输入方式的固有特征。用不同的初始权值反复进展训练，网于输入方式的固有特征。用不同的初始权值反复进展训练，网络依然能自组织学习，完成正确的方式分类。络依然能自组织学习，完成正确的方式分类。竞争学习网络特征竞争学习网络特征 在竞争学习中，竞争层的神经元总是趋向于呼应它所代表在竞争学习中，竞争层的神经元总是趋向于呼应它所代表的某个特殊的样本方式，这样输出神经元就变成检测不同方式的某个特殊的样本方式，这样输出神经元就变成检测不同方式类的检测器。竞争学习方法是网络经过极

9、小化同一方式类里面类的检测器。竞争学习方法是网络经过极小化同一方式类里面的样本之间的间隔，极大化不同方式类间的间隔来寻觅方式类。的样本之间的间隔，极大化不同方式类间的间隔来寻觅方式类。这里所说的方式间隔指这里所说的方式间隔指Hamming间隔，如方式间隔，如方式010与方式与方式101的的Hamming间隔为间隔为3。 对这种竞争学习算法进展的方式分类，有时依赖于初始的对这种竞争学习算法进展的方式分类，有时依赖于初始的权值以及输入样本的次序。要得到较好的训练结果，例如下图权值以及输入样本的次序。要得到较好的训练结果，例如下图的方式分类，网络应将其按的方式分类，网络应将其按Hamming间隔分为

10、三类。间隔分为三类。竞争学习网络特征竞争学习网络特征假设竞争层的初始权值都是相假设竞争层的初始权值都是相同的，那么竞争分类的结果同的，那么竞争分类的结果是：首先训练的方式属于类是：首先训练的方式属于类1，由竞争单元，由竞争单元1表示；随后训表示；随后训练的方式假设不属于类练的方式假设不属于类1，它，它就使竞争单元就使竞争单元2表示类表示类2；剩下；剩下的不属于前两类的方式使单元的不属于前两类的方式使单元3获胜，为类获胜，为类3。假设不改动初始。假设不改动初始权值分布，只改动方式的训练顺权值分布，只改动方式的训练顺序，这能够使竞争层单元对方式影响分类呼应不一样，此时获胜序，这能够使竞争层单元对方

11、式影响分类呼应不一样，此时获胜的竞争单元的竞争单元1有能够代表类有能够代表类2或或3，这种顺序上的不一样会呵斥分类，这种顺序上的不一样会呵斥分类学习很不稳定，会出现对同一输入方式在不同的迭代时有不同的学习很不稳定，会出现对同一输入方式在不同的迭代时有不同的呼应单元，分类结果就产生振荡。呼应单元，分类结果就产生振荡。竞争学习网络特征竞争学习网络特征 竞争学习网络所实现的方式分类情况与典型的竞争学习网络所实现的方式分类情况与典型的BP网络分类有网络分类有所不同。所不同。BP网络分类学习必需预先知道将输入方式分为几个类别，网络分类学习必需预先知道将输入方式分为几个类别，而竞争网络将给定的方式分为几类

12、预先并不知道，只需在学习后而竞争网络将给定的方式分为几类预先并不知道，只需在学习后才干确定。才干确定。 竞争学习网络也存在一些局限性：竞争学习网络也存在一些局限性：1只用部分输入方式训练网络，当用一个明显不同的新只用部分输入方式训练网络，当用一个明显不同的新 的输入方式进展分类时，网络的分类才干能够会降的输入方式进展分类时，网络的分类才干能够会降 低，甚至无法对其进展分类，这是由于竞争学习网络低，甚至无法对其进展分类，这是由于竞争学习网络 采用的是非推理方式调理权值。采用的是非推理方式调理权值。2竞争学习对方式变换不具备冗余性，其分类不是大竞争学习对方式变换不具备冗余性，其分类不是大 小、位移

13、、旋转不变的，从构造上也不支持大小、小、位移、旋转不变的，从构造上也不支持大小、 位移、旋转不变的分类方式。因此在运用上通常利用位移、旋转不变的分类方式。因此在运用上通常利用 竞争学习的无监视性，将其包含在其它网络中。竞争学习的无监视性，将其包含在其它网络中。自组织特征映射自组织特征映射SOFM模型模型 自组织特征映射模型也称为Kohonen网络或者称为Self-organizing map，由芬兰学者Teuvo Kohonen于1981年提出。该网络是一个由全互连的神经元阵列构成的无教师自组织自学习网络。Kohonen以为，处于空间中不同区域的神经元有不同的分工，当一个神经网络接受外界输入方

14、式时，将会分为不同的反响区域，各区域对输入方式具有不同的呼应特征。SOFM模型的一个典型特性就是模型的一个典型特性就是可以在一维或二维的处置单元阵可以在一维或二维的处置单元阵列上构成输入信号的特征拓扑分列上构成输入信号的特征拓扑分布布,因此因此SOFM模型具有抽取输入模型具有抽取输入信号方式特征的才干。信号方式特征的才干。SOFM模模型普通只包含有一维阵列和二维型普通只包含有一维阵列和二维阵列，但可以推行到多维处置单阵列，但可以推行到多维处置单元阵列。元阵列。自组织特征映射自组织特征映射SOFM模型模型 Kohonen网络模型由四个部分组成：网络模型由四个部分组成： (1)处置单元阵列：接受事

15、件输入，并且构成对这些信处置单元阵列：接受事件输入，并且构成对这些信号的号的“判别函数。判别函数。 (2)比较选择机制：比较比较选择机制：比较“判别函数并选择一个具有最判别函数并选择一个具有最大函数输出值的处置单元。大函数输出值的处置单元。 (3)部分互连作用：同时鼓励被选择的处置单元及其最临部分互连作用：同时鼓励被选择的处置单元及其最临近的处置单元。近的处置单元。 (4)自顺应过程：修正被鼓励的处置单元的参数，以添加自顺应过程：修正被鼓励的处置单元的参数，以添加其相应于特定输入其相应于特定输入“判别函数的输出值。判别函数的输出值。自组织特征映射自组织特征映射SOFM模型模型 竞争层竞争规那么

16、：竞争层竞争规那么：在竞争层中，神经元的竞争是这样进展的：对于获胜在竞争层中，神经元的竞争是这样进展的：对于获胜的神经元的神经元g，在其周围，在其周围Ng的区域内，神经元在不同程的区域内，神经元在不同程度上都得到兴奋，而在度上都得到兴奋，而在Ng以外的神经元都被抑制。以外的神经元都被抑制。Ng可以是任何外形，但普通是均匀对称的，如正方形可以是任何外形，但普通是均匀对称的，如正方形或六角形。或六角形。 Ng是时间函数，用是时间函数，用Ng(t)表示，随表示，随t添加，添加，Ng(t)减小，减小，最后到达预定的范围。最后到达预定的范围。 SOFM网络在无教师示教的情况下，经过对输入网络在无教师示教

17、的情况下，经过对输入方式的自组织学习，在竞争层将分类结果表示出来，方式的自组织学习，在竞争层将分类结果表示出来，这种表现方式的不同之处在于：它不是以一个神经元这种表现方式的不同之处在于：它不是以一个神经元或者网络的形状矢量反映分类结果的，而是以假设干或者网络的形状矢量反映分类结果的，而是以假设干神经元同时并行反映结果。与这假设干神经元相神经元同时并行反映结果。与这假设干神经元相连的衔接权虽略有差别，但这些神经元的分类作用根连的衔接权虽略有差别，但这些神经元的分类作用根本上是并列的，即其中任何一个神经元都能代表分类本上是并列的，即其中任何一个神经元都能代表分类结果和近似分类结果。结果和近似分类结

18、果。自组织特征映射自组织特征映射SOFM模型模型 此外，这种网络之所以称为特征映射网络，是由于网络经过对此外，这种网络之所以称为特征映射网络，是由于网络经过对输入方式的反复学习，可以使衔接权矢量的空间分布密度与输输入方式的反复学习，可以使衔接权矢量的空间分布密度与输入方式的概率分布趋于一致，即衔接权矢量的空间分布能反映入方式的概率分布趋于一致，即衔接权矢量的空间分布能反映输入方式的统计特征。输入方式的统计特征。 可见，可见，SOFM网络可用于样本排序、样本分类及样本特征网络可用于样本排序、样本分类及样本特征检测等。检测等。自组织特征映射自组织特征映射SOFM模型模型 网络实践具有呼应的输出单元

19、网络实践具有呼应的输出单元k，该单元确实定是经过胜者，该单元确实定是经过胜者全得全得(WTA)竞争得到的，即：竞争得到的，即：max kiiooSOFM模型的输入输出单元之间是全衔接的，其权值修正规那么为模型的输入输出单元之间是全衔接的，其权值修正规那么为(1)( )( )ijijiijw tw txw t设网络输入为设网络输入为X ，输出神经元，输出神经元i与输入层单元的衔接权为与输入层单元的衔接权为Wi，那么输出层神经元那么输出层神经元j的输出的输出oi为为iioW X自组织特征映射自组织特征映射SOFM模型模型 Kohonen算法步骤：算法步骤： (1)初始化：对初始化：对m个输入神经元

20、到个输入神经元到n个输出神经的衔接权随机个输出神经的衔接权随机赋以较小的权值。置迭代次数赋以较小的权值。置迭代次数T，学习参数，学习参数(0)。选取输出神。选取输出神经元经元j的的“邻接神经元的集合邻接神经元的集合Sj (0)，表示时辰，表示时辰t0时的神经时的神经元元j的的“邻接神经元的集合。区域邻接神经元的集合。区域 sj(t) 随时间的增长而不断随时间的增长而不断减少。减少。 (2)提供归一化的输入方式提供归一化的输入方式x。 (3)计算欧氏间隔计算欧氏间隔dj，即输入样本与每个输出神经元，即输入样本与每个输出神经元j之间的之间的欧氏间隔：欧氏间隔：计算出一个具有最小间隔的神经元计算出一

21、个具有最小间隔的神经元j* 作为竞争获胜节点作为竞争获胜节点 (4) 按下式修正输出神经元按下式修正输出神经元j*及其及其“邻接神经元邻接神经元 sj(t) 的权的权值值21 ( )( )mjjiijidXWx tw t自组织特征映射自组织特征映射SOFM模型模型(1)( )( )( )1( )( )0.2(1)( )int(0)(1)ijijiijjjw tw ttxw tttttTtS tST或 (4) 反复输入一切样本直到到达迭代次数反复输入一切样本直到到达迭代次数T举例：举例：8 . 06 . 0939. 0342. 0707. 0707. 09848. 01736. 06 . 08

22、. 05141312111xxxxx训练方式训练方式:01)0( w 01)0(21w01) 1 ( w316. 0948. 0) 1 (21w归一化的初始权值为：归一化的初始权值为：设设为为0.5,0.5,输入输入x1x1后后, ,权值变化为权值变化为: :13.531 701451 80-1 87.361 5141312111xxxxx化成极坐标方式：化成极坐标方式：自组织特征映射自组织特征映射SOFM模型模型自组织特征映射自组织特征映射SOFM模型模型最终最终向量向量自产生与自组织神经网络自产生与自组织神经网络SCONN自组织特征映射神经网络存在以下局限：自组织特征映射神经网络存在以下局

23、限：当输入方式为圆形分布时，中心节点无法学习成为死节点当输入方式为圆形分布时，中心节点无法学习成为死节点由于输出层边境节点学习的次数远多于中心节点，因此存在由于输出层边境节点学习的次数远多于中心节点，因此存在明显的边境效应，需求很多的时间学习来消除明显的边境效应，需求很多的时间学习来消除当输入方式拓扑构造比较复杂时系统会很不稳定当输入方式拓扑构造比较复杂时系统会很不稳定当输入方式序列不稳定时系统可塑性差当输入方式序列不稳定时系统可塑性差 自产生与自组织神经网络：假定初始时辰网络节点数很少自产生与自组织神经网络：假定初始时辰网络节点数很少甚至只需一个节点而呼应神经元的鼓励动态范围较宽，甚至只需一

24、个节点而呼应神经元的鼓励动态范围较宽，也就是说神经元对任何刺激都会呼应，呼应阈值随时间衰也就是说神经元对任何刺激都会呼应，呼应阈值随时间衰减至一个固定的程度。其中有一个神经元有最大鼓励但没减至一个固定的程度。其中有一个神经元有最大鼓励但没有到达呼应值，就产生一个子节点。有到达呼应值，就产生一个子节点。自产生与自组织神经网络自产生与自组织神经网络SCONN自产生与自组织神经网络算法：自产生与自组织神经网络算法：(1)初始化权系数、呼应阈值初始化权系数、呼应阈值(t)、迭代次数、学习参数等、迭代次数、学习参数等(2)输入新的方式输入新的方式(3)计算输入方式与一切输出节点的欧氏间隔计算输入方式与一

25、切输出节点的欧氏间隔(4)选择间隔最小的节点为竞争获胜节点选择间隔最小的节点为竞争获胜节点(5)判别获胜节点能否呼应，假设是转判别获胜节点能否呼应，假设是转(6)，否转，否转(7) 102,2)()(Nijiijtwtxd( )jjwwdty响应不响应 其它自产生与自组织神经网络自产生与自组织神经网络SCONN(6)调理获胜节点和家族节点权系数，降低一切节点的呼调理获胜节点和家族节点权系数，降低一切节点的呼应阈值，转应阈值，转(2)(7)由非呼应获胜节点产生一个子节点，降低一切节点的呼应由非呼应获胜节点产生一个子节点，降低一切节点的呼应阈值，转阈值，转(2) R(t)为区间为区间(0,1)内的

26、类似系数内的类似系数 上述算法的中止有三个准那么：迭代次数上述算法的中止有三个准那么：迭代次数T、输出节点数、输出节点数Sj、呼应阈值呼应阈值(t)。,(1)()()( ()()jjji wi wii wwtwtt x twt 1jjss,(1)( )( )( ( )( )jjji si wii wwtwtR t x twt对向传播网络对向传播网络CPNCPN(Counter Propagation Network)由美国由美国Robert Hecht-Niesen提出，它经过组合提出，它经过组合Kohonen学习和学习和Grossberg学习而学习而获得一种新的映射神经网络。获得一种新的映射

27、神经网络。CPN也被称作反复传播模型，也被称作反复传播模型，用来实现样本选择匹配，同时，用来实现样本选择匹配，同时，CPN常被用作联想存贮、方常被用作联想存贮、方式分类、函数逼近、统计分析和数控紧缩等方面。式分类、函数逼近、统计分析和数控紧缩等方面。CPN是一个三层前向网络，各层是一个三层前向网络，各层之间全互连衔接。隐含层称为之间全互连衔接。隐含层称为Kohonen层，即竞争层，采用层，即竞争层，采用无监视学习规那么进展学习。输无监视学习规那么进展学习。输出层称为出层称为Grossberg层，它与隐层，它与隐含层全互连，但不进展竞争。含层全互连，但不进展竞争。Grossberg层采用层采用规

28、那么或规那么或Grossberg规那么进展学习。规那么进展学习。对向传播网络对向传播网络CPN向网络提供的方式集为向网络提供的方式集为(X，Y)，X(x1,x2,xn)T，Y(y1,y2，ym)T。竞争层神经元的输出为。竞争层神经元的输出为Z=(z1,z2,zp)T。权值定义为：权值定义为：wji表示输入神经元表示输入神经元i到竞争神经元到竞争神经元j的权值，的权值，Wj(wj1，wj2，wjn)T；vkj表示竞争神经元表示竞争神经元j到输出神经元到输出神经元k的权值，的权值，Vk=(vk1，vk2,，vkm)T。由于输入层与隐含层。由于输入层与隐含层之间采用竞争学习，所以权值矢量之间采用竞争

29、学习，所以权值矢量Wj的模应为的模应为1，即，即|Wj|=1CPN的运转过程为：的运转过程为：当输入矢量当输入矢量X送入网络时，送入网络时，xi是相应输入神经元是相应输入神经元i的活泼值。此的活泼值。此时竞争层神经元时竞争层神经元j按下式对输入进展加权和运算，得到其相应按下式对输入进展加权和运算，得到其相应的形状：的形状：1mjijiisw xsj表示竞争神经元表示竞争神经元j的加权和，也就是其形状。然后，在竞争的加权和，也就是其形状。然后，在竞争层神经元之间开场竞争，具有最大加权的神经元层神经元之间开场竞争，具有最大加权的神经元c将博得竞争将博得竞争胜利，即胜利，即对向传播网络对向传播网络C

30、PN竞争终了后，竞争层神经元的输出竞争终了后，竞争层神经元的输出zj为：为：max cjjSs01jjczjc，输出层神经元对竞争层神经元的输出进展加权和运算：输出层神经元对竞争层神经元的输出进展加权和运算：kjkjjyz v上式中，上式中，yk是输出神经元是输出神经元k的实践输出。由于的实践输出。由于zc是独一的非是独一的非零值，故有：零值，故有：kkcyv这样，输出神经元的输出只取其与竞争胜利的神经元这样，输出神经元的输出只取其与竞争胜利的神经元c的衔接权值的衔接权值对向传播网络对向传播网络CPNCPN的学习过程为：的学习过程为： 在学习期间，对在学习期间，对Wj和和Vk均要进展调整，分别

31、运用两均要进展调整，分别运用两个不同的算法。首先，当博得竞争胜利的神经元个不同的算法。首先，当博得竞争胜利的神经元c确确定后，这一神经元定后，这一神经元c就被选择用来表达相应的输入样就被选择用来表达相应的输入样本。仅仅是衔接到神经元本。仅仅是衔接到神经元c的从输入层到竞争层的衔的从输入层到竞争层的衔接权值被调整，其他的权值坚持不变。竞争终了后，接权值被调整，其他的权值坚持不变。竞争终了后，开场计算网络的输出，并将其与理想输出相比较，然开场计算网络的输出，并将其与理想输出相比较，然后改动隐含层与输出层神经之间的衔接权值。后改动隐含层与输出层神经之间的衔接权值。 输入层与隐含层的权值按下式调整：输

32、入层与隐含层的权值按下式调整：(1)( )( )ciciiciw tw txw t其中其中为学习常数为学习常数(01)，其他的权值，其他的权值wji(jc)坚持不变。坚持不变。对权值进展修正后应对其进展正那么化，即除以欧氏模，网对权值进展修正后应对其进展正那么化，即除以欧氏模，网络隐含层到输出层权值按络隐含层到输出层权值按规那么进展学习：规那么进展学习：(1)( )()jkjkjkkvtvtzyy对向传播网络对向传播网络CPN 由于每次只需竞争胜利神经元c的输出为1，其他的隐含神经元的输出为0，因此只需衔接到隐含层竞争胜利神经元c的权值被调整:( )(1)( )()jkjkjkkkvtjcvt

33、vtyyjc，CPN要求对输入矢量进展正那么化，即使得输入矢量的模为要求对输入矢量进展正那么化，即使得输入矢量的模为1:21iiXx 正那么化后的输入向量就位于一个单位超球面上，权矢量Wj=(wj1,wj2,wjn)T正那么化后也位于该超球面上。对于竞争神经元j的形状，形状计算可写成矢量方式；cosTjjjjsWXWX对向传播网络对向传播网络CPN其中，其中，j为为X与与Wj之间的角度。由于之间的角度。由于|W|X|=1，故有，故有cosjjs因此，具有最小角度的神经元就博得竞争胜利。因此，具有最小角度的神经元就博得竞争胜利。自顺应共振实际自顺应共振实际ART模型模型ART(Adaptive

34、Resonance Theory)模型是一种自组织神经网模型是一种自组织神经网络，由络，由S.Grossberg和和A.Carpentent等人于等人于1986年提出。年提出。ART模型胜利地处理了神经网络学习中的稳定性模型胜利地处理了神经网络学习中的稳定性(固定某一分类集固定某一分类集)与可塑性与可塑性(调整网络固有参数的学习形状调整网络固有参数的学习形状)的关系问题。的关系问题。 ART是以认知和行为方式为根底的一种无教师、矢量聚类和竞是以认知和行为方式为根底的一种无教师、矢量聚类和竞争学习的算法。在数学上，争学习的算法。在数学上，ART由线性微分方程描画；在网络由线性微分方程描画；在网络

35、构造上，构造上，ART网络是全反响构造，且各层节点具有不同的性质；网络是全反响构造，且各层节点具有不同的性质；ART由分别的外部单元控制层间数据通讯。由分别的外部单元控制层间数据通讯。ART与其他网络相与其他网络相比，具有以下一些特点：比，具有以下一些特点：(1)神经网络要实现的是实时学习，而不是离线学习；神经网络要实现的是实时学习，而不是离线学习；(2)神经网络面对的是非平稳的、不可预测的非线性世界；神经网络面对的是非平稳的、不可预测的非线性世界；(3)神经网络具有自组织的功能，而不只是实现有教师的学习；神经网络具有自组织的功能，而不只是实现有教师的学习；(4)神经网络具有自稳定性；神经网络

36、具有自稳定性；(5)神经网络能自行学习一种评价目的神经网络能自行学习一种评价目的(评价函数评价函数)，而不需求外，而不需求外界强行给出评价函数。界强行给出评价函数。自顺应共振实际自顺应共振实际ART模型模型(6)神经网络能自动地将留意力集中于最有意义的特征，而不神经网络能自动地将留意力集中于最有意义的特征，而不需求被动地由外界给出对各种特征的留意权值；需求被动地由外界给出对各种特征的留意权值；(7)神经网络能直接找到应激发的单元，而不需对整个存贮空神经网络能直接找到应激发的单元，而不需对整个存贮空间进展搜索；间进展搜索；(8)神经网络可以在近似匹配的根底上进一步学习，这种基于神经网络可以在近似

37、匹配的根底上进一步学习，这种基于假设检验根底上的学习对干扰具有更好的鲁棒性；假设检验根底上的学习对干扰具有更好的鲁棒性；(9)神经网络的学习可以先快后慢，防止了系统振荡；神经网络的学习可以先快后慢，防止了系统振荡；(10)神经网络可实现快速直接访问，识别速度与方式复杂性无神经网络可实现快速直接访问，识别速度与方式复杂性无关；关；(11)神经网络可经过神经网络可经过“警戒参数来调整判别函数。警戒参数来调整判别函数。ART1的根本原理的根本原理ART1的构造原理如下图，模型分为两个子系统：留意子系的构造原理如下图，模型分为两个子系统：留意子系统和取向子系统。前者处置已学习的方式，也就是对曾经熟习统

38、和取向子系统。前者处置已学习的方式，也就是对曾经熟习的方式建立起准确的内部表示，后者处置新出现的方式，当不的方式建立起准确的内部表示，后者处置新出现的方式，当不熟习的事件出现时，它回熟习的事件出现时，它回调留意子系统，在内部建立调留意子系统，在内部建立新的内部编码来表示不熟习新的内部编码来表示不熟习的事件。的事件。在留意子系统中有两个非几在留意子系统中有两个非几何意义上的层次来处置接受何意义上的层次来处置接受到的信息，即到的信息，即F1和和F2，短期，短期记忆。记忆。F1和和F2之间的衔接通之间的衔接通道为长期记忆。该长期记忆道为长期记忆。该长期记忆又分为自上而下和自下而上又分为自上而下和自下

39、而上两类，它们都用相应的权值两类，它们都用相应的权值来表示。留意子系统中的增来表示。留意子系统中的增益控制使得益控制使得F1可以对自上而可以对自上而下的引发方式和自下而上的输入方式加以区分。下的引发方式和自下而上的输入方式加以区分。ART1的根本原理的根本原理(1)ART-1的任务过程的任务过程: 留意子系统的留意子系统的F1接受外界的输入方式接受外界的输入方式I，I被转换成被转换成F1中的中的单元任务方式单元任务方式X，即单元的形状，即单元的形状(神经元的活泼值神经元的活泼值)，有，有1STMIXF方式方式X被短期记忆被短期记忆(STM)在在F1中。中。 在在X中，足够活泼的节点中，足够活泼

40、的节点(处于激活的单元处于激活的单元)将产生将产生F1的输的输出，激活输出出，激活输出S1XSF阈值S方式经过单向衔接权方式经过单向衔接权LTM1(wij)保送到保送到F2中，从而建立起中，从而建立起F2输入方式输入方式T1LTMSTART1的根本原理的根本原理 在F2中，T经过F2的神经元之间的相互作用，构成一个对输入方式T的比较加强的过程。相互作用的结果是在F2中产生一个短期记忆(STM)的方式Y(对比加强方式)，也即是F2中神经元的形状：2max()jiTSYF该对比加强的过程就是在该对比加强的过程就是在F2中选中选择一个与当前输入相对应的输出择一个与当前输入相对应的输出值为最大的神经元

41、的过程。所选值为最大的神经元的过程。所选择的神经元是用来表示活泼方式择的神经元是用来表示活泼方式的独一的神经元的独一的神经元(即能对输入方式即能对输入方式作出呼应的神经元作出呼应的神经元)。 上述自下而上述自下而上的过程如下图。上的过程如下图。自下而上过程自下而上过程ART1的根本原理的根本原理由由F2中产生的方式中产生的方式Y得到一个自上而下的鼓励信号方式得到一个自上而下的鼓励信号方式U，只，只需需Y中足够活泼的神经元才干产生中足够活泼的神经元才干产生U，这也是由阈值函数控制，这也是由阈值函数控制的：的：2()jf xYUFF2的输出方式经单向衔接权的输出方式经单向衔接权LTM2(wji)被

42、保送到被保送到F1中，成为中，成为另一输入另一输入V，如右图所示。，如右图所示。2LTMUV自上而下过程自上而下过程这祥这祥F1中就有两个输入方式中就有两个输入方式V和和I，V和和I相互结合产生出方式相互结合产生出方式X*：*1()( , )IVI VXFART1的根本原理的根本原理 X*与仅由与仅由I产生的产生的X是不一样是不一样的。特别地的。特别地,F1要进展要进展V和和I之间的之间的匹配，匹配的结果用来确定进一匹配，匹配的结果用来确定进一步的学习和作用过程。步的学习和作用过程。 当输入方式当输入方式I在产生在产生X的同的同时，时，X对调整子系统对调整子系统A具有抑制造具有抑制造用。如今由

43、用。如今由F2输入的方式输入的方式V将可将可能使这种对能使这种对A的抑制造用发生改的抑制造用发生改变。当在变。当在F1中，中，V和和I的非匹配程的非匹配程度添加时，从度添加时，从F1到到A的抑制就相的抑制就相应减小。假设匹配程度降低到足够应减小。假设匹配程度降低到足够小，小，F1对对A的抑制控制降低到某一限制时，的抑制控制降低到某一限制时，A被激活而产生出被激活而产生出一个控制信号送到一个控制信号送到F2中改动了中改动了F2的形状，并取消了原来自下的形状，并取消了原来自下而上的方式而上的方式Y和和V，终了了，终了了V和和I失配。如下图。失配。如下图。调整子系统调整子系统A被鼓励被鼓励ART1的

44、根本原理的根本原理 这样，输入方式这样，输入方式I在在F1中再中再产生一个方式产生一个方式X，随后相继又产，随后相继又产生生S和和T，送入到，送入到F2中。由于在中。由于在F2中已有抑制信号存在，中已有抑制信号存在，T就在就在F2中产生一个新的样板方式中产生一个新的样板方式Y*，而不是原来的方式而不是原来的方式Y，如下图。，如下图。新的新的Y*又产生出新的样板方式又产生出新的样板方式V*，此时此时V*再与再与I匹配，如失配，那么匹配，如失配，那么A又被启动，在又被启动，在F2中又产生一个消中又产生一个消除信号。上述过程不断进展到除信号。上述过程不断进展到V*在在F1中与中与I相匹配时为止。该过

45、程相匹配时为止。该过程控制了控制了LTM的搜索，从而调整了的搜索，从而调整了LTM对外界环境的编码。对外界环境的编码。 经过上述过程可知，信号方式在经过上述过程可知，信号方式在F1与与F2之间来回运转之间来回运转(振振荡荡)，不断地调整，不断地调整V*与与I,直至与其匹配直至与其匹配(共振共振)为止。为止。新一轮自下而上过程新一轮自下而上过程ART1的根本原理的根本原理对于调整子系统的鼓励作用可以这样思索：对于调整子系统的鼓励作用可以这样思索： 当当V*与与I不匹配时，需求从不匹配时，需求从A中送一个去除信号到中送一个去除信号到F2中去。中去。假定假定|I|表示表示I元素的个数，当元素的个数，

46、当IF1时同时产生一个信号时同时产生一个信号P到到A中，一切的中，一切的I产生了产生了P|I|。同祥假定。同祥假定F1中的神经元也产生一中的神经元也产生一个信号个信号Q(抑制抑制)到到A，用，用|X|表示表示F1中激活单元中激活单元X的个数，那的个数，那么一切的抑制信号为么一切的抑制信号为Q|X|。当。当P|l|Q|X|时，时，A就收到鼓励就收到鼓励信号，产生一个去除信号到信号，产生一个去除信号到F2中。中。222()1max:()0jkjXPAFQIFf yT kJf yJFj设 为 的警戒参数，当成立时产生一个清除信号到 中。此时 中的神经元输出按下式修正：，T，其它其中 是 中在学习过程

47、中未被置以新值的神经元集合2/3匹配规那么匹配规那么方式方式V和和I的匹配是根据一定规那么进展的的匹配是根据一定规那么进展的,该规那么被称为该规那么被称为23匹配规那么，这是根据匹配规那么，这是根据F1能够的能够的3个输入信号个输入信号(自上而下的自上而下的样板样板V、自下而上的输入方式、自下而上的输入方式I以及增益控制输入以及增益控制输入)中要有中要有2个个起作用才干使起作用才干使F1产生输出而命名。当自上而下过程产生输出而命名。当自上而下过程3个信号个信号源中假设只需一个在起作用，如图源中假设只需一个在起作用，如图(a),因此因此F1不会被自上而下不会被自上而下的方式提早激发。当在的方式提

48、早激发。当在F1处置自下而上过程时，因同时接遭处置自下而上过程时，因同时接遭到输入信号到输入信号I和增益控制信号，和增益控制信号，F1被激活，如图被激活，如图(b)。当。当F1在在自上而下和自下而上的信号同时作用时，增益控制被自上而自上而下和自下而上的信号同时作用时，增益控制被自上而下通道抑制，下通道抑制，F1中的神经元能否被激活，依赖于足够大的自中的神经元能否被激活，依赖于足够大的自上而下和自下而上信号的共同作用。只接受二个信号中的一上而下和自下而上信号的共同作用。只接受二个信号中的一个，神经元节点就不会起作用，所以失配部分不会被激活，个，神经元节点就不会起作用，所以失配部分不会被激活，如图

49、如图(c)。图。图(d)表示方式之间的抑制衔接，当子系统从一个方表示方式之间的抑制衔接，当子系统从一个方式向另一个方式挪动时，这种抑制可以阻止式向另一个方式挪动时，这种抑制可以阻止F1提早发生激活。提早发生激活。2/3匹配规那么匹配规那么增益控制可以决议增益控制可以决议F1如何知道信号是如何知道信号是来自下边的输入还来自下边的输入还是来自上边的反响。是来自上边的反响。由于当由于当F2被激发，被激发，启动向启动向F1保送学习保送学习样板时，增益控制样板时，增益控制就会给出抑制造用就会给出抑制造用来影响来影响F1对输入呼对输入呼应的灵敏度，从而应的灵敏度，从而使得使得F1区分自上而区分自上而下和自下而上的信下和自下而上的信号。号。ART-1的学习算法的学习算法假定假定F1中神经元为中神经元为vi，