神经网络导论第四章

1、第四章自组织神经网络模型 概述 神经网络的一个重要特点就是它具有学习能力。在前面两节中介绍的神经网络模型（Hopfield神经网络模型除外）的学习都是有监督的，在这一章中我们将详细介绍自适应谐振理论神经网络模型、自组织映射神经网络模型、对流神经网络模型三种无监督学习神经网络，它们可以自动地向环境学习，都是自组织神经网络模型。内容提要 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 对流神经网络模型（CPN） 应用实例分析第一节自适应谐振理论概述 自适应谐振理论（简称ART）的目的是为人类的心理和认知活动建立一个统一的数学理论。自适应谐振理论神经网络模型就是这一理论的核心经过发展而得

2、到的一种对随机输入模式进行自稳定识别编码的模型结构。它主要包含ART1、ART2和ART3几种模型。ART1主要用于二值输入模式，ART2和ART3主要用于连续信号输入模式。ART模型的结构ART模型的工作过程之注意子系统 经过预处理的信号I进入注意子 系统中F1的输入端，经F1中的 处理单元变换成激励模式X， 在完成了特征检测之后，F1中 激励最大的处理单元就会输出 信号到F2，形成F1的输出模式 S。S经过F1到F2的LTM加权组合变换成模式T而作用于F2的输入端。F2接收到T后，通过其中神经元间的相互作用，迅速产生对比度增强了的模式Y。ART模型的工作过程之注意子系统 一旦自下而上变换X

3、Y完 成之后，Y就会产生自上 而下的激励信号模式U， 并向F1传送，只有足够大 的激励才会向反馈通路传 送信号U。U经过F2到F1的LTM加权组合变成模式V，V称为自上而下的模板或学习期望。ART模型的工作过程之调整子系统ART模型的工作过程之调整子系统 输入模式在产生X的同时也会激发调整子系统A，但是F1中的X会在调整子系统A产生输出之前禁止它起作用。当F2的反馈模式V与F1的输入模式I失配（不匹配）时，就会大大减弱这一禁止作用，当减弱到一定程度时，调整子系统A被激活，这样A向F2送出一重置波，并作用于F2的全部处理单元，从而改变F2的状态，取消原来自上而下的模板V，结束V与I的匹配。输入I

4、一直起作用，然后F2产生新的状态Y ，Y产生新的自上而下的模板V，如果V仍与I失配，调整子系统还会起作用，这样一系列的搜索、匹配和重置过程一直继续，直到F2送回的自上而下模板与外界输入I相匹配为止。ART模型的工作过程之增益控制 在上述过程中，注意子系统的增益控制在F1与F2之间起到了协调作用。比如,若F2被激发，向F1送学习模板，增益控制则会给出禁止作用来影响F1对输入响应的灵敏度，使F1能够区分这一激励是来自输入还是F2。ART模型工作过程之2/3规则 F1有三个信号源：F2的自上而下模板输入、F1增益控制输入和外界输入I，F1 必须在其增益控制输入和外界输入I同时起作用时，才会产生自下而

5、上的输出信号。在自下而上的过程中，F1同时接收其增益控制作用的输入和外界输入，从而产生自下而上的输出；在自上而下的过程中，增益控制输入被自上而下的通道禁止，虽然输入信号I在继续作用于F1，但是F1并不被提前激发， 失配部分不会被激活，使得F1中的STM激发作用减少。ART神经网络结构 ART神经网络模型是一个两层神经网络网络，下层为输入神经元，上层为输出神经元，记从上到下神经元间连接权值为bij，从下到上神经元间连接权值为fij。其中i=1,，n；j=1,，m。ART神经网络模型的学习初始化阶段匹配阶段比较和搜索阶段权值调整阶段ART神经网络模型的学习过程初始化阶段 对所有的i，j(i=1,，

6、n；j=1,，m)，设置 。置 为(0,1)区间内的一个值。 其中：n为输入处理单元个数；m为输出单元个数； 为警戒线值，表示两个样本拟合程度多大才认为是匹配的。ART神经网络模型的学习过程匹配阶段 将一新的样本向量X送入输入神经元。 计算匹配度，也就是计算输出神经元的输出值： 其中：oj是输出神经元的输出；xi是输入神经元i的输入，取值为0或1。ART神经网络模型的学习过程比较搜索阶段 选择一最佳匹配： 警戒线检查：ART神经网络模型的学习过程比较搜索阶段 若 ，则转向权值调整阶段； 若 ，则重新寻求最佳匹配。把刚找到的最佳匹配处理单元置上标志，下次选择较优匹配时不予参加，选择下一较优匹配，

7、重复上述过程。ART神经网络模型的学习过程比较搜索阶段 如果在上述比较搜索过程中没有找到一个满足警戒线检测条件的神经元。则生成一个新的输出神经元，并将其从上至下的连接权值设置为输入向量的各个分量值，输入神经元到它的连接权值按初始化阶段设置权值的方法进行设置。并结束对该样本的学习。否则转入权值调整阶段。ART神经网络模型的学习过程权值调整阶段 网络自上而下权值 和网络自下而上权值 按如下两式进行调整：ART神经网络模型的回忆过程 输入模式向量，可以根据网络自兴奋侧抑制竞争机制判决输入模式的类别。 根据需要，也可按照上述过程动态加入新的模式类别。从而该神经网络具有自适应聚类和识别的能力。ART神经

8、网络模型的一些说明权值初始化是十分必要的 设置从上至下的神经网络权值是为了对模式进行相似性测量时能够正确地计算其相似性；设置从下至上的神经网络权值是为了保证输入向量能够收敛到其所属类别，而不会轻易增加新的输出神经元。ART神经网络模型的一些说明对警戒线取值的认识 警戒线是人为的取值方式，其值的大小直接影响着模式聚类的类别数和分类精度。如果警戒线值越大，表示分类越精细，模式聚类的类别数越多；如果警戒线值越小，表示对分类要求的精度不高，模式聚类的类别数较少。基于此，也可认为ART神经网络为有导师学习网络。ART神经网络模型的一些说明比较搜索阶段十分必要；ART神经网络模型的学习算法几乎是实时的。A

9、RT神经网络模型的能力 ART神经网络模型可以完成对随机输入模式的实时响应识别编码，且可适应非平稳的环境，对已学过的模式它具有稳定的快速识别能力，同时也能对未学过的模式进行稳定编码，不需要知道模式的标准输出结果，所以它的学习是一种非监督学习方式。它的容量也不受输入通道的限制，而且存储的模式不要求是正交的。自适应谐振理论神经网络模型广泛应用于对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理，可用于如雷达、声纳信号识别等领域。ART神经网络应用实例分析5个输入神经元；30个输出神经元；对30个样本进行模式聚类分析和识别。观测不同的警戒线取值对分类的影响。第二节自组织映射神经网络模型S

10、OMSOM模型提出的生物背景 在人的感觉通道上一个很重要的组织原理是神经元有序地排列着，并且往往可以反映出所感觉到外界刺激的某些物理特性。如在听觉通道的每一个层次上，其神经元与神经纤维在结构上的排列与外界刺激的频率关系十分密切，对于某个频率，相应的神经元具有最大的响应，这种听觉通道上的有序排列一直延续到听觉皮层，尽管许多低层次上的组织是预先排好的，但高层次上的神经组织则是通过学习自组织而形成的。SOM模型的技术要点神经元阵列。 阵列中每个神经元从事件空间中接收相干的输入，并形成这些输入信号的简单辨识（Discriminant）函数。一种比较辨识函数。 并选择一个具有最大函数输出值的处理单元的机

11、制。SOM模型的技术要点局部互连作用。 这种局部互连作用同时刺激被选择的处理单元及其最相邻的邻接处理单元。一个自适应过程。 这个自适应过程修正被激励的处理单元的参数，以增加其相应于特定输入的辨识函数输出值。二维SOM模型的结构SOM模型结构描述 二维自组织映射神经网络模型中。所有的输入信号xi 与一相应的输入神经元相联系，每一输入单元与二维阵列每一个神经元均互连，二维阵列上的神经元也称为输出单元，每个输出单元与其相邻的神经元相连。SOM模型计算的基本原理 当某类模式输入时，其输出层某一神经元得到最大刺激而竞争获胜，同时该获胜神经元周围的一些神经元也因侧向相互作用而受到较大刺激。这时，修改这些神

12、经元和输入神经元之间的连接权值。当输入模式发生变化时，二维平面上获胜的输出神经元也发生改变，通过神经网络权值的调整，使得输出层特征图能够反映输入样本的分布情况。SOM模型计算的基本原理 因此，根据SOM模型的输出状态，不但能够判断输入模式所属的类别，并使得输出神经元代表某一模式类别，还能够得到整个数据区域的大体分布情况，即从样本数据中获得数据分布的大体本质特征。SOM模型的输入、输出 同一组输入信号 x1,x2,xn连接到所有的输入神经元，这组输入信号可以用向量表示为：X=(x1，x2，xn)T。输出神经元i与所有输入神经元之间连接的权向量为：Wi=(wi1，wi2，win)T，相应地，输出神

13、经元i的输出值oi可以写作：SOM模型学习算法概述SOM模型学习算法描述初始化 输入神经元与输出神经元连接的所有权值可以随机地选取某一个较小的值。各个输出神经元j的邻接输出神经元集合NEj的选取如图。NEj(t)表示在时刻t时输出单元j的邻接单元的集合,它是随时间的增长而不断缩小的。SOM模型学习算法描述输入 输入单元接受一组新的输入X=(x1，x2，x3，.，xn) 计算输入X和每个输出神经元连接权向量Wj之间的距离djSOM模型学习算法描述选择具有最小距离的输出神经元j*作为获胜结点。调整输出神经元j*及其邻域Nej*(t)内的神经元所连接的权值向量。 为学习常数，随时间单调下降。SOM模

14、型的说明假设样本输入和连接权值都是归一化的，则选择最小距离的神经元就是选择具有最大输出的神经元。上面的二维SOM模型可以推广到更高维映射的情况。SOM模型的特征映射是一种有序的映射，因此它更加适合于进行特征提取和特征变换。SOM模型应用实例1二维拓扑排序问题2个输入神经元；55个输出神经元；将输出神经元的权值向量表示出来。观测有序拓扑的形成。SOM模型应用实例2SOM模型在TSP问题求解中的应用 网络由两层神经元组成，第一层神经元相互连接（同时也和它们自己相连），该层神经元之间的权值由下式给定： 其中： 为两个神经元之间的距离， 为学习常数。SOM模型应用实例2SOM模型在TSP问题求解中的应

15、用 第二层神经元和第一层神经元之间相互连接，其连接权值给定为：SOM模型应用实例2求解TSP问题的主要步骤：1、构造神经网络 第一层神经元为k个（假设有k个城市），每一神经元均和一个城市的坐标值对应。第二层神经元为2个（输入的是城市的 坐标）。将所有的连接权值初始化为一个随机值。SOM模型应用实例22、送入输入样本 将第二层神经元的设置为一个城市的坐标值。 注意：随机选择城市坐标输入。SOM模型应用实例23、选择竞争获胜的神经元 选取的原则是 SOM模型应用实例24、修改连接权值 修改第一层中所有神经元和第二层神经元之间的连接权值。 其中： 为学习参数。SOM模型应用实例25、降低 和 。重新

16、计算：6、转2，直至收敛。SOM模型应用实例3图形可视化 观测颜色的有序排列。第三节对流神经网络模型（CPN）对流神经网络模型概述 CPN是由SOM模型和Grossberg外星网络组合而形成的一种神经网络模型。是由美国Hecht-Nielsen和Robert-Nielsen提出来的。一般认为，这种由两种或多种网络组合而成的新型网络往往具有比原网络模型更强的能力，它能够克服单个网络的缺陷，而且学习时间较短。CPN网络的结构CPN模型的学习算法学习的样本是向量对： (A1,B1)、(A2,B2)、(An,Bn)竞争层训练阶段： 训练SOM模型，实质是提取特征。Grossberg层训练阶段： 训练的目的，是为了形成正确的联想。CPN网络模型的训练Grossberg层训练方法 假设竞争层的输出分别是z1、z2、zn。则Grossberg层第i个神经元Gi的输出为：CPN网络模型的训练Grossberg层