自组织神经网络.ppt

1 第四章自组织神经网络 SONN 2 SONN概述 在人类的认识过程中 除了从教师那里得到知识外 还有一种不需要通过教师 自动向环境学习的能力 这种仅依靠环境刺激的 无师自通 的功能称为自组织学习方法 在网络结构上 它一般是由输入层和竞争层构成的两层网络 两层之间各神经元实现双向连接 而且网络没有隐含层 有时竞争层各神经元之间还存在横向连接 1 区域性 视觉 听觉 预言理解 运动控制 2 自组织 遗传加上学习 3 记忆方式 一群元对应于一个模式 4 兴奋刺激规律 墨西哥草帽型 中间强度大 逐渐衰减 远离中心的受到抑制 3 SONN概述 在学习算法上 它模拟生物神经系统依靠神经元之间的兴奋 协调与抑制 竞争的作用来进行信息处理的动力学原理指导网络的学习与工作 而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则 以竞争型神经网络为基础可以构成一些具有自组织能力的网络 如 自适应共振理论 AdaptiveResonanceTheory 网络 自组织特征映射 Self OrganizingFeatureMap 网络 对向传播 CounterPropagation 网络 4 竞争学习原理 竞争学习网络的第一个层次是输入层次 它接受输入样本 第二个层次是竞争层次 它对输入样本进行分类 对于某个神经元i的所有连接权之和为1 即设输入样本为二值向量 各元素取值为0或1 竞争层单元j的状态按下式计算 5 竞争学习原理 在WTA WinnerTakesAll 机制中 竞争层上具有最大加权的神经元j赢得竞争胜利 其输出为 竞争后的权值按下式修正 其中 为学习参数 0 1 一般取0 01 0 03 M为输入层上输出值为1的神经元个数 即 6 竞争学习原理 当xi 1时 权值增加 而当xi 0时 权值减小 即当xi活跃时 对应的第i个权值就增加 否则就减少 由于所有的权值之和为1 故当第i个权值增加或减少时 对应的其他权值就可能减少或增加 式中的第二项则保证整个权值的调整能满足所有权值的调整量之和为0 即 7 竞争学习原理 例 给出一个竞争学习网络 如图所示 要求通过训练将输入模式集划分为两类 设输入模式为 分析所给出模式之间的Hamming距离 两个二进制输入模式不同状态的个数 其模式的相似性可用下面的矩阵表示 8 竞争学习原理 所谓两个模式彼此相似 是指其Hamming距离小于某个常量 本例中 x1 x2彼此相似 x3 x4彼此相似 前两个模式x1 x2与后两个模式x3 x4的Hamming距离较大 因此 输入模式自然可分为两类 网络训练完成后 得到如下两类 每一类包含两个输入模式 同一类模式的Hamming距离为1 不同类模式的Hamming距离为2或3 网络的分类原则来源于输入模式的固有特征 用不同的初始权值反复进行训练 网络仍然能自组织学习 完成正确的模式分类 9 竞争学习网络特征 在竞争学习中 竞争层的神经元总是趋向于响应它所代表的某个特殊的样本模式 这样输出神经元就变成检测不同模式类的检测器 竞争学习方法是网络通过极小化同一模式类里面的样本之间的距离 极大化不同模式类间的距离来寻找模式类 这里所说的模式距离指Hamming距离 如模式010与模式101的Hamming距离为3 对这种竞争学习算法进行的模式分类 有时依赖于初始的权值以及输入样本的次序 要得到较好的训练结果 例如图所示的模式分类 网络应将其按Hamming距离分为三类 10 竞争学习网络特征 假如竞争层的初始权值都是相同的 那么竞争分类的结果是 首先训练的模式属于类1 由竞争单元1表示 随后训练的模式如果不属于类1 它就使竞争单元2表示类2 剩下的不属于前两类的模式使单元3获胜 为类3 假如不改变初始权值分布 只改变模式的训练顺序 这可能使竞争层单元对模式影响分类响应不一样 此时获胜的竞争单元1有可能代表类2或3 这种顺序上的不一样会造成分类学习很不稳定 会出现对同一输入模式在不同的迭代时有不同的响应单元 分类结果就产生振荡 11 竞争学习网络特征 竞争学习网络所实现的模式分类情况与典型的BP网络分类有所不同 BP网络分类学习必须预先知道将输入模式分为几个类别 而竞争网络将给定的模式分为几类预先并不知道 只有在学习后才能确定 竞争学习网络也存在一些局限性 1 只用部分输入模式训练网络 当用一个明显不同的新的输入模式进行分类时 网络的分类能力可能会降低 甚至无法对其进行分类 这是由于竞争学习网络采用的是非推理方式调节权值 2 竞争学习对模式变换不具备冗余性 其分类不是大小 位移 旋转不变的 从结构上也不支持大小 位移 旋转不变的分类模式 因此在使用上通常利用竞争学习的无监督性 将其包含在其它网络中 12 自组织特征映射 SOFM 模型 自组织特征映射模型也称为Kohonen网络 或者称为Self organizingmap 由芬兰学者TeuvoKohonen于1981年提出 该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络 Kohonen认为 处于空间中不同区域的神经元有不同的分工 当一个神经网络接受外界输入模式时 将会分为不同的反应区域 各区域对输入模式具有不同的响应特征 SOFM模型的一个典型特性就是可以在一维或二维的处理单元阵列上形成输入信号的特征拓扑分布 因此SOFM模型具有抽取输入信号模式特征的能力 SOFM模型一般只包含有一维阵列和二维阵列 但可以推广到多维处理单元阵列 13 自组织特征映射 SOFM 模型 Kohonen网络模型由四个部分组成 1 处理单元阵列 接受事件输入 并且形成对这些信号的 判别函数 2 比较选择机制 比较 判别函数 并选择一个具有最大函数输出值的处理单元 3 局部互连作用 同时激励被选择的处理单元及其最邻近的处理单元 4 自适应过程 修正被激励的处理单元的参数 以增加其相应于特定输入 判别函数 的输出值 14 自组织特征映射 SOFM 模型 竞争层竞争规则 在竞争层中 神经元的竞争是这样进行的 对于获胜的神经元g 在其周围Ng的区域内 神经元在不同程度上都得到兴奋 而在Ng以外的神经元都被抑制 Ng可以是任何形状 但一般是均匀对称的 如正方形或六角形 Ng是时间函数 用Ng t 表示 随t增加 Ng t 减小 最后达到预定的范围 SOFM网络在无教师示教的情况下 通过对输入模式的自组织学习 在竞争层将分类结果表示出来 这种表现方式的不同之处在于 它不是以一个神经元或者网络的状态矢量反映分类结果的 而是以若干神经元同时 并行 反映结果 与这若干神经元相连的连接权虽略有差别 但这些神经元的分类作用基本上是并列的 即其中任何一个神经元都能代表分类结果和近似分类结果 15 自组织特征映射 SOFM 模型 此外 这种网络之所以称为特征映射网络 是因为网络通过对输入模式的反复学习 可以使连接权矢量的空间分布密度与输入模式的概率分布趋于一致 即连接权矢量的空间分布能反映输入模式的统计特征 可见 SOFM网络可用于样本排序 样本分类及样本特征检测等 16 自组织特征映射 SOFM 模型 网络实际具有响应的输出单元k 该单元的确定是通过胜者全得 WTA 竞争得到的 即 SOFM模型的输入输出单元之间是全连接的 其权值修正规则为 设网络输入为X 输出神经元i与输入层单元的连接权为Wi 则输出层神经元j的输出oi为 17 自组织特征映射 SOFM 模型 Kohonen算法步骤 1 初始化 对m个输入神经元到n个输出神经的连接权随机赋以较小的权值 置迭代次数T 学习参数 0 选取输出神经元j的 邻接神经元 的集合Sj 0 表示时刻t 0时的神经元j的 邻接神经元 的集合 区域sj t 随时间的增长而不断缩小 2 提供归一化的输入模式x 3 计算欧氏距离dj 即输入样本与每个输出神经元j之间的欧氏距离 计算出一个具有最小距离的神经元j 作为竞争获胜节点 4 按下式修正输出神经元j 及其 邻接神经元 sj t 的权值 18 自组织特征映射 SOFM 模型 4 重复输入所有样本直到达到迭代次数T 19 化成极坐标形式 自组织特征映射 SOFM 模型 20 自组织特征映射 SOFM 模型 最终向量 21 自产生与自组织神经网络 SCONN 自组织特征映射神经网络存在以下局限 当输入模式为圆形分布时 中心节点无法学习成为死节点由于输出层边界节点学习的次数远多于中心节点 因此存在明显的边界效应 需要很多的时间学习来消除当输入模式拓扑结构比较复杂时系统会很不稳定当输入模式序列不稳定时系统可塑性差自产生与自组织神经网络 假定初始时刻网络节点数很少 甚至只有一个节点 而响应神经元的激励动态范围较宽 也就是说神经元对任何刺激都会响应 响应阈值随时间衰减至一个固定的水平 其中有一个神经元有最大激励但没有达到响应值 就产生一个子节点 22 自产生与自组织神经网络 SCONN 自产生与自组织神经网络算法 1 初始化权系数 响应阈值 t 迭代次数 学习参数等 2 输入新的模式 3 计算输入模式与所有输出节点的欧氏距离 4 选择距离最小的节点为竞争获胜节点 5 判断获胜节点是否响应 若是转 6 否转 7 23 自产生与自组织神经网络 SCONN 6 调节获胜节点 和家族节点 权系数 降低所有节点的响应阈值 转 2 7 由非响应获胜节点产生一个子节点 降低所有节点的响应阈值 转 2 R t 为区间 0 1 内的相似系数上述算法的中止有三个准则 迭代次数T 输出节点数Sj 响应阈值 t 24 对向传播网络 CPN CPN CounterPropagationNetwork 由美国RobertHecht Niesen提出 它通过组合Kohonen学习和Grossberg学习而获得一种新的映射神经网络 CPN也被称作重复传播模型 用来实现样本选择匹配 同时 CPN常被用作联想存贮 模式分类 函数逼近 统计分析和数控压缩等方面 CPN是一个三层前向网络 各层之间全互连连接 隐含层称为Kohonen层 即竞争层 采用无监督学习规则进行学习 输出层称为Grossberg层 它与隐含层全互连 但不进行竞争 Grossberg层采用 规则或Grossberg规则进行学习 25 对向传播网络 CPN 向网络提供的模式集为 X Y X x1 x2 xn T Y y1 y2 ym T 竞争层神经元的输出为Z z1 z2 zp T 权值定义为 wji表示输入神经元i到竞争神经元j的权值 Wj wj1 wj2 wjn T vkj表示竞争神经元j到输出神经元k的权值 Vk vk1 vk2 vkm T 由于输入层与隐含层之间采用竞争学习 所以权值矢量Wj的模应为1 即 Wj 1CPN的运行过程为 当输入矢量X送入网络时 xi是相应输入神经元i的活跃值 此时竞争层神经元j按下式对输入进行加权和运算 得到其相应的状态 sj表示竞争神经元j的加权和 也就是其状态 然后 在竞争层神经元之间开始竞争 具有最大加权的神经元c将赢得竞争胜利 即 26 对向传播网络 CPN 竞争结束后 竞争层神经元的输出zj为 输出层神经元对竞争层神经元的输出进行加权和运算 上式中 y k是输出神经元k的实际输出 由于zc是惟一的非零值 故有 这样 输出神经元的输出只取其与竞争胜利的神经元c的连接权值 27 对向传播网络 CPN CPN的学习过程为 在学习期间 对Wj和Vk均要进行调整 分别使用两个不同的算法 首先 当赢得竞争胜利的神经元c确定后 这一神经元c就被选择用来表达相应的输入样本 仅仅是连接到神经元c的从输入层到竞争层的连接权值被调整 其他的权值保持不变 竞争结束后 开始计算网络的输出 并将其与理想输出相比较 然后改变隐含层与输出层神经之间的连接权值 输入层与隐含层的权值按下式调整 其中 为学习常数 0 1 其他的权值wji j c 保持不变 对权值进行修改后应对其进行正则化 即除以欧氏模 网络隐含层到输出层权值按 规则进行学习 28 对向传播网络 CPN 由于每次只有竞争胜利神经元c的输出为1 其他的隐含神经元的输出为0 因此只有连接到隐含层竞争胜利神经元c的权值被调整 CPN要求对输入矢量进行正则化 即使得输入矢量的模为1 正则化后的输入向量就位于一个单位超球面上 权矢量Wj wj1 wj2 wjn T正则化后也位于该超球面上 对于竞争神经元j的状态 状态计算可写成矢量形式 29 对向传播网络 CPN 其中 j为X与Wj之间的角度 由于 W X 1 故有 因而 具有最小角度的神经元就赢得竞争胜利 30 自适应共振理论 ART 模型 ART AdaptiveResonanceTheory 模型是一种自组织神经网络 由S Grossberg和A Carpentent等人于1986年提出 ART模型成功地解决了神经网络学习中的稳定性 固定某一分类集 与可塑性 调整网络固有参数的学习状态 的关系问题 ART是以认知和行为模式为基础的一种无教师 矢量聚类和竞争学习的算法 在数学上 ART由线性微分方程描述 在网络结构上 ART网络是全反馈结构 且各层节点具有不同的性质 ART由分离的外部单元控制层间数据通讯 ART与其他网络相比 具有以下一些特点 1 神经网络要实现的是实时学习 而不是离线学习 2 神经网络面对的是非平稳的 不可预测的非线性世界 3 神经网络具有自组织的功能 而不只是实现有教师的学习 4 神经网络具有自稳定性 5 神经网络能自行学习一种评价指标 评价函数 而不需要外界强行给出评价函数 31 自适应共振理论 ART 模型 6 神经网络能主动地将注意力集中于最有意义的特征 而不需要被动地由外界给出对各种特征的注意权值 7 神经网络能直接找到应激发的单元 而不需对整个存贮空间进行搜索 8 神经网络可以在近似匹配的基础上进一步学习 这种基于假设检验基础上的学习对干扰具有更好的鲁棒性 9 神经网络的学习可以先快后慢 避免了系统振荡 10 神经网络可实现快速直接访问 识别速度与模式复杂性无关 11 神经网络可通过 警戒 参数来调整判别函数 32 ART 1的基本原理 ART 1的结构原理如图所示 模型分为两个子系统 注意子系统和取向子系统 前者处理已学习的模式 也就是对已经熟悉的模式建立起精确的内部表示 后者处理新出现的模式 当不熟悉的事件出现时 它回调注意子系统 在内部建立新的内部编码来表示不熟悉的事件 在注意子系统中有两个非几何意义上的层次来处理接受到的信息 即F1和F2 短期记忆 F1和F2之间的连接通道为长期记忆 该长期记忆又分为自上而下和自下而上两类 它们都用相应的权值来表示 注意子系统中的增益控制使得F1可以对自上而下的引发模式和自下而上的输入模式加以区分 33 ART 1的基本原理 1 ART 1的工作过程 注意子系统的F1接受外界的输入模式I I被转换成F1中的单元工作模式X 即单元的状态 神经元的活跃值 有 模式X被短期记忆 STM 在F1中 在X中 足够活跃的节点 处于激活的单元 将产生F1的输出 激活输出S S模式经过单向连接权LTM1 wij 输送到F2中 从而建立起F2输入模式T 34 ART 1的基本原理 在F2中 T经过F2的神经元之间的相互作用 构成一个对输入模式T的比较增强的过程 相互作用的结果是在F2中产生一个短期记忆 STM 的模式Y 对比增强模式 也即是F2中神经元的状态 该对比增强的过程就是在F2中选择一个与当前输入相对应的输出值为最大的神经元的过程 所选择的神经元是用来表示活跃模式的唯一的神经元 即能对输入模式作出响应的神经元 上述自下而上的过程如图所示 自下而上过程 35 ART 1的基本原理 由F2中产生的模式Y得到一个自上而下的激励信号模式U 只有Y中足够活跃的神经元才能产生U 这也是由阈值函数控制的 F2的输出模式经单向连接权LTM2 wji 被输送到F1中 成为另一输入V 如右图所示 自上而下过程 这祥F1中就有两个输入模式V和I V和I相互结合产生出模式X 36 ART 1的基本原理 X 与仅由I产生的X是不相同的 特别地 F1要进行V和I之间的匹配 匹配的结果用来确定进一步的学习和作用过程 当输入模式I在产生X的同时 X对调整子系统A具有抑制作用 现在由F2输入的模式V将可能使这种对A的抑制作用发生改变 当在F1中 V和I的非匹配程度增加时 从F1到A的抑制就相应减小 若匹配程度降低到足够小 F1对A的抑制控制降低到某一限度时 A被激活而产生出一个控制信号送到F2中改变了F2的状态 并取消了原来自下而上的模式Y和V 结束了V和I失配 如图所示 调整子系统A被激励 37 ART 1的基本原理 这样 输入模式I在F1中再产生一个模式X 随后相继又产生S和T 送入到F2中 由于在F2中已有抑制信号存在 T就在F2中产生一个新的样板模式Y 而不是原来的模式Y 如图所示 新的Y 又产生出新的样板模式V 此时V 再与I匹配 如失配 则A又被启动 在F2中又产生一个消除信号 上述过程一直进行到V 在F1中与I相匹配时为止 该过程控制了LTM的搜索 从而调整了LTM对外界环境的编码 通过上述过程可知 信号模式在F1与F2之间来回运行 振荡 不断地调整V 与I 直至与其匹配 共振 为止 新一轮自下而上过程 38 ART 1的基本原理 对于调整子系统的激励作用可以这样考虑 当V 与I不匹配时 需要从A中送一个清除信号到F2中去 假定 I 表示I元素的个数 当I F1时同时产生一个信号P到A中 所有的I产生了P I 同祥假定F1中的神经元也产生一个信号Q 抑制 到A 用 X 表示F1中激活单元X的个数 则所有的抑制信号为Q X 当P l Q X 时 A就收到激励信号 产生一个清除信号到F2中 39 2 3匹配规则 模式V和I的匹配是根据一定规则进行的 该规则被称为2 3匹配规则 这是根据F1可能的3个输入信号 自上而下的样板V 自下而上的输入模式I以及增益控制输入 中要有2个起作用才能使F1产生输出而命名 当自上而下过程3个信号源中如果只有一个在起作用 如图 a 因而F1不会被自上而下的模式提前激发 当在F1处理自下而上过程时 因同时接受到输入信号I和增益控制信号 F1被激活 如图 b 当F1在自上而下和自下而上的信号同时作用时 增益控制被自上而下通道抑制 F1中的神经元是否被激活 依赖于足够大的自上而下和自下而上信号的共同作用 只接受二个信号中的一个 神经元节点就不会起作用 所以失配部分不会被激活 如图 c 图 d 表示模式之间的抑制连接 当子系统从一个模式向另一个模式移动时 这种抑制可以阻止F1提前发生