第五章 自组织竞争神经网络模型.ppt

第五章 自组织竞争神经网络模型 第一节自适应共振理论 概述 1976年 美国Boston大学学者G A Carpenter提出自适应共振理论 AdaptiveResonanceTheory 缩写为ART 他多年来一直试图为人类的心理和认知活动建立统一的数学理论 ART就是这一理论的核心部分 随后G A Carpenter又与S Grossberg提出了ART网络 解决了模式分类的灵活性和稳定性两难问题 它主要包含ART1 ART2两种模型 ART1主要用于处理二值输入模式 ART2是ART1的扩展形式 主要用于处理连续信号输入模式 本节主要介绍ART1 不过其基本概念对ART2也适用 自适应共振理论 ART网络学习算法的基本流程 环境输入模式 与储存的典型向量模式进行比较 神经网络的连接权值 选择最相似的作为该模式的代表类 并调整与该类别相关的权值 以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度 相似度的参考门限 需要在网络中设立一个新的模式类 同时建立与该模式类相连的权值 用以代表和存储该模式以及后来输入的所有同类模式 C 比较层R 识别层Reset 复位信号G1和G2 逻辑控制信号 ART 型网络系统结构 1 C层结构该层有n个节点 每个节点接受来自3个方面的信号 来自外界的输入信号xi 来自R层获胜神经元的外星向量的返回信号tij 来自G1的控制信号 C层节点的输出ci是根据2 3的 多数表决 原则产生的 即输出值ci与xi tij G13个信号中的多数信号值相同 G1 1 反馈回送信号为0 C层输出应由输入信号决定 有C X 反馈回送信号不为0 G1 0 C层输出应取决于输入信号与反馈信号的比较情况 如果xi 1 则ci xi 否则ci 0 网络系统结构 2 R层结构R层有m个节点 用以表示m个输入模式类 m可动态增长 以设立新模式类 由C层向上连接到R第j个节点的内星权向量用Bj b1j b2j bnj 表示 C层的输出向量C沿m个内星权向量Bj j 1 2 m 向前传送 到达R层各个神经元节点后经过竞争再产生获胜节点j 指示本次输入模式的所属类别 获胜节点输出 1 其余节点输出为0 得到R层各模式类节点的典型向量 网络系统结构 3 控制信号控制信号G2的作用是检测输入模式X是否为0 它等于X各分量的逻辑 或 如果xi i 1 2 n 为全0 则G2 0 否则G2 1 控制信号G1的作用是在网络开始运行时为1 以使C X 其后为0以使C值由输入模式和反馈模式的比较结果决定 设R层输出向量各分量的逻辑 或 用R0表示 则信号G1 当R层输出向量R的各分量为全0而输入向量X不是零向量时 G1 1 否则G1 0 控制信号Reset的作用是使R层竞争获胜神经元无效 如果根据某种事先设定的测量标准 C与X未达到预先设定的相似度 表明两者未充分接近 于是系统发出Reset信号使竞争获胜神经元无效 网络系统结构 网络运行原理 相似程度可能出现的两种情况 相似度超过参考门限选该模式类作为当前输入模式的代表类 权值调整规则是 相似度超过参考门限的模式类调整其相应的内外星权向量 以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度 对其它权值向量则不做任何变动 相似度不超过参考门限值需在网络输出端设立一个代表新模式类的节点 用以代表及存储该模式 以便于参加以后的匹配过程 网络运行原理 对于每一个输入 模式网络运行过程可归纳为四个阶段 1 匹配阶段网络在没有输入之前处于等待状态 此时输入端X 0 因此信号G2 0 R0 0 当输入不全为0的模式X时 G2 1 R0 0 使得G1 1 G1为1时允许输入模式直接从C层输出 并向前传至R层 与R层节点对应的所有内星向量Bj进行匹配计算 j 1 2 m选择具有最大匹配度 即具有最大点积 的竞争获胜节点 使获胜节点输出 1 其它节点输出为0 网络运行原理 2 比较阶段R层输出信息通过外星向量返回到C层 R层获胜节点所连的外星权向量激活 从节点j 发出的n个权值信号返回到C层的n个节点 此时 R层输出不全为零 R0 1 而G1 0 所以C层最新输出状态C 取决于由R层返回的外星权向量和网络输入模式X的比较结果 即 i 1 2 n 比较结果C 反映了在匹配阶段R层竞争排名第一的模式类的典型向量与当前输入模式X的相似程度 相似程度的大小可用相似度N0反映 定义为 设输入模式样本中的非零分量数为 网络运行原理 2 比较阶段用于比较的参考门限为 在0 1范围取值 检查输入模式与模式类典型向量之间的相似性是否低于参考门限 如果有N0 N1 表明X与获胜节点对应的类别模式非常接近 称X与发生 共振 第一阶段的匹配结果有效 网络进入学习阶段 网络运行原理 3 搜索阶段网络发出Reset重置信号后即进入搜索阶段 重置信号的作用是使前面通过竞争获胜的神经元受到抑制 并且在后续过程中受到持续的抑制 直到输入一个新的模式为止 由于R层中的竞争获胜的神经元被抑制 从而再度出现R0 0 G1 1 因此网络又重新回到起始的匹配状态 由于上次获胜的节点受到持续的抑制 此次获胜的必然是上次匹配程度排在第二的节点 将该节点对应的外星权向量与输入模式进行匹配计算 如果对R层所有的模式类 在比较阶段的相似度检查中相似度都不能满足要求 说明当前输入模式无类可归 需要在网络输出层增加一个节点来代表并存储该模式类 为此将其内星向量设计成当前输入模式向量 外星向量各分量全设为1 网络运行原理 4 学习阶段在学习阶段要对发生共振的获胜节点对应的模式类加强学习 使以后出现与该模式相似的输入样本时能获得更大的共振 网络运行原理 网络的学习 训练可按以下步骤进行 1 网络初始化从C层向R层的内星权向量Bj赋予相同的较小数值 如从R层到C层的外星权向量Tj各分量均赋1 2 网络接受输入给定一个输入模式 X x1 x2 xn xi 0 1 3 匹配度计算对R层所有内星向量Bj计算与输入模式X的匹配度 j 1 2 m 4 选择最佳匹配节点在R层有效输出节点集合J 内选择竞争获胜的最佳匹配节点j 使得 5 相似度计算R层获胜节点j 通过外星送回获胜模式类的典型向量 C层输出信号给出对向量和X的比较结果 由此结果可计算出两向量的相似度为 6 参考门限检验如果N0 N1 表明X应归为代表的模式类 转向步骤 8 调整权值 8 调整网络权值修改R层节点j 对应的权向量 网络的学习采用两种规则 外星向量的调整按以下规则 i 1 2 n j J 7 搜索匹配模式类若有效输出节点集合J 不为空 转向步骤 4 重选匹配模式类 若J 为空集 需在R层增加一个节点 设新增节点的序号为nc 应使 i 1 2 n 此时有效输出节点集合为J 1 2 m m 1 m nc 转向步骤 2 输入新模式 ART网络的特点 非离线学习即不是对输入集样本反复训练后才开始运行 而是边学习边运行实时方式 每次最多只有一个输出节点为l每个输出节点可看成一类相近样本的代表 当输入样本距某一个内星权向量较近时 代表它的输出节点才响应 通过调整参考门限的大小可调整模式的类数 小 模式的类别少 大则模式的类别多 例一模式分类 例一模式分类 ART 网络的应用 第1步 输入模式XA 将R层的4个节点中输出最大的一个命名为节点1 有j 1 由于初始化后tij 1 所以相似度N0 N1 1 大于参考门限 故第一个模式被命名为第一类模式 修改节点1的内星权向量 得 修改节点1的外星权向量 得其余仍为初始值1 26 对比输入模式XA 可以看出 以上调整结果将模式XA存储在神经元1的内外星权向量中 例一模式分类 第2步 输入模式XB时 R层只有一个已存储模式 故不存在类别归属的竞争 只需判断该模式与已存储模式T1 XA的相似度 得N0 N1 5 9 0 7 从相似度可以看出 模式XB有9个黑象素 而XA与XB只有5个黑象素完全重合 故相似度检验不合格 由于R层已没有其它已存储模式类可供选择 需动用一个新节点 命名为节点2 用以代表新模式XB 节点2的外星权向量为T2 XB 内星权向量为其余分量均为初始值 例一模式分类 第3步 输入模式XC时 节点1和节点2进行竞争节点1净输入为1 217 节点2净输入为1 101节点1获胜 计算T1与X的相似度 得N0 N1 5 13 0 7 节点1失效后 网络应在其余的存储模式类节点中搜索 对于本例 只能取节点2作为获胜节点 于是计算XC与代表XB的T2的相似度 得N0 N1 9 13 0 7该结果仍不能满足要求 只能把模式视为第3类模式 并修改节点3的内外星权向量 例一模式分类 第4步 输入