第4章 竞争学习神经网络

第四章竞争学习神经网络 4 1竞争学习的概念与原理4 2自组织特征映射神经网络4 3自组织特征映射网络的设计与应用4 4自适应共振理论 选讲 自组织神经网络的典型结构 第四章自组织神经网络 第四章自组织神经网络 自组织学习 self organizedlearning 通过自动寻找样本中的内在规律和本质属性 自组织 自适应地改变网络参数与结构 自组织网络的自组织功能是通过竞争学习 competitivelearning 实现的 4 1竞争学习的概念与原理 4 1 1基本概念1 模式 分类 聚类与相似性模式 对某些感兴趣的客体的定量描述或结构描述 模式类是具有某些共同特征的模式集合 分类 在类别知识等导师信号的指导下 将待识别的输入模式分配到各自的模式类中去 聚类 无导师指导的分类称为聚类 聚类的目的是将相似的模式样本划归一类 而将不相似的分离开 通过聚类发现数据的分布规律和特征 如何决定相似度 类别数等2 相似性测量 欧式距离法 2 相似性测量 余弦法 3 相似性测量 内积法 不同的相似度会导致形成聚类的特性不同 以欧氏距离度量形成相似且紧密的圆形聚类 以余弦度量形成大体同向的狭长形聚类 以内积度量形成的图形则又不同 欧氏度量聚类余弦度量聚类 4 1 2竞争学习原理 网络的输出神经元之间相互竞争以求被激活 结果在每一时刻只有一个输出神经元被激活 这个被激活的神经元称为竞争获胜神经元 而其它神经元的状态被抑制 故称为WinnerTakeAll 4 1 2竞争学习原理 1 竞争学习规则算法分三步 网络的输出神经元之间相互竞争以求被激活 结果在每一时刻只有一个输出神经元被激活 这个被激活的神经元称为竞争获胜神经元 而其它神经元的状态被抑制 故称为WinnerTakeAll 1 向量归一化首先将当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj全部进行归一化处理 j 1 2 m 2 寻找获胜神经元当网络得到一个输入模式向量时 竞争层的所有神经元对应的内星权向量均与其进行相似性比较 并将最相似的内星权向量判为竞争获胜神经元 以欧氏度量计算相似性 从上式可以看出 欲使两单位向量的欧式距离最小 须使两向量的点积最大 即 此式就是竞争层神经元的净输入 3 网络输出与权值调整规定胜者为1 败者为0 步骤 3 完成后回到步骤1继续训练 直到学习率衰减到0 2 竞争学习原理考虑二维情况 归一化后矢端分布在单位圆上 以o表示 对应的内星向量也在单位圆上 以 表示 竞争学习的几何意义 例4 1用竞争学习算法将下列各模式分为2类 解 为作图方便 将上述模式转换成极坐标形式 竞争层设两个权向量 随机初始化为单位向量 4 2自组织特征映射神经网络 Self OrganizingfeatureMap SOM 1981年芬兰Helsink大学的T Kohonen教授提出一种自组织特征映射网 简称SOM网 又称Kohonen网 Kohonen认为 一个神经网络接受外界输入模式时 将会分为不同的对应区域 各区域对输入模式具有不同的响应特征 而且这个过程是自动完成的 自组织特征映射正是根据这一思路提出来的 其特点与人脑的自组织特性相类似 4 2 1SOM网的生物学基础 生物学研究的事实表明 在人脑的感觉通道上 神经元的组织原理是有序排列 因此当人脑通过感官接受外界的特定时空信息时 大脑皮层的特定区域兴奋 而且类似的外界信息在对应区域是连续映象的 对于某一图形或某一频率的特定兴奋过程 神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础 4 2 2SOM网的拓扑结构及权值调整域 一 拓扑结构SOM网共有两层 输入层模拟感知外界输入信息的视网膜 输出层模拟做出响应的大脑皮层 二 权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远 由兴奋逐渐转变为抑制 因此其学习算法中不仅获胜神经元本身要调整权向量 它周围的神经元在其影响下也要程度不同地调整权向量 这种调整可用三种函数表示 以获胜神经元为中心设定一个邻域半径 该半径圈定的范围称为优胜邻域 在SOM网学习算法中 优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值 优胜邻域开始定得很大 但其大小随着训练次数的增加不断收缩 最终收缩到半径为零 4 2 3自组织特征映射网的运行原理与学习算法 一 运行原理分为训练和工作两个阶段 训练阶段 w1w2w3w4w5 工作阶段 二 学习算法 1 初始化对输出层各权向量赋小随机数并进行归一化处理 得到 j 1 2 m 建立初始优胜邻域Nj 0 学习率 赋初始值 2 接受输入从训练集中随机选取一个输入模式并进行归一化处理 得到 p 1 2 P 3 寻找获胜节点计算与的点积 j 1 2 m 从中选出点积最大的获胜节点j 4 定义优胜邻域Nj t 以j 为中心确定t时刻的权值调整域 一般初始邻域Nj 0 较大 训练过程中Nj t 随训练时间逐渐收缩 如图所示 Kohonen学习算法 5 调整权值对优胜邻域Nj t 内的所有节点调整权值 i 1 2 nj Nj t 式中 是训练时间t和邻域内第j个神经元与获胜神经元j 之间的拓扑距离N的函数 该函数一般有以下规律 6 结束检查学习率是否衰减到零或某个预定的正小数 不满足则回到 2 很多函数满足上述规律 如 N t 可采用单调下降函数 这种随时间单调递减的函数称作退火函数 Kohonen学习算法程序流程 三 功能分析 1 保序映射 将输入空间的样本模式类有序地映射在输出层上 例4 2 动物属性特征映射 2 数据压缩 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间 3 特征抽取 高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达 例4 3SOM网用于字符排序 4 3自组织特征映射网络的设计与应用 SOM输入层设计与BP了类似 输出层要复杂的多 一 输出层设计需要解决2个问题 节点数设计与节点排列设计 既不要出现分类过细 又不可出现死节点 可通过试用法和初始化权值等解决 节点排列形式应反应物理意义 二 权值初始化问题SOM网权值初始化一般为较小的随机数 但应与样本数据混杂 随机分布 理想分布 一种简单办法是从训练集中随机抽取m个输入样本作初始为权值 即另一种是计算全体样本的中心向量 在此基础上叠加小的随机数确定 三 优胜邻域Nj t 的设计原则上使邻域不断缩小 使得相邻神经元既有区别又具相似性 邻域大小用邻域半径表示 一般由经验选取 如 C1与输入点数目相关 B1 1 Tm为预先设置的训练次数 四 学习率的设计开始时可以较大 但很快下降 然后缓降至0值 如下 C2在0 1之间 SOM网的局限性 1 隐层神经元数目难于确定 容易造成死节点 2 聚类网络的学习速率需要人为确定 结束需要人为控制 影响学习效率 3 隐层的聚类结果与初始权值有关 4 3 2设计与应用实例一 SOM网用于物流中心城市分类评价 1 物流中心城市评价指标与数据样本 简单选取5个评价指标作为网络输入 x1 人均GDP 元 x2 工业总产值 亿元 x3 社会消费品零售总额 亿元 x4 批发零售贸易总额 亿元 x5 货运总量 万吨 表4 4物流中心城市分类评价样本 2 物流中心城市的分类和评价分析 物流中心城市 全国性物流中心城市 区域性物流中心城市 地区性物流中心城市 综合型 货运型 按照SOM算法步骤 取开始的1000次迭代为排序阶段 学习率 0 9 其后为收敛阶段 学习率为 0 02 将44个数据样本归一化 输入网络进行训练 经过试验比较 最终取类别数为8 得到如下表所示的分类结果 物流中心城市分类结果 二 SOM网用于遥感影像分类遥感影像主要通过像元亮度值的差异或空间梯度变化表示不同地物间的差异 1 土地利用分类类别确定以浙江为例 评价因子7个 水体 林地 水田 茶园 旱地 居民地 桑园 2 数据预处理3 SOM分类4 实验结果评价与BP网络 最大似然法比较 SOM最好 最大似然法最差 三 SOM网在皮革配皮中的应用 要生产出优质皮衣 必须保证每件皮衣所用皮料在颜色和纹理方面的相似性 在生产中 通常由有经验的工人根据皮料颜色 纹理的相近程度进行分类 这道称为 配皮 的工序 因光照条件 工人经验不同以及情绪 体力等因素变化的影响 质量难于保证 计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测 特征值提取及快速分类 从而代替了传统的手工操作 取得了良好的效果 系统硬件组成 1 初始权向量设计随机取部分样本作为权重初值 2 网络结构设计颜色参数 3个纹理参数 3个网络结构 6输入1维线阵输出 聚类时每批100张皮 平均每件皮衣需要5 6张皮 因此将输出层设置20个神经元 每个神经元代表一类外观效果相似的皮料 如果聚为一类的皮料不够做一件皮衣 可以和相邻类归并使用 3 网络参数设计Nj t 优胜邻域在训练开始时覆盖整个输出线阵 以后训练次数每增加 t tm P Nj t 邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元 对 t 采用了以下模拟退火函数 0 0 95tm 5000tp 1500 4 皮革纹理分类结果100张猪皮的分类结果 5 用于火焰燃烧诊断1 燃烧工况特征提取2 网络训练3 网络验证 4 4自适应共振理论 ART 思考并回答以下几个问题 神经网络的学习和记忆特性 学习过程的本质 网络将知识存储 记忆 在什么地方 对于感知器 BP网络 SOM网络学习时 当新样本输入时 权值的改变对旧样本的影响是什么 1976年 美国Boston大学学者G A Carpenter提出自适应共振理论 AdaptiveResonanceTheory 缩写为ART 他多年来一直试图为人类的心理和认知活动建立统一的数学理论 ART就是这一理论的核心部分 随后G A Carpenter又与S Grossberg提出了ATR网络 目前ART已有三种形式 ARTI 双极型或二进制信号ARTII I型扩展 处理连续模拟信号ARTIII 兼容前2种 可处理多层网络 共振现象 鱼洗寺院无人敲而响的磬军队过桥雪崩人类认知 图像 当双手策动力的频率跟物体的固有频率相等时 振幅最大 这种现象叫共振 水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的 自适应共振理论 ART网络学习算法的基本流程 环境输入模式 与储存的典型向量模式进行比较 神经网络的连接权值 选择最相似的作为该模式的代表类 并调整与该类别相关的权值 以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度 相似度的参考门限 需要在网络中设立一个新的模式类 同时建立与该模式类相连的权值 用以代表和存储该模式以及后来输入的所有同类模式 C 比较层R 识别层Reset 复位信号G1和G2 逻辑控制信号 一 网络系统结构 4 4 1ART 型网络 由二层神经元构成两个子系统 分别称为比较层C和识别层R 具有3种信号 复位信号 逻辑控制信号G1与G2 1 C层结构该层有n个节点 每个节点接受来自3个方面的信号 来自外界的输入信号xi 来自R层获胜神经元的外星向量的返回信号Tj 来自G1的控制信号 C层节点的输出ci是根据2 3的 多数表决 原则产生的 即输出值ci与xi tij G13个信号中的多数信号值相同 G1 1 反馈回送信号为0 C层输出应由输入信号决定 有C X 反馈回送信号不为0 G1 0 C层输出应取决于输入信号与反馈信号的比较情况 如果xi t ij 则ci xi 否则ci 0 比较层结构 2 R层结构R层有m个节点 用以表示m个输入模式类 m可动态增长 以设立新模式类 由C层向上连接到R第j个节点的内星权向量用Bj b1j b2j bnj 表示 C层的输出向量C沿m个内星权向量Bj j 1 2 m 向前传送 到达R层各个神经元节点后经过竞争产生获胜节点j 指示本次输入模式的所属类别 获胜节点输出rj 1 其余节点输出为0 R层每个神经元对应两个权向量Bj和Tj 该向量是对应R层各模式类节点的典型向量 识别层结构 3 控制信号控制信号G2的作用是检测输入模式X是否为0 它等于X各分量的逻辑 或 如果xi i 1 2 n 为全0 则G2 0 否则G2 1 控制信号G1的作用是在网络开始运行时为1 以使C X 其后为0以使C值由输入模式和反馈模式的比较结果决定 设R层输出向量各分量的逻辑 或 用R0表示 则信号G1 当R层输出向量R的各分量为全0而输入向量X不是零向量时 G1 1 否则G1 0 控制信号Reset的作用是使R层竞争获胜神经元无效 如果根据某种事先设定的测量标准 与X未达到预先设定的相似度 表明两者未充分接近 于是系统发出Reset信号使竞争获胜神经元无效 二 网络运行原理 相似程度可能出现的两种情况 相似度超过参考门限选该模式类作为当前输入模式的代表类 权值调整规则是 相似度超过参考门限的模式类调整其相应的内外星权向量 以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度 对其它权值向量则不做任何变动 相似度不超过门限值需在网络输出端设立一个代表新模式类的节点 用以代表及存储该模式 以便于参加以后的匹配过程 对于每一个输入 模式网络运行过程可归纳为四个阶段 1 匹配阶段网络在没有输入之前处于等待状态 此时输入端X 0 因此信号G2 0 R0 0 当输入不全为0的模式X时 G2 1 R0 0 使得G1 1 G1为1时允许输入模式直接从C层输出 并向前传至R层 与R层节点对应的所有内星向量Bj进行匹配计算 j 1 2 m 4 22 选择具有最大匹配度 即具有最大点积 的竞争获胜节点 使获胜节点输出 1 其它节点输出为0 2 比较阶段R层输出信息通过外星向量返回到C层 R层获胜节点所连的外星权向量激活 从节点j 发出的n个权值信号返回到C层的n个节点 此时 R层输出不全为零 R0 1 而G1 0 所以C层最新输出状态C 取决于由R层返回的外星权向量和网络输入模式X的比较结果 即 i 1 2 n 由于外星权向量是R层模式类的典型向量 该比较结果C 反映了在匹配阶段R层竞争排名第一的模式类的典型向量与当前输入模式X的相似程度 相似程度的大小可用相似度N0反映 定义为 设输入模式样本中的非零分量数为 用于比较的警戒门限为 在0 1范围取值 检查输入模式与模式类典型向量之间的相似性是否低于警戒门限 如果有 N0 N1 表明X与获胜节点对应的类别模式非常接近 称X与发生 共振 第一阶段的匹配结果有效 网络进入学习阶段 3 搜索阶段网络发出Reset重置信号后即进入搜索阶段 重置信号的作用是使前面通过竞争获胜的神经元受到抑制 并且在后续过程中受到持续的抑制 直到输入一个新的模式为止 由于R层中的竞争获胜的神经元被抑制 从而再度出现R0 0 G1 1 因此网络又重新回到起始的匹配状态 由于上次获胜的节点受到持续的抑制 此次获胜的必然是上次匹配程度排在第二的节点 将该节点对应的外星权向量与输入模式进行匹配计算 如果对R层所有的模式类 在比较阶段的相似度检查中相似度都不能满足要求 说明当前输入模式无类可归 需要在网络输出层增加一个节点来代表并存储该模式类 为此将其内星向量设计成当前输入模式向量 外星向量各分量全设为1 4 学习阶段在学习阶段要对发生共振的获胜节点对应的模式类加强学习 使以后出现与该模式相似的输入样本时能获得更大的共振 ART网络运行中存在两种记忆方式 短期记忆 C层和R层输出信号称为短期记忆 用STM Shorttimememory 表示 短期记忆在运行过程中会不断发生变化 长期记忆 两层之间的内外星权向量称为长期记忆 用LTM Longtimememory 表示 长期记忆在运行过程中不会变化 三 网络的学习算法 ART 网络可以用学习算法实现 学习算法从软件角度体现了网络的运行机制 与系统结构图并不一一对应 训练可按以下步骤进行 1 网络初始化从C层向R层的内星权向量Bj赋予相同的较小数值 如 4 19 从R层到C层的外星权向量Tj各分量均赋1 4 20 2 网络接受输入给定一个输入模式 X x1 x2 xn xi 0 1 n 3 匹配度计算对R层所有内星向量Bj计算与输入模式X的匹配度 j 1 2 m 4 选择最佳匹配节点在R层有效输出节点集合J 内选择竞争获胜的最佳匹配节点j 使得 5 相似度计算R层获胜节点j 通过外星送回获胜模式类的典型向量 C层输出信号给出对向量和X的比较结果 i 1 2 n 由此结果可计算出两向量的相似度为 6 警戒门限检验如果N0 N1 表明X应归为代表的模式类 转向步骤 8 调整权值 8 调整网络权值修改R层节点j 对应的权向量 网络的学习采用了两种规则 外星向量的调整按以下规则 i 1 2 n j J 4 21 7 搜索匹配模式类若有效输出节点集合J 不为空 转向步骤 4 重选匹配模式类 若J 为空集 需在R层增加一个节点 设新增节点的序号为nc 应使 i 1 2 n 此时有效输出节点集合为J 1 2 m m 1 m nc 转向步骤 2 输入新模式 内星向量的调整按以下规则 i 1 2 n 4 22 ART网络的特点 非离线学习即不是对输入集样本反复训练后才开始运行 而是边学习边运行实时方式 每次最多只有一个输出节点为l每个输出节点可看成一类相近样本的代表 当输入样本距某一个内星权向量较近时 代表它的输出节点才响应 通过调整警戒门限的大小可调整模式的类数 小 模式的类别少 大则模式的类别多 一 模式分类 4 4 2ART 网络的应用 第1步 输入模式XA 将R层的4个节点中输出最大的一个命名为节点1 有j 1 由于初始化后tij 1 所以相似度N0 N1 1 大于警戒门限 故第一个模式被命名为第一类模式 按式 4 21 修改节点1的内星权向量 得 按式 4 22 修改节点1的外星权向量 得其余仍为初始值1 26 对比输入模式XA 可以看出 以上调整结果将模式XA存储在神经元1的内外星权向量中 第2步 输入模式XB时 R层只有一个已存储模式 故不存在类别归属的竞争 只需判断该模式与已存储模式T1 XA的相似度 得N0 N1 5 9 0 7 从相似度可以看出 模式XB有9个黑象素 而XA与XB只有5个黑象素完全重合 故相似度检验不合格 由于R层已没有其它已存储模式类可供选择 需动用一个新节点 命名为节点2 用以代表新模式XB 节点2的外星权向量为T2 XB 内星权向量为其余分量均为初始值 第3步 输入模式XC时 节点1和节点2进行竞争节点1净输入为1 217 节点2净输入为1 101 所以节点1获胜 计算T1与X的相似度 得N0 N1 5 13 0 7 节点1失效后 网络应在其余的存储模式类节点中搜索 对于本例 只能取节点2作为获胜节点 于是计算XC与代表XB的T2的相似度 得N0 N1 9 13 0 7该结果仍不能满足要求 只能把模式视为第3类模式 并按式 4 21 和式 4 22 修改节点3的内外星权向量 第4步 输入模式XD后 节点1 节点2和节点3参加竞争 结果是节点3获胜 计算模式XD与XC的相似 得N0 N1 13 17 0 765 0 7于是XD归入已存储的XC类 并按式 4 21 和式 4 22 修改节点3的内外星权向量 例一模式分类 例一模式分类 注意 值的选择对分类过程的影响很大 值过大 导致分类剧增