竞争神经网络PPT课件.ppt

第7章竞争神经网络 概述Hamming网络自组织映射网络学习矢量量化主分量分析仿真实例 1 概述 人脑神经系统 学习的自主性信息存储的自组织性学习和记忆的弹性脑神经元的侧抑制性Bottom Up Top Down 视觉 听觉 2 概述 神经网络的结构 前向网络 BP RBF PNN 反馈网络 Hopfield Boltzmann 竞争网络 SOM ART PCA SNN 前向网络反馈网络竞争网络 结论 结构上均能反映神经元之间的连接特点但竞争网络更能体现对环境的自适应性 3 概述 竞争网络的特点 网络结构 输入与输出之间采用前向连接 输出层各单元之间采用侧向连接 学习机制 采用自组织学习模型 即在无导师指导下寻找输入数据空间中的重要模式或特征 实现方法 利用不同的竞争学习算法 使得输出神经元之间相互竞争 以确定最能代表输入模式的竞争获胜者 4 Hamming网络 网络结构 5 Hamming网络 网络参数 前向子网输入 前向子网输出 前向子网激励 其中 为阈值 为饱和值 6 Hamming网络 竞争子网权值 其中 竞争子网输出 其中 7 Hamming网络 网络的学习算法 Step1设置变量和参量 输入样本 X n x1 n x2 n xN n T前向子网权值 实际输出 Y n y1 n y2 n yM n T学习速率 迭代步数 n代表网络的第n次训练 n1代表竞争子网的迭代步数 N为总的训练次数 8 Hamming网络 Step2初始化 随机初始化前向权值并满足条件 i 1 2 M按前式初始化 均选取前述的分段线性函数 9 Hamming网络 Step3选取训练样本X Step4计算竞争子网的初始输入 i 1 2 MStep5进行竞争子网的迭代 k 1 2 M 10 Hamming网络 Step6观察竞争子网的输出 当输出达到要求 只有一个输出为正 其余为零 则转到Step7 否则n1等于n1 1 转到Step5继续迭代 Step7将输出最大的神经元c定为获胜神经元 并将其输出yc n 置为1 其他神经元的输出置为0 Step8更新获胜神经元c的权值向量 11 Hamming网络 Step9判断网络当前的训练次数n是否大于N 如果小于 则n等于n 1 回到Step3进行新的一次训练 否则结束网络训练过程 注意事项 权值更新规则中的p表示输入向量X 限制为二进制输入 中元素为1的个数 以满足权值约束条件 实际的输入可不限制为二进制 只有获胜神经元对应的权值得到调整 12 Hamming网络 网络受初始化的影响较大 易产生 死 神经元 网络分类的稳定性较差 Hamming网是最简单的竞争网络 体现了竞争网络的基本思想 13 自组织映射网络 自组织现象 加强中心而抑制周围 即生物神经元不仅加强自身 而且加强周围邻近的神经元 同时抑制离它距离较远的神经元 模型函数 墨西哥草帽 函数 14 自组织映射网络 Kohonen于1982年引入了网格状的拓扑结构 并引入变化邻域概念 从微观上模拟生物神经元之间的侧抑制特性 从而提出自组织映射网络模型 自组织映射网络模型 15 自组织映射网络 网络参数 输入层 X x1 x2 xN T 网络权值 i 1 2 M j 1 2 N 输出层 其中 为线性激励函数 16 自组织映射网络 网络的学习算法 竞争合作更新Step1设置变量和参量 输入样本 X n x1 n x2 n xN n T 权值向量 Wi n wi1 n wi2 n wiN n Ti 1 M 迭代步数 N 17 自组织映射网络 Step2初始化 初始学习速率 初始权值 Wi 0 归一化 其中 18 自组织映射网络 Step3输入训练样本 Step4竞争 获胜神经元为c i 1 2 MStep5合作与更新 对获胜神经元拓扑邻域Nc n 内的兴奋神经元 采用Hebb更新规则 19 自组织映射网络 Step6修改学习速率 拓扑邻域Nc n 以及归一化权值 20 自组织映射网络 Step7判断迭代次数n是否超过N 如果n N就转到step3 否则结束迭代过程 注意事项 采用欧式距离测度实现竞争 学习速率和拓扑邻域修改规则的选取 对输入空间的近似 拓扑排序 非线性特征选择 21 学习矢量量化 Kohonen在1989年提出学习矢量量化 实现竞争网络结构的有监督学习 学习矢量量化 竞争学习 有监督学习网络模型 22 学习矢量量化 学习算法 Step1设置变量和参量 训练样本 X n x1 n x2 n xN n T 权值矢量 Wi n wi1 n wi2 n wiN n Ti 1 2 M 学习速率 迭代步数 n为迭代次数 N为迭代总次数 23 学习矢量量化 Step2随机初始化权值向量Wi 0 及学习速率 Step3输入训练样本X Step4计算距离 求获胜神经元c i 1 2 MStep5根据分类的正确性调整权值 用代表与获胜神经元权值向量相联系的类 用代表与输入向量相联系的类 24 学习矢量量化 Step5如果 则否则 当 有其他神经元保持权值向量不变 Step6学习速率调整 25 学习矢量量化 Step7判断迭代次数n是否超过N 如果n N就转到Step3 否则结束迭代过程 注意事项 网络中加入分类信息指导学习 随机初始化的权值导致学习的不稳定 作为自组织映射系统的性能提升方法 26 主分量分析 特征提取 线性关系 二阶矩PCA可以提取数据中的二阶线性关系 通过主分量的形式表现 利用主分量提取网络降低主分量提取中矩阵运算的复杂度 主分量分析方法 PCA K L变换 在均方误差最优意义下 原数据空间特征空间 可逆变换T 逆变换T 1 27 主分量分析 对m维随机矢量X x1 x2 xm T求协方差CX当E X 0时 计算CX的特征值和对应的归一化特征向量U1 U2 Um 由特征向量U1 U2 Um构成特征空间 m维 28 主分量分析 设特征值输入空间特征空间 投影 yi UiTX i 1 2 m yi即为X的第i个主分量 特征空间输入空间 重构 29 主分量分析 特征向量所对应的特征值越大 它在重构时的贡献就越大 而特征值越小 该特征向量在重构时的贡献就越小 重构时只考虑前L个最大的特征值 则实际上 由前L个特征向量构成的空间是一个低维空间 大大降低了数据维数 30 主分量分析 矩阵运算的复杂度 神经网络解决的优势 Oja网络模型 31 主分量分析 网络参数 网络输出 权值更新规则 32 主分量分析 网络收敛后的性质 W位于CX的最大特征向量的方向上 输出方差最大 当W位于CX的最大特征向量的方向上时 方差E y2 将达到最大值 33 主分量分析 预期效果 网络实现对输入集合的第1主分量的提取 而训练后的权值向量W就是输入数据分布的自相关矩阵CX的具有最大特征值的特征矢量 基于Sang