第5章 对传网.ppt

第5章对传网 重点 生物神经系统与异构网的引入 对传网的网络结构 Kohonen层与Grossberg层的正常运行 对传网的输入向量的预处理 Kohonen层的训练算法及其权矩阵的初始化方法 Grossberg层的训练 完整的对传网实验 实现基本的对传网 5 1网络结构5 2网络的正常运行5 3Kohonen层的训练5 4Kohonen层联接权的初始化方法5 5Grossberg层的训练5 6补充说明 第5章对传网 RobertHecht Nielson在1987年提出了对传网 CounterpropagationNetworks CPN CPN为异构网 Kohonen1981年提出的Self organizationmapSOM Kohonen层Grossberg1969年提出的Outstar Grossberg层训练时间短 BP的1 应用面 比较窄让网络的隐藏层执行无导师学习 是解决多级网络训练的另一个思路 5 1网络结构 单向CPN 完整CPN 双向网 除拓扑结构外 网络的运行机制也是确定网络结构 同构 异构 和性能的重要因素网络的层数计算 5 1网络结构 5 1网络结构 以Kohonen层的神经元为 中心 讨论问题K1W1 w11 w21 wn1 TV1 v11 v12 v1m K2W2 w12 w22 wn2 TV2 v21 v22 v2m KhWh w1h w2h wnh TVh vh1 vh2 vhm 5 2网络的正常运行 5 2 1Kohonen层 强者占先 弱者退出 thewinnertakesall knetj XWj x1 x2 xn w1j w2j wnj T w1jx1 w2jx2 wnjxn向量形式KNET knet1 knet2 kneth 5 2 1Kohonen层 K1 K2 Kh的输出k1 k2 kh构成向量K k1 k2 kh 1 j h1knetj Max knet1 knet2 kneth kj 0其它几何意义 5 2 2Grossberg层 Grossberg层的每个神经元Gj 1 j m gnetj K v1j v2j vhj T k1 k2 kh v1j v2j vhj T k1v1j k2v2j khvhj唯一输出1的神经元为Kognetj k1v1j k2v2j khvhj voj 5 2 2Grossberg层 GNET gnet1 gnet2 gnetm vo1 vo2 vom Vo若Grossberg层的神经元的激活函数为恒等映射函数 则网络输出就是Vo Vo可认为是Ko对应的Wo的变换形式 散射星 Vo的各个分量是从Ko到Grossberg层各神经元的联接权 5 2 2Grossberg层 CPN用于模式的完善 此时n m 接受含有噪音的输入模式 x1 x2 xn 而输出去掉噪音后的模式 vo1 vo2 vom 对训练启示W1 W2 Wh 各类X的共同特征V1 V2 Vh X对应的理想输出Y的共同特征 5 3Kohonen层的训练 5 3 1输入向量的预处理单位化处理X x1 x2 xn X x1 x2 xn x1 X x2 X xn X 5 3 2训练算法5 1Kohonen层训练算法 对所有的输入向量 进行单位化处理 对每个样本 X Y 执行下列过程2 1forj 1tohdo根据相应式子计算knetj 2 2求出最大的kneto 2 2 1max knet1 o 12 2 2forj 1tohdoifknetj maxthen max knetj o j 算法5 1Kohonen层训练算法 2 3计算K2 3 1forj 1tohdokj 0 2 3 2ko 1 2 4使Wo更接近X Wo new Wo old X Wo old 2 5对Wo new 进行单位化处理 Wo new Wo old X Wo old 0 1 Wo new Wo old X Wo old Wo old X Wo old X Wo new X Wo old X Wo old X Wo old X Wo old X 1 Wo old 1 1 X Wo old 由0 1 1 Wo new 比Wo old 更接近X Wo new Wo old X Wo old Wo old X 上次课内容回顾 CPN为异构网Kohonen层 SOMGrossberg层 Outstar训练时间短 BP的1 应用面 比较窄除拓扑结构外 网络的运行机制也是确定网络结构 同构 异构 和性能的重要因素 拓扑结构 上次课内容回顾 以Kohonen层的神经元为 中心 讨论问题Kohonen层 强者占先 弱者退出 K 0 0 1 0 0 Grossberg层 散射星gnetj k1v1j k2v2j khvhj vojGNET gnet1 gnet2 gnetm vo1 vo2 vom VoCPN用于模式的完善 上次课内容回顾 强调X和W的单位化处理对训练启示W1 W2 Wh 各类X的共同特征V1 V2 Vh X对应的Y的共同特征Kohonen层的训练Wo new Wo old X Wo old 学习率 训练初期 一般取0 7左右 它将随着训练进展不断变小 过大可能导致有的X被放入错误的类中 使训练陷入抖动根据X的分布决定W的初值 防止类过小和过大 启发 一般来说 一个类含有许多向量 这个类对应的Wj应该是样本集中这一类向量 输入向量部分 的平均值事先给问题一个粗略分类 并从这个分类中提取一个较有代表性的向量构成样本集启发我们采用训练和直接设定权向量的方式来完成该层的训练 5 4Kohonen层联接权初始化 理想情况下 W1 W2 Wh的初值应该依照样本集中的输入向量的分布来确定样本集中的输入向量的分布并不是均匀的 Xi的非均匀分布要求Wi非均匀分布 凸状组合法 取wij 将输入向量X x1 x2 xn 变换为X x1 x2 xn 其中 凸状组合法 随着训练的进行 趋近于1 从而使X 趋近于X 进而Wj趋近于一组X的平均值 在训练的初期阶段 的值非常小 使得 W需要追踪一个变化的目标 缺点 收敛速度非常慢 添加噪音法 在输入向量中加进适当的随机噪音 使输入向量的分布均匀 训练中逐渐去掉噪音Wj不断地调整自己的 运动方向 去追踪其不断变化的目标 试验表明 这种方法的收敛速度比凸状组合法更慢 W也需要追踪一个变化的目标 初期全调法 Kohonen层训练的初期 对应一个输入向量 允许多个神经元同时处于激发状态 逐渐减少被激发的神经元的最大个数或者逐渐提高阈值 最后达到对一个输入向量 只有一个神经元激发要解决的问题调整的范围的度量 初期全调法 另一种实现在训练的初期 算法不仅调整 获胜 的神经元对应的权向量 而且对其它的权向量也作适当的调整 随着训练的推进 被调整的范围逐渐缩小 直到最终只有 获胜 的神经元对应的权向量才被调整要解决的问题调整的范围的度量其它的权向量的 适当调整 DeSieno法 当某一个权向量所获得的匹配向量超过给定的数 样本总数的1 h 后 它的阈值就被临时提高问题 当最应该被某个神经元对应的权向量匹配的输入向量在较后的时候被输入时 它可能被拒绝 从而造成网络精度的损失Kohonen 1988 在一个被完全训练过的网中 随机选取的输入向量与任何给定权向量是最接近的概率是1 h按均匀分布初始化的权向量具有相同被匹配概率 5 5Grossberg层的训练 训练标量形式voj voj yj voj 向量形式Vo new Vo old Y Vo old 比较Wo new Wo old X Wo old Kohonen层 算法5 2CPN训练算法一 0对W V进行初始化 1对所有的输入向量 进行单位化处理 2对每个样本 X Y 执行下列过程2 1forj 1tohdo根据knetj XWj计算knetj 2 2求出最大的kneto 2 2 1max knet1 o 1 2 2 2forj 1tohdo2 2 2 1ifknetj maxthen max knetj o j 算法5 2CPN训练算法一 2 3计算K 2 3 1forj 1tohdokj 0 2 3 2ko 1 2 4使Wo更接近X Wo new Wo old X Wo old 2 5对Wo new 进行单位化处理 2 6使Vo更接近Y Vo new Vo old Y Vo old 算法5 3CPN训练算法二 对应Kohonen的每一个Ki 它将代表一组输入向量 所以希望这个Ki对应的Vi能代表这组输入向量对应的输出向量的平均值0对W V进行初始化 0 清空Kohonen层各神经元对应的纪录表 forj 1tohdoSKj 1对所有的输入向量 进行单位化处理 空集 算法5 3CPN训练算法二 2对每个样本 Xs Ys 执行下列过程2 1forj 1tohdo2 1 1根据相应式子计算knetj 2 2求出最大的kneto 2 2 1max knet1 o 1 2 2 2forj 1tohdo2 2 2 1ifknetj maxthen max knetj o j 算法5 3CPN训练算法二 2 3计算K 2 3 1forj 1tohdokj 0 2 3 2ko 1 2 4使Wo更接近Xs Wo new Wo old Xs Wo old 2 5对Wo new 进行单位化处理 2 6将Ys放入SKo SKo SKo Ys 3forj 1tohdoVj SKj中各向量的平均值 算法的进一步优化 集合变量SK1 SK2 SKh改为其它存储量更小 而且更容易实现的变量在Xs激发Ko时 Ys被放入到SKo中会不会出现一个向量被放入多个SK中的问题如何解决 5 6补充说明1 全对传网 W V X Y Y X 输入层 Kohonen层 Grossberg层 2 非简单工作方式 对给定的输入向量 Kohonen层各神经元可以给出不同的输出输出作为修改因子对应神经元Kohonen层 Grossberg层的权向量输出值较大的 表明该输入向量与该神经元对应的类较接近 它对应的权向量的修改量就大输出值较小的 表明该输