SOM自组织映射学习汇报.

1、汇报人： 我学到了什么 我下一步要做什么 自组织神经网络 SOM An Improved Neural Architecture for Gaze Movement Control in Target Searching 自组织神经网络 自组织神经网络是一类无教师学习方式的神经网络 模型，它无需期望输出，知识根据数据样本进行学习， 并调整自身权重以达到学习的目的。自组织神经网络的 学习规则大都采用竞争型的学习规则。 竞争型神经网络的基本思想是网络竞争层的各神经 元通过竞争来获取对输入模式的响应机会。竞争结果会 存在获胜神经元，获胜神经元有关的各连接权值向着更 有利于其竞争的方向发展。 竞争层

2、输入层 Wj权值 不同的输入归结到 1个神经元上，几 个输入就是一类， 实现了分类。 竞争学习： 网络的输出神经元之间相互竞争以求被 激活，结果在每一时刻只有一个输出神经元 被激活。这个被激活的神经元称为竞争获胜 神经元，而其它神经元的状态被抑制，称为 WTA（Winner-Take-All）。 学习规则： 1.向量归一化。首先将当前输入模式向量X和竞争层中各神 经元对应的向量Wj 全部进行归一化处理。 2.寻找获胜神经元。当网络得到一个输入模式向量时，竞争 层的所有神经元对应的权向量均与其进行相似性比较，并将 最相似的内权向量判为竞争获胜神经元。 3.网络输出与权值调整。 4.重新向量归一化

3、。 用竞争学习算法将下列各模式分为2类： 输入向量为： 学习率为a=0.5 向量归一化 设置两个权向量 竞争学习 X1学习 d1=|X1-W1(0)|=136.89, d2=|X1-W2(0)|=1216.89 d1d2,所以神经元1获胜，W1调整 W1(1)=W1(0)+a(X1-W1(0)=118.43 W2(1)=W2(0)=1-180 X2学习 d1=|X2-W1(1)|=198.43 , d2=|X2-W2(1)|=1100 d1d2,所以神经元1获胜，W1调整 W1(2)=W1(1)+a(X2-W1(1)=1-30.8 W2(2)=W2(1)=1-180 x5 x3 x1 w2 w

4、1 x2 x4 训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2

5、4 43 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x

6、4 w1 训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 4

7、3 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w

8、1 训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3

9、. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 训

10、训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .

11、5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 训训练练

12、 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5

13、 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 训训练练 次次

14、数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4

15、43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 w2 x2 x4 w1 训训练练 次次数数

16、W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5 5 4 43

17、3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 d1= 1104 d2= 1100 x5 x3 x1 x2 x4 w

18、1 w2 训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 4

19、3 3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x 5 x3 x 1 x2x4 w1

20、w2 训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43

21、3. .5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2

22、训训练练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3.

23、.5 5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 x5 x3 x1 x2 x4 w1 w2 训训练

24、练 次次数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 10 0 1 11 1 1 12 2 1 13 3 1 14 4 1 15 5 1 16 6 1 17 7 1 18 8 1 19 9 2 20 0 1 18 8. .4 43 3 - -3 30 0. .8 8 7 7 - -3 32 2 1 11 1 2 24 4 2 24 4 3 34 4 3 34 4 4 44 4 4 40 0. .5 5 4 40 0. .5 5 4 43 3 4 43 3 4 47 7. .5 5 4 42 2 4 42 2 4 43 3. .5

25、5 4 43 3. .5 5 4 48 8. .5 5 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 18 80 0 - -1 13 30 0 - -1 13 30 0 - -1 10 00 0 - -1 10 00 0 - -1 10 00 0 - -9 90 0 - -9 90 0 - -8 81 1 - -8 81 1 - -8 81 1 - -8 80 0. .5 5 - -8 80 0. .5 5 - -7 75 5 - -7 75 5 我学到了什么 我下一步要做什么 自组织神经网络 SOM

26、 An Improved Neural Architecture for Gaze Movement Control in Target Searching SOM SOM，Self-Organizing Feature Maps,自组织神经网 络，是一种无导师学习的网络，主要用来对于输入向量进 行区域分类。 SOM的算法思想： 某个输出节点能对某一类模式做出特别的反应以代表 该模式类。 输出层上相邻的节点能对实际模式分布中相近的模式 类做出特别的反应。 当某类数据模式输入时，对某以输出节点产生最大刺 激（获胜神经元），同时对获胜神经元节点周围的一些节 点产生较大的刺激。 SOM 网络中有两种

27、链接权值，一种是神经元对外部输入反 应的连接权值，另外一种是神经元之间的特征权值。它的 大小控制着神经元之间交互作用的强弱。 SOM拓扑结构图 SOM算法是一种无导师的聚类法，他能将任意维输入模 在输出层映射成一维或者二维离散图形，并保持其拖布结构 不变，即在无导师的情况下，通过对输入模式的自组织学习， 在竞争层将分类结果表示出来。此外，网络通过对输入模式 的反复学习，可以使连接权值空间分布密度与输入模式的概 率分布趋于一致，即链接权向量空间分布能反应输入模式的 统计特征。 SOM算法是一个竞争-合作的过程。 1.竞争。对于输入模式，网络中的神经元计算他们各自 判别函数的值。这个判别函数对神经

28、元之间的竞争提供基础， 具有判别函数最优值（在欧式距离中是最小值）的特定神经 元成为竞争的胜利者。 2.合作。获胜神经元的的相邻神经元的是合作的基础。 神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这 样的相邻神经元的合作的基础。 3.突出调节。最后的这个机制使神经元通过对他们突触 权值的调节以增加他们的关于该输入模式的判别的函数值。 所做的调节使获胜神经元对以后相似输入模式的响应增强了。 SOM算法步骤 Step.1 网络初始化 用随机数设定输入层和 映射层之间权值的初始 值：Wij。设定学习次数 T，相关邻域Ni(d)。 Wij X1 X2 Xi j Step.2 输入向量 把输入向量

29、输入给输入 层：Xi。 SOM算法步骤 Step.3 计算映射层的 权值向量和输入向量的 距离。 由欧式距离给出： Wij X1 X2 Xi j SOM算法步骤 Step.4 选择与权值向 量的距离最小的神经元。 计算并选择使输入向量 和权值向量距离最小的 神经元，把其称为胜出 神经元，标记为j*，并 给出邻接神经元集合。 Wij X1 X2 Xi j SOM算法在修正神经元的时候，同时要修正获胜神经元 的附近区域Ni(d)内所有的神经元。 Ni(d)=j,dij=d 12543 671098 1112151413 1617201918 2122252423 N13(1) =8，12，13，1

30、4，18 N13(2) =3，7，8，9，11，12， 13，14，15，17，18， 19，23 SOM算法步骤 Step.5 调整权值 胜出神经元和位于其邻接的神经元的权值通过下式调整。 Wij(t+1)=Wij(t)+a(t)h(j,j*)(Xi-Wij) 其中，a(t)为学习率，随着t的增大而减小。 h（j,j*）为邻域函数，随着学习程度逐渐减小。 Step.6 若t=T，则停止学习，否则继续执行Step.2。 解释：可以用两种方式来解释SOM算法。 首先，因为在训练阶段，整个邻域的权值向着 相同的方向靠近，所以类似的项目趋向于刺激邻近 的神经元。因此，SOM形成了一个使相同样本靠近， 不同样本分离的语义映射。这样，SOM便实现了分 类的过程。 其次，可以考虑神经元的权值作为输入空间的 指针，形成了一个训练样本分布的离散近似值。更 多的神经元指向了高度训练的样本集中的区域。 性质：输入空间的近似 对于V空间中的向量v，首先根 据特征映射确定在输出空间A 中最佳的匹配单元S，S的权重 向量Ws可视为S投影到输入空间 的坐标。通过不断调整权重矩 阵，是输出空间A近似的表示输 入空间V。 SOM实质上