SOM+and+the+lateral+interaction.ppt

1、SOM与侧向相互作用,北京师范大学 系统科学系 陈家伟 2010.7.23,提纲,人工神经网络介绍 SOM自组织映射 SOM与神经系统 侧向相互作用,人工神经网络介绍（ANN）,人工神经网络发展历史,第一阶段（兴起） 1943年，W.S.Mcculloch和W.Pitts 提出了M-P神经元模型； 1949年，D.O.Hebb提出突触联系可变的假设； 1957 年，Rosenblatt提出了著名的感知机模型； 1960年，B.Windrow和E.Hoff提出了自适应线性单元。 第二阶段（低谷） 1969年，M.Minsky和S.Papert出版Perceptron一书； 1972年，T.Koh

2、onen 提出了自组织映射理论； 1976年，S.A.Grossberg提出自适应共振理论（ART）； 1982年，K. Fukushima提出了认知机模型。 第三阶段（热潮） 1982年，J.J.Hopfield提出Hopfield网络； 1984年，Hinton等人提出了Boltzmann机网络模型； 1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法。 第四阶段（平稳发展）,BNN与ANN,神经元模型,权重变化,经典的ANN模型,感知机模型 Perceptron,反向传播算法 Backpropagation，B

3、P算法,Self-organizing maps，SOM,Hopfield 网络,SOM自组织映射,模型结构,输入层 n个神经元 输出层 m个神经元排成一维或二维形式空间形式； 神经元之间全连接。 权重矩阵 全连接，wij是m*n维矩阵 核心机制 竞争：Winner take all； 合作：lateral interaction,侧向相互作用,训练过程,连接权值初始化，一般随机设定 对网络输入模式： 计算输入 xk 与全部输出结点权向量的距离： 具有最小距离的输出结点获胜 ： 调整获胜节点一节获胜节点邻域内的权重值： 输入新的样本，继续训练。,学习效率和邻域大小,学习效率 随时间减小。随着训

4、练过程的进行，权值的调整幅度越来越小。 邻域大小 也随着时间而收缩，当t足够大时，只训练获胜结点本身。 训练过程分为两个阶段： 排序阶段：形成权值向量的拓扑排序； 收敛阶段：提供输入空间的准确统计量。,SOM的本质保范映射,SOM实质上是从任意维离散或连续空间V 到一维或二维离散空间A的一种保范映射。,SOM的性质：输入空间的近似,对于V中的向量v，首先根据特征映射 确定在输出空间A中的最佳匹配单元 S，S 的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整的权重矩阵，可以使得输出空间A近似的表示输入空间V。,SOM的性质：拓扑排序,通过SOM算法计算的特征映射 是拓扑有序的，意味着网络

5、中神经元的空间位置对应于输入模式的特定区域或特征。 演示 输入和输出都是一维的情况下，可以证明系统收敛到排序的状态。,J. A. Flanagan, Self-organization in the one-dimensional SOM with a decreasing neighborhood. Neural Networks, 2001, 14(10):1405-1417.,SOM的性质：密度匹配,特征映射反映输入分布在统计上的变化：在输入空间上X中样本以高概率抽取的区域映射到输出空间A中的更大区域，反之依然。 演示,SOM的性质：特征选择,在具有非线性分布的空间中给定数据，SOM能够

6、为逼近固有分布选择一组最好的特征。 演示,SOM的应用,数据压缩 降维 聚类 向量量化 模式分类 ,SOM与神经系统,对初级视皮层朝向敏感性的模拟,视觉初级皮层朝向敏感性,英文单词聚类,汉字的聚类,ModelAcquisition of lexicon,汉字获得的SOM模型,躯体感觉皮层,感觉皮层,汉字认知的模式,行为实验 初级学习者； 中级学习者； 母语。 知觉学习模型 Hebb学习法 侧向相互作用,单个汉字学习,初始状态,训练结果,左右结构的汉字训练,连接受损时的情形,侧向抑制,什么是侧向抑制,锐化,视觉：更容易从背景中分出对象，尤其在看物体的边角和轮廓时会提高视敏度。 色觉：红和绿，黄和蓝的成对拮抗效应； 在听觉系统中，耳蜗神经纤维的侧抑制可以加强对音高的辨认。 在皮肤上，侧抑制有助于触点的定位。,人眼对对