自组织映射知识.doc

自组织映射（self-organizing feature mapping） 自组织神经网络SOM（self-organization mapping net）是基于无监督学习方法的神经网络的一种重要类型。自组织映射网络理论最早是由芬兰赫尔辛基理工大学Kohen于1981年提出的。此后，伴随着神经网络在20世纪80年代中后期的迅速发展，自组织映射理论及其应用也有了长足的进步。 它是一种无指导的聚类方法。它模拟人脑中处于不同区域的神经细胞分工不同的特点，即不同区域具有不同的响应特征，而且这一过程是自动完成的。自组织映射网络通过寻找最优参考矢量集合来对输入模式集合进行分类。每个参考矢量为一输出单元对应的连接权向量。与传统的模式聚类方法相比，它所形成的聚类中心能映射到一个曲面或平面上，而保持拓扑结构不变。对于未知聚类中心的判别问题可以用自组织映射来实现。1 自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式分类。 学习向量量化LVQ（learning vector quantization）是一种用于训练竞争层的有监督学习（supervised learning）方法。竞争层神经网络可以自动学习对输入向量模式的分类，但是竞争层进行的分类只取决于输入向量之间的距离，当两个输入向量非常接近时，竞争层就可能把它们归为一类。在竞争层的设计中没有这样的机制，即严格按地区判断任意两个输入向量是属于同一类还是属于不同类。而对于LVQ网络用户指定目标分类结果，网络可以通过监督学习，完成对输入向量模式的准确分类。来自于百度百科。自组织映射的主要目的是将任意维数的输入信号模式转变为一维或二维的离散映射，并且以拓扑有序的方式自适应实现这个变换。自组织映射的形成过程主要为以下几步：1 竞争。对每个输入模式，网络中的神经元计算它们各自的判别函数的值。这个判别函数对神经元之间的竞争提供基础。具有判别函数最大值的特定神经元成为竞争的胜利者。2 合作。获胜神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这样的相邻神经元合作的基础。3 突触调节。最后的这个机制使兴奋神经元通过对它们突触权值的适当调节以增加它们关于该输入模式的判别函数值。所做的调节使获胜神经元对以后相似输入模式的响应增强了。竞争过程令m表示输入（数据）空间的维数。从输入空间中随机选择输入模式（向量）记为X=x1,x2,xmT网络中每个神经元的突触权值向量和输入维数相同。神经元j的突触权值向量记为Wj=wj1,wj2,.,wjmTj=1,2,L其中L为网络中神经元的总数。为了找到输入向量x与突触权值向量wj的最好匹配，对j=1,2,L比较内积WjX并选择最大者。这样，通过选择具有最大内积的神经元，我们实际上决定了兴奋神经元的拓扑邻域中心的位置。基于内积最大化的最优匹配准则，在数学上等价于向量X和Wj的欧氏距离最小化。欧式距离的计算公式：d=sqrt( (xi1-xi2)2 ) 这里i=1,2.n 。xi1表示第一个点的第i维坐标,xi2表示第二个点的第i维坐标。满足以上条件的神经元被称为输入向量x的神经元或获胜神经元。合作过程在som中所有输出神经元是侧向相连的，而一个输出神经元与每个输入神经元是全连接的。获胜的神经元位于合作神经元的拓扑邻域的中心。一个点火的神经元倾向于激活它紧接的邻域内的神经元而不是和它隔得远的神经元，这个观察引导我们对获胜神经元的拓扑邻域按侧向距离光滑的缩减。具体的，hji表示以获胜神经元i为中心的拓扑邻域。设dij表示在获胜神经元i和兴奋神经元j的侧向距离。则有：拓扑邻域hji关于dij=0定义的最大点是对称的，即在距离dij为0的获胜神经元i出达到最大值；拓扑邻域hji的幅度值随侧向距离dij的增加而单调递减,当dij趋于无穷时，为0。对于邻域函数神经元之间的合作来说，必要要求拓扑邻域函数hji依赖获胜神经元i和兴奋神经元j在输出空间的侧向距离dij。Som算法的另一个独有特征是拓扑邻域的大小随时间收缩。另一个关于邻域函数hji在获胜神经元i周围变动的有用观点如下。宽的hji的目标是使网格中大量兴奋神经元的权值更新方向相关。随着hji的宽度减小，更新方向相关的神经元数量也在减少。自适应过程突触自适应过程即为了使网络成为自组织的，要求神经元j的突触权值向量wj随着输入向量x改变。有关权值改变，它被应用到网格中获胜神经元i的拓扑邻域的所有神经元。它有将获胜神经元i的突触权值向量wi向输入向量x 移动的作用。随着训练数据的重复出现，由于邻域更新使得突触权值向量区域服从输入向量的分布，因此算法导致在输入空间中特征映射的拓扑排序，这意味着网格中相邻神经元会有相似的突触权值向量。自适应过程包括了排序和收敛两个阶段。SOM算法小结1 初始化。对初始权值向量wj（0）选择随机值。这里唯一的限制就是对j=1,2,l的wj（0）各不相同，其中l是网络中神经元的数目。可能希望保持较小的权值。2 取样。以一定概率从输入空间取样本x；向量x表示应用于网络的激活模式。向量x的位数等于m。3 相似性匹配。在时间步n使用最小Euclid距离准则寻找最匹配（获胜）的神经元i。4 更新。通过用更新公式Wj（n+1）=wj（n）+（n