自组织网络用于模式识别

1、模式识别课程报告 题 目：自组织网络用于模式识别 学 院： 信息工程学院 班 级： 学生姓名： 学 号： 指导教师： 2012年 12 月 30 日自组织网络用于模式识别Self-Organizing Neural Network for Pattern Recognition一 自组织网络的概述Summary of Self-Organizing Neural Network1.1 自组织网络的原理和分类 Principle and Classification of Self-Organizing Neural Network自组织神经网络是神经网络领域内最激动人心的方向之一，它是受生物神

2、经系统结构和现象启发而建立的人工神经网络结构。在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之间呈现出竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。1981年，芬兰学者Kohonen提出了一个较为完整的、分类性能较好的自组织特性映射神经网络。此神经网络一般具有输入层和竞争层两层结构，其中竞争层为其核心层。网络模拟了大脑神经细胞对外界刺激的反应，通过输入样本反复的无监督学习，

3、将输入模式的统计特征融解到各个连接权值上，实现特定区域的神经元对特定模式的输入产生响应的功能，同时具有很强的抗干扰能力。自组织神经网络还有其他种类，例如学习向量量化网络（LVQ网络）等。LVQ网络是一种利用有监督学习对竞争性网络进行训练的网络类型。在无监督学习的方式下，竞争层对输入样本进行模式分类只依赖输入向量之间的距离。如果两个输入向量的距离接近的话，就会被划为同一类，而利用LVQ网络，则可以由用户定义标准，对输入向量进行分类。自组织神经网络包括自组织竞争网络、自组织特征映射网络、学习矢量量化等网络结构形式，下面主要对自组织特征映射网络的结构和学习算法及应用进行介绍。自组织神经网络，又称为自

4、组织竞争神经网络,特别适合于解决模式分类和识别方面的应用问题。自组织神经网络属于前向神经网络类型，采用无导师学习算法，自组织特征映射神经网络不仅能够像自组织竞争神经网络一样学习输入的分布情况，而且可以学习神经网络的拓扑结构。1.2 自组织特征映射网络的介绍 Introduction to Self-Organizing Feature Map Network1981年，科霍恩(Kohonen)教授提出一种自组织特征映射网(Self-Organizing feature Map,简称SOM，又称Kohonen网）。科霍恩认为，一个生物神经网络在接受外界输入模式时，将会分为不同的对应区域，各区域对

5、输入模式具有不同的响应特征，而且这个过程是自动完成的。以此为基础，科霍恩创建了SOM。自组织特征映射神经网络结构如图1.1。图1.1 自组织特征映射神经网络结构1.3 SOM网络的算法介绍 Introduction to Algorithm of SOMSOM网络的学习也是一种竞争性学习的算法，区别只是输出层有几何分布，有交互作用函数代替了简单的侧抑制，因此学习算法是类似的。自组织特征映射算法的具体步骤如下:第一步，设置初始权值，定义输出层神经元的邻域。若输入模式是n维向量，输出层有M个神经元，则从n个输入神经元到M个输出神经元之间的权值设置为一些较小的非零随机数。输出层神经元的邻域设置成一个

6、较大的范围。第二步，输入新的模式向量X=x1,x2,x3,xnT。第三步，计算输入模式到每个输出层神经元j的距离dj。式中，wij是j时刻神经元i到输出层神经元j之间的连接权。第四步，选择与权值向量距离最小的输出层神经元，该神经元表示成j*。第五步，修改与神经元j*及其邻域中神经元的权值。权值的修改根据下式进行：式中，是修正参数，取值范围为0<<1。第六步，是否达到预定的要求，如达到要求算法结束，否则返回第二步进行下一轮学习。1.4 SOM网络的算法编程的流程图 Program Flowchart of SOM Algorithm 下面是用matlab对SOM算法编程的流程图如图1

7、.2所示和程序，流程图如图1.2所示。 初始化归一化权向量W：Wj，j=1,2,m；建立初始优胜邻域Nj*(0)学习率h(t)赋初始值输入归一化样本，iÎ1,2,n计算选出获胜节点j*定义优胜邻域Nj*(t)对优胜邻域Nj*(t)内节点调整权值：i=1,2,n jÎNj*(t)<结 束NY 图1.2 SOM算法流程图1.5 SOM网络的算法matlab编程 Matlab Program of SOM Algorithmmatlab程序：clear;X=0.8776 0.4794;0.8525 0.5227; 0.8253 0.5646;0.7961 

8、0;0.6052; 0.7648  0.6442; -0.6663  0.7457;-0.7027  0.7115;-0.7374  0.6755;-0.7702  0.6378;-0.8011 0.5985;-0.5748 -0.8183;-0.5332 -0.8460;-0.4903 -0.8716;-0.4461 -0.8950;-0.4008 -0.9162;0.9602 -0.2794;0.9729 -0.2311;0.9833

9、0;-0.1822;0.9911 -0.1328;0.9965 -0.0831;  %输入模式向量X的样本集数据%对原始的归一化样本数据进行直角坐标到极坐标的转换X_theta,X_rho=cart2pol(X(:,1),X(:,2);%画出模式向量X的样本数据集的极坐标分布图，用红色的'*'表示polar(X_theta,X_rho,'r*');hold on;%确定初始学习率和学习率最小值rate1max=0.2;   rate1min=0.05;%确定初始领域半径和领域半径截止

10、值r1max=1.5;         r1min=0.8;%权值初始化（暂时设定为位于极坐标0°，90°，180°，270°角处的四个单位向量）w=1 0 -1 0;0 1 0 -1;%初始权值w保存为w1w1=w;%对初始权值w1进行直角坐标到极坐标的转换w1_theta,w1_rho=cart2pol(w1(1,:),w1(2,:);%画出初始权值w1的极坐标分布图，用蓝色的'x'点表

11、示polar(w1_theta,w1_rho,'bx');hold on;%确定神经元个数N，即输出类别数位NN=4;%4个神经元节点排序k=1;for j=1:N   jdpx(k,:)=1,j;   k=k+1;end%确定迭代次数maxgenmaxgen=1000;%迭代运算求解最佳权值即聚类中心for i=1:maxgen    %每次迭代自适应修改学习率和领域半径rate1=rate1max-i/maxgen*(rate1max-rate1

12、min);r=r1max-i/maxgen*(r1max-r1min);%从原始样本集随机选取输入模式k=unidrnd(20);   x=X(k,:);%选择欧氏距离最小的神经元为最优节点mindist,index=min(dist(x,w);%计算领域范围内的神经元d1=ceil(index/6);d2=mod(index,6);nodeindex=find(dist(d1 d2,jdpx')<r);%对初始权值w进行修改for j=1:N   if sum(nodeindex=j)&#

13、160;   w(:,j)=w(:,j)+rate1*(x'-w(:,j);    end  endend%对运算得到的最佳权值即聚类中心w进行归一化w(:,1)=w(:,1)/norm(w(:,1);w(:,2)=w(:,2)/norm(w(:,2);w(:,3)=w(:,3)/norm(w(:,3);w(:,4)=w(:,4)/norm(w(:,4);%对归一化之后的最佳权值即聚类中心w进行直角坐标到极坐标的转换w_theta,w_rho=cart2pol(w(1,:),w(2,:);%画出最

14、佳权值即聚类中心w的极坐标分布图，用黑色的'o'点表示polar(w_theta,w_rho,'ko');legend('输入模式向量X','初始化的权值w','Kohonen算法迭代运算之后的最佳权值w(即聚类中心)');1.6 SOM网络的算法matlab编程运行结果 Program Running Results of SOM Algorithm在matlab运行后的结果如图1.3：图1.3 SOM算法结果得到的最佳权值即聚类中心w为：w =    0.984

15、1    0.8335   -0.7431   -0.4758   -0.1778    0.5525    0.6692   -0.8796最佳权值即聚类中心w的每一列分别对应模式类的聚类中心，总共四类。二 SOM网络的模式识别应用的实例 Example of SOM Network for Pattern Recognition2.1 程序的编写 Pro

16、gram Writing对于具有一定特征分布的二维输入样本向量，可以利用二维SOM网络对其进行分类。下面举例进行说明。二维SOM网络应用实例。设计一个二维的SOM网络，对500个二维样本输入向量进行分类。程序如下：% 利用二维自组织网络对样本数据进行分类close allclf resetfigure(gcf);echo onclc% NEWSOM 创建自组织网络% TRAIN 对自组织网络进行训练% SIM 对自组织网络进行仿真pauseclc% 随机产生样本数据 PP=rands(2,500);%随机产生500个2维输入样本pauseclc% 画第一幅图：样本数据分布图plot(P(1,:

17、),P(2,:),'*');axis(-1.2 1.2 -1.2 1.2);title('Input data');pauseclc% 建立自组织网络% 欲将样本数据分为20类，因此网络的竞争层由20个二维分布的神经元构成net=newsom(-1 1;-1 1,4 5);%创建一个SOM网络pauseclc% 画第二幅图：神经元分布的拓扑结构图figure;plotsom(net.layers1.positions);pauseclc% 画第三幅图：网络初始状态下神经元权值的分布图figure;plotsom(net.IW1,1,net.layers1.dis

18、tances);pauseclc% 对网络进行训练net.trainParam.epochs=1;%最大训练迭代次数为1net=train(net,P);pauseclc% 画第四幅图：画出网络神经元权值，也就是每类样本数据的聚类中心figure;plotsom(net.IW1,1,net.layers1.distances);pauseclc% 画第五幅图：画出再次训练后的神经元权值net.trainParam.epochs=50;%训练迭代次数为50net=train(net,P);figure;plotsom(net.IW1,1,net.layers1.distances);pauseclc% 利用一组新的输入数据检验网络性能a=sim(net,0.1;-0.5)echo off2.2 结果及分析 Results and Analysis图2.1为