8竞争型神经网络分析与应用

第8章竞争型神经网络分析与应用8.1竞争型神经网络竞争型神经网络的特点是能将输入数据中隐含的特征抽取出来，自动进行学习。网络通过自身训练，自动对输入模式进行分类。竞争型神经网络在结构上一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐藏层，有时竞争层各神经元之间还存在横向连接。竞争型神经网络对模式分类的网络结构图如图8-1所示。在竞争神经网络中，输出层又被称为核心层。在一次计算中，只有一个输出神经元节节胜利，获胜的神经元标记为1，其余神经元均标记为0，即“胜者为王，败者为寇”。起始，输入层到核心层的权值是随机给定的，因此每个核心层神经元获胜的概率相同，但最后会有一个兴奋最终的神经元。兴奋最强神经元“战胜”了其他神经元，在权值调制中其兴奋程度得到进一步加强，而其他神经元则保持不变。竞争神经网络通过这种竞争学习的方式获取训练样本的分布信息，每个训练样本都对应一个兴奋的核心层神经元，也就是对应一个类别，当有新样本输入时，就可以根据兴奋的神经元进行模式分类。

【例8-1】演示应用竞争学习。解析：竞争层中的神经元可通过学习来表示输入向量在输入空间中出现的不同区域。比如P是一组随机生成但聚类的测试数据点。下面绘制了这些数据点。%竞争网络将用于将这些点分成若干自然类>>%输入向量X.bounds=[01;01];%聚类中心位于这些边界内clusters=8;%簇数points=10;%每个簇中的点数std_dev=0.05;%每个簇的标准差x=nngenc(bounds,clusters,points,std_dev);%绘制向量X，效果如图8-2所示plot(x(1,:),x(2,:),'+r');title('输入向量');xlabel('x(1)');ylabel('x(2)');

图8-2输入向量X

可以配置网络输入，并绘制初始权重向量以查看其分类尝试过程。>>net=competlayer(8,.1);%competlayer函数接受两个参数，即神经元数量和学习率net=configure(net,x);w=net.IW{1};plot(x(1,:),x(2,:),'+r');holdon;%对权重向量(o)进行训练，使它们出现在输入向量(+)的聚类的中心，如图8-3所示circles=plot(w(:,1),w(:,2),'ob');

图8-3权重训练效果8.2自组织神经网络【例8-2】设计内星网络进行以下矢量的分类辨识。P=[0.20.6;0.40.5;0.40.6;0.80.7];T=[10];解析：内星是根据期望输出值，通过迫使网络在第一个输入矢量出现时，输出为1，同时迫使网络在第二个输入矢量出现时，输出为0，而使网络的权矢量逼近期望输出为1的第一个输入矢量。先对网络进行初始化处理。>>clearall;P=[0.20.6;0.40.5;0.40.6;0.80.7];T=[10];[R,Q]=size(P);[S,Q]=size(T);W=zeros(S,R);max_epoch=10;lp.lr=0.2;

【例8-3】给定两元素的输入矢量以及与它们相关的四元素目标矢量，设计一个外星网络实现有效的矢量的获得，外星没有偏差。P=[0.20.6;0.40.5;0.40.6;0.80.7];T=[10];解析：该网络的每个目标矢量强迫为网络的输出，而输入只有0或1。网络训练的结果是使其权矩阵趋于所对应的输入为1时的目标矢量。同样的网络被零权值初始化。clearall;P=[0.20.6;0.40.5;0.40.6;0.80.7];T=[10];[R,Q]=size(P);[S,Q]=size(T);W=zeros(S,R);max_epoch=10;lp.lr=0.3;根据外星学习规则进行训练。forepoch=1:(max_epoch)forq=1:Q......8.3.4自组织映射网络的实现一维自组织映射一维层中的神经元可学习表示输入向量在输入空间出现的不同区域。此外，邻近的神经元可学习对相似的输入进行响应，从而该层可学习所呈现的输入空间的拓扑。【例8-5】创建位于单位圆上的100个数据点。%竞争网络将用于将这些点分成若干自然类，效果如图8-14所示>>angles=0:0.5*pi/99:0.5*pi;X=[sin(angles);cos(angles)];plot(X(1,:),X(2,:),'ro')

图8-14100个数据点

二维自组织映射如同一维问题一样，这种自组织映射将学习表示输入向量在输入空间中出现的不同区域。然而，在此实例中，神经元会形成二维网格，而不是一条线。【例8-6】二维自组织映射实现。%对一个矩形中的1000个二元素向量进行分类，效果如图8-18所示>>X=rands(2,1000);plot(X(1,:),X(2,:),'+r')

图8-181000个向量分布8.4使用自组织映射对数据进行聚类生成代码。选择“生成代码”→“生成简单的训练脚本”以创建MATLAB代码，从命令行重现前面的步骤。如果要了解如何使用工具箱的命令行功能来自定义训练过程，则创建MATLAB代码会很有帮助。在使用命令行函数对数据进行聚类中，可以更详细地研究生成的脚本。x=irisInputs;%CreateaSelf-OrganizingMapdimension1=10;dimension2=10;net=selforgmap([dimension1dimension2]);%TraintheNetwork[net,tr]=train(net,x);%TesttheNetworky=net(x);%ViewtheNetworkview(net)figure,plotsomtop(net)8.5学习向量量化神经网络学习向量量化神经网络（LearningVectorQuantization，LVQ）在竟争网络的基础上，由Kohonen提出其核心为将竟争学习与有监督学习相结合，学习过程中通过教师信号对输入样本的分配类别进行规定，克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。在数字信号处理领域，是指将信号的连续取值（或大量可能的离散取值）近似为有限多个（或较少）离散值的过程，简单来说就是将连续值进行离散化。向量化是对标量量化的扩展，更适用于高维数据。通常情况下，向量量化的思路是：在高维空间，把它分成多个不同的区域，对每个区域指定一个中心向量，此处可以类比于聚类问题中的聚类中心。当输入数据映射到这个区域中时，可以用中心向量与距离中心来代表这个数据。最终结果就形成了以中心向量为中心的集合，这就是LVQ的中心思想。LVQ能将高维数据映射到二维输入平面上，如图8-27所示。前面介绍的SOFM算法是类似的向量量化算法，能用少量的聚类中心表示原始数据。但SOFM的各相邻聚类中心对应的向量具有某种相似的特征，而一般向量量化的中心不具备这种特点。LVQ网络由输入层、竞争层和输出层3层组成，输入层与竞争层间为完全连接，每个输出层神经元与竞争层神经元的不同组相连接。竞争层和输出层神经元之间的连接权值固定为1。在网络训练过程中，输入层和竞争层神经元间的权值被修改。LVQ神经网络的结构图如图8-28所示。8.5.4LVQ网络的实现下面通过一个实例来演示LVQ的实现。【例8-8】LVQ网络训练为根据给定目标对输入向量进行分类。%令X为10个二元素样本输入向量，C为这些向量所属的类。这些类可以通过ind2vec变换为用作目标T的向量>>x=[-3-2-20000+2+2+3;0+1-1+2+1-1-2+1-10];c=[1112222111];t=ind2vec(c);%绘制了这些数据点>>colormap(hsv);plotvec(x,c)%红色=第1类，青色=第2类，效果如图8-29所示title('输入向量');xlabel('x(1)');ylabel('x(2)');

图8-29绘制的输入向量8.6对偶传播神经网络对偶传播神经网络（CounterPropagationNetwork，CPN）最早是用来实现样本选择匹配系统的。CPN网能存储二进制或模拟值的模式对，因此这种网络模型也可用于联想存储、模式分类、函数逼近、统计分析和数据压缩等应用。CPN网络结构如图8-34所示，各层之间的神经元全相互连接。从拓扑结构看，CPN网络与三层BP网络相近，但实际上CPN是由自组织和Grossberg外星组合而成。隐藏为隐藏层，采用无导师的竞争学习规则，而输出层为Grossberg层，采用有导师信号的WH规则或Grossberg规则学习。网络各层按两种学习规则训练后，运行阶段首先向网络送入输入变量，隐藏层对这些输入进行竞争计算，获胜者成为当前输入模式类的代表，同时该神经元成为如图8-35（a）所示的活跃神经元，输出值为1而其余神经元处于非活跃状态，输出值为0。竞争获胜的隐藏神经元激活输出层神经元，使其产生如图8-35（b）所示的输出模式。由竞争失败的神经元输出为0，不参与输出层的整合。因此输出就由竞争获胜的神经元的外星权重确定。

【例8-9】创建一个CPN网络，完成在已知一个人本星期应该完成的工作量和此人当时的思想情况状态的情况下，对此人星期日下午的活动安排提出建议。按照一般情况，将工作量分为3个档次，即没有、有一些和很多，所对应的量化值分别为0、0.5和1；把思想情绪也分为3个水平，即低、一般和高，所对应的量化值分别为0、0.5和1。可选择的活动有5个，即在家里看画报、去购物、去散步、与朋友一起吃饭和工作。工作量和思想情绪状态一共有6种组合，这6种组合分别对应各自的最佳活动选择。样本模式如表8-1所示。其实现的MATLAB代码如下：>>clearall;%初始化正向权值w和反向权值vw=rands(18,2)/2+0.5;v=rands(5,18)/2+0.5;%输入向量P和目标向量TP=[00;0.50.5;00.5;11;0.51;10.5];T=[10000;10000;01000;00100;00010;00001];T_out=T;%设定学习步数为1000次epoch=1000;%归一化输入向量Pfori=1:6ifP(i,:)==[00];P(i,:)=P(i,:);......8.7自适应共振理论网络本小节通过一个简单的例子来演示利用MATLA