第14章-竞争网络

第14章竞争网络

14.1目的

第3章所介绍的Hamming网络，展示了一种用神经网络进行模式识别的技术，这种技术需要事先知道原模型并且将原型模式以权值矩阵的行和网络相结合。本章将讨论一些在结构上以及操作上都与Hamming网络极为相似的网络。14.2理论和实例

Hamming网络是竞争网络中最简单的例子。它的输出层神经元相互竞争以确定胜者。胜者将指出哪一种原型模式最能代表输入模式。这种竞争是通过在输出层神经元之间一组负连接（即侧向抑制）来实现的。早在1959年，FrankRosenblatt就创造了一种简单的“自发”分类器，这是种基于感知机的无监督的神经网络。这种网络能够学会将输入的矢量分类成数目大致相等的两类。

在20世纪60年代后期及70年代早期，StephenGrossberg引入了许多使用侧向抑制而产生良好效果的竞争网络。

1973年，ChristophvonderMalsburg引入了一种自组织的学习规则，这种规则使得相邻的神经元对相似的输入产生反应。他这种网络的拓扑结构以某些方式模仿DavidHubel和TortenWiesel过去所发现的猫的视觉皮层的结构。他的学习规则引起了人们极大的兴趣，但是这种学习规则使用一种非局部计算以保证权值是归格化的。这使得它在生物学上缺少合理性。

在本章我们集中讨论Kohonende竞争框架，他的模型体现了竞争网络的主要特征，而且也比Grossberg的网络在数学上更易处理。这些网络为竞争学习提供了良好的说明。我们将从简单的竞争网络开始。然后将结合网络拓扑结构讲解自组织特征图。最后将讨论学习向量量化。它将竞争和有监督的学习框架结合起来。14.2.1Hamming网络

既然本章所讨论的竞争网络与Hamming网络(见图14-1)紧密相关，所以先回顾一下Hamming网络的一些主要概念。Hamming网络由两层组成。第一层将输入向量与原型向量联系起来。第二层采用竞争方式决定哪种原型向量最接近输入向量。1.第一层从第3章知道，Hamming网络一个神经元只能够识别一种模式。为了能够识别多种模式，就必须有多种神经元。

假设要让网络识别以下原型向量：第一层的权值矩阵为，偏置向量是矩阵的每一行都代表我们想要识别的一种原型向量，的每个元素都设为等于每个输入向量的元素个数R（神经元个数S等于将识别的原型向量的个数Q）。第一层的输出是注意：第一层的输出等于原型向量与输入的内积再加上R。正如我们在第3章3.2.3节讨论的那样，这些内积表明原型向量与输入向量之间的接近程度。2.第2层

第二层是竞争层。这一层的神经元用前馈层的输出初始化，这些输出指明了原型模型与输入向量的相互关系。然后神经元相互竞争以确定胜者。竞争过后，只有一个神经元有非零输出。获胜的神经元指明输入属于哪类（每个原型向量代表一个类）。第一层的输出用来初始化第二层：然后第二层的输出用如下递规关系更新：第二层的权值矩阵的对角线元素都被设为1，不再对角线上的元素，设为某个小的负数：

横向抑制

这个矩阵产生横向抑制，即每个神经元的输出都将对所有其他的神经元产生一种抑制作用。为了说明这种效果，用1和的权值代入中合适的元素。

每次迭代，每个神经元的输出都会随着所有其他神经元输出的和按比例下降（最小的输出为0）。初始状态最大的神经元比起其他神经元的输出降得慢一些。最终这个神经元将成为惟一一个有正值输出的神经元。这时网络已达到了稳定状态。第二层神经元中有稳定正值输出的神经元是和输入匹配得最好的原型向量的那个神经元。14.2.2竞争层

竞争

Hamming网络的第二层的神经元激活自己而抑制所有其他神经元，这就叫做竞争。为了简化本章余下部分的讨论，我们将定义一个传输函数，来作一个递归竞争层所做的工作：它找到最大净输入的神经元的下标，并将其输出设置为1。所有其他的输出都设置为0。

用一个作用于第一层的竞争传输函数代替Hamming网络的递归层，将简化此章的讨论。竞争层如图14-2所示。

正如Hamming网络那样，原型向量存储于W矩阵的每行之中，净输入n计算输入向量p和原每个原型之间的矩离（假设向量归格化长度为L）。每个神经元i的净输入ni和p与原型向量之间的夹角成正比：

竞争传输函数对权值向量与输入向量方向最为接近的神经元的输出指定为1：1.竞争学习我们希望有一个学习规则，在不知道原型向量的情况下用来训练竞争网络的权值。其中一个这样的学习规则是第13章讨论的instar规则：

对于竞争网络：a只对竞争获胜神经元是非零的。因此产生Kohonen规则如下：而

因此，权值矩阵中最接近输入向量的行（或者与输入向量有最大内积的行）向输入向量移动。它沿着权值矩阵原有行与输入向量之间的连线移动，如图14-3所示。

现在用图14-4的6个向量来演示竞争层如何学习分类向量。6个向量为：我们的竞争网络有3个神经元，因而它可以将向量分成3类。下面是“随机”选择的规格化初始权值：

数值向量如图14-5所示，其中权值向量用箭头表示。我们将p2提交给网络：

第2个神经元的权值向量与p2最接近，因而它竞争获胜，且输出为1。现在应用Kohonen学习规则，其中学习速度。Kohonen学习规则将已接近至，正如图14-6所示。如果不断随机选择输入向量并且将它们输入网络，那么每次迭代与输入向量最近的权值向量与将会向输入向量移动。最终每个权值向量将指向输入向量的不同簇。每个权值向量会变成不同的簇的原型向量。

这个问题足够简单，以至能够预计哪个权值向量将指向哪个簇。最终的权值向量将会如图14-7种所示。

一旦神经网络学会了如何将输入向量分类，那么对于新向量它也将同样分类，如图14-8所示。阴影表示每个神经元将作出响应的区域。竞争层通过使权值向量最接近输入向量p的神经元的输出为1为每个输入向量p指定给这些类中的一个。2.竞争层中存在的问题

竞争网络能够进行有效的自适应分类，但它仍存在一些问题。第一个问题就是学习速度的选择使得不得不在学习速度和最终权值向量的稳定性之间进行折中（见图14-9）。一个接近0的学习速度意味着慢速的学习。然而，一旦权值向量到达一个簇的中心，它将保持在中心附近。

相反，接近1.0的学习速度将导致快速学习。然而，一旦权值向量到达一个簇。它将作为它所代表的簇中的不同向量来回震荡（见图14-10）。

有时这种在快速学习和稳定性之间的折中能够带来好处。初始训练对于快速学习可以用大的学习速度来完成。然后学习速度可以随着训练的进程而逐渐减少，以达到稳定的原型向量。令人遗憾的是如果网络需不断地对输入向量的新排列作出调整的话，这种技术就不起作用了。

当簇彼此很靠近的时候，一种更为严重的稳定性问题产生了。在特定的情况下，一个形成某簇原型的权值向量会“侵入”另一个权值向量的领地，从而破坏目前的分类状况。

图14-11中的4个图说明了这个问题。两个输入向量（图（a）中用空心圆圈表示）被提交了几次。结果是代表中间和右边簇的权值向量移向了右边。最后右边簇的一个向量被中心权值向量重新分类。进一步的提交向量使中间向量移向右边，直到它“丢失”了一些它的向量才停止，这些丢失的向量成为左边权值向量所代表的类的一部分。

第三个问题是有时一个神经元的初始权值向量离输入向量太远以至于它从未在竞争中获胜，因此从来也得不到学习。这将产生一个毫无用处的“死”神经元。例如图14-12无论以什么次序把向量提交给网络，向下指的那个权值向量永远都得不到学习。

这个问题的一个解决办法是给每个神经元的净输入加入一个负的偏置值。每次那个神经元竞争获胜则将偏置值减少。这将使一个经常竞争获胜的神经元获胜的机会减少。这种机制有时叫做“良心”。

最终，一个竞争层有多少个神经元，就能够有多少个类。这对于某些应用将无法适用，尤其在事先并不知道簇的个数的时候。此外，对于竞争层，每个类在输入空间之中都含有一个凸区域。当在非凸区域或类是由不连接的区域所组成的时候，竞争层不能形成类。14.2.3生物学意义上的竞争层

在生物的神经网络中，神经元的典型情况是排列成二维层次，它们通过横向反馈密集地联结在一起。图14-13展示了以二维网络形式组织的25个神经元。通常权值是联结的神经元之间的距离的函数。例如，Hamming网络第二层的权值定义如下（14.19）

等式（14.20）与等式（14.19）定义了同样的值，只是基于神经元之间的距离

图14-14展示了等式（14.20）或式（14.19）所定义的权值。每个神经元i都标以权值，即从它到神经元j的权值。

加强中心/抑制周围

加强中心/抑制周围常被用来描述如下神经元之间的一种联结方式：每个神经元加强自身（中心），并且同时抑制周围的神经元。这是生物学竞争层中的一种天然的近似。在生物学中，大神经元不仅加强自己，同时也加强接近它的那些神经元。一般情况下，随着神经元之间的距离增加，从加强到抑制的转变是平滑地出现的。墨西哥草帽函数这种转变见图14-15中的左图。这是一种将神经元之间的距离与连接他们的权值相联系起来的函数。那些近似的神经元提供互相加强的连接，并且激励的幅度随着距离的增加而降低。超过一定距离，神经元将呈现一种抑制性联结，并且抑制随着距离的增加而增加。因为这个函数的形状，它被称为墨西哥草帽函数。图14-15中的右图是墨西哥草帽（加强中心/抑制周围）函数的一个二维图示，每个神经元i都被标以符号及表示它到神经元j的权值的相对强度。

生物竞争系统，除了在加强中心/抑制周围的联结模式下，从激励区域到抑制区域的转变是渐变以外，还是一种相对于Hamming网络的“胜者全得”竞争较为弱的竞争形式。生物网络通常不是单个神经元（竞争获胜者）活跃，而是在最为活跃的神经元的周围有活跃区。这部分是由于加强中心/抑制周围的联结方式以及非线性的反馈联结引起的。14.2.4自组织特征图SOFM网络邻域为了模仿生物学系统的活跃区，并且不必实现非线性的加强中心/抑制周围的反馈联结，Kohonen作了如下的简化设计。自组织特征图（SOFM）网络首先使用竞争层所用的同一过程来决出获胜的神经元；然后，在获胜神经元周围一定范围内的所有神经元的权值向量用Kohonen规则更新，其中邻域包含所有落在以获胜神经元为中心，半径为d的所有神经元的下标：

当向量p被提交，获胜神经元的权值和其邻域内的神经元的将向p移动。结果是多次提交结束之后，邻域内的神经元将通过学习而拥有彼此相像的学习向量。为了展示邻域的概念，请考虑图14-16种的两幅图。左边的说明围绕神经元13，半径为1的二维邻域；右边的图表示半径为2的邻域。

这两个邻域的定义如下：我们必须提及的是SOFM中的神经元不必排列成二维的形式，一维或者三维甚至多维的排列都是可能的。对于一维的SOFM，神经元在半径为1时只有2个邻域（当该神经元位于线之端点时只有一个邻域）。当然也可以用不同的方法来定义距离，例如Kohonen为了更有效地实现曾建议使用矩形或六边形的邻域。神经网络的性能对邻域的确切形状并不敏感。现在我们演示SOFM神经网络是如何工作的。图14-17表示一个特征图以及其神经元的二维拓扑结构。图14-18展示了特征图的初始权值向量，每个三元素权值向量都用球体上的一个点表示（权值已经规格化，都能够落在球面之上）。邻域内的神经元都用线连接起来，因而可以看到拓扑结构在输入空间中是如何安排的。图14-19展示了一个球面上的方形区域。我们将从这个区域中随机抽取向量，以提交给特征图。每当一个向量被提交，具有最近权值向量的那个神经元将竞争获胜。获胜神经元及其邻域内的神经元将移动它们的权值向量从而离输入向量更近一些。本例中我们使用的邻域半径为1。权值向量有两个趋势：首先，它们随着更多的输入向量被提交而分布到整个输入空间。其次，它们移向邻域内的神经元。这两个趋势共同作用使神经元在那一层重新排列，从而最终输入空间得到分类。图14-20所示的一系列图展示了25个的神经元如何在活动的输入空间内展开，并自组织以匹配其拓扑结构。在这个例子中，输入向量以等概率产生于输入空间的任何位置。因此，神经元能够将输入空间分成大致相等的区域。图14-21提供了更多的关于输入区域及自组织之后的结果特征图的例子。有时特征图不能够与他们输入空间的拓扑结构相匹配。这种情况通常发生在网络的两部分与输入空间的独立部分的拓扑结构相匹配，但网络在这两部分之间却发生了扭曲，见图14-22中的例子。这种扭曲现象不大可能消除，因为网络的两端都已经形成对不同区域的稳定的分类。改进特征图到目前为止，我们不仅讨论训练特征图的最基本算法。现在考虑几种能够加速自组织过程并且使它更加可靠的技术。一个改进自组织图的方法是在训练过程中改变邻域的大小。开始，邻域的半径d设置得较大。随着训练的进行，d逐渐减少，直到最终只包含竞争获胜的神经元。这种方法加速自组织并且极不可能在网络中造成扭曲。学习速度也可以随着时间而改变。初始学习速度为1使神经元能够很快地学习提供的向量。在训练过程中，学习速度逐渐降至0，于是学习变得稳定了。另一种加速自组织的改进是使竞争获胜的神经元有比其邻域内的神经元更大的学习速度。最终，竞争层和特征图通常使用另外一种表达式作为净输入。它们能够直接计算输入向量与原型向量之间的距离而不采用计算内积的方法。这种利用距离的方法，优点在于输入向量不必规格化。这种改进的净输入表达式在下一节的LVQ网络中介绍。14.2.5学习向量量化这章我们讨论的最后一种神经网络是学习向量量化（LVQ）网络，见图14-23所示。LVQ神经网络是一种混合网络。通过有监督及无监督的学习来形成分类。在LVQ网络中，第一层的每个神经元都指定给同一类。每类再被指定给第二层的一个神经元。第一层神经元的个数，与第二层神经元的个数至少相同，并且通常要大一些。和竞争网络一样，LVQ网络的第一层的每个神经元学习原型向量，它可以对输入空间的区域分类。然而，不是通过计算内积得到输入和权值向量中最接近者，我们通过直接计算距离的方法来模拟LVQ网络。直接计算距离的一个优点是向量不必先规格化，当向量规格化了，无论是采用计算内积的方法还是直接计算距离，网络的响应将是相同的。LVQ网络的第一层的净输入是或者，用向量形式LVQ网络第一层的输出是因此那种权值向量与输入向量最为接近的神经元的输出将为1，而其他神经元的输出为0。子类

迄今，LVQ网络与竞争网络的特性几乎相同。然而，其解释方面有区别。对于竞争网络，有非零输出的神经元表示输入向量属于那个类。而对于LVQ网络，竞争获胜的神经元表示的是一个子类而非一个类。一个类可能由几个不同的神经元（子类）组成。LVQ网络的第二层将子类组合成一个类。这是通过矩阵来实现的。矩阵的列代表子类，而行则代表类。的每列仅有一个1，其他元素都设置为0。1出现的行表明这个子类属于那个类。这种将子类组合成为类的过程使得LVQ网络产生了复杂的类边界。一个标准的竞争层存在局限，即只能够创造凸的判定区域。LVQ网络克服了这个局限。1.LVQ学习LVQ网络的学习结合了竞争学习和有监督的学习。正如所有有监督的学习算法一样，它需要一组正确网络行为的例子：每个目标向量除了一个是1以外，其余必须全是0。1出现的行表示输入向量属于那个类。例如，如果有这样一个问题，必须将一个特别的三元素相量归类入四个类中的第二类，我们可以这样表达：在学习能够进行之前，把第一层的每个神经元指定给一个输出神经元。这样就产生了矩阵。典型情况下，相同数量的隐藏神经元联结到每个输出神经元，因而每个类都能够由相同数量的凸区域组成。矩阵的所有元素都设置为0，除了如下情况：一旦定义了，它将不会再改变了。隐藏权值将用Kohonen规则的一个变化形式训练。LVQ学习规则以如下方式进行。在每次迭代过程，一个输入向量p被提供给网络，并且计算每个原型向量与p的距离。隐含的神经元进行竞争，神经元竞争获胜，的第i个元素被设置为1。接着与相乘从而得到最终输出，也是只有一个非零元素，表明p是指定给类的。Kohonen规则被用在两个方面以改进LVQ网络的隐含层。首先，如果p分类正确的话，那么获胜的隐含神经元向p移动：其次，如果p被不正确归类，那么我们知道错误的隐含层神经元竞争获胜，因此，移动它的权值远离p：结果是每个隐含神经元移向那些落入形成子类的类中的向量，而远离那些落入其他类中的向量。让我们看一个LVQ训练的例子。我们训练LVQ网络来求解如下分类问题：正如图14-24所示，开始为每个输入指定目标向