第13章 联想学习09.08.17

第13章联想学习13.1目的：本章中，介绍的一组简单规则，允许无监督学习．这使网络具有这样的能力：

在经常一同出现的模式之间学习其中关联。一旦学习成功，关联能力将使网络能执行有用的任务，如模式识别和回忆。尽管本章中的规则很简单，但它们是构成第14-16章中强大神经网络的基础。刺激响应联想联想是指系统中输入和输出之间的任何联系，其中当模式A输入到系统时，将产生模式B的反应。当两个模式关联时，输入模式被称为刺激(stimlus).类似地，输出模式被称为响应(response)。13.2理论和实例13.2.1简单联想网络13.2.1简单联想网络无条件刺激

条件刺激

一类输入集称为无条件刺激，这类似于巴甫洛夫实验中给狗的食物。另一类输入集称为条件刺激，类似于巴甫洛夫实验中的铃声。一开始狗只在有食物时才分泌唾液，这是一种无需学习的先天的特征。然而当铃声与食物重复地同时出现时，狗会在仅有铃声的条件下分泌唾液，而不论是否有食物。13.2.1简单联想网络13.2.1无监督的Hebb规则一般来说，当几个事件同时发生的时候人和动物倾向于将它们联系起来。Hebb规则表认为：当香蕉的气味刺激与香蕉概念响应(由其他刺激引起，如香蕉形状)同时产生的时候，网络将加强它们之间的联系；以后，当只有香蕉气味刺激时也能产生香蕉概念的响应。13.2.1无监督的Hebb规则局部学习注意到上式中只用到了包含被更新权值的层的信号。满足这个条件规则被称为局部学习规则。这与BP算法不同，BP算法中要将敏感度从最后一层反向传播。本章中介绍的规则都是局部学习规则训练序列对所有的无监督规则，学习是由对一个按时间的输人序列(训练序列)的响应决定的：13.2.1无监督的Hebb规则假设联想器重复地受到香蕉的作用。然而网络的气味传感器很可靠，形状传感另却只间断地工作(在偶数步)。所以，训练序列将重复下述两组输人：13.2.1无监督的Hebb规则第三次迭化中，视觉检测器再次失败，网络依然响应。此时已产生丁香蕉气味和对它的反应之间的有用联想。此时，网络已能对香蕉的形状和气味的检测都作出响应。甚至在一个检测系统出现故障的时候，网络在大部分也能正常工作。13.2.1无监督的Hebb规则中定义的Hebb规则有一些缺点。首先，当我们在上例中连续地提交输入并更新w时，权值w将趋于无限大，这与导出Hebb规则的生物系统矛盾。突触不能无限制地增大；第二个问题是没有机制使权值递减。如Hebb网络的输入或输出有噪声，每次权值都会增加(但很缓慢)，直至最后网络对任何刺激都作出响应；然而式（13．6）衰减速度

改进Hebb规则的一种方法是加入权值的衰减项(式7.46)13.2.1→带衰减的Hebb规则新规则也保证网络已学习的联想不会成为人为的噪声。任何小的随机增加将很快地衰减掉。当增加衰减项后，其权值以指数方式逼近最大值.但只考虑衰减，如果多次不被响应，则联想最终将丢失，完全遗忘。衰减速度

如图13-5是一个最简单的模式识别网络，称为instar13.2.3简单的识别网络→instar规则图13-5的instar神经元与图4-3的感知机、图10-2的ADALINE有相似性。但它们有不同的功能，以及用不同的分析方法。13.2.4instar规则13.2.4instar规则13.2.4instar规则当instar神经元活跃的时候，权值向量沿着旧的权值向量和输入向量连线,向输入向量方向移动，权值向量移动的距离决定于a的值。当a=0时，新的权值向量等于旧的权值向量(没有移动)。当a＝1时，新的权值向量等于输入向量(最大移动)。如果a=0.5，则新的权值向量移动到旧权值向量和输入向量正中间。

instar规则的一个有用特性是，如果输入向量是规格化的，则一旦iW学习了一个特定的向量p后也会成为规格化的。可以发现这个规则不仅能使遗忘减到最小程度，并且在输入向量是规格化时使权值向量也是规格化的。13.2.4instar规则＝1网络在完全学习后，权值向量停止了改变。低的学习速度将需要更多的迭代次数。此时网络在视觉校测系统失效的情况下，也能根据测量值识别橘子。13.2.5简单的回忆网络→outstar已经看到instsr网络，有一个向量输入和一个标量输出。可以利用将特定向量刺激与响应相联想来实现模式识别。图13-9中所示的outstar网络，有一个标量输入和一个向量输出。它可以利用一个刺激和向量响应之间的联想完成模式回忆。这个网络的输入输出表达式是：13.2.5outstar规则→outstar

outstar规则

outstar规则可以写成向量形式j代表网络输入元素下标:13.2.5outstar规则→outstar网络的两个输入提供了对水果的测量p0(无条件刺激).以及表示通过视觉确认菠萝的信号p(条件刺激)。13.2.5outstar规则→outstar对水果的测量p0,无条件刺激.视觉信号p,条件刺激。无条件刺激的权值矩阵W0被设置成单位矩阵，所以任何测量值集合p0(取±1值)可以拷贝到输出a.

条件刺激权值矩阵W一开始被设置为0，这样p为1时就不产生响应，而W用outstar规则进行更新，其中学习速度为1:

训练序列包括了对菠萝的视觉和测量的重复表示。菠萝