常见的联想记忆网络_第1页
常见的联想记忆网络_第2页
常见的联想记忆网络_第3页
常见的联想记忆网络_第4页
常见的联想记忆网络_第5页
已阅读5页,还剩45页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

常见的联想记忆网络1.1简介(1)在大脑中可以找到听觉、视觉、与运动等相关之区域,但找不到负责记忆的区域。对于负责记忆的区域,没有一个完整且令人信服的理论可以说明个中原理

。三种记忆的生理过程理论:

(1)信息乃物理性地被纪录在神经元中。

(2)信息以电讯方式被传导与储存。

(3)信息改变了神经元的结构。1.1简介(2)记忆可能是藉由神经元间的联接形态来储存,而非透过单一神经元本身的变化来纪录。柏克莱大学的Rosenzwieg博士对于记忆所提出的理论─每当一个人学到一件新的事物时,神经元便改变它们的伸展范围,使得信息更容易透过相关的突触,而传递至相连接的神经元,新的联结形成之后,旧的便消失,彼此消长之间,便形成所谓的记忆。史丹福大学的卡尔、帕瑞巴博士提出所谓的“全图像理论(hologram)”─所有的记忆都被储存在大脑的所有区域中,而任何一段片段便能够使整体的记忆再现。摘自:大脑的秘密档案洪兰译1.1简介(3)人类的记忆,根据储存的期间长短又分为三种:

(1)立即计忆(immediatememory);

(2)短程记忆(short-termmemory);

(3)长程记忆(long-termmemory)

。1.1简介(4)立即计忆(immediatememory):(1)功能:使我们注意到浅在之变化,以进行连续性之活动。

(2)容量:数以千计,总体印象。

(3)时间:两秒或更短。1.1简介(5)短程记忆(short-termmemory):

(1)功能:使我们把东西连接在一起,创造情境并指定意义。

(2)容量:七件事。

(3)时间:三十秒到两天。简单实验(1)EPGLAKS简单实验(2)LODTMXHRU简单实验(3)8DWOSUNZH简单实验(4)J9DTHXQ1.1简介(6)长程记忆(long-termmemory):(1)功能:使我们记住事件(情节式型态

episodic)及知识(语意式型态

semantic)。

(2)容量:无限。

(3)时间:永久。1.1简介(7)海马体受损会影响记忆。内视丘负责记忆类型的最初统合。长期记忆是随着前突触末端的增加而出现,也与新关联的建立有关。改善记性的方法:

(1)利用联想

(2)置身于同样情境

(3)喝牛奶1.1简介(8)有关记忆的三个重要历程为:

登录(registration):从各种外界的刺激中挑选出感兴趣的信息。

保留(retention):将所注意到的信息,从短程记忆的强记,转化成久储存的长程记忆。

提取(retrieve):如何从大脑中提取所储存的信息,主要是靠所谓的“联想(associations)”

。从1950年代开始,就有许许多多的学者专家,投注大量心血,希望能用类神经网络的模式来模拟联想记忆,实现的方式可分为线性与非线性两种。1.2 线性联想记忆

(1)假设有一组输入/输出对,,xi

与yi

的维度分别为p

和r。我们的目标是想将这N

个输入/输出对,用联想记忆的方式予以储存起来,也就是说,当输入为xi或是加了一些噪声的xi+ni(代表噪声),输出会是yi

一、网络学习

二、网络回想

图1.1为实现线性联想记忆的类神经网络示意图。

1.2 线性联想记忆

(2)如果输入彼此之间为正规化正交(orthonormal),即

假设现在的输入为xk,则网络的输出为:

假设xk

只是长度为1的单位矢量,那么网络输出可重写为:

其中

k

是所谓的“噪声矢量(noisevector)”或称为“交互影响(crosstalk)”。

如果键结值矩阵是由下式计算而得的,那么这些噪声矢量

k

会降到最小:其中,以及X+称为的虚拟反矩阵。

范例1.1:联想记忆

(1)假设我们想要储存以下三个输入/输出对:

经由前述之公式可知

如果网络现在的输入是,那么网络的输出为

1.3 Hopfield网络

(1)如果输入及输出矢量都是由二元值(0与1)或双极值(-1与1)所构成的矢量,那么式(1.8)的输出噪声矢量可以藉助下述的非线性转换技术达到抑制噪声的效果:

(1)将输出取阀值(thresholding)以及

(2)将取阀值后的输出,转输入回网络,然后重覆这两项步骤直到收敛为止。这种有回授的类神经网络被称为“循环类神经网络(recurrentneuralnetworks)”,而离散的Hopfield网络(discreteHopfieldnetworks)便是此种网络的代表。

1.3 Hopfield网络

(2)一、网络学习

:假设有N

笔输入矢量要用自联想的方式储存至离散Hopfield网络上

或者

图1.2:离散的Hopfield网络。

1.3 Hopfield网络

(3)二、网络回想

假若此时有一输入x

进入此网络,我们将此时的输入视做网络的初始输出x(0),紧接着,每个类神经元的后续输出是由下式计算离散Hopfield网络是用异步(asynchronization)的方式来变更类神经元的输出,整个联想过程可以用下列之链状关系来描述:

如果我们用同步(synchronization)的方式来变更网络输出,结果会有些不同

范例1.2:联想记忆中的记忆提取

假设我们要储存下列两笔资料:

范例1.2:联想记忆中的记忆提取(2)假设此时输入为x=(1,1,-1)T,我们想知道哪一笔资料会被联想起来?

1.若我们依序利用下式来更新类神经元的输出状态:

2.若我们使用同步的方式来更新网络输出状态:

叠代次数类神经元输出11(x1)(-1,1,-1)T22(x2)(-1,1,-1)T33(x3)(-1,1,-1)T41(x1)(-1,1,-1)T52(x2)(-1,1,-1)T63(x3)(-1,1,-1)T……

…叠代次数输出1(-1,1,-1)T2(-1,1,-1)T……范例1.3:离散

Hopfield网络应用于字联想(1)

图1.3:(a)测试离散

Hopfield网络的六个样本图样。

范例1.3:离散Hopfield网络应用于数字联想

(1)在本实验中,以个类神经元、个键结值来记忆如图1.3(a)的八个样本图样

。每个图样都是由120个像素所组成,样本图样是以二元的灰阶值表示,输入至网络时以+1代表黑点、以-1代表白点。我们以0.25的机率将其灰阶值由+1变-1,或由-1变+1,并且以这个被噪声干扰过的新图样来作为网络的输入图样,以测试网络是否能够从被噪声干扰过的图样中,以训练完成的键结值,来正确地回想出原来的样本图样?

图1.3:(a)测试离散Hopfield网络的八个样本图样。

图1.3:(b)原样本图样“6”被噪声干扰后,经由网络收敛至图样“6”(完全正确回想)。

图1.3:(c)原样本图样“2”被噪声干扰后,经由网络收敛至图样“6”(错误回想)。

图1.3:(d)原样本图样“9”被噪声干扰后,经由网络收敛至图样“9”(部份错误回想)。(本图摘自:S.Haykin,NeuralNetworks1.3.1 离散Hopfield网络的特性

(1)如果类神经元输出的更新是采用异步模式,则网络必定会收敛至某一稳定状态。

动态系统的稳定度分析,最直接的方式是解出系统方程式分析。Hopfield网络是否稳定通常采用Lyapunov法。

首先,我们定义离散Hopfield网络的能量函数为:

假设第i

个类神经元的输出于时间k

时产生了变化,即

由于

xi(k)

的产生,导致网络的能量于时间k+1时变成

1.3.1 离散Hopfield网络的特性

(2)因此,网络能量的变化量为

接着,我们将下标h

改为下标j,又因为wij=wji,因此可以将上式为

1.3.1 离散Hopfield网络的特性

(3)由于

xi(k)

的值只有三种可能,现在我们就分三种情况来分析

E1.

xi(k)=2:即xi(k+1)=1且xi(k)=-1

xi(k+1)=1代表,因此

E<02.

xi(k)=-2:即xi(k+1)=-1且xi(k)=1xi(k+1)=-1代表,因此

E<03.

xi(k)=0:即xi(k+1)=xi(k)xi(k+1)=xi(k)代表,因此

E=0综合上列三种情况,我们得知

E<=01.3.1 离散Hopfield网络的特性

(4)离散Hopfield网络利用能量函数的局部极小特性来储存资料。我们利用Hebbian规则来调整网络的键结值,有可能会使得网络能量之局部极小值的数目会超过原先储存的资料数目,也就是会有”伪造状态(Spuriousstates)”的产生。

离散Hopfield网络的记忆容量有其上限,若类神经元的数目是p,在记忆提取有99%正确率的情况下,则可储存的资料笔数不会超过下式。

记忆容量

图1.4:离散Hopfield网络的收敛特性。

1.3.2 连续Hopfield网络

(1)Hopfield于1984年提出了连续Hopfield网络(analogorcontinuousHopfieldnetworks)[11]。网络中的类神经元采用S

曲线的活化函数,网络的状态以及输出可以用下列之微分方程式来描述:

其中,对第i

个类神经元来说,Ci

代表细胞膜的电容性,Ri

是细胞膜的电阻性,Ii

是外界输入电流(代表阀值项),yi

是类神经元的输出电位差,ui

代表轴突丘的细胞膜电位差,以及wij

代表第j

个类神经元至第i

个类神经元的键结值,(.)

是个严格递增的S-型活化函数。

1.3.2 连续Hopfield网络

(2)根据克希荷夫电流定律(Kirchhoffequation)

其中代表非线性放大器的输入电阻性。如果我们定义

可以将式(1.27)转换成如下

上式再加上就等同于式(1.25)

图1.5:以超大型集成电路(VLSI)的技术来实现连续Hopfield网络。

1.3.3Hopfield网络的应用

(1)Hopfield网络的应用范围很广,譬如说,有些人把它应用于类比/数位转换器的设计。另一个广受注意的应用就是用来解决最佳化的问题,主要的关键技术就是想办法将欲最佳化的目标函数(objectfunction)整理成Hopfield网络的Lyapunov函数,然后便可发现键结值应如何设定,最后我们初始化网络的输出值,然后随着时间的变化,网络会收敛至稳定状态,而此稳定状态便是目标函数的极小值,在此强调一点,我们无法保证它是全域极小值(globalminima)。

范例1.4:推销员旅途长度问题(TSP)

(1)如何设计一条最短的行程以便走过N

个城市,而每个城市只能去一次,并且最后要回到原先出发的城市。类神经元被安排成N

N

的矩阵,行(column)代表旅途的顺序,列(row)代表城市名称,而矩阵的每一个元素─亦即类神经元的输出,都是单极性的二元值,若矩阵的第元素为1,则代表城市y

是第i

站。图1.6显示这么一条路径:B

D

A

C

(B)。图1.6:推销员旅途长度问题的解答之一:B

D

A

C

(B)。

范例1.4:推销员旅途长度问题(TSP)

(1)(1)每个城市只能去一次:

(2)一次只能去一个城市:

(3)所有城市都要被经过:

(4)路途距离最短:

其中代表城市y

与城市z

的距离。

范例1.4:推销员旅途长度问题(TSP)

(2)现在我们想要同时将E1、E2、E3

以及

E4

最小化,因此可以将上述四个函数乘上不同的权值,以便合并考虑:

我们将含有N

N

个类神经元的Hopfield网络的能量函数写于下式:

比较式(1.36)与式(1.37),我们便可知道键结值w

(y,i),(z,j)(第(y,i)个类神经元与第(z,j)个类神经元的联结键结值)以及阀值

(y,i)应照下列式子设定:

(1.36)(1.37)范例1.4:推销员旅途长度问题(TSP)

(3)假设城市数目N=4,所以键结值矩阵是个16×16的矩阵(因为共有16个类神经元在这4×4的Hopfield网络),dA,B=dB,C=dC,D=dD,A=1km,dA,C=dB,D=km,并且让w1=w2=w3=w4=0.6,根据式(1.38)-(1.40),我们得到:

01000010100000010100001010000001如果我们采用同步叠代方式来更新网络状态,那么根据式(1.15),网络的新状态变成

1.4 双向联想记忆

(1)双向联想记忆(bidirectionalassociativememory,简称BAM)是一种执行异联想(heteroassociation)的双层类神经网络。它可被用来储存N个输入/输出矢量对,(xi,yi),i=1,…N,

xi与yi分别为p维与r维的矢量,其基本架构如图1.7所示。它利用顺反两个方向的信息传输方式,使得网络的两层类神经元的输出,以一种反覆出现的模式达到稳定状态,藉此完成异联想的工作。图1.7:双向联想记忆类神经网络的基本架构。

1.4.1BAM网络的记忆及回想

(1)假设Y

层的类神经元在时间k时的输出为y(k),这时y(k)便被视为位于X

层的类神经元的输入,然后这些类神经元(X

层)便根据下式来更新类神经元的输出:

其中

1.4.1BAM网络的记忆及回想

(2)然后将x(k+1)视为位于Y

层的类神经元的输入,并根据下式来计算类神经元(Y

层)新的输出:这个过程会一直反覆持续下去,直到收敛为止,整个回想过程可以用以下的步骤来总结。

第1次反馈传输:第1次前馈传输:第2次反馈传输:第2次前馈传输:……第k/2次反馈传输:第k/2次前馈传输:……1.4.1BAM网络的记忆及回想

(3)采用Hebbian学习规则

我们可以看出WT=W,亦即w’ji=wij。所谓的双向稳定就是网络经过多次双向叠代之后,会有以下的情况发生:其中

1.4.1BAM网络的记忆及回想

(4)网络的Lyapunov函数为(为了简化问题,我们令阀值项):

我们发现更动或中的任一个位元信息(例如从+1

-1或从-1

+1),会导致网络能量变化如下:

1.4.1BAM网络的记忆及回想

(5)而与的变化量不外乎以下三种:

我们很轻易地发现,

xi

和同号以及

yj和同号,再加上有一个负号,所以和,除此之外,E(x,y)有下限(),所以可以得到这个结论─BAM会随着时间的演进而往网络能量低的方向移动,最后收敛至双向稳定状态,而此状态便是能量函数的局部极小点。值得一提的是,BAM也会有所谓的”伪造状态”的出现。

1.4.1BAM网络的记忆及回想

(6)如果将离散BAM的差分状态改变规则,如式(1.42)及式(1.44)改成下列的微分方程式,则会变成所谓的连续BAM(continuousbidirectionalassociativememory):

其中,Ii

以及

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论