反馈神经网络课件

第六章反馈神经网络

6.1离散型Hopfield神经网络6.2连续型Hopfield神经网络(不讲)6.3Hopfield网络应用与设计实例(不讲)6.4双向联想记忆神经网络(不讲)6.5随机神经网络(不讲)6.6递归神经网络(不讲)根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。在其中引入了能量函数概念，这对ANN研究具有重大意义，使得网络运行稳定性判断有了可靠依据。1985年，hopfield与D.W.Tank合作用模拟电子线路实现了Hopfield网络，成功求解了优化组合中著名的TSP问题，对NN发展贡献巨大。ANN学习方法有3种：有导师、无导师和死记硬背式。前两种分别在第3章的BP网络和第4章的SOM网络涉及，最后一种方法的网络权值不是经过反复学习获得，而是一旦确定就不再改变，Hopfield网络就采用该种学习方法。网络中各神经元状态不断变化，直到稳定时的状态就是问题的解。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本书主要讨论前一种类型。

有n个神经元，每个神经元输出均通过连接权wij反馈至所有神经元xj作为输入。即每个神经元都接受所有神经元输出反馈回来的信息，使得各神经元相互制约。每个神经元都有一个阈值Tj，对噪声加以控制。因此DHNN网可以简记为N=（W，T）。(1)网络的状态

DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。j=1,2,…,n

所有神经元状态的集合就构成反馈网络的状态X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为f为传递函数j=1,2,…,n(6.1)

DHNN网的转移函数常采用符号函数

式中净输入为

j=1,2,…,n(6.2)

对于DHNN网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为

一、网络的稳定性

DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。

如果网络是稳定的，它可以从任一初态收敛到一个稳态：

6.1.2网络的稳定性与吸引子

反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌状态等。若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。网络达到稳定时的状态X，称为网络的吸引子。

如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。

若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。

定义6.1若网络的状态X满足X=f(WX-T)

则称X为网络的吸引子。

二、吸引子与能量函数将式(6.4)、(6.6)代入(6.5)，则网络能量可进一步展开为

(6.8)将代入上式，并考虑到W为对称矩阵，有

(6.9)上式中可能出现的情况：情况a：xj(t)=-1,xj(t+1)=1,由式(6.7)得Δxj(t)=2,由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。情况b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(6.1)知，netj(t)<0，代入式(6.9)，得ΔE(t)<0。情况c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(6.9)，从而有ΔE(t)=0。

由此可知在任何情况下均有ΔE(t)≦0。简化：由于网络中各节点的状态只能取1或–1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时ΔE(t)=0。分2种情况：综上所述，当网络工作方式和权矩阵均满足定理6.1的条件时，网络最终将收敛到一个吸引子。

定理6.2对于DHNN网，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。

情况a：xj(t)=xj(t+1)=1或xj(t)=xj(t+1)=-1,神经元j状态不变，网络稳定，即为吸引子。情况b：xj(t)=-1,xj(t+1)=1,netj(t)=0，xj=1固定。以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。

性质1：若X是网络的一个吸引子，且阈值T=0，在sgn(0)处，xj(t+1)=xj(t)，则－X

也一定是该网络的吸引子。

证明：∵X是吸引子，即X=f(WX)，从而有

f[W(－X)]=f[－WX]=－f[WX]=－X

∴－X

也是该网络的吸引子。

三、吸引子的性质性质2：若Xa是网络的一个吸引子，则与Xa的海明距离dH(Xa，Xb)=1的Xb一定不是吸引子。

证明：不妨设x1a≠x1b，xja=xjb，j=2,3,…,n。∵w11=0，由吸引子定义，有由假设条件知，x1a≠x1b，故∴Xb

不是该网络的吸引子。

能使网络稳定在同一吸引子的所有初态的集合，称为该吸引子的吸引域。定义6.2若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到Xa，则称X强吸引到Xa。定义6.3若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。四、吸引子的吸引域例6.1设有3节点DHNN网，用无向图表示如下，权值与阈值均已标在图中，试计算网络演变过程的状态。

x1

-0.1-0.5

0.2

x2

0.0

0.0

x3

0.6解：设各节点状态取值为1或0，3节点DHNN网络应有23=8种状态。不妨将X=(x1,x2,x3

)T=(0,0,0)T作为网络初态，按1→2→3的次序更新状态。

第1步：更新x1

，x1=sgn[(-0.5)0+0.20－(-0.1)]=sgn(0.1)=1其它节点状态不变，网络状态由(0,0,0)T变成(1,0,0)T。如果先更新x2

或x3，网络状态将仍为(0,0,0)T，因此初态保持不变的概率为2/3，而变为(1,0,0)T的概率为1/3。

x1-0.1-0.50.2x20.0

0.0

x3

0.6（0,0,0）（1,0,0）（0,0,0）（0,0,0）变化概率为1/3不变概率为2/3（0,1,0）（0,1,0）（0,0,0）（0,1,1）变化概率为2/3不变概率为1/3（0,0,1）（1,0,1）（0,1,1）（0,0,0）变化概率为3/3不变概率为0（1,1,0）（0,1,0）（1,0,0）（1,1,1）变化概率为3/3不变概率为0（1,0,0）（0,0,0）（1,0,0）（1,0,1）变化概率为2/3不变概率为1/3（1,0,1）（1,0,1）（1,1,1）（1,0,1）变化概率为2/3不变概率为1/3（1,1,1）（0,1,1）（1,1,1）（1,1,1）变化概率为1/3不变概率为2/3（0,1,1）（0,1,1）（0,1,1）（0,1,1）变化概率为0不变概率为3/3（2）考察联想记忆：设有样本X1=（-1，1，1，1)T，X2=（1，-1，-1，-1)T，X3=（1，1，-1，-1)T，考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。令网络初态X(0)=X1=（-1，1，1，1)T，做状调整次序为1234，则：X(0)=（-1，1，1，1)T

X(1)=（1，1，1，1)T=Xa可看出该样本接近吸引子Xb，实际上只要按照异步调整一步，样本X2收敛到Xb。令网络初态X(0)=X3=（1，1，-1，-1)T，它与两个吸引子的海明距离相同。若神经元状态调整次序为1234，则：X(0)=（1，1，-1，-1)T

X(1)=（-1，1，-1，-1)T

X(2)=（-1，-1，-1，-1)T=Xb若神经元状态调整次序为3412，则：X(0)=（1，1，-1，-1)T

X(1)=（1，1，1，-1)T

X(2)=（1，1，1，1)T=Xa

可以看出，在网络的异步调整次序一定时，稳定于哪个吸引子与其初态有关；当初态一定时，网络稳定于哪个吸引子与其异步调整次序有关。为了使所设计的权值满足要求，权值矩阵应符合以下要求：⑴为保证异步方式工作时网络收敛，W应为对称阵；⑵为保证同步方式工作时网络收敛，W应为非负定对称阵；⑶保证给定样本是网络的吸引子，并且要有一定的吸引域。6.1.3网络的权值设计一、联立方程法考虑wij=wji，建立联立方程组，逐个求解。以6.1例子的DHNN网说明。

设要求的吸引子为Xa=(010)T，Xb=(111)T，权值和阈值在[-1,1]区间内取值，试求权值和阈值。解：考虑到wji=wji，对于状态Xa=(010)T，各点净输入应该满足：

net1=w12*1+w13*0-T1=w12-T1＜0(1)net2=w12*0+w23*0-T2=-T2＞0(2)

net3=w13*0+w23*1-T3=w23-T3＜0(3)对于状态Xb=(111)T，各点净输入应该满足：

对于状态Xb=(111)T，各点净输入应该满足：

net1=w12*1+w13*1-T1＞0(4)net2=w12*1+w23*1-T2＞0(5)

net3=w13*1+w23*1-T3＞0(6)联合（1）-（6）方程，可以求出6个未知量的范围，如取w12=0.5，从（1）式有0.5＜T1≤1，可以取T1=0.7；由式（4）有0.2＜w13≤1，取w13=0.4；由式（2）有-1≤T2＜0，取T2=-0.2；由式（5）有-0.7＜w23≤1，取w23=0.1；由式（6）有-1≤T3＜0.5，取T3=0.4。可以验证，这一组参数构成的DHNN网对于任何初始态都将演变到两个给定的吸引子之一。二、外积和法设给定P个模式样本Xp，p=1,2,…,P，x{-1,1}n，并设样本