第6章反馈神经网络

1、第6章反馈神经网络 根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。先前的输出状态无关。 1982 1982年提出一种单层反馈神经网络，后来人们将这种反馈年提出一种单层反馈神经网络，后来人们将这种反馈网络称作网络称作Hopfield Hopfield 网。在其中引入了能量函数网。在其中引入了能量函数 概念，这对概念，这对ANNANN研究具有重大意义，使得网络运行稳定性判断有了可靠依据。研究具有

2、重大意义，使得网络运行稳定性判断有了可靠依据。1985hopfield1985hopfield与合作用模拟电子线路实现了与合作用模拟电子线路实现了HopfieldHopfield网络，成网络，成功求解了优化组合中著名的功求解了优化组合中著名的TSPTSP问题，对问题，对NNNN发展贡献巨大。发展贡献巨大。ANNANN学习方法有学习方法有3 3种：有导师、无导师和死记硬背式。前两种分别在种：有导师、无导师和死记硬背式。前两种分别在第第3 3章的章的BPBP网络和第网络和第4 4章的章的SOMSOM网络涉及，最后一种方法的网络权值网络涉及，最后一种方法的网络权值不是经过反复学习获得，而是一旦确定就

3、不再改变，不是经过反复学习获得，而是一旦确定就不再改变，HopfieldHopfield网络网络就采用该种学习方法。网络中各神经元状态不断变化，直到稳定时就采用该种学习方法。网络中各神经元状态不断变化，直到稳定时的状态就是问题的解。的状态就是问题的解。 Hopfield Hopfield网络分为离散型和连续型两种网络模型，分别记网络分为离散型和连续型两种网络模型，分别记作作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN CHNN (Continues Hopfield

4、Neural Network)(Continues Hopfield Neural Network)，本书主要讨论前一种类型，本书主要讨论前一种类型。 6.1.1 6.1.1 网络的结构与工作方式网络的结构与工作方式 单层全反馈网络：单层全反馈网络：离散型反馈网络的拓扑结构离散型反馈网络的拓扑结构 x1 x2 xi xn T1 T2 Ti Tn 6.16.1离散型离散型HopfieldHopfield神经网络神经网络有有n n个神经元，每个神经元输出均通过连接权个神经元，每个神经元输出均通过连接权wij反馈至所有神经元反馈至所有神经元xj作为输入。即每个神作为输入。即每个神经元都接受所有神经元

5、输出反馈回来的信息，经元都接受所有神经元输出反馈回来的信息，使得各神经元相互制约。每个神经元都有一使得各神经元相互制约。每个神经元都有一个阈值个阈值Tj，对噪声加以控制。因此，对噪声加以控制。因此DHNNDHNN网可网可以简记为以简记为N N= =（W W，T T）。）。(1)(1)网络的状态网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，用网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。表示。)net( fxjjj=1,2,n 所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT 反馈网络的输入就是网络的状

6、态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T 反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为规律为f 为传递函数为传递函数0101sgnjjjjnetnetnetx）（j=1,2,n (6.1) DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 nijiijjTxwnet1)(j=1,2,n (6.2) 对于对于DHNN网，一般有网，一般有wii=0 ，wij=wji。 反馈网络稳定时每个神经元的状态都不再改变，此时的稳反

7、馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为定状态就是网络的输出，表示为 lim( )tt X(2)(2)网络的异步工作方式网络的异步工作方式 ijtxijtnettxjjj)()(sgn) 1(6.3) (3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即态，即 )(sgn) 1(tnettxjjj=1,2,n (6.4) 网络运行时每次只有一个神经元网络运行时每次只有一个神经元 j 进行状态的调整计算，其它进行状态的调整计算，其它神经元的状态均保持

8、不变，即神经元的状态均保持不变，即一、一、 网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网络从网实质上是一个离散的非线性动力学系统。网络从初态初态X(0)开始，若能经有限次递归后，其状态不再发生变化，开始，若能经有限次递归后，其状态不再发生变化，即即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态： ( a ) ( b ) ( c ) 6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限

9、环状态和混沌状态等。若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN网每网每个节点的状态只有个节点的状态只有1 1和和-1-1两种情况，两种情况，网络不可能出现无限发散的情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这而只可能出现限幅的自持振荡，这种网络称为有限环网络。种网络称为有限环网络。 ( a ) ( b ) ( c ) 如果网络状态的轨迹在某个确如果网络状态的轨迹在某个确定的范围内变迁，但既不重复定的范围内变迁，但既不重复也不停止，状态变化为无穷多也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，个，轨迹也不发散到无穷远，这种现象称为混沌。这种现象称为混

10、沌。 (a ) (b ) (c ) 网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的 吸引子。吸引子。 如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。程便是求解计算的过程。 若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。信息，即联想回忆的过程。 定义定义6.1 若网络的状态若网络的状态X 满

11、足满足X=f(WX-T) 则称则称X为网络的吸引子。为网络的吸引子。 二、二、 吸引子与能量函数吸引子与能量函数 定理定理6.1 对于对于DHNN 网，若按异步方式调整网络状态，且连接权网，若按异步方式调整网络状态，且连接权矩阵矩阵W 为对称阵，则对于任意初态，网络都最终收敛到一个吸为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。引子。 定理定理6.1证明：证明： 定义网络的能量函数为：定义网络的能量函数为： TXWXX)t ()t ()t ()t (ETT21(6.5) 令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有 )() 1()(tttEEE(6.

12、6) )() 1()(tttXXX(6.7) 将式将式(6.4)、(6.6)代入代入(6.5)，则网络能量可进一步展开为，则网络能量可进一步展开为 )t (E)1t (E)t (E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(6.8) )()()()(21ttTttTTXWXWXX将将 代入上式代入上式 ，并考虑到，并考虑到W为对称矩阵，有为对称矩阵，有 Tjtxt0,.,0),(, 0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211 (6.9) 上式中可能

13、出现的情况：上式中可能出现的情况： 情况情况a a ：xj(t)=-1, xj(t+1)=1, 由式由式(6.7)得得xj(t)=2, 由式由式(6.1)知知，netj(t)0，代入式，代入式(6.9)，得，得E(t)0。情况情况b b ：xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, 由式由式(6.1)知，知，netj(t)0，代入式，代入式(6.9)，得，得E(t)P，则权值矩阵为记忆样本的外积和，则权值矩阵为记忆样本的外积和 P1pTpp)( XXW(6.16) 若取若取wjj=0，上式应写为，上式应写为 P1pTppI)(XXW(6.17) 式中式中I为单位矩阵。

14、上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有 ji0jixxwP1ppjpiij(6.18) 下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。 因为因为P个样本个样本Xp，p=1,2,P，x -1,1n 是两两正交的，有是两两正交的，有 kpnkpkTp0)(XXkPpTppkI XXXWX1)()(1kPpkTppXXXXkkTkkPXXXX)(kkkPnPnXXX)( 因为因为n P，所以有，所以有 ppppPnPnffXXXWX)sgn()(）（可见给定样本可见给定样本 Xp，p=1,2,P 是吸引子。是吸引子。 网络的信息存储容量网络的信息存储容量p网络

15、所能存储的最大模式数网络所能存储的最大模式数Pmax称为网络容称为网络容量。与网络规模、算法、记忆模式向量分布量。与网络规模、算法、记忆模式向量分布有关。有关。p定理定理6.3 6.3 若若DHNNDHNN网络的规模为网络的规模为n，且权矩阵，且权矩阵主对角线元素为主对角线元素为0 0，则该网络的信息容量上，则该网络的信息容量上界为界为n。p定理定理6.4 6.4 若若P个记忆模式个记忆模式XP, ,p=1,2,=1,2, ,P, , x-1,1-1,1n两两相交，两两相交，nP, ,且权值矩阵且权值矩阵W W按按式式6.176.17得到，则所有得到，则所有P个记忆模式都是个记忆模式都是DHNNDHNN网网( (W,0),0)的吸引子。的吸引子。p定理定理6.5 6.5 若若P个记忆模式个记忆模式XP, ,p=1,2,=1,2, ,P, , x-1,1-1,1n两两相交，两两相交，nP, ,且权值矩阵且权值矩阵W W按式按式6.166.16得到，则所有得到，则所有P个记忆模式都是个记忆模式都是DHNNDHNN网网( (W,0),0)的吸引子。的吸引子。p事实上，在事实上，