第5讲-Hopfield

1、第第5 5讲讲 霍普菲尔德网络霍普菲尔德网络 (Hopfield Network)智能控制理论及应用智能控制理论及应用第一部分第一部分 神经网络神经网络反馈网络反馈网络(Recurrent Network)u 反馈网络反馈网络，又称自联想记忆网络，其，又称自联想记忆网络，其目的是为了目的是为了设计一个网络，储存一组平衡点设计一个网络，储存一组平衡点，使得当给网络一组，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计初始值时，网络通过自行运行而最终收敛到这个设计的的平衡点平衡点上。上。u反馈网络反馈网络能够表现出非线性动力学系统的动态特性能够表现出非线性动力学系统的动态特性。它所具

2、有的主要特性为以下两点：它所具有的主要特性为以下两点：第一、网络系统具有第一、网络系统具有若干个稳定状态若干个稳定状态。当网络从某一。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；定的平衡状态；第二、系统稳定的平衡状态可以第二、系统稳定的平衡状态可以通过设计网络的权值通过设计网络的权值而被存储到网络中。而被存储到网络中。常用反馈网络常用反馈网络反馈网络反馈网络(Recurrent Network)u Elman网络网络u Hopfield网络网络美国物理学家美国物理学家J.Hopfield于于1982年首先提出的。年首先提

3、出的。它模拟生物神经网络的记忆机理。它模拟生物神经网络的记忆机理。第第5 5讲讲 霍普菲尔德网络霍普菲尔德网络(Hopfield Network)u离散离散Hopfield网络与联想记忆网络与联想记忆u连续连续Hopfield网络与优化计算网络与优化计算uHopfield网络的网络的Matlab仿真仿真(Discrete Hopfield Neural Network，DHNN)(Continuous Hopfield Neural Network，CHNN)5.1 DHNN与联想记忆与联想记忆一、一、DHNN网络结构网络结构 z-1z-1z-1一、一、DHNN网络结构网络结构 1）单层反馈网

4、络）单层反馈网络2）所有神经元的输）所有神经元的输出延时一个单位时出延时一个单位时间作为输入。间作为输入。3）网络的外部输入）网络的外部输入为作为初始状态，为作为初始状态，对外输出为稳定状对外输出为稳定状态。态。)(11)()()()(knfkxbkxwkniinjijiji0, 10, 1)(nnnf0, 00, 1)(nnnf神经元的模型为神经元的模型为或或一、一、DHNN网络结构网络结构 DHNN神经元的状态是离散的。神经元的状态是离散的。二、二、DHNN的工作方式的工作方式（1）异步方式或串行工作方式）异步方式或串行工作方式 在在某一时刻只有一个神经元改变状态某一时刻只有一个神经元改变

5、状态，而其余神，而其余神经元的输出保持不变，这一变化的神经元可以按照经元的输出保持不变，这一变化的神经元可以按照随机方式或预定的顺序来选择。随机方式或预定的顺序来选择。例如，若选定的神经元为第例如，若选定的神经元为第i个，则有个，则有ijkxkxbkxwfkxjjnjijiji),() 1()() 1(1二、二、DHNN的工作方式的工作方式（2）同步方式或并行工作方式）同步方式或并行工作方式 在在某一时刻所有神经元同时改变状态某一时刻所有神经元同时改变状态。), 2 , 1( )() 1(1nibkxwfkxnjijiji三、三、DHNN的稳定性定理的稳定性定理 如果网络从任一初始状态开始变化

6、，存在某如果网络从任一初始状态开始变化，存在某一有限时刻，从此以后一有限时刻，从此以后网络状态不再变化网络状态不再变化，即，即)() 1(kkxx则称网络是则称网络是稳定稳定的。的。若网络的状态若网络的状态x满足满足则称为网络的则称为网络的稳定点或吸引子稳定点或吸引子。)(bWxx f三、三、DHNN的稳定性定理的稳定性定理定理定理1 对于对于DHNN，若按异步方式调整状态，且，若按异步方式调整状态，且连接权矩阵连接权矩阵W对称且对角线元素非负对称且对角线元素非负，即，即wij=wji ，wii=0,则对于任意初态，网络都最终收敛到一个吸则对于任意初态，网络都最终收敛到一个吸引子。引子。定理定

7、理2 对于对于DHNN ，若按同步方式调整状态，且，若按同步方式调整状态，且连接权矩阵连接权矩阵W为为非负定对称阵非负定对称阵，则对于任意初态，则对于任意初态，网络都最终收敛到一个吸引子。网络都最终收敛到一个吸引子。三、三、DHNN的稳定性定理的稳定性定理 可见对于可见对于同步方式同步方式，它对连接权矩阵，它对连接权矩阵W的要求的要求更高了，若不满足更高了，若不满足W为非负定对称阵的要求，则网为非负定对称阵的要求，则网络可能出现自持震荡，即极限环。络可能出现自持震荡，即极限环。 由于异步工作方式比同步工作方式有更好的稳由于异步工作方式比同步工作方式有更好的稳定性能，定性能，实现时较多采用异步工

8、作方式实现时较多采用异步工作方式。异步工作。异步工作方式的主要缺点是失去了神经网络并行处理的优点。方式的主要缺点是失去了神经网络并行处理的优点。 联想记忆（联想记忆（Associative Memory，AM）功能）功能是是DHNN的一个重要应用。的一个重要应用。 四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计 在在Hopfield网络的拓扑结构及权值矩阵均一定的网络的拓扑结构及权值矩阵均一定的情况下，网络的情况下，网络的稳定状态将与其初始状态稳定状态将与其初始状态有关。有关。 也就是说，也就是说，Hopfield网络是一种能储存若干个预网络是一种能储存若干个预先设置的稳定状

9、态的网络。先设置的稳定状态的网络。若将稳态视为一个记忆样若将稳态视为一个记忆样本，那么初态朝稳态的收敛过程便是寻找记忆样本的本，那么初态朝稳态的收敛过程便是寻找记忆样本的过程。过程。初态可认为是给定样本的部分信息，网络改变初态可认为是给定样本的部分信息，网络改变的过程可认为是从部分信息找到全部信息，从而实现的过程可认为是从部分信息找到全部信息，从而实现了联想记忆的功能。了联想记忆的功能。 Hopfield网络没有与之相关的学习规则。它的网络没有与之相关的学习规则。它的权值不被训练，也不会自己学习。它的权值不被训练，也不会自己学习。它的权值矩阵是事权值矩阵是事前计算出来的。前计算出来的。 在这种

10、网络中，在这种网络中，不断更新的不是权值，而是网络不断更新的不是权值，而是网络中各神经元的状态，中各神经元的状态，网络演变到稳定时各神经元的状网络演变到稳定时各神经元的状态便是问题的解。态便是问题的解。 权值设计的目的：权值设计的目的：使任意输入矢量经过网络循环使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。最终收敛到网络所记忆的某个样本上。四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计1. 海布海布(Hebb)学习规则学习规则向量形式：向量形式： 当当 时：时：m m为样本数；为样本数； 为学习速为学习速率；率；I I为单为单位 对 角 矩位 对 角 矩阵。阵。

11、 jijixxwmkkikjij01mkTkk1)(IxxWmkTkkm1)(IxxW1假设需要存储的记忆样本有假设需要存储的记忆样本有nim1, 1,21xxxx四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计1. 海布海布(Hebb)学习规则（外积和法）学习规则（外积和法）采用采用Hebb规则设计的权值，可以满足规则设计的权值，可以满足jiijww 0iiw从而可以保证网络在从而可以保证网络在异步工作异步工作时收敛。时收敛。 若按同步工作时，网络或收敛或出现极限环。若按同步工作时，网络或收敛或出现极限环。缺点：给定样本不一定是网络的吸引子，需要样缺点：给定样本不一定是网络的

12、吸引子，需要样本满足一定的条件。本满足一定的条件。四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计设样本维数为设样本维数为n，样本个数为，样本个数为m，则根据，则根据Hebb规则规则设计的设计的DHNN，实现，实现样本均为吸引子的充分条件样本均为吸引子的充分条件（样本应满足的条件）（样本应满足的条件）为：为：（1）若）若m个样本两两正交，则充分条件为个样本两两正交，则充分条件为nxxjixxiTijTi)()()()()(0mn （2）若）若m个样本不是两两正交，则为个样本不是两两正交，则为mmnm1ijjTixx)()(maxikm四、四、DHNN的联想记忆功能与权值设计的联

13、想记忆功能与权值设计2. 正交化的权值设计正交化的权值设计1)保证系统在异步工作时的稳定性；保证系统在异步工作时的稳定性；2)保证所有要求记忆的稳定平衡点都能收敛到自保证所有要求记忆的稳定平衡点都能收敛到自己；己；3)使伪稳定点使伪稳定点（网络最终稳定到一个渐近稳定点（网络最终稳定到一个渐近稳定点上，但这个稳定点不是网络设计所要求的解）上，但这个稳定点不是网络设计所要求的解）的的数目尽可能的少；数目尽可能的少；4)使稳定点的吸引域尽可能的大。使稳定点的吸引域尽可能的大。四、四、DHNN的联想记忆功能与权值设计的联想记忆功能与权值设计 设给定设给定m个样本向量个样本向量 x(k)=(k=1,2,

14、m) ，首先组，首先组成如下的成如下的n (m-1) 阶矩阵阶矩阵,)() 1()()2()() 1 (mmmmxxxxxxATVUA),(,00021rdiagSS对对A进行奇异值分解进行奇异值分解U是是n n正交阵，正交阵，V是是(m-1) (m-1) 正交阵。正交阵。2. 正交化的权值设计正交化的权值设计则则 u1,u2,ur 是对应于非零奇异值是对应于非零奇异值1, 2, r 的的左奇异向量，且组成了左奇异向量，且组成了A的值域空间的正交基；的值域空间的正交基；ur+1,un 是是 A的值域的正交补空间的正交基。的值域的正交补空间的正交基。 按如下方法组成连接权矩阵按如下方法组成连接权

15、矩阵W和阈值向量和阈值向量b。)()(1mmrkTkkWxxbuuWU可表示成可表示成,121nrruuuuuU2. 正交化的权值设计正交化的权值设计2. 正交化的权值设计正交化的权值设计 虽然正交化设计方法的数学设计较为复杂，但与虽然正交化设计方法的数学设计较为复杂，但与外积和法相比较，所设计出的平衡稳定点能够保证外积和法相比较，所设计出的平衡稳定点能够保证收敛到自己并且有较大的稳定域。收敛到自己并且有较大的稳定域。在在MATLAB工具箱中已将此设计方法写进了函数。工具箱中已将此设计方法写进了函数。五、五、DHNN的权值设计及网络工作过程示例的权值设计及网络工作过程示例例例1 采用采用Heb

16、b规则，设计离散规则，设计离散Hopfield网络，判网络，判断样本是否均为吸引子，并考察这两个吸引子的吸断样本是否均为吸引子，并考察这两个吸引子的吸引能力。引能力。 两个样本为两个样本为1111,1111)2()1(xx02222022220222202)2()2()1()1(IxxxxWTT解解 1）求连接权矩阵）求连接权矩阵五、五、 DHNN的权值设计及网络工作过程示例的权值设计及网络工作过程示例)2()2()1()1(11116666)(,11116666)(xfWxfxfWxf可见，两个样本可见，两个样本 均为网络的吸引子。均为网络的吸引子。不满足前面给出的充分条件，是否为吸引子需具

17、体不满足前面给出的充分条件，是否为吸引子需具体加以检验：加以检验：2）判断样本是否为吸引子）判断样本是否为吸引子 两个样本不正交，根据第二种情况判断两个样本不正交，根据第二种情况判断4maxikm5812mmnm3）考察两个吸引子的吸引能力（联想记忆的功能）考察两个吸引子的吸引能力（联想记忆的功能) ) 显然它比较接近显然它比较接近x(1),用异步方式按用异步方式按1,2,3,4的调整的调整次序来演变网络：次序来演变网络：Txx1111)0()3(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (443322111xxxxxxfxwfxnjjj)1(1111) 1

18、(xxT(1)可见，只需异步方式调整一步既收敛到可见，只需异步方式调整一步既收敛到 x(1) 。即即3）考察两个吸引子的吸引能力（联想记忆的功能）考察两个吸引子的吸引能力（联想记忆的功能) ) 显然它比较接近显然它比较接近x(2),用异步方式按用异步方式按1,2,3,4的调整的调整次序来演变网络：次序来演变网络：(2)可见，只需异步方式调整一步既收敛到可见，只需异步方式调整一步既收敛到 x(2) 。即即)2(1111) 1 (xxTTxx1111)0()4(1)0() 1 (1)0() 1 (1)0() 1 (1)6()0() 1 (443322111xxxxxxfxwfxnjjj(3)可见，

19、此时可见，此时x(5)收敛到收敛到 x(2) 。即即Txx1111)0()5( 它与它与 x(1) 和和x(2) 的海明距离（两个向量不相同元素的个数）的海明距离（两个向量不相同元素的个数）均为均为2。若按。若按1,2,3,4的调整次序调整网络可得的调整次序调整网络可得4 , 3 , 2)0() 1 (1)2()0() 1 (111ixxfxwfxiinjjjTx1111) 1 (4 , 3 , 1) 1 ()2(1)6() 1 ()2(122ixxfxwfxiinjjj)2(1111)2(xxT即即4 , 2 , 1)0() 1 (1)2()0() 1 (133ixxfxwfxiinjjjT

20、x1111) 1 (3 , 2 , 1) 1 ()2(1)6() 1 ()2(144ixxfxwfxiinjjj)1(1111)2(xxT若按若按3,4,1,2的调整次序调整网络可得的调整次序调整网络可得即即即即可见，此时可见，此时x(5)收敛到收敛到 x(1) 。11112226)()0() 1 ()3(fWxfWxfx下面对该例应用同步方式进行计算，仍下面对该例应用同步方式进行计算，仍取取x(0)为为x(3)， x(4)， x(5) 三种情况。三种情况。Txx1111)0()3(1)可见，可见， x(3)收敛到收敛到 x(1) 。11112226)0() 1 (fWxfx(2)Txx111

21、1)0()4(可见，可见， x(4)收敛到收敛到 x(2) 。11116666)1 ()2(fWxfx(3)Txx1111)0()5(11112222)0() 1 (fWxfx)0(11112222)1 ()2(xfWxfx 可见，它将在两个状态间跳跃，产生极限环为可见，它将在两个状态间跳跃，产生极限环为2的的自持振荡。若根据前面的稳定性分析，由于此时连接自持振荡。若根据前面的稳定性分析，由于此时连接权矩阵权矩阵W不是非负定阵，所以出现了振荡。不是非负定阵，所以出现了振荡。 因为网络有四个节点，所以有因为网络有四个节点，所以有24=16个状态（阈值取个状态（阈值取0），其中只有以上两个状态），

22、其中只有以上两个状态 x(1) 和和x(2)是稳定的，其余是稳定的，其余状态都会收敛到与之邻近的稳定状态上，所以说这种状态都会收敛到与之邻近的稳定状态上，所以说这种网络具有一定的纠错能力。网络具有一定的纠错能力。 为了能实现联想记忆，对于每一个吸引子应该为了能实现联想记忆，对于每一个吸引子应该有一定的吸引范围，这个吸引范围便称为吸引域。有一定的吸引范围，这个吸引范围便称为吸引域。 对于异步方式，对同一个状态，若采用不同的对于异步方式，对同一个状态，若采用不同的调整次序，有可能弱吸引到不同的吸引子。若存在调整次序，有可能弱吸引到不同的吸引子。若存在一个调整次序可以从一个调整次序可以从x x演变到

23、吸引子演变到吸引子x x(a)(a)，则称，则称x x弱吸弱吸引到引到x(a) ；若对于所有的调整次序，都可以；若对于所有的调整次序，都可以从从x演变演变到吸引子到吸引子x(a)，则称，则称x强吸引到强吸引到x(a) 。 对于同步方式，由于无调整次序问题，所以相应对于同步方式，由于无调整次序问题，所以相应的吸引域也无强弱之分。的吸引域也无强弱之分。1. 吸引域吸引域六、若干相关概念六、若干相关概念 所谓所谓记忆容量记忆容量是指：在网络结构参数一定的条件是指：在网络结构参数一定的条件下，要保证联想功能的正确实现，网络所能存储的最下，要保证联想功能的正确实现，网络所能存储的最大的样本数。大的样本数

24、。 也就是说，给定网络节点数也就是说，给定网络节点数n，样本数，样本数m最大可最大可为多少，这些样本向量不仅本身应为网络的吸引子，为多少，这些样本向量不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功而且应有一定的吸引域，这样才能实现联想记忆的功能。能。 2. DHNN的记忆容量（的记忆容量（Memory Capacity）五、若干相关概念五、若干相关概念五、若干相关概念五、若干相关概念3. 伪状态（伪状态（Spurious States） 伪状态是指除记忆状态之外网络多余的稳定伪状态是指除记忆状态之外网络多余的稳定状态。状态。5.2 Hopfield 网络的网络的Mat

25、lab仿真仿真Net=Newhop（T）Matlab工具箱函数工具箱函数T为目标向量，即存储在网络中的目标平衡点。为目标向量，即存储在网络中的目标平衡点。1 设计一个具有两个神经元的设计一个具有两个神经元的DHNN2 设计一个具有三个神经元的设计一个具有三个神经元的DHNNT=1 -1;-1 1T=1 1;-1 1;-1 -15.2 Hopfield 网络的网络的Matlab仿真仿真5.3 CHNN与优化计算与优化计算 CHNN主要用于优化计算。主要用于优化计算。 若将稳态与某种优化计算的目标函数相对应，若将稳态与某种优化计算的目标函数相对应，并作为目标函数的极小点。那么初态朝稳态的收敛并作为

26、目标函数的极小点。那么初态朝稳态的收敛过程便是优化计算过程。该优化计算是在网络演变过程便是优化计算过程。该优化计算是在网络演变过程中自动完成的。过程中自动完成的。一、一、CHNN网络结构网络结构一、一、CHNN网络结构网络结构 1niijjjjsw x1()iiiiidyysdtxf y 这里，假定这里，假定wij=wji ，它与离散的，它与离散的Hopfield网络相网络相比，这里多了中间一个式子，该式是一阶微分方比，这里多了中间一个式子，该式是一阶微分方程，相当于一阶惯性环节，程，相当于一阶惯性环节，si是该环节的输入，是该环节的输入，yi是该环节的输出。是该环节的输出。 神经元模型为神经

27、元模型为f()函数一般取函数一般取S形函数形函数) 1 , 1(ixiiyyiieeyfx11)() 1 , 0(ixiyiieyfx11)( 它们都是连续的单调上升的函数。它们都是连续的单调上升的函数。连续连续Hopfield网络的电路模型网络的电路模型Hopfield利用模拟电路设计了一个连续利用模拟电路设计了一个连续Hopfield网络网络的电路模型。下图表示了其中由运算放大器电路实现的电路模型。下图表示了其中由运算放大器电路实现的一个节点的模型。的一个节点的模型。)(1iinjijijiiiiiufVRuVIRudtduC)(111iiiijnjiijiiiiufVCIVCRuCRdt

28、dunjijiiRRR1111其中其中经整理得经整理得可以列出如下的电路方程：可以列出如下的电路方程：iiiiijijiiiiiiCICRwCRuyVx,1,若令若令可以看出，连续可以看出，连续Hopfield网络实质上是一个连续的非网络实质上是一个连续的非线性动力学系统，它可用一组非线性微分方程来描线性动力学系统，它可用一组非线性微分方程来描述。当给定初始状态述。当给定初始状态 ，通过求解非线，通过求解非线性微分方程组可求的网络状态的运动轨迹。若系统性微分方程组可求的网络状态的运动轨迹。若系统是稳定的，则它可最终可收敛到一个稳定状态。是稳定的，则它可最终可收敛到一个稳定状态。)(11iinj

29、ijijiiyfxxwydtdy), 2 , 1)(0(nixi则上式化为则上式化为式中式中 f(.)常用常用Sigmoid函数：函数：iyiieyfx11)( 若用图示的硬件来实现，则这个求解非线性微分若用图示的硬件来实现，则这个求解非线性微分方程的过程将由该电路自动完成，其求解速度是非常方程的过程将由该电路自动完成，其求解速度是非常快的。快的。 用运算放大器构造的连续型用运算放大器构造的连续型Hopfield网络网络nixiTTninjnixiniiijiijiidfdfxxxwE101111011)(121)(121xWxx二、二、 稳定性分析稳定性分析定义连续定义连续Hopfield网

30、络能量函数为网络能量函数为由于由于 或或 ，因此上述定义的能量函，因此上述定义的能量函数数E是有界的，因此只需证得是有界的，因此只需证得 ，即可说，即可说明系统是稳定的。明系统是稳定的。) 1 , 1(ix) 1 , 0(ix0/dtdEdtdxxEdtdEinii1)1()(21)(1212111111injjijiinjjjiijiiinjnjjjijijixwyxwwxfxwxwxE)()()(2111dtdxdxdydtdxdtdxdxdydtdxdtdydtdEiniiiiiniiiiniiiixEdtdyjiijww dtdyxEii当当前面已假设前面已假设 是单调上升函数，显然它

31、的是单调上升函数，显然它的反函数反函数 为单调上升函数，即有为单调上升函数，即有)(iiyfx )(1iixfy0/iidxdy0dtdE根据李雅普诺夫稳定性理论，该网络一定是渐近根据李雅普诺夫稳定性理论，该网络一定是渐近稳定的。即随着时间的演变，网络状态总是朝稳定的。即随着时间的演变，网络状态总是朝E减减小的方向运动，一直到小的方向运动，一直到E取得极小值，这时所有的取得极小值，这时所有的xi变为常数，也即网络收敛到稳定状态。变为常数，也即网络收敛到稳定状态。因而有因而有（所有（所有xi均为常数时才取等号）均为常数时才取等号）稳定性定理稳定性定理对于连续对于连续Hopfield网络，若网络对

32、称（网络，若网络对称（wij=wji），），且神经元功能函数为连续单调递增函数，则有且神经元功能函数为连续单调递增函数，则有0)(dttdxi且上式等号成立的充要条件为且上式等号成立的充要条件为0dtdE, 2 , 1ni 在应用连续型在应用连续型Hopfield网络解决实际问题时，如网络解决实际问题时，如果能将某个待研究解决的问题，化为一个计算能量函果能将某个待研究解决的问题，化为一个计算能量函数，且使这个能量函数的最小值正好对应于一定约束数，且使这个能量函数的最小值正好对应于一定约束条件下问题的解答时，则此问题就可以用连续型条件下问题的解答时，则此问题就可以用连续型Hopfield网络来求

33、解了。网络来求解了。 如何设计连接权系数及其它参数需根据具体问题如何设计连接权系数及其它参数需根据具体问题来加以确定。下面以连续型来加以确定。下面以连续型HopfleldHopfleld神经网络应用神经网络应用于于TSP(Travelling Salesman Problem)TSP(Travelling Salesman Problem)为例加以说为例加以说明。明。TSPTSP问题是人工智能中的一个难题。问题是人工智能中的一个难题。三、三、CHNN用于优化计算用于优化计算 推销员要到推销员要到n个城市去推销产品，要求推销员每个城市去推销产品，要求推销员每个城市都要去到，且只能去一次，如何规划

34、路线才个城市都要去到，且只能去一次，如何规划路线才能使所走的路程最短。利用连续能使所走的路程最短。利用连续Hopfield网络来进网络来进行优化计算。行优化计算。解解 这是一个典型的组合优化问题。下面要解决的这是一个典型的组合优化问题。下面要解决的问题是如何恰当地描述该问题，使其适合于用问题是如何恰当地描述该问题，使其适合于用 Hopfield网络来求解。正是由于网络来求解。正是由于 Hopfeld成功地求成功地求解了解了 TSP问题，才使得人们对神经网络再次引起问题，才使得人们对神经网络再次引起了广泛的兴趣。了广泛的兴趣。CHNN应用于应用于TSP问题问题对于对于n个城市的个城市的TSP问题

35、，可以使用问题，可以使用n2个神经元，个神经元，用神经元的状态表示某一城市在某条路径中被访问用神经元的状态表示某一城市在某条路径中被访问的顺序。的顺序。第第i个神经元的状态用个神经元的状态用xi表示，其中，表示表示，其中，表示城市名城市名称，称，i表示访问顺序。表示访问顺序。xi =1表示城市表示城市在该路径中第在该路径中第i个被访问，个被访问， xi =0表示城市表示城市在该路径中第在该路径中第i个没有被访问。个没有被访问。这里取较大的这里取较大的，以使，以使S形函数比较陡峭，从而稳形函数比较陡峭，从而稳态时态时 能够趋于能够趋于1或趋于或趋于0 。iyiex115 , 4 , 3 , 2

36、, 1,iEDCBAA、B、C、D、E表示城市名称；表示城市名称；l、2、3、4、5表示路径顺序。表示路径顺序。神经元采用如下的神经元采用如下的S形变换函数形变换函数这里以这里以n=5的的TSP问题为例。问题为例。 12345A01000B00010C10000D00001E00100访问顺序访问顺序访访问问城城市市5城市城市TSP问题的一条有效路径的关联矩阵问题的一条有效路径的关联矩阵其相应的路径顺序为：其相应的路径顺序为：DBEACBDEBAECAddddd所走路径的总长度为：所走路径的总长度为：为了保证每个城市只去一次，方阵每行只能有一个为了保证每个城市只去一次，方阵每行只能有一个元素为元素为1，其余为零。为了保证在某一时刻只能经，其余为零。为了保证在某一时刻只能经一个城市，方阵中每列也只能有一个元