2022年医学专题-人工神经网络第七章

第7章

循环(xúnhuán)网络主要内容Hopfield网络实现的自相联存储稳定性分析统计Hopfield网与Boltzmann机基本双联存储器(BAM)的结构(jiégòu)与训练几种相联存储网络用Hopfield网解决TSP问题。第一页，共七十三页。12/14/20221第7章

循环(xúnhuán)网络重点Hopfield网络实现的自相联存储基本双联存储器的结构与训练。难点(nádiǎn)稳定性分析用Hopfield网解决TSP问题

第二页，共七十三页。12/14/20222第7章

循环(xúnhuán)网络7.1循环网络的组织

7.2稳定性分析

7.3统计Hopfield网与Boltzmann机

7.4双联存储器的结构

7.5异相联存储

7.6其它(qítā)的双联存储器

7.7Hopfield网用于解决TSP问题

第三页，共七十三页。12/14/20223第7章

循环(xúnhuán)网络

循环(xúnhuán)网络称为Hopfield网

循环网络对输入信号的处理是一个逐渐“修复(xiūfù)”、“加强”的过程。强烈变化较弱的变化不变化第四页，共七十三页。12/14/202247.1循环网络(wǎngluò)的组织网络结构

X1Xno1om………………第五页，共七十三页。12/14/202257.1循环网络(wǎngluò)的组织联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。神经元个数h，输入(shūrù)向量维数n，输出向量维数m。h≥n，h≥m，n≥1，m≥1。神经元：输入、输出、隐藏状态变化：非同步、同步输入向量：X=(x1，x2，…，xn)输出向量：O=(o1，o2，…，om)

第六页，共七十三页。12/14/202267.1循环(xúnhuán)网络的组织神经元的网络(wǎngluò)输入：

阈值(yùzhí)函数：oj=1 ifnetj>θj0 ifnetj<θj

oj ifnetj=θj第七页，共七十三页。12/14/20227最基本(jīběn)的Hopfield网

o1ono2x2x1xnW……n=m=h 第八页，共七十三页。12/14/20228最基本(jīběn)的Hopfield网希望网络的联接(liánjiē)矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y

样本集：S={Y1，Y2，…，Ys}

第九页，共七十三页。12/14/20229最基本(jīběn)的Hopfield网

wii=0 1≤i≤nW是一个对角线元素为0的对称矩阵： W=Y1T╳Y1+Y2T╳Y2+…+YsT╳Ys-W0W是各个(gègè)样本向量自身的外积的和——网络实现的是自相联映射。

权矩阵(jǔzhèn)：wij=i≠j第十页，共七十三页。12/14/202210最基本(jīběn)的Hopfield网第十一页，共七十三页。12/14/202211第十二页，共七十三页。12/14/202212由式7一3知，对任意(rènyì)的i和j(i≠j),所以(suǒyǐ)，W是一个对角线元素为0的对称矩阵。与前面遇到过的训练方法不同，在这里是根据样本集直接地计算出网络的联接矩阵。显然，这种训练方法效率要高许多。另外，由于W是各个样本向量(xiàngliàng)自身的外积的和，所以，有时称该网络实现的是自相联映射。第十三页，共七十三页。12/14/202213最基本(jīběn)的Hopfield网激活函数： 改为S形函数后，系统就成为一个连续系统

多级循环网络 除输出向量被反馈到输入层外，其它各层之间的信号传送(chuánsònɡ)均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。 一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送

第十四页，共七十三页。12/14/202214

网络的异步工作方式

网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元i按下式进行状态的调整计算(jìsuàn)，其他神经元的状态均保持不变，即第十五页，共七十三页。12/14/202215神经元状态的调整次序可以按某种规定的次序进行(jìnxíng)，也可以随机选定。每次神经元在调整状态时，根据其当前净输入值的正负决定下一时刻的状态，因此其状态可能会发生变化，也可能保持原状。下次调整其他神经元状态时，本次的调整结果即在下一个神经元的净输入中发挥作用。

网络的同步工作方式

网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即xj(t+1)＝sgn[netj(t)]j＝1，2,…,n第十六页，共七十三页。12/14/2022167.2稳定性分析(fēnxī)

网络的稳定性是与收敛性不同的问题

Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理

如果(rúguǒ)Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的

用著名的Lyapunov函数作为Hopfield网络的能量函数

网络的稳定性与吸引子第十七页，共七十三页。12/14/202217反馈网络是一种能存储若干个预先(yùxiān)设置的稳定点(状态)的网络。运行时，当向该网络作用一个起原始推动作用的初始输入模式后，网络便将其输出反馈回来作为下次的输入。经若干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先(yùxiān)设定的稳定点。设X(0)为网络的初始激活向量，它仅在初始瞬间t＝0时作用于网络，起原始推动作用。X(0)移去之后，网络处于自激状态，即由反馈回来的向量X(1)作为下一次的输入取而代之。反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌(chaos)状态等。

第十八页，共七十三页。12/14/202218

1．网络的稳定性

由网络工作状态的分析可知，DHNN网实质上是一个离散的非线性动力学系统(xìtǒng)。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的第十九页，共七十三页。12/14/202219如果网络是稳定的，它可以从任一初态收敛到一个(yīɡè)稳态，如图6．2(a)所示；若网络是不稳定的，由于DHNN网每个节点的状态只有1和-l两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络，图6．2(b)给出了它的相图。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌，其相图如图6．2(c)所示。对于DHNN网，由于网络的状态是有限的，因此不可能出现混沌现象。第二十页，共七十三页。12/14/202220网络的稳定性与下面将要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态(zhuàngtài)按一定规则变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态(zhuàngtài)就是问题的最优解。网络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变过程中自动完成的。第二十一页，共七十三页。12/14/202221

2．吸引子与能量函数网络达到稳定时的状态X，称为网络的吸引子。一个动力学系统的最终行为是由它的吸引子决定的，吸引子的存在为信息的分布存储记忆和神经优化计算提供了基础(jīchǔ)。如果把吸引子视为问题的解，那么从初态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。

第二十二页，共七十三页。12/14/202222下面给出DHNN网吸引子的定义和定理。

定义7．1若网络的状态X满足X＝f(WX—T)，则称X为网络的吸引子。

能使网络稳定在同一吸引子的所有(suǒyǒu)初态的集合，称为该吸引子的吸引域。下面给出关于吸引域的两个定义。

定义7．2若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到Xa，则称X强吸引到Xa。第二十三页，共七十三页。12/14/202223

定义7．3若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。

欲使反馈网络(wǎngluò)具有联想能力，每个吸引子都应该具有一定的吸引域。只有这样，对于带有一定噪声或缺损的初始样本，网络(wǎngluò)才能经过动态演变而稳定到某一吸引子状态，从而实现正确联想。反馈网络(wǎngluò)设计的目的就是要使网络(wǎngluò)能落到期望的稳定点(问题的解)上，并且还要具有尽可能大的吸引域，以增强联想功能。

第二十四页，共七十三页。12/14/202224例6．2有一DHNN网，n＝4，Tj＝0，j＝l，2，3，4，向量Xa、Xb和权值矩阵(jǔzhèn)W分别为检验Xa和Xb是否(shìfǒu)为网络的吸引子，并考察其是否(shìfǒu)具有联想记忆能力。第二十五页，共七十三页。12/14/202225解本例要求验证(yànzhèng)吸引子和检查吸引域，下面分两步进行。①检验吸引子

由吸引子定义第二十六页，共七十三页。12/14/202226所以Xa是网络的吸引子，因为Xb＝－Xa，由吸引子的性质1知，Xb也是网络的吸引子。②考察联想记忆能力设有样本Xl＝(－1，1，1，1)T、X2＝(1，－1，－1，－1)T、X3＝(1，1，－1，－1)T，试考察网络以异步方式工作时两个吸引子对3个样本的吸引能力。令网络初态X(0)＝X1＝(－1，1，1，1)T。设神经元状态(zhuàngtài)调整次序为1→2→3→4，有X(0)＝(－1，1，1，1)T→X(1)＝(1，1，1，1)T＝Xa

可以看出该样本比较接近吸引子Xa，事实上只按异步方式调整了一步，样本X1即收敛于Xa。第二十七页，共七十三页。12/14/202227令网络(wǎngluò)初态X(0)＝X2＝(1，－1，－1，－1)T。设神经元状态调整次序为1→2→3→4，有X(0)＝(1,－1,－1,－1)T→X(1)＝(－1,－1,－1,－1)T＝Xb

可以看出样本X2比较接近吸引子Xb，按异步方式调整一步后，样本X2收敛于Xb。令网络初态X(0)＝X3＝(1,1,－1,－1)T，它与两个吸引子的海明距离相等。若设神经元状态调整次序为1→2→3→4，有X(0)＝(1,1,－1,－1)T→X(1)＝(－1,1,－1,－1)T→X(2)＝(－l,－1,－l,－1)T＝Xb

第二十八页，共七十三页。12/14/202228若将神经元状态调整次序改为3→4→1→2，则有X(0)=(1,1,－1,－1)T→X(1)＝(1,1,1,－1)T→X(2)＝(1,1,l,1)T＝Xa

从本例可以看出，当网络的异步调整次序一定时，最终稳定于哪个(nǎge)吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个(nǎge)吸引子与其异步调整次序有关。

第二十九页，共七十三页。12/14/202229

定理7．1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。下面通过对能量函数的分析(fēnxī)对定理7．1进行证明。

定义网络的能量函数为：第三十页，共七十三页。12/14/202230第三十一页，共七十三页。12/14/202231第三十二页，共七十三页。12/14/202232Lyapunov函数(hánshù)——能量函数作为(zuòwéi)网络的稳定性度量wijoioj：网络的一致性测度。xjoj：神经元的输入和输出的一致性测度。θjoj：神经元自身的稳定性的测度。

第三十三页，共七十三页。12/14/202233当ANk的状态(zhuàngtài)从ok变成ok′1、ANk是输入(shūrù)神经元

第三十四页，共七十三页。12/14/202234当ANk的状态(zhuàngtài)从ok变成ok′wkk=0第三十五页，共七十三页。12/14/202235ΔΕ=-(netk-θk)ΔokANk状态(zhuàngtài)的变化：Δok=(ok′-ok)Δok=0，ΔΕ=0Δok>0，ok′=1&ok=0，ok由0变到1，netk>θk，netk-θk>0所以(suǒyǐ)，-(netk-θk)Δok<0故ΔΕ<0结论：网络的目标函数总是(zǒnɡshì)下降Δok<0,ok′=0&ok=1，ok由1变到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<0第三十六页，共七十三页。12/14/202236当ANk的状态(zhuàngtài)从ok变成ok′2、ANk不是(bùshi)输入神经元

第三十七页，共七十三页。12/14/202237当ANk的状态(zhuàngtài)从ok变成ok′无论ANk的状态(zhuàngtài)是如何变化的，总有ΔΕ≤0

第三十八页，共七十三页。12/14/2022387.3统计(tǒngjì)Hopfield网与Boltzmann机统计(tǒngjì)Hopfield网

在网络运行中，神经元状态与“人工温度”确定的概率相关网络运行模拟金属退火过程pi：ANi的状态取1的概率neti：ANi所获网络输入(shūrù)；θi：ANi的阈值；T：系统的人工温度。

第三十九页，共七十三页。12/14/202239算法(suànfǎ)7-1统计Hopfield网运行算法(suànfǎ)

1

取一个很大的值作为人工温度T的初值；2

对网络中每一个神经元ANi，2.1

按照相应式子计算相应的概率pi；2.2

按照均匀分布，在[0，1]中取一个随机数r；2.3

如果pi>r则使ANi的状态为1， 否则使ANi的状态为0；3逐渐降低温度T，如果温度足够低，则算法(suànfǎ)结束。否则，重复2

第四十页，共七十三页。12/14/202240Boltzmann机的训练(xùnliàn)

Boltzmann机是多级循环网络，是Hopfield网的一种扩展。神经元ANi实际输出(shūchū)状态oi=1的概率为：

T趋近于0时，神经元的状态(zhuàngtài)不再具有随机性，Boltzmann机退化成一般Hopfield网。第四十一页，共七十三页。12/14/202241Boltzmann机的训练(xùnliàn)

第四十二页，共七十三页。12/14/202242Boltzmann机的训练(xùnliàn)

第四十三页，共七十三页。12/14/202243Boltzmann机的训练(xùnliàn)

Boltzmann机是多级循环(xúnhuán)网络，是Hopfield网的一种扩展。神经元ANi网络输入为：

T趋近于0时，神经元的状态不再具有(jùyǒu)随机性，Boltzmann机退化成一般Hopfield网。第四十四页，共七十三页。12/14/202244Boltzmann机的训练(xùnliàn)

神经元ANi实际输出状态(zhuàngtài)oi=1的概率为神经元ANi实际输出(shūchū)状态oi=0的概率为显然越大，则oi取1的概率越大第四十五页，共七十三页。12/14/202245Boltzmann机的训练(xùnliàn)神经元ANi在运行(yùnxíng)中状态发生了变化

Boltzmann机的能量(néngliàng)函数(一致性函数)第四十六页，共七十三页。12/14/202246Boltzmann机的训练(xùnliàn)如果ΔΕi>0，神经元ANi处于状态(zhuàngtài)1的概率就应该越大，否则，神经元ANi处于状态0的概就应该越大。ΔΕi的值越大，神经元ANi应该处于状态1的概率就应该越大。反之，ΔΕi的值越小，神经元ANi应该处于状态1的概率就应该越小。从而，oi=1的概率为：

第四十七页，共七十三页。12/14/202247Boltzmann机的训练(xùnliàn)处于状态a，b的概率(gàilǜ)Pa和Pb，对应于oi=1和oi=0，其它的神经元在a，b状态下不变

Pa=γpi

Pb=γ（1-pi）

当系统的温度较低时，如果Ea<Eb，则Pa>Pb：网络处于较低能量(néngliàng)状态的概率较大

第四十八页，共七十三页。12/14/202248Boltzmann机的训练(xùnliàn)网络进行足够多次迭代后，处于某状态的概率与此状态下的能量和此时系统的温度有关。由于高温(gāowēn)时网络的各个状态出现的概率基本相同，这就给它逃离局部极小点提供了机会。第四十九页，共七十三页。12/14/202249Boltzmann机的训练(xùnliàn)1986年，Hinton和Sejnowski训练方法自由概率(gàilǜ)Pij-：没有输入时ANi和ANj同时处于激发状态的概率。约束概率Pij+：加上输入后ANi和ANj同时处于激发状态的概率。联接权修改量：Δwij=α(Pij+-Pij-)

第五十页，共七十三页。12/14/202250算法(suànfǎ)7-2Boltzmann机训练算法(suànfǎ)

1

计算约束概率1.1对样本(yàngběn)集中每个样本(yàngběn)，执行如下操作：1.1.1将样本加在网络上（输入向量及其对应的输出向量）；1.1.2让网络寻找平衡；1.1.3记录下所有神经元的状态；1.2计算对所有的样本，ANi和ANj的状态同时为1的概率Pij+；第五十一页，共七十三页。12/14/202251算法(suànfǎ)7-2Boltzmann机训练算法(suànfǎ)

2

计算自由概率2.1从一个随机状态开始，不加输入、输出，让网络自由运行，并且在运行过程中多次纪录网络的状态；2.2对所有(suǒyǒu)的ANi和ANj，计算它们的状态同时为1的概率Pij-；3

对权矩阵进行调整Δwij=α(Pij+-Pij-)第五十二页，共七十三页。12/14/2022527.7Hopfield网解决(jiějué)TSP问题1985年，J.J.Hopfield和D.W.Tank用循环(xúnhuán)网求解TSP。试验表明，当城市的个数不超过30时，多可以给出最优解的近似解。而当城市的个数超过30时，最终的结果就不太理想了

设问题中含有n个城市,用n*n个神经元构成网络

第五十三页，共七十三页。12/14/202253

应用CHNN网解决优化计算问题用CHNN网解决优化问题一般需要以下几个步骤：(1)对于特定的问题，要选择一种合适的表示方法，使得神经网络的输出与问题的解相对应；(2)构造网络能量函数，使其最小值对应于问题的最佳解；(3)将能量函数与Lyapunov函数标准形式进行比较，可推出神经网络的权值与偏流的表达式，从而确定了网络的结构；

(4)由网络结构建立网络的电子线路并运行，其稳态就是在一定条件(tiáojiàn)下的问题优化解。也可以编程模拟网络的运行方式，在计算机上实现。

第五十四页，共七十三页。12/14/202254

TSP问题是一个经典的人工智能难题。对n个城市而言，可能(kěnéng)的路径总数为n!／2n。随着n的增加，路径数将按指数率急剧增长，即所谓“指数爆炸”。当n值较大时，用传统的数字计算机也无法在有限时间内寻得答案。例如，n＝50时，即使用每秒1亿次运算速度的巨型计算机按穷举搜索法，也需要5×1048年时间。即使是n＝20个城市，也需求解350年。

1985年Hopfield和Tank两人用CHNN网络为解决TSP难题开辟了一条崭新的途径，获得了巨大的成功。第五十五页，共七十三页。12/14/202255其基本思想是把TSP问题映射到CHNN网络中去，并设法用网络能量(néngliàng)代表路径总长。这样，当网络的能量(néngliàng)随着模拟电子线路状态的变迁，最终收敛于极小值(或最小值)时，问题的较佳解(或最佳解)便随之求得。此外，由于模拟电子线路中的全部元件都是并行工作的，所以求解时间与城市数的多少无关，仅是运算放大器工作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。

第五十六页，共七十三页。12/14/2022561．TSP问题描述为使CHNN网络完成优化计算，必须找到一种合适的表示旅行路线的方法。鉴于TSP的解是n个城市的有序排列，因此可用一个由n×n个神经元构成的矩阵(称为换位阵)来描述旅行路线。图7.5给出8城市TSP问题中的一条可能(kěnéng)的有效路线的换位阵。

第五十七页，共七十三页。12/14/202257

TSP问题描述

为使CHNN网络完成优化计算，必须(bìxū)找到一种合适的表示旅行路线的方法。鉴于TSP的解是n个城市的有序排列，因此可用一个由n×n个神经元构成的矩阵(称为换位阵)来描述旅行路线。图给出8城市TSP问题中的一条可能的有效路线的换位阵。

第五十八页，共七十三页。12/14/202258由于每个城市仅能访问一次，因此换位阵中每城市行只允许且必须有一个1，其余元素均为0。为了用神经元的状态表示某城市在某一有效(yǒuxiào)路线中的位置，采用双下标Yxi，第一个下标x表示城市名，χ＝1，2，…，n；第二个下标i表示该城市在访问路线中的位置，i＝1，2，…，n。例如，Y46＝1表示旅途中第6站应访问城市4；若Y46＝0则表示第6站访问的不是城市4，而是其他某个城市。图7．8中的换位阵所表示的旅行路线为:4→2→5→8→1→3→7→6→4，旅行路线总长为d42+d25+d58+d81+d13+d37+d76+d64。第五十九页，共七十三页。12/14/2022597.7Hopfield网解决(jiějué)TSP问题dxy——城市X与城市Y之间的距离(jùlí)；vxi——城市X的第i个神经元的状态：

1 城市X在第i个被访问 vxi= 0 城市X不在第i个被访问wxi,yj——城市X的第i个神经元到城市Y的第j个神经元的连接权。

第六十页，共七十三页。12/14/2022607.7Hopfield网用于解决(jiějué)TSP问题例如(lìrú)：四个城市X、Y、Z、W城市名访问顺序标示1234X0100Y0001Z1000W0010第六十一页，共七十三页。12/14/202261能量函数设计

用CHNN求解TSP问题的关键是构造一个合适的能量函数。TSP问题的能量函数由4部分组成：(1)能量E1———城市行约束当每个城市行中的1不多于一个时，应有第x行的全部(quánbù)元素vxi按顺序两两相乘之和为0，即从而全部(quánbù)n行的所有元素按顺序两两相乘之和也应为零，即=0

第六十二页，共七十三页。12/14/202262按此约束(yuēshù)可定义能量E1为式中A为正常数。显然，当E1＝0时可保证对每个城市访问的次数(cìshù)不超过一次。(2)能量E2———位置列约束同理，当每个位置列中的1不多于一个时，应有第i列的全部元素vxi按顺序两两相乘之和为0，即因此，全部n列的所有元素按顺序(shùnxù)两两相乘之和也应为零，即=0第六十三页，共七十三页。12/14/202263按此约束(yuēshù)可定义能量E2为式中B为正常数。显然(xiǎnrán)，当E2＝0时就能确保每次访问的城市数不超过一个。(3)能量E3—换位阵全局约束E1＝0和E2＝0只是换位阵有效的必要条件，但不是充分条件。容易看出，当换位阵中各元素均为“0”时，也能满足El＝0和E2＝0，但这显然是无效的。因此，还需引入第三个约束条件——全局约束条件，以确保换位阵中1的数目等于城市数n，即第六十四页，共七十三页。12/14/202264因此(yīncǐ)定义能量E为式中C为正常数。则E3＝0可保证换位阵中1的数目正好(zhènghǎo)等于n。第六十五页，共七十三页。12/14/202265