连续型Hopfield神经网络 教育学习

连续型Hopfield神经网络,报告人：彭佳伟导师：齐乐华教授,1,一类参考,Outline,人工神经网络简介Hopfield神经网络概述连续型Hopfield神经网络结构及特点简单应用,2,一类参考,1人工神经网络简介,人工神经网络（ArtificialNeuralNetworks，简写为ANN）也简称为神经网络(NN)或称作连接模型，是对人脑或自然神经网络若干基本特性的抽象和模拟。人工神经网络是以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。,3,一类参考,4,一类参考,5,一类参考,神经元具有以下特点：神经元是一多输入、单输出元件。它具有非线性的输入、输出特性。它具有可塑性，其塑性变化的部分主要是权值的变化，这相当于生物神经元的突触部分的变化。神经元的输出响应是各个输入值的综合作用的结果。输入分为兴奋型（正值）和抑制型（负值）两种。,6,一类参考,国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht-Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的、以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态响应而进行信息处理。”,7,一类参考,人工神经网络的结构分类,人工神经网络的结构基本上分为两类，即递归网络和前馈网络。1)递归网络此类网络中，多个神经元互连组织成一个互连神经网络。有些神经网络输出被反馈至同层或前层神经元。因此，信号能从正向和反向流通。Hopfield网络、Elmman网络和Jordan网络是递归网络中具有代表性的例子。递归网络又叫反馈网络。,8,一类参考,图a单层反馈型网络,9,一类参考,2)前馈网络前馈网络具有递阶分层结构，由一些同层神经元不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，前馈网络的例子有多层感知器(MLP)，学习矢量化(LVQ)网络、小脑膜型连接控制(CMCA)网络和数据处理(GMDH)网络等。,10,一类参考,图b单层前馈网络,11,一类参考,图c二层前馈网络,12,一类参考,人工神经网络的主要学习算法,神经网络主要通过两种学习算法进行训练，即有导师（指导式）学习算法和无导师（非指导式）学习算法。此外还存在第三种学习算法，即强化学习算法，可把它看作是有导师学习的一种特例。1)有导师学习有导师学习算法能够根据期望的和实际的网络输出（对应于给定输入）之间的差来调整神经元连接的强度或权。因此，有导师学习需要提供期望或目标输出信号。,13,一类参考,人工神经网络的主要学习算法,2)无导师学习无导师学习算法不需要知道期望输出，在训练过程中，只要神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似的特征把输入模式分组聚集。3)强化学习强化学习是有导师学习的特例，它不需要给出目标输出，强化学习算法采用一个“评论员”来评价与给定输入项相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。,14,一类参考,人工神经元模型,常用的人工神经元模型主要是基于模拟生物神经元信息传递特性，即输入、输出关系。如果将生物神经元输入、输出脉冲的密度用模拟电压来表示，可用右图的模型来模拟。,15,一类参考,人工神经元模型,xi(i=1,2,n)为加于输入端（突触）上的输入信号；wi(i=1,2,n)为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数：表示突触后信号的空间累加；表示神经元的阈值，表示神经元的响应函数。该模型的数学表达式为：,16,一类参考,2.Hopfield神经网络概述,Hopfield网络是J.J.Hopfield在20世纪80年代提出来的。他指出，如果神经网络的突触联系是有效对称的，那么系统必将演化到一个固定的有序状态。于是他引入能量函数的概念，表明如果突触联系是对称的，则网络的动态演化过程将达到能量最小的稳定状态。利用这一特性，Hopfield网络可完成一些诸如最优化和联想记忆的功能。,17,一类参考,Hopfield网络分为离散型和连续型两种，都是对称互连网络（Wij=Wji）,根据节点状态的取值来划分是离散型的还是连续型。离散网络节点取-1，+1或0，+1，连续网络节点状态在某个随机区间内连续取值。,18,一类参考,Hopfield网络的运行规则,神经元网络主要有两种运行方式，一种是学习运行方式，即通过学习调整连接权的值来达到模式记忆与识别的目的。另一种就是即将要介绍的Hopfield网络所采用的运行方式。在Hopfield网络中，各连接权的值主要是设计出来的，而不是通过网络运行而学到的，网络的学习过程只能对它进行微小的调整，所以连接权的值在网络运行过程中是基本固定的，网络的运行只是通过按一定的规则计算与更新网络的状态，以求达到网络的一种稳定状态，如果将这种稳定状态设计在网络能量函数极小值的点上，那么，就可以用这种网络来记忆一些需要记忆的模式或得到某些问题的最优解。,19,一类参考,Hopfield网络的运行规则,Hopfield网络运行规则主要有以下几步：从网络中随机选出一个神经元i；求出神经元i的所有输入的加权总和；计算神经元i在第t+1时刻的输出值，即Ui（t+1）；Ui以外的其他所有输出值保持不变，Uj（t+1）=Uj（t）j=1,2,3，nji返回到第一步，直至网络进入稳定状态。,20,一类参考,Hopfield网络的运行规则,按以上运行规则，在满足以下两个条件时，Hopfield学习算法总是收敛的。网络的连接权矩阵无自连接并且具有对称性：Wii=0i=1,2，nWij=Wjii，j=1,2，n网络中各神经元以非同步或串行方式，根据运行规则改变其状态；当某个神经元改变状态时，其他所有神经元保持原状态不变。,21,一类参考,Hopfield网络是一种具有反馈性质的网络，而反馈网络的一个主要特点就是它应具有稳定状态。当网络结构满足上面所指出的两个条件时，按上述工作运行规则反复更新状态，当达到一定程度后，各输出不再变化，网络达到稳定状态，即Ui（t+1）=Ui（t）=sgn（Hi）。在实际应用中必须运行许多次才能达到稳定状态。网络运行达到稳定状态的速度，以及网络的稳定程度主要取决于网络的“能量函数”。,22,一类参考,3.连续型Hopfield网络结构及特点,连续型Hopfield网络结构如右图所示，它是单层反馈非线性网络，每一个节点的输出均反馈至节点的输入。,23,一类参考,Hopfield网络用模拟电路实现的神经元节点如右图。图中电阻Rio和电容Ci并联，模拟生物神经元的延时特性，电阻Rij(j=1,2,n)模拟突触特征，偏置电流Ii相当于阈值，运算放大器模拟神经元的非线性饱和特性。,24,一类参考,设模型中放大器为理想放大器，其输入端无电流输入，则第i个放大器的输入方程为：,25,一类参考,连续型Hopfield动态神经网络模型如右图所示。取Wij=Wji,Wii=0(无自反馈),26,一类参考,设则有一般设则有,27,一类参考,式中f(x)为S形激励函数。一般有以下两种形式：非对称型Sigmoid函数对称型Sigmoid函数,28,一类参考,连续型Hopfield神经网络稳定性分析,能量函数的定义（有备注）,求取,其中：,29,一类参考,由于Wij=Wji则有：,由连续Hopfield运行方程可得,将上式代入原式可得：,30,一类参考,由于Ci0,f(U)单调递增，故f-1(U)也单调递增，可得：,当且仅当，,时，,结论：网络是渐进稳定的，随着时间的推移，网络的状态向E减小的方向运动，其稳定平衡状态就是E的极小点。,31,一类参考,连续神经网络模型在简化生物神经元性质的同时，重点突出了以下特点：a.神经元作为一个输入输出变换，其传输特性具有sigmoid特性。b.神经元之间大量的兴奋性、抑制性连接，主要通过反馈来实现。c.既代表产生动作电位的神经元又代表按渐进方式工作的神经元。因此，连续神经网络模型准确地保留了生物神经网络的动态和非线形特征。,连续型Hopfield神经网络特点,32,一类参考,4.连续型Hopfield神经网络应用,Hopfield神经网络的提出就是与其实际应用密切相关的，其主要功能有联想记忆（离散Hopfield）和优化计算功能（连续Hopfield）。Hopfield网络除了在模式识别方面有重要应用以外，对于解决组合优化问题，它也有许多用途。组合优化问题，就是在给定的约束条件下，求出使目标函数极小（或极大）的变量组合问题。将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。,33,一类参考,当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解。由于神经网络的计算量不随维数的增加而发生指数性的剧增，所以对于优化问题的快速计算特别有效。优化计算在实际问题中有着广泛的应用，如常见的TSP问题，工业生产和交通运输中的调度问题等。应用Hopfield神经网络来解决优化计算问题的一般步骤为：,34,一类参考,（1）分析问题：网络输出与问题的解相对应。（2）构造网络能量函数：构造合适的网络能量函数，使其最小值对应问题最佳解。（3）设计网络结构：将能量函数与标准式相比较，定出权矩阵与偏置电流。（4）由网络结构建立网络的电子线路并运行，稳态优化解。,35,一类参考,4.1.基于连续型Hopfield网络的油料资源输送优化,油料资源输送，是指利用信息技术在战前和作战过程中精确预测作战部队的油料需求，精确“可视”全部油料资源，灵活调遣保障资源，采取多种运输手段，主动地在需要的时间和地点为作战部队保障油料。随着现代运输手段的发展，如何安全、快速、准确地输送油料，是油料部门急需解决的问题。由于作战区域广泛，战争中前方和后方的界线变得十分模糊，作战部队经常处于不断移动的状态，因此就存在许多油库供应多个作战部队油料的情况，存在一个或多个油料供应点到多个油料需求点的油料输送问题。,36,一类参考,4.1.基于连续型Hopfield网络的油料资源输送优化,设计一套最佳的巡回路线，在所有可能的路径方案中选出一个最符合条件的油料输送路径，是提高战时油料保障军事经济效益的重要途径。在人工神经网络理论中，连续型Hopfield神经网络可以实现对油料输送路径的最优化搜索，能很好地解决油料资源输送优化计算问题，为提高战时油料资源保障质量效益奠定基础。,37,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,图的同构问题一直受到数学界与工程技术界,特别是大系统建模技术人员的关注和兴趣。所谓图的同构，是指两个图有相同数量的节点和边，并且节点和边分别存在着一一对应，且保持关联关系。相应节点自由度相同。图的同构问题具有很好的应用背景,特别是应用于系统建模：如果建模者能够证明需建的模型与已有的某模型同构,则勿需再建,这将大大节省人力物力。传统的方法检验图的同构间题是非常困难的,特别是当图的顶点数较大时,几乎是不可能的。因此,人们只能设法寻找其它途径以求得对此问题有所帮助。,38,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,图形理论在机械结构的运动学与动力学分析中有着广泛的运用。,39,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,如右图所示，(a)与(b)中可以看到此两图在结点间存在着一一对应映射g：g(a)u3，g(b)u1，g(c)u4，g(d)u2，且有：，分别与，一一对应。,（a）（b）,40,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,在以图形理论为基础的机构设计中，重点和难点之一在于图的同构识别。为了解决这一问题，一种Hopfield神经网络模型被提出。如下如所示，G1、G2是两个同构10介图：,图aG1图bG2,41,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,V(G1)=x1，x2,x10，V(G2)=y1，y2,y10，,且,置（xi，yk）为网络的神经元它表示同构映射,把图G1的顶点xi映射到图G2的顶点yk。显然由此而构成的神经网络共有10,10个神经元。当网络,稳定时，用vik表示神经元（xi，yk）的输出。,我们定义：Vik=,yk,42,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,图G1和图G2的同构映射为：,于是，由同构映射可构成一个置换矩阵,如下图所示：,43,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,44,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,下面来分析一下映射，保证了,的基本性质：因为同构映射是一一,每一行、每一列有且仅有一个元素为1，,其余元素皆为0，即：,45,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,由此可以构造能量函数如下：,46,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,E中第一项为第一个约束条件行约束，即第i行的所有元素按顺序两两相乘之和应为0；第二项为第二个约束条件列约束；第三项为第三个约束条件，即换位矩阵中所有1元素之和为n（本题为10）。前三项也称为处罚项，即不满足约束条件时这些项不为0，网络的能量函数就不可能达到极小值。最后一项为优化项，也称目标函数。当能量函数存在极小值时，前三项为0，满足约束条件，则两图形同构。,47,一类参考,4.2.利用Hopfield神经网络进行图的同构识别,当图形节点数增多时，利用Hopfield网络模型计算的次数并未明显增加，因此本算法对于大规模图的同构识别问题效果显著。,48,一类参考,参考文献,王旭，王宏，王文辉.人工神经网络原理与应用.沈阳：东北大学出版社.2007.8王洪元，史国栋.人工神经网络技术及其应用.北京：中国石化出版社.2002.10蒋宗礼.人工神经网络导论.北京：高等教育出版社.2001.8金星姬，贾炜玮.人工神经网络研究概述.东北林业大学.林业科技情报.2008，第40卷，第1期.潘春花.浅谈人工神经网络.青海民族大学计算机系.人工智能及识别技术.2009.7，第