（运筹学与控制论专业论文）时滞离散hopfield网络的稳定性分析.pdf

摘要 摘要 神经网络是一种智能控制技术，它能模拟人的智能行为，能解决传统 自动化技术无法解决的许多复杂的、不确定的、非线性的自动化问题。因 而近几十年来，对神经网络的研究引起学术界的广泛关注，尤其是以1 9 8 2 年自n , k h t 学院教授h o p f i e l d 提出的离散时间模型的研究为主。 时滞神经网络的理论与应用研究是目前国际上神经网络领域的前沿课 题之一。时滞不仅是反映了人工神经网络中放大器有限的开关速度等硬件 现实，也是为了更好地模拟生物神经网络的延时特性，同时也是解决某些 实际问题的需要。 离散h o p f i e l d 网络( d h n n ) 是有广泛应用的神经网络之一，如内容存 储记忆，模式识别和组合优化，这样的应用主要依赖于神经网络的动态行 为，因而对神经网络的稳定性问题进行研究对神经网络设计是重要的一步， d h n n 的稳定性不仅是网络应用的基础，而且是最基础最重要的问题，对 d h n n 的稳定性研究已经吸引了许多学者相当的兴趣。时滞离散h o p f i e l d 网络d h n n d 是d 协w 的拓广，它的稳定性也是一个重要的问题。 论文主要对离散h o p f i e l d 网络的稳定性进行了研究，全文共分五章叙 述。第一章概括地介绍了论文工作的背景、意义、现状和论文的主要研究 内容以及作者的主要结果等。第二章从数学角度分析了离散h o p f i e l d 网络 稳定的简化条件，同时讨论了网络全局收敛的情况。第三章研究了时滞离 散h o p f i e l d 网络稳定性问题，主要包括并行、串行、一般演变规则下的稳 定情况。首次将延迟矩阵分解并且引入参数使矩阵所需条件减弱；当阈值 为零时，讨论了在初始状态z ( o ) x ( 1 ) 的情况下网络的稳定情况；给出了 一般演化规则下网络的演化特征，为解决优化问题提供了一定的理论依据。 这是论文最主要的一章。第四章主要是用图论方法对离散h o p f i e l d 网络稳 定性进行了研究，进而分析了某些特殊类型的时滞离散h o p f i e l d 网络。第 五章对离散h o p f i e l d 网络的设计进行了深入研究。 燕山大学理学硕士学位论文 关键词时滞离散h o p f i e l d 网络；稳定性；能量函数；网络状态图；有向 超立方体：联想记忆 a b s t r a c t a b s t r a c t n e u r a ln e t w o r k si sak i n do fi n t e l l i g e n tc o n t r o lt e c h n o l o g y , w h i c hc a n s i m u l a t eh u m a nb e i n g si n t e l l i g e n tb e h a v i o r , s o l v em a n yc o m p l i c a t e da n d n o n d e t e r m i m s t i cn o n l i n e a ra u t o m a t i o np r o b l e m sn o ts e t t l e db yt r a d i t i o n a l a u t o m a t i o nt e c h n o l o g y t h e r e f o r e ，d u r i n gt h el a s ts e v e r a ld e c a d e st h es t u d yo f n e u r o nn e t w o r kh a sa r o u s e dt h eg e n e r a li n t e r e s to fa c a d e m i cf i e l d ，w i t hs p e c i a l a t t e n t i o ng i v e nt op r o f e s s o rh o p f i e l do f c a l i f o r n i ai n s t i t u t eo f t e c h n o l o g y , w h o p u tf o r w a r ds u c c e s s i v en e u r o nn e t w o r km o d e l t h et h e o r ya n da p p l i c a t i o no ft h en e u r a ln e t w o r k sw i t ht i m e d e l a yi so n e o ft h ei n t e r n a t i o n a lf o r e l a n dp r o b l e m sa lp r e s e n t t h et i m e - d e l a yn o to n l yh a s r e f l e c t e dt h eh a r d w a r er e a l i t ys u c ha sl i m i t e ds w i t c hs p e e do f a m p l i f i e ri nt h e a r t i f i c i a ln e u r a ln e t w o r k s ，b u ta l s ob e t t e rs i m u l a t e st h et i m e - d e l a yc h a r a c t e ro f b i o l o g yn e u r a ln e t w o r k s a tt h es a m et i m ei ti st h en e e dt os o l v ec e r t a i na c t u a l p r o b l e m t h ed i s c r e t eh o p f i e l dn e u r a ln e t w o r k ( d m c n ) i so n eo f t h ef a m o u sn e u r a l n e t w o r k sw i t haw i d er a n g eo fa p p l i c a t i o n s , s u c h 硒c o m e n ta d d r e s s a b l e m e m o r y , p a t t e r nr e c o g n i t i o n , a n d c o m b i n i n a t o r i a l o p t i m i z a t i o m s u c h a p p l i c a t i o n sh e a v i l yd e p e n do nt h ed y n a m i cb e h a v i o ro ft h en e t w o r k s t h e r e f o r et h er e s e a r c h e so nt h ed y n a m i cb e h a v i o ra r ean e c e s s a r ys t e pf o rt h e d e s i g no ft h en e t w o r k s t h es t a b i l i t yo fd h n nn o to n l yi st h ef o u n d a t i o no f t h en e t w o r k sa p p l i c a t i o n , b u ta l s oi st h em o s tb a s i ca n di m p o r t a n tp r o b l e m t h er e s e a r c h e so ns t a b i l i t yo ft h ed h n nh a sa t t r a c t e dt h ec o n s i d e r a b l e i n t e r e s t d h n n di sa ne x t e n s i o no fd h n n a l s o ，t h es t a b i l i t yo fd h n n d i sa ni m p o r t a n tp r o b l e m t h ep a p e rg i v e sar e s e a r c ho nt h es t a b i l i t yo fd h n n i tc o n s i s t so ff i v e c h a p t e r s i nc h a p t e r1 ，s o m ei n t r o d u c t i v em a t e r i a l sa r ep r e s e n t e d , i n c l u d i n g r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo ft h i sd i s s e r t a t i o nw i t ht h eh i s t o r ya n d m 燕山大学理学硕士学位论文 c u r r e n ts t a t u s ，t h em a i nc o n t e n t so f t h ep a p e ra n dt h el i s to f t h er e s u l t so b t a i n e d b yt h ea u t h o r i nc h a p t e r2 ，s o m es i m p l i f i c a t i o nc o n d i t i o n sa r eg i v e no nt h e s t a b i l i t yo fd h n nf r o mm a t h e m a t i c sa n g e l a l s ot h eg l o b a lc o n v e r g e n c e c o n d i t i o ni sd i s c u s s e d i nc h a p t e r3 ，t h es t a b i l i t yo fd h n n di si n v e s t i g a t e d , m a i n l yi n c l u d i n gt h es t a b i l i t yo f p a r a l l e l , s e r i a la n dg e n e r a lu p d a t i n gr u l e f o r t h e 触t i m e ，t h ec o n d i t i o nt h a t t h em a t r i xn e e di sw e a k e n e db yt h e d e c o m p o s i t i o nt ot h et i m ed e l a ym a t r i xa n di n t r o d u c i n gt h ep a r a m e t e r ；w h e n t h et h r e s h o l dv a l u ei sz e r o ，t h es t a b i l i t yo fd h n n di ss t u d i e dw i t ht h ei n i t i a l s t a t ex ( o ) x ( 1 ) t h eu p d a t i n gp r o p e r t yo fd h n n dw i t hg e n e r a lu p d a t i n g r u l ei sg i v e n , w h i c hp r o v i d e sac e r t a i nt h e o r yt ot h eo p t i m i z e dp r o b l e m t h i si s t h em o s ti m p o r t a n tc h a p t e ri nt h ep a p e r i nc h a p t e r4 ，t h es t a b i l i t yo fd h n ni s i n v e s t i g a t e db yg r a p hm e t h o d f u r t h e r m o r e ，as p e c i a ld h n n di sa n a l y z e d i n c h a p t e r5 ，t h ed e s i g no fd h n ni sg i v e nat h o r o u g hr e s e a r c h k e y w o r d sd i s c r e t eh o p f i e l dn e u r a ln e t w o r k sw i t hd e l a y ；s t a b i l i t y ；e n e r g y f u n c t i o n ；n e t w o r ks t a t eg r a p h ；d i r e c t e dh y p e r e u h e ；a s s o c i a t i v e n l c l n o r y i v 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文时滞离散h o p f i e l d 网络 的稳定性分析，是本人在导师指导下，在燕山大学攻读硕士学位期间独立 进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含 他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人 和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承 担。 作者签字高稿 日期弛琴年，胡日 燕山大学硕士学位论文使用授权书 时滞离散h o p f i e l d 网络的稳定性分析系本人在燕山大学攻读硕士 学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大 学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人 完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并向有 关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权 燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文 的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密四。 ( 请在以上相应方框内打“”) 作者签名：商髑日期：跏f 年f 明日 导师签名：日期： “； g t z p j j 日 第1 章绪论 第1 章绪论 1 1 问题的研究背景和意义 1 1 1 神经网络研究的情况 追溯到1 9 4 0 年，中国已在像脑功能和神经网络课题方面进行了研究和 开发。根据人脑的工作机制和人类智能的本质，制造具有完成人脑复杂智 能活动能力的智能机器，开发智能应用技术是全世界当前所面临的重大科 学技术研究任务之一，而完成这一任务的主要途径是开展对神经网络的研 究，其中包括生物神经网络和人工神经网络两个方面。神经网络的研究始 于2 0 世纪4 0 年代，1 9 4 3 年心理学家m c c u l l o c h 和数学家p i t t s 二人合作 在b u l l m a t e b i o p h y s ) 杂志上发表的一篇文章建立了神经元的数学模型， 称为m p 模型。1 9 4 9 年心理学家h e b b 提出了学习规律【1 】：神经元之间的 连接是可以变化的，通过刺激使神经元的连接加强从而建立了神经网络研 究的基础，在各种神经网络模型的建立中起重要作用。系统地研究人工智 能网络是上世纪5 0 年代末6 0 年代初开始的，但m i n s k y 和a a p c r t 于1 9 6 9 年出版的感知器【2 】一书从数学上证明感知器不能实现异域逻辑问题而 使神经网络的研究一度沉默。真正带来神经网络研究兴盛的是物理学家 h o p f i e l d 于1 9 8 2 年和1 9 8 4 年发表的两篇举世瞩目的论文【3 4 】( 他引入了 “计算能量函数”的概念( 即l y a p u n o v 函数) ，给出了网络稳定性的判据，网 络的电子电路实现，为网络的实现和应用找到了理论依据，同时开拓了神 经网络用于联想记忆和优化计算的新途径。) 及其在世界各地讲学鼓励有才 华的科学家，数学家和科技人员加入神经网络的研究行列。特别是h o p f i e l d 将这种网络成功的运用于著名的“巡回推销商 ( t s p ) i b 题的求解，取得了很 好的效果，开辟了神经网络模型在计算科学应用的新天地，从此动态反馈 网络受到广泛的研究和关注，并被广泛应用于优化问题中，且已设计出专 用的硬件电路。从而使人工神经网络的研究进入了一个新的高潮时期。 在1 9 8 4 年之后的3 年时间内，美国a t & t 公司贝尔实验室宣布了利 1 燕山大学理学硕士学位论文 用h o p f i e l d 神经网络原理实现了第一个基于硅芯片的硬件神经元网络。 g e h i n t o n 和t j s e j n o w s k i 借助统计物理学的概念和方法提出了一种随机 神经元网络模型一波尔茨曼机，学习过程中采用模拟退火原理，有效地克 服了h o p f i e l d 网络存在的能量局部极小问题，使整个网络系统最终能达到 能量全局极小点，也就是可以获得一个最优解。 h o p f i e l d 网络是典型的全连接网络，并使网络的平衡态与能量函数的 极小解相对应，从而将求解能量函数极小解的过程转化为网络向平衡态的 演化过程。这就为联想记忆及优化的性能与功效提供了强有力的理论基础， 又为实际的应用提供了可靠的依据。尤其是通过对旅行售货商问题( t s p ) 的成功求解，开辟了神经网络模型在计算科学应用的新天地，从此动态反 馈网络受到广泛的研究和关注，并被广泛应用于优化问题中，且已设计出 专用的硬件电路。从而使人工神经网络的研究进入了一个新的高潮时期。 近几年来，神经元网络理论的研究与实现引起了美国、日本、中国及 西欧一些国家的科学家、研究机构和企业界的普遍关注，并且各个学科的 研究人员都想利用人工神经元网络的特殊功能来解决本学科的难题，很多 的工程项目都采用和正准备采用人工神经元网络的解决方案。同时不同学 科的科学工作者正在积极地联合起来进行各种学术交流。可以说，目前对 人工神经元网络的研究出现了更高的热潮。 通俗地说，人工神经网络是对生物神经网络进行仿真的结果。或者说， 人工神经网络技术根据所掌握的生物神经网络机理的基本知识，按照控制 工程的思路和数学描述方法建立相应的数学模型，并采用适当算法，有针 对性地确定数学模型的参数( 如连接权值，阈值等) 以便获得某个特定问题 的解。 人工神经网络系统是利用实现的电路来模仿人脑神经细胞的结构和功 能的系统，如果这种模仿做得好，它必定有生物神经网络系统所具有的复 杂的动力学性质。一般来说，人工神经网络的动力学研究往往是紧跟生物 神经网络的动力学研究而进行的。在数学上，我们通常采用微分方程或差 分方程来描述神经网络中各个神经元的活动状态。通过对这些网络模型分 析，来了解其相应的动力学性态。 2 第1 章绪论 在神经网络动力系统的研究中，h o p f i e l d 神经网络模型是研究的较多 的模型之一，h o p f i e l d 模型同时又分为两种，一种是离散h o p f i e l d 网络 ( d i s c r e t e h o p f i e l d n e u r a l n e t w o r k s ，简记为d h n n ，另一类是连续h o p f i e l d 网络( c o n t i n u o u sh o p f i e l dn e u r a ln e t w o r k s ，简记为c h n n ) 。离散h o p f i e l d 模型主要是指下列模型 三 一( f ) = s g n ( 2 ：w , , x j ( t 一1 ) + ) ，f = 1 ，2 ，疗 i 反馈神经网络由于其输出端又反馈到其输入端，所以h o p f i e l d 网络在 输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出 h o p f i e l d 的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程 一直进行下去。如果h o p f i e l d 网络是一个能量收敛的稳定网络，则这个反 馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态， 那么h o p f i e l d 网络就会输出一个稳定的恒值。对于一个h o p f i e l d 网络来说， 关键是在于确定它在稳定条件下的权系数。 从离散的h o p f i e l d 网络可以看出：它是一种多输入，含有阈值的二值 非线性动力系统。在动力系统中，平衡稳定状态可以理解为系统的某种形 式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。 d h n n 是h o p f i e l d 在1 9 8 2 年首先提出的，而c h n n 是h o p f i e l d 在1 9 8 4 年提出来的。h o p f i e l d 网络的提出以及成功应用为神经网络第二次兴起和 发展起了极大的促进作用。h o p f i e l d 网络目前是研究反馈神经网络的基础， 国内外有许多学者从事这方面的研究，无论是在理论上还是在应用上，都 取得了非常丰富的结果。h o p f i e l d 网络已被广泛应用于各种组合优化计算、 模式识别、联想记忆、信号处理和图像处理等许多领域。 还有一种离散时间连续状态的网络模型，有关h o p f i e l d 网络这个模型 的详细讨论见专著【5 7 】。一个连续型h o p f i e l d 模型是用一个常微分方程系 统描述的。 反馈人工神经网络是人工神经网络研究中非常重要的一类网络。目前 在已经提出的反馈网络模型中，最成功、最受人们关注而且相对成熟的模 型有两种：一种是非常熟悉的h o p f i e l d 网络，另一类是大家广泛研究的细 燕山大学理学硕士学位论文 胞神经网络。 1 1 2 研究神经网络的意义 神经科学研究的长期目标是揭示人脑的工作机制，了解思维的本质： 近期目标是研究和利用大脑神经网络的一些特性，设计出具有类似的某些 大脑功能的智能系统。人工神经元网络的研究属于后者。 神经网络的理论研究是一门新兴的边缘和交叉学科，它的产生和发展 一方面受其他学科的影响，反过来又势必影响其它学科的发展。神经元网 络从信息论角度看，它是另一种信息处理的工具，对它的研究将涉及许多 学科和专业，现在不少学科也都把这个课题作为他们的前沿在进行研究， 如数学、物理学、信息科学、心理学、神经生理学、认知科学、计算机科 学、微电子学甚至哲学等。另一方面，直接应用现代科学的新理论和新方 法如信息论、系统论、控制论、协同论和耗散结构理论等对它进行研究， 可同时为这些学科提出许多新问题，将会推动这些学科理论和其它方面的 发展。因此，研究人工神经元网络显然有重要的意义。 ( 1 ) 神经网络的侧重点在于从另一条途径模拟和实现人的认知过程中 的感知觉过程、形象思维、直觉顿悟、分布式学习和自学习及自组织过程， 这是当代研究智能的焦点部分。人工智能是对左脑( 主要基于逻辑思维) 功 能的研究，而人工神经元网络是对右脑( 基于形象思维) 的认识规律的研究。 两者的结合，可能对人的认知过程有比较全面的了解。在a n n 领域内任 何一项基础理论上的进展，必将对计算机和智能学科产生实际的影响，它 的应用会大大提高工程方面的智能水平。 ( 2 ) 神经网络研究对于脑科学和心理学有重大的影响。p d p 小组的建立 就是要建立人的认知过程中信息处理的微结构理论。在心理学中常把多层 神经网络作为人的认知过程的一种定量的描述。神经网络理论的发展，推 动了神经科学中理论神经科学的产生和发展，为计算神经科学提供了必要 的理论和模型。同时促进脑科学的研究向定量、精确和理论化方向发展。 ( 3 ) 使学术界对计算机的概念和作用有了更全面深刻的理解。在大量的 物理现象以至生物学的对象中，都有各种各样的计算，而且大量的运算表 4 第1 章绪论 现在对模糊的、低精度的、模拟量的平行运算。神经网络的数学理论本质 上是非线性动力学的数学理论，显然非线性科学方面的进展势必推动神经 网络的研究。同时，神经网络理论也会对非线性科学提出新课题。神经网 络不仅重视系统的动态特性，而且强调信息和事件在系统内部的表达和产 生。 人工神经元网络的研究内容是极其丰富的，涉及的面宽而又有相当深 的理论有待于进一步研究。研究内容大体上有基本理论、模型、算法、应 用和实现等五大方面。每个问题都有很多问题尚未解决或者完美地得到解 决，需要用各种方法从各方面开展对a n n 进行深入研究，并与现行的各 种技术进行组合应用，取长补短。在有些关键技术发生突破之后，a n n 会 进一步腾飞，成为各个领域科技人员有用的得力“工具”，也会日益得到普 及。 在不同工作方式下和不同权矩阵情况下，研究离散h o p f i e l d 网络的稳 定性、存储容量、吸收域半径和收敛时间等性能是当前该领域的热点问题。 尤其是在权矩阵元素值为离散值1 和1 的情况，深为引人注目，因为由此 构成的网络易于硬件实现。1 9 9 0 年e p i r e t 和杨义先等人分别给出了若干有 意义的新结果，请见参考文献 8 曲】。 h o p f i e l d 网络的一个功能是可用于联想记忆，也即是联想存储器。这 是人类的智能特点之一，人类的所谓“触景生情”就是见到一些类同过去接 触的景物，容易产生对过去情景的回味和思议。对于h o p f i e l d 网络，用它 作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记 忆的信息在网络的n 维超立方体的某一个顶角的能量最小。当网络的权系 数确定之后，只要向网络给出输入向量，这个向量可能是局部数据，即不 完全或部分不正确的数据，但是网络仍然产生所记忆的信息的完整输出。 1 9 8 4 年h o p f i e l d 开发了一种用 维h o p f i e l d 网络作联想存储器的结构。 通过状态不断变化，最后状态会稳定下来。最终的状态是给定向量工 最接近的样本向量。所以，h o p f i e l d 网络的最终输出也就是给定向量联想 检索结果。这个过程说明，即使给定向量并不完全或部分不正确，也能找 到正确的结果。在本质上，它也有滤波功能。 燕山大学理学硕士学位论文 利用h o p f i e l d 网络的稳态可实现联想记忆功能。h o p f i c l d 网络在拓扑 结构及权矩阵均一定的情况下，能存储若干个预先设置的稳定状态，而网 络运行后达到哪个稳定态将与其初始状态有关。因此，若用网络的稳态代 表种记忆模式，初始状态朝着稳态收敛的过程便是网络寻找记忆模式的 过程。初态可以视为记忆模式的部分信息，网络演变的过程可视为从部分 信息回忆起全部信息的过程，从而实现了联想记忆功能。 1 2 问题的研究现状 h o p f i c l d 神经网络状态的演变过程是一个非线性动力学系统，可以用 一组非线性差分方程( 对于d t - i n n ) 或微分方程( 对于c h n n ) 来描述。系统 的稳定性可用所谓的“能量函数”( 即李雅普诺夫或哈密顿函数) 进行分析。 在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断地减少 最后趋于稳定的平衡状态。 对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后 可能有如下几种结果：渐近稳定点( 吸引子) ；极限环；混沌( c h a o s ) ；状态 发散。因为人工神经网络的变换函数是一个有界函数，故系统的状态不会 产生发散现象。相比较而言，收敛于吸引子的动力学行为研究的比较多且 较深入。但近年来在对大脑的动力学实验中发现了一个令人震惊的事实： 脑动力学行为从来都不是收敛的，一般都是振荡的或是混沌的，同时，生 物学又提示我们，神经网络构成的大脑尽管不是收敛的，却是高度重视的。 这就是说大脑之所以有这么多的功能，主要是因为神经网络动力系统具有 振荡或混沌的行为，而这两种动力学行为由于其复杂性使得研究成果极为 有限，许多数学工具没法应用。 目前，人工神经网络常利用渐近稳定点来解决某些问题。例如，如果 把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优化 问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解优化 问题的过程。由此可见，h o p f i e l d 网络的演变过程是一种计算联想记忆或 求解优化问题的过程。实际上它的解并不需要真地去计算，而只要构成这 种反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。 6 第1 章绪论 d h n n 模型是研究整个反馈离散人工神经网络的基础 1 0 1 5 1 ，因而受 到神经网络领域内许多学者的极大关注。由于d h n n 模型在组合优化、函 数逼近、模式识别等领域都有广泛的应用而这些应用的前提是网络必须是 收敛的。因此，研究反馈网络的最基本最主要的问题之一是稳定性问题， 即网络的收敛性问题，也就是说，任给网络的初始状态，网络最终是收敛 到稳定吸引子，环吸引子，还是混沌( c h a o s ) 吸引子。目前，有关d h n n 的 稳定性和极限环的研究结果已有许多，但多数是围绕连接权矩阵是对称或 反对称以及阈值为零来进行的。当然研究的主要演化方式是异步、同步和 部分同步。作为d h n n 模型的推广，带有延迟的d h n n 的吸引子的研究引 起人们的关注，也取得了一些结果。 1 3 本文研究的内容及结构 本文研究时滞离散h o p f i e l d 网络的稳定性，用能量函数方法和图论知 识讨论了h o p f i e l d 网络在各种演化方式下的稳定性条件，推广了已有文献 中的结论。并且分析了离散h o p f i e l d 联想记忆神经网络的设计方法，得出 了新颖的设计结果。 本文研究的内容及结构如下： 第1 章简单回顾了神经网络的历史和该领域的研究现状，以及研究 它的意义；同时对本文将要讨论的反馈式的单层h o p f i e l d 网络模型的背景 进行了说明，并给出了将要用到的记号和定义。 第2 章离散h o p f i e l d 网络的稳定性分析。给出了在值为 1 ，1 的空 间上离散h o p f i e l d 网络稳定时矩阵正定的充分条件，同时讨论了一般的离 散h o p f i e l d 网络全局收敛的条件。 第3 章时滞离散h o p f i e l d 网络的稳定性。本章用能量函数方法给出 了在串行，并行，以及一般演化模式下的稳定性条件，对延迟矩阵进行了 分解，削弱了网络的稳定性条件。同时讨论了初始状态x ( 0 ) x ( 1 ) 情况下 网络的收敛情况，给出了一般演化规则下网络的渐近行为。 第4 章基于图论的时滞离散h o p f i e l d 网络的稳定性。用网络状态图 和有向超立方体来研究h o p f i e l d 网络的稳定性，主要是对特殊的时滞 7 燕山大学理学硕士学位论文 h o p f i e l d 网络进行分析。 第5 章离散h o p f i e l d 网络的设计。给出了基于能量函数的新的设计 方法，用例子证明了结论的优越性。 1 4 预备知识 1 4 1 稳定性分析的数学基础 定义1 4 1 1 二次型 设五，x 2 ，矗为栉个变量，则称q ( 五，) = 一为二次型，其 ，i = l 中= 均为实数。写成矩阵形式有 q ( ，矗) = q ( 工) = x 1 p x 其中p = ) 且秩为栉。若p 之秩为，则二次型x 7 p x 秩为，。 定义1 4 1 2正定性 称烈x ) 是正定的，当且仅当 ( i ) 对任意非零x ，恒有q ( 工) o ； ( i i ) 只有当x = 0 时，才有q ( j ) = 0 。 定义1 4 i 3 称标量函数矿( x ) 是正定的，当且仅当 ( i ) 非零x s ，有矿) 0 ； ( i i ) 对x = 0 有矿( z ) = 0 。 定义1 4 1 4 称时变标量函数v ( x ，f ) 是正定的，当且仅当存在一正定 函数，使 ( i ) 矿( j ，) 形( r ) ，r o ，x 0 ； ( i i ) y ( o ，) = ( o ) = 0 ， t o 。 定义1 4 1 5 负定性 称q ( x ) 或v ( x ) 是负定的，如果q ( x ) ( 或y ( x ) ) 是正定的。 定义1 4 i 6 非负定性( 或半正定性) 称q ( x ) ( 或v ( x ) ) 是非负定的，如果对任意x 0 恒有q ( x ) 0 ( 或 矿( x ) 0 ) 。 第1 章绪论 定义1 4 1 7 非正定性( 半负定性) 称q ( x ) ( 或v ( x ) ) 是非正定的，如果一q ( x ) ( 或- 矿( x ) ) 是非负定的。 定义1 4 1 8 不定性 如果0 点的某个邻域记为q ，且不管q 取多么小，q ( x ) ( 或矿( j ) ) 既 可为正值也可为负值，则称烈x ) ( 或矿( x ) ) 为不定的。 定义1 4 1 9 对称矩阵的定号性 设尸为丹疗实对称矩阵，q ( x ) 为由p 决定的二次型，即 q ( x ) = x 7 p x ，则定义 当q ( x ) 为正定时，称，是正定的，记为p 0 ； 当q ( x ) 为负定时，称尸是负定的，记为p 0 则称网络是稳定的。存储容 量是指网络的稳定点个数。 1 4 2 2 网络的吸引子 设r = 0 时，对网络的输入模式x ，网络处于状态v ( o ) 。而在时刻t ，网 络到达状态v ( f ) 。若v ( ，) 稳定，则称k t ) 为网络的稳定吸引子，否则称v ( f ) 为 非稳定吸引子。在非稳定吸引子中又有两种情况，一是有限环状态，指的 是网络状态有规律地在某些状态之间振荡。二是混沌状态，指的是网络无 规律地在某些状态之间振荡。 1 4 ，2 3 吸引子的吸引域 对于某些特定的初始状态，网络按一定的运行规则最终都可能稳定在 同一个吸引子v ( f ) 上，那么这种凡是经过一定时间能够稳定在吸引子v ( f ) 的 所有初始状态集合为v ( f ) 的吸引域。吸引域半径是指包含在吸引域的最大 h a m m i n g 球半径。 9 燕山大学理学硕士学位论文 稳定点越多，网络的联想和识别能力就越强。但是稳定点数目的增加 可能会引起吸引域的减小，从而使联想功能减弱。稳定点在空间分布越均 匀，吸引域越大，那么网络的容错能力和自适应能力就越强。收敛时间是 指网络从某一初始状态进入稳定点状态( 或者某一极限环) 所需要的时间。 网络的四项指标( 稳定性、存储容量、吸引域半径和收敛时间) 不仅取决于 权矩阵矿和阈值向量0 ，而且与网络的工作方式紧密相关。 利用h o p f i e l d 网络的稳态可实现联想记忆功能。其实质就是：将要存 储的记忆样本用矢量表示，神经网络在输入记忆样本后，经过演化最终稳 定在记忆样本上；当神经网络的输入为非记忆样本时，网络输出应该或者 稳定于记忆样本，或者稳定于稳定的非记忆样本；不论外部输入为何，神 经网络的输出应该是稳定的。在神经网络是稳定的前提下，神经网络还应 该有优良的特性。由此可见，要想设计良好的联想记忆h o p f i e l d 神经网络， 就必须弄清h o p f i e l d 神经网络系统的特性。 1 5 网络的稳定性 网络的稳定性与能量函数密切相关，利用网络的能量函数可实现优化 求解功能，网络的能量函数在网络状态按一定规则变化时，能自动趋向能 量的极小点，如果把一个待求解问题的目标函数以网络能量函数的形式表 示出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网 络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化 计算过程，这种寻优搜索是在网络演变过程中自动完成的。 稳定性理论是研究动态系统中的过程( 包括平衡位置) 相对于干扰是否 具有自我保持能力的理论。古代中国晋书中“行人安稳，布帆无恙”的说法 就是当时人们对自我保持能力或稳定的一种具体直接的说法。在稳定性理 论发展中，最伟大的事件乃是俄国数学力学家李雅普诺夫院士在1 8 9 2 年完 成的著名博士论文“运动稳定性的一般问题”。在这篇论文中，他将由p e a n o ， b e n d i x s o n 和d a r b o u x 等人建立的微分方程解对初值和参数的连续依赖性 这一概念，由自变量( 时间) 在有限区间上变化拓宽到无穷区间上，科学地 给出了系统中运动是稳定和渐近稳定的概念；他从类似系统总能量物理概 第1 章绪论 念得到启示，提出了后来人们称为李雅普诺夫函数的概念，将一般撑阶微 分方程组中扰动解渐近性质的讨论归结为讨论一个标量函数( 李雅普诺夫 函数) 及其对系统的全导数的一些特性的研究，成功地避开了讨论咒阶微分 方程组的阶的困难，从而建立了稳定性理论研究的框架。李雅普诺夫这一 工作影响巨大，在当时实际上是无法做出估计的，近一百年的历史已经表 明由他创立的这一理论与方法，已经渗透到应用数学、力学、控制与系统 理论的众多领域，取得了巨大的发展，形成了从理论到应用的丰富的体系。 近十年来李雅普诺夫稳定性理论又成功地应用到神经网络，借助于动 力系统的吸引子和电子电路的实现来完成某些智能优化计算和联想记忆。 特别是1 9 8 2 年h o p f i e l d 在文献【4 】中提出了二值型h o p f i e l d 神经网络 模型并应用于联想存储器以及解决优化问题，取得了良好效果。1 9 8 4 年他 又首次提出连续型h o p f i e l d 神经网络模型( h o p f i e l dn e u r a ln e t w o r k s 简称 h y n ) 1 6 。此后1 9 8 6 年他和d w t a n k 根据相互连接型神经网络模型成功 地解决了著名的t s p 组合优化问题 1 7 1 。 j j h o p f i e l d 所做出的杰出贡献不仅在于提出h n n 模型，还有重要的 一点就是在8 0 年代初提出了一个单层反馈动态神经网络的稳定性判别函 数一李雅普诺夫能量函数分析h n n 稳定性的一般方法。这个函数有确定 的物理意义，是建立在能量基础上的，它的离散形式就是在自选材料中的 一种哈密顿能量，同时它又是李雅普诺夫函数的一种推广，是广义的李 雅普诺夫函数。从任意一个初始状态开始，若在每次迭代时都能满足 a e 0 ，那么网络的能量将会越来越小，最后趋向于稳定点a e = 0 。它的 物理意义是，在那些渐近稳定点的吸引域内，当状态离吸引点越远，其能 量越大，当状态离吸引点越近，其能量越小。而能量e 的单调下降，说明 状态的运动从远离吸引子跑到了吸引子上，最后使网络稳定。本文就是对 离散h o p f i e l d 网络稳定性利用能量函数和图论进行了研究。 燕山大学理学硕士学位论文 第2 章离散h o p f i e l d 网络的稳定性 在以往的研究中，对网络运行过程中的网络输入与网络输出的描述不 够清楚。下面比较具体的讨论一下离散h o p f i e l d 网络的结构及稳定条件。 2 1 结构和动态方程 离散型h o p f i e l d 神经网络是由n 个神经元互连而成的单层反馈网络。 神经元的输入和输出都为离散值1 或1 ，分别代表神经元的激活或抑制状 态。神经元的作用函数为符号函数，这种神经网络的各个神经元相互连接， 其连接强度用权值表示。n x 以矩阵矿称为权值矩阵，每个神经元都有一 个闽值e 。权值w 和阂值矢量口= 【b ，岛，o 1 定义唯一一个疗维的离散型 h o p f i e l d 神经网络。稳定性、演化能力、存储能量、吸引域和收敛速度是度 量这种神经网络性能的五大指标。 分析认为，由于网络是反馈演化的，所以，网络输入在激励网络后， 就可撤去，而网络仍然可以演化下去；如果网络输入永远接在输入端，则 网络输入可以作为一个阈值【1 8 】，而事实上，如果网络输入在激励网络后就 撤去，则网络输出并不能视为对应网络输入的联想值；所以网络输入在网 络有确定输出之前或进入环状态之前不应撤去，应始终保持。因此，本文 规定如下： ( 1 ) 对应于时n t 的网络总输入为x ( f ) ，网络输出为j ，( d ；对应于时刻t 的 第f 个神经元的总输入为薯( f ) ，神经元输出为y j 。 ( 2 ) 在网络有确定的输出或出现环之前，外部输入始终存在且保持不变。 任一时刻神经网络的运行方程为： y ( t + 1 ) = s g n t y ( t ) w + 】酊) 林一日) 任一时刻每一个神经元的总输入是： 三 x s ( t + 1 ) = 艺y j w j , + 薯o + 1 ) 井 一l 对应的输出为： 第2 章离散h o p f i e l d 网络的稳定性 孵驴s 删删吲= 忙搿；嚣二 其中，t ( o ，l ，1 ) 为离散时间变量。 定义2 1 1 网络总输x x ( t ) 包含两部分，一部分是 y j ( t 一1 ) w j , ( i = 1 ，栉) 称为反馈输入；一部分是外部输入：一( f ) 外u ：1 ，n ) ，其向量表示为称， 外部输入也叫激励输入。 2 2 离散型h o p f i e l d 网络研究结果综述及主要结论 关于离散型h o p f i e l d 神经网络的研究非常多，研究内容很广泛。研究 主要集中在三个方面：稳定性的研究，权值获得方法研究，网络特性研究。 下面将稳定性的研究结果综述如下： 稳定性的研究结果 关于离散型h o p f i e l d 网络在不同工作方式下的性能已有如下结论【1 8 1 ： 结论1 ：若权矩阵为对称阵，那么，网络在同步工作方式下