（计算机应用技术专业论文）动态神经网络的定性分析.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 自2 0 世纪4 0 年代信息科学的开创时期诞生到现在，人工神经网络的研究 已经走过了近半个世纪的曲折历程，吸引了许多领域的科学家的重视和研究， 成为现代脑神经科学、数理科学以及信息科学等综合研究领域的共同的科学前 沿之一。 动态神经网络具有复杂力学系统的特性，这决定了它被实际应用的前提是 具有较好的一些定性性质，如：稳定性、收敛性等。在神经网络的硬件实现过 程中，时滞不可避免。在很多情况下，时滞是各不相同，实际是无界的。从数 学的观点来看，时间滞后为常数的系统与时变时间滞后和无限时间滞后系统是 不相同的。由于时滞的存在，会导致神经网络系统产生振荡，严重的甚至导致 神经网络系统不稳定。因此，研究带有时变时间滞后及无限时间滞后的神经网 络就成了现实需要。 由于电子在不均匀的电磁场中运动，扩散现象不可避免。要构造出实际可 行的网络系统，就不得不考虑扩散反应的影响。从生物神经系统的研究来看， 人脑时刻都处在周期震荡或混沌状态。对具有反应扩散及周期运动的神经网络 的定性性质的分析具有广泛的理论和应用价值。 在人工神经网络系统中，神经元激活函数决定系统的能力。就最近的一些 研究结果来看，多是针对神经元激活函数为有界和单调增的情况。然而，这些 前提假设使得这些结果不能用于解决一些重要的工程问题。 本文在放宽神经元激活函数为无界和非单调的情况下，利用m 一矩阵理论及 矢量l y a p u n o v 函数法，对具有时变时滞、无限时滞、反应扩散及周期运动的神 经网络的定性性质进行分析，得到了一系列与滞后时间无关的系统稳定性显式 代数判据。这些判据将现有文献的许多结果作为特例包含在内，并能方便地运 用于人工神经网络系统的设计。 关键词：动态神经网络；全局稳定；指数稳定；时变时滞：无限时滞 西南交通大学硕士研究生学位论文 第1 i 页 a b s t r a c t s i n c et h ef o r t i e so ft h et w e n t i e t hc e n t u r y , t h es t u d yo f a r t i f i c i a ln e u r a ln e t w o r k s h a se v e rb e e ne v o l v i n gf o ra b o u th a l fac e n t u r ya n d i th a sa t t r a c t e dal a r g en u m b e ro f r e s e a r c h e r si nm a n yd i f f e r e n ta r e a s n o wa r t i f i c i a ln e u r a ln e t w o r k sh a v eb e c o m e a f r o n t i e ro f e n c e p h a l o n e u r a l s c i e n c e m a t h e m a t i c sa n di n f o r m a t i o ns c i e n c e n e u r a ln e t w o r k sh a s t h e p r o p e r t i e s o fa c o m p l e xd y n a m i cs y s t e m ，t h e p r e r e q u i s i t ec o n d i t i o no f i tb e e nu s e di nm a n yf i e l di st h a ti th a ss o m eq u a l i t a t i v e p r o p e r t i e s s u c ha s s t a b i l i t y , c o n v e r g e n c e i nh a r d w a r ei m p l e m e n t a t i o n ，h o w e v e r ， t i m ed e l a y so c c u r i nm o s ts i t u a t i o n s ，d e l a y sa r ev a r i a b l ea n di nf a c tu n b o u n d e d f r o mt h em a t h e m a t i c a lp o i n t so fv i e w , s y s t e m sw i t hc o n s t a n td e l a ya r ed i f f e r e n t f r o mt h o s ew i t hv a r i a b l eo ru n b o u n d e dd e l a y s t i m ed e l a y sm a yl e a d t oa n o s c i l l a t i o na n df u r t h e r m o r e ，t o i n s t a b i l i t y o fn e t w o r k s t h e r e f o r e ，t h e s t u d y o f s t a b i l i t yo fd e l a y e d n e u r a ln e t w o r k si sp r a c t i c a l l yn e e d e d r e a c t i o n d i f f u s i o nc a n n o tb ea v o i d e di nt h en e u r a ln e t w o r k sm o d e lb e c a u s e e l e c t r o n sa r em o v i n gi na s y m m e t r i ce l e c t r o m a g n e t i cf i e l d ，s ow em u s tc o n s i d e rt h e d i f f u s i o ne f f e c ti n r e a l i t yd e s i g n f r o mt h ev i e wo fb i o l o g i c a l n e u r a ln e t w o r k s ， b r a i n sb e h a v i o ri sp e r i o d i ca n dc h a o t i co s c i l l a t i o n s oi ti s w o r t h yo fa n a l y s i st h e q u a l i t a t i v ep r o p e r t i e so f r e a c t i o nd i f f u s i o ns y s t e ma n d p e r i o d i cs y s t e m i na r t i f i c i a ln e u r a ln e t w o r k ss y s t e m ，t h en e u r a la c t i v a t ef u n c t i o n sd e c i d et h e c a p a c i t yo fs y s t e m f r o mt h er e s u l to f r e c e n tr e s e a r c h ，m a n yo ft h e ma r eb a s e do n t h e a s s u m p t i o n s o f s t r i c t l yi n c r e a s i n g a n d b o u n d e d u n f o r t u n a t e l y , t h e s e a s s u m p t i o n sm a k e t h er e s u l t si n a p p l i c a b l et os o m e i m p o r t a n te n g i n e e r i n gp r o b l e m s i nt h i s p a p e r , w i t h o u ta s s u m i n gt h e b o u n d e d n e s sa n dm o n o t o n i c i t yo ft h e a c t i v a t ef u n c t i o n s ，e v e nt y p eo fv e c t o rl y a p u n o vf u n c t i o n sw e r ec o n s t r u c t e db a s e d o nm - m a t r i xt h e o r yt os t u d yt h eq u a l i t a t i v ep r o p e r t i e so fd y n a m i cn e u r a ln e t w o r k s w i t hv a r i a b l ed e l a y s ，u n b o u n d e dd e l a y s ，r e a c t i o n - d i f f u s i o na n d p e r i o d i co s c i l l a t i o n as e r i e so fa l g e b r a i cc o n d i t i o n st h a ta r ei n d e p e n d e n to fd e l a y sw e r eo b t a i n e df o r s t a b i l i t y t h e s ec o n d i t i o n si n c l u d et h er e s u l t si nm a n yr e s e a r c h e r s a n dc o u l db e c o n v e n i e n t l yu s e di na r t i f i c i a ln e u r a ln e t w o r k sd e s i g n k e y w o r d s ：d y n a m i c n e u r a ln e t w o r k s ；g l o b a ls t a b i l i t y ；e x p o n e n t i a ls t a b i l i t y ；v a r i a b l e d e l a y s ；u n b o u n d e dd e l a y s 西南交通大学硕士研究生学位论文 第1 页 第1 章绪论 1 1 引言 人类是地球上具有最高智慧的生物，而人的智慧来自大脑，人类靠大脑进行 思考、联想、推理和判断，这些功能是任何被称为“电脑”的一般计算机所无法 取代的。长期以来，许多科学家致力于人脑的内部结构和功能的探讨研究，并试 图建立模仿人脑的计算机。现已基本明确大脑的学习过程就是神经元之间连接强 度随外部激励信息作自适应变化的过程，而大脑处理信息的结果由神经元的状态 表现出来。我们建立的信息处理系统实际就是模仿生理神经网络，所以称它为人 工神经网络。为确切起见，美国神经网络学家h e c h tn i e l s e n 给出了如下定义； 神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系 统，该系统是靠其状态外部输入信息的动态响应来处理信息的。 具体来说，人工神经网络是用人工的方法实现的神经系统，即由大量简单单 元( 神经元，模拟电子元件，光学元件等) 广泛相互连接而成的复杂网络系统。 它反映了脑功能的若干基本特征，但并不是神经系统的逼真描写，而只是它的某 种简化、抽象和模拟。研究这一系统的根本目标在于探索人脑加工、储存和搜索 信息的机制。进而探索将此原理应用于各种人工智能的可能性。虽然组成系统的 每个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为却是 丰富多彩和复杂的。人们感兴趣的也正是这种集体行为，而不是单个神经元。相 应的其研究方法强调综合，而不是分解。这种综合性不仅借鉴了神经科学的基本 成果，而且使得对这一系统的全面研究涉及计算机、控制论、数学、物理、力学、 哲学、心理学、生物进化论及医学免疫学等等各方面的知识，完全打破了学科的 界限，是一门高度综合性的学科。人工神经网络也是高度非线性的动力系统。它 还具有一般非线性动力系统的共性，即不可预测性、吸引性、耗散性、非平衡性 及不可逆性等，同时又具有高维性、广泛联结性与自适应学习性等特点，因此它 实际上是一个超大规模非线性自适应信息处理系统，可以逼近任意非线性函数。 人工神经网络的操作由两种过程：一是学习或训练：二是正常操作或联想。 训练时，把要教给网络的信息( 外部输入) 作为网络的输入和要求的输出，使网 络按某种规则( 称为训练算法或学习算法) 调节各神经元之间的连接权数值，直 到由给定输入就能得到给定输出为止。这时，各连接权已经调节好，训练过程完 西南交通大学硕士研究生学位论文 第2 页 成。所谓正常操作，就是对训练好的网络输入一个信号，它就可以正确联想出相 应的输出，所以也称为联想操作。正如孩童认人一样。 尽管人工神经网络还是生物大脑底水平的模仿，却在图象识别、语音识别、 联想记忆、预测和优化等方面表现了很好的智能特性和极好的应用前景。它具有 和人类智能特点类似的特征。 ( 1 ) 人工神经网络不但结构并行，其处理顺序也是并行和同时的。在同一层 内的处理单元都是同时操作的，即神经网络的计算功能分布在各处理单元上。这 里的并行处理决不是简单的“以空间复杂性代替时间复杂性”，而是反映秒度不 同的“计算”原理。人善于在复杂环境中很快作出判断( 多制约条件下的满足问 题) ，正是与此有关。而按通常的搜索法，由于工作量极大，因此是很难及时完成 的，真正的神经网络能够实现实时处理。 ( 2 ) 知识的分布存储。在神经网络中，知识不是存储在特定的存储单元中， 而是分布在整个系统中。每个信息存储在许多连接键上，这些连接键又同时存储 许多不同的信息。存储区与操作区是合而为一的，不同的信息之间的沟通是自然 的，而且是打规模并行进行的。这正如人在很多因素起作用的情况下，能够快速 做出判断，而且往往是制约条件越多，判断越快。这与传统的人工智能方式截然 相反。 ( 3 ) 容错性和稳健性。人类大脑具有很强的容错能力。每天大脑的一些细胞 会自动死去，但并不影响人们记忆和考虑问题的能力。能够利用联想识别阔别多 年的老友，而且对数据处理具有稳健性，能够从不完善和不完整的数据和图象照 片中进行学习并做出判断。人工神经网络也是如此，一定比例的单元不参与运算， 对整个系统的性能不会产生重大影响，数据的不完善性和不完整性对处理结果不 会产生重大影响。 ( 4 ) 自适应性。正如人很快适应外界环境一样，人工神经网络可以通过训练 或学习( 有或无指导) 具备这种能力。训练好的神经网络就可以应用于处理类似 条件下的问题等。正因为人工神经网络的这些特征，使得它在短短的时间内就取 得了很惊人的发展。 1 2 神经网络的发展历史 神经网络系统的初始研究可以追溯到4 0 6 0 年代。心理学家ws m c c u l l o c h 和数学家w p i t t s 在1 9 4 3 年提出了m c c u l l o c h - p i t t s 神经模型( m p ) 模型【6 5 】。该模 西南交通大学硕士研究生学位论文第3 页 型的基本工作原理于现在的阀值单元模型基本相同。但只能完成一些简单的逻辑 运算。但它的出现开创了神经网络研究的先河。心理学家d o h e b b ，于1 9 4 9 年 首先提出了一种调节神经元间连接权值的规则，这就是著名的h e b b 学习律【6 “。 1 9 5 7 年，er o s e n b l a t t 提出了著名的的知觉器( p e r c e p t f o n ) 模型【6 ”，这是一个真正 的神经网络。1 9 6 0 年，b w i d r o w 和m e h o f f 提出了自适应线性单元( a d a l i n e ) 网络1 6 ，不仅在计算机、上进行模拟，而且用硬件实现了该网络。同时还提出了 w i d r o w - h o f f 学习算法， 即后来称为最速下降法( l m s ) ，该算法在以后的b p 网 络即其他信号处理系统中得到广泛应用。 然而在1 9 6 9 年，美国麻省理工学院著名的人工智能专家m m i n s k y 和s p a d e r 共同出版了( ( p e r c e p t r o n ) ) 一书【6 9 1 ，指出单层的感知器只能用于线性问题的求解， 而不能解决较为复杂的高阶谓词问题如x o r ( 异或) 问题。m m i n s k y 的结论对神 经网络的研究是一个沉重的打击，多数人持悲观态度，使得对神经网络系统的研 究相对地处于低潮。 直到1 9 8 2 年，美国加州理工学院生物物理学家j o h nj h o p f i e l d 采用具有反 馈的全互联人工神经网络【7 0 “i ，并利用所定义的能量函数( l y a p u n o v 函数) ，成 功地解决了复杂度为n p c 的著名t s p 难题。1 9 8 4 年，a t & tb e l l 实验室宣布利用 h o p f i e l d 理论研制成功了第一个硬件神经网络芯片。其成果是突破性的，从而打 破了神经网络理论l o 多年徘徊的局面。 在1 9 8 5 年，美国并行分布处理( p d p ) 研究组首次完善了多层神经网络误差 反向传播( b p ) 学习算法【7 2 ，73 1 ，有效地解决了在学习过程中调整网络各层权值的 原则方法和具体步骤，使得当年的悲观化为乌有，从而掀起了神经网络研究新的 热潮。后来出现了对h o p f i e l d 神经网络模型的改进型，连接强度可以是不对称的 ，也可用于包含隐单元的多层网络系统；yc l e e 则将h o p f i e l d 的二阶关联模 型推广到高阶情形【7 5 1 。 自2 0 世纪8 0 年代中期以来，神经网络的应用研究取得了很大的成就，涉及 面非常广泛。为适应神经网络的发展，1 9 8 7 年成立了国际神经网络学会，并于同 年在美国圣地亚哥召开了第一届国际神经网络会议。此后，神经网络的研究始终 呈现蓬勃活跃的局面，理论研究不断深入，应用范围不断扩大。尤其是进入2 0 世纪9 0 年代，随着i e e e 神经网络会刊的问世，各种论文专著逐年增加，在全世 界范围内逐步形成了研究神经网络的新高潮。 西南交通大学硕士研究生学位论文第4 页 1 3 动态神经网络的定性分析 神经网络按是否含有延迟或反馈环节可以分为静态神经网络和动态神经网 络，含有延迟或反馈环节的神经网络称为动态神经网络。动态神经网络主要包括 h o p f i e l d 型神经网络 7 0 ，7 1 】及美国加州伯克莱大学的l o c h u a 等人提出了细胞神 经网络模型 1 , 7 6 1 。h o p f i e l d 型神经网络模型是美国生物物理学家h o p f i e l d 教授于 1 9 8 2 年提出的一种神经网络模型。这一模型是由n 个节点全部互相联结而构成的 反馈型动态网络系统。由于它可以实现联想记忆，并能进行优化问题的求解，因 而受到人们的高度重视，并对神经网络理论的研究产生了重大的影响。细胞神经 网络系统与h o p f i e l d 神经网络系统结构上有很大的相似之处，不同之处在于 h o p f i e l d 神经网络系统的神经元为全联结，而细胞神经网络系统不是全联结。反 映在模型的数学表述上就在于关联矩阵的特性不一样。特性的不一样就决定了它 们的应用范围不一样。细胞神经网络系统主要在图象处理和汉字识别等方面有良 好的应用前景，因此也受到了人们的广泛关注。 上述模型可用微分方程表示如下( 见文献【7 1 】) ： c ，掣一半+ 芝x i ) ) + j ，( f ：1 , 2 ，川 ( 1 1 ) 其中， 2 为网络神经元的个数。对于神经元f ，c ， 0 ，r 0 分别为神经元 放大器的电容和电阻，x ，单元输入电压，t ，为系统外对神经元i 的常输入。矩阵 a = ( d ) 。为连接权矩阵。函数g i ( x ，) ( j = l ，2 ，”) 为神经元激励函数，即放 大器输出电压。其简化形式： 掣= - - c r x i + 和知j ( f ) ) + ， ( 1 2 ) 文献 1 - 2 ，1 0 1 1 ，7 6 8 0 研究了系统( 1 2 ) 的稳定性，得到了一些全局渐进稳 定、指数稳定及绝对稳定的结果。t c h e n 和s a m a r i t 7 7 1 在激励函数有界且一阶 导大于零的情况下，得到了几个h o p f i e l d 神经网络全局指数稳定的充分条件。文 7 8 在要求激励函数连续、有界且一阶导数大于零的情况下，研究了该类神经网 络的全局指数稳定性及应用；在激励函数全局l i p s c h i t z 连续的条件下，研究了神 经网络全局指数稳定性问题，并将得到的稳定性充分条件用于优化计算；文 7 9 1 在激励函数为部分l i p s c h i t z 连续且关联矩阵属于 靠一矩阵的条件下，研究了神经 西南交通大学硕士研究生学位论文 第5 页 网络的指数稳走性，并归纳讨论了一些特殊矩阵间的关系，以便各种稳定性判据 之间的比较。m a u r o f o n i 等 2 1 分别在激励函数为有限扇区情况及无限扇区情况下， 研究了神经网络的全局渐近稳定性及其在二次规划方面的应用。s a b r ia r i k 等峭州 研究了一些特殊矩阵之间的关系，并在激励函数有界且一阶导数大于零及关联矩 阵的负矩阵属于 以矩阵的条件下，得到了神经网络全局渐近稳定的充分性判据。 文 8 1 在要求激励函数全局l i p s c h i t z 连续、非降以及有界的情况下，得到了神经 网络全局指数稳定的3 个充分条件。文【8 2 】将非线性测度用于神经网络的指数稳 定分析，得到了一系列指数稳定的充分条件。 虽然，上述网络具有复杂逻辑的运算功能，而且已被广泛地用于模式识别、 语音识别、图象处理、信号处理、系统控制、最优化决策及求解非线性代数问题 等方面：但由于系统中不含有时间滞后，使得上述网络并不能用于解决一些重要 的工程问题，如动态图象的捕捉，实时控制等。在神经网络的硬件实现过程中， 时滞不可避免。如：电路中电子的扩散反应、杂散效应，幅值等的转换速度差异， 集成时延、传输时延等，使得时滞增加。由于时滞的存在，会导致神经网络系统 产生振荡，严重的甚至导致神经网络系统不稳定。因此，研究带有时间滞后的神 经网络就成了现实需要。将系统( 1 2 ) 推广到含有时间滞后的系统可以表示如下： 掣= - - c i x i + 静目) 嚆( ( 1 3 ) 国内外学者对具有时间滞后的神经网络系统的定性行为进行了大量的研究 1 5 - 9 1 。神经网络模型从简单的固定的时间滞后，即系统( 1 3 ) o e 的f 为常数f 协1 7n 8 4 1 ， 到随时间变化的可变时间滞后，即系统( 1 _ 3 ) 中的r 为时间的函数播1 9 12 1 2 2 8 5 1 ， 再到无限时间滞后1 1 7 】，或者在一个神经网络模型里同时含有以上3 种情形【4 ”。通 常在简单电路实现的时滞反馈系统中，有限的时间滞后仅需很少的电路单元，而 在引入无界时间滞后( 或分布时间滞后) 时，神经网络系统往结构复杂，因而研究 这类网络系统的定性性质具有更大的难度。尽管在神经网络的实际应用中，时滞 不断发生，却很难对其由一个精确度量。在很多情况下，时滞是各不相同，实际 是无界的。从数学的观点来看，时间滞后为常数的系统与时变时间滞后和无限时 间滞后系统是不相同的，而两者的研究方法也有很大的不同。 严格说来，电子在不均匀的电磁场中运动，扩散现象不可避免，从而影响系 统的稳定性，有的甚至不稳定。要构造出实际可行的网络系统，就不得不考虑扩 西南交通大学硕士研究生学位论文第6 页 散反应的影响。对这一类神经网络平衡点的稳定性的研究具有广泛的理论和应用 价值。加入扩散函数后，系统成为如下数学模型： 詈= 喜毒( 玩( f 础，) 簧) 一嘣+ 喜( 州) ) + ( f _ 1 如，”) ( 1 4 ) 其中瓦( ，x ，“。) 为扩散函数，要求x q 匕r ”，q 是r 空间中的一个紧集，它的 测度卅p s q 0 。文献 4 5 ，4 8 ，5 0 研究了系统( 1 4 ) 的全局渐进稳定性，不仅如此， 文献 4 6 ，4 7 1 还研究了上述系统具有时间滞后项的指数稳定性。 从生物神经系统的研究来看，人脑时刻都处在周期震荡或混沌状态，因此对 神经网络周期运动现象及混沌现象的研究尤为重要。然而，周期运动系统并非一 定存在周期解“，存在周期解的情况下，其稳定性还需要系统满足一定的条件。! ，因此其动态行为的分析成为研究的热点。具有周期运动的时间滞后系统可以 表示为： 兰掣= 一q 一( r ) + g 肛) ) + o 一f ) ) + ，( ，) ( 1 5 ) ，= 1 1 = 1 其中，i ，( t + c o ) = i i ( ，) 为周期输入， 0 为常数。目前这方面的研究也比较多， 文献 5 2 ，5 4 ，5 7 ，5 9 ，6 0 研究了具有常时间滞后的神经网络系统的周期解的稳 定性，文献 1 1 用y o u n g 不等式研究了具有时间滞后的g r o s s b e r gh o p f i e l d 型 神经网络系统在l t ( 1 p o o ) 模下的周期解的存在性及稳定性，文献 5 1 研究了 具有时滞的b a m 系统的周期解的存在性和指数稳定性。 然而，就上述的定性性质的分析结果来看，多是针对连接权矩阵为对称，即 对于a = ( 日。) ，d 。= 口。的情况；和神经元激活函数为有界单调增的情况，常用 的为s i g m o i d 型激活函数。 这些前提假设使得这些结果不能用于解决一些重要的工程问题。当神经网络 用于解决存在约束的优化问题，如线性优化、二次优化或其他的规划问题时，需 要引入无界激活函数来加强约束限制“1 ，在有界激活函数条件下得到的结论并不 能直接套用到无界激活函数的情况。在有界激活函数情形下，系统的平衡点总是 存在的。然而，在无界激活函数情况下，可能系统没有平衡点。当考虑广泛应用 的分段线性神经网络时，激活函数在一定的区域内出现零斜率的情况，这使得有 必要放宽激活函数严格单调增的前提假设。在许多电子电路中，经常使用具有既 不单调增也不连续可微输入输出函数的放大器。m o r i t a 在文献【3 3 】中指出，用非 西南交通大学硕士研究生学位论文第7 页 单调的激活函数代替常用的s i g m o i d 型激活函数，可以很大程度的提高网络的绝 对能容。因此，在某种程度上说，在设计和实现人工神经网络时，选择非单调的 激活函数，或非严格光滑的激活函数可能更好。 因此，本论文的目的是，引入时间滞后项，且时间滞后项激活函数为f ( x 1 ， 厂( x ) g ( x ) ；再放宽神经网络连接权矩阵为对称、激活函数为严格单调增或 l i p s c h i t z 连续等的条件，即激活函数只需满足如下假设： 假设1 1 对任意j 0 , 2 ，h ) ，g ，：r 斗r 是具有全局l i p s c h i t z 常数l ， 0 0 q 0 ，使得 p ，：s u p l 丛生型l ，q ，：s u p i 丛型i ，； y z 。，； y 一2 令p = d i a g ( p l ，p ，) ，q = d i a g ( q ”，q 。) 。 定义2 1 称式( 2 1 ) 的平衡位置“= u = c o n s t 是渐近稳定的，若 v s 0 ，3 8 ( e ) 0 ，当| | u m 一“1 1 0 和 0 ，使得对 所有，0 ，下式 | | “( ，) 一“+ | i 卢i i 一“+ | | e 一“ 成立，则称系统( 2 1 ) 为指数稳定的这里| | 一“+ 忙m 。a ；x 。州s u 。p 。1 f 谚( j ) 一“川。 为方便，引入如下记号，对矩阵a = ( q 。，i a l 表示绝对值，值为 la 卢( i 口。，i ，= 1 , 2 ， ； a 。定义为( a 7 + a ) 2 ，其中z r “， i x b ( 1 一k ，ix n j ) 7 ，忖表示向量的模，值为1 1x 1 1 = m a x i 一1 ) 。 2 3 平衡点的存在性与唯一性 为方便讨论，引入一些引理。 定义2 3 ：对于是矩阵一= ( 。) ，如果玎。s 0 ，j = 1 , 2 ，”，i ，且一 的所有主子式正定，则称a 为m 一矩阵 引理2 1 1 2 0 1 如果矩阵t = ( z ，) 有0 0f ，= 1 , 2 ，卅，i ，则以下陈述等 价： ( 1 ) 了1 为m 矩阵； ( 2 ) 丁的所有特征根具有正实部： ( 3 ) 存在向量，7 0 ，使得a 玎 0 ； ( 4 ) 存在向量掌 0 使得( r a 0 ； 西南交通大学硕士研究生学位论文第1 0 页 ( 5 ) 存在n 维对角矩阵d 使得矩阵a d + d a l 为正定的。 首先考虑与系统( 2 1 ) 相关的如下非线性映射的解： h ( u ) = 一c u + a f ( “) + b g ( “) + i( 2 2 ) 显然，h ( u ) = 0 的解即是( 2 1 ) 的平衡点。如果映射( u ) 为月”空间上的同胚， 则存在唯一的点u + 使得h ( u 4 ) = 0 ，即系统( 2 1 ) 有唯一的平衡点“+ 。 引理2 2 0 1 如果映射日( “) e c o 满足如下条件，n h ( u ) 是r ”上的同胚， ( i ) h ( u ) 是上的单射。 ( i i ) 当l l u l i 呻o o 时，l i h ) 9 寸m 。 引理2 3 1 2 6 。设吼o ，见 o ，( = l ，2 ，+ 1 ) ，r o ，只+ i ：1 1 1 + 1 所，则有 ( f i a 2 ) 1 7 乓+ ( p 。口z , - 1 7( 2 3 ) 成立在不等式( 2 3 ) 中，令只。= 1 ，r = p o ，+ = p 。+ 1 ，则有 ( = 们，；( 酗柏+ 扛， ( 2 4 ) 定理2 1 ：设，( “) 、g ( “) 满足假设2 1 的条件，如果口= c 一( i a l p + i 占i q ) 是 m 矩阵，则对任意输入，系统( 2 1 ) 存在唯一的平衡点“。 证明：要证明系统( 2 1 ) 有唯一平衡点，r g 日i e n 脚) 满足引理2 2 ；下面分 别进行证明。 首先证明引理2 2 中条件( i ) 成立。假设不成立，即存在x ，y e r 一，x y 使得 ( z ) = h ( _ y ) 。则从( 2 2 ) 可得： 一c ( x y ) + 4 ( 厂( 工) 一厂( y ) ) + g ( g ( x ) 一g ( y ) ) = 0( 2 5 1 由假设2 1 ，存在矩阵k = d i a g ( k ”，以) ( 一p - 0 ( f = 1 , 2 ，棚) 使得 一t 专+ 旬( 1 i 巧+ i6 _ ，b ，) 0 ( f _ 1 , 2 ，n ) i = 1 所以得到 一c f 茧+ 另( ia l i k ，6 ，d 0 ( f = 1 , 2 ，) 考虑l y a p u n o v 函数矿( z ) = 当旧i 。对矿沿( 2 7 ) 式求右上导数d * v ，有 ，= l ( 2 7 ) ( 28 ) d + y ( z ) = f i s g n z ， 一c j 2 ，+ ( a ! l k ，+ 气加 i = l i = 1 - c ，专+ 白( h b j ，l 加i 0 ，有 【d ( 一c + i a l p + i 占l q ) 1 8 一c e 。 0 e 是单位阵。则计算 d u 1 厅( ) 如下， ，门) 存在正定对角矩 【d “】t k r ( u ) = 【d ”】t 【一c u + 一( 厂( “) 一厂( o ) ) + b ( g ( “) 一g ( o ) ) = 一u t d c u + u r d a ( f ( u ) 一，( o ) ) + g t d b ( g ( u ) 一g ( 0 ) ) 一“1 7d c i “l + l “1 1d i a i i ( ，( “) 一厂( 0 ) ) i + i “f d l b l i ( g ( “) 一g ( 0 ) ) l 一l “1 1 d c i “i + l “j 7 0 l a i p i “i + i ”1 7 d i b i q i “ ( 2 9 ) 西南交通大学硕士研究生学位论文第1 2 页 爿“| 1 【d ( 一c + i aj p + l b l q ) 】i “i 刮“1 1 【d ( 一c 十l 彳l p + 1 b j q ) ri “ 一s j | “02 。 ( 2 1 0 ) 从( 2 1o ) 谢ds c h w a r t z 不等式，有s 2 - 0 ( j = = 1 , 2 。棚) 使得 卫 一专c ，+ 弓( d ”| p ，+ j i g ，) 0 ( ，= 1 , 2 ， ) j = l 定义如下函数 易知 f ( ) = 一考( c j 一) + 芝：每( i 口。l p ，+ e 9 。l b i i g ，) ( f = l 2 ，月) j = l 西南交通大学硕士研究生学位论文第1 3 页 f ( o ) = 一专q + 旬( 1 吩l p ，+ i 屯l g ，) 0 。贝0 得 i y i ：1 y | - e ni ( s ) i ，一f s s 0 c q ( z 。( 岛) ) ，器p i m ( s ) 卜e 加ig t , ( s ) 专，o ，一f s 0 ，i = 1 ，2 ，门 下面证明，对f 【o ，+ m ) ，i = 1 ，2 ，h ，l 弘( ，) i o ) 使得对任意的一f r s ，= 1 ，2 ，h ，i m ( i = 4 , l o ，d + 1 只( f ) 陲0 ， 且y j ( ，) s 掌f o 。然而，由式( 2 1 3 ) 和( 2 1 4 ) 可得 西南交通大学硕士研究生学位论文第1 4 页 d + i m ( ) is ( 一c j + 五) 喜+ ( 1 呀i p ，+ e 2 7 i i q j ) ( a t o 0 j = l 矛盾。所以，任意f o ，佃) ，i m ( ，) l o ( 七= l 2 ，三2 ) ，7 ， 0 ， “。，口，+ ，岛，岛，岛，岛+ ，和r ( f ，_ ，= 1 2 ，月) ，使得下式 n ( l i 或岛嘞i a 口f 半+ 鲁p ，嘎一i | ， “1 + z e k q j 珊ib , ji 晋+ 鲁g ，”一i b “l 呜l ) o艺i 节，唧+ 予i 怫g ) 】 o 从不等式( 2 1 7 ) 及l y a p u n o v 稳定性定理【2 0 1 ，得系统( 2 1 6 ) 是全局渐进稳定的，所 以矩阵c 一( ia i p + lb iq ) 的所有特征值的实部为正。由引理2 1 ，知 a ；c 一( i a i m + i b i ，) 是一m - 矩阵。由定理2 2 ，得系统( 2 1 ) 存在唯一全局指数 稳宗的平衡点。证毕。 2 5 分析比较与算例 定理2 2 的结论将许多文献的结果作为特例包含在内，如文献 5 】， 6 】，【1 0 1 6 ， 【1 8 】，u 9 ， 2 1 2 5 。文献【1 9 】讨论了与本章相似的系统，其中要求时阳j 滞后为固 西南交通大学硕士研究生学位论文第1 6 页 定不变的常数，且只得到渐进稳定性的判据，对指数稳定则没有讨论。我们的推 论2 1 的条件即与文献 1 9 】中的定理2 的条件相同，但我们可以判断其系统不仅是 全局渐进稳定的，还是全局指数稳定的。而且，在实际应用中，很不容易验证文 献 1 9 1 中定理2 的条件是否满足，而本章中的定理2 2 的条件则很容易得到验证， 因此具有更强的应用价值。 文献5 ，6 ，1 0 1 6 ，2 3 2 5 1 讨论了时间滞后为固定常数的情况，它们也只是本 文的特殊情况。文献 1 8 , 2 l 一2 2 】虽然讨论了变时滞的情况，但其中系统要求神经网 络的激活函数f ( u ) 和g ( u ) 相同，即f ( u ) = g ( u ) ：而且还需满足局部或全局的 l i p s c h i t z 条件i 该条件强于本文的条件假设2 1 可见，本文的结论可以应用于较 一般的连续激活函数，连接权矩阵为对称或非对称的情况。因此上述文献中的结 果也只是本文的特殊情况。 下面针对二阶神经网络系统考虑如下算例： 例2 1 考虑如下系统， i 矗l o ) = 一c l 甜1 ( r ) + 口l i 织( 村l o ) ) + a 1 2 0 2 ( “2 ( ，) ) + b l l 妒l ( “1 ( f f l ( f ) ) ) + b 1 2 妒2 ( “2 ( ，一f 2 ( f ) ) ) l 矗2 ( f ) = 一c 2 “2 ( f ) + a 2 l 矿l ( u 】( f ) ) + a 2 2 0 2 ( “2 ( ，) ) + b 2 1 c p i ( 材l ( r 一】0 ) ) ) + b 2 2 i i 0 2 ( “2 ( f r 2 ( ，) ) ) ( 2 1 8 ) 取激活函数为分段线性函数谚( x ) = 纯( x ) = ( 1 2 ) ( ix + 1 卜ix 1 1 ) ，( i = 1 , 2 ，n ) 。 则易见系统( 2 1 8 ) 的平衡点为( o ，0 ) 。取c i = c 2 = l ，a = 臼2 2 = 1 8 ， 盘1 2 = a 2 l = 1 1 4 ，b l l = b 2 2 = 0 ，b 1 2 = b 2 l = 1 4 ，p = q = d i a g ( 1 ，1 ) ，即 c = ：? ，爿= ：；：； ，b = ? ，4 ：7 4 则由d = c 一( 1 a i p + l 口l q ) ，计算得 l0 8 7 5 0 0 5 0 0 0l 弘l 一0 5 0 0 0 0 8 7 5 0 j 由定义2 3 可知，口= c 一( 1 a l p + ib iq ) 为个m 矩阵。由定理2 2 可得系统( 2 1 8 ) 为全局指数稳定的。然而由文献 1 9 】中例2 则只能得到其为渐进稳定。 西南交通大学硕士研究生学位论文 第1 7 页 第3 章具有时变时滞和无限时滞的 神经网络系统的稳定性 3 1 引言 自从k o s k o “”于1 9 8 7 年首次提出一种双层互联联想网络双向联想记忆 神经网络( 8 a m ) 以来，人们研究了其具有和不具有信号传输延迟的情况，并应用于 许多领域，如模式识别、动态图象处理及自动控制等。这些应用依赖于网络平衡点 的存在性及定性性质。在网络的硬件实现时，由于放大器等传输速度及信号转换 速度有限，时间滞后不可避免。而时间滞后的存在会引起网络系统的振荡，有的 甚至使网络不稳定 2 8 。在一些应用中，如动态图象的处理过程，需要引入时i 目 滞后 2 9 。因此，研究具有时间滞后的神经网络的稳定性具有很大的实际意义。最 近的一些文献已经得到这类神经网络稳定性的有用结果，如 3 0 一3 l ，1 1 ，3 9 4 1 ， 得到了一些b a m 网络全局稳定的条件判定定理。 通常在简单电路实现的时滞反馈系统中，有限的时间滞后仅需很少的电路单 元，而在企图引入无界时间滞后( 或分布时间滞后) 的神经网络系统