（系统分析与集成专业论文）神经网络模型的lagrange稳定性研究.pdf

摘要 人工神经网络在信号处理、图像处理、人工智能和全局优化等方面的广泛 应用使其得到了蓬勃发展，而其自身的信息处理能力主要取决于其动力学行为 多年来神经网络的动力学性质引起了学术界的广泛关注其中，关于神经网络 平衡态的l y a p u n o v 稳定性的研究已取得丰富成果 l y a p u n o v 稳定性研究的是单个平衡态的稳定性态，由于神经网络为非线性 系统，常常具有多个平衡态，为掌握多个平衡态间的关联关系，首先需要了解这 些平衡态是否具有“集体吸引性”，于是人们开始关注其l a g r a n g e 稳定性，即系统 所有解的有界性，亦即是否存在一个有界闭集，使得系统所有的轨线均依指数 进入该闭集至于在该闭集中系统的各平衡态的特性则可进一步研究特别地， 如果系统只有惟一平衡态，则当闭集可任意小时，l a g r a n g e 稳定性等同于 l y a p u n o v 渐近稳定性 本文运用l y a p u n o v i 函数方法和不等式分析技巧对几类c o h e n - g r o s s b e r g 型神 经网络的l a g r a n g e 稳定性进行了研究，主要包含：在一般有界连续激励函数下， 讨论了一类具有变时滞的c o h e n g r o s s b e r g 神经网络的l a g r a n g e 全局指数稳定 性给出了其满足l a g r a n g e 全局指数稳定性的全局指数吸引集；分别在三种不同 的有界激励函数下，研究了一类具有变时滞的中立型c o h e n g r o s s b e r g 神经网 络的l a g r a n g e 全局指数稳定性，通过构造几种不同的l y a p u n o v 函数证明并给出 了系统模型具有的若干全局指数吸引集，最后通过数值算例及仿真对结果进行 了验证；分析了具有反应扩散项的时滞c o h e n - g r o s s b e r g 神经网络的l a g r a n g e 全局 指数稳定性考虑了在有界与无界的激励函数情况下，通过构造平均l y a p u n o v 函数及运用积分不等式技巧给出了系统模型具有全局指数吸引集的构造性证明， 并结合实际例子说明了结论的正确性 关键i 司：c o h e n - g - r o s s b e r g 神经网络，中立型，反应扩散，l a g r a n g e 稳定性 i i i a b s t r a c t d u et ot h ee x t e n s i v ea p p l i c a t i o n si n s i g n a lp r o c e s s i n g ，i m a g ep r o c e s s i n g ， a r t i f i c i a li n t e l l i g e n c e ，o p t i m i z i n gp r o b l e m sa n ds oo n ，a r t i f i c i a ln e u r a ln e t w o r k sh a v e b e e nf u l l yd e v e l o p e d b e c a u s et h ei n f o r m a t i o np r o c e s s i n gc a p a b i l i t yo fan e u r a l n e t w o r ki sd e t e r m i n e db yi t sd y n a m i cb e h a v i o r , t h ed y n a m i cp r o p e r t i e so fn e u r a l n e t w o r k sh a v ea t t r a c t e dw o r l d w i d ea t t e n t i o ni nr e c e n ty e a r s a m o n gt h e m ，aw e a l t h o fr e s e a r c hr e s u l t so nl y a p u n o vs t a b i l i t yo fe q u i l i b r i u mh a v e b e e nr e c e i v e d l y a p u n o vs t a b i l i t yi s a b o u tt h ei n d i v i d u a le q u i l i b r i u m s t a b i l i t y a st y p i c a l n o n l i n e a rs y s t e m s ，n e u r a ln e t w o r k so f t e nh a v em u l t i p l e e q u i l i b r i u ms t a t e s f o r s t u d i n gt h er e l a t i o n s h i pb e t w e e nt h ee q u i l i b r i u m s ，w h e t h e rt h e ma r e ”c o l l e c t i v e a t t r a c t i o n ”o rn o tn e e dt ob eu n d e r s t a n d s op e o p l es t a r tl o o k i n ga tt h el a g r a n g e s t a b i l i t yo ft h es y s t e m l a g r a n g es t a b i l i t yi st h eb o u n d e d n e s so fa l ls o l u t i o n sa b o u t t h ee n t i r es y s t e mi nf a c t a sl o n g 嬲a l lt r a j e c t o r i e sg oi n t ob o u n d e dc l o s e ds e tb y i n d e x ，t h es y s t e ms a t i s f yt h e l a g r a n g es t a b i l i t y b a s e do nt h i sr e s e a r c h ，t h ep r o p e r t i e s a b o u tt h e s ee q u i l i b r i u m si nt h ec l o s e ds e tc a nb es t u d i e df u r t h e r i np a r t i c u l a r , i ft h e s y s t e mh a so n l yu n i q u ee q u i l i b r i u m ，t h e nw h e nt h ec l o s e ds e tc a l lb ea n yh o u r , l a g r a n g es t a b i l i t yi se q u i v a l e n tt ol y a p u n o va s y m p t o t i cs t a b i l i t y t h i sp a p e ra d d r e s s e sl a g r a n g es t a b i l i t yo ft h r e ec l a s s e so fc o h e n - g r o s s b e r g n e u r a ln e t w o r k si n c l u d i n gt h eo n e 谢mt i m e v a r y i n gd e l a y s ，t h en e x tw i t hn e u t r a l t y p ea n dt h el a s tw i mr e a c t i o n - d i f f u s i o n b yc o n s t r u c t i n gl y a p u n o vf u n c t i o n sa n d u s i n gi n e q u a l i t ya n a l y z i n gt e c h n i q u e s ，s e v e r a lg l o b a le x p o n e n t i a la t t r a c t i v es e t s ( g e s ) i nw h i c ha l lt r a j e c t o r i e sc o n v e r g ea r eo b t a i n e da n ds t r u c t u r a ld e m o n s t r a t i o n s o ft h es y s t e mm o d e la r ea l s op r e s e n t e d f i n a l l y , s o m ee x a m p l e sa r eg i v e nt ov e r i f y o u rr e s u l t s k e yw o r d s ：c o h e n g r o s s b e r g n e u r a ln e t w o r k ，n e u r a lt y p e ，r e a c t i o n - d i f f u s i o n ， l a g r a n g es t a b i l i t y i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果本论文除了文中特i i i i i 以标注和致谢的内容外，不包含其他人或其他 机构已经发表或撰写过的研究成果，也不包含为获得南京信息工程大学或其他 教育机构的学位或证书而使用过的材料其他同志对本研究所做的贡献均已在 论文中作了声明并表示谢意 学位论文作者签名：髂龇 i i i ! - 字i ii i ：一涩z 臣里 关于论文使用授权的说明 南京信息工程大学、国家图书馆、中国学术期刊( 光盘版) 杂志社、中国科 学技术信息研究所的中国学位论文全文数据库有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文，并通过 网络向社会提供信息服务本人电子文档的内容和纸质论文的内容相一致除 在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文 的全部或部分内容论文的公布( 包括刊登) 授权南京信息工程大学研究生部办 理 9 公开口保密( 年 月) ( 保密的学位论文在解密后应遵守此协议) 学位论文作者签名：丝! 型丝 指导教师签名： 签字日期：2 坐z 翌= 左：里 签字日期：舀刁堑- 趁卫 第一章绪论 在自然界优胜劣汰式发展长河中，不管是人类还是其他生物都在不断进行适应性转变， 而在这转变背后恰恰传达了不同的优化思想与优化信息虽然人们很早已发现并意识到了 仿生学的精妙之处，但在很长一段时间里，受社会生产力发展水平的限制，人类只能望洋兴叹 【l 】直到上世纪中期，随着科学技术的发展，尤其是计算机技术的发展，才使人类有能力对仿 生学进行研究，至此对于人类脑神经系统的研究应运而生神经网络分为两类：一类是生物 神经网络，另一类是人工神经网络生物神经网络是自然界中的一种客观存在的、由生物神 经系统中神经细胞按照一定的连接方式连接而形成的网络，如人脑神经系统是到目前为止 所发现的最具有智慧的生物神经网络；人工神经网络是在神经生理学和神经解剖学的基础 上，利用电子技术、光学技术等模拟生物神经网络的结构、机制和功能而发展起来的一门 新兴的边缘交叉学科人工神经网络作为对人类智能研究的重要组成部分，它已成为神经 科学、脑科学、心理学、认知科学、计算机科学、数理科学等共同关心的焦点 1 1 人工神经网络简介 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k , a n n ) 是由大量简单的处理单元( 即神经元， n e u r o n s ) 按照一定的拓扑结构相互连接而成的一种具有并行计算能力和非线性大规模自适 应动力学特征的网络系统【2 】它是在现代神经科学研究成果的基础上提出的，反映了人脑 功能的若干基本特征，但它并非人脑的逼真描述，而只是人脑的某种抽象、简化与模拟网 络的信息处理由神经元之间的相互作用来实现；知识与信息的存储表现为网络元件之间分 布式的物理联系；网络的学习与识别决定于各神经元连接权系数的动态演化过程神经网 络作为一个具有高度非线性的超大规模动力系统，除了具有网络的全局作用、大规模并行 分布处理及高度的鲁棒性和学习联想能力之外，它还具有一般非线性动力系统的共性，即 不可预测性、吸引性、耗散性、非平衡性及不可逆性等，同时又具有高维性、广泛联结性 与自适应学习性等特点由于对人工神经网络的研究和人的神经网络的研究密不可分，所 以将人工神经网络亦称为神经网络( n e u r a ln e t w o r k , a n n ) 3 神经元是构成神经网络的最基本单元它是对生物神经元的简化与模拟神经元的特 性在某种程度上决定了神经网络的总体特性因此，构造一个人神经网络系统，首要任务 就是构造人工神经元模型 对于每一个神经元，它可以接受一组来自网络中其他神经元的输入信号，每一个输入 对应一个权，每一个权就相当于生物神经元中突触的联接强度并且多数情况下，所有输 l 入的加权和决定当前神经元的激活状态所以对于一个典型的神经元模型主要包含以下五 部分：输入、网络权值和阈值、基函数、传递函数以及输出可以用下图加以描述【4 】 图1 1 神经元模型图 其中，毛，x 2 ，表示神经元的r 个输入，可以用列向量x = i x , ，x 2 ，x a ；q ”q 2 ，q r 表示网络权值，代表输入与神经元间的连接强度，可以用行向量= 池p q ，q 。】表示； b 为神经元阈值，是一个标量，可以看作是一个输入恒为1 的网络权值不论是网络权值还 是阈值都是可调的正是基于神经网络权值和阈值的动态调节，神经元乃至神经网络才得 以表现出某种行为特性因此，网络权值和阈值的可调性是神经网络学习特性的基本内涵 之一；“( ) 和厂( ) 分别表示神经元的基函数和激活函数基函数甜( ) 是一个多输入单输出函 数甜= g ( x ，国，b ) ；激活函数的作用是对基函数的输出甜进行挤压：y = f ( u ) ，即通过函数厂( ) 将”变换到制定的范围内而常用的基函数和激活函数主要有以下几种类型 1 、基函数类型 1 ) 线性函数 绝大多数神经网络都采用这种基函数形式，如多层感知器r ( m l p ) 、h o p f i e l d 网络等采 用线性函数时，基函数输出材为输入和阈值的加权和，即 砧= x j - b = x a - b ( 1 1 ) 在多维空间中，该基函数形状是一个超平面 2 ) 距离函数 采用距离函数时，甜表示输入矢量彳和权矢量国之间的欧氏距离即 归喜( 薯咆) 2 = i i x - 丘, l l ( 1 2 ) 式中，国常被称为基函数的中心在多维空间中，该基函数的形状是一个以脚为球心的超 球距离函数主要用于径向基函数神经网络( e , b v 网络) 3 ) 椭圆基函数 采用椭圆基函数，则神经元输入总和为： 气厮 肛擂q ( 薯飞) 2 在多维空间中，该基函数形状是椭球 2 、激活函数类型 1 ) 阈值函数 也称硬极限函数，其表达形式为： y = f ( u ，- z 三 该函数也成为单极限函数曲线图如图1 2 l y 1 r 0 u 图1 2单极限函数 或 y = 厂c 甜，= s 印c 材，= 一l ，：三三 该函数亦称为双极限函数，曲线图如图1 3 3 ( 1 3 ) ( 1 4 ) ( 1 5 ) ji y 1 r 0u - 1 图1 3 双极限函数 该类函数常用于感知器网络的神经元激活函数，解决线性可分的输入样本矢量分类问题 2 ) 线性函数 激活函数采用线性函数，其表达式为： y = 厂( 砧) = 幻( 1 6 ) 该函数常用于实现函数逼近的神经网络的输出层神经元线性函数曲线如图1 4 所示： j 。 y 1 r nu 一1 图1 4 线性函数 或采用饱和线性函数，其表达式如下： ) ，= 厂( ) = 三( i 甜+ l i i 一1 i ) 该函数也常用于分类，饱和线性函数曲线如图1 5 所示 4 ( 1 7 ) y 1 厂。 一 r 0u 一1 图1 5 饱和线性函数 3 ) s i g m o i d 函数 s i g m o i d 函数也称s 函数，具有连续可微性，是较为常用的激活函数其表达式为： y = m ) = 专 ( 1 8 ) 也称为单极性s i g m o i d 函数，其中，a 为s i g m o i d 函数的增益，其值决定了函数非饱和段的 斜率，五越大，曲线越陡曲线图如图1 6 j y 1厂一 r 0 u 1 图1 6 单极性s i g m o i d 函数 或 夕= 八材) = 瓦| - - e 歹- , l u = 删甜) 该函数亦称为双曲正切函数，曲线图如图1 7 5 ( 1 9 ) y 1 广 n r u j - 1 图1 7 双曲正切函数 4 ) 高斯函数 高斯函数亦称为钟形函数常用于径向基函数神经网络，表达式为： 1 1 2 y = f ( u ) = p 萨 式中，艿为高斯函数的宽度或扩展常数占越大，函数曲线越平坦函数曲线如图1 8 j 。l o ( 1 1 0 ) 图1 8 高斯函数 在了解了神经元的一般模型及其参数的相关特性后，我们再来研究一下神经网络的结 构与分类众所周知，神经网络是由大量简单的神经元相互连接构成的复杂的非线性网络 一个典型的单层神经网络模型如图1 9 所示： s l 三n s i 一一 f 。l s n + 、- - 一b 卜j 。 图1 9 单层神经网络模型 在单层网络的基础上可以构建多层神经网络，其中产生神经网络最终输出的网络层称 6 为输出层，输入层和中间层都称为隐层神经网络的类型多种多样，它们是从不同角度对 生物神经系统不同层次的抽象和模拟，如果按照层次划分，可以分为单层神经网络和多层 神经网络等：如果按照功能特性和学习规则划分，可以分为感知器、b p 神经网络、径向基 函数网络和反馈神经网络等；按照网络输入或网络层中是否含有延迟或反馈环节，还可把 神经网络分为静态和动态网络通常来讲，当神经元的模型确定之后，一个神经网络的特 性主要取决于网络的拓扑结构和学习算法从拓扑结构角度来看，神经网络可以分为四种 基本形式5 1 1 、前向网络 神经网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连数据从输 入层开始依次被传递到下一层，直到输出层作为隐层的输入层和中间层可以是一层或多 层前向网络在神经网络中的应用非常广泛。感知器、线性网络、b p 网络都属于这一类 2 、从输出到输入有反馈的前向网络 该网络本身属于前向型的，但是从输出到输入有反馈回路f u k u s h i m a 网络就属于这种 类型 3 、层内互联前向网络 通过层内神经元的相互连接，可以实现同一层神经元之间的相互制约，从而将层内神 经元划分为组，让各组作为一个整体来动作h a m m i n g 神经网络就属于这种类型 4 、互连网络 互连网络亦可称为递归神经网络，分为局部互连和全互连两种全互连网络是指网络 模型中的每一个神经元的输出可以和所有的神经元输入包括它自身相连，而对于局部互连 网络，有些神经元之间没有连接关系h o p f i e l d 、b o l t z m a n n ( 随机神经网络的典型) 、 c o h e n - g r o s s b e r g 和细胞神经网络等就属于这一类 基于不同的神经网络结构以及神经网络与外界环境的互联形式，可以选用不同的学习 算法对其进行训练学习的方式可以分为有导师学习和无导师学习最基本的神经网络学 习规则包括h e b b 学习规则、艿学习规则、w i d r o w - h o f f 学习规则、b p 算法和模拟退火算 法等可根据不同情况，选择相应的算法对神经网络进行训练，以达到预期的目标 1 2 神经网络的产生与发展 人工神经网络的研究始于二十世纪四十年代，1 9 4 3 年，精神病学家和神经解剖学家 m c c u l l o c h 和数学家p i t t s 在总结了生物神经元的一些基本生理特征后，提出了形式神经元 的数学描述与结构，即m p 模型【6 】该模型的提出打开了神经网络的研究的大门，同时也 7 产生了人工智能这一学科；1 9 4 9 年，生理学家h e b b 撰文提出了神经网络的学习过程是在 突触上发生的，而且突触的联系强度随其前后神经元的活动而变化的大胆假设，并根据这 一假设提出了h e b b 学习规则，为神经网络的学习算法奠定了基础，使神经网络的研究进入 了一个重要的发展阶段【7 j 1 9 5 8 年，r o s e n b l a t t 首次提出了感知器的概念和解决模式识别问题的监督学习方法，并 证明了所谓的感知器收敛定理，首次把神经网络的研究付诸于工程实践i s ；1 9 6 0 年，w i d r o w 和h o f f 引入了最小均方差( l e a s tr f l e a l l s q u a r e ，l m s ) 算法，亦称为w i d r o w h o f f 算法或最速 下降法，并用它系统地阐明了自适应线性元件网络，简称为a d a l i n e ( a d a p t i v el i n e a r e l e m e n t ) 这是一种连续取值的线性加权求和阐值网络这种算法在后来的误差反向传播 ( b a c k - p r o p g a t i o n ) 算法及自适应信号处理系统中有着广泛的应用网；不过在1 9 6 9 年，人工智 能创始人m i n s k y 和p a p e r t 出版了一本以感知机为名的书【1 们，该书从数学角度证明了 单层线性感知机功能的有限性，甚至不能解决异或这样的基本问题，即使感知器是多层的， 也未能找到有效的计算方法，这对感知机的原理造成了巨大的打击，也使得相当一批研究 人员对于神经网络的前景失去信心神经网络早期的研究热潮迅速降温，并开始陷入低潮 和休眠状态然而更主要的原因是传统的v o nn e u m a n n 型数字计算机正处在发展的鼎盛时 期，人工智能的以功能模拟为目标的另一分支得到了迅猛发展并取得了令人瞩目的成就， 使得整个学术界都陶醉于数字计算机的巨大成功之中，从而掩盖了发展新型模拟计算机和 人工智能技术的必要性和迫切性尽管如此，仍有不少学者在极端艰难的条件下致力于神 经网络的研究，芬兰学者t k o h o n e n 提出了自组织映射理论，反映了大脑神经细胞的自组 织特性、记忆方式以及神经细胞兴奋刺激的规律；美国学者s a g r o s s b e r g 的自适应共振理 论( a r t ) ；日本学者k f u k u s h i m a 提出了认知机模型；s h u n l c h i m a r i 则致力于神经网络有关 数学理论的研究等；a n d e r s o n 提出了b s b 模型：w e b o s 提出了b p 理论所有这些具有开创 性的研究成果虽然在当时并未产生影响，但为神经网络此后的发展奠定了理论基础【1 1 d5 1 1 9 8 2 到1 9 8 4 年，美国加州理工大学的生物物理学家h o p f i e l d 教授在美国科学院院刊 上发表的两篇文章标志着神经网络新一轮研究高潮的到来 婚1 9 8 2 年他提出了h o p f i e l d 神经网络模型，这种模型具有联想记忆能力，在这种神经网络模型的研究中引入了能量函 数( l y a p u n o v 函数) ，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这 种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的 连接上，这一成果的取得使神经网络的研究取得了突破性进展，也开启了神经网络稳定性 研究的大门1 9 8 4 年h o p f i e l d 设计与研制了他所提出的神经网络模型的电路。并指出网络 中的每一神经元可以用运算放大器来实现，所有神经元的连结可以用电子线路来模拟，同 8 时他也进行了神经网络应用研究，成功的解决了复杂度为h i p 的旅行商( t s p ) 计算难题，引 起人们的震惊这些成果的取得又激发了越来越多的人投入到神经网络研究中来，随后， 一大批研究非线性电路的科学家，物理学家及生物学家在理论和应用上对h o p f i e l d 网络进 行了比较深刻的讨论和改进，形成了8 0 年代中期以来神经网络的研究热潮 1 8 - 2 2 】 1 9 8 6 年，d e r u m e h a r t 和j l m c c l e l l a n d 提出多层网络学习的误差反传播算法，实现了 m i n s k y 引入隐层的设想这为多层感知机找到了一个有效的学习算法，从而把人工神经网 络的研究进一步推向深入 1 9 8 7 年6 月电气和电子工程师协会( i e e e ) 在美国加州举行了第一届人工神经网络 ( a n n ) m 际会议，并成立了国际神经网络学会，此后，每年召开两次国际联合神经网络大 会( i j c r c n ) 1 9 8 8 年，美国加州大学的l o c h u a 和l y a n g 受到细胞自动机( c e l l u l a ra u t o m a t a 的启发， 在h o p f i e l d 网络的基础上提出了一种新颖的神经网络模型细胞神经网络( c e l l u l a rn e u r a l n e t w o r k , 简记为c n n ) m 】这是一种局域连接的网络，网络中的基本单元称为细胞，它可由 电子电路构成c n n 就是由许多相同结构的细胞经适当排列组合而成的神经网络网络中 的每个神经元只与自己最临近的神经元相连接( 连接范围由邻域数决定) 与h o p f i e l d 一样， c n n 网络也是反馈型神经网络由于c n n 具有局域连接性。因此它非常适合超大规模集 成电路( v l s d ) 实现所有这些特征使得细胞神经网络在模式识别、图像处理、信号处理等 众多领域中获得了广泛的应用现在，许多国际著名杂志及会议都已将有关c n n 的内容单 独列出，这足以显示人们对于它的重视程度目前，c n n 已为一个新的学科分支，正在日益 引起众多研究者的重视 我国于1 9 9 0 年1 2 月在北京召开了首届神经网络学术大会，并决定以后每年召开一次 1 9 9 1 年在南京成立了中国神经网络学会i e e e 与i n n s 联合召开的u c n n 9 2 已在北京召开 这些为神经网络的研究和发展起了推波助澜的作用，人工神经网络步入了稳步发展的时期 9 0 年代初，诺贝尔奖获得者e d e l m a n 提出了d a r w i n i s m 模型，建立了神经网络系统理 论同年，a i h a r a 等在前人推导和实验的基础上，给出了一种经典的混沌神经网络模型 w u n s c h 在9 0 0 s a 年会上提出了一种a n n u a lm e e t i n g , 用光电执行a r t 学习过程有自适 应滤波和推理功能，具有快速和稳定的学习特点1 9 9 1 年，h e r t z 探讨了神经计算理论，对神 经网络的计算复杂性分析具有重要意义；i n o u e 等提出用耦合的混沌振荡子作为某个神经 元，构造混沌神经网络模型，为它的广泛应用前景指明了道路1 9 9 2 年，h o l l a n d 用模拟生物 进化的方式提出了遗传算法，用来求解复杂优化问题1 9 9 3 年方建安等采用遗传算法学习， 研究神经网络控制器获得了一些结果1 9 9 4 年a n g e l i n e 等在前人进化策略理论的基础上， 9 提出一种进化算法来建立反馈神经网络，成功地应用到模式识别，自动控制等方面；同年， 廖晓昕对细胞神经网络建立了新的数学理论和方法，得出了耗散性、平衡位置的数目及表 示、平衡态的全局稳定性、区域稳定性、周期解的稳定性和吸引性等：1 9 9 5 年m i g a 把人 工神经网络与模糊逻辑理论、生物细胞学说以及概率论相结合提出了模糊神经网络，使得 神经网络的研究取得了突破性进展1 9 9 6 年，s h u a i j w 等模拟人脑的自发展行为，在讨论混 沌神经网络的基础上提出了自发展神经网络1 9 9 8 年，董聪等改善了广义遗传算法，解决了 多层前向网络最简拓朴构造问题和全局最优逼近问题【2 4 】到2 0 0 0 年基于v l s i 是神经网 络实现的主要途径，其基本器件电路热噪声不可避免，所以廖晓昕、毛学荣等提出了随机神 经网路模型【2 5 - 2 6 1 ：2 0 0 3 年，在上述随机神经网络模型的基础上，罗琦等又考虑到在神经网 络v l s i 实现中，电子在不均匀电磁场中存在扩散现象，提出了具有反应扩散的随机神经网 络模型【2 7 。3 0 1 ； 近年来，神经网络理论及其应用研究得到了飞速的发展，并与许多其它学科领域相互渗 透数学中许多分支己被用于神经网络系统的分析，如矩阵论，群论，泛函分析，组合数学， 计算数学，运筹学，概率论以及数理统计，微分几何乃至范畴理论和符号构造等神经网络 作为一种新的方法体系，具有分布并行处理、非线性映射、自适应学习和鲁棒容错等特性， 这使得她在模式识别、控制优化、智能信息处理以及故障诊断等方面都有广泛的应用 自从1 9 9 0 年批准了南开大学光学神经计算机等3 项课题以来，国家自然科学基金与国 防预研基金也都为神经网络的研究提供资助另外，许多国际著名公司也纷纷卷入对神经 网络的研究，如i n t e l 、m m 、s i e m e n s 、h n c 神经计算机产品开始走向商用阶段，被国防、 企业和科研部门选用在举世瞩目的海湾战争中。美国空军采用了神经网络来进行决策与 控制自1 9 5 8 年第一个神经网络诞生以来，其理论与应用成果不胜枚举 从众多神经网络的研究和应用成果不难看出，神经网络的发展具有强大的生命力尽 管当前神经网络的智能水平还不高，许多理论和应用性问题还未得到很好的解决，但是， 随着人们对大脑信息处理机制认识的日益深化，以及不同智能学科领域之间的交叉与渗透， 人工神经网络必将对智能科学的发展发挥更大的作用 1 3 神经网络稳定性研究进展 目前对于神经网络的研究可以分为理论研究和应用研究两大方面理论研究主要包括： 利用神经网络与认知科学研究大脑思维及智能推理；其次利用神经网络基础理论的研究成 果，用数理方法探索智能水平更高的人工神经网络模型，深入研究网络的算法和性能，如 稳定性、收敛性、容错性、鲁棒性、振荡性等，开发新的网络数理理论，如神经网络动力学、 1 0 非线性神经场等应用研究包括：神经网络的软件模拟和硬件实现的研究；神经网络在各个 领域中应用的研究，这些领域包括信号处理、知识工程、专家系统等而本文的研究重点在 于神经网络的稳定性 稳定性的概念由来已久，最早是在力学问题中研究建立起来的即当物体仅受重力的 作用，重心位置最低时其平衡是稳定的，反之则是不稳定的这是研究动态系统过程对于 抗干扰是否具有自我保持能力的理论雏形，但并未给出系统定义直到俄国著名数学家 l y a p u n o v 院士在1 8 9 2 年发表了著名的博士论文运动稳定性的一般性问题才将运动稳 定性以数学定义的形式表示出来，普遍有效地解决了运动稳定性问题在这篇论文中，他 对p e a n o 。b e n d i x s o n 和d a r b o u x 等人建立的微分方程解对初值和参数的连续依赖性概念作 了改进，将自变量( 时间) 在有限区间上的变化拓展到无穷区间上，科学地给出了系统运动 过程是稳定和渐近稳定的概念；他从类似系统总能量物理概念得到启示，提出了后来人们 称为l y a p u n o v 函数的概念，将一般n 阶微分方程组中扰动解渐近性质的讨论归结为讨论一 个标量函数i l y a p u n o v 函数) 及其对系统的全导数的一些特性的研究，使之在不求出方程解 的情况下，可以直接根据微分方程本身的结构和特点来研究其解的性质，从此奠定了稳定 性理论的坚实基础 稳定性是动态神经网络得以在联想记忆以及最优化等方面应用的前提，因此显得尤为 重要已有很多学者对h o p f i e l d 神经网络、细胞神经网络、c o h e n g r o s s b e r g 神经网络等神 经网络模型的局部稳定性、渐进稳定性、全局稳定性、绝对稳定性和指数稳定性等稳定性 做了大量的研究总结现有神经网络稳定性的研究方法，最广泛使用的还是l y a p u n o v 方法 它把稳定性问题变为某些适当地定义在系统轨迹上的泛函稳定性问题，并通过这些泛函得 到相应的稳定性条件这些条件就其表述形式至少可分为4 种，即参数的代数不等式、系数 矩阵的范数不等式、矩阵不等式和线性矩阵不等式( l m d ) 等其中，由于l m i 方法对系统 参数的限制相对较少而且易于验证，近年来，l m i 方法在稳定性理论中得到了大量的应用 神经网络数学理论是神经网络应用的前提和桥梁。早期的多数工作集中在对常时滞或 无时滞、常系数、自治神经网络模型动力学的分析与研究，得到了许多有意义的结果，如 平衡点的存在性、全局稳定性、周期解( 概周期解) 的存在性和稳定性等问题【3 廖晓昕首 先对h o p f i e l d 神经网络模型进行了改进，取消了关联矩阵对称的假设，但保留了激励函数 连续可微且一阶导大于零的假设，对此改进的h o p f i e l d 神经网络模型进行了稳定性分析【3 2 】 t i a n p i n gc h e n 及s h u ni c h ia m a r i 在激励函数的一阶导大于零且有界的情况下。得到了几个 h o f i e i d 神经网络全局指数稳定的充分条件【3 3 】余秋野等人通过构造合适的l y 印u n o v 泛函和 利用l m i ( 方法研究了中立型h o p f i e l d 神经网络的稳定性【3 4 】；孟益民等研究了在具有跳变间 断点的单调不减激活函数下c o h e n g r o s s b e r g 神经网络周期解的全局指数稳定性【3 5 1 ；m a u r o f o n i 等分别在激励函数为有限扇区情况及无限扇区情况下，研究了神经网络的全局渐近稳 定性及其在二次规划方面的应用1 3 6 】s a b r ia r i k 等训练研究了一些特殊矩阵之间的关系，并 在激励函数有界且一阶导大于零及关联矩阵的负矩阵属于m 矩阵的条件下，得到了神经网 络全局渐近稳定的充分性判捌3 7 】；s u nc 等研究了具有广义激活函数的时滞神经网络的指 数稳定性 3 a - 3 9 1 ；廖晓听、毛学荣等并对随机神经网络的几乎指数稳定性等进行了研究；罗琦 等又在此基础上研究了具有反应扩散的随机神经网络的均方指数稳定性 从以上文献神经网络稳定性分析的趋势是稳定性判据所包含的范围越来越广，激励函 数的限制条件越来越松，并且为了节省神经网络的计算时间，逐渐地，不仅要求神经网络 渐近稳定，甚至要求其指数稳性另外，以上研究成果的还有一个共同的研究特点，就是在 假设所研究的神经网络模型的解存在且唯一的条件下研究网络的各种稳定性但在实际情 况下，神经网络系统作为典型的非线性系统常常具有多个平衡态，为掌握这些平衡态之问 的关联关系，首先需要了解这些平衡态是否具有“集体吸引性”，于是人们开始关注其 l a g ；r a n g e 稳定性，即系统所有解的有界性 最早涉及l a g r a n g e 稳定性研究的文献主要有 4 0 - 4 4 ：1 9 9 4 年，文献 4 5 - 4 7 系统研究了 细胞神经网络的数学理论，其中重点研究了细胞神经网络的l a g r a n g e 稳定性( 耗散性) ；其 后有一批研究者也加入到了系统l a g r a n g e 稳定性研究的行列【4 8 5 川；2 0 0 8 年，在对细胞神经 网络耗散性研究的基础上，廖晓昕又进一步研究了时滞递归神经网络的l a g r a n g e 全局指数 稳定性从而进一步推广了l y a p u n o v 直接法【5 i 】；2 0 0 9 年，曹进德，梁金玲等人首先利用 h a r d y 不等式研究了系统的一致最终有界性和一致有界性，并通过h a l a n a y 不等式和 l y a p u n o v 泛函的方法，讨论了系统的全局指数稳定性，给出了若干参数可调、可控的充分 判据f 5 2 1 无论是一个简单的控制系统，还是一个复杂的社会系统、金融系统、生态系统，总是会 在各种偶然或持续的干扰下运动，而能否保证各类系统在承受了干扰之后，还能保持运行 或工作状态，不至于失控，或摇摆不定，至关重要稳定性的意义，不言而喻对于神经网 络而言，网络的输出是时间的函数，对于给定的输入，网络的响应可能是收敛到一个稳定 的输出，也可能振荡、无限的增大，或是遵循一种混乱的模式因此，一个神经网络系统若 想在工程中发挥作用就必须具备稳定性，在神经网络的设计和分析中，稳定性的分析是极 为重要且必不可少的一个环节 1 2 1 4c o h e n g r o s s b e r g 型神经网络 c o h e n g r o s s b e r g 神经网络模型作为递归神经网络的典型代表，是由c o h e n 和g r o s s b e r g 合作在1 9 8 3 年首次提出了的【5 3 1 因为该模型本身可以作为很多现有著名模型的一般化，如 l o t k a - v o l t e r r a 生态系统模型，g i l p i a - a n a l g 竞争生态系统模型，h o p f i e i d 神经网络模型，以 及其他递归神经网络模型等，所以在产生之初就引起了很多学者的广泛关注至今，在该 领域已获得了大量的理论研究和实际应用成果 最初的c o h e n - g r o s s b e r g 神经网络模型是用如下的一阶微分方程来描述的： 警弘“( f ) ) _ 6 f ( 纵f ) ) + 杰乃乃( 州，) ) 卜，2 一，力 ( 1 t 1 1 ) 其中，九2 是神经网络中神经元的个数；辑o ) 表示t 时刻第i 个神经元的状态；q ( ) 为放 大函数；岛( ) 为行为函数；乃为神经元连接权重；z ( ) 表示神经网络的激活函数；为神 经网络外部常值输入而考虑到人工神经网络硬件实现的开关滞后，参数的变化，以及分 布杂散参数释放特性的影响，许多学者又研究了如下具有常时滞的c o h e n - g r o s s b e r g 神经 网络【5 5 】： 掣小心) ) h 州f ) ) + 考毛乃( u j ( t - r ) ) ，f = l ，2 ，一 ( 1 1 2 ) 需要指出的是，通过选取适当的q ( ) ，岛( ) 和瓦，可将上述模型转换为已经广泛应用的时 滞h o p f i e l d 和时滞细胞神经网络模型然而在实际的神经网络中时滞通常是随着时间变化 的，因此又有研究者提出了如下具有可变时滞的神经网络模型陋5 8 1 ： 掣鹌“) 卜“) + 毒巧乃( ”疋1 ( f ) ) ) “卜，2 一，疗 ( 1 1 3 ) 其中时滞f ，( f ) 满足0 f ，( f ) f ，f 为常数 一般地，在神经元较少的时滞神经网络中，有限时滞是一种较好的近似模型但是当神 经元数目较多，存在各种并行通道时，网络具有了空间特征，这时研究者们又提出了如下通 过分布时滞来模拟网络的c g 神经网络模型5 9 】 罢笋2 口j ( ( f ) ) 【一6 i ( ( f ) ) + 喜7 i f 乃( 吩( f ) ) + 善n - 一t l 毛( f s ) 乃( “加) 卜+ ，= 1 2 刀( 1 1 4 ) 不过，许多实际问题的发展过程往往有这样的特征：在发展的某些阶段，会出现快速的变化 为方便起见，在这些过程的数学模拟中，常常会忽略这个快速变化的持续期间而假设这个 1 3 过程是通过瞬时突变来完成的这种瞬时突变现象通常称之为脉冲现象考虑到脉冲现像， 又有一部分学者提出了脉冲c g 神经网络模型6 0 1 挈吲啪小f ) ) + 扣似) + ，f 卜”，” n 嘲 ( ) = 蟹( c ) 一玛( ) = ，( ) + 厶( 甜( ) ) ，f ，k 其中，如表示线性脉冲函数，厶表示非线性脉冲函数 更深入地考虑实际环境，我们发现在实际神经网络系统中，突触的传导过程是一个由神 经信号源和其他随机波动引起的繁杂过程对于具有随机扰动的神经网络模型的研究不但 在理论上，而且在实际应用上也有深远的意义于是文献 6 1 】提出了具有随机扰动的c - g 模 型： l 掣吲删 讹( f ) ) + 至1 = 17 ；乃( 小咏卅垮l = l 咖州炉劬 【u , ( t o + s ) = 仍( 5 ) ，哪 s o , t t o ， i = l ，2 ，p ( 1 1 6 ) 文献【6 2 】又在文献 6 1 】的基础上考虑了神经网络超大规模集成电路实现7 - 程中，电子 在不均匀电磁场中存在扩散现象。提出了具反应扩散的随机c g 模型等： 啡桐餐吣 0 掣( 刎p ) 套撕】0 ) 卜 + ( j ( “) ) d ( f ) ， ，t i ( i = 1 2 ，刀；( ) t