（概率论与数理统计专业论文）多向联想记忆神经网络理论研究.pdf

摘要 多向联想记忆神经网络( m 删) 由日本学者h a g i w a r am 于1 9 9 0 年提 出，它是双向联想记忆神经网络( b 心) 的扩展。这种网络成功实现了多 对多联想记忆，但目前还没有看到任何从数学角度对m a m 神经网络进行的 理论研究。本文建立了用时滞微分方程和差分方程描述的多向联想记忆神 经网络模型，讨论了它们的平衡点的存在性与全局稳定性，周期解的存在 性与全局指数稳定性，以及概周期解的存在性与全局指数稳定性，弥补了 m a m 神经| 】c ) 9 络的研究空白。全文共分五章。 在第章，总结了日前联想记忆神经网络的研究现状，特别针对双向 联想记忆神经网络，详细讨论了它的各种形式及研究方法。 在第二章，建立了常数时滞、变时滞和分布时滞的多向联想记忆神经 嘲络微分方程模型，并用一种半离散技术，将它们离散化，建立了常数时 滞、变时滞和分布时滞的多向联想记忆神经网络差分方程模型。 第三章首先研究了变时滞的多向联想记忆神经网络模型平衡点的存 在性、唯一性，同时研究了平衡点的全局渐近稳定性或全局指数稳定性。 在信号传递函数满足有界性、或李普希兹条件等情形下，利用不动点理论、 m 矩阵性质证明了平衡点的存在性。在信号传递函数满足李普希兹条件 下，分别利用m 矩阵性质及同胚映射证明了平衡点的唯一性。通过构造恰 1 的l y a p u n o v 函数，得到了一组与时滞相关和一组与时滞不相关的保证 、f 衡点令局指数稳定的充分条件，并在一定的假设下，获得了一个存在全 局指数稳定的平衡点的充分必要条件。本章同时研究了分布时滞的多向联 想记忆神经网络模型平衡点问题。在不要求信号传递函数满足李普希兹条 件下，证明了习z 衡点的存在性与唯一性。本章最后还讨论了离散变时滞及 分布时滞多向联想记忆神经网络平衡点的全局指数稳定性，说明了离散多 向联想记忆神经网络继承了连续多向联想记忆神经网络的稳定性。并用一 个实例进行说明和计算机仿真。 第四章研究了变时滞与分布时滞多向联想记忆神经网络模型周期解 的存在性及全局指数稳定性。利用重合度理论和不等式分析技巧，获得了 变时滞多向联想记忆神经网络模型周期解的存在性，并通过构造 l y a p u n o v 函数，得剑r 一组与时滞相关的保证周期解全局指数稳定的充 分条件。通过构造l y a p u n o v 函数、利用不动点理论和一些分析技巧，获 得了分和时滞多向联想记忆神经网络模型周期解的存在性及全局指数稳 定性。奉章最后还讨论了离散分布时滞多向联想记忆神经网络周期解的全 局指数稳定性，并用两个实例进行说明和计算机仿真。 第五章研究了变时滞与分布时滞多向联想记忆神经网络模型概周期 解的存在性及全局指数稳定性。利用指数二分法结合运用压缩映射原理获 得了变时滞多向联想记忆神经网络模型概周期解的唯一存在性，利用 h a l a n a y 不等式证明了变时滞多向联想记忆神经网络概周期解的全局指 数稳定性。利j l j 矩阵的谱半径、指数二分法结合运用压缩映射原理获得了 分布时滞多向联恕记忆神经网络模型概周期解的存在性，并在相同条件下 证明丫概剧期解的全局指数稳定性。最后用一个实例进行说明和计算机仿 真。 关键词多向联想记忆神经网络，平衡点，周期解，概周期解，稳定性 h i a b s t r a c t t h em u i t i d i r e c t i o n a la s s o c i a t i v em e m o r y ( m a m ln e u r a ln e t w o r ke x t e n d e d t h eb i d i r e c t i o n a la s s o c i a t i v em e m o r y ( b a m ln e u r a l n e t w o r k , w h i c hw a s p r o p o s e db yh a g i w a r am ，aj a p a n e s es c h o l a r ，i n19 9 0 a l t h o u g ht h i st y p eo f n e t w o r ki sas u c c e s s f u im o d e lw h i c hc a l lr e a l i z eam a n y - t o - m a n ya s s o c i a t i o 啦 t h e r ea r ef e wt h e o r e t i c a ls t u d i e so ft h en e t w o r ka sv i e w e df r o mm a t h e m a t i c s u pt on o w i nt h i sp a p e r , t h em a t h e m a t i cm o d e l sa r ep r o p o s e dw h i c ha r e d e s c r i b e db y d e l a y d i f i e r e n t i a l e q u a t i o n so rd i f f e r e n c ee q u a t i o n s t h e e x i s t e n c ea n dg l o b a ls t a b i l i t yo fe q u i l i b r i u mf o rm a ma r ed i s c u s s e d a tt h e s a m et i m e ，t h ee x i s t e n c ea n dg l o b a le x p o n e n t i a ls t a b i l i t yo fp e r i o d i cs o l u t i o n a n da l m o s tp e r i o d i cs o l u t i o nf o rm a ma r ea l s od i s c u s s e d 1 1 1 ep a p e rc o n s i s t s o ff i v ec h a p t e r s t h es t u d y i n gs t a t u sq u oo na s s o c i a t i v em e m o r yn e u r a ln e t w o r ka r e s u m m a r i z e di nc h a p t e r1 t h ev a r i o u sb a mm o d e l sa sw e l la st h e i r r e s e a r c h i n gm e t h o d sa r ed i s c u s s e di nd e t a i l i nc h a p t e r2 ，t h em a mn e u r a ln e t w o r km o d e i sa r ee s t a b l i s h e dw h i c ha r e d e s c r i b e db yd i f f e r e n t i a le q u a t i o n sw i t hc o n s t a n td e l a y s ，t i m e - v a r y i n gd e l a y s o rd i s t r i b u t e dd e l a y s a tt h es a m et i m e ，b ye m p l o y i n gas e m i - d i s c r e t i z a t i o n t e c h n i q u e ，t h ed i s c r e t e - t i m ea n a l o g u e so ft h ec o n t i n u o u s - t i m em a mn e u r a l n e t w o r k sa r ef o r m u l a t e dw h i c ha r ed e s c r i b e db yd i f f e r e n c ee q u a t i o n sw i t h c o n s t a n td e l a y s ，t i m e v a r y i n gd e l a y so rd i s t r i b u t e dd e l a y s i nc h a p t e r3 ，t h ee x i s t e n c e ，u n i q u e n e s s ，g l o b a la s y m p t o f i c a ls t a b i l i t ya n d g l o b a le x p o n e n t i a ls t a b i l i t yo ft h ee q u i l i b r i u mf o rm a m w i t ht i m e - v a r y i n g d e l a y sa r ed i s c u s s e da tf i r s t a s s u m i n gt h eb o u n d e d n e s s ，o rl i p s c h i t zo ft h e s i g n a lt r a n s m i s s i o nf u n c t i o n s ，t h ee x i s t e n c eo ft h ee q u i l i b r i u mf o rm a mi s p r o v e db yu s i n gf i xp o i n tt h e o r ya n dm m a t r i xp r o p e r t i e s i nl i p s c h i t z c o n d i t i o no ft h es i g n a lt r a n s m i s s i o nf u n c t i o n s ，t h e u n i q u e n e s so ft h e e q u i l i b r i u mf o rm a m i sp r o v e dr e s p e c t i v e l yb yu s i n gmm a t r i xp r o p e r t i e sa n d u s i n gh o m e o m o r p h o u sm a p b yc o n s t r u c t i n gs u i t a b l el y a p u n o vf u n c t i o n a l s ， s o m ed e l a yd e p e n d e n ta n dd e l a yi n d e p e n d e n ts u f f i c i e n tc r i t e r i o n sa r eo b t a i n e d w h i c he n s u r et h eg l o b a le x p o n e n t i a ls t a b i l i t yo ft h ee q u i l i b r i u mf o rt h em a m s o m es u i t a b l ea s s u m p t i o n sa r cm a d et od e r i v eas u 伍c i e n ta n dn e c e s s a r y c o n d i t i o nw h i c he n s u r e st h ee x i s t e n c ea n dg l o b a le x p o n e n t i a ls t a b i l i t yo ft h e e q u i l i b r i u mf o rt h em a m i nt h ec h a p t e r , t h ee q u i l i b r i u mf o rm a m w i t h d i s t r i b u t e dd e l a y si sa l s od i s c u s s e d w i t h o u ta s s u m i n gt h el i p s c h i t zo ft h e s i g n a lt r a n s m i s s i o nf u n c t i o n s ，t h ee x i s t e n c e ，u n i q u e n e s so ft h ee q u i l i b r i u mf o r m a mi sp r o v e d t h eg l o b a le x p o n e n t i a ls t a b i l i t yo ft h ee q u i l i b r i u mf o rt h e d i s c r e t e t i m ed e l a y e dm a mn e u r a ln e t w o r k si sd i s c u s s e da tt h ee n do ft h e c h a p t e r i ti ss h o w nt h a tt h es t a b i l i t yo ft h ec o n t i n u o u s t i m em a m n e u r a l n e t w o r ki sp r e s e r v e db yt h ed i s c r e t e - t i m ed e l a y e dm a mn e u r a ln e t w o r k a n e x a m p l ei sg i v e nt oi l l u s t r a t et h a tt h ec r i t e r i o n sa r ef e a s i b l e ，a n dt h ec o m p u t e r s i m u l a t i o ni sc a r r i e do u t i nc h a p t e r4 ，t h ee x i s t e n c ea n dg l o b a le x p o n e n t i a ls t a b i l i t yo ft h ep e r i o d i c s o l u t i o nf o rd e l a y e dm a mn e t w o r k sa r ed i s c u s s e d b yu s i n gt h ec o n t i n u a t i o n t h e o r e mo fc o i n c i d e n c ed e g r e ea n ds o m ei n e q u a l i t ya n a l y s i st e c h n i q u e s ，a s u f f i c i e n tc o n d i t i o ni so b t a i n e dt oe n s u r et h ee x i s t e n c eo fp e r i o d i cs o l u t i o nf o r m a mn e u r a ln e t w o r kw i t ht i m e v a r y i n gd e l a y s ，a n dad e l a yi n d e p e n d e n t s u f f i c i e n tc r i t e r i o ni sa l s oo b t a i n e dt oe n s u r et h eg l o b a le x p o n e n t i a ls t a b i l i t yo f p e r i o d i c s o l u t i o nf o rt h i st y p eo fm a mn e u r a ln e t w o r kb yc o n s t r u c t i n g l y a p u n o vf u n c t i o n a l s a l s o ，b yc o n s t r u c t i n gl y a p u n o vf u n c t i o n a l s ，u s i n go f f i x e dp o i n tt h e o r e ma n ds o m ea n a l y s i st e c h n i q u e s ，t h ee x i s t e n c ea n dg l o b a l e x p o n e n t i a ls t a b i l i t yo ft h ep e r i o d i cs o l u t i o n f o rm a mn e t w o r k sw i t h d i s t r i b u t e dd e l a y sa r ed i s c u s s e d t h eg l o b a le x p o n e n t i a ls t a b i l i t yo ft h e p e r i o d i cs o l u t i o nf o rt h ed i s c r e t e t i m em a m n e u r a ln e t w o r k sw i t hd i s t r i b u t e d d e l a y si sd i s c u s s e da tt h ee n do ft h ec h a p t e r t w oe x a m p l e sa r eg i v e nt o i l l u s t r a t et h a tt h ec r i t e r i o n sa r ef e a s i b l e ，a n dt h ec o m p u t e rs i m u l a t i o ni sc a r r i e d o u t i nc h a p t e r5 ，t h ee x i s t e n c ea n dg l o b a le x p o n e n t i a ls t a b i l i t yo ft h ea l m o s t p e r i o d i cs o l u t i o nf o rd e l a y e dm a mn e t w o r k sa r ed i s c u s s e d a s u f f i c i e n t c o n d i t i o ni so b t a i n e dt oe n s u r et h ee x i s t e n c ea n du n i q u e n e s so fa l m o s t p e r i o d i cs o l u t i o nf o rm a m n e u r a ln e t w o r kw i t ht i m e - v a r y i n gd e l a y sb yw a y o fe x p o n e n t i a ld i c h o t o m ya n dc o n t r a c t i o nm a pt h e o r e m m o r e o v e r , t h eg l o b a l e x p o n e n t i a ls t a b i l i t yo ft h ea l m o s tp e r i o d i cs o l u t i o nf o rt h i st y p eo fm a m n e u r a ln e t w o r ki s p r o v e db yu s i n gh a l a n a yi n e q u a l i t y a l s o ，b yu s i n g e x p o n e n t i a ld i c h o t o m y , c o n t r a c t i o nm a pt h e o r e ma n dm a t r i xt h e o r y , s o m e s u f f i c i e n tc o n d i t i o n sa r eo b t a i n e dt oe n s u r et h ee x i s t e n c ea n dg l o b a l e x p o n e n t i a ls t a b i l i t yo fa l m o s tp e r i o d i cs o l u t i o nf o rm a mn e u r a ln e t w o r k w i t hd i s t r i b u t e dd e l a y s a ne x a m p l ei sg i v e nt oi i l u s t r a t et h a tt h ec r i t e r i o n sa r e f e a s i b l e ，a n dt h ec o m p u t e rs i m u l a t i o ni sc a r r i e do u t k e yw o r d sm u l t i d i r e c t i o n a ia s s o c i a t i v em e m o r yn e u r a ln e t w o r k s ， e q u i l i b r i u m ，p e r i o d i cs o l u t i o n ，a l m o s tp e r i o d i cs o l u t i o n ，s t a b i l i t y v 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南 人学或j 他单位的学位或证书而使用过的材料。与我共同工作的同志对本 研究所作的负献均已在在论文中作了明确的说明。 作者签名： j 司皇垄垒 关于学位论文使用授权说明 本人了解i it 南大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校i j ：根 据国家或湖南省有关部门规定送交学位论文。 作煮签躬：陋导师签名必日期：盥年上判盟h 陴十学位论文第一章绪论 1 1 引言 第一章绪论 1 1 1 联想记忆概念 联想记忆是脑神经重要活动之一，联想是指从某类事物或其特征引导出同类 事物或相关事物，丽记忆是联想的前提，只有当脑细胞对某些事物有了记忆时， 大脑爿+ 能对其进行联想。，联想记忆的基本形式有自联想( a u t o - a s s o c i a t i o n ) 、异联 想( h e r e t o - a s s o c i a t i o n ) 和事件联想( e p i s o d ea s s o c i a t i o n ) 。 自联想含义是指从自身联想到自身。引起联想的信息( 输入) 与被联想到的信 息( 输出) 属于同一范畴或相同论域，当接受到带有偏差的信息时，仍能够从已有 记忆中恢复萨确的信息。异联想含义是指从自身联想到别处，从一种类型联想到 另一种类型，输入与输出信息不属于同一范畴或相同论域。异联想可以用于模式 识别。事件联想是指从一种情景联想到另一种情景，它比i i 两种联想更复杂 h o p f i e l d 型和b a m 型“1 联想记忆神经网络是可以实现这些基本功能的 但在人脑联想记忆中，除了这些基本功能外，我们可以从一些提示联想到多 种信息例如，从“教师”可以联想到“教学”、“科研”，“学生”等，这种功能 叫做“一对多联想”。另外，从“教材”、。论文”、“科研课题”我们可以联想到 “教师”，这种功能叫做“多对一联想”。还有一种“多对多联想”，如从“论文”， “科研课题”可以联想到“教师”、“研究人员”。h o p f i e i d 型和b a m 型人工神 经网络的联想记忆不能实现这些功能，而1 9 9 0 年同本学者i i w a r am 艉出的多 向联想记忆( m u l t i - d i r e c t i o n a la s s o c i m i o n ) 神经网络“1 是一种成功实现多对多联 想的模型，它也是后来h u a n gj 提出的组合多赢多向联想记忆神经网络”1 ( c m w m a m ) 的基本框架。 所以，利用多向联想记忆神经可以增强人工神经网络的联想记忆能力，把它 们从原来只能实现自动联想、异联想和事件联想等基本功能增强为可以实现多向 联恕记忆功能，从而扩大了人工神经网络的应用范围。 1 2 实现联想记忆的常见人工神经网络 为了从工程上实现模仿人脑的计算机，研究基于记忆的人工神经网络是非常 重要的。神经网络的联想记忆是仿真人脑记忆的一种切实可行的方法，在以往的 研究中，已经提出了许多类型的联想记忆神经网络而且也有了各种各样的应用。 例如，在专家系统、知识存储等应用中，联想记忆被用作知识处理、规则存储的 博十学何论文第一章绪论 基本模型。神经网络能够实现联想记忆，主要是因为神经网络模型是用微分方程 或差分方程表示的，这些系统在一定的条件下存在平衡点或周期解等，如果它们 是稳定的，则从其吸引域中出发的任意解都将收敛到相应的平衡点或周期解。这 样可以将稳定的平衡点或周期解作为记忆模式，而将具某初始条件的解收敛到相 应的平衡点或周期解的过程作为进行联想并恢复记忆过程。所以利用神经网络的 平衡点或周期解等的稳定性就可以实现联想记忆。下面我们简要地叙述一些常见 的实现联恕记忆的神经网络模型。 ( 1 ) h o p f i e l d 神经网络 1 9 8 4 年美国生物物理学家h o p f i e l d 提出的具有广泛应用j j i 景的全互联双向 的h o p f i e l d 型人工神经网络联想记忆是一种实现自联想的基本模型，它可以用 微分方程组表示如下 c 掣一半+ 善n 训删，矧州2 ，儿 ( 1 1 1 ) 其中疗是网络中神经元个数。对于第j 个神经元。c 0 表示神经元( 放大器) 的输入电容r 0 表示神经元的输入电阻，表示来自网络外部的输入，z 表 示神经元之h j 的联接强度，g 是神经元的活跃函数。h o p f i e l d 神经网络中所有神 经元之问都榴互联接，在h o p f i e l d 本人的研究中，要求联接矩阵t = f ) 是一个 对称矩阵g ，足一个s i g m o i d 函数。 ( 2 ) 双向联想记忆神经网络 1 9 8 7 年k o s l o 提出的两层双向联想记忆神经网络。1 ( b a m ) 能实现异联想。 它将h o p f i e l d 神经网络单层结构变成双层结构，神经元被分别安捧在两层上，同 层神经元不联接，而不同层的神经元相互联接，信息在两层神经元之自j 双向传递。 正是由于这种双层结构，使得b a m 神经网络可以实现异联想。b a m 神经网络 用微分方程组表示如下 f ( ，) ；一q ( ，) + 圭毋( 乃( ，) ) + ，j ：1 2 ，一， 。 ( 1 i 2 ) h 矿( ，) = - b ，y j ( t ) + 蜀( t ( ，) ) + ， - ，= 1 ，2 ，p i - i 山于双向联想记忆神经网络能实现两种方式的联想记忆并能储存双极向量 对，并推广了单层自联想h e b b 学习规则到双层模式匹配异联想电路，这类神经 网络在图级信号处理、模式识别、自动控制、人工智能、联想记忆、解最优化f h j 题等方面具有广泛的应用”1 ，因此。双向联想记忆神经网络成为目| i 最活跃的 研究领域并受到了极大的关注 ( 3 ) 细胞神经网络 博士学位论文第一章绪论 细胞神经网络( c n n ) 是由美国伯克莱加利福亚大学教授c h u al o 等于1 9 8 8 年最先提出“”q 蝌是由很多称为细胞( o e n ) 的非线性电路单元组成的，与细胞 自动机结构类似，是一种具有网状结构的模拟电路，每个细胞只与它的邻近细胞 有连接。一个二维结构的c n n 状态方程可以用如下微分方程组表示： c d y _ d ，_ 2 = 一警+ 州赢删，颤昵( f ) m ， + 烈i , j ，七，d + ，1 s i s 肘，1 5 ，s n ， 其中c o 表示电容，墨 o 表示电阻， 电压，( f ，d 表示细胞( j ，_ ，) 的，邻域， 制算子其输出方程为 表示电压，j 表示电流，表示输入 a ( i ，工毛，) 是反馈算子，曰( f ，j , k ，d 是控 ( f ) = 吾眠( r ) + l 卜h o ) 一1 0 细胞神经网络也可用于联想记忆、图象处理、模式识别等方面“旧 ( 4 ) 多向联想记忆神经网络 多向联想记忆神经网络是双向联想记忆神经网络( b 朋讧) 的推广，是由日 本学者i a a g i w a r a m 在1 9 9 0 年提出的哪。在网络结构上它有多层神经元，同层神 经元不联接，而不同层神经元之间相互联接多向联想记忆神经网络成功地实现 了多对多联想，具有抗干扰性。 ( 5 ) 形态学联想记忆神经网络 形态学联想记忆是由美国佛罗里达大学的r i t t e rg x 等人于1 9 9 8 年在格代 数 v ，a + ) 和形态学算子基础上首先提出来的“”。它与传统神经网络模型 有着很大不同的地方是它在每个神经元节点处用取大，取小逻辑运算v ， 代替常 规的求和运算 ，1 2 联想记忆神经网络动力学行为研究现状 1 2 1 双向联想记忆神经网络研究范围 近十几来，神经网络理论与应用有了长足的进展，它拓展了计算概念的内涵， 使神经计算、进化计算成为新的学科，神经网络软件模拟得到了广泛的应用。神 经网络目前在模式识别、聚类分析、组合优化、图像识别、信息传输和最优控制 等方面有了非常成功的应用。我国自1 9 9 0 年召开第一届神经网络学术会议以来， 国内各部门非常重视该方面的研究。自然科学基金和国防科技预研基地把神经网 络的研究列入选题指南，许多全国性学术刊物把神经网络理论及应用方面的论文 3 博 ：学何论文第一章绪论 作为重点，经过十多年的努力目酊我国神经网络研究在国际上已经占有重要一 席。国际上也有许多期刊专门发表神经网络研究方面的论文，如( n e u r a l c o m p u t a t i o n ) ) 、( n e u r a lc o m p u t i n g & a p p l i c a t i o n s ) ) 、( n e u r a ln e t w o r k s ) ) 、( n e u r a l p r o c e s s i n gl e t t e r s ) ) 、( n e l i r o c o m p m i n g ) ) 、 i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s ； 等，还有许多其它期刊也发表神经网络研究方面的论文，如( p h y s i c sl e t t e r s a 、 ( p h y s i c ad 、( p h y s i c a lr e v i e we 、( t h e o r e t i c a lc o m p u t e rs c i e n c e 、( a p p l i e d m a t h e m a t i c sa n dc o m p u t a t i o n 等，每年这些期刊都发表了大量的神经网络研究 成果。神经网络研究吸引了大批数学研究人员，他们分别在神经网络的计算方面、 网络的稳定性、周期解、概周期解的存在性等方面开展了大量的研究，取得了巨 大的成果 自1 9 8 7 年k o s k o 提出两层双向联想记忆神经网络( b a m ) 以来，它吸引了 大量的研究人员的注意。这些研究大致可以分为三类。 一类是各个学科的研究人员将b a m 神经网络应用到各自的领域，出于神经 网络计算采用并行计算和分稚式数据处理，可实时处理大量数据，因而在工程中 得到了广泛的应用，取得了大量的研究成果。b a m 目前在图像处理、模式识别、 故障论断、工程结构分析、聚类分析、组合优化、信息传输和最优控制、人工智 能等方面有了非常成功的应用” 第二类是进行网络性能、结构和算法研究。许多学者对k o s k o 提出的b a m 神经网络的存储容量和容错性进行研究发现。要实现完美的双向联想，输入输出 样本必须是正交的。但在现实应用中，这情形并不常见，于是文【1 8 】提出一种引 入增强和变换因子的方法，对双向联想记忆神经网络的训练样本，尤其是相关度 很高的训练样本进行正交化，或者使其趋于正交化。该方法可以确保在维数不高， 样本数目也较少的情况下实现完美的双向联想记忆，但随之也带来寄生稳念点增 加的问题。为此该文设计了一种三层结构b a m 。此三层b a m 的存储容量和容 错性都有了显著的提高，并且其模式样本可以是任意相关的。在学习算法方面， 早期的b a m 神经网络采用h e b b i a n 学习规则，它们的存储能力非常低。于是 些新的学习规则，如伪松驰学习算法、快速学习算法被用来提高b a m 的存储能 力“】。2 0 0 5 年 m a e d ay u t a k a 和w 酞a m u r am a s a t o s h i 将s p a l l 在1 9 8 7 年提出 的瞬时扰动方法1 应用到b a m 神经网络1 。 第三类是从数学的角度对b a m 神经网络进行理论研究正如文献 2 4 1 指出 的那样，人工神经网络一般具有三种动力学行为，( 1 ) 收敛：某条轨道当时问f 越来越大时，收敛于某个平衡点或稳定状态，一部分轨道趋于平衡点集平衡点 可能是稳定的，也可能是不稳定的。( 2 ) 振荡：某条轨道渐近地趋于一个周期的 轨道，该周期轨道可能是稳定的，也可能是不稳定的( 3 ) 混沌：轨道在有界的 4 博十学何论文第一章绪论 范围内长期行为对初值极端敏感依赖地游荡运动。对于混沌神经网络存在着许 多令人费解的问题，对这些问题的研究相当复杂。因此，目i j i f 对人工神经网络混 沌行为的研究还不多，而针对收敛动力行为的研究非常多且较深入。双向联想记 忆神经网络动力学模型也不例外，同样具有以上三种动力学行为。在b a m 神经 网络的联想记忆中，总要从一些提示性的事件中联想到另一些事件，即当把一些 信息输入b a m 神经网络后，最终应当从网络中得到一些重要信息。这些重要信 息在实际应j 】中主要足通过平衡点或周期解来存储的。当然这些重要信息不可能 全部保存，腼足通过b a m 神经网络学习过程自动生成相应的信息代表后保存这 些信息代表。呵见，平衡点或周期解是否存在，关系到b a m 神经网络能否存在 被联想记忆的信息，而且我们看到，网络系统的平衡点与周期解的多少，决定了 b a m 联想记忆信息的多少。另一方面，我们总希望b a m 神经网络的输出信息 是抓得住的形式，也就是说要求这些平衡点或周期解是稳定状态的。只有当b a m 神经网络的状态最终能够稳定在平衡点或周期解，才能真j 下实现联想记忆。稳定 性是神经网络理论和应用的核心问题之一，它是实现联想记忆的理论基础，也为 实际应用提供了可靠的保证。但是b a m 神经网络不仅仅用于联想记忆，还用在 并行计算、组合优化、信息传输、最优控制和解最优化问题，在这些应用中，必 须考虑从任意的初始状态到平衡点网络轨迹的收敛速度问题，以及平衡点、周期 解的唯一性问题因此，在这些研究工作中，b a m 神经网络平衡点【2 5 - 5 9 1 、周期 振荡1 6 0 4 0 1 、概周期振荡1 8 1 4 3 l ，分支1 9 4 4 7 1 和混沌等行为的存在性，以及它们的稳定 性，包括全局渐近稳定性和全局指数稳定性成为重要的研究课题，研究人员分别 对它们展丌了大量研究。 1 2 2 双向联想记忆神经网络模型联接权重、时滞及信号传递函数等的研究 在k o s k o 提出的模型( 1 1 2 ) 中，联接权重矩阵要求是对称的，并且函数吕被 假设是有界函数。模型也没有考虑电路中放大器转换速度对系统的影响，就是说 模型中没有时滞项，在这些要求下，k o s k o 利用l y a p u n o v 函数证明了b a m 的 稳定性。但是从生物神经系统的实际情况和大规模集成电路实现技术来看，要保 持联接权矩阵的绝对对称性几乎是不可能的所以，在近十多年的研究中，不要 求对称联接权矩阵的双向联想记忆神经网络的研究成为主流领域 关f 时滞问题，b a m 神经网络模型可以分成无时滞”“、常数时滞饰1 ”“， 变时滞”。“”3 及分柿时滞脚“7 “嘲等多种形式。在b a m 神经网络的集成电路实 现中。由于放大器具有一定的转换速度，时问延迟不可避免出现。因而， g o p a l s a m y “1 和廖晓峰( l i a o ) 哺4 1 研究了具轴突信号传输时滞的双向联想记忆 神经网络，这类网络在最近几年受到了极大的关注8 。1 9 9 4 年，g o p a l s a m y 与 h e 将多个常数时滞引入b a m 神经网络中“1 ，他们考虑了具常数时滞和变时滞 博十学位论文第一章绪论 形式的b a m 神经网络。常数时滞在一个只有少量神经元的网络中具有比较好的 模拟效果。但一个神经网络通常拥有大量的神经元器件，其联接线路的长度和数 量相当大，于是就可能存在分布时滞。因此g o p a l s a m y 与h e 在文【2 6 】中同时还 研究了用积分微分方程表示的具分布时滞的b a m 神经网络。廖晓峰等人( 2 0 0 3 年) ”i 及a r i ks ( 2 0 0 6 年) 1 还综合考虑了同时具有瞬时信号和时滞信号的 b a m 神经网络。在时滞b a m 神经网络模型中，方程右边一般由三部分构成， 即本身信号的衰减量( 或称泄漏、遗忘量) 、来自其它神经元的信号叠加以及外 部输入。在考虑时滞时，主要考虑柬自其它神经元的信号滞后，而衰减部分与外 部输入没仃考虑时滞。g o p a l s a m y 于2 0 0 6 年第一个研究了衰减部分具有时滞的 b a m 神经网络啪1 。“y 等人于2 0 0 4 年研究了一种依赖神经元状态的时滞b a m 神经网络【7 4 】，也就是说在b a m 神经网络模型( 1 1 2 ) 中，z ( j ，( ，) ) 被修改为 z j ，( 口，( ，y ，( ，) ) ) ) 关于b a m 神经网络模型中的信号传递函数，在以往的文献中2 3 1 4 3 , 5 1 , 6 0 1 ，总 要求它是一个有界的严格单调递增的可微函数。然而，信号传递函数的形式可能 多种多样，如双曲型，l i p s c h i t z 型、不可微、非饱和等形式，同时要求它满足有 界性、光滑性和单调性假设与实际生物神经系统的情况不完全吻合。所以目前有 大量的关于b a m 神经网络的研究文献都修改了对信号传递函数的以上要求。例 如，文献 3 0 。3 2 ，3 5 要求信号传递函数满足有界性、单调性和l i p s c h i t z 条件，去 掉了光滑性的要求。文献 3 3 ，3 4 ，3 6 ，5 6 ，5 8 ，6 2 ，6 3 ，6 7 ，6 8 ，7 5 ，7 6 ，8 2 】要求信号传递函数 满足有界性和l i p s c h i t z 条件，去掉了光滑性和单调性的要求。文献 6 6 ，6 9 ，7 7 对 信号传递函数的要求修改为 0 o 分别表 示域中神经元的信号衰减系数，蜀( ) 、 ( ) 分别表示域l 与域2 中神经元的信 号传递函数，。表示域2 中第，个神经元与域l 中第f 个神经元的联接强度， 表示域1 中第f 个神经元与域2 中第j 个神经元的联接强度，上是域l 中第f 个 神经元的外部输入，是域2 中第- ，个神经元的外部输入。 从b a m 神经网络( 2 1 1 ) 可以知道，在一个域中的神经元所产生的输出被立 即传递到另一个域中的神经元，作为它的输入信号。这种信号处理方式在神经元 博士学位论文第二章多向联想记忆神