（计算机软件与理论专业论文）递归神经网络的连续吸引子与模糊控制.pdf

摘要 摘要 大脑是最复杂、最完美、最有效的一种信息处理机制，当今人们正以极大的兴 趣研究它的结构和机理。这种研究正酝酿着重大的突破，这种突破将给整个科学 的发展带来巨大而深远的影响。智能，是指观察、学习、理解和认识的能力，是生 命世界中最神奇、最强大的能力。人们对大脑的认识表明：智能行为以大脑神经 元的活动为基础，是大脑神经网络动力学行为的结果。因此，探索大脑神经网络的 动力学行为对于理解大脑如何产生智能是至关重要的。目前，对大脑智能的研究 已经在感知、学习和记忆方面都取得了重大进展，这表明人们将有可能最终揭开 大脑这个人体最复杂系统的奥秘。人工神经网络是模拟生物神经网络提出的，递 归神经网络是人工神经网络的重要组成部分，更符合对现实生物神经网络的模拟。 递归神经网络的应用已经涉及到如模式识别、图像处理、计算机科学、自动控制等 各个领域，且取得了很大进展。 目前对大脑智能的了解仍然很肤浅，对人工神经网络的研究还不充分，我们 面临的是一个充满未知的新领域。本文主要对递归神经网络的两类动力学行为： 连续吸引子和模糊控制进行一系列的研究。 全文共分为两个部分：第一部分研究连续吸引子网络。计算神经科学研究表 明连续吸引子网络刻画了大脑信息处理机制的本质特征，具有很强的生物意义和 工程应用前景。目前对连续吸引子的系统研究还处于初级阶段，探索才刚刚开始， 不少问题有待解决，比如缺少连续吸引子的确切定义和研究连续吸引子的数学分 析工具，怎样定义连续吸引子的吸引性也比较复杂等等。本部分对上述问题进行 了一系列的研究，取得了如下创新成果： ( 1 ) 提出了连续吸引子的确切定义。对神经元个数有限的递归神经网络，利 用网络权值矩阵的特征值和特征向量方法，推导出保证网络有连续吸引子的若干 条件，首次建立了连续吸引子的表达式，这相当于从网络中直接解出了连续吸引 子，因而可以认为是对连续吸引子表达问题的一种完整解决。 ( 2 ) 首次研究了递归神经网络的高维连续吸引子。连续吸引子网络具有无穷 多个平衡态，其分布可能是高维空间中的一维曲线，也可能是高维空间中的多维流 形。已有的研究大都是研究连续吸引子在高维空间中呈一维分布的情况，也就是 线性吸引子( l i n ea t t r a c t o r ) 。本文取得了突破，首次构造出了高维连续吸引子。 ( 3 ) 研究了神经元个数无限的l o t k a - v o l t e r r a 递_ 归神经网络的连续吸引子问 摘要 题。当网络的连接权值和外界输入都是高斯形式的函数且满足一定条件时，网络 存在多个连续吸引子，稳定的连续吸引子和不稳定的连续吸引子共同存在于网络 中。 第二部分研究递归神经网络的模糊控制问题。神经网络与模糊控制是两种重 要的智能控制技术，它们都能模拟人的智能行为，具有非常广阔的应用前景。利 用t a k a g i - s u g e n o ( t - s ) 模糊方法将两者结合，是实现更完美智能控制系统的有效 途径。另外，时滞对神经网络的动力学性质会产生很大影响，比如，时滞常导致系 统失稳，甚至有可能产生周期振荡或混沌，因此研究时滞神经网络模型更为重要。 本部分对具有时滞的t s 模糊系统的动力学性质进行了一系列的研究，取得了如下 的创新成果： ( 1 ) 分析了一类具有不确定有界时滞的t - s 模糊系统的全局指数稳定性。通过 建立l y a p u n o v 函数得到了自由t - s 模糊控制系统的全局指数稳定性判据，有效克 服了时滞对模糊控制系统的影响；获得了反馈模糊控制器设计的一些准则。 ( 2 ) 研究了一类具有时滞的t s 模糊系统的周期性。利用m 矩阵的特性，得到 了保证该系统存在稳定周期解的条件。由于这些条件是用子系统的参数表示的， 所以易于验证。 ( 3 ) 研究了一类t s 模糊系统的自适应控制问题。通过t s 方法，利用i f t h e n 规则，把高度复杂的非线性系统表示成局部严格反馈的非线性子系统；然后 利用隶属函数和控制设计技术把子系统整合成一个闭环系统；最后利用神经网络 逼近方法，设计自适应控制器，使得全局系统的输出可以很好的跟踪给定的连续 轨迹。 综上，以上成果的取得必将对大脑智能的探索起推动作用。 关键词：递归神经网络，连续吸引子，稳定性，周期性，模糊控制，自适应控制 a b s t r a c t a b s t r a c t b r a i ni st h em o s tc o m p l e x ，p e r f e c ta n de f f i c i e n ti n f o r m a t i o np r o c e s s i n gm e c h - a n i s m p e o p l es t u d yt h es t r u c t u r ea n dm e c h a n i s mo fb r a i nw i t hd e e pi n t e r e s t i n t e l l i g e n c ei st h ea b i l i t yt oo b s e r v e ，l e a r n ，u n d e r s t a n da n dr e a l i z e i ti st h em o s t m i r a c u l o u sa n dp o w e r f u la b i l i t yi nt h ew o r l d i n t e l l i g e n tb e h a v i o ri sb a s e do nt h e a c t i v i t yo ft h eb r a i n sn e u r o n sa n di st h er e s u l to ft h ed y n a m i c so fn e u r a ln e t w o r k s a r t i f i c i a ln e u r a ln e t w o r k sa t ep r o p o s e dt os i m u l a t et h eb i o l o g i cn e u r a ln e t w o r k t h e r e c u r r e n tn e u r a ln e t w o r ke x h i b i t i n gs o m er i c ha n dc o l o r f u ld y n a m i c a lb e h a v i o r si s o n ep a r to fa r t i f i c i a ln e u r a ln e t w o r k s d u et ot h e i ri m p o r t a n ta p p l i c a t i o n si np a t - t e r nr e c o g n i t i o n ，i m a g ep r o c e s s i n g ，c o m p u t e rs c i e n c ea sw e l la sa u t o m a t i cc o n t r o l ， t h ed y n a m i c a li s s u e so fr e c u r r e n tn e u r a ln e t w o r k sh a v ea t t r a c t e dw i d ea t t e n t i o ni n r e c e n ty e a r s t 1 凼d i s s e r t a t i o ni st os t u d yt w ok i n d so fd y n a m i c so fr e c u r r e n tn e u r a ln e t w o r k c o n t i n u o u sa t t r a c t o ra n df u z z yc o n t r 0 1 i ti sc o m p o s e do ft w op a r t s ，t h ef i r s tp a r t m a i n l yf o c u s e so nt h ec o n t i n u o u sa t t r a c t o r sn e u r a ln e t w o r k s al o to fp r o b l e m s a l es t i l lu n s o l v e di nt h i sf i e l d f o re x a m p l e ，t h e r ea l en oa c c u r a t ed e f i n i t i o no f c o n t i n u o u sa t t r a c t o r s ，w el a c km a t h e m a t i c st o o l st os t u d yc o n t i n u o u sa t t r a c t o r s a n dh o wt od e f i n et h ea t t r a c t i o no ft h ec o n t i n u o u sa t t r a c t o r si s c o m p l i c a t e de t c t h em a i nc o n t e n t sa r ea sf o l l o w s ： ( 1 ) t h ed e f i n i t i o no fc o n t i n u o u sa t t r a c t o r si sp r o p o s e d u s i n gt h ee i g e n v a l u e s a n de i g e n v e c t o r so ft h ec o n n e c t i o nm a t r i x ，c o n d i t i o n sa r ed e r i v e dt og u a r a n t e et h e e x i s t e n c eo ft h ec o n t i n u o u sa t t r a c t o r s m o r e o v e r ，e x p l i c i tr e p r e s e n t a t i o n so ft h e c o n t i n u o u sa t t r a c t o r sa r eo b t a i n e df o rt h ef i r s tt i m e t h ec o n t i n u o u sa t t r a c t o r sa r e a c t u a l l yt h er e s u l to ft h en e u r a ln e t w o r k s ( 2 ) s o m eh i g hd i m e n s i o n a lc o n t i n u o u sa t t r a c t o r so fr e c u r r e n tn e u r a ln e t w o r k s a r ei n v e s t i g a t e d t h e r ea r ei n f i n i t ee q u i l i b r i ai nt h ec o n t i n u o u sa t t r a c t o r sn e u r a l n e t w o r k sa n dt h e ym a y b ef o r mo n ed i m e n s i o n a lc u r v e so rh i g hd i m e n s i o n a lm a n - i f o l d s s of a r ，c o n t i n u o u sa t t r a c t o r so fm o s ts t u d i e dm o d e l sa r eo n ed i m e n s i o n a l a n dc a l l e dl i n ea t t r a c t o r s i nt h i sw o r k ，h i g hd i m e n s i o n a lc o n t i n u o u sa t t r a c t o r sa r e b u i l d e df o rt h ef i r s tt i m e i i i a b s t r a c t ( 3 ) t h ec o n t i n u o u sa t t r a c t o r so fl o t k a - v o l t e r r ar e c u r r e n tn e u r a ln e t w o r k sw i t h i n f i n i t en e u r o n sa r es t u d i e d i ts h o w st h a tal o t k a - v o l t e r r ar e c u r r e n tn e u r a ln e t - w o r kc a np o s s e s sm u l t i p l ec o n t i n u o u sa t t r a c t o r si ft h ee x c i t a t o r yc o n n e c t i o n sa n d t h ee x t e r n a li n p u t sa r ei ng u s s i a n - l i k es h a p e m o r e o v e r ，b o t hs t a b l ea n du n s t a b l e c o n t i n u o u sa t t r a c t o r sc a llc o e x i s ti no n en e t w o r k i nt h es e c o n dp a r t ，f u z z yc o n t r o l so fs o m er e c u r r e n tn e u r a ln e t w o r k sa r es t u d i e d u s i n gt a k a g i s u g e n o ( t - s ) m e t h o d sw ec a nb u i l dm o r ep e r f e c ti n t e l l i g e n tc o n t r o l s y s t e m m o r e o v e r ，d e l a y st a k eg r e a ti m p a c tt ot h ed y n a m i c so fn e u r a ln e t w o r k s ，s o t h es t u d yo fd e l a y e dn e u r a ln e t w o r ki sm o r ei m p o r t a n t t h i sp a r tm a i n l yf o c u s e s o nt h ed y n a m i c so fd e l a y e dt - sf u z z ys y s t e m s t h em a i nc o n t r i b u t i o n so ft h i sp a r t a r ea sf o l l o w s ： ( 1 ) t h eg l o b a le x p o n e n t i a ls t a b i l i t ya n a l y s i sf o ro n ec l a s so ft sf u z z ys y s t e m s w i t hu n c e r t a i nb o u n d e dd e l a y sh a sb e e ns t u d i e d s o m en o v e la n de a s i l yv e r i f i e d s u f f i c i e n tc o n d i t i o n sf o rg l o b a le x p o n e n t i a ls t a b i l i t yo f f r e ed e l a y e df u z z yc o n t r o l s y s t e m sa r ee s t a b l i s h e dv i ac o n s t r u c t i n ga l la p p r o p r i a t el y a p u n o vf u n c t i o n m o r e - o v e r ，s o m ec r i t e r i af o rf e e d b a c kf u z z yc o n t r o l l e rd e s i g n i n ga r eg i v e n w eb e l i e v e t h a ta l lo ft h er e s u l t so b t a i n e dc a nb ee x t e n d e dt ot h ef u z z ys y s t e m sw i t hm u l t i p l e t i m ed e l a y so rw i t ht i m e - v a r y i n gd e l a y sj u s tb yu s i n ga n o t h e rl y a p u n o vf u n c t i o n ( 2 ) t h ep e r i o d i c i t yo fa c l a s so fn o n l i n e a rf u z z ys y s t e m sw i t ht i m ed e l a y sh a s b e e ns t u d i e db yu s i n gt - sm e t h o d s s o m ec o n d i t i o n st og u a r a n t e et h ee x i s t e n c eo f s t a b l ep e r i o d i cs o l u t i o n sh a v eb e e no b t a i n e d t h e s ec o n d i t i o n sa r er e p r e s e n t e db y t h ec o e f f i c i e n t so ft h el o c a ls y s t e m sa n dq u i t ee a s i l yt ob ec h e c k e d ( 3 ) a d a p t i v ec o n t r o lf o rac l a s so ft sf u z z ys y s t e m si ss t u d i e d u s i n gt s m e t h o d sa n di f t h e nr u l e s ，ag l o b a lf u z z yn o n l i n e a rs y s t e mc a nb er e p r e s e n t e d b yc o n n e c t i n gs e v e r a ll o c a ls y s t e m s af e e d b a c kc o n t r o l l e rh a sb e e np r o p o s e da n d n e u r a ln e t w o r k sa r eu s e dt oa p p r o x i m a t et h ec o n t r o l l e rs ot h a tt h eo u t p u to ft h e 百o b a ls y s t e m sc a nf o l l o wt h ed e s i r e dc o n t i n u o u st r a j e c t o r y i nc o n c l u s i o n ，t h es t u d yo ft h i sd i s s e r t a t i o nm a y b ew i l lp r o m o t et h ei n v e s t i g a - t i o no fi n t e l l i g e n c e k e y w o r d s ： r e c u r r e n tn e u r a ln e t w o r k s ，c o n t i n u o u sa t t r a c t o r s ，s t a b i l i t y , p e r i o d i c i t y , f u z z y c o n t r o l ，a d a p t i v ec o n t r 0 1 i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名l j 3 皇亟一 日期： 沙矿罗年 易月4日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 11 垦亟 导师签名： 日期：加口少年石月4 e t 第一章绪论 第一部分递归神经网络的连续吸引子 第一章绪论 计算机科学，从早期到现在，都致力于建立各种智能机器，处理人类社会的 各种信息，这也成为计算机科学发展灵感的来源。1 9 4 3 年，数理逻辑学家w a l t e r p i t t s 和心理学家w a r r e nm c c u l l o c h 在( b u l l e t i no fm a t h e m a t i c a lb i o p h y s i c s ) ) 上发表了题为“al o g i c a lc a l c u l u so ft h ei d e a si m m a n e n ti nn e r v o u sa c t i v i t y 的文章，文章中提出了一个后来被称为m p 神经网络模型的脑模型，形成了一个 基本的处理元素，这个元素集合了神经元的一些基本的生理特征，这些生理特 征被认为是大脑中信息处理必不可少的。多个处理元素可以形成网络，开启了 神经计算的时代。几个时代的神经网络研究表明，这样简单形成的网络具有巨 大的计算能力。 1 1递归神经网络 人工神经网络根据其连接情况可分为两类：前馈神经网络( f e e d f o r w a r d n e u r a ln e t w o r k s ，f n n ) 和递归神经网络( r e c u r r e n tn e u r a ln e t w o r k s ，r n n ) 1 l 【2 j 。 一个递归神经网络至少有一个反馈连接，以致于任意一个神经元都能够连接到 任意一个其他神经元，甚至连接到它自身，其网络拓扑模型如图1 1 。递归神经网 络结构只有一层，除了网络的外界输入，网络的输出也被反馈作为网络的输入， 因此，即使外界输入是常数，网络的状态也会在每一步迭代后发生变化，因此网 络的有效输入也会随时间的演化而变化，表现出时间性。因此在本质上，r n n 具 有更强的能力【3 1 。这样的网络本质上是一个动力学系统，该系统的行为强烈依 赖着连接权值。连接权值可以有很多种选择，一般有两种方法来选择特殊的连 接权值，一种是事先定义好权值，另一种是通过学习算法来根据给定模式自适 应学习网络的权值。 1 2神经网络的动力学行为 神经网络由大量的神经元和它们之间的连接组成，实际上是一个动力学系 统【4 】o 这种动力学系统的宏观研究主要采用动力学系统理论、非线性规划理论 等。动力学系统理论主要研究动力学系统的渐近行为，如平衡点、极限环、奇异 吸引子和稳定性等。如果用x 表示状态向量，用w 表示权值向量，则状态变化服 电子科技大学博士学位论文 图1 1 递归神经网络拓扑模型。 从： x ( t + a t ) = ，( z ( t ) ，w ) ，( 1 1 ) 其中，为随机的或确定的函数。 非线性规划理论主要研究目标函数全局极小的优化算法。对一组x ，指 定一个函数v ( x ，) ，则状态变化将使y ( x ，w ) 的最小值对应于状态z 。这 里y ( z ，) 为动力学系统的能量函数，即l y a p u n o v 函数。若对某种收敛形式， 对所有的状态向量z ，有 v + = y ( x + ) v ( x )( 1 2 ) 当且仅当t _ 时，y ( z ( t ) ) 收敛于扩。 1 3 连续吸引子 递归神经网络具有许多诱人的特征使其可以解决多种智能计算问题。递归 神经网络根据网络吸引子的分布，可分为离散吸引子神经网络和连续吸引子神 经网络( c o n t i n u o u sa t t r a c t o rn e u r a ln e t w o r k ，简称c a n n ) 【5 】【6 】。离散吸引子在 状态空间中是离散分布的；连续吸引子的个数有无穷多个，且在状态空间中是 连续分布的。离散吸引子网络的每一个吸引子的周围存在一个吸引域，从吸引 域出发的轨迹都会收敛到这个吸引子上来，因此，这种网络可以用于联想记忆。 著名的h o p f i e l d 网络【7 】就是典型的这种网络。记忆状态通过h e b b 学习使之对应于 网络的吸引子。由这种网络实现联想记忆可以使网络具有高度的容错能力和高 效的学习能力。所有这些特征都是计算机科学家们非常感兴趣的。 2 第一章绪论 连续吸引子网络是一种具有特殊网络连接结构的递归神经网络，连续吸引 子的研究大概可以追述到七十年代，但是，连续吸引子成为一个研究热点则是 近几年的事。连续吸引子现象已经在诸如局部皮层处理【8 1 、眼动系统【9 】、工作记 忆【1 0 】【1 1 】和空间表达【1 2 儿1 3 等多种脑功能中发现，这强烈地意味着连续吸引子是 大脑进行信息处理的一种重要模型，其研究必定具有重要的理论和实际意义。 连续吸引子从深层次上刻画了大脑进行信息处理的能力，揭示了信息处理的一 些更为本质的新方法，对于进一步理解脑提供了重要手段。连续吸引子研究是 目前国际上出现不久且正在快速升温的前沿研究热点课题。在认识到连续吸引 子的重要性后，这一领域获得了来自神经科学、生物物理学、计算机科学和数学 等领域科学家的研究。国际上许多一流的科学家和学术机构正在积极从事这方 面的研究，如美国麻省理工学院( m i t ) 的s e u n g 实验室、约翰霍普金斯大学 的k e c h e nz h a n g 实验室、h e l s i n k i 大学的k o h o n e n 教授等。 连续吸引子和离散吸引子具有不同的统计学特性【5 】和收敛性质。 具有离散吸引子的网络可以用来实现联想记忆，连续吸引子网络仍然能够 用来记忆，不同的是，这种网络只能保持信息持续一段时间，因此，大脑利用连 续吸引子网络来进行短时记忆【1 0 】【1 1 j 。 生物体经常需要存储和处理连续变量，如物体或身体某部位的空间位置。 离散吸引子网络不能完成对连续变量的处理，因此，用连续吸引子来表示物体 是自然的。动物对连续变量信息的短时存储被认为是大脑的不同区域的神经元 持续活动中产生的【l l 】【1 4 1 。比如说，在动眼系统中，大脑神经元的点火速率和水 平眼位之间粗略的满足线性关系 1 5 1 ，每个水平眼位可以作为一个记忆保存下来， 大脑因为具有储存眼球位置记忆的功能，所以使得眼球凝视在任意位置固定不 动【1 6 】f 1 7 1 8 】【1 9 】。而且大脑在控制眼球位置移动时常伴有快速的跳变，在两次跳变 之间，存在眼球的短暂静止，这是依赖眼球角度位置记忆的一种能力。试验表 明，脑皮层的一些区域就存在与连续吸引子网络一致的组织结构，如上丘、中脑 的一个区域，对于信息累加从而控制眼球跳变具有很重要的作用【2 0 1 ，从而连续 吸引子网络就能够实现对跳变运动的描述。可见，眼球位置的记忆以连续吸引 子的形式存储在大脑神经网络中。 至今发现存在连续吸引子的神经网络有两类，一类网络的神经元个数非常 多，当多到一定程度，可以看成无穷个神经元。另一类的神经元的个数则是有 限的。第一类网络的连续吸引子被广泛研究 5 1 3 2 1 2 2 2 3 2 4 i 2 5 。最近，文【2 6 】指出， 对连接矩阵具有t o e p l i t z 对称性的神经网络，通过调节外部输入可以设计连续吸 引子。对第二类具有连续吸引子的网络也有很多研究【1 6 1 1 1 7 1 1 1 8 】【1 9 l 。需要指出的是， 3 电子科技大学博士学位论文 这两类网络在动力学( 如稳定性) 上有很大的不同。 本部分中的第二章和第三章所讨论的网络属于第二类，即神经元的个数是 有限的，第四章讨论的网络个数是无限的，属于第一类。 对神经网络而言，传输函数起着很重要的作用，用具有线性传输函数的网 络( 即线性神经网络) 来设计吸引子网络非常直接，但是，实际中的网络很多 是非线性的，找到网络连接矩阵来得到连续吸引子就不是一件简单的事。对非 线性神经网络，传输函数有两类，一类是钟形( b e l l - s h a p e d ) 函数或隆起( b u m p - s h a p e d ) 函数。这类传输函数主要用在周期角度变量( 如头向【2 7 】) 中，也在非周 期，非角度变量( 动物的空间位置f 2 8 】) 中发现。另一类传输函数是被存储变量的 单调函数，例如眼动系统【1 6 】和前额皮层【2 9 】所用到的函数。具有钟形传输函数的 网络存在精确解，这精确解也是钟形的，也称为钟形吸引子，钟形吸引子性质是 由网络连接矩阵最基本的对称性，也就是平移不变性决定的。相比之下，具有单 调传输函数的网络，要得出准确解比较困难。科学者们一般不是直接寻找网络 的解，而是依靠计算强化数字调节来逼近线性吸引子，从而建立这样的吸引子 网络模型。 本部分对具有这两种传输函数的递归神经网络都进行了分析，第二章和第 三章所讨论的网络传输函数属于第二类，第四章讨论的网络传输函数属于第一 类。 上面提到的平移不变性被认为是区别离散吸引子和连续吸引子的关键因 素【2 5 】，平移不变性可以使网络很容易地改变状态，因此，连续吸引子网络能实 时跟踪随时间变化的外部刺激，这种特性是大脑执行重要计算任务的关键，如 大脑能够进行运动控制和空间导航。科学家已经在海马体内部及邻近大脑区域 分辨出了三种细胞，即头朝向细胞( h e a d - d i r e c t i o nc e l l ) 、位置细胞( p l a c ec e l l ) 和 格子细胞( g r i dc e l l ) ，这三种细胞组成了大脑中的导航体系。头方向系统的神经 元的点火速率是和方向性头动有关【2 7 】1 3 0 】，头朝向细胞( h e a d - d i r e c t i o nc e l l ) 是一 种头朝向依赖性神经元，它如同指南针一般，可以告诉我们面对的是哪一条路， 对于指导动物运动有重要作用，并受环境、方向、暗示等因素的影响；小白鼠的 海马神经元根据动物所在的位置而点火 3 1 3 2 3 3 3 4 2 8 1 ，对于动物所处位置做出反 应。我们的大脑中有成千上万的位置细胞，分布在众多细小的角落。位置细胞接 收各种来源的空间信息后，可对这些信息进行加工处理，在海马体内形成认知 地图，或加强联合皮层内细胞集群的突触联系，以形成对空间位置的永久记忆。 位置细胞的生理学特性就是由连续吸引子来模拟的。挪威科技大学爱德华莫 塞尔教授团队于2 0 0 5 年发现的格子细胞则可以通过类似经、纬线的网格模型告 4 第一章绪论 知我们已经行进了多远。 综上，递归神经网络的连续吸引子研究是一个在理论上具有相当高的 学术价值，同时又具有很强的生物背景的课题。这一课题的研究正吸引着 国际上不少一流大学的实验室和著名神经科学专家。许多重要结果都发表 在s c i e n c e 、n a t u r e 、 n e u r a lc o m p u t a t i o n 、 i e e et r a i l s n e u r a ln e t - w o r k s 、 n e u r a ln e t w o r k s 等国际一流学术刊物上。连续吸引子神经网络在计 算神经科学的应用多样性表明相关机制已被广泛应用到大脑的信息处理中。许 多已有的关于连续吸引子的研究主要是考察连续吸引子神经网络的神经基础和 计算特性，而对数学性质的严格分析仍然缺乏，尤其是，相比传统的h o p f i e l d 网 络模型而言，这种吸引子模型给我们带来了哪些新东西。本部分拟对连续吸引 子网络进行分析，使得连续吸引子网络理论更加完善。 1 4 本部分主要研究内容 具有离散吸引子的神经网络的动力学性质已经得到了广泛的研究，与离散 吸引子网络相比，对连续吸引子网络的系统研究目前还处在初级阶段，其方法、 理论和取得的成果都还不多，连续吸引子网络属于非线性动力学范畴，另人惋 惜的是，由于连续吸引子是神经计算的一种独特的动力学现象，并且以前未曾 发现重要应用，因而数学上没有建立相应的理论及方法，缺少成熟的数学分析 工具，有许多问题在数学上都是挑战，其研究需要开拓新的方法，这是目前研究 连续吸引子的最大困难所在。当然，或许由于有这样的原因，其研究才吸引了国 际上优秀的科学家。 本部分主要针对具有有限个神经元的线性递归神经网络( l r n n s ) 、非饱 和分段线性阈值递归神经网络( l t r n n s ) 、细胞递归神经网络( c r n n s ) 、l o t k a - v o l t e r r a 递归神经网络( l v r n n s ) 等多种网络模型，分别从连续型和离散型两个 角度用动力学系统理论来研究递归神经网络的连续吸引子问题，试图建立研 究连续吸引子的基本理论和方法，给出连续吸引子的严密数学定义和显式表 达；建立网络存在连续吸引子的本质条件等等，对具有无限个神经元的l o t k a - v o l t e r r a 递归神经网络，分析了网络的连续吸引子的稳定性问题，获得了较为深 刻的结果。本文的研究内容大致如下： 第二章提出了连续吸引子的定义，指出连续吸引子是稳定的平衡点所构成 的连通集，研究了连续型递归神经网络的连续吸引子。利用权值矩阵的特征向 量，推导出了保证网络有连续吸引子的若干条件，即，当权值矩阵的最大特征值 为1 ，外界输入和l 特征值对应的特征子空间正交时，网络有连续吸引子。并用特 5 电子科技大学博士学位论文 征向量给出了连续吸引子的确切表达式。 第三章研究了离散型递归神经网络中的连续吸引子表达。在连续型递归神 经网络的连续吸引子的研究基础上，探讨离散型递归神经网络的连续吸引子。和 连续型神经网络相比，离散型神经网络的连续吸引子的研究方法有着自己的特 殊之处。 第四章主要研究神经元个数无限的连续型l o t k a - v o l t e r r a 递归神经网络。当 网络的连接权值是高斯形式的函数，若外界输入满足一定的条件，网络具有多 个连续吸引子共存的情形。 6 第二章连续型递归神经网络的连续吸引子 2 1引言 第二章连续型递归神经网络的连续吸引子 本章研究神经元个数有限，也就是神经节点呈离散分布的递归神经网络的连 续吸引子。 当精确调整网络节点间的相互作用结构和外部刺激时，线性递归神经网络具 有线性吸引子 1 6 1 1 8 ，线性吸引子是一维的连续吸引子，是指所有的点吸引子在空 间中以线的方式排列，是一种特殊的连续吸引子。线性递归神经网络中的线性吸 引子理论可以很好的解释大脑是如何使眼睛保持静止不动【1 6 。然而，连续吸引子 可以是二维以上的，这时点吸引子不再以线的形式排列，而是以面的形式排列，称 为高维连续吸引子。在本章中，我们将看到，很多线性递归神经网络都具有高维连 续吸引子。 连续吸引子也存在于一些非线性递归神经网络中，在非线性递归神经网络中， 由于传输函数是非线性的，较难考察连续吸引子的特性。网络的传输函数对网络 的动力学的分析起着很重要的作用。本章中分析一些传输函数是单调的非线性网 络( 如l t 神经网络、细胞神经网络和l v 神经网络) 的连续吸引子。 递归神经网络有连续时间型和离散时间型两种，对每一型递归神经网络，模 型有很多种，本章讨论神经元个数有限，传输函数是单调函数，连续时间型的几种 递归神经网络模型的连续吸引子的表达问题。 2 2 问题描述及一些概念 本章研究的连续型递归神经网络模型如下： 圣( t ) = ，( z ( 亡) ) ，t 0 ( 2 1 ) 其中z = ( x 1 ，z n ) t 舻表示网络的状态，x t 表示第i 个神经元的活动状态，f ： r n 一册是连续的n 维向量函数，满足局部l i p s h i c t z 条件，使得对所有的t 0 ，从 任意初始点x ( 0 ) 形出发的轨迹存在并且唯一。 将t 理解为时间，x 理解为n 维向量空间中的一个点，则在任何时刻亡，式( 2 1 ) 在n 维 空间中确定了一个速度场，由解的存在性与唯一性，对任一给定初始时n t o 和初 7 电子科技大学博士学位论文 始点x o ，在此n 维空间中存在唯一的运动，其运动规律由z = z ( 亡；x o ，t o ) 给出。此 时，我们称该死维空间为相空间，而该系统的一个解z = z ( t ；x o ，t o ) 为一个运动， 由z = z ( 亡；知，) 所确定的相空间中的曲线称为一条解轨线【3 5 1 。 若，( z ( 芒) ) 是线性函数，则网络( 2 1 ) 为线性神经网络，否则称为非线性神经网 络。 定义2 1 如果z 舻满足 ，( 刀) = 0 ， 则z + 称为网络( 2 1 ) 的平衡态。 当初始点在平衡态上，可见圣( t ) = 0 ，即运动速度不发生变化，对应的运动一 直在平衡态上保持不动。所以平衡态也是一条特殊的解轨线。 非线性递归神经网络的平衡态可能不只一个甚至有很多，对于线性递归神经 网络，其平衡态方程为 ( ，一w ) x + = b 当( ，一) 是可逆矩阵时，系统只有唯一的平衡态z + = ( ，一w ) - 1 6 ；但是当( ，一w ) 不 可逆，则存在无限多个平衡态。所谓的稳定性问题就是研究递归神经网络的解轨 线是否趋向平衡态的问题。从工程上来说，给定了初始条件，网络会有一条解轨 线，当给该初始条件一个小的扰动，所得的解轨线仍然保持在原来的解轨线附近， 则说这个解是稳定的，否则就称为不稳定。 下面，给出网络的平衡态。在l y a p u n o v 意义下的稳定性定义。 定义2 2 若对任意给定的e 0 ，都存在常数5 0 ，使得当任一初始点z ( o ) 满足 i i x ( o ) 一z + 0 6 ， 对所有的t 0 ，网络( 2 1 ) 的解z ( 亡) 均满足 i i x ( t ) 一z + j i e ， 则称网络( 2 1 ) 的平衡点z + 是稳定的。 网络的平衡态