（理论物理专业论文）神经网络中有关动力学行为的研究.pdf

衄星塑i = 兰趟盍堂丝堂僮缝塞 摘要( 中文) ： 1 | l 经网络足复杂系统l l l 的亟耍内容，也址多学科柑交叉的前沿研究领域。水 文分别以l o g i s t i c 映射单元构造的权熏演化神经网络、m c c u l l o c h p i t t s 神经 元构造的神经网络和一个受常数刺激驱动的两层耦合神经网络为研究对象探讨 了其有关下列动力学行为。 第一，在权重演化神经网络中的自组织。i t o 和k a n e k o p h y s r e v l e t t 8 8 ，( 0 2 8 7 0 1 ) 2 0 0 2 以l o g i s t i c 映射为单元构造了一个权重演化神经网络，他们发 现在一定的映射参数口和耦合参数c 的范围，网络具有高活性的区域内，网络展 示出一种自组织的行为。即所有的单元自动地分裂成“核心”和“周边”两组或 两团簇，“核心”组内的成员联系紧密并对“j 割边”组产生极强的影响，但所有 单元之问并不同步，囚而不同于传统的同步团簇。我们进一步深入分析了形成这 一自组织的原因，并对文献中给出的一个描述白组织存在区域的直线方程进行了 修正。同时，我们将色噪声引入蜘该模型，发现在无噪声时不能呈现上述自组织 的映射参数口和耦合参数f 的区域内，一定强度的不对称噪声可以诱使网络产生 这一自组织结构，并且产生该自组织结构的噪声强度参数彬和耦合参数c 的区域 随噪声对称度的增大而收缩；噪声对称时，噪声诱发这种自组织现象的参数区域 几乎完全消失。 第二，输入的方波在延时神经网络 i 的记忆与区分。y j i a n g p h y s l e f t a 2 6 3 ，( 3 4 2 ) 2 0 0 0 建立了一个全局耦合的映射格子网络模型，并研究 了延时对网络同步团簇自发形成的影响。 我们修改这一网络的动力学方程使其 更加符合神经网络的特征，对神经元之间的耦合不作平均场近似，把外界方波信 号加入到网络中，得到了一个受外界方波刺激、不对称的全局耦合延时 m c c u i i o c h p i t t s 神经网络模型。通过引入同步度的概念对其进行分析，发现在 输入信号方波的刺激下，网络具有如下的动力学特征：如果输入的方波的周期是 网络延时的整数分之一倍，则在输入信号停止后，网络的总活性还能保持以输入 方波的蒯期( 。1 ，律) 进行振荡；如果这一关系不能满足，则在方波停止输入后， 网络的总活性不能再以方波的节律进行振荡，甚至振荡的图像是混乱的。另外还 发现，两个方波信号都能被网络记忆的情况下，网络的总活性的振荡图像显示出， 衄睦刿! 兰削厶茎熊芏焦业主 当第一个信号的周期小丁 第二个信号的周期时，这两个信号在周期上能够被网络 区分。 第三，修改文献 d h z a n n e t t ea n da s m i k h a i l o v ，p h y s r e v e 8 5 ， ( 8 7 2 ) 1 9 9 8 中的多层网络模型，把常数外刺激引入其中一层，构造了一个受常数 外刺激驱动的两层耦合的神经网络模型。数值模拟发现：在刺激强度j 与层间耦 合强度参数占构成的相空间内，存在一条具有分形性质的阶梯状边界。跨越这一 个边界，受常数刺激的这一层网络( 第一层) 从部分兴奋过渡到完全兴奋状态。 在第一层网络处于完全兴奋的相空间区域，随着系统参数构成的坐标点( j ，s ) 逐渐远离分形阶梯，笫：层网络t l j b k 念i i 复j 状态向短周期i 吸引子过渡， 最终 变为= 个固定点。 这些工作有助于理解神经网络中的某些复杂性，神经网络系统的信息处埋等 物理现象。 煎睦塑；兰捌友堂燧堂焦蛰塞 a b s t r a c t n e u r a ln e t w o r k sa r ei m p o r t a n ts u b j e c t so fc o m p l e xs y s t e m sa n da l s o ar e s e a r c h f i e l di nr e l a t i o nt o m u l t i d i s c i p l i n e s i nt h i st h e s i s ，w e i n v e s t i g a t e dt h en e u r a ln e t w o r ko fg l o b a l l yc o u p e dl o g i s t i cm a p sw i t h t e m p o r a l l yv a r y i n gc o n n e c t i o ns t r e n g t h s ，t h en e u r a ln e t w o r k so f m c c u l1 0 c hi ill se 1 c l l l e n t si u l dl h cc o u p l e dt w o l a y e rn e u r a ln e t w o r k sd r i v e n b yc o n s t a n ts t i m u a t i o n s ，f o c u s i n go nt h ef o l l o w i n gd y n a m i c a lb e h a v i o r s t h ef i t sl ，t h es e “一0 1 1 9 a n i z a t i o ni nt h en e u r a ln e t w o r ko fg l o b a l l y c o u p l e di o g is t icm a p sw il ht e m p o l a 1 1 yv a r y i n gc o n n e c t i o ns t r e n g t h s i t o a n d k a n e k o p h y s r e v l e t t 8 8 ，( 0 2 8 7 0 1 ) 2 0 0 2 p r e v i o u s l yi n t r o d u c e d a n e t w o r ko fg l o b a l l y c o u p l e dl o g i s t i cm a p sw i t ht e m p o r a l l yv a r y i n g c o n n e c t i o ns t r e n g t h sa n df o u n dt h a tw i t h i nc e r t a i np a r a m e t e rr e g i m e so f c o n n e c t i v i t yw e i g h t sca n dt h em a pp a r a m e t e ra ， c o r r e s p o n d i n gt ot h e r e g i o no fh i g ha c t i v i t y ，t h i sn e t w o r ke x h i b i t sak i n do fs e l f - o r g a n i z e d i n t e r u n i tc o n n e c t i v i t y ，i e ，e v e ni nt h ep a r a m e t e rr e g i o nw h e r et h e r e i sn os y n c h r o n i z a t i o no ft h eu n i td y n a m i c s ，u n i t ss p o n t a n e o u s l ys e p a r a t e i n t ot w o g r o u p s ，w i t h “c o r eg r o u p ”p o s s e s s i n ge s p e c i a t l ym a n y o u t w a r d l yd i r e c t e dc o n n e c t i o n st o “p e r i p h e r a lg r o u p ”w ef u r t h e ra n d d e e p l ya n a l y z e dt h i sp h e n o m e n o na n de m e n d e dt h e1 i n e a re q u a t i o nw h i c h d e s c r i b e st h e p a r a m e t e r r e g i m e w h e r et h en e t w o r ks h o w st h i s s e l f o r g a n i z a t i o n i n t r o d u c i n gn o i s et ot h i sn e t w o r k ，w eo b t a i n e dan o i s y n e t w o r ka n df o u n dt h a ts u c hs e l f o r g a n i z a t i o ne m e r g e si ns o m ec a s eu n d e r w h i c hi ot h ea b s e n c eo fn o i s et h e r ei sn os u c honew h e nt h en o i s ei sm a d e t t s y l l l l i l e t t l icw i t hc e r t a i ns t r e n g t h s t h er e g i m eo fm a pp a r a m e t e rca n dt h e n o i s es t r e n g t hww i t h i nw h i c ht h en e t w o r ke x h i b i t ss u c hs e l f - o r g a n i z a t i o n s h r i n k sw i t ht h ei n c r e a s i n go ft h es y m m e t r i cd e g r e eo ft h en o i s ea n dt h i s p a r a m e t e rr e g i m ea l m o s tv a n i s h e sw h e nt h en o i s ei sm a d es y n n e t r i c t h es e c o n d ，t h em e m o r ya n dd i s c r i m i n a t i o nf o rt h ei n p u ts q u a r es i g n a l i nt h en e u r a l n e t w o r k sw i t ht i m ed e l a y y j i a n g p h y s l e t t ，a 2 6 3 ，( 3 4 2 ) 2 0 0 0 5 塑卫盟! ：h 厶堂鼓i ：堂挝迨皇 i 】l c s o l l l u dr ll i i l l ed o i a yg t o h a l1yc o u p e dm a p sa n ds t u d l e dt h ei n f l u e n c e o ft h et i m ed e l a yo ni t ss p o n t a n e o u sf o r m a t i o no fs y n e h r o n yc l u s t e r i n l h i st h u s i s l h i sm o d e lw l i sm o d i f i e dt oan e u l a ln e t w o r k l e a v i n go ult h e i l l c l u n f ie 1du p p l o x in l u t i o no f n t e t l a c t io e sb e t w o e ne lo i l i e r t s i n ( ia d d f n g s q u a r ew a v es i g n a lt ot h i sm o d i f l e dm o d e l ，w eo b t a i n e da na s y n m l e t r i c g l o b a l l yc o u p l e dm c c u i i o c h p i t t sn e u r a ln e t w o r kw i t ht i m ed e l a y ，w h i c h s u b j e c t st ot h ei n p u ts q u a r es i g n a l b yc o m p u t e rs i m u l a t i o n s ，w e i n v e s t i g a t e dt h er o l e t h a td i f f e r e n ts q u a r ew a v es i g n a l sp l a yi nt h i s m c c u 1 0 c h - 1 1 jll sn e t w o i kw it ht i m ed e l a y t h ed i f f e r e n tc y c l e ( p o s i t iv e a n dn e g a t i v e ) s q u a r ew a v es i g n a l si n d u c et h ef o l l o w i n gn e t w o r kf e a t u r e s ： s i g n a l s ，w h o s ec y e l e se x a c t l yd i v i d et h ed e l a yt i m e ，g i v er i s et os y s t e m m c i l l 0 1 y ：o nt h eo t h e rh a n d ，sig n a s ，w h o s ec y c l e sh a v en o tt h en u m e r i c a l r e l a t i e n s h i pm e n t i o n e da b o v ew i t ho rarel a r g e rt h a nt h ed e l a yt i m e ，g i v e r i s et od l s o r d e r e di n t e g r a la c t i v i t yo ft h en e t w o r ko rp a t t e r n sw h i c hc a n n o te x h i b i ts t e po ft h ei n p u t sa f t e rt h ei n p u t sa r ee l i m i n a t e d t h i s p h e n o m e n o ni sa n a l y s e sb ymeanso ft h ed e g r e eo fs y n c h r o n i z a t i o n f u r t h e r m o r e ，w es t u d i e d w h e t h e rt h i s n e t w o r kc a nd i s c r i m i n a t et h e d i f f e i e n c ei ne y c l eb e t w e e nt w os q u a r ew a v es i g n a l s a p p l i e ds e q u e n t i a l l y t oi t t h er e s u l t ss h o wt h a t t h en e t w o r kc a no n l yd i s t i n t u i s ht h e c l if f e r e n c ei ne y c eb e t w e e ns i g n a l ss u c h t h a tt h ef i r s tonec a nb e f e n l e m b e r e d 7 t h ef i n a l ，t h ef r a c t a lb o u n d a r yi nt h en e u r a ln e t w o r k s b a s e do nt h e m u t i l a y e r n e t w o r k s d h z a n n e t t ea n da s n i k h a i l o v ， p h y s 阶v1 8 5 ( 8 7 2 ) 1 9 9 8 ，w c ) i ( ) p o s e d ll w o 一】a y e t l n e u ! n 】f i e t w e r k s ( j f m c c u l l o c h p i t t se l e m e n t s ，o fw h i c honel a y e r ( t h ef i r s tl a y e r ) i sd r i v e n b yc o n s t a n t s t i m u l a t i o n sa n dc ans h o was t a i r c a s ew i t hf r a c t a ls t r u c t u r e i np a r a m e t e rp l a n e ( i s ) i twasd i s c u s s e dt h a t t h i ss t a i r c a s ei sa c r i t ic a ib e u n c l a l - yi l l a l ，k i n gt h et r a n s i t i o no fo n e1 a y e ro ft h i ss y s t e mf r o m p a r t i a le x c i t e m e n tt of u l le x c i t e m e n t w i t h i nt h ep a r a m e t e rr e g i m ew h e r e t h ef i r s tl a y e ri sf u l le x c i t e m e n t ，t h eb e h a v i o ro ft h es e c o n dl a y e ri s 6 皿旦塑!兰刿叁堂丛= l 堂位监塞 as h o r tp e t i o d i ca t t r a c t o ra n df i n a l l yaf i x e dp o i n ti ft h ec o o r d i n a t e ( i 。s ) sf a rf r o mt h i sf r a c t a ls t a i r c a s e t h e s ew o r k sa r eu s e f u lf o ru n d e r s t a n d i n gn o to n l ys o m ec o m p lic a c y ( 1 1 i i l ! l i i a li l ol w o ik sb ull i s ot i l ep h y s i c a lp h e n o l a e n ai nn e u r a ln e t w o r k ss u c h a si n f o r m a tio np r o c o s sin ga n de t c ， 7 衄照暇! 兰刮太堂避兰位蛰吝 第一章绪论 近年来，神经网络或神经系统的非线性动力学问题受到了广泛的重视。这 种由大量非线性单元通过广泛联结所构成的多级复杂系统，正是由于各级层次上 子系统的非线性，使得其上一层次具有下一层次子系统所有的一些“突出性质”， 从而造成神经系统的功能表现出极人的复杂性。也正因为如此，在神经系统的各 个层次上都有着大量的非线性动力学问题。对这些问题的深入研究有助于计算 机科学、生物科学、人工智能、认知科学、信息科学、微电子学、自动控制与机 器人、脑神经科学等学科的研究和发展，反过来又促进了神经网络学科的发展。 至今人工智能虽有很大的进步，然而在比拟人脑的联想、分类、演绎、自适 应能力方面，仍存在巨大的困难。而神经网络则在些方面表现出了潜在能力， 如通过网络的一个小部分展示完全复杂的信息联想能力；以及由外界刺激的响应 来学习、 j 组织地扶取知识等，从们于展神经网络的研究，发展用于人工智能的 认知模型。计算机发展的需要也是神经网络研究的又一动力。传统的计算机虽然 快到毫微秒，但认识人脸孔的能力还不及一个小孩，尽管人类视觉神经运算速度 慢于毫秒，人脑却可以在几白个毫秒实现视觉辨识和语言辨别。因此神经的联结 模型、并行和分布处理似乎是计算机进一步全新发展的唯一途径 1 - 3 。 神经网络的应用越来越7 1 。泛，为满足各种目的需要的网络模型相继提出，丰 富和延拓了神经网络的范畴。例如，实现模式识别的人工神经网络、模拟并研究 大脑功能的以生物丰中经元模型构造的神经网络等。把随机行走、延时引入网络研 究网络中的渗流有助于人耵了m 犁并掌握信息在现实通讯网络、社会群体中的传播 规律，也有利丁了解病毒在生物群体中的传播、传染规律，为有效地预防和控制 传染病的流行提供指导方法。 而研究神经网络的团簇、自组织、同步等在于探 知生物大脑的行为规律，在于“人工智能”的实现 4 6 。 1 神经网络的基本概念 1 1 生物神经元的结构及功能特征 4 - 6 神经细胞或者叫做神经元是神经网络的结构单元，也是它的功能单元。神 经系统中神经元的形态是多种多样的，形状和大小各异，反映了它们在信息处理 的方式上也各有不同。 神经元决不仅仅是传输信息的简单中继站，典型的神经 元总是从若i ：来源接受信号的，把这些信号整合起来编码成复杂的输出信号，然 后再把这一信号传输到许多别的细胞上去。 对许多神经元( 如图1 1 ) 而言，可以把它们简化成三个组成部分； ( 1 ) 细胞体( c e l lb o d y )神经元复杂的代谢活动在细胞体中进行，细胞体 和树突是专门用来接收和整合信息的。 ( 2 ) 轴突( a x o na n ds y n a p s e )除少数的例外，神经元都只有一个轴突，从一 根车| 1 突上分山许多侧枝，从而对许多其它神经元产生影响。 ( 3 ) 树突( d e n d r i t e s )树突大大扩大了神经细胞的表面积，使它们可以接收 来自其它神经元的输入。 图1 1 生物神经元 一般说米，轴突的末梢往往形成某种膨起，称为终扣。在终扣中有许多小 一 翅皂塑! 兰捌盘主避圭堂僮监窑 泡- 其中含有一定量的化学物质神经递质。 终扣并不和其它的神经元直接 连在一起，它终止在其它细胞体或树突的邻近，中间隔开一个2 0 4 0 r i 的空隙， 称为突触间隙。 在突触问隙后面的下一个神经元的细胞膜突触后膜上具有 对某些神经递质起特异化反应的蛋白质受体。当前一个神经元终扣释放出 某种神经递质通过突触间隙扩散到达另一个神经元的突触后膜时，和相应的受 体结合而打开某种离子通道。 终扣末端的细胞膜突触前膜、突触间隙和突 触后膜这三者结合在一起完成信息从前一个细胞向后一个细胞的传递，这三者的 总体就称为突触。 在大多数情况下，离子流可以是双向的，但是某些电突触离 子流只能沿单向流动，这种突触就称为整流突触。 与神经7 j 的结构相对应，从功能上来看神经元大致上可以分成3 个部分：树 突和细胞体上的突触是它的接收端或输入端细胞体特别是轴丘的一小段裸露在 细胞外液中的轴突是控合米向各个突触的信息的场所而轴突则是它的输出端。 总的来说，从信息处理的观点来看，大多数神经元主要具有下列特征 4 ： ( 1 ) 突触有两类：兴背 生突触和抑制性突触； ( 2 ) 存在突触延搁； ( 3 ) 神经细胞有电阻、电容性质，并因此具有时间总和作用； ( 4 ) 存在空间总和作用； ( 5 ) 存在阈值： ( 6 ) 脉冲发放后发生复极化或超极化： ( 7 ) 发放脉冲后有一定的不应期( 绝对不应期和相对不应期) ； ( 8 ) 动作电位服从全或无定律； ( 9 ) 输出函数呈s 形曲线； ( 1 0 ) 存在适应性。 1 2 神经元的数学模型 抽取上述l o 条性质中的几条，根据应用的需要可以建立人工的神经元的数 学模型。接合本论文的需要，下面简单介绍m c c u l l o c h - p i t t s ( 1 i p ) 神经元模型 及其改进的m p 模型 4 。5 。 o i l 丝! 兰趟厶凳挫堂岔垃塞 ( a ) m p 模型 1 9 4 3 年由美国心理学家m c c u l l o c h 和数学家p i t t s 共同提出了即模型。设有 n 个神经元互连，每个神经元的活性状态只( i = l ，2 ，n ) 取0 或1 ，分别代 表抑制与兴奋。 每一神经元的状态按下述规则受其它神经元的制约， 驴，嚆啊嵋 m ，z ， ， 其中代表神经元f 与神经元，之间突触连接强度，只为神经元f 的阈值，( ) 在 这里取阶跃函数日( ) 。如果也把阈值看作为一个权值，则( 1 1 ) 式改写为， 驴，f 兰啊1 l j = o， ( 1 i2 ) 若s i e f _ 】，】 且连续取值，相应的g ) 为单调有界连续函数，取，= 以国，当 x 一。时，b ) 一1 ，这就是b s b 模型：当p _ 时，它趋于自旋模型。 ( b ) 延时m p 模型 延时m p 模型可表示为 叭r ，= ，( 喜蹦卜勺，一只) ，i ( 1 3 ) 其中t 为突触时延。( 1 3 ) 式具有如下特征： ( a ) 神经元活动遵循“0 1 ”律： ( b ) 神经元为一“多输入单输出”单元： ( c ) 具有“空间整合”与“阈值”作用； ( d ) 所有神经元具有相同的、恒定的工作节律，工作节律取决于突 触时延r “ ( e ) 没有考虑时间整合作用，不考虑不应期： 皿塑堪i 兰捌盍堂盟主堂位i 金塞 ( f ) 神经元突触时延f 口为常数，权系数亦为常数，即 = 仁。雪；凳翥磊篡炎筹 ( c ) 改进的 l p 模型 5 在m p 模型的基础上，考虑时间整合作用和不应期 ( f ) = 卅彬，( ) 量( f - k r 。) + w ，j ( k ) s ，( t - k r f ) ， 、j - l，“ 其中( 七) 随女变化( 也即随时延变化) ，且 邺，镪 兴奋性突触 抑制性突触 ( 1 4 ) 这里兰( t ) ，。一打。) 表示对过去所有输入进行时间整合，而( 七) 表示神经 元内反馈连接权系。 瞰叶亭豪m 绝对不应期 相对不应期， ( 1 5 ) 反应期 式。 d 为正数， ( 女) 为k 甲调的指数函数。改进的m p 模型与延时肝模型的主要 区别在于其结构的可塑性，即在改进的肝模型中权系是可变的 j 一 卫必! 兰垃l 厶堂盟! ：芏丝壁塞 2 神经网络的分类 从动力学的观点看，神经网络是一个超商维非线性动力学系统，神经网络的 优良功能是由其动力学演化来实现的。神经冗相互连接就称为神经网络，其动 力学方程是由。组非线性方程来描述的，存n 寸问i j - 分为非线性连续系统和非线趾 离散系统两大类 1 ，5 ，7 。 非线性连续系统的动力学方程一股形式为以卜- 的微分方程组 i ，= 一( 工，z 。；c 。，c 。) 量2 = 厂lg l ，一，x 。；c 一，c 。) 量。= ( x 1 ，x 。；c l ，- ，c 。) ：，正中至少应有一个为非线性函数。 将参量表示为向量形式 c = ( c i ，c 2 ，c 。) 称为控制向量。令f 记 则方程组( l6 ) 获得如下向量形式 x = f ( x ，c 1 ( 1 - 6 ) ( 1 7 ) ( 1 8 ) ( 1 9 ) 方程( 1 9 ) 通常称为非线性系统的演化方程或发展方程。 对于离散系统实际上包含两类，一类是把系统的连续时间进行离散化，丽 把时间当作迭代的步骤( 时间问隔相等) 或一次逻辑转移( 时间间隔可能不相等) ， 虹型! ：捌盔堂丝：堂垃i 垒塞 状态变量仍为连续的：另一类是状态变量的离散化，离散型状态变量不论是数 字的还是符号的，它们都只有逻辑代数的结构。举一个最简单的例子。把时问 变化限制成等问隔的 看下一个时刻的系统状态如何依赖当前状态。 在只有一个变量x 时，这个演化 过程可能由一个非线性函数描述： z ( f + 1 ) = 缸，x ( f ) ) ( 1 1 0 ) 其中代表所有控制参量的集合。更一般些，时间跳跃的间隔( 或者说，对系统进 行观测的采样间隔) a t 可以不是整数。把各个时刻写成“，t 。，t ：，而相应状 态记为而，z l ，x 2 ，其中 x 。= z ( r ) ，t 。= ，o + n a t 于是，该方程( 1 _ 1 0 ) 成为 这是一个离散化的时间演化方程。非线性犬系有多种定性性质不同的可能形态， 这种特点是现实系统无限多样性、差异性和复杂性的主要根源。有了非线性系 统的演化方程后，可以利用微分方程的分支理论和突变理论、符号动力学理论、 多分形标度理论甚至重整化群等理论从解析方法、几何方法和数值计算方法上对 非线性动力学系统存在和演化的利啼f t 性质，如吸引了、稳定性、混沌、分岔与突 变、通向混沌的途径等进行深入的研究 1 ，7 。 网络的演化方程原则上都可以用( 1 6 ) 式或( 1 1 1 ) 式来表示。例如研 究中应用最广泛的一个全局耦合映射格子( 网络) 模型，它的形式为 衄塑i 兰盟点芏碴量建谂塞 ( 沪( 1 _ s ) ，。( o ) + ( ) 妻，g ( j ) ) ( 1 1 2 ) = t 而文献中常研究的延刚。h o p f e l d 神经网络模型的演化方程可写成 士，( f ) = 一q 一( ，) + l z ( x ，( 1 - - r 口) ) + ( 1 ，1 3 ) j = l 其中f 代表第f 个单元。x 代表单元的活性。s ，h ， ，也 ， ，) 分别代表 控制参数：权重参数、耦合参数、时延参数、外刺激参数。 ，或协) 代表非线 性函数关系。 ( 1 7 ) 式中的即代表离散化的第疗步时刻厶十n a t 1 ，5 。 神经网络总体上可分为人工神经网络和现实神经网络 3 ，5 。 ( 1 ) 人工神经网络 通常从上述1 0 条性质中，抽取其中的某些性质来建立模型。从应用的角度 来说，人们只要求神经网络能解决他们所希望解决的实际问题，而不去管神经系 统中是否也是按同样的方法来解决，甚至其基本单元神经元的性质也可能不 完全符合生物神经元的真实情况，或是由生物神经系统中得到某些启发而建立的 网络模型被称为人工神经网络。 ( 2 ) 现实神经网络 其主要目的是试图以此作为理解生物神经信息的处理工具。因此，它首先要 求其基本单元的特性不能违背生物神经元本身固有的特性，一般都是从上述1 0 条性质中选取若干条作为建立其神经元模型的前提条件：其次由这些神经元构 造的神经网络，在各神经元的连接方式上多采用某个真实生物神经回路的内部结 构方式，常可通过此类神经网络的仿真来解释相应神经回路的信息处理机制。这 类神经网络常被称为现实神经网络。 神经网络若按神经元状态分可分为两种，一种是离散状态另一种是连续状 态。在离散型神经网络中，神经元的兴奋态( + 1 ) 和抑制态( 一i ) 或( 0 ) ，而 在研究自旋时，讨论的取向也有两个方向( + 1 ) 和( - 1 ) 。所咀，神经元的离散 模型常用自旋来描述。个神经元相互连接就构成了一个尺度为的神经网 衄星盟i ：兰翅左堂避堂垃监塞 络其连接矩阵是矩阵，代表了网络的结构。其矩阵元睨代表了神经 元之间的联系。 对称情形下= 降0 ，用统计 = 的方法可以得到系统必有的稳 定平衡态，故又称为细致平衡条件。若矩阵元随机取值，则网络为随机不对称 的神经网络。 若按系统演化规则划分，则有 ( a ) 并行动力学( p a r a l l e ld y n a m i c s ) “川h ( 凳啊m 只 演化规则为所有的神经元在每一个离散时间步里同时演化。 ( b ) 串行动力学 ( s e q u e n td y n a m i c s ) ( 1 1 4 ) 丑9 + t ，= 宝_ 。+ - ，+ 粪w ，s j ( o 只) ， c t15)l o ) ) 。而每个单元初始时刻的状态变量随机均匀地在 ( o ，1 ) 区间赋值。采取式( 2 4 ) 的形式是为了归一化。固定( 2 2 ) 中的参 数万且设j = o i ，则这一网络中共有两个可变参数n 和c 。为了理解网络出现一 些新结构，在参数变化区间3 7 日4 0 和0 c 0 2 构成的相空间中讨论网络的 行为对参数a 、c 的依赖关系。 引入“网络活性” 一2 由寺著善旧嵋i ， 眩s ， 和 。二，：士羔r 勘+ r ：， ( 2 6 ) 分别来刻画单元之间连接的平均变化幅度和单元i 对其它所有单元的相互作用之 和，其中f ，、f 。分别表示暂态时间和对网络考查的时间长度。 i t o 和k a n e k o 选取f ，= l x l 05 ，f ，= 1 x 1 0 3 ，通过数值计算发现，在一 定的映射参数d 和耦合参数c 的区域，即在具有高亮度或取大爿值的部分区域一 一直线c = o 1 5 一3 7 ) 的下方，w ：。之间有较大的变化，网络展示出自组织结 构。在这样的组织中，网络所有的单元自动地分裂成“核心”和“周边”两组或 团簇，“核心”组内的成员联系紧密并对“周边”组产生极强的影响。在这样的 结构中所有的单元之问并不同步，这不同于传统的同步团簇。 衄必；兰世| 厶堂蝗：j ：坐熊地塞 2 对i t o 和k a n e k 0 3 ：作的进一步分析 现在我们部分地重复文献 5 3 的工作，深入分析上述结构，并指出文献 5 3 q 1 的一点缺陷。 选取r ，= 1 1 0 5 ，f 。= 1 l o3 ，可得到如图2 1 所示喇络活性爿依赖于参数 a 、c 的灰度图。在高亮度区，也即是网络的高活性区域，：! 起伏较大，因此， 网络单元之间的连接可能具有复杂的结构。在高亮度区域，如果连接w ：是完全 随慨那么每一对单元的匠= w 必就可能几乎相等i 且虬的增大它 们之间的差别将趋于零，这样。，之间就没什么数值上的差别了。相反，如果 在高活性区，网络具有某种结构( 反映在所有的以。上) ，则势必在每一对单元 的睦= ”必之间存在一定的变化o c 02 0 01 0 00 5 00 0 37 037 538 038 539 0 39 540 0 a 1 矿 鹾 0 5 l 0 0 2 1 用灰度表示的网络活性一依赖于映射参数a 和耦合参数c 。 赶垒塑! 兰趟叁皇毪圭兰僮诠塞 为此，计算w 二，的平均起伏 如图2 2 所示，其中( 。) 是对所有单元求w o 的平均。 c 0 2 0 0 1 5 0 1 0 0 0 5 0 0 0 3 7 03 53 b o 3 8 53 9 03 9 5 4 0 0 a 图2 2 用灰度表示的0 的平均起伏圪，依赖于映射参数d 和耦合参数c 。 半 i | 吃 6 2 o 6 3 0 t 1 o 0 o 0 图2 2 中的亮度标度是文献 5 3 图l b 中标度的一半，这是由于我们采用刻画 w ：。，平均起伏的方法不同于文献中的方法造成的，但这不会造成结论上的差别。 对比图2 1 、2 2 ，可发现高活性区出现在直线c = 0 5 2 一3 7 ) 的周围。在这 直线的上方，即对应于c 0 5 2 ( a 一3 7 ) 的部分，杉。，的起伏较小，而在直线下 部c 0 5 2 - 3 7 ) ，吃。，的起伏较大。按上分析，在高活性且具有大起伏的 w ：。，区域，网络会出现某些结构组织。于是，在图2 2 直线c = 0 5 2 0 3 7 ) 下 方的高亮度区，随机选取参数a = 3 9 7 ，c = o 1 2 ，研究网络在这一区域的结构。 为此，取= 0 ，把所有的w ，0 对时间的演化，这里是0 对变量。的变化画在 一起，如图2 3 所示。 从图中我们可看出，所有的单元分离成两组，一组的w 。i 取较大的值，另一组取较小的值。这种分离随f ，的增大愈趋明显。在图2 3 上 方的那一组吒较大，每一个吒随f ，的变化也大：下方的一组w 0 较小，其中每 一个变化也不大。必须指出，文献 5 3 描述( a = 3 9 7 ，c = 0 1 2 ) 对应于直线 c = 0 1 5 x 0 3 7 ) 的下方，显然( 口= 3 9 7 ，c = o 1 2 ) 不满足c 2 x 1 0 5 时， 吃，) ；1 ，也 与a 、c 无关。图2 3 中上方组出现的原因正是由于下方组中出现了许多 吃。 2 x 1 05 时) 的限制，两组的分 离要明显，则必有上方组中的单元数远小于下方组的单元数。 但塑暇：兰j 哒茎匿圭堂毽地塞 在初始时刻( = o ) ，单元之间的连接是均匀的，都为万j 1 。渡过一段暂 态过程后，网络涌现j 了这一自组织结构。从式( 2 2 ) 、( 2 ，3 ) 椰( 2 6 ) 可看出 单元的动力学与单元之间连接的动力学存在着内在的联系，这种联系是导致网络 出现各种结构的原因。我们引入单元之间的“平均距离” 譬卜x ：1 x ：一x ： 元2 ( 2 7 ) 元可以用来判断单元f 与单元，之间是否同步- 如果弓= o ，则单元f 与单元- ，在 考察期r ，刀+ f ，内是同步的。同时西也可以用来刻画单元的动力学与单元 间连接的动力学存在某种内在的联系。元由单元f 与单元，的活性决定。从式 ( 2 2 ) 、( 2 3 ) 、( 2 6 ) 知，单元f 与单元的活性影响着它们之间的连接强度， 而连接强度反过来又影响它们的活性，故乏的变化反映了单元的动力学与单元 间连接的动力学之间的内在联系。计算发现，单元i 、之间不存在同步，并且在 0 的平均起伏大的区域内，具有较大弓值的单元对数目较大。考查单元f 的动 力学，发现在整个参数区间3 7 口4 0 和0 c 蔓0 2 内，与单元之间没耦合( 即 c = 0 ) 的情形样，其行为是混沌的。图2 4 为未耦合单元的动力学行为的分岔 图。正如前面所说混沌提供了起伏，l _ e b b 规则提供了竞争，在非线性