（理论物理专业论文）复杂性网络中的自组织临界行为研究.pdf

复杂性网络中的自组织临界行为研究赵晓巍南开大学物理学院内容提要本文主要研究了复杂性网络中的自组织临界( s o c ) 行为，主要内容涉及在两种典型的复杂性网络：神经网络和小世界网络中所能够体现的自组织临界行为。首先，本文在标准的k o h o n e n自组织特征映射神经网络的基础上，通过加入一种神经元间脉冲的累积一发放机制，引入了一个耦合振子模型来研究神经生物系统中的自组织临界性机制。在这个模型中可以发生一定的自组织临界行为同时，我们还可以发现，在我们的模型中考虑的许多神经生物学及非线性因素( 比如，学习过程、个体间的差异、大脑中的特定功能分区、神经元间相互作用的非线性形式等等) 会对系统的s o c 行为的涌现产生非常重要的影响。然后，我们又引入了基于一种更加具有神经生物学背景的l i s s o m 神经网络的模型，发现了和前一个模型类似的行为最后，我们研究了一种基于小世界网络的推广b a k - s n e p p e n ( b s ) 生物演化模型中的自组织临界行为，在这个模型中我们也发现了自组织临界性的指纹一幂律行为同时我们发现小世界网络中捷径的出现概率毋对这个推广的生物演化模型的幂律行为及其临界指数有重要的影响关键词：自组织临界性，复杂性网络，神经网络，小世界网络，幂律行为s e l f o r g a n i z e dc r i t i c a l i t yb e h a v i o ri nc o m p l e xn e t w o r k sm a j o r ：t h e o r e t i c a lp h y s i c sa u t h o r ：z h a ox i a o w e ia d v i s o r ：c h e nt i a n l u na b s t r a c tt h i sd i s s e r t a t i o ns t u d i e st h es e l f - o r g a n i z e dc r i t i c a l i t y ( s o c ) b e h a v i o ri nc o r n -p l e xn e t w o r k s t h em a j o rc o n t e n t sa r er e l a t e dt os o cb e h a v i o r si nt w ot y p i c a lc o m p l e xn e t w o r k s ：n e u r a ln e t w o r k sa n ds m a l lw o r l dn e t w o r k a tf i r s t ，b a s e do nt h es t a n d a r ds e l f - o r g a n i z i n gm a pn e u r a ln e t w o r km o d e la n dam o r ed e t a i l e di n t e g r a t e a n d f i r em e c h a n i s m ，w ei n t r o d u c eak i n do fc o u p l e dm a pl a t t i c es y s t e mt oi n v e s t i g a t es o ci nt h ea c t i v i t yo fm o d e ln e u r a lp o p u l a t i o n s o u rm o d e lc a nd i s p l a ys o cb e h a v i o ri nac e r t a i nr a n g eo fs y s t e mp a r a m e t e r s ，a n dm o r ei m p o r t a n t l y 7w ef i n dt h a ts o m ep r a c t i c a lc h a r a c t e r i s t i c so fr e a lb r a i n ( s u c ha sl e a r n i n gp r o c e s s ，d i f f e r e n c eb e t w e e ni n d i v i d u a l s ，s p e c i f i ca r e a so fb r a i n ，n o n l i n e a ri n t e r a c t i v ef o r m sb e t w e e nn e u r o n s ，e t ，a 1 ) h a v ev e r yi m p o r t a n te f f e c to nt h ee m e r g e n c eo fs o cb e h a v i o r t h e nw ei n t r o d u c ean e wm o d e lb a s e do nl i s s o mn e u r a ln e t w o r km o d e l ，w h i c hh a sm o r en e u r o b i o l o g i c a lf e a t u r e s w ef i n ds i m i l a rd y n a m i c mb e h a v i o r st ot h ep r e v i o u sm o d e l a tl a s t ，w ei n t r o d u c ean e wg e n a r i l i z e dm o d i f i e db a k - s n e p p e n ( b s ) e v o l u t i o nm o d e lo nas m a l lw o r l dn e t w o r k w ef i n dp o w e rl a wb e h a v i o r ( t h ef i n g e r p r i n to fs o c ) i no u rn e wm o d e l a tt h es a m et i m e ，w ef i n dt h i sb e h a v i o ra n ds o m eb a s i ce x p o n e n t so ft h em o d e ld e p e n do n 九t h ed e n s i t yo fs h o r tp a t h si no u rs m a l lw o r l dn e t w o r k k e yw o r d s ：s e l f - o r g a n i z e dc r i t i c a l i t y , c o m p l e xn e t w o r k s ，n e u r a ln e t w o r k s ，s m a l lw o r l dn e t w o r k ，p o w e rl a w 第一章绪论在过去的几百年中，以牛顿力学为代表的简化论和还原论的研究方法在自然科学研究中取得了巨大的成功，因而成为了科学研究的主流范式。简化和还原论世界观认为，尽管大自然可以极其复杂，然而，一旦人们掌握其构成的来龙去脉，一切都将迎刃而解，这是因为大千世界充其量是构成其整体的各个部分之和【1 】但事实真的是这么简单吗? 随着科学的发展，人们发现越来越多的自然现象并不能简单的表示成“整体等于部分和”，比如，混沌理论就告诉我们，即使由极少数个体构成的简单系统都可以灵敏的感应出最微小的干扰，从而以一种难以预测的方式进行运动，体现出一种非常复杂的行为【2 ，3 】。而哈肯( h a k e n )的“协同论” 4 和普里高津( p r i g o g i n e ) 的“耗散结构论” 5 告诉我们，大量的简单独立元素整体可能会展现一种令人惊异的大范围协作行为因而，科学家们对还原论和简化论的世界观产生了越来越大的怀疑。正是在这一背景下，- - 7 新的前沿科学“复杂性科学”蓬勃的发展起来了。尽管这一学科现在还缺乏一个严格的定义，但从这一领域中涌现出来的许多新概念，已经被运用到从天文学、生物学、物理学直到经济学等不同领域，用来解释我们这个丰富而复杂的大干世界。科学和自然两大科学刊物就分别于1 9 9 9 年和2 0 0 1 年推出了关于复杂性研究的专题，报道了这一领域的新进展 6 ，7 】复杂性科学是一门多学科交叉，多学科融合的科学，而且正处于它的新兴时期，因此它涉及到许多非常有前途的研究方向和热点课题。其中一个方向是研究大量简单的独立个体通过相互作用而在不同的层次上所涌现出的独特动力学行为自组织临界性( s e l f - o r g a n i z e dc r i t i c a l i t y ) 现象就是这一方向的一个重要研究课题。另外，现在很多科学家把目光聚焦在复杂的自然和社会网络所能体现的复杂行为上来我在博士期间的工作就是力图把这两个热点课题结合起来进行研究，看看2第一章绪论复杂性网络的不同特征对自组织临界行为的影响这里就首先介绍一下自组织临界现象和复杂性网络。1 1 1自组织临界性( s o c ) 简介在自然界和社会生活中存在着大量的以幂律行为为代表的“标度不变”行为f 8 i 。比如在地震学研究中，地震震级震级吖和其出现频数之间的关系就存在著名的g u t e n b e r g r i c h t e r 关系l o g ( m ) = o b m ，这一关系在双对数坐标上表现为一条直线，具有幂律行为 g 。这一行为说明了，现实世界中，小地震是比较常见的，但大地震也有一定的概率出现，而且它们并不占有特殊的地位，和小地震一样遵从同样的规律。在生物学中，以往人们往往把大规模的生物灭绝事件，归因于偶然性，比如恐龙的灭绝是一颗小行星偶然撞击了地球的结果。但科学家们根据化石记录，发现生物演化中灭绝事件规模大小和其出现概率之间的函数关系，也遵循着幂律关系，在双对数坐标上是一条直线【1 0 j 。因此，也许大的生物灭绝事件并不需要一个偶然的外来原因来解释，而是和小的灭绝事件样，是生物界这一复杂系统内部某种特定机制的必然结果，因而也是不可避免的。在经济学方面，也存在一个与g u t e n b e r g r i c h t e r 关系类似的经验性模式，著名的分形学家曼得布洛特就指出，证卷、棉花以及其它商品价格低和高的波动的概率，遵从一种非常简单的模式 1 1 ，他收集了几年中棉花价格逐月波动的资料，计算出一个给定的价格波动对应的月份有多少，可以发现价格波动的分布在双对数坐标上近似遵从一条直线，即具有幂律行为。也就是说，价格波动是“标度不变”的，即价格波动没有典型的尺寸，正如地震没有一个典型的特征大小一样。而且大的价格波动和小的价格波动遵循同样的规律，尽管大的价格波动可能会产生毁灭性的后果，但它本质上与小波动样，并没有什么特别的。另外在社会学和语言学方面，著名的齐普夫定律指出 1 2 】，世界上具有一j 1 自组织临界性f s q g ! 坠3定人口数的城市数目和人口数之间存在有幂律关系，而如果对一篇作品中每个词的使用频率作一统计，并按其出现频率由高到低加以排序，则其频率和序号之间，也存在着幂律关系其它的幂律行为还包括，著名的1 f 噪声，也叫闪变噪声1 9 2 5 年j b j o h n s o n发现，热阴极的噪声电流除常见的与频率无关的白噪声外，还在低频端存在功率谱s ( f ) 反比于，的强噪声，即1 ：噪声在双对数坐标上画出s ( f ) 关于，的函数，也是一条直线，即出现了幂律行为。后来人们又发现，不仅在碳膜电阻、半导体和金属膜电阻等固体导电现象中发现存在i 噪声现象，而且在有生命的细胞膜电位变化中也发现了1 ：涨落 1 3 】另外在一些自然或社会现象，如尼罗河水流量的变化、人的心率不齐、人类认知 1 4 】、高速公路上的车流变化，甚至优美的音乐中15 1 ，同样观察到了闪变噪声上述现象都有一个共同的特点，就是都存在幂律行为，在双对数曲线上都表现为一条直线这就使得人们产生这样的问题，为什么这些具有如此复杂性和不确定因素的系统，比如地球的表面、生物界、经济市场、城市、语言等等都能够产生一个如此简单的规律? 在这一简单规律的背后，是否隐藏着一个共同的潜在原理? 幂律行为能够用一个类似牛顿定律的普遍原理来表述吗? 很多科学家就认为，自组织临界性( s e l f - o r g a n i z e dc r i t i c a l i t y 缩写为s o c ) 也许就是那个潜在的普遍原理f 8 ，1 6 ，1 7 。下面我就简单介绍一下自组织i 临界性概念1 - 1 1宜组织临界性概念自组织临界性的概念是b a k ，t a n g ，w i e s e n f e l d 在1 9 8 7 年提出的1 8 1 ，其含义主要是指一大类由多个单元组成的复杂系统，在外界驱动和内部组元间的相互作用下，能够通过一个漫长的自组织过程演化到一个动力学临界状态，在这个状态下，系统的一个微小的局域扰动可能会通过类似“多米诺效应”的机制被放大，其效应可能会延伸到整个系统，形成一个大的雪崩由于可以解释在自然界和社会生活中广泛存在的“标度无关”( s c a l ef r e e ) ，或称“标度不变”( s c a l ei n v a r i a n t ) 行为，以及“1 f 噪声”现象( 这一点仍存在争论) ，而且。可以把两个令研究者着迷的概念，“自组织”和“临界性”，结合起来研究一个更加吸引人的课题“复杂性问题”。s o c 概念自从提出以来就受到了广泛的重视和研究，涌现出了成千上万篇论文。所以我们理解s o c 概念，要分别从“自组织”和“临界”两个方面人手。从自组织的方面来说，不需要对外部控制参量的明显调节，s o c 系统就可以自我演化到一个临界状态。这与平衡态统计力学中平衡相变的临界性的出现是不同的，比如在铁磁相变中，当系统的一个参数( “温度”) 经调节逐渐下降到居里点时，会发生由无序的无磁性状态到有序的磁化状态的相变，同时出现一些临界行为。从上述过程我们可以看到，平衡系统的相变需要调节系统的某个参数，而艘认为s o c 的产生是通过系统内部组元间的复杂的相互作用而产生的，纯粹是系统自身的种动力学，不浓赖于任何参数。从临界行为的意义上说处于s o c 状态的系统中会出现各种大小的“雪崩”l 孙a l a n c h e 事件，而且“雪崩”的大小( 时间尺度和空间尺度) 均服从“幂律”分布，这意昧着系统的雪崩动力学行为没有一个特定的特征长度，各种尺度上的雪崩行为都可能发生，具有时间和空间上的“标度无关性”，体现了由短程的局域相互怍用导致的系统组元间的种长程时空关联。这时，系统的行为与第二类相变时临界点的行为有相似之处，也有临界指数等概念，也可以用一些在相变现象中行之有效的方法来处理，因此，b t w 在对s o c 行为的表述中，借用了“临界毪”这一概念。1 1 2自组织临界模型及研究方法简介科研工作者们已经在多种系统中发现了s o c 现象，知名的有b t w 沙堆模型，o f c 地震模型，b s 生物演f ：模型等等，下面就分别介绍一下l ，1 21b t w 沙堆模型沙堆模型是b t 、- 提出来的一个最早的5 0 c 模型，产生了很大的影响j 1 自组织临界性$ d c 筒舟5f 1 8 ，1 9 ，2 0 ，2 l 为了更好的理解这个模型，让我们设想如下的个场景：向一个平的方桌上，缓慢的扔沙子开始，落下的沙子就停在原地，但随着沙子的增多，沙堆开始形成，而且有时随着一个沙子的落下，会使一系列的沙子产生滑动，形成一次沙崩( 也可叫雪崩) 开始一个沙子的滑落只会带来些小的、局部的雪崩，也就是沙堆中只存在有特定尺度的局域行为。但随着沙子的增多，沙堆变得越来越陡，一粒沙子的滑动，可能会引起大量沙子的滑动到最后，沙堆演化到一个临界态，正好处在稳定性的边缘上，此时每加粒沙，就会产生具有各种时阉和空间尺度的坍塌，它们满足幂俸分布，也就是沙粒闽产生一种长程的对空关联，系统从沙粒遵守的自身局域动力学状态转变到整体动力学突现的临界态。4 一；l 图1 1 1 沙谁下面讨论一下模拟沙堆动力学的模型：用一个二维格子( 1 a t t i c e ) 来代表桌子( 其它维数的也可以) ，格子中每个格点都有一个坐标( ，j ) ，用一个整数z ( i j )6鲁一章绪论来代表落在格点( z ，j ) 上的沙粒数目，有一粒沙落在格点( i ，j ) 中可以表示为z ( z 、j ) _ z ( 。，j ) + 1 ，当某个格点中的的沙粒数超过一个阚值时，这个格点就会向其邻近的4 个方格，坐标为( i 7 ，j7 ) ，中的每一个格点输送一粒沙，该格点中的沙粒数也会减少4 个单位：z ( i 7 ，j ) _ z ( i ，j ) 十1z ( i ，j ) - z ( i ，j ) 一4f 1 1 )这里为了体现真实的沙堆，采用开边界条件，即一个在边界上的不稳点，会导致一粒沙子离开这个系统。当然，针对不同的其他情况，也可采用不同的边界条件。llll，一?lol一一333l211l32-321211lll22101一334l2l2l323l2l一图l2 ：上图刻画了沙堆的崩溃动力学。左图是沙堆的初始态。中国表示的是在中间的方格中增加一粒沙，导致该万格的沙子数超过临界值，g l 起该方格的崩溃，从而引起一系列的崩溃。右图显示的是沙堆最后的状态。阴影部分表示的是崩溃过的方格，而这些方格的总数就是所谓的崩溃的规模。运行这一模型，人丁发现经过一段暂态过程后，系统达到了我们前面所描述的自组织临界态，可以发现雪崩大小s 与其出现的概率间有一幂律关系p ( s ) s 一、并且雪崩持续时间t 的以s 7 - 为权的概奎分布函数| d ( 丁) 也具有幂律关系d i t ) 一丁一，这就是所谓空间和时间的标度不变性。在这里育必要谈一下上文提到的1 ? 噪声，它实际上也是一种标度不变现象。b a k 等人宣称在b t w 沙堆模型中，若将雪崩看作某种能量耗散，令f ( t 1代表某雪崩s 在时刻t 的能量耗散，有s = f ( t ) d f f ( o ) = 1 ，又令s ( r ，r ) ：j i 告鳃织临界性( s o ( 篱舟7f i t ) e 2 ”nd t 为其功率谱，则其全空间的功率谱s ( i ) = d ( t ) s ( t ，) d t 同样具有幂律关系，即s ( ，) 一，0 卢= 2 一q - 、) = a b m 又因为地震能量随震级的增加丽增加，即l o g e = c 4 - d m ，所以可以得出nxe 一，这就是地震现象中的幂次规律正是这一现象促使人们开始思考地震中的s o c 现象。在地震学的研究中，有一种公认的观点是地震的动力学与地壳的粘连一滑动( s t i c k s l i p ) 机制有关当地壳的某一处发生滑动时，该处的能量就被释放出来，而能量就随之传播到附近的环境当中基于这种物理图景，并对b u r r i d g e 和k n o p o f f 著名的弹簧一板块( s p r i n g - b l o c k ) 模型【2 6 做了一定的简化，o l a m i 、f e d e r 、c h r i s t e n s e n 提出了二维格子的o f c 模型【2 2 j j 。他们用一个= 维的格子来模拟地壳，格子中的每一个格点( i j ) 代表地壳中蒋一章绪论的一定板块( b l o c k ) ，每个格点上有一个动力学变量e ( i j ) ( 一个在o ，1 之间的随机数) ，代表该板块上承受的能量，当格子中所有格点的能量小于阈值日 = l时，代表地壳处于静息状态。这时找到e 的最大值e n 。，使每个格点的能量增加1 一f ，。，代表地壳的能量受外界的影响而增加这样会有一个z ( i ，j ) 大于阈值e e h ，相当于该板块超过了它的弹性限度，从而发生滑动，向它最近邻的四个格点，坐标为( i 7 ，j ) ，发出一定的能量，同时自身回落到0 。e ( z 7 ，) _ e ( i j ，) + n e ( z ，j )z ( i ，j ) _ 0( 1 2 )而它的近邻板块，也有可能发生滑动，从而引起连锁反应，发生一次地震f 雪崩) 。这里o 是动力学变量局域非守恒的量度，显然除n = 0 2 5 外，局域动力学变量不守恒。通过研究，人们发现o f c 模型的雪崩大小分布呈现了幂律行为。大多数研究者认为0 f c 模型具有几个有别于沙堆模型的重要特点：首先它的动力学变量是连续的，其次就是该模型能够在n 篷的较大范围内出现5 0 c行为。即在o f c 模型中，守恒条件不是s o c 行为所必需的。当然，这一点现在仍在争论之中。1 1 23b s 生物演化模型生物进化过程中既有象恐龙灭绝这样的大事件，又有一系列小事件发生的特点为s o c 理论的应用提供了另一领域，1 9 9 3 年b a k 和s n e p p e n 提出了一类新的s o c 模型，b s 生物演化模型 2 了 。这个模型与其他模型相比，具有更加简单的演化机制，而且易于进行严谨的理论分析，因而成为现今s o c 研究的主流模型。f 面怍一简要介绍。b s 模型的演i 匕机制是非常的简单的：用一个含有“个格电的格子( d 是格于维数) ，心表含有上。个物种的生态系统，每个格点有一个动力学变量 ，代表该物种的生存适应性，每次迭代时，选取全部格点中动力学变量最小者作l ! ：呈墨童堡堕堕笪佥!为不稳定格点，对它以及其邻近的格点进行随机的更新，代表一个最不适应环境的物种灭绝，被一个新生的物种所取代，同时与它在食物链中相邻的物种会受到它的影响。研究表明，尽管开始时灭绝事件发生的空间定位毫无规律，但随着时间演化，经历一个漫长的暂态过程，事件发生点的空间关联得到加强，系统到达了一个统计学定态，所有格点的随机值几乎大于一个阈值，c ，并且密度均匀分布；两事件的空间距离z 的分布函数c ( x ) 出现了幂律行为；雪崩大小分布亦成幂律分布( 这里的雪崩定义与其他模型有所不同，是格点连续的最小值不大于一个设定值，0 丘的时间步的大小。称为，0 雪崩) 。而且，单独观察每个格点的活动事件，会发现其具有长时间的静息和突然的爆发相结合的特点，这与生物演化中的断续平衡( p u n c t u a t e de q u i l i b r i u m ) 现象非常相似，同时事件的时间间隔也具有幂律行为。最初，人们是通过计算机模拟，实验等方法来研究s o c 的，通过这些唯象的方法，科学家们提出了应用于各种领域的新模型，而这些模型也在s o c 的发展中起了里程碑的作用。而现在为了构筑s o c 所满是的一般理论框架及精确而简单的公式化体系( 正如通过牛顿定律就可以构筑起经典力学的大厦，以及可以把平衡态统计力学的问题归结到配分函数的计算一样) ，人们越来越倾向于采用一些在统计物理学研究中行之有效的方法：比如平均场理论2 8 ，2 9 。3 0 9 8 1 、重整化群方法 3 2 3 3 ，34 、主方程方法等，来研究s o c 现象，这里就不再赘述了1 2 复杂性网络简介网络，就是以某种方式联系起来，且彼此间或大或小产生影响的群体 1 。无论是在自然界还是社会生活中，都存在大量的网络，比如食物链【3 5 】、细胞与新陈代谢网络 3 6 3 一】、神经网络【3 8 】、互联网【3 9 】、电力网络、甚至连人际间的交往也会构成网络这些网络在自然界和社会生活中都起着非常重要的作筝一章绪沦用，一旦出现问题，往往会造成我们想象不到的重大损失。比如，1 9 9 6 年美国俄勒冈州两条电力线路的损坏，就造成了美国1 1 个州和加拿大两个省长达1 6小时大范围停电。而2 0 0 0 年五月四日，互联网上爱虫( l o v eb u g ) 病毒的侵袭就造成丁世界范围内数十亿美元的损失。因此研究清楚这些网络的结构，以及这些网络的动力学行为，是有非常重要的意义的 4 0 但这些网络往往都是非常复杂的，它们的性质并不能简单的通过研究其构成元素的性质来理解，它们的整体行为也往往并不等同于它们的各个组成部分行为之和。s t r o g a t z 在发表在自然杂志的题为探索复杂性网络一文中4 1 1 ，就把网络中复杂性的来源总结为以下六个方面：( 1 ) 网络结构会引起复杂性：网络结点间的连线有可能非常复杂。( 2 ) 网络演化会引起复杂性：网络结点间的连线可能会随着时间而改变，比如互联网中网页上的链接会随时产生和消失。( 3 ) 网络结点问连接性质不同引起的复杂性：网络中各结点间的连接可能有不同的权重、方向、或符号。比如在神经网络中神经元间的突触连接就有强有弱，有兴奋性的、有抑制性的。( 4 ) 动力学复杂性：网络的结点可能是非线性系统，它们的状态会以复杂的方式随时间而改变。( 5 ) 结点之间的不同：网络中可能有各种各样的结点，它们之间也会有很大的不同。比如哺乳动物体内控制细胞分裂的生物化学网络就由大量不同的酶和酶作用物构成的。( 6 1 以上| i 方面的共同作用：以上的五种复杂性还可能相互影啊共同作用。比如电力网络的布线会随着时间而变化，这就是同络演七( 2 ) 影响了网络拓扑结构( 1 ) 。再比如在神经网络中，当耦合的神经元重复的共同发放时，它们之间的突触连接就会得到加强，这实际上是大脑学习和记忆的基础机制，即著名的h e b b 规则。在这里，结点的动力学【4 ) 影响了( 3 ) 连接的权重。正是因为网络具有如此错综的复杂性所以网络才能够表现出丰富多彩的l ! ：兰塞鱼丝里垒堕尘一! !行为。但这也给我们的研究带来了一定的困难使我们难于透彻的理解复杂网络。因此，科学家们往往根据自己研究领域的需要，只注意网络的部分复杂特性，而忽略其它一些比如有些研究只考虑网络的动力学复杂性，而另一些研究则聚焦在网络拓扑结构的复杂性上面但这样的研究往往会陷入“只见树木，不见森林”的境地，所以，本人博士期间的工作主要是研究这些不同的作用间的相互影响，是怎样使网络涌现出独特的复杂行为以下就简单介绍一下两种复杂的网络：神经网络和小世界网络，它们是我工作的基础其中神经网络主要涉及第二、第三和第四种复杂性，而小世界网络主要涉及第一种复杂性。一1 2 1 神经网络系统f 3 8 4 2 1 2 1 1大脑为主体的人类神经网络系统，是人类信息处理的最高级器官经年的进化，已经成为了一个非常庞大和复杂的系统，具有空间和时间度复杂性。能够完成十分复杂的功能，是一个典型的复杂性网络系统4 3 4 4 45 神经网络的生理学基础神经网络系统的基本单元是神经元即神经细胞f 4 6 ，4 7 如图1 3 所示，神经元由细胞唪，轴突，树突组成细胞体是神经元的核心部分轴突能延伸很远，其上伸出的树枝状树突与其它细咆的树突或轴突相连结，连结处称为突触。神经元通过突触连结组成一个网络，称为神经网络神经元之间的相互作用一般通过电脉冲的形式来传播 4 6 神经元有兴奋和静息两个基本状态，一个神经元处于兴奋状态时，它就发放电脉i 中如果刺激较弱，还没有达到一个兴奋的阈值，神经元将保持静息。不发放脉冲电脉冲通过轴突，树突传递至突触，再通过激活离子通道，传递到其他神经元。电脉冲通过突触对其他神经元可以产生兴奋和抑制两种作用，兴奋型突触倾向于使接受神经元激活，抑制型突触倾向于使接受神经元静息咏冲发放的频率与由万高干的过上一! ! 堑昱盟图1 3 神经元的结构神经元所受的刺激的强弱有关，刺激越强，频率越高。电脉冲的传播使接受到的外界信息在神经网络中传递，引起神经网络中各神经元的状态发生改变。虽然神经元的基本状态是相当简单的，但是，它对外界刺激的应激过程是一个非常复杂的动态过程，较早提出的描述这种变化过程的h h ( h o d g k i n h u x l l _ e y )方程h 8 】就很复杂。神经元还有其它一些重要功能和属性，如( 1 ) 时空整合功能，即神经元对不同时间通过同一突触传入的神经冲动，具有时间整合功能；对于同- 日, j - 间通过不同突触传入的神经冲动，具有空间整合功能。( 2 ) 突触对神经冲动的传递具有时延和不应期，在相邻的两次冲动之间需要一个时间闻隔即为不应期，在此期间突触对激，劢不响应，不能传递神经冲动。( 3 ) 3 学习、遗忘和疲劳由于结构可塑性，突触的传递作用有增强、减弱和饱和，所以细胞具有相应的学习功能、遗忘或疲劳效应( 饱和效应) 。一个神经元的行为就已经相当复杂，那么由大量神经元构成的神经系统的l ! ：兰塞空丝堕查笪尘三墨复杂度就更高了如人的大脑皮层约由1 0 “一1 0 1 2 个神经元构成，每个神经元叉与约1 0 4 1 0 5 个其它神经元通过突触相联系整个神经系统，从分子到神经元到网络，各个层次都存在复杂的非线性相互作用另外，通过神经心理学和精神病学的研究，人们认识到，人脑功能是分区的，有各种功能柱( 神经元群) 存在，即大脑的不同部分处理不同的信息，不同的输入信息只改变一部分脑神经元的电活动。同时大脑的功能分区不是一成不变的，它因人因环境而异当感觉器官或脑受到某种程度的损坏时，脑皮层中的功能甚至会发生调整或重新分布因此，神经网络的一个基本特征是其结构和功能具有多样性和可塑性普遍认为，突触可塑性是脑适应环境的最重要的途经之一大脑接受外界刺激后，通过某种学习机制，使突触发生改变，从而影响大脑未来的行为。大脑的所有智能活动，如感知、记忆、推理等，都是由神经元通过复杂的相互作用形成的网络来完成的可以设想，复杂的动力学可能在大脑完成这些信息处理过程中起著至关重要的作用。用在复杂性研究中行之有效的非线性动力学分析的方法，在网络这样的层次上来研究神经系统的行为，可能是理解它的功能作用的一个有效途径1 2 1 2 人工神经网络模型简介模型化研究是探索研究对象的实质和规律的一种有效方法。而人工神经网络模型就是对大脑这一复杂网络的简化模拟它是由具有适应能力的大量筒单处理单元并行连接而成的网络，是一个具有高度非线性的大规模系统，其与外部世界的关系类似于生物神经系统。反映了大脑的基本特性但必须注意的是，它并不是大脑的真实描述，只是它的某种抽象，简化和模拟4 3 4 9 j 0 ，j 1 1 ：肾神经网络模型化首先必须建立合适的神经元数学模型。为建立神经元模型，必须先确定某个性质怍为神经元的基本状态变量一个自然的方案是将生物神经元电活动的激活和静息当作模型神经元的基本状态 5 2 】也有人认为以1 4蒂一章绪论神经元在单位时间内的脉冲发放速率作为基本状态变量更符合生物系统的信息处理过程【j 3 】不论是以弥冲发放与否还是吼脉冲发放率作为状态变量，神经元的状态都有如下方程：s ( t ) = v ( v ( t ) 一目( ) )( 13 )其中的s ( t ) 表示神经元在t 时刻的状态，目( t ) 表示阈值，v ( t ) 表示神经元的内部状态( 内局域场) 。内部状态是一个很模糊的概念，它粗略表示神经元的膜电位或电流，包括从突触收集到的其它神经元的输入和外界环境的刺激。函数f ( z ) 称为激活函数，一般说来它是非线性的。这种非线性是导致神经网络有非常复杂的动力学行为的重要来源之一。如果以激活和静息作为状态，s 可以取为二值变量( 取值土l 或1 , 0 ) 。方程( 13 ) 表示当内电位超过阈值时，神经元被激活，发放一脉冲；否则处于静息状态，这时激活函数常取符号函数f ( x ) = sz g n ( x 1 。如果以脉冲发放率作为状态，s 是有界的连续变量，通常取自区间f 1 1 或 o ，1 】。方程( 13 ) 意味着内电位越高神经元发放得越频繁。这时激活函数是s i g m o i d 型上下有界连续单增的非线性函数，如图l4 所示。神经网络( 模型) 是由多个神经元s 。( ，= 1 ，2 、- ) 通过相互作用联结而成的网络系统。相互作用的强弱用权重u j 。i t ) ( 称w 为互联矩阵) 来表示。一个神经网络系统的动力学演化过程一般可以表示为：1s ：( + 1 ) = f ( l i j ：毛( t ) 一目。f ) )( 1 4 )j这里s ，( t ) 表示第z 个神经元在r 时刻的状态，i j ，代表由第j 个神经元到第，个神经元的相互作用权重，目。代表t 时刻第i 个神经元的发放阈值。函数f f i ) ，如上文所述，是一个非线性激活函数。而网络的演化可以采用并行或串行的方式。神经网络模型的一个主要特征就是信息的分布式存储【5 4 ，它是指在神经网络系统中，信息是存潞于神经元的相互作用矩阵1 1 中，信息的处理过程是一l ! ：! 墨塑量旦鳖笪坌一一旦厂| | | | 夕图14 ：s i g m o i d 型函数个并行处理的过程神经网络模型主要是通过学习来改变相互作用权重w ，并同时将信息分布式地存储到中正是信息的分布式存储和并行处理能力使得神经网络模型在联想记忆、模式识别以及t i 亡化计算等领域中得到了广泛的应用f j 5 j 6 经过近年来的蓬勃发展，已经有多种人工神经网络模型被建立和广泛的应用了起来知名的有h o p f i e l d 神经网络、反向传播( b a c kp r o p a g a t i o n ) 神经网络、b o l t z m a n n 机等等这里就不再赘述我的工作的基础是自组织映射神经网络这一类型的网络能够通过自组织( 无导师学习) 形成对外界信息输入的拓扑映射结构大脑的信息映射过程也具有类似的特点，因此与b p 网络等有导师学习神经网络相比，自组织映射同络被认为更能够体现出大脑的认知过程我希望能够通过研究它所沐现出来的复杂行为，增进我们对大啮神经系统中的复杂行为的理解我将在第二、三章详细的介绍标准的s o m 及l i s s o m 两种自组织映射神经网络1 6第一章绪论1 2 2 小世界( s i i l a l lw o r l d ) 网络简介在网络的拓扑复杂性方面，除了规则网络，现在人们主要关注三种网络：随机图( r a n d o mg r a p h ) 网络 5 7 、5 8 1 、标度自由( s c a l ef r e e ) 网络 5 9 ，6 0 1 ，和小世界( s m a l lw o r l d ) 网络 6 1 6 2 ，6 3 】这里主要介绍一下小世界网络。小世界网络体现了介于完全有序( 规则网络) 和随机( 随机图) 之间的一种拓扑结构。它在规则冈络的基础上，以一定的概率击在格点之间重新连接( r e w i r e ) 6 1 或加上( a d d ) 6 3 】一些随机的连线( 如图t 5 ) 可以发现，这使得网络中任意两个结点可以通过较短的路径相连，就像随机图中可以体现出来的一样，同时它又可以具有规则网络的特点。一般来说，当击比较小时，小世界网络趋向具有规则网络的特点，而当西比较大时，它则趋向具有随机图的特点。小世界阿络实际上体现了现实网络中存在的一种特性：尽管现实中很多网络会非常巨大，但它的格点之间往往会有相对较短的捷径存在在社会生活和自然现象中存在着很多这样的网络。最常被提起的就是社会学中的“六度分离律”( s i xd e g r e e so fs e p a r a t i o n ) ，这一概念是被美国社会心理学家s t a n l e ym i l g r a m 于1 9 6 7 年提出的f 6 4 1 。它指出美国的任意两个居民之间可以通过一条长度大约为六个人的一系列交往联系起来( 比如a 认识b ，b 认识c ，c 认识d ，则a和d 之间借助两个人的交往联系起来) 。现在，关于小世界阿络的研究已经深入到了从细胞生物学到社会科学的不同领域。在这一领域，不同的科学家根据自己的背景寻找着自己关心的不同问题。比如，关心算法及其复杂性的数学家和计算机专家们就发现，小世界拓扑结构往往可以和许多困难的寻优问题相联系f 6 5 1 。而流行病学家就发现在小世界网络的基础上，传染病的传播住往要比在规则网络中快许多，因而对我们现有的传染病控制策略和疫苗研制提出了挑战【6 6 】。尤其需要注意的是，有些神经生物学家请测大脑神经冈络也许就通过这样一种拓扑结构联系起来。他们认为以这种方式耦合在一起的动力学系统，与同样大小的规则网络相比，将会有更快的信号传播速度、同步能力和计算能力，原因就在于这些捷径给网络中相l ! ：! 墨垒丝堕堡箜堂一一! lo 渗r e w i r i n go fl i n k soo a d d i t i o no fl i n k s图15 ：小世界网络的构造过程，随着随机捷径的增加，网络由规则网络演化到随机图a 最初的w a t t s s t r o g a t z 模型，随机捷径是重新连接( r e w i r e ) 的b 随机捷径是加上( a d d ) 的隔较远的部分以比较快捷的联系通道，从而加速了一些需要全局合作和信息交流的动力学过程( 比如同步和计算) 6 7 1 。这里举一个简单的小世界网络模型，这是最初的、+ a t t s s t r o g a t z 模型的一个变种，即捷径是添加而非重新连接的，如图l5 b 。我的工作的基础就是这一模型【6 3 】具体如下，有一个由n 个结点组成的环，每个结点与它的近邻和在k范围内的次近邻相连在这个规则网络的基础上，随机的在任两个点之间添加一些捷径，其概率是对原来每条连接有0 的概率，这样上图中就会有n k o 条捷径常见的一个问题是，网络中壬意两个结点的路径长度( 即其间的连接数)第一章绪论图t 6 ：小世界网络中平均路径长度随平均捷径数的。变化过程，点为实测值，线为理论值，摘自f 4 1 1的平均值f 是多少? 从实验和理论上都可以得到( 如图1 6 ) ，在n _ 。c 并且，l 艇) 一o c 或0 的情况下，f = 兰k m z 1。、+ 、1 。，这里，几r ) 2 志t a n h - l 志( 1 6 )可以发现当n h o = l 时，f 有一个转变过程，由高值转变为低值，说明捷径的存在，哪怕只有一条，也会有效的降低网络结点间的距离。l ! ：兰查堡奎宣奎窒壁! 旦1 3 本论文内容安排前面我们简要介绍了自组织临界性、复杂性网络中的神经网络、小世界网络的发展和基本概念后面的章节将表述我们在把复杂性网络与自组织临界性结合方面所作的一些工作第二章，第三章中，分别以标准的s o m 神经网络和l i s s o m 神经网络为基础，我们研究了神经网络系统中所能体现出的自组织临界性行为我们发现，神经网络的各种复杂因素，如个体间的区别、神经网络的学习、神经网络的不同特征区域，神经元相互作用的函数形式，对s o c 行为都有重要的影响这使我们相信，自组织临界现象可以作为对真实神经系统中的标度不变行为的一种可能解释，但必须考虑神经系统中的现实的复杂因素，才能使我们透彻的理解这一行为第四章我们提出了一种以小世界网络为基础的推广的生物演化模型，主要着眼于网络的拓扑结构对模型的动力学行为的影响结果表明，在我们的模型里也发现了自组织临界行为的指纹一幂律行为。同时我们还发现小世界网络中捷径的出现概率西对这个推广的生物演化模型的幂律行为及其临界指数有重要的影响在这章的最后，我们还研究了该模型中的时间关联以及空间关联推出了一些解析方程，这些方程是对该模型作进一步理论研究的基础第五章是对我们所做研究工作的总结以及对今后工作的展望，也包含本人对自组织临界性研究的一点看法第二章自组织特征映射神经网络( s o m ) 系统的s o c 行为研究在上一章里我们简单的介绍了一下自组织临界性和复杂性网络中的神经网络系统、小世界网络的基本概念。在本章和下一章中，我们将讨论在神经网络系统中出现的s o c 行为，以及神经网络的各种复杂因素对s o c 行为的影响。首先介绍我们为什么要研究神经网络中的s o c 行为，以及这方面的研究动态2 1神经网络与s o c 的关系正如我们在第一章中所看到的，由大量简单的个体所组成的系统处于s o c态时，具有空间和时间尺度上的标度不变性，能够发生各个时间和空间尺度上的动力学行为，处于稳定性与可变性的边缘( 交界处) 。因此，有人认为s o c系统具有最大的复杂性和潜在的巨大计算能力 6 8 j 。而大脑正是由大量简单的神经元所组成非常复杂的系统，具有巨大的信息处理能力。其信息处理活动具有内稳和可变的特点：一方面大脑存储有相对稳定的信息内容，具备相对稳定的思维方式；另一方面大瞄受外界的影响，必须不断更新知识，改变观念。更重要的是，如本节所述，大脑中也能够体现出各个层次的标度不变行为。正是这些相似之处使得很多科研工怍者想把s o c 与大脑的学习，联想过程联系起来进行研究f 6 9 ，7 0 1 。2 1 1 大脑中的标度不变行为根据研究发现，以大瞄为代表的中枢神经系统中，在不同的层次上存在着一定的标度不变行为或标度不变行为的痕迹t g i s i g e r 就在b i 0 1 r e v 上总结了如下三种f 7 1 1 ：( 1 ) 人类信息交流中存在的标度不变行为：比如语言学中著名的齐普夫定律( z i p f s1 & w ) 指出 1 2 】，如果对一篇作品中每个词的使用频率怍一统计，并按其出现频率由高到低加以排序，则其频率和序号之问，存在着幂律关系同时2 n人们也发现音乐中也会出现1 f 信号【1 5 】由于语言和音乐是人类信息交流及大脑功能的非常重要的特性，因此一些科学家认为它们体现了大脑中一定的标度不变行为( 2 ) 认知心理学中也发现有1 f 噪声 1 4 】：在一个可以展现大脑中短期记忆行为的一些特性的心理学实验中，受试者被要求通过敲击键盘来重复刚刚被展示给他的时间或空间间隔，把他敲击的间隔与实际闯隔的误差作为一个时间序列记录下来，并进行频谱分析。结果发现其中也有1 f 形式的功率谱( 3 ) 大脑皮层活动会出现标度不变行为：在最近的一项研究中，科学家发现哺乳动物( 猫和短尾猿) 的大脑皮层神经元的连续发放的时间间隔也遵循幂律分布。同时单个神经元的发放遵循前面所提到过的断续平衡行为，即其发放活动具有长时间的静息和突然的爆发相结合的特点 7 2 ，7 3 这些现象的存在使得人们会产生很多疑问，如神经活动中的标度不变行为是怎样产生的? 为什么及在什么样的条件下神经元会处于这种标度自由的状态? 科学家们相信这些标度不变行为很可能反映了大脑中的一种普遍的动力学机制。而自组织临界性，由于可以解释标度不变现象，就成为了这种普遍动力学机制的可能候选者之一2 1 2 大脑中自组织临界现象的研究动态s o c 概念的提出者之一，b a k ，就在他的专著大自然如何工作中提出 8 】：“至少在两种情形下大脑必须是临界的首先，考虑一个大脑位于一些外部信号之中，例如一个视觉图像输入的信号必须能利用储存在大脑中的一切，因而系统不能是准临界的，因为在这种情况下信息中只有很小的、有限的一部分能被利用”“大脑