耦合神经元的连接方式及时间延迟.doc

苏州大学本科生毕业论文（设计）目 录摘要( 1 )Abstract( 1 )第一章 前言( 2 )1.1设计要求( 2 )1.2设计目的( 2 )第二章 神经元及神经元模型( 4 )2.1神经元简介( 4 )2.2 人工神经网络( 5 )第三章 耦合神经元的连接方式及时间延迟( 6 )3.1 耦合神经元的连接方式( 6 )3.1.1 分支树( 6 )3.1.2 链接器( 7 )3.1.3 产生器( 8 )3.2耦合神经元的时间延迟( 8 )3.3 时间延迟耦合神经元的同步( 9 )第四章 应用案例空间关联噪声对耦合神经元共振的影响(12)4.1动力学模型(12)4.2耦合共振振子之间的相关联影响(12)第五章 结论(18)参考文献(19)致谢 (20)附录（符号说明）(21)耦合神经元的连接方式及时间延迟22摘 要本文从单个的神经元出发，通过理解并掌握了神经元的概念后，从理论上分析了耦合神经元的连接方式，以及耦合神经元的时间延迟。结果发现，耦合神经元的各个振子之间存在某种函数关系，它的行为依赖于时间延迟。由此可见，通过选择适当的连接方式和时间延迟能调控耦合神经元。关键词: 耦合神经元，连接方式，时间延迟AbstractBased on the single neuron, by understanding the concept of neuron, the time-delayed feedback and the connected way of coupled neurons is analyzed. It is found that there is a relationship of function between these neurons, the variation of the time-delayed feedback can induce these neurons, so we could control the coupled neurons by the connected way and time-delayed feedback. Key words: coupled neurons, connected way, time-delayed feedback 第一章 前言近年来，随着生物神经学的研究和发展，一种被称之为耦合神经元的模型越来越得到各方的重视，它由许多的单个振子组成，具有许多独特的性能，使得对它的研究不仅具有重要的理论意义，而且具有非常广泛的应用前景。耦合神经元的模型研究已经涉及到很多的领域，例如数学，生物，神经科学，机器人，以及电子电路方面等等，在耦合系统中会发生一种特别有趣的动力学行为所有的子系统都以同样的方式运动，也就是说它们在相同的时间做相同的事，这种行为可以用来模拟一致运动的连续系统。因此，我们有必要去了解一下耦合神经元的连接方式。既然已经谈及到了耦合神经元，那么我们就不得不探讨一下耦合神经元的时间延迟，了解耦合神经元的时间延迟的利弊，以及耦合神经元的时间延迟后的系统的稳定性又是如何的？是否需要计算出各个神经元之间的关系？时间的延迟可能导致的对耦合神经元的影响是什么？本设计基于耦合神经元，详细的介绍了耦合神经元模型和时间延迟系统，进而探讨了耦合神经元的连接方式及时间的延迟，由于本人的水平有限，加之时间仓促，本设计中难免有不足和欠妥之处，恳请各位导师批评指正。1.1设计要求有关耦合神经元的连接方式以及时间延迟的设计，具体的要求如下：1.了解并掌握神经元及神经元的模型；2.了解并掌握时间延迟系统；3.讨论耦合神经元的连接方式；4.讨论神经元的时间延迟。1.2设计目的本课题是设计一篇有关耦合神经元的连接方式以及时间延迟，通过本设计在了解和掌握神经元，神经元的模型，及时间延迟系统的基础上，进一步去讨论耦合神经元的连接方式和它的时间延迟，进而更加深入的去理解它们。通过对耦合神经元的连接方式及时间延迟的设计、学习和探讨，熟练掌握神经元的概念和神经元的模型，掌握时间延迟系统的概念等方面的知识。同时，通过对系统设计结果的理论分析，加强了自己的逻辑判断的思维能力，以及理论联系实际的工作能力，对加强光电检测的原理与技术方法的掌握，得到了全面和系统的训练，为自己在今后从事本专业的工作奠定了坚实的基础。第二章 神经元及神经元模型2.1神经元简介科学的研究表明，是脑而不是心负责人和其它动物的各种行为，脑从环境中获取信息，并处理和贮存这些信息。因此解开脑的奥秘在生命科学研究中有着非常重要的意义。19世纪中期，德国解剖学家Rudolf Virchow发现脑中细胞可被分为不同的两群，即神经元和神经胶质。神经胶质是数量巨大的包绕在神经元周围和充填在神经元间的细胞群。神经元是负责细胞内和细胞间信息传递或信号传导的脑细胞。人脑中的神经元数目是巨大的，约为10111013个数量级。正是这巨大数量的神经元构成的神经系统使得信息从神经系统的一个部位传导到另一个部位，形成通讯的。它们之间都以某种形态相互耦合，执行中枢神经的指令。因此，这些神经元构成的网络，它们的有序和混乱可能是生物处于正常态和病态的内部机理。神经系统的通讯功能使神经元会进化出一种独有的高度特异化的结构突触，由它去完成这个任务。它主要有下面几部分组成：细胞体，其大小在5m100m的直径范围.细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体和原生质网状结构等，它是神经元活动的能量基地。在此进行新陈代谢等各种生化过程。轴突，是细胞体向其它细胞伸出的较长连接分支，就是神经纤维。每个神经元仅一个。轴突它发自神经元胞体的纤细管状突起，其长度可以由几个微米到数米。在终止于突触前一般不分枝，其直径也几乎不变。轴突胞浆膜上的特异性蛋白可使电信号沿轴突长轴快速传导，因此，轴突是把神经元兴奋的信息传出送到其它神经元的出口。树突，是细胞体向外伸出的许多较短的树状分支，发自神经元胞体。树突的胞浆膜也含有一些特殊的蛋白质，它们使树突能执行其既定的功能。主要是使它能接受和整合来自其它神经细胞和胞体其它部位传来的信息，因此，它是接受其它神经元传入的信息入口。突触，是神经元连接的接口。每个神经元在它的树突与胞体上有许许多多突触。一个小的神经元约有500多个突触，一个大的锥体细胞可多达2万个。新皮层中每个神经元平均约有6000个突触。整个脑内突触的数目大约在10141015之间，通过突触互连。连接方式不同，其生理作用不同。突触的信息传递特性可变，因此细胞之间的连接强度可变，属于柔性连接，因此也称神经元结构可塑。2.2 人工神经网络以上我们分析讨论的神经网络的基本单元是神经元，亦即具有生物神经元的某些特性的元件。所用的一些模型称为生物物理模型，试图解决的问题也是神经科学领域的一些现象。然而，根据仿生学的原理，这些神经网络的功能完全有可能被应用于其他领域。20世纪80年代初期，美国加州技术学院的生物物理学家John J. Hopfield博士发表了一篇重要的论文。文中动力学模型被用于全联接的神经网络。并用集成电路硬件实现了这个动力学系统。因为他的工作，为其它领域使用神经网络解决实际问题提供了可靠依据。但这种神经网络的基本单元已不需要是神经元，它完全可以是一个电子元件或电子线路，因而被称为是人工神经网络。Hopfield博士的工作使人工神经网络的出现和研究进入一个新的高潮。人工神经网络系统是采用物理可实现的系统来模仿人工神经细胞的结构和功能的系统。我们知道生物的神经系统是一个由大量的非线性元件通过广泛联结所构成的多级系统，正是由于各级层次上系统的非线性，使其上一层次具有下一层次自系统所没有的性质，因此，神经系统表现出极大的复杂性。也正是因为神经系统的各个层次上都有大量的非线性动力学问题，使得其研究具有复杂性和广泛性，而人工神经网络是对生物神经系统基本性质模仿的模型，也具有生物神经网络系统所具有的复杂动力学性质。因此基本特性模仿得越多，越能解决实际问题。时至今日，人工神经网络的研究和生物神经网络的研究己相互渗透和同步深入。对于人工神经网络的描述已经广义化了。例如:有人认为神经网络是一套硬件设备、也有人认为它是一个计算机程序或一个识别系统、一种数学计算方法、或是一个生物组织。因各人对其研究的需要不同而不同。因而对其研究的人也就涉及诸领域。但人工神经网络还是必须具有基本的动力学模型。(1)收敛、(2)振荡、(3)混沌。近年来，人工神经网络的应用己深入许多方面，其方方面面的专著也出了不少。随着研究的深入开展，必将取得更多的成果。这可以促进人们对生物神经网络的工作机理的理解。而反过来，生物神经网络的研究又可促进人工神经网络应用的发展前景。第三章 耦合神经元的连接方式及时间延迟 3.1 耦合神经元的连接方式 二十世纪九十年代初，Eckhorn 提出了一种神经网络模型，其表达式可用以下的方程组表示： =1+ （3-1） 式中表示第k个神经元的膜电压，表示神经元的前向突触，用于接收输入，表示神经元的侧向突触，用于接收周围神经元耦合，N为神经元数目，为突触的权重，表示周围神经元的输出，表示可变阀值。这些生物模型是耦合神经元网络连接方式的模型基础。在模型中，神经元通过相互激励产生同步化，神经元对于相似的输入数据能够同步爆发，对于上述的生物神经网络模型稍加变动，就构成了基本的耦合神经元网络连接方式的模型，它是由若干个神经元互连所构成的网络。耦合神经元的单个神经元由3部分组成：分支树，链接器和产生器。3.1.1 分支树分支树由两个接收域组成，以使得两部分发生耦合作用：它们分别为馈送输入Feeding,简写为，链接输入Linking,简写为，表达式分别如下： （3-2） （3-3）式中和分别表示由神经元k引起的神经元j的馈送域和链接域响应，和分别是神经元j和k之间馈送域和链接域的突触增益强度，或称权值，和分别为神经元j和k之间馈送域和链接域的时间常数，一般情况下，神经元j与所有的相连神经元之间的馈送域时间常数均相同，链接域时间常数也相同，分别为馈送域，链接域的幅度系数，表示外界输入到馈送域的常量，表示外界输入到链接域的常量，是输入量。由式（3-2）和（3-3）可以看出，每一个输入都是各自树突分支上突触连接的加权和。突触连接可看作是衰减的积分器，被一个很窄的电压脉冲置位，然后发生指数衰减，同样的，当一个突触接收到输入后，就被置位，使输出突然的增大，增大的量取决于突触上的放大器增益因子，然后再根据时间常数发生指数衰减，输入通过突触的作用后相加便得到了树突分支的总信号，一般的，馈送域的衰减时间常数比链接域的小，这个假设使得馈送信号有一个长的拖尾，以便整个链接信号能够在其整个衰减过程发生耦合的作用。 分支树 链接器 产生器图1：耦合神经元中单个神经元j的模型3.1.2 链接器耦合部分，先给链接输入加一个正的单位偏置，然后与馈送输入进行相乘调制，其乘积就是神经元内部活性: （3-4）模型中偏移量规整为1，式中是链接强度，根据前面的假设，馈送输入的时间常数小于链接输入的时间常数，即信号的变化比信号慢。因此，在短时间内，相乘调制得到的内部活性就近似为一个快速变化的信号叠加在一近似的常量信号上。接着，输入到发生部分。只要链接输入不为零，就会大于馈送输入。3.1.3 产生器发生部分，包括一个阀值可变的比较器和一个发生器。阀值发生和信号发生可用（3-5）和（3-6）表示： （3-5） （3-6）式（3-5）的积分下限为最近的一次点火前的一瞬，当产生器打开的时候，其输出的频率是衡定的，当神经元有一个输出时，神经元的阀值就通过反馈迅速的得到提高，当神经元的阀值超过时，产生器就会关掉，停止输出，接着，阀值就开始指数下降，当阀值小于时，产生器被打开，神经元就会被处于激活的状态。所以神经元的输出最大频率不能超过发生器的频率，式中的和分别是阀值发生器的幅度系数和时间常数。3.2耦合神经元的时间延迟在以往的耦合的神经元之间同步的研究中，因为时间的延迟比较小，对系统的动力学特性影响往往不大，因而大多被忽略，而在神经系统当中，由于神经元具有一定的长度，因此神经电脉冲的传播不是瞬时的，而需要一定的传播时间。例如，研究表明在大脑里面，相距1mm的两个神经元，在处于40hz发放动作电位的时候，会有大约4%的时间延迟，因此研究信号传递的延迟对神经系统行为的影响就很有必要。考虑神经元之间信号传递需要时间，有必要考虑时间延迟对所研究的模型各种功能的影响，与不延迟情况下系统性能进行比较。另一方面，由于神经系统的复杂性，如果神经元都处于瞬时耦合同步状态，而由于信号传递的时间，瞬时耦合同步在神经系统中是不能达到更好的效果的。就好比在一个巨大的体育场内数万人同时鼓掌，由于声音传播需要速度，这样在体育场内一点听到的声音并不是数万人声音的叠加。因此，神经元之间信号的时间延迟可能更有利于网络趋向同步并可能扩大模型同步的参数范围，并且可以在耦合强度非常弱的情况下使系统达到同步。众所周知，对于线性系统问题，人们已经研究得比较透彻并形成了完善的理论体系。对于非线性动力系统(NLDS)，一般很难求得其解析解表达式，因而其解析研究是十分困难的。对于某些非线性系统，有时人们为了简便，简化了其模型的描述以降低系统的复杂性，例如采用不考虑时延甚至用线性模型来描述的方法。在分析解的特性时，人们往往采用某一种近似方法，比如对于连续NLDS，人们可以采用函数逼近、谐波平衡、微扰、局部线性化等等方法。局部线性化是最常见的方法之一，局部线性化，即是在局部小范围内，用线性来逼近，因而可以利用现有线性问题的研究成果和理论。这是一种常见的、有效的研究方法。实践也证明，对于一些实际情况，简化是必要的也是允许的，简化后，是可以较好地近似解决问题的，例如局部线性化方法可有效地应用于电路与系统中的小信号分析问题。但在一些问题中，时延的影响是不可忽视的。不论人们是否喜欢，时延是自然界中客观的、无所不在的现象。例如我们日常生活中遇到的视觉和听觉的时滞现象、动物血液再生原理等等，均属于时延的范畴。森林再生也是一个典型的例子。在某些系统中，引入时延，系统的特性会发生质的变化，表现出更丰富的动力学行为；在控制系统中，反馈信号中加入时延，构成时延反馈控制系统，可以获得稳定的系统、或可以把系统相轨道引向目标系统所确定的相轨道，以达到控制的目的。神经网络系统一般是一个大规模的非线性系统，时延神经网络系统比一般的神经网络系统更为复杂，其研究的难度也更大。近年来，由于在神经网络模型中引入了轴突信号传输延迟，于是得到了带时延的神经网络动力学系统。由于引入了时间延迟，连续时延系统的初始值由一连续函数给出，原系统由一个有限维系统变为无限维系统，因此其稳定性和解析解的存在性等定性特性会起质的改变，而且其动力学行为变得更为复杂。因为一个网络系统由多个神经元相互耦合而构成，人们进而首先研究由单个或两个神经元构成的时延神经网络系统并取得了一系列成果，特别是对稳定性问题的研究，许多学者作了大量的工作。 3.3 时间延迟耦合神经元的同步以上的一节通过对耦合神经元为研究对象，考虑到信号的传递时间延迟，可以得到如下的耦合模型： (3-7)其中 是离吸引子足够近的状态变量，g表示之间的耦合强度，是延迟时间，模型（3-7）描述的时间延迟耦合神经元的同步条件由如下定理给出：定理 如（3-7）描述的时间延迟耦合神经元同步的充分条件为：其中参数r,为模型（3-7）中的取值。证明：实际上，考虑到系统（3-7）的对称性，同步解总是存在的，但是，在一定的条件下，同步解并不总是稳定的，令,那么耦合神经元的误差动力系统可以表示如下： （3-8）为了方便，令在式（3-8）的平衡解附近线性化误差动力系统，可得： （3-9）S表示式（3-8）中的平衡解。注意到式（3-8）具有平衡点（0，0），即平衡解存在，那么，系统（3-7）描述的两个耦合神经元的同步问题就可以转化为误差动力系统（3-8）的稳定问题。系统（3-8）中： 根据度量矩阵的定义，应用欧几里德矩阵范数，可以得到： 可以看到和g总是大于或等于0的，那么，以及，根据定理1，只需要验证误差系统（3-9）的特征等式的稳定性： （3-10）其中s的取值范围如下： 为了计算方便，做如下假设： 那么（3-10）式中 （3-11）应用定理2可以得到特征等式（3-11）所描述的系统稳定性的充分必要条件： s的取值范围如上s所示，就可以得到通过时间延迟耦合的两个神经元同步的稳定判据，其中就包含有延迟时间，以及耦合强度，可以表示如下：其中r,的取值范围如上所示。第四章 应用案例空间关联噪声对耦合神经元共振的影响4.1动力学模型关于N个双稳系统的全局耦合可以写成： （4-1）这里的A是外部周期信号的振幅，是信号的频率，c是振子之间的耦合强度。参量ai被假设满足下列关系：， （4-2） （4-3） 这里的是各向异性强度，是一对振子之间的各向异性的关联度。当趋向于0时，就可以恢复成独立振子。ai是高斯变量，ai的相关函数依赖一维空间位置的距离。每个栅格i，振子参数ai取不同的值，但是时间不变。相关联变量的实际算法会在附录中出现。4.2耦合共振振子之间的相关联影响为了研究周期性驱动系统反应，可以计算功率谱放大因子：，这里的在时间为t时，所有振子的平均位置。功率谱放大因子能够提供信号传输中的驱动力信息的数量。图2是功率谱放大因子随振子各向异性强度和连接强度c变化的图。图2(a)是功率谱放大因子的三维图。从图2（a）中可以看出功率谱放大因子是的非单调函数。这里存在的最佳值，就是随机共振的典型特征。这里同样存在连接强度c的最佳值，也是AESR（阵列增强随机共振）的主要结果。图2（b）是当变化时，关于的函数的图。从图2（b）中很清楚地可以看出当增加时，最佳值转换到连接强度c较大处。这一现象的机制如下。当ai=0，低于 某一限度的驱动力不能克服势垒高度。当振子各向异性增加时，某些振子能受驱动力的作用而逃离位垒。振子之间的连接能够帮助这些逃离的振子拉出其他的振子从而能生产出一个共同的、宏观的运动。但是，如果连接太强时，系统会变成全局同步。耦合系统可被视为一个振子，阵列增加随机共振的影响消失。这里存在一个最佳的连接强度值。如果振子间各向异性太大，具有大的各向异性的振子产生了很大的阻力使其受外部驱动力作用受限。从而需要更大的连接强度使振子克服阻力的影响。因此，当振子各向异性增加时，的最佳值变为连接强度值c较大处。图2：耦合系统中，功率谱放大因子随和连接强度c变化的函数。这里的参量选择：N=1000，A=0.2，T=103，=1。（a）图是的三维图。图（b）是关于的函数的图。图3：（a）图是耦合双稳态系统中，功率谱放大因子随振子各向异性强度和振子间的相关性长度变化的图。（b）图是的最大值随变化的曲线。（c）图是的最佳值随变化的曲线。参量选择：N=1000，A=0.2，T=103，c=1。图3绘制的是当相关性长度很小时，功率谱放大因子随振子各向异性强度和振子间的相关性长度变化的图。图3（a）中绘制的是的三维图。可以发现功率谱放大因子是的非单调函数。图3（b）中绘制的是的最大值随变化的曲线。当增大时，随着的变化几乎呈线性减小。也就是，相关性长度的增加可以降低的高度。在图3（c）中，绘制的是的最佳值随变化的曲线。在图3（c）中，可以看出随着的增加，的增加几乎是线性的。也就是，当相关性长度增加时，顶点的位置转换为更大的值。这就意味着振子中的相关性可以减小由振子引起的共振的影响。因此的最大值减小，需要一个更大的克服由相关性引起的消极影响。图4： 当值很大的时候，功率谱放大因子随各向异性强度和相关性长度变化图。由图4可以发现是关于的单调递减函数。这就是说，当振子中的相关性非常大的时候，随机共振的特征消失。众所周知，连接的振荡器能够同步。当考虑到短范围的空间关联的耦合振子时，同步行为可通过平均方差的偏差来研究。通过分别比较图3、4与2，可以发现在相关性上的共振行为的影响是不同于基于连接强度c的共振行为的影响。共振影响表明系统输出的时间序列。为了研究系统的空间序列，可以计算系统的空间同步度。各向异性、相关性和连接强度c对空间同步的影响需要研究。为了表现出同步的特征，可以计算平均方差的偏差。图5：（a）偏差在取不同值时，随相关性长度变化的曲线。参量选择：N=1000，A=0.2，T=103，c=1。（b）偏差在取不同值时，随连接强度c变化的曲线。参量选择：N=1000，A=0.2，T=103，=0.5。 （4-4）这里的表示耦合元件的平均位置，而表示时间上的平均值。值大时表明各个振子的振荡偏差大，小的表明强的整体运动，以便更好的同步。=0表明完全同步。图5是同步偏差随相关性长度和连接强度c变化的图。在图5（a）中，当振子取不同值时，偏差随相关性长度变化的曲线。可以发现随着的增大一直单调递减，意味着空间同步性的提高，归结于振子各向异性之间的相关性。具有小的各向异性的系统在各向异性相关性的帮助下，就更容易达到完全同步。在图5（b）中，绘制的是取不同值时，偏差随连接强度c变化的曲线。可以发现空间同步性的提高归结于振子之间的耦合。振子中的相关性增加了同步性。从上述讨论中，可以看出相关长度较小时，可以出现各向异性引导的共振，此时系统的同步性较差。当增大相关长度，系统地同步增强甚至能达到完全同步时，但是耦合振子的共振现象会消失。连接强度c取合适值时，耦合振子的共振和同步都可能会发生。同时随着连接强度c的增加，共振现象和同步现象都会增强。第五章 结 论在耦合双稳态振子中，探讨了振子间的连接强度c和振子各向异性之间的相关性强度对共振的影响。可以发现增加振子各向异性之间的相关性强度可以减弱共振，当振子各向异性之间的相关性强度很大时，随机共振现象消失。而增加的连接强度c能够增强共振。增加振子各向异性之间的相关性强度和振子耦合的强度，都能提高系统的同步。我们的这一发现在目前存在的一些神经生物系统中同样存在，例如，就像FitzHughNagumo模型，还有Hind-marsh-Rose（HR）模型，Hodgkin-Huxley模型和Morris-Lecar模型等等。参考文献1、郑志刚，“耦合非线性系统的时空动力学与合作行为”，高等教育出版社，北京，20042、汪小帆，李翔，“复杂网络理论及其应用”，清华大学出