（概率论与数理统计专业论文）随机更新输入if模型下矩神经网络动力系统.pdf

摘要 尽管随机输入的单一神经元模型已经在理论和计算神经科学中 被广泛地研究，但大部分研究是在假定输入为独立的p o i s s o n 过程情 况下进行的因为神经元发射和接受发放脉冲一般是更新过程，因 此这种假定是对生理学数据的一种很粗略的近似我们将考虑更新 输入的情况，它是对神经突触输入的一种更精确的近似 另外，近年来大量的研究表明，神经元发放的脉冲行为不仅仅受 到输入的一阶矩影响，还受到其输入流的更高阶矩的制约例如： 具有相同频率的兴奋型和抑制型随机输入流输入到一神经元，在这 种随机输入流的作用下，膜电势偶尔也会高于阀值从而产生脉冲( 行 为势) ，这与神经网络的假设矛盾，这说明原来构建的网络模型不能 很好的解释实际的大脑神经系统这是因为一般的神经网络模型没 有很好的考虑“噪声”所带来的影响 本文主要研究了i f 神经元模型随机更新输入的近似问题和基于 礤模型之u a s 近似方案建立的矩神经网络( m n n ) 动力系统模型， 获得了某些实用新结论具体如下： 第一章：介绍了问题研究背景及本文主要工作； 第二章：对h h ( h o d g k i n - h u 对e y ) 模型和i f ( i n t e g r a t e - a n d - f i r e ) 模型 做了理论与数值上的分析，并在i f 模型基础上做了适当推广； 第三章：研究了随机更新输入的i f 神经元模型的近似问题，得 到两种新的近似方案( u a s ，o u s ) ； 第四章：根据u a s 近似方案建立了矩神经网络( m n n ) 动力系统 模型，该模型利用神经元发放脉冲时间间隔的一阶、二阶统计量( 均 值、方差、交叉相关性) 来具体刻画神经网络的脉冲活动同时，这 i 也将更好地处理，噪声，影响 关键词：i f 模型更新过程神经网络矩神经网络发放脉冲时 间间隔 i i a b s t r a c t a l t h o u g hs i n g l en e u r o nm o d e l sw i t hr a n d o mi n p u t sh a v eb e e nw i d e l ys t n - d i d ei nt h e o r ya n de x p e r i m e n t m o s ts u c hs t u d i e sa r ed o n eu n d e rt h ea s s u m p - t i o nt h a ti n p u t sa r ep o i s s o np r o c e s s e s b e c a u s es p i k et r a i n sw h i c hn e u r o nf i r e a n dr e c e i v ea r ec o r n m o l yr e n e w a lp r o c e s s e s t h ea s s u m p t i o ni sav e r yr o u g ha p - p r o x i m a t i o no fp h y s i o l o g i c a ld a t a w ew i l lc o n s i d e rt h ec a s eo fr e n e w a lp r o c e s s i n p u t ，w h i c hr e p r e s e n t sam o r ea c c u r a t ea p p r o x i m a t i o no fs y n a p t i ci n p u t s b e s i d e s ，i nr e c e n ty e a r s ，m a n yr e s e a r c h e sa r ef o u n dt h a tt h es p i k ea c t i v i t yo f an e u r o ni sd e c i d e dn o to n l yb yt h em e a nr a t e ，b u ta l s ob yh i g h e ro r d e rs t a t i s t i c s o fi t si n p u t c o n s i d e r ，f o ri n s t a n c e ，an e u r o nw h i c hr e c e i v e si n h i b i t o r ya n de x c i - t a t o r ys t o c h a s t i ci n p u t so fe q u a lr a t e d u et ot h ef l u c t u a t i o n so ft h ei n p u t ，t h e m e m b r a n ep o t e n t i a lm a yo c c a s i n a l l yc r o s st h et h r e s h o l df o rs p i k i n g ，t h e r e b y c o n t r a d i c t i n gt h eb a s i ca s s u m p t i o n so ft h ea r i i l c i a ln e u r a ln e t w o r k s t h i ss i m - p l ee x a m p l ei l l y s t r a t e st h a ti ti sn om u c hu s ei nu n d e r s t a n d i n gt h eb e h a v i o u r o fr e a ln e r v o u ss y s t e m s ，i nt h a ti tc o m o l e t e l yd i s c a r d st h e ”n o i s y n a t u r eo ft h e n e u r a lc o d e i nt h i sp a p e r ，t h ei s s u eh o wt oa p p r o x i m a t et h ei n t e g r a t e - a n d - f i r e ( i f ) w i t h r e n e w a li n p u t si ss t u d i e da n dt h em n nf r a m e w o r ki sd e v e l o p e da c c o r d i n g t ot h eu a sa p p r o x i m a t i o ns c h e m ef o ri fm o d e l as e r i e so fn e wr e s u l t sa r e o b t a i n e d t h em a i nc o n t e n t sa sf o l l o w s ： c h a p t e r1i n t r o d u c e st h eb a c k g r o u n do ft h ep r o b l e m - r e s e a r c h i n g ：t h er e - c e n td e v e l o p m e n to ft h en e u r o nm o d e la n ds o m er e s e a r c hr e s u l t sw eh a v eo b - t a m e di nt h i sf i e l d ； c h a p t e r2m a k e st h e o r e t i ca n dn u m e r i c a la n a l y s i st ot h eh hm o d e la n d i i i i fm o d e l ，a n de x t e n d e di fm o d e l s ； c h a p t e r3f o c u s e so nt h ei s s u eh o w t oa p p r o x i m a t et h ei n t e g r a t e - a n d - f i r e m o d e lw i t hs t o c h a s t i cr e n e w a li n p u t s ，t w on o v e la p p r o x i m a t i o n s c h e m e s ( u a s ，o u s ) a r ep r o p o s e d ； c h a p t e r4d e v e l o p e sam n nf r a m e w o r ka c c o r d i n gt ot h eu a sa p p r o x i m a t i o ns c h e m e w i t h i nt h i sf r a m e w o r k ，t h eb e h a v i o ro ft h es y s t e mo fs p i k i n g n e u r o n si ss p e c i f i e di nt e r m so ft h ef i r s t - a n ds e c o n d - o r d e rs t a t i s t i c so ft h e i ri n - t e r s p i k ei n t e r v m s ，i e ，t h em e a n ，t h ev a r i a n c e ，a n dt h ec r o s sc o r r e l a t i o n so fs p i k e a c t i v i t y i tw i l lb eb e t t e rt od e a lw i t ht h e ”n o i s y ” k e yw o r d s ：i fm o d e l r e n e w a lp r o c e s s e sn e u r a ln e t w o r k s 。 m o m e n t n e u r o n a ln e t w o r k st h ei n t e r s p i k ei n t e r v a l i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的研究成果除了文中特别加以标注引用的内 容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作 品对本文的研究做出重要贡献的个人和集体，均已在文中以明确 方式标明本人完全意识到本声明的法律后果由本人承担 学位论文作者签名：一安坶，芝、刍叉 如寥年6 月6 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅本人授权湖南师范大学可以将学位论 文的全部或部分内容编人有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存和汇编本学位论文 本学位论文属于 1 、保密口，在年解密后适用本授权 书 2 、不保密口 ( 请在以上相应方框内打誓 嚣) 作者签名： 导师签名： 如志敏 反p 忍喜 5 9 b 强；如譬年s 具毛b 日期：z 矿踔多月罗日 随机更新输入i f 模型下矩神经网络动力系统 1 绪言 1 1 模型的研究发展背景 自上个世纪五十年代，由科学家m c c u l l o c h 和p i t t s 对简单的神 经网络的研究以来，人们对神经网络的研究越来越受到关注【1 】1 ，这 是因为它在计算机、工程测算和人工智能方面起到越来越重要的作 用神经网络的发展大致分为如下几个阶段： 五十年代中期之前，首先西班牙解剖学家c a j 2 l l 于十九世纪末创 立了神经元学说，该学说认为神经元的形状呈两极，其细胞体和树 突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传 递在他之后发明的各种染色技术和微电极技术不断提供了有关神 经元的主要特征及其电学眭质接着，美国的心理学家w s m c c u u o c h 和数学家w a p i t t s 等人提出了一个非常简单的神经元模型，该模型 将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型 的理论研究五十年代初，生理学家h o d y k i n 和数学家h u x l e y 在研究 神经细胞膜等效电路时，将膜上离子的迁移变化分别等效为可变的 n a + 电阻和k + 电阻，从而建立了著名的h o d y k i n h u x l e y 方程【2 4 】 这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神 经计算的出现打下了基础 五十年代中期到六十年代末，f r o s e n b l a t t 等人研制出了历史上 第个具有学习型神经网络特点的模式识别装置，即代号为m a r ki 的感知机( p e r c e p t r o n ) 5 - 6 ，这一重大事件是神经网络研究进入第二 阶段的标志对于最简单的没有中间层的感知机，r o s e n b l a t t 证明 了一种学习算法的收敛性，这种学习算法通过迭代地改变连接权来 1 硕士学位论文 使网络执行预期的计算稍后，b w i d r o w 等人创造出了一种不同类 型的会学习的神经网络处理单元，即自适应线性元件a d a l i n e ，并且 还为a d a l i n e 找出了一种有力的学习规则，这个规则至今仍被广泛应 用 六十年代末到八十年代初，m m i n s k y 和s p a p e r t 等人对对单层神 经网络进行了深入分析，并且从数学上证明了这种网络功能有限， 甚至不能解决象”异或”这样的简单逻辑运算问题同时，他们还 发现有许多模式是不能用单层网络训练的，从而为多层网络的研究 奠定了基石 八十年代初至今，在此期间有很多研究随机输入神经元模型的 文献【7 , 8 ，9 ，1 0 ，1 1 ，1 2 ，1 3 ，1 4 ，1 5 】获得了许多有用的结果，能让我们进一 步了解神经元的编码和解码问题但是，大多结果都是在假定输入为 p o i s s o n 过程的情况下获得的，这个假设只是在一定范围内对生理学 数据的一种很粗略的近似，例如：e z o h a r y1 9 9 4 1 1 8 】和s t e v e n s1 9 9 8 1 1 7 的研究表明神经元以一种相关的方式发放脉冲，e m i l i os a l i n a s2 0 0 1 1 1 8 指出在神经元群体中即使一个很弱的相关也能对神经网络产生一个 很大的影响然而，神经元发射和接受发放脉冲一般是更新过程，因 此无论在理论上还是实际应用中，研究随机更新输入对神经元模型 的影响具有重要意义同时，在这过去的2 0 多年里，随着神经元模 型的发展，神经网络模型也有了巨大的发展与进步最初是美国科 学家j j h o p f i e l d 采用全互连型神经网络模型【1 9 】，利用所定义的计 算能量函数，成功地求解了计算复杂度为n p 完全型的旅行商问题 ( t r a v e l l i n gs a l e s m a np r o b l e m ，简称t s p ) 这项突破性进展标志着神经 网络方面的研究进入了新的阶段h o p f i e l d 模型提出后，许多研究者 力图扩展该模型，使之更接近人脑的功能特性不久之后，t s e j n o w s k i 和g h i n t o n 提出了”隐单元”的概念，并且研制出了b o l t z m a n n 机 2 随机更新输入i f 模型下矩神经网络动力系统 日本的福岛邦房在r o s e n b l a t t 的感知机的基础上，增加隐层单元， 构造出了可以实现联想学习的”认知机 k o h o n e n 应用3 0 0 0 个 阈器件构造神经网络实现了二维网络的联想式学习功能1 9 8 6 年， d r u m e l h a r t 和j m c c l e l l a n d 出版了具有轰动性的著作并行分布处 理认知微结构的探索，该书的问世宣告神经网络的研究进入了 高潮 1 2 相关的主要结论 在本文中，我们考虑具有神经突触输入的一般i f 神经元模型 对给定的两个量( 阀值) w 。( 静止电势) ，当膜电势 0 为膜电势时间变化常数，神经突触的输入为 d k ( t ) = d 砰( t ) 一6 d 巧( t ) n f ( t ) ，埘( t ) 是更新过程，o 0 和6 0 是每个兴奋性后突神经元电 势和抑制性后突神经元电势的强度一旦膜电势k 超过阀值， 就产生一个神经脉冲，膜电势重新设为w 耐( 静止电势) 这个模型 被称为i f 模型【1 8 ，2 0 我们定义阀值的首中时： 下全i n f ( t 0 ，k = ) 用如：i = 1 ，2 ，n 表示7 的n 个观察值这里k ( t ) 是神经突触的 输入 3 硕士学位论文 本文主要研究了i f 神经元模型随机更新输入的近似问题，并在 此基础上针对一般神经网络模型对“噪声”的处理不足，我们应用神 经网络原理及随机动力学模型，建立了一种新的神经网络( m n n ) 并在该模型的基础上，讨论并模拟了整个神经网络的的稳定性问题 ( 即输入与输出是否具有一致性的问题) 和同步现象 在第二章我们介绍了h h 模型与i f 模型，以及i f 模型的推广形 式h h 模型是比较基本的神经元模型，通常可表示为 c 警 = 一蚕k ( y e 耳) 一蚕。仇3 h ( v e ，d ) 一豇( y 一既) + 屯t ( ) ； ( y ) 面d n = 一h 一伽( y ) 】； ( 1 2 ) ( y ) 警= 一【，n m 0 ( y ) 】； r h ( v ) 警= 一胁一h o w ) 】 模型是在h h 模型基础上发展起来的，一般表示为( 1 - 1 ) 式 推广的i f 模型常见的有两种，一种为p o i s s o n 输入的i f 模型， 即令n = ( t ) ，t o ) 是一个简单的标准泊松过程，参数为入，在该 泊松过程输入的条件下，当v ( t ) k 。越时，i f 模型可写成一阶随机 微分方程形式： 度 黧：卜- 专 ) - n ) d 抖砌( 幻；( 1 - 3 ) iy ( o ) = y o 其中，7 = 吒1 ，记为衰退时间常数a 表示外部输入电流的强 另一种为带扩散过程的环模型，其形式为 = 一兰譬d t + ( p e a e - - p j 。j ) 出+ 、i 虿蚕逐j 确d b ( ) ( 1 - 4 ) = y o 随机更新输入i f 模型下矩神经网络动力系统 其中，口e ，口j 0 为跳跃强度，随机过程e ( t ) 和，( t ) 事件来到 时间间隔的一阶矩和二阶矩分别记为地，畦和肛j ，砰，b ( t ) 为标准布 朗运动 接着在第三章着重考虑了更新输入的近似问题由于分析地处 理具有更新输入的动力系统是困难的，那么怎样用连续的过程来近 似具有不连续轨道的随机过程呢? 这里的想法是：找一个与更新过 程具有相同均值和方差的扩散过程为了运算的方便，我们首先考 虑单一的更新过程用正，死，死来表示事件的时间间隔，它们是 一列独立同分布的随机变量，用t 表示它们记，( t ) 为t 的概率密 度函数，设 m ：t o ) 是相应的更新过程我们假定t 的均值，方 差和三阶中心矩存在，分别用入，口：和入s 表示于是我们得到了两 种新的近似：u s u a la p p r o x i m a t i o ns c h e m e ( u a s ) 和o m s t e i n - u h l e n b e c k s c h e m e ( o u s ) 然后通过m a t l a b 进行数值模拟对于i f 模型，这两 种方案均能很好地近似原始的更新过程 最后在第四章建立了一种新的神经网络模型，即矩神经网络( m n n ) ， 并在该模型的基础上，讨论了神经网络的稳定性问题及同步现象 这一模型是根据第三章的u a s 近似方案建立起来的，它利用神经元 发放脉冲时间间隔的一、二阶统计量，即均值、方差及脉冲活动的交 叉相关性来具体刻画神经网络的脉冲活动通过具体的数值模拟， 我们在此得出：对于限定相关性矩神经网络，如果要求网络产生低 频发放的稳定状态，r ( 抑制性输入与兴奋性输入的比值) 值必须明 显高于i ，如果要求网络维持自发的活动，就必须让其接受高比重 的抑制性输入；对于一般情形矩神经网络，神经元通常是十分容易 获得同步的，且在经过一些神经元层的传递之后m n n 的活动通常变 得稳定下来另外，矩神经网络模拟也表明高度不规则的输出发放 是由神经元活动之间的相互联系造成的这也证实了我们通常的研 5 硕士学位论文 究结果：相关性输入对产生不规则的脉冲链起着关键性作用 6 随机更新输入i f 模型下矩神经网络动力系统 2 i f 神经元模型 人们在研究动物的神经系统中发现【2 1 2 3 】，神经元细胞在整个- 系统中起着非常重要的作用，因为它们能迅速的传递外界的信息， 它们是通过产生脉冲( 8 p i l 【e ) 来完成各类信息的传递工作的，而电脉 冲能够把信息传递到神经纤维神经元是通过脉冲的发放序列来进 行信息的描叙和传递的，因此神经元如何对信息的编码和解码又是 整个计算神经网络中最重要的一个问题这里最为重要的是如何对 信息的编码和解码，这就需要我们构建合理的模型来进行解释二 十世纪五十年代，h o d y k i n 和h u x l e y 在研究神经细胞膜的等效电路 时，建立了h o d y k i n - h u x l e y ( h h ) 模型，后来又在简化该模型的基础 上，l a p i c q u e 等人创立了i n t e g r a t e - a n d - f i r e ( i f ) 模型，本章在介绍两 类模型的同时，又对两类模型进行了理论与数值上的分析，最后适 当的推广了m 模型 2 1 神经元的介绍 神经元被定义为在化学物质或其他的输入作用下，能够产生电信 号并且将它们传递给其他细胞的一种特殊的细胞它主要由突触、 细胞体和轴突三个部分所构成，其中神经元的突触是用来接收从其 他神经元的电信号，我们也称为神经元输入端，而神经元的轴突是 将神经元所产生的电信号发送给其他的神经元，我们也称为神经元 的输出端突触的结构就象具有很多分支树上的分支结构，这种结构 使得神经元通过突触的连接点接收来自许多其他神经元的输入，通 常情况下，神经元的突触连接点的个数可以达到1 0 0 n 1 0 0 0 0 个左右 而单个神经元的轴突的数目不是很多，但它的长度能够覆盖大脑的 7 硕士学位论文 很大一部分，在某些生物体中，甚至于可以覆盖整个大脑例如，在 老鼠的大脑中，据估计表层的神经元一般具有4 0 r a m 的轴突和大约 4 m m 的突触树状主干平均每肛m 长度，轴突就与其他神经元的1 8 0 个突触连接点相连，而突触树平均每p m 就有2 个突触输入通常 情况下，一个典型的表层神经元细胞体的直径范围介于l o - - 一5 0 # m 。 嘤攀 肿q 划洲n 运耩 如图2 - 1 ，除了神经元自身形态上的特征外，神经元还有一些生 理上的特征( 2 4 - 2 5 】其中最显著的一个特征就是在细胞膜上有大量 不同类型的离子通道，其中主要的离子通道有钠( n a 十) 离子通道、 钾( 耳十) 离子通道、钙( c a + ) 离子通道、氯( e 2 一) 通道等。随着细胞 膜内外电势的变化和内外信号的差异，离子通道通过开或关控制着 离子的进出但相对于整个神经系统而言，电信号与神经元内外之 间的电势是有区别的。在休息状态下，相对于一个神经元细胞膜的 外部区域的电势( 通常情况下认为该电势为o m v ) 而言，它的膜内部 r 随机更新输入i f 模型下矩神经网络动力系统 电压大约是7 0 m v 这时我们称细胞被极化而在细胞膜上有一个 叫离子泵的装置，是用来控制和调节浓度的深浅以便产生膜电势的 差异例如；一个神经元膜外的n a + 离子浓度要比它在神经元膜内 部的浓度要大得多；而相比之下，在神经元膜的内部，k + 离子浓 度就要比它在神经元膜的外部要高得多通过电势和浓度差异，离 子就能够进出神经元而我们知道，电流就其形式上来说，就是带 正电的离子流出细胞体( 或者是带负电的离子流进细胞体) ，而这种 电流一旦通过开着的通道流出的话，就会使膜电势负地更多，这个 过程我们称之为超极化而电流通过开通道流进神经元内部，会使 膜电势负的要少一些，这个过程我们称之为去极化 如果一个神经元去极化足够大，以至于它能使膜电势高于阀值 水平，则这个时候就相应的产生了一个反馈过程，我们称此时神经 元产生一个脉冲一个脉冲其本质是通过细胞膜的电势中的一个大 约l o o m v 的振幅，这种行为一般持续时间在l m s 左右当然脉冲的 产生还与细胞前面发放s p i k e 的情况有关，在一个脉冲发放以后的几 毫秒，又产生一个新的脉冲一般是不可能的，这段时间我们称为冰冻 时间如果在产生一个s p i k e 后的一段更长的时间内仍然很难产生一 个新的s p i k e 的话，那么我们就把这个时期称为相对冰冻时间脉冲 之所以很重要是因为它是膜电势波动的唯一表现形式而这种具有 电势波动的脉冲可以传播很长的一段距离而在阀值以下的膜电势 波动传播到距离差不多是l m m 的时候，强度就会很快的减弱下来 另一方面，脉冲能够在神经元的轴突的地方重新产生，并能够快速 的传播一段很远的距离而强度又不会有很大的减弱 最后，在轴突的末端突触的地方，脉冲的电势波动这个瞬间现象 打开了离子通道，使得c a + 离子流入，而c a + 离子的流入造成了神 经元传递素的释放，这种神经元传递素紧挨着信号接收器或者突触 9 硕士学位论文 的后突部分，它的释放将会引起以离子导电的通道的开放根据离 子流动的本质，突触对后突神经元可以产生兴奋型( 去极化) 抑制型 ( 超极化) 的效果 2 2h h 模型理论 从2 1 节我们可知，神经元的膜电势的改变是通过对前突神经元 的神经传递素( n e u r o t r a n s m i t t e r ) 的释放引起的而这种神经传递素的 释放又是由于对前突神经元膜上的某些特定的离子通道的开或关的 变化情况所引起的而离子通道的开闭，使得神经元内外的离子浓度 发生变化，因而造成膜电势的变化当膜电势变化到一定的程度，我 们称产生了一个脉冲接下来，我们将构建一个适当的模型来描叙 产生脉冲的过程而对脉冲的最适当的描叙是由h o d g k i n 和a n d r e w h u x l e y 通过对乌贼大突触上的神经元细胞的研究完成的 图2 2 ：典型的脉冲形式图 1 0 随机更新输入i f 模型下矩神经网络动力系统 图2 - 2 为脉冲的一种典型的表现形式最开始处于休息状态，由 于n a + 离子通道的打开，使得膜电势的值迅速的上升，这个过程我 们称为去极化( d e p o l a r i z a t i o n ) ，紧接着，n a + 离子通道失去活性并打 开+ 离子通道，又造成膜电势的迅速下降，甚至下降到低于刚开始 休息态的膜电势值，这一过程我们称为超极化( h y p e r p o l a r i z a t i o n ) 最后随着n a + 和+ 离子通道的关闭，膜电势又慢慢回升到休息态 的值从而就构成了一个q 循环”，我们把这一“循环”过程称为产 生了一个s p i k e h o d g k i n 和h u x l e y 第一次用方程的观点对脉冲的描 叙形式做了定量的分析事实上，后来得到的实验数据也很好的吻 合了他们所创立的模型，我们称为h o d g k i n - h u x l e y 模型 h o d g k i n 和h u x l e y 用四个微分方程来定量的描叙脉冲的产生过程 【2 6 2 7 】，这里记，帆表示通过膜的离子电流( 离子的定向移动可看成 是电流) 而打开的离子通道的数目与电传导率( 电传导率与电阻成 反比) ，还记v 表示膜电势，表示电传导率，则易得到下列的方 程： k = 夕o ，l ( y 一)( 2 - 1 ) 其中，如表示该离子通道平衡态的电势能它也可以表示神 经元休息态的膜电势，在电路中可被认为是电池 由2 1 节可知，脉冲产生的原因主要是受到n a + 和k + 离子通道 的离子制约的因此，引进了三个动态变量n ，m 和h 分别用来描 叙离子通道与膜电压的相关性其中变量n 描叙k + 离子通道的活 性；变量m 描叙n a + 离子通道的活性；变量h 则描叙n a + 离子通 道的惰性程度这里耳+ 和n a + 离子通道的电传导率与他们又有如 1 1 硕士学位论文 下的函数关系： 鲫。，一。( 2 - 2 ) 9 n a 2 9 n a f ，i 。，l 其中，豇和如。分别表示n a + 和k + 离子通道的最大电传导率从 ( 2 _ 2 ) 式可以易知： ： 嚣( 2 - 3 )仇3 1 之所以选择这样的三个变量来描叙是为了与实验数据尽可能的吻 合h o d g k i n 和h u x l e y 用三个一阶微分方程来具体说明n ，m 和 h 与膜电势v 之间的关系： 害= 一南h n o ( y ) 】； 鲁= 一磊扔 仇一伽( y ) 】； ( 2 - 4 ) 警= 一百扔m h o w ) 其中，参数( y ) ，( y ) ，( y ) 和n 0 ( y ) ，咖( y ) ，( y ) 的具体表达形式 主要看所用的神经元是何种类型在一般情况下，这些参数的常用 形式如下： h ( y ) = 丙两；1 丽； ( y ) = 葡币1 研i ； ( 2 5 ) r h ( v ) = 石矽翻 伽( y ) = 蔬糯； 伽( y ) = 雨舞跺丽；( 2 - 6 ) h o w ) = 赤蟛b 其中 q n ( y ) = = o o 诵1 ( v + 5 5 ) ， ( y ) = f 0 1 诵- ( v + 4 0 ) ， q h ( y ) ：0 0 7 e z p ( v2 + 。6 5 、， 1 2 风( y ) = 0 1 2 5 - e 印( v 8 + 。6 5 、 州) = 唧( 一等) 风( y ) 2 雨璃1 随机更新输入i f 模型下矩神经网络动力系统 最后，我们考虑神经元如何存储电势在电路中，我们用电容 c 来表示模型可描叙成一个电路囹，如图2 - 3 所示该图由一个 图2 & 等价电路图 电容器和三个电阻构成，且三个电阻各自都带有自己的供应的电池 【2 8 】当其中一个电阻固定时，其他的两个电阻则随着系统状态的变 化而变化在形式上的效果就表示为对电势的存储用公式可表示 为： c 警= 一厶+ 崩t ) ( 2 - 7 ) 其中，k ( t ) 表示外部输入电流而这种外部电流在实际的神 经系统中是存在的例如，从神经传递素控制的离子通道输入的电 流( 注意：在h h 模型中，k ( ) = 0 ) 公式( 2 - 7 ) 很好的描叙了膜 1 3 硕士学位论文 电势与时间的关系联立公式( 2 1 2 - 7 ) ，则h t t 模型可表示为： c 罾 = 一蚕k ( y 一互k ) 一蚕。m 3 h ( v e n 口) - g l ( y 一既) + 如t ( d ； ( y ) 鲁= - n 一彻( y ) 】； ( 2 - 8 ) ( y ) 警= 一h m 0 ( y ) 1 ； 靠( y ) 警= - h h o w ) 】 这里我们讨论的是通过n a + 离子、k + 离子和漏电离子通道的作用 而产生的脉冲很显然，脉冲的产生是由很多不同的离子通道共同 作用下才完成的在h h 模型中，电传导率是单个离子通道的属性 为了使其产生一个脉冲，那些离子通道的密度不能小于某个特定的 阀值满足这些条件，发生在轴突上脉冲才能够真正的吻合h h 模 型 2 3i f 模型的推广 在2 2 节我们已对h h 模型进行了分析，虽然非常符合生物实 际，但在人工神经网络中，仍然应用该模型就会使整个网络的运算 变得非常的庞大因此我们将对h h 模型进一步的简化，以便使我们 进一步研究脉冲的来到时间间隔分布问题，这个问题在神经网络中 是一个很重要的问题【2 9 - 3 0 】前面我们已对神经元产生脉冲的形式 做了具体的描叙，对于这种描叙过于老套，且在神经系统中，这中 类型的信息传递至少不是占主要的地位因此，为了更好的讨论信 息传递与脉冲时间性的相关性，有必要对真实的生物模型进一步简 化由于此问题对脉冲的具体表现形式没有做太大的要求，因此在 简化时将其忽略在整个神经网络中，只有在前突脉冲的作用下， 后突膜电势的值才会发生变化，这一点才是最本质的从而我们可 以忽略由具体的离子通道构造的动力系统，而主要考虑使得脉冲产 1 4 随机更新输入i f 模型下矩神经网络动力系统 生机制的动力系统，在h h 模型中，该动力系统主要通过对钠离子 和钾离子通道研究中推导出来的这里为了简单起见，在接下来的 推导过程中，我们将忽略钠钾离子通道对膜电压的相关性，而对漏 电离子通道，只有当膜电压在所设定的阀值之下，才对膜电压值的 变化起作用 i f 模型 记v ( t ) 表示膜电势，则原来主要受钠钾离子通道和漏电离子通 道影响下的膜电压可简化为下列一阶微分方程： 岩= - v ( t ) + r i ( t ) ( 2 - 9 ) b 其中，表示膜时间常数，主要由钠离子和漏电离子通道的平 均传导率决定输入电流i ( t ) 是由各个前突神经元发放的脉冲所产 生的突触电流之和它与单个突触的效能有关，这里我们用突触权重 来描叙，并记屿表示第j 个前突触神经元对后突触神经元的权重， 也可称为连接强度接下来，我们假定在突触之间是没有相互连接 的，在该假定的条件下，就可具体写出总的输入电流为： m ) = 叻q ( t 一巧) ( 2 - 1 0 ) j 巧 其中，函数a ( ) 表示后突触神经元反映的形式( 常用的函数口( ) 见附录) ，结构如图2 - 4 所示变量；表示前突神经元的第j 个突触 发放脉冲的时间而我们规定：当后突神经元的膜电压v c t ) 到达某 个预先给定的阀值时，则称该神经元发放了一个脉冲则易知成 立： 1 5 硕士学位论文 ， 图2 4 ：i f 模型结示意构图 y ( 巧) = ( 2 - 1 1 ) 为了完成该模型，我们需要对在神经元发放后重新设置膜电势 的值常用的重设机制有很多，这里不一一进行描叙，这里介绍其 中的一种重设机制，即当发放一个脉冲之后，立刻重设膜电势v ( t ) 为某一固定的值，通常记为w 矗用公式可表示为： 延my ( t ；+ a t ) = k c 。c t ( 2 - 1 2 ) t - * o 、j 一 、 除此之外，我们可考虑一个冰冻时间( 也称为绝对不发放脉冲的 时间) ，通常记为霉c ，则方程( 2 - 1 2 ) 变为： l i t m 。y ( 巧+ 耳e ，+ t ) = k 叩( 2 - 1 3 ) 综上，联立方程( 2 9 2 1 3 ) ，我们称之为i n t e g r a t e 。a n d - f i r e 神经 元模型，简称i f 模型 1 6 随机更新输入i f 模型下矩神经网络动力系统 根据阀值下的动力系统方程( 2 曲) ，该方程是一个非线性常微分 方程，可运用数值发放将其解出但在某些特殊情况下，我们可以 采用分析的方法解决 先讨论最简单的情形，假定i f 神经元用一个很短的电流脉冲所 引导，当然该电流脉冲不足以使神经元发放一个脉冲我们开始假 定v ( o ) = o ，现有一个很短的电流脉冲加入进来后，则假定y ( o + ) = y o 0 然后，系统再无外部电流输入，则方程( 2 - 9 ) 可变为： 解得： 善耄2 - v ( ，o ；( 2 - 1 4 ) ly ( o ) = y o 0 v ( t ) = v o e - 斋( 2 - 1 5 ) 由该函数图象可知，v ( t ) 随时间t 的增大而减少，而衰退程度 由时间常数决定 其次，考虑输入电流k 。( 亡) 为固定常数的情形跟前面所叙述的 一样，该常数应足够低，使得神经元不能发放脉冲则方程( 2 - 9 ) 的 解为： 令t 一， y ( t ) = 冗j ( 1 - - e - 去+ 鲁e 一去) ( 2 圳) l i mv ( t ) = r i ( 2 - 1 7 ) 可知，m 是v ( t ) 的一个稳定状态当r i 时，根据i f 模型 1 7 硕士学位论文 机理，不能发放脉冲若给定的外部输入电流充分大，使得r i 时，那么神经元将会按一个固定的时间长度发放脉冲两种情况见 图2 - 5 所示 特别地，该时间长度成为脉冲或者脉冲的间隔时间，记为t f ，则由 图2 5 ：应用i f 模型，模拟v ( t ) 的变化趋势图；其中左图取r j = 8 ，i 么- = 1 0 ； 右图取脚= 1 2 ，v o , = l o 方程( 2 - i i ) 、( 2 - 1 6 ) 可知： 儿一 r m l d 9 糕 ( 2 - i s ) 并称脉冲间隔时间t ，的倒数为脉冲发放频率，记为r ，则有： 5 甲t r c f 。- + t 卞i ) - i f n n 虻坠一l ( 2 1 9 ) ( b 。，一l d 9 精) 一1 r 7 其中，霉。，记为冰冻时间发放频率r 又称为i f 神经元的活性函 数或者获取函数图娜描叙了在取不同的初始状态的膜电势v 0 ( b p 嘶) 和冰冻时间7 0 ( 即扩c ，) 时，活性函数r ( 即m e a nf i r i n gr a t e ) 与 r k 。的关系图从图象可以看出，当外部输入电流r ，( 即冗k 。) ( - - 1 0 ) 时，活性函数r 将变成一条渐近线性曲线 1 8 随机更新输入i f 模型下矩神经网络动力系统 图2 - 6 ：取不同的t r 和矿。，时，活性函数r 与r k t 的关系图 珏i 模型的推广 大脑中的神经元在发放脉冲时，既不可能按固定的频率发放脉 冲，也不可能杂乱无章的发放脉冲因此上面介绍的i f 模型神经元 须做适当的修正故我们考虑加入随机干扰因子，使其发放频率不 再是一个常量，而是一个随机变量在神经系统中，外部输入电流 事实上是与时间相关的，也并非常量因此对外部输入电流的重新 构造有助于使m 模型神经元不规则发放脉冲甚者，包括神经传递 素从突触裂缝口出流出、离子通道的开和关以及膜电势沿着不同形 状的轴突传播等因素在内，都直接或者间接的影响着神经元的规则 发放 首先，考虑p o i s s o n 过程输入的i f 模型，令n = ( t ) ，t o ) 是一 个简单的标准泊松过程，参数为入，在该泊松过程输入的条件下， 当v ( t ) k 。时，方程( 2 - 9 ) 可写成一阶随机微分方程： 1 9 硕士学位论文 d v ( t 、) = 一专( y ( t ) 一w “) 出+ n d o ) ( 2 - 2 0 ) 【v ( o ) = v o 其中，7 = 吒1 ，记为衰退时间常数o 表示外部输入电流的强 度在时间区间( t ，t + a t 】内，n ( t ) 和v ( t ) 以概率入& 跳跃，若不加 输入电流项，根据 州归一专咿一) 出 ( 心1 ) 可知：v ( t ) 将会逐渐递减 现又记泊松过程来到时间间隔为t ，服从均值为a q 的指数分 布且假定该过程以频率a 进行跳跃这里跳跃的幅度是服从概率 密度为( 让) 的随机变量，记x ，且记其分布函数为圣( 则，到时 刻t 为止，外部输入电流v ( t ) 可表示为： n ( t ) y ( t ) = 虬( 2 - 2 2 ) k = l 其中，n ( t ) 是参数为a 的泊松过程，x l j 一，x n ( t 1 独立同分布 则方程( 2 - 2 0 ) 变为： ：卜专( 以牡妣“嘲( 2 - 2 3 ) 【v ( o ) = v o 从上可知，跳跃度落在( u ，u + d u l 之间的事件数是以概率( 乱) 扎 发生的现令n ( d u ，t ) 表示到时刻t 为止，跳跃度落在( u , u + d u 之间 的事件数则整个过程在( 0 , t 】内的事件数v ( t ) 可写为： 随机更新输入i f 模型下矩神经网络动力系堕 方程( 2 - 2 0 ) 可变为： ，十 y ( t ) = u d n ( d u ，t ) ( 2 - 2 4 ) ，一 jd y ( t ) 2i 专。( y ( t ) 一k e 以) 出+ e 谢( d u , d t ) ；( 2 - 2 5 ) lv ( o ) = k 为简单起见，设k 。札= o ，根据方程( 2 - 2 4 ) ，当y ( t ) 时， d y ( t ) ：一半蚺 佃t d n ( d u ，d t ) ，一 = 一半出+ 州班 令，( z 。，。2 ) = e 寻z 2 ，由h o 公式可知： 从而 m 州) = 们y ( 0 ) ) + 善z 讹以曲) d 弼i = f ( o , v ( o ) ) + z ( s ) d s 十f o e 硼s ) ：i ( o ，即) ) + 石2 e 号d