（凝聚态物理专业论文）延迟反馈神经网络和两层反馈神经网络的研究.pdf

摘要 反馈神经网络是神经网络中最重要的类型之一，这种网络的突出特点就是 它具有联想记忆的功能。反馈神经网络最重要的范例就是h o p f i e l d 网络，它已经 被人们广泛地研究过，然而h o p f i e l d 网络和它的许多变种都存在着一些严重的 缺陷，比如伪吸引子问题和低存储率问题。这些缺陷严重地限制了它们的实际 应用能力。另外，h o p f i e l d 网络是典型的非线性动力系统，在近十几年来非线性 动力学的发展中，人们认识到到了非线性动力系统不仅可能存在不动点解，而 且也可能存在大量的极限环或周期运动解。目前，绝大部分反馈神经网络都是 利用系统的不动点作为信息存储的载体，但这种方式没有利用非线性动力系统 大量存在的周期解，从某种意义上说是一种巨大的浪费。 最近，赵鸿教授提出了一套关于联想记忆反馈神经网络的整体学习规 则( 蒙特卡罗优化变异规则) f p h y s r e v e 7 0 ，0 6 6 1 3 7 ( 2 0 0 4 ) 】。这种学习规则的基 本思想就是：通过不断地优化变异随机选择的连接权矩阵元，从而使网络在给 定的训练目标下达到整体最优。采用这种学习规则训练的反馈网络有许多非常 有趣的动力学性质。特别是，用这种学习规则训练的反馈网络存在三个动力学 性质非常不同的相区：混沌区、纯记忆区和混合区。在纯记忆区，伪吸引子被完 全消除，因此它非常适合于联想记忆的应用。 本论文利用这套整体学习规则重点研究两个问题。第一个问题是推广蒙特 卡罗优化变异规则的方法，使它能直接应用于延迟反馈神经网络的训练，并详 细研究了用这种方法训练出的网络的动力学性能，如伪吸引子和存储率等。第 二个问题是推广蒙特卡罗优化变异规则的方法，使它能直接应用于以极限环作 为信息存储载体的网络，并研究极限环吸引子网络( 包括多层反馈网络和延迟 反馈网络) 的动力学行为、网络性能，以及与对应的不动点吸引子网络的区别。 在本论文的第一部分，我们把蒙特卡罗优化变异规则推广到存储记忆模式 为不动点吸引子和极限环吸引子的延迟反馈网络上，然后对这种延迟反馈网络 的存储率和动力学性质进行研究。我们的研究表明，采用蒙特卡罗优化变异规 则训练的延迟反馈网络，和采用关联学习规则训练的延迟反馈网络一样，最大 存储率和延迟的长度成线性增长关系，但前者的数值远远高于后者；另外，蒙特 卡罗优化变异规则训练的延迟反馈网络的推广能力也比关联学习规则训练的延 迟反馈网络要好；还有一个有趣的发现就是，在蒙特卡罗优化变异规则训练的 延迟反馈网络中，如果记忆极限环的长度足够大，伪吸引子会完全消失，网络不 存在混合区。作为应用例子，我们演示了用延迟反馈网络存储具有交叉点的多 个极限环，从一小串数字中联想起整个数字序列。 在本论文的第二部分，我们采用多层的蒙特卡罗优化变异规则构造了一个 两层的反馈神经网络，并对它的动力学性质进行了研究。该网络可以把记忆模 式存储成不动点吸引子或者极限环吸引子，我们对极限环吸引子网络和不动点 吸引子网络的动力学性质进行了比较，并发现前者的存储质量要比后者好，特 别是，当记忆模式存储成长的极限环时，伪吸引子完全消失。本部分我们还将演 示极限环吸引子网络的一个可行的应用，给定一个图形片段，联想出整个图形。 关键词：反馈神经网络；联想记忆；极限环；吸引子；动力系统 u a b s t r a c t f 色e d b a c kn e u r a ln e t w o r ki 8o n eo ft h em o s ti m p o r t a n tn e u r a ln e t w o r k ，t h e m o s tr e m a r l ( a b l ef 色a t u r eo ft h i sh n do fn e t w o r ki 8t h ea s s o c i a t i v em e m o r yf u n c - t i o n t h em o s ti m p o r t a n tp a r a d i g mo ff e e d b a c kn e u r a ln e 栅o r ki st h eh o 曲e l d n e t w - o r kw h i c hh a sb e e ns t u d i e dw i d e l y ，b u tt h eh o p 丘e l dn e t w _ 0 r ka n di t sm o d - i f i c a t i o n sh a es o m es e r i o u sl i m i t a t i o 璐，s u c ha st h es p u r i o u sa t t r a c t o rp r o b l e m a n dl o ws t o r a g ec a p a c i t yp r o b l e m t h e s el i m i t a 七i o 璐r e s t r i c tt h e i ra p p l i c a t i o n s g r e a t l y m o r e o v e r ，h o p f i e l dn e t w o r ki sat y p i c a ln o n l i n e a u rd y n a m i c a ls y s t e m t h ep r o g r e s so fn o n l i n e a rd y n a m i c a ls y s t e m si nt h ep a u s tt e ny e a r sh a ss h o w n t h a tt h e r ee ) ( i s th u g el i m i t - c y c l es o l u t i o 璐a s r e l la s 丘x e d - p o i n ts o l u t i o n s a t p r e s e n t ，m o s to ff e e d b a c kn e u r a ln e t w o r l 【sm a k eu s eo ff i x e d p o i n ta t t r a c t o r st o s t o r ei n f o r m a t i o n t h i sm e t h o dd o e sn o tm a kf u l lu s eo ft h el i m i t c y c l es o l u t i o i l s w h i c he ) ( i s tb l l g e l yi nn o n l i n e a rd y n a m i c a ls y s t e m s ，s oi ti saw a s t ei nac e r t a i n s e n s e r e c e n t l y ，a9 1 0 b a ll e a r n i i 培r u l e ( m o n t ec a r l oa d a p t a 七i o nr u l e ) f o rf e e d - b a c kn e u r a ln e t ? 咖r kw i t ha s s o c i a t i v em e m o r yi sp r o p o s e db yp r o f h o n gz h a o 【p h y s r 启v e 7 0 ，0 6 6 1 3 7 ( 2 0 0 4 ) 】t h eb a s i ci d e ao ft h i sl e a r n i n gr u l ei st oo b t a i n ac e r t a i no p t i m i z a t i o nb yc o n t i n u o u s l yc h a n g i n gt h ee l e m e n t so fc o u p l i n gm a t r i x s e l e c t e dr a n d o m l y t h e d b a c kn e t w 0 r kd e s i 印e db yt h e1 e a r n i n gr u l eh a ss o m e v e ui i l t e r e s t i n gd y n a m i c a lb e h a v i o l l r p 盯t i c u l a r l y ，t h e r e 喇s tt h r e ed i 髓r e n t d y n 锄i c a lp h a u s e s ：c h a o sp h a s e ，p u r em e m o 呵p h a s ea n dm i x t u r ep h a u s e i nt h e p u r em e m o r yp h a u s e ，t h es p u r i o u sa t t r a u c t o r sa r es u p p r e s s e dc o m p l e t e l y it h e r e f o r e i ti sv e uf a o u r a b l ef o ra s s o c i a t i v em e m o r y i nt h i st h e s i s ，w ei 1 1 v e s t i g a t et w op r o b l e m sb yu s i n gt h em o n t ec a r l oa d a p t 扣 t i o nr u l e t h e 丘r s to n ei 8t oe 斌e n dt h em e t h o do fm o n t ec a r l oa d a p t a t i o nr u l et o l l l d e l a y e df e e d b a c kn e t w d r k ，s ot h a tt h em e t h o dc a nb eu s e df b rd e s i g n i n gd e l a y e d f i e e d b a c kn e t w d r k sd i r e c t l y w 色s t u d yt h ed y n a m i c sp e r f o r m a n c eo ft h en e t w o r k d e s i g n e db yt h em e t h o di nd e t a i l ，s u c ha ss p u r i o u sa t t r a c t o r sa n ds t o r a g ec a p a c i t y t h es e c o n do n ei st oe x t e n dt h em e t h o do fm o i l t ec a r l oa d a p t a t i o nr u l e ， s ot h a ti tc a nb ed i r e c t l yu s e df o rd e s i g n i n gt h en e t w o r l 【sw h i c hs t o r ei n f o r m a _ t i o na sl i m i tc y c l e s w bs t u d yt h ed y n a m i c a lb e h a v i o u ra n dp e r f o r m a n c eo ft h e l i m i t c y c l en e t 、7 l ，o r k s ( i n c l u d i n gm u l t i l a y e rf e e d b a c kn e t ，o r k sa n dd e l a y e df e e d - b a c kn e t w o r k s ) ，a n dc o m p a r et h ed i f f b r e n c e sb e t 他e ni ta n dt h ec o r r e s p o n d i n g f i x e d - p o i n - tn e t w o r k s i nt h e 丘r s tp a r to ft h i st h e s i s ，w ee x t e n dt h em o n t ec a r l oa d a p t a t i o nr u l et o t h ed e l a y e df e e d b a c kn e u r a ln e t w o r kf o rs t o r i n gm e m o u p a t t e r n sa sf i x e d p o i n t a t t r a c t o r so rl i m i t c y c l ea t t r a c t o r s ，a n dt h e ni n v e s t i g a t et h es t o r a g ec a p a c i t y a n dd y n a m i c so fi t i ti sf o u n dt h a tt h es t o r a g ec a p a c i t yo ft h en e t w o r k si si n p r o p o r t i o nt od e i a yl e n g t ha si nt h en e t 、7 l r o r k st r a i n e db yt h ec o r r e l a t i o n1 e a r n i n g b a s e do nh e b b sr u l e ，b u ti sm u c hh i g h e rt h a nt h el a t t e r t h eg e n e r a l i z a t i o n c a p a c i t yo ft h en e t w o r k si sa l s oh i g h e rt h a nt h el a t t e r a n o t h e ri n t e r e s t i n gf i n d i n g i st h a tt h es p u r i o u sa t t r a c t o r st o t a l l yd i s 印p e a ri nt h en e t w o r l 【st r a i n e db yt h e m o n t ec a r l oa d a p t a t i o nr u l ei ft h em e m o r yl i m i tc y c l e s 盯es u m c i e n t l yl o n g a sa ne x a m p l e ，w ed e m o n s t r a t et h ea p p l i c a t i o no fd e l a 驴df e e d b a c kn e t 、v o r kf o r s t o r i n g1 i m i tc y c l e sw h i c hh 孙吧c o m m o ni n t e r s e c t i o np o i n t s ，t h en e 钿旧r kr e c a l l s t h ew h o l en u m b e rs e r i e sb ya p a r to fi t i nt h es e c o n dp a r to ft h i st h e s i s ，、7 l r ec o n s t r u c tat 旧卜_ l a 归rf 色e d b a c kn e u r a l n e t w o r ku s i n gt h em o n t ec a u r l oa d a p t a t i o nr u l et os t o r em e m o r yp a t t e r n sa sf i x e d - p o i n ta t t r a c t o r so ra sl i m i t c y c l ea t t r a c t o r s ，a n dt h e ni n v e s t i g a t et h ed y n a m i c so f i t w _ ec o m p a r et h ed y n 锄i c so ft h en e t w o r kw i t h1 i m i t c y c l ea t t r a c t o r sa n d r i t h 五x e d - p o i n ta t t r a c t o r s i ti sf o u n dt h a tt h ef o r m e rh a sb e t t e rr e t r i e v a lp r o p e r t y t h a nt h el a t t e r p a r t i c u l a r l y ，s p u r i o u sa t t r a c t o r sc a nb es u p p r e s s e dc o m p l e t e l y 1 v w h e nt h em 锄。巧p a t t e r n sa r es t o r e da sa 1 0 n gl i m i tc y c l e 。i nt h i sp a r t ，r ea l s o d e m o l l s t r a t eaf e a s i b l ea p p l i c a t i o no fl i m i t c y c l e - a t t r a c t o rn e t w o r l ( s ，t h en e t w o r k r e c a l lw h 0 1 ep i c t u r eb ya s e g m e n to fi t k e y w o r d s ： f e e d b a c kn e u r a ln e 怕旧r k ；a s s o c i a t i v em e m o r y ；l i m i tc y c l e ；a t t r a c t o r ； d y n 锄i c a ls y s t e m v 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。本人在论 文写作中参考其他个人或集体已经发表的研究成果，均在文中以适当方式明确 标明，并符合法律规范和厦门大学研究生学术活动规范( 试行) 。 另外，该学位论文为( ) 课题( 组) 的研究成果，获得() 课题( 组) 经费或实验室 的资助，在() 实验室完成。( 请在以上括号内填写课题 或课题组负责人或实验室名称，未有此项声明内容的，可以不作特别声明。) 声明人( 签名) ：捌 y f9 年l 乙月1 日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办法等规定 保留和使用此学位论文，并向主管部门或其指定机构送交学位论文( 包括纸质 版和电子版) ，允许学位论文进入厦门大学图书馆及其数据库被查阅、借阅。本 人同意厦门大学将学位论文加入全国博士、硕士学位论文共建单位数据库进行 检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理 复制学位论文。 本学位论文属于： () 1 经厦门大学保密委员会审查核定的保密学位论文，于 年月 日解密，解密后适用上述授权。 ( 叫2 不保密，适用上述授权。 ( 请在以上相应括号内打“ 或填上相应内容。保密学位论文应是已经厦 门大学保密委员会审定过的学位论文，未经厦门大学保密委员会审定的学位论 文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用上述 授权。) 声明人( 签名) ： 、，扫洛i 第一章绪论 1 1 人脑和神经元 人脑是一个极其复杂的系统，它是人类的语言、学习、逻辑推理、记忆、情 感和知觉等复杂智能活动的起源，虽然世界上许许多多的科学家对它进行了不 懈的探索和研究，但它的工作机制对当代科学来说仍然是一个重大未解的谜。 我们现在知道，称为“神经元”的神经细胞是构成人脑的基本功能单元，每 个人脑大约由1 0 1 1 个互相连接的神经元组成，每个神经元约有1 0 0 0 个连接。尽 管神经元的种类繁多，但它们大多数都有一个共同的结构，如图1 1 所示，每个 神经元都有树突、细胞体和轴突这三个部分组成。树突是从细胞体中延伸出 辩突 细 图1 1 ：生物神经元的结构( 图片源于维基百科) 。 的许多树状纤维，它是神经元的信号接收单元，神经元通常以电脉冲形式接收 来自其它神经元的信号，一个神经元对于施加在它的树突上的电脉冲刺激具 有三种响应模式：有些输入使它兴奋，有些使它抑制，还有些输入可以对它的 行为进行调制。树突将电脉冲信号传送到细胞体，细胞体对这些输入信号进行 整合和处理。轴突是从细胞体中伸出的末端带有许多分枝的单根长纤维，它把 2 延迟反馈神经网络和两层反馈神经网络的研究 细胞体的输出信号传输给其它的神经元。在没有任何信号时，神经元通常也会 沿着轴突以相对较慢、无规则地传输频率为l 一5 赫兹的背景脉冲。如果神经元 接收到许多兴奋信号，使它处于兴奋状态，则它的发放频率会增至一个很大的 值，典型的为5 0 1 0 0 赫兹或更高；如果神经元接收到抑制性的信号，使它处于 抑制状态，则它的发放频率可能比正常的背景发放率更小些。一个神经元的轴 突和另一个神经元的树突的连接点称为突触，一般情况下神经元之间在突触的 信号传输不是直接的电脉冲传输。两个神经元在突触间有一条明显的缝隙，约 为1 4 0 微米宽，这条缝隙叫突触裂隙。当电脉冲到达突触前膜时，它使一些称 为囊泡的化学物质释放到突触裂隙中，这些化学物质分子迅速在裂隙中扩散 开，其中的一些与突触后细胞膜上的分子门结合，使这些特殊的门打开，允许 带电的粒子流入或流出突触后膜，使跨膜的局域电位发生变化，所以整个过程 是：电_ 化学_ 电。虽然神经元的内部结构是非常复杂的，但从功能上看神 经元却显得异常的简单：一个神经元对于许多的输入信号的响应是从它的轴突 发送一串电脉冲，一个神经元仅能简单地告知另外一个神经元它的兴奋程度。 由数量众多但功能却简单的神经元构成的人脑能导致思想、意识和情感等 复杂行为的产生，是人脑最令人惊奇的事情。虽然科学家们对一些发生在人脑 中的重要的电或化学的过程有了深入的理解和研究，但要建立一个关于“脑 的完整的理论还有很长的一段路要走。 1 2 人工神经网络及其发展历史 1 2 1什么是人工神经网络 当一些科学家在探索和研究大脑的工作之谜的时候，另一方面，“机器能 否思考? 这一问题长期以来也吸引了许多哲学家和科学家，特别是1 9 5 0 年 英国著名科学家图灵( a 1 a nt u r i n g ) 发表了一篇题为“c o m p u t i n gm a c h i n e r y a n di n t e l l i g e n c e ”的文章【1 】，重述了这一重要的课题。图灵提出这一课题后不 久，于1 9 5 6 年，许多科学家，如明斯基( m l m i n s k y ) 、香农( c s h a n n o n ) 、莫 尔( t m 0 0 r e ) 和麦卡锡( j m c c a r t h y ) 等人在美国召开了次学术研讨会，揭 第一章绪论 3 开了现在被称为人工智能这一科学领域的研究序幕。人工智能经过几十年的研 究形成了符号主义、连接主义和行为主义等几种方法。人工神经网络属于人工 智能的连接主义方法，这种方法认为通过模仿人脑，将大量结构和功能都简单 的人工神经元通过各种方式连接成一个复杂的网络结构，便可以使机器产生复 杂的智能行为。 神经网络作为模仿人脑的一种计算模型，是由简单人工神经元构成的高度 并行的分布式处理机，它和传统的基于图灵机模型的冯诺依曼计算机有着很 大的不同，它有以下的一些特点： 1 像人脑一样，神经网络可以通过学习过程从外部环境获取知识，并能对学 习到的知识进行推广，神经网络从外部环境学习知识的方法称为学习规 则( 或设计规则) 。 2 神经网络学习的知识是存储在神经元之间的连接强度( 连接权重) 上的， 这点和传统的数字计算机通过一个专门的存储器来存储信息有着明显的 区别。 3 神经网络的工作方式是并行的，计算的时候所有的神经元同时参与计 算；而传统的数字计算机的工作方式是串行的，它必须有一个中央处理器 来一条接一条地执行指令。 4 神经网络具有很好的容错性。由于神经网络的知识是存储在大量神经元的 连接中的，当其中少数几个神经元出现故障一般不会对整个神经网络造成 明显影响。 5 神经网络一般具有高度的非线性性，是一个非线性系统。 1 2 2 神经网络的历史 神经网络最早的研究可以追溯到2 0 世纪4 0 年代v 沌r r e nm c c u l l o c h 和w a l t e r p i t t s 的工作 2 】，他们从原理上证明了神经网络可以实现任何算术和逻辑函数的 计算。 在m c c u l l o c h 和p i t t s 的工作之后，d o n a l dh e b b 于1 9 4 9 年根据条件反射现象 4延迟反馈神经网络和两层反馈神经网络的研究 提出了生物神经元的一种学习机制 3 】：如果两个神经元同时处于兴奋状态，则 它们之间的连接将会加强。 2 0 世纪5 0 和6 0 年代是神经网络发展的第一个黄金时期，这期间n a n kr d s e n - l a t t 提出了感知机网络和感知机学习规则 4 】，他还证明了只要求解问题的权值 存在，那么感知机学习规则就会收敛到正确的权值上。感知机网络虽然有很强 的学习功能，但是m a r v i nm i n s k y 和s e y m o u rp 印e r t 的研究工作表明这种单层 的感知机网络本身具有内在的局限性【5 】，它只能解决线性可分问题，这一结论 曾一度导致神经网络的研究陷入低潮。几乎在r o s e n b l a t t 工作的同时，b e r n a r d w i d r o w 和他的学生m 盯c i a nh o f f 引入了a d a l i n e ( 自适应线性神经元) 网络和 最小均方学习算法f 6 1 。a d a l i n e 网络在数字信号处理邻域有很成功的应用，它 和感知机网络很相似，有和感知机一样的局限性，只能解决线性可分的问题。但 是，a d a l i n e 网络由于使用最小均方算法，网络的判定边界能尽量远离训练模 式，所以比感知机更不容易受噪声的影响。 由于受到m i 璐k y 和p a p e r t 工作的影响神经网络研究陷入了一段低潮时期， 然而在2 0 世纪7 0 年代，许多科学家们仍然坚持着该领域的研究工作，并得到了 许多重要的成果。在这一时期，t e u v ok o h o n e n 和j a m e sa n d e r s o n 分别独立提出 了具有联想记忆功能的神经网络【7 ，8 ，而s t e p h e ng r o s s b e r g 和g a i lc a r p e n t e r 贝0 在自组织神经网络方面取得了重要的进展【9 】。 2 0 世纪8 0 年代，由于物理学家j o h nh o p f i e l d 在反馈神经网络方面的工作 和训练多层神经网络的反向转播( b a c kp r o p a g a t i o n ，b p ) 算法的提出，神 经网络的研究得到了空前的复兴。h o p f i e l d 于1 9 8 2 年和1 9 8 4 年发表了两篇非 常重要的论文 1 0 ，1 1 1 ，提出了带有自反馈的具有联想记忆功能的h o p f i e l d 网 络，并用l y a p u n o v 稳定性理论对网络的稳定性进行了分析，他还指出了神 经网络与统计物理中的i s i n g 模型的相似之处，使得许多现存的理论可以用 来对神经网络进行分析。由于单层神经网络只能解决线性可分的分类问 题，r o s e n b l a t t 和w i d r o w 都意识到可以用多层网络来克服神经网络的这一局限 性，但他们都没有将学习规则推广到多层网络。p a u lw e r b o s s 在1 9 7 4 年第一次 第一章绪论 5 描述了多层网络的一个算法 1 2 1 ，可惜没有在神经网络研究领域传开，到了8 0 年 代中期才又被几个研究者重新发现 1 3 】，克服了单层神经网络的局限性，并取得 了广泛的应用。 在过去几十年中，神经网络得到了迅速发展，各种理论被研究者们提出，在 各个领域不断取得应用，虽然它离人工智能的最终目标“智能机器”还有漫长 的道路，但神经网络的前景是令人鼓舞的。 1 3本论文的研究工作和内容提要 反馈神经网络是神经网络中的一种重要类型，它的典型代表是促进神经网 络第二次复兴的h o p f i e l d 网络，这种网络的一个突出特点是具有联想记忆功能， 跟人脑的工作方式很相似，使得它不仅在神经网络理论上而且在实际应用上都 具有重要的意义。另外，反馈神经网络是一个非线性动力系统，一方面，人们可 以用非线性动力系统的理论和方法对它进行研究，另一方面反馈神经网络是一 个复杂的高维系统，它具有非常丰富的动力学性质，为非线性动力学领域提供 了一个典型模型，对进一步理解高维非线性动力系统的一般性质也具有重要的 意义。 本论文主要对延迟反馈神经网络和两层反馈神经网络这两种反馈网络 进行研究，我们采用赵鸿教授提出的蒙特卡罗优化变异规则( m c a 学习规 则) 1 4 ，1 5 】对这两种反馈网络进行训练，然后对它们的动力学性质和应用进行 研究。本文各章安排如下： 第二章对神经网络和动力系统的基础知识进行介绍，特别是详细地介绍了 反馈网络的h o 两e l d 网络模型，以及它所存在的缺陷。 第三章对单层反馈神经网络的蒙特卡罗优化变异规则进行介绍。我们介绍 了它的基本思想和算法实现，以及这种网络的一些主要特征和动力学性质。 第四章对延迟反馈网络进行研究，我们把单层的蒙特卡罗优化变异规则推 广到延迟反馈网络上，在网络中记忆模式存储成网络的极限环，并对这种网络 的存储率、动力学性质和应用进行研究。我们把它和关联学习规则进行比较，显 6 延迟反馈神经网络和两层反馈神经网络的研究 示了我们这种新的网络模型所具有的优点。 第五章对两层反馈网络进行研究，我们把蒙特卡罗优化变异规则推广到两 层的反馈网络上，并对它的动力学性质和应用进行了研究。 第六章是总结和展望。 第一章绪论 7 参考文献 【1 】a m t u r i n g c o m p u t i n gm a c h i n e r ya n di n t e l l i g e n c e 以n d ，5 9 ：4 3 3 4 6 0 ， 1 9 5 0 2 】w m c c u l l o c ha n dw p i t t s a1 0 9 i c a lc a l c u l u so ft h ei d e a si m m a n e n ti n n e r v o u sa c t i v i t y b 越胁锄盯m n 琥e m 施c o f 觑o f 叼秒，5 ：1 1 5 1 3 3 ，1 9 4 3 3 】d o h e b b 孤ed 哪肌i z o 咖no ，j e 7 e 危。饥d nn e wy o r k ：w i l e y ，1 9 4 9 4 】f r d s e n b l a 七t t h ep e r c e p t r o n ：ap r o b a b i l i s t i ci i 】【o d e lf o ri n f o r m a t i o ns t o r _ a g ea n do r g a n i z a t i o ni nt h eb r a i n 尸s 秒c 九d f 叼i fr e 说伽，6 5 ：3 8 8 4 0 8 ，1 9 5 8 5 】m m i n s k ya n ds p a p e r t p e r c 印t m 礼s m a ：m i tp r e s s ，1 9 6 9 6 】b w i d r 帆ra n dm e h o 伍。 a d a p t i v es w i t c h i l l gc i r c u i t s i nj9 疗d 膪e 唧c 0 c t d 删e n 缸d 扎r e c 0 耐1 9 6 0 7 】t k o h o n e n c o r r e l a t i o nm a t r 议m e m o r i e s 汜e 乃u 佗s n c 亡i d 伽d 礼竹叩钍t e 倦，2 1 ：3 5 3 - 3 5 9 ，1 9 7 2 8 】j a n d e r s o n a s i m p l en e u r a ln e t w o r kg e n e r a t i n ga ni n t e r a c t i v em e m o 够 讹t 危e ；口挽c 口fj e 7 i d s c i e n c e s ，1 4 ：1 9 7 2 2 0 ，1 9 7 2 9 】s g r o s s b e r g a d a p t i v ep a t t e r n c l a s s i 丘c a t i o na n du n i v e r s a l r e c o d i n g ：i p 扑 a l l e ld e v e l o p m e i l ta n dc o d i n go fn e u r a lf e a t u r ed e t e c t o r s b i d 2 9 班c o f 回6 e 卜 n e 统c s ，2 3 ：1 2 1 1 3 4 ，1 9 7 6 1 0 】j j h o 曲e l d n e u r a ln e t w o r l 【8a n dp h y s i c a ls y s t e i i l sw i t he m e r g e n tc o l l e c t i v e c o m p u t a t i o n a la b i l i t i e s p r o c o 规a c o dj s 说矿sa ，7 9 ( 8 ) ：2 5 5 4 2 5 5 8 ，a p r 1 9 8 2 【1 1 】j j h o 曲e l d n e u r o n s 诵t hg r a d e dr e s p o n s eh a v ec o l l e c t i v ec o m p u t a t i o n a l p r o p e r t i e 8l i k et h o s eo ft w 伊s t a t en e u r o n s p r d c a 扰a c 口d usa ，8 1 ( 1 0 ) ：3 0 8 8 3 0 9 2 ，m a y1 9 8 4 8 延迟反馈神经网络和两层反馈神经网络的研究 1 2 】p j 。w 宅r b o s b e 可d 佗d 代汐7 e s s i d n ? 忆t 正7 亡d d 三s 加rp 删 c 挽d nn 扎do n o 勿s t si n t e6 e 九n 说d ，u fs c t e 扎c e s p h dt h e s i s ，h a r v a r du n i v e r s i t y ，1 9 7 4 1 3 】d e r u m e l h a r t ，g e h i n t o n ，a n dr j w i l l i a m s l e 觚n i n gr e p r e s e n t a t i o n s b yb a 6 k p r o p a g a t i n ge r r o r s o 亡让他，3 2 3 ：5 3 3 5 3 6 ，1 9 8 6 1 4 】h o n gz h a o d e s i g n i n ga l s y m m e t r i cn e u r a ln e t w o r l 【sw i t ha u s s o c i a t i v em e m o r y 耽暑sr e ue7 0 ( 6p t2 ) ：0 6 6 1 3 7 ，d e c2 0 0 4 1 5 】z h a oh ag l o b a l a l g o r i t h mf o rt r a i n i n gi i 】【u l t i l 厂e r n e u r a ln e t w o r k s n r ? “u 印危! s i c 跏6 d 7 倒玩2 0 0 6 第二章神经网络的基础 2 1 人工神经元 生物神经元是大脑的基本结构单元，数量巨大的生物神经元互相连接构成 复杂的大脑。人工神经网络的基本结构单元则是人工神经元，人工神经元是生 物神经元的简化数学模型，大量的人工神经元通过各种连接方式互相连接形成 各种结构的人工神经网络。 2 1 1人工神经元的结构 人工神经元的结构如图2 1 所示，它是一个多输入单输出的信号处理单元， 人工神经元i 在输入端接收m 个输入信号 b ：1 ，m ，并将每个输入信号巧乘以 一个连接权重札切，再把所有的加权信号叫巧和偏置量玩进行累加求和得到神经 元i 的局域场： m 鬼= ( ) + 魄 j = 1 ( 2 1 ) 然后把局域场也输入给一个传输函数厂( ) ，通过传输函数，( ) 的作用产生神经 元i 的输出信号： 犰= ，( 乜)( 2 2 ) 偏置输入也可以看成是输入值为l ，连接权重为魄的输入连接，则方程( 2 1 ) 可以 写成： m 乜= 蚴巧 j = 0 ( 2 3 ) 其中，z o = + 1 ，叫= 玩。 若把人工神经元和生物神经元进行比较，则人工神经元的连接权重蚴是模 拟生物神经元突触的连接强度，累加器和传输函数则模拟生物神经元细胞体的 功能，输出信号犰对应于轴突的信号。 1 0 延迟反馈神经网络和两层反馈神经网络的研究 输入连接权偏置 z m 图2 1 ：人工神经元的结构。 2 1 2 传输函数的类型 出 玑 对于给定的局域场 ，神经元的传输函数，( ) 决定了神经元的输出，它可以 是线性或非线性函数。由于它把神经元的输出值压缩在一个有限的范围，因此 也称压缩函数。下面讨论常见的几种传输函数。 1 符号函数( 对称硬极限函数) 符号函数，又称为对称硬极限传输函数 ，c ，= s 夕礼c 九，兰 二：薹2 三兰 c 2 4 ， 当局域场九大于等于。时，函数输出为+ 1 ，表示神经元处于“激活 状态； 当局域场 小于0 时，函数输出为一1 ，表示神经元处于“抑制 状态。该传 输函数被广泛应用于各种神经网络中。 2 对称饱和线性函数 第二章神经网络的基础 对称饱和线性函数 i 一1 ，i f 一七 厂( ) = 七，i f 一忌 九 后 ( 2 5 ) i + 1 ，i f 后 是一个分段线性函数，其中后是一个大于0 的常数。当局域场九小于等 于一忌时，函数输出为一1 ；当局域场研生一七和南之间时，是一个线性函 数九七；当局域场 大于等于后时，函数输出为+ l 。 3 对数s 形函数 如图2 2 所示，对数s 形传输函数 m ) 2 南 ( 2 6 ) 把( 一，+ o o ) 映射到区间( 0 ，1 ) 上。其中，q 是一个控制该传输函数斜率的 参数，该函数在原点处的斜率为q 4 。当q 不断增大时，该函数形状变得越 来越陡；当q 趋于无穷大时，硬极限函数 m ，2 篱 仁7 ， 成为它的极限情形。由于对数s 形函数是一个可微函数，反向传播学习算 法训练的多层网络常用它作传输函数。 r ( ) z 羹彳 一砀 图2 2 ：对数s 形传输函数。 1 2延迟反馈神经网络和两层反馈神经网络的研究 2 1 3 随机神经元 前面介绍的神经元是确定性的神经元，即当它的输入给定后，输出就被唯 一确定。然而，在神经网络的某些应用中，有时也会采用随机神经元模型。在这 种随机神经元中，神经元的输出可不是唯一确定的，而是根据局域场九以一定的 概率输出士1 ，如 秒= 二糍嚣_ 8 ， 其中，尸( ) 可以选择如下的s 形函数： 尸( ) 5 再荪 ( 2 9 ) 其中，t 是一个伪温度，用来控制神经元的噪声大小，从而控制神经元的不确定 性。当t _ 0 时，噪声完全消失，随机神经元退化为确定性的神经元。 2 2 神经网络的结构 神经元通过互相连接构成神经网络，神经元相互之间不同的连接方式构成 了不同的网络结构。神经网络的结构多种多样，下面介绍几种基本的网络结构。 2 2 1 单层前馈网络 在神经网络中，经常把一些可以并行操作的神经元的集合安排成“层”。最 简单的单层前馈网络的结构如图2 3 所示，其中所有的个神经元被安排在同一 个层上，m 个输入信号构成一个列矢量x = ( z 1 ，z 2 ，z m ) t ，每个输入信号都 与每个神经元相连接，第j 个信号到第i 个神经元的连接权重为叫矿则所有的连 接权重可以写成一个m 矩阵： w 一巨引 仁埘 第二章神经网络的基础 1 3 输入信号进入神经元层，经过个神经元并行计算后得到个输出信号构成的 列矢量y = ( 可1 ，耽，鲫) t 。由于神经元层把信号处理完后就直接输出，所以 我们把它称为“输出层 。单层前馈网络是一个从m 维矢量空间到维矢量空间 的映射，可以写成简化的式子： y = f ( w x + b )( 2 1 1 ) 其中，b = ( 6 1 ，6 2 ，6 ) 丁是由所有神经元的偏置值构成的列矢量。由于在这 种结构的网络