（理论物理专业论文）非对称神经网络动力学研究.pdf

周庆国：博士学位论文 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立 进行研究所取得的成果。学位论文中凡引用他人已经发表或未发 表的成果、数据、观点等，均已明确注明出处。除文中已经注明 引用的内容外，不包含任何其他个人或集体已经发表或撰写过的科研 成果。对本文的研究成果做出重要贡献的个人和集体，均已在文中以 明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：衄日 期： k 乒斗 周庆国：博士学位论文 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属兰州大学。本人完全了解兰州大学有关保存、使用学位论文的规定， 同意学校保存或向国家有关部门或机构送交论文的纸质版和电子版， 允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用任何复制手段保存和 汇编本学位论文。本人离校后发表、使用学位论文或与该论文直接相 关的学术论文或成果时，第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 j夕 论文作者签名：衄翩签名张日期：疋j _ b 周庆国：博士学位论文 摘要 本文推广蒙特卡罗变异优化规则以适应一般非对称反馈 神经网络的设计，同时对非对称反馈神经网络的动力学特 性进行了详细研究，首次建立了神经网络权值矩阵的本征 值谱与网络性能的直接联系。 具有联想记忆功能的神经网络一直以来是神经网络研 究的热点问题。赵鸿教授针对传统反馈神经网络存在的三 个问题：具有任意对称度的神经网络的设计方法以及这类 网络的性能；大量伪吸引子与记忆模式共存的问题；记忆 模式吸引域的控制问题，提出了一套神经网络设计方法， 即非对称神经网络设计规则，又称蒙特卡罗变异优化设计 规则。这套方法全面地解决了上述问题，但是此设计方法 主要考虑的是一种简单情况，即神经元的连接系数或连接 权值只取两种状态( j 沪- 1 ) 的模型，对于真正实际应用还 有一定的距离。为此本篇论文的第一部分内容是推广蒙特 卡罗变异优化设计规则，使之适用于一般化的非对称反馈 神经网络( j ，i = - d ，d 是任意实数) 的设计，同时我们应 用推广的设计方法具体设计两种典型的离散非对称神经网 络，即全连接离散神经网络和稀疏连接的离散神经网络， 并详细研究它们的动力学行为和统计性质，给出了参数空 间中的基本“相图”，通过比较这两种类型网络的异同，提 出我们对“稀疏”作用的不同于传统观念的看法。我们的 周庆国：博士学位论文 研究结果表明，一般全连接网络和稀疏连接网络的动力学特性与 原来二值权重非对称网络基本一致，都存在三个相区，同样存在没有 伪吸引子的记忆相：然而与二值权重非对称网络相比，网络的存储能 力和其他功能都有非常大的提高和改善，从而表明非对称神经网络的 确具有超越传统联想记忆对称神经网络的许多优点，可以在实际应用 中取代传统网络。另外我们还发现单纯从网络的存储能力上看，全连 接网络的性能要明显高于稀疏网络，这点与传统看法有着明显的区 别。 本文的另一部分工作是基于随机矩阵理论来研究网络的本征值 谱，发现网络的本征值谱与网络的性能紧密相关。应用蒙特卡罗变 异优化规则设计的网络，其本征值谱分为两个部分，一部分表征 网络的随机特性仍然遵守w i g n e r 半圆律，另外一部分表征网络偏离 随机情况的信息，即网络存储模式的信息，而且网络偏离部分的本征 值个数严格的等于网络要存储的模式个数。同时我们发现本征值谱的 分布在第一相变点发生突变：两部分特征值刚好在这一点发生分离。 这样特征值谱与网络性质的对应关系同样在两种典型的对称网络上 得到验证。 本文组织如下：第一章绪论介绍神经网络研究的基础和背景，同 时还介绍了一些典型神经网络模型。第二章详细分析这些神经网络的 动力学行为和统计性质，从我们的观点和我们对神经网络的理解对它 们的优缺点进行了讨论，从而为以后各章作准备。第三章介绍赵鸿教 授提出的蒙特卡罗变异优化设计规则的基本原理和由此设计的 二值神经网络的基本动力学特点。第四章提出本文的主要工作，也就 是推广蒙特卡罗变异优化设计规则使之适用于一般连接权值 的非对称神经网络的设计，并具体应用推j 一的规则设计了两种典型的 神经网络，也就是全连接非对称离散神经网络和稀疏连接非对称神经 网络。第五章对这两种典型非对称神经网络的特性进行比较研究。第 六章建立神经网络权值矩阵本征值谱与网络性能的联系。第七章对非 对称神经网络的研究进行总结。第八章介绍互联网络应用于数据采集 的一个具体应用实例，这一章是作者在博士期间完成的与神经网络有 一定关系的一项工作。 周庆国：博士学位论文 a b s t r a c t w ee x t e n dar e c e n t l yp r e s e n t e dm e t h o do fd e s i g n i n g a s y m m e t r yn e u r a ln e t w o r k sw i t ha s s o c i a t em e m o r y ，w h i c hi s e v a l u a t e di nt h ec a s eo fb i n a r yc o n n e c t i o ns y n a p s e s ，a l l o w i n g t h ea d j u s t m e n to ft h ew e i g h t so ft h ec o n n e c t i o ns y n a p s e s t h e a s y m m e t r yn e u r a ln e t w o r k sd e s i g n e db yt h ee x t e n d e dm e t h o d s h o w p o w e r f u lp e r f o r m a n c e t h e s en e t w o r k sh a v ep l e n t i f u l d y n a m i c s ，i e ，t h e yc a ns h o wc h a o t i c ，m e m o r ya n dm i x t u r e p h a s e sw h e n t h ed e g r e eo fs y m m e t r yo ft h es y n a p s em a t r i x v a r i e s a p p l y i n gt h ee x t e n d e dr u l et o t h eg e n e r a lc a s eo f j ， o n eh a sm u c hm o r ef r e e d o mt h a nt h ep r i m a r yo n e ( z h a o ，2 0 0 4 ) t oc o n t r o lt h ea t t r a c t i o nb a s i n so fm e m o r yp a t t e r n s ，t oc o n t r o l t h ed e g r e eo ft h es y m m e t r yo ft h en e t w o r k s ，t os u p p r e s st h e s p u r i o u sm e m o r i e sa n d ，m o r ee s s e n t i a l l y ，t od r a m a t i c a l l y i m p r o v et h ee f f i c i e n ts t o r a g ec a p a c i t yo ft h en e t w o r k s t h e e f f i c i e n ts t o r a g ec a p a c i t yi si m p r o v e dd r a m a t i c a l l y ，t h u so f g r e a ti m p o r t a n c ef o rp r a c t i c a la p p l i c a t i o n s t h ep a r a m e t e r r e g i o n ( s ) i nw h i c h t h en e t w o r k sc a nb ed e s i g n e dw i t h o u ta n y s p u r i o u sm e m o r y i s e n l a r g e ds u f f i c i e n t l y e x a m p l e so fb o t h f u l1 一c o n n e c t i o na n dd i l u t i o nn e t w o r k ，a r ei n v e s t i g a t e di n d e t a i l r e s u l t si n d i c a t et h a ta s y m m e t r i cn e u r a ln e t w o r k sd o h a v es i g n i f i c a n ta d v a n t a g e so v e rt h es y m m e t r i cc o u n t e r p a r t s ， 9 周庆国：博士学位论文 a n dt h ef u l l c o n n e c t i o nn e t w o r k sa r ei ng e n e r a ls u p e r i o rt o t h ed i l u t i o no n e s f i n a l l yw ed e m o n s t r a t et h a tt h ee i g e n v a l u e s p e c t r u mo ft h es y n a p s em a t r i xm a yp r o v i d ee s s e n t i a l i n f o r m a t i o nf o ru n d e r s t a n d i n gt h ed y n a m i c a lp r o p e r t i e so f n e u r a ln e t w o r k s ，b o t ha s y m m e t r i ca n ds y m m e t r i c 1 t ) 周庆国：博士学位论文 第1 章绪论 人通过视觉、听觉、嗅觉以及触觉等器官感知外部世界， 形成直觉和表象，并能够在此基础上进行判断和推理，完 成了由感性认识到理性认识的质的飞越。人的思维活动是 依托大脑( 见图1 1 ) 来进行的，人的大脑由约1 0 “( 1 0 0 0 亿) 个神经细胞组成的巨大网络，其中大脑皮层是完成感 知和思维等高级功能的的最重要神经系统，它虽然只有0 2 平方米见方，1 毫米厚，却包含有大约1 0 “个神经元和1 0 “ 个突触，构成一序列的功能区。神经元之间的的连接速度， 也就是神经脉冲是毫秒量级的，与传统计算机1 0 9 秒量级 的计算速度比较相差巨大，但却能在很短的时间内完成诸 如说话人的识别、语音语义的识别、自然语言的理解等对 于传统计算机实现起来很困难的功能，这是由两者的运行 机制不同所决定的 1 。 图1 。1 、大脑 周庆国：博士学位论文 传统计算机通常具有一个或少量复杂的中央处理器，该 处理器具有极高的运算速度，其运算规则是按照事先设定 好的流程进行计算。然而神经系统的响应速度尽管比较慢， 但是它的“运算”是由大量的并行连接的简单处理单元( 即 神经元，见图i 2 ) 共同承担，因此对于简单的识别任务只 需要很少的几步就可以完成。 图1 2 、几种神经元示意图：神经7 c 细胞主要由 细胞体、树突、轴突组成 考虑到生物神经系统和人脑在许多模式识别等领域的卓越的性能， 因此如何模拟生物神经系统的行为，如何构造和设计仿真的人工神经 网络( a n n ，a r t i f i c i a ln e u r a ln e t w o r k ) 模型，并且将其应用到实 际工作中去，如汉字识别，语音识别等，越来越受到科研人员的关注， 并成为研究的热门课题。为了方便起见，在本文后续的讨论中，没有 特别说明，神经网络就是指人工神经网络。 周庆国：博士学位论文 1 1 生物脑神经元的结构和功能 人类大脑的基本结构和功能单元是“神经细胞”( n e r v ec e l l ) ，神 经细胞也称为神经元，上百亿个神经元通过复杂的连接方式形成大脑 神经网络，神经元相互之间以生化反应的形式来接收、处理和传递信 息，整个系统的有效工作就构成了人类有智慧功能的大脑。 神经元的基本结构可以分为四个部分( 见图1 3 ) ：“胞体”( s o m a ) ， “树突”( d e n d r i t e ) ，“轴突”( a x o n ) ，“突触”( s y n a p s e ) 。树突从 相连接的其它神经元处接收信号，为输入单元；胞体的主要功能是负 责供给整个神经元的营养，它和轴突连接部位的“轴突丘”( a x o n h i l l o c k ) 起着处理器的作用，将输入信号转化为输出信号，为处理单 元；轴突传导输出信号到各个“轴突末梢”( a x o nt e r m i n a l ) ，为输 出单元；突触为神经元之间结构连接和信号传递的接口单位，通过它 实现神经元之间的通讯功能 2 。 图1 3 、生物脑神经元的基本结构 周庆国；博士学位论文 树突接收与其相连接的其它神经元传递过来的刺激信号。平均下 来每个神经元的树突连接数大约为几千个，当其中一个连接的神经元 发出一个生物电刺激信号时，对应的树突接收一个正的或者负的刺激 信号，所有这样接收的刺激信号通过时间求和与空间求和加到一块合 成为总的输入信号。这里的时间求和是将来自同一个神经元的一系列 短暂的弱信号转换为一个强信号，空间求和是将几个来自不同神经元 的弱信号转换为一个强信号。 胞体接收树突处理后的总的刺激信号，再将这个信号传递给轴突 丘处理。轴突丘起着阀门的作用，当信号强度大于它的闽值时，神经 元兴奋，产生一个输出信号给轴突，轴突将这个信号传递下去；反之， 神经元抑制，轴突中没有信号传递。这个输出信号的强度是一个常数， 和输入信号与轴突丘阈值之间的具体差值没有关系，只要大于阈值， 产生输出信号之后，其强度就将是一个不变量。 轴突将输出信号传递到每一个轴突末梢的时候，不会改变信号的 强度，不管有多少个轴突末梢，每个轴突末梢所接收到的信号的强度 和轴突丘处产生的信号的强度是相同的。在大脑中或者在与大脑相似 的模拟装置中，这种一致性会导致误差像滚雪球一样上升，从而修复 错误的难度比数字系统中的情况要大得多。 突触是神经元与神经元之间，或者神经元与非神经细胞之间的一 种特化的细胞连接方式( 图1 4 ) 。一般可分为“化学突触”( c h e m i c a l s y n a p s e ) 和“电突触”( e l e c t r i c a ls y n a p s e ) 两大类。化学突触是以 “神经递质”( n e u r o t r a n s m i t t e r ) 这种化学物质作为通讯的媒介，电 周庆国：博士学位论文 突触也就是缝隙连接，通过电流这种电信号传递信息。大多数哺乳动 物的神经系统都是化学突触的形式，所以通常所说的突触一般是指化 学突触 3 ，4 。 图1 4 、生物脑神经元突触的结构 不同神经元上突触数目的多少差别很大，例如小脑的颗粒细胞只 有几个突触，一个运动神经元有一万个左右的突触，而小脑的蒲肯野 细胞与树突上相连的突触就有十万个以上，整个大脑内的突触数目大 约为1 0 “：1 0 “的数量级。突触产生的信号将被与其相连接的其它神经 元上的树突所接收，对这些神经元而言，这就是一个新的输入信号。 突触信号的性质有两种，一种是兴奋性的，另外一种是抑制性的。当 兴奋性突触信号的总和大于抑制性突触信号的总和，并且足以刺激轴 突丘产生动作电位时，神经元处于兴奋状态；其它情况下则为抑制状 态。 周庆国：博士学位论文 1 2 人工神经网络简介 人工神经网络是由大量高度互连的简单处理单元构成的高度并行 的非线性信息处理系统，它起源于神经生物学，融汇了数学、物理、 生物、心理学、计算机科学等诸多学科的知识为一体，反映了人脑的 功能的若干基本特性，对传统的计算机结构和人工智能方法是一个重 要的补充，其目的在于探索人脑加工、存储和搜索信息的机制，进而 扩展出一套新的计算范式。与传统的现行计算机范式相比，神经网络 具有许多优越的性能 5 ，6 ： 高效并行，神经网络不仅包含有大量神经处理单元，而且神经元 之间的连接计算、神经元的输入输出映射都是并行工作的，这也 是神经网络模拟大脑，在处理语音、语义识别，自然语言理解， 图形识别、位置与环境等问题时速度优势所在； 自学习能力，神经网络能够自适应地学习训练样本中输入模式内 部、输入与输出模式之间的内在规律，这对于那些基本统计特性 了解还不是很透彻的处理对象( 如语音信号) 来说是非常有效的； 非线性，神经网络的激活函数大部分是非线性函数，能够实现输 入模式到输出模式的非线性映射； 泛化推广能力，正因为能够学习模式的内在规律，因此神经网络 对于训练样本之外的样本也具有相当的识别能力，而这种泛化能 力对于易变的语音信号是必须具备的。泛化能力是评价某一种神 经网络模型或算法是否优越的重要指标； 鲁棒性，也就是容错能力。由于神经网络将学到的信息保存在神 1 周庆国：博士学位论文 经元及其连接中，因此对于缺损信息或带噪声信息具有高度的容 错能力，而带噪声训练样本的使用能够增强网络的泛化能力。 针对所要解决的问题不同和应用领域的不同，神经网络的模型与 算法有数十种之多，万变不离其宗，所有神经网络必然遵循一些基本 的原则：包含大量简单处理单元( 节点或神经元) ；每个神经元仅仅 完成输入到输出映射( 线性或非线性) 的简单计算，并将结果通过抑 制或激活权值连接到其他神经元，根据神经元之间的连接方式不同， 神经网络可以分为前反馈网络、反馈网络、自组织网络和混合网络四 种。根据网络的连接系数的对称情况，可以将网络分为两大类，即对 称网络和非对称网络。本篇论文的核心将围绕着非对称网络的设计展 开讨论。 1 3 神经网络研究发展历程 作为人工智能研究的两种技术之一，神经网络技术试图从生理的角 度去模拟大脑的功能，而传统的人工智能技术偏重于心理角度的模 拟，两种方法各有优势，也经历了不同的发展过程。历史上人工神经 网络的发展大致经历了三个时期：五十年代和六十年代的第一次研究 高潮，六十年代末和七十年代的低潮期，八十年代初一直到现在的第 二次研究高潮。 1 9 4 3 年美国心理学家w s m c c u l l o c h 和美国数学家w p i t t s 提 出一种称为“似脑机器”( m i n d l i k em a c h i n e ) 的思想，这种机器可由 具有生物脑神经元特性的互连模型来制造，这就是人工神经网络的概 周庆国：博士学位论文 念。他们构造了一个表示神经元的模型，即m p 模型 7 ，这是第一 个关于人工神经元的计算模型，由此开创了神经科学理论研究的时 代。 后来随着计算机科学和大脑研究的发展，人工神经网络的研究目 标从似脑机器转变为“学习机器”( l e a r n i n gm a c h i n e ) 。在此背景下， 1 9 4 9 年加拿大心理学家d 0 h e b b 从心理学的角度提出了至今仍然对 人工神经网络的理论有着重要影响的h e b b 学习规则 8 。他认为在学 习过程中相关的生物脑神经元之间突触联系的强度将发生变化，从而 导致突触连接的增强和传递效能的提高。之后h e b b 学习规则成为连接 学习算法的主要基础，“联想记忆”( a s s o c i a t i v em e m o r y ) 类模型由 此开始单独提出。 1 9 5 8 年美国心理学家r o s e n b l a t t 设计完成“感知器” ( p e r c e p t r o n ) 模型 9 ，这是一个单层人工神经网络，是历史上第 一个有实用价值的人工神经网络系统，标志着人工神经网络的研究开 始从理论真正走向工程实践，由此也掀起了研究人工神经网络的第一 次高潮。后来生产出基于感知器模型的人工神经网络硬件设备，这是 现在仍然在使用中的历史最悠久的人工神经网络模型。 1 9 5 9 年w i d r o w 提出了自适应线性元件a d a l i n e ( a d a p t i v el i n e a r e l e m e n t ) 模型 1 0 ，它是连续取值的线性网络，主要用于自适应系统。 这种模型与当时占主导地位的以符号推理为特征的传统人工智能途 径完全不同，对人工神经网络研究第一次高潮的到来起了很大的促进 作用。后来又发展出多层自适应线性元件m a d a l i n e ( m u l t i p l e 周庆国：博士学位论文 a d a p t i v el i n e a re l e m e n t ) 模型，这是第一个用于解决现实问题的人 工神经网络，主要是作为自适应过滤器用来消除电话线路中的阐声， 至今仍在商业上使用。 不久之后，对感知器模型的研究就有了新的成果。m i n s k y 和 p a p e r t 1 1 从数学上证明了感知器只能解决线性可分问题，对于线性 不可分即非线性的复杂逻辑问题则无能为力，例如异或问题，从此对 它的研究热度就小了下去。由于理论研究水平有限，应用前景也不太 明朗，再加上v o nn e u m a n n 计算机大发展的冲击，以及当时社会中普 遍对于会出现具有人类思维的机器的恐惧心理，直接导致人工神经网 络的研究工作陷入了低谷，这种状况一直持续到八十年代初才结束。 在这段时期中，还是有一些研究者继续在网络模型和学习算法上 做工作，并且得出了许多有意义的理论和方法。例如a r b i b 1 2 提出 的竞争模型，k o h o n e n 1 3 提出的自组织映射模型，o r o s s b e r g 1 4 提 出的自适应谐振模型，f u k u s h i m a 1 5 提出的新认知机等。连接机制和 并行分布处理的概念也是在这段时期提出来的。 1 9 8 2 年人工神经网络的研究工作开始进入第二次高潮期。这 年，美国物理学家j h o p f i e l d 1 6 在生物脑神经元交互作用的基础上 提出了一种递归型人工神经网络，并且引入能量函数的概念，给出了 稳定性的判据，这就是著名的h o p f i e l d = $ 经网络模型。这一成果是人 工神经网络研究中的突破性进展，拓展了人工神经网络用于联想记忆 和优化计算的途径。1 9 8 4 年他用这一模型成功解决了复杂度为n p 的 旅行商问题( t s p ) 。 随后，b a l l a r d 1 7 的连接网络模型给出了传统人工智能计算和生 物计算的区别，提出了并行分布处理的计算原则。h i n t o n 和 s e j n o w s k i 等人 1 8 从统计物理学的概念和方法中得到启发，提出 b o l t z m a n 机模型，首次给出了多层网络的学习算法。1 9 8 6 年 r u m e l h a r t 和m c c e l l a n d 等人 1 9 提出并行分布处理的理论，同时提 出了多层网络的误差反向传播学习算法，即b p ( b a c kp r o p a g a t i o n ) 算法。该算法从实践上证明了人工神经网络超强的运算能力，成为现 在实际中最常用到的人工神经网络模型。 经过这几个阶段的发展，人工神经网络的模型已有上百种之多， 常用的也有十几种以上，其应用范围更是涉及到各个方面。在民用应 用领域里面，主要有语言识别，图像识别与理解，计算机视觉，智能 机器人故障检测，实时语言翻译，企业管理，市场分析，决策优化， 物资调运，自适应控制，专家系统，智能接口，神经生理学，心理学 和认知科学研究等；在军用应用领域里面，主要有语音、图像信息的 录取与处理，雷达、声纳的多目标识别与跟踪，战场管理和决策支持 系统，军用机器人控制，复杂情况、信息的快速录取、分类与查询， 导弹的智能引导，保密通讯，航天器的姿态控制等。 1 4 人工神经网络技术基础 人工神经网络的基本单元是“人工神经元”( a r t i f i c i a ln e u r o n ) ， 它的作用是模拟生物脑神经元的四个基本功能，其基本结构如图1 5 所示。图中的e i ( i = l ，2 ，n ) 代表外界输入信号，每个输入信号 周庆国：博士学位论文 都有一个连接权重参数盼，p ，与孵的乘积即为送入处理单元中的第 i 个输入信号。处理单元对这n 个输入信号按照某种特定规则进行 运算，一般情况下是求和运算，之后再产生一个数i 送给变换函数 ( ，) 。变换函数也称为激励函数，它负责产生最终的结果作为输出信 号o u t ；= ，( i ) 。 图1 5 、人工神经兀的典型结构 正如前面所述，神经网络的应用十分广泛，但是神经网络最典型 的应用主要在于联想记忆，用于各种模式识别。这个主要归功于h e b b 学习规则的发展。其核心学习算法可以表达为以下形式： o + 1 ) = ，( f ) + 4 q o ) + 0 ，( f ) ( 1 1 ) 其中缈i f 为第i 个神经元和第，个神经元之间的连接强度，0 t 和0 ，为 这两个神经元的输出，该式表达的含义为：当两个神经元同时处于激 发状态时，其间的连接强度将被加强，否则将会被削弱。 人类大脑的有一个显著的特色，就是能够在不同类型的记忆印象 间进行推理或者称为联想。在一段很长的时间内，对这种能力的生物 物质单元和相关信息存储方式的理解一直是难解的谜。h e b b 曾经认 周庆国：博士学位论文 为神经元的突触是大脑中相关的信息存储单元，但是单个突触本身的 可靠性程度不够高，而且这种观点也和神经生理学的实验结果不相符 合。后来，人们发现，当人工神经元有限的部分发生缺失或者出了故 障的时候，在整个人工神经网络中储存的信息还是非常稳定的。因此， 这个问题的一种可能的解释就是每一个新接收的信息在存储的时候 是同时分布在很多个存储单元上的，这样，当记忆某一部分缺失或者 错误时，只会在一定程度上降低该存储信息的质量，而不会导致整条 信息的完全丧失。 第一个具有以上功能的网络模型是w i l l s h a w ，b u n e m a n n 和 l o n g u e t - h i g g i n s 于1 9 6 9 年提出来的 2 0 ，该模型的主要思想也成 为了后来的联想记忆类模型的基本结构。在该模型中，每一条要存储 的信息表达为一个向量对( zd 的形式，其中的x 为输入模式，y 为 输出模式，二者的所有分量都只能取值为0 或者是1 ，整个网络能够 通过接收x 模式的输入而“联想”到产生y 模式的输出。如果我们 同时有p 条信息需要存储，那么可以同时设定p 个向量对，然后在网 络中按照模型所给定的动力学演化规则得到神经元之间的连接矩阵， 即任意两个神经元之间的连接强度，后来又发现该模型的连接矩阵也 可以通过给h e b b 学习规则加上一定的限制条件而得到。在此之后发 展出来的各种联想记忆类模型都具有这种特性，只是在模型的细节上 和采用的学习规则不尽相同。例如“线性联想记忆模型”，“伪逆模 型”( p i 模型) ( p s e u d o i n v e r s e ) ，“梯度下降算法”，“关联矩 阵模型”，“h o p f i e l d 模型”等等。 周庆国：博士学位论文 上述这些模型大都是对称的神经网络，满足w - - - - w 且。这类模型 存在个致命的问题，即存在伪吸引子的问题这严重制约了对称神经 网络的实际应用范围。 1 5 神经网络与自旋玻璃 2 1 神经网络与简单磁系统之间存在许多类似，这早在1 9 7 4 年已经被 l i t t l e 指出 2 2 2 3 。随后在这一方向研究非常活跃是由于1 9 8 2 年 h o p f i e l d 提出了一种与统计力学有密切联系的神经网络模型。 h o p f i e l d 指出了具有对称连接网络的长时间行为与自旋玻璃一类的 磁学系统的平衡性质的等价性，而这种等价性给予设计用于联想式记 忆、优化计算及其他智能任务的神经电路 2 4 2 5 了很好的理论支持。 自旋玻璃是具有随机分布的铁磁和反铁磁相互作用的磁系统。这些 系统的低温相一自旋玻璃相( s p i ng l a s s ) ，在许多方面具有相互彼 此约束的无序系统中凝聚的一个基本模型。在自旋之间具有长程相互 作用的自旋玻璃中，能量一能量作为系统状态或自旋的势函数一一展 现了十分丰富的拓扑，这时在相空间中存在有许多在能量上接近于基 态的局域极小值 2 6 。 神经网络与自旋玻璃具有许多相同的特征。两个系统的相空间都不 是一个晶格有序的体系。神经元之间的耦合与自旋玻璃中自旋之间的 耦合一样，都是可正可负的。正如长程作用的自旋玻璃中每一自旋都 与许多其它自旋相联系那样，神经网络中的每一个神经元与其他神经 元也是充分连接的。当然，这种相似性并不是完全的，例如，神经网 络中的相互作用并不像自旋玻璃那样随机分布，而是具有关联的。这 种关联性可以是原生的，也可以在学习和自适应的过程中形成。正是 这些关联，改变了系统的动力学行为，赋予神经网络有用的计算性质 和记忆识别的功能。另外一个重要的区别是连接的非对称性：神经元 之间的彼此相互作用并不是倒易对称的，因而神经网络的动力学性质 非常不同于自旋的作用为对称的平衡磁学系统的动力学性质。 联想式记忆的神经网络研究的热点问题之一是如何提高网络记忆 容量，因而也需要有一个如同自旋玻璃那样的具有许多局域极小值的 能量函数。然而，神经网络应用于记忆存储的问题实际就是自旋玻璃 的反问题。在自旋玻璃中典型的问题是：给定自旋之间的耦合强度或 它们的概率分布，那么什么是“能量地貌”? 相空间中的什么地方是 稳定的? 但是神经网络中关于记忆的问题是相反的：在相空间中给定 了一组点，它们对应所存储的记忆态，我们能否找到神经元之间的一 个耦合强度分布，使得所形成的能量函数恰恰在这组点处具有极小值 而使得记忆态成为动力学的稳定态? 寻找这种耦合的动力学步骤就 成为神经网络模型模拟记忆的学习策略问题。 旦盎璺! 苎主堂堡堡窭 1 6 参考文献 【1 】1 b l a k e m o r e c ，c o o p e rged e v e l o p m e n to fb r a i n d e p e n d s o nt h ev i s u a l e n v i r o n m e n t ，n a t u r e ( 1 a n 以2 2 84 4 7 4 7 8 ，1 9 7 0 【2 】k u f f i e r sw ，n i c h o l l sj gm a r t i nar ，f r o mn e u r o nt o b r a i n ，f 2 n de d ) s u n d e r l a n d , m a s su s a ：s i n a u e r a s s o c i a t e l n c p u b l i s h e r s , 1 9 8 4 3 】王伯扬，神经电生学，北京：人民教育出版社1 9 8 2 4 】h u b e ldh ，e y e ，b r a i na n dv i s i o n ，n e wy o r k ：s c i e n t i f i c a m e r i c a n l i b r a r y , 1 9 8 8 5 】g o l d hj ，m a t h e m a t i c a l m o d e l i n go fb i o l o g i cs y s t e m a ni n t r o d u c t o r y g u i d e b o o k ，a1 4 4 1 e v - i n t e r s c i e n c ep u b ，1 9 7 7 6 】r o s e n b l a t tf ，p r i n c i p l e s o f n e u r o d y n a m i c s s p a r t a n b o o k s , w a s h i n g t o n d c 1 9 6 2 7 1m c c u l l o c h ，w s a n dp i t t s ，、v al o g i c a lc a l c u l u s o f d e a si m m a n e n ti n n e r v o u s a c t i v i t y b u l l m a t h b i o p h y 5 ：1 1 5 3 3 ( 1 9 4 3 ) 【8 】h e b b ，d o t h eo r g a n i z a t i o no fb e h a v i o r m t y , n e w y o r k ( 1 9 4 9 ) 【9 】r o s e n b l a t t , ep r i n c i p l e so f n e u r o d y n a m i c s s p a r t a n , n e wy o r k r 1 9 6 2 ) 【1 0 w i d r o w , b a n dh o f f , m e a d a p t i v es w i t c h i n gc i r c u i t s r ew e s c o n c o n v e n t i o n r e c o r d 9 6 1 0 4 ( 1 9 6 0 ) 1 1 m i n s k y , m la n dp a p e r t ，s a p e r c e p t r o n s c a m b r i d g e , m a ，t h em t p r e s s ( 1 9 6 9 1 9 8 8 ) 1 2 m i c h a e la a r b i b a r t i f i c i a l i n t e l l i g e n c e a n db r a i n t h e o r y ：u n i t i e s a n d d i v e r s i t i e s a n n a l so f b i o m e d i c a l e n g i n e e r i n g 3 ：2 3 8 2 7 4 ( 1 9 7 5 ) 【1 3 k o h o n e n ，t c o r r e l a t i o nm a t r i xm e m o r i e s i e e et r a n s a c t i o n so nc o m p u t e r s c 2 1 ( 4 ) ：3 5 3 3 5 9 ( 1 9 7 2 ) 1 4 g r o s s b e r g ，s a d a p t i v ep a t t e r nc l a s s i f i c a t i o na n du n i v e r s a l r e c o d i n g ( 1 ) ： p a r a l l e l d e v e l o p m e n ta n dc o d i n go fn e u r a lf e a t u r e d e t e c t o r s b i o l o g i c a l c y b e r n e t i c s 2 3 ：1 2 1 1 3 4 ( 1 9 7 6 ) 1 5 f u k u s h i m a ，k ；m i y a k e ，s a n di t o ，tn e o c o g n i t r o n ：an e u r a ln e t w o r km o d e l f o ram e c h a n i s mo fv i s u a lp a t t e r nr e c o g n i t i o n i e e et r a n s a c t i o n so n s y s t e m s , m a n , a n dc y b e r n e t i c s 1 3 ：8 2 6 8 3 4 r 】9 8 3 ) 周庆国：博士学位论文 【1 6 h o p f i e l d ，j n e u r a ln e t w o r k sa n dp h y s i c a ls y s t e m sw i t he m e r g e n tc o l l e c t i v e c o m p u t a t i o n a lp r o p e r t i e s p r o c e e d i n g so f t h en a t i o n a l a c a d e m yo f s c i e n c e so f t h eu s a 7 9 ：2 5 5 4 - 2 5 8 8 ( 1 9 8 2 ) 【1 7 b m l m d ，d h c o r t i c a l c o n n e c t i o n sa n dp a r a l l e l p r o c e s s i n g ：s t m c t u r e a n d f u n c t i o n b e h a v i o r a la n db r a i ns c i e n c e s 9 ：6 7 - 1 2 0 ( 1 9 8 6 ) 【1 8 a c k l e y , d h ；h i n t o n ，ge a n ds e j n o w s k i ，t j al e a r n i n ga l g o r i t h mf o r b o l t z m a nm a c h i n e s c o g n i t i v es c i e n c e 9 ：1 4 7 1 6 9 ( 1 9 8 5 ) 【1 9 r u m e l h a r t ，d e a n dm c c l e l l a n d ，j le d s p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ： e x p l o r a t i o n s i nt h em i c r o s t r u c t u r eo fc o g n i t i o n ( v o l u m e1 ) c a m b r i d g e , 肘4 t h em i t p r e s s 3 1 8 3 6 2 ( 1 9 8 6 ) 【2 0 w i l l s h a w , o p ；b u n e m a n n ，h c a n dl o n g u e t h i g g i n s n o n h o l o g r a p h i c a s s o c i a t i v em e m o r y n a t u r e 2 2 2 0 u n e7 ) ：9 6 0 - 9 6 2 ( 1 9 6 9 ) 【2 1 】汪秉宏( 1 9 9 2 ) 神经网络的非线性动力学及统计力学，神经网络及其应用， i s b n 7 - 3 1 2 0 0 3 0 8 7 t p 3 5 。中国科学技术大学出版社，1 6 8 - 1 8 2 。 【2 2 l i t t l ewa t h ee x i s t e n c eo fp e r s i s t e n ts t a t e si nt h eb r m n ，m a t h - b i o s c i ，1 9 7 4 ， 1 9 ，1 0 1 1 2 0 【2 3 l i t t l e w a ，s h a w g l m a t h b i o s c i ，1 9 7 8 ，3 9 ，2 8 1 2 4 h o p f i e l djj ，n e u r a ln e t w o r k sa n dp h y s i c a ls y s t e mw i t he m e r g e n tc o l l e c t i v e c o m p u t a t i o na b i l i t i e s p r o c n a t l a c a d e m y o f s c i e n c e u s a ，1 9 8 3 ，7 9 ， 2 5 5 4 2 5 5 8 2 5 】h o f i e l d j j ，t a n kdw ，s c i e n c e ，1 9 8 6 ，2 3 3 ，6 2 5 【2 6 m e z a r dm ，p a r i s ig v i r a s o r om a ，s p i n gg l a s st h e o r y a n db e y o n d ，s i n g a p o r e ： w o r l ds c i e n t i f i c ，t 9 8 7 第2 章神经网络模型的动力学基础 在这一章我们将详细介绍神经网络的动力学基础 卜2 ，1 5 ，给出它 们确定耦合强度的规则及能量函数，从而指出记忆功能与动力学吸引 子的关系。平衡态统计力学的方法在联想记忆的对称神经网络模型的 研究中特别应用，我们将给出h o d f i e l d 模型的统计力学基本公式， 从而引出平均场理论。可以看到h o p f i e l d 模型许多动力学结果与平 衡态统计力学的计算是一致的，研究了随机性与关联性如何影响这种 模型的性能，同时我们将介绍一些典型的h o p f i e l