（电路与系统专业论文）基于小世界体系的新型联想记忆模型研究[电路与系统专业优秀论文].pdf

摘要 摘要 联想记忆( a m ) 是生物智能的重要机制和人工智能的研究焦点。本文基于小 世界体系，提出并研究了一种新型联想记忆模型，并基于所建模型开展了相关 的理论研究、算法研究、模拟研究和若干面向应用的实验研究。该项研究在探 索研究新型智能计算模型和面向图像处理、模式识别等领域的应用方面具有理 论意义和应用潜能。其主要工作内容和研究成果如下： 1 提出了一种更加符合脑神经生理结构的、具有稀疏矩阵结构特征的基于小世 界体系的新型联想记忆模型。理论分析表明，该模型一方面改进了学习算法 提高了模式联想性能，另一方面降低网络的结构复杂度，提高了空间存储效 率。 2 对传统的外积法联想记忆模型和投影学习算法模型、特征结构法模型进行了 理论上的分析和比较，表明外积法模型只在输入样本模式正交的情况下才具 有良好的回忆性能，而投影学习算法和特征结构法则对输入模式没有特别的 要求。对这三种模型的简单字符识别实验，得出结果和理论分析一致，并表 明后两种模型对含有椒盐噪声和高斯噪声的简单字符也具有良好的回忆性 能，具有一定的容错性。 3 针对联想记忆模型的拓扑结构，对复杂网络尤其是具有稀疏结构的规则连接 网络，小世界网络和随机网络进行了调查研究。研究表明小世界网络既具有 规则网络较大的聚类系数，同时也具有随机网络较小的特征路径长度。引入 小世界体系应用到联想记忆模型中，提出了基于小世界的投影学习模型和基 于小世界的特征结构法模型，以解决联想记忆随网络规模增大而迅速增长的 复杂度问题。 4 将基于小世界体系的投影学习模型和基于小世界体系的特征结构法模型，应 用到交通标志等二值图像识别中，通过对含有椒盐、高斯、马赛克、遮挡等 各种噪声的图像识别和复原，表明模型具有良好的回忆性能和容错性。同时， 稀疏性模型的连接数目比全互连情况时降低了1 2 个数量级，有效的降低了 模型的复杂度。 关键词：小世界网络投影学习特征结构法联想记忆神经网络 a b s 仃a c t s m a l l 、o r l da r c h i t e c t u r e a i l d e i g e ns 饥l c t u r e m e t h o dm o d e lb a s e d0 n s m a l l w o r l da r c h i t e c t u r eo n 仃a 衢cs i g l l sr e c o g m t i o n t h er e c o g i l i t i o n 锄d r e p a i r a b l ea b i l i t i e so fi m a g e 埘ms a l ta 1 1 dp 印p e rn o i s e ，g a u s s i 纽n o i s e ，m o s a i c a i l dc o v e rs h o w st 1 1 a tm o d e l sp r o p o s e dh a sg o o di n e m o 巧c a p a c 埘a n de n o r c o 玎e c t i o nc a p a c 诹a tt 1 1 e s a l i l et i m e ，m ec o m p l e x 毋o fm o d e ld e c r e a s e d e m c i e n t l yb yr e d u c i n g 戗l em l i n b e ro f c o m l e c t l o i l s k e yw o r d s ：s m a l l - w 6 r l dn e 俩o r k ，p r o j e c t i o nl e a r i i h l gr u l e ，e i g e n s 仃u c t l 鹏 m 甜l o d ，a s s o c i 细em e m o r y ，n n e t 、o r k i n 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除己特别加以标注和致谢的地方嚣；翼翼塞基蓁墼蓁 垂雾羹黎冀錾丽烈蓁蚕雾繁蓁羹薹羹。藜羹一篓蓁羹墅霪蓁羹雾羹塑 菰雾辫邈篓墼癸辫冀鍪鹾雾蓁塞雾羹奏藿； 薹冀雾羹錾鹱羹蓁蓁雾羹蓁蓁蓁蓊篓震蓁型蓁嚣蓁鬟冀；霸；霪 蓁羹雾菱雾錾蓁鼙錾霪冀蓁冀鬟 y s i so fac l a s so fd is c 鹦t e t i i l l e s y s t e m sw i ma p p l i c 锨i o n st on e u r a in e t w o r k s 【c 】c a l i f o m i a ：p r o c e e d i n g so ft h ea m e r i c a nc o n t r o l c o n f e r e n c e j u n e ：3 4 7 9 3 4 8 3 j a c q u e sm b s h i ，c o n t a s s o t 一v i e r 2 0 0 2 s ta b i l i t yo f 血l l ya s y n c h 啪o u sd i s c 瞅e t i n l e d i s c r e t e s t a t ed y n a m i cn e t w o r k s 【j 】i e e e1 m s a c t i0 1 1 s 仰n e 嗽ln e m o 她，1 3 ( 6 ) ：1 3 5 3 一1 3 6 3 a m i tb h a y a ，v ；c t o rs k o 珂a k i n 1 9 9 6 e x i s t e n c ea n d翻童b i l 毋o fa 硼i q u ee q n i l i 晰啪泌 第l 章绪论 1 1 引言 第l 章绪论 人类的大脑具有学习的能力，尤其是计算机所不能具备的思维能力。长期 以来，人们做了大量研究工作以了解大脑的工作机制和思维的本质，开展了关 于人工智能的研究，以模仿人脑功能，完成类似于人脑的工作，逐渐形成了一 个多学科交叉的技术领域神经网络( n e u r o nn e t 、o r k ，简称n n ) 。 人脑是一个非常复杂的信息处理网络，大约由1 0 亿个神经细胞组成。每个 神经元同其他神经元广泛相互连接，形成纵横交错的网状结构。这种生物神经 网络以神经元为基本信息处理单位，对信息进行分布式存储和加工，是一种大 规模并行处理的非线性系统。神经网络就是指利用工程技术手段模拟人脑神经 网络的结构和功能，是在对人脑组织结构和运行机制的认识、理解基础之上， 模拟其结构和智能行为的一种工程系统。它与现代数字计算机的不同之处主要 表现在以下方面：1 ) 神经网络的信息存储与处理( 计算) 是合二为一的，即信 息的存储体现在神经元互连的分布上；传统计算机的存储与计算是独立的，因 而在存储与计算之间存在着瓶颈。2 ) 神经网络以大规模模拟计算为主；数字计 算机是以串行离散符号处理为主。3 ) 神经网络具有很强的鲁棒性和容错性，善 于联想、概括、类比和推广，任何局部的损伤不会影响整体结果。4 ) 神经网络 具有很强的自学习能力，能为新的输入产生合理的输出，可在学习过程之中不 断完善自己，具有创新特点。5 ) 神经网络是一大规模自适应非线性动力系统， 具有集体运算的能力。这与本质上是线性系统的现代数字计算机迥然不同( 高 隽，2 0 0 3 ) 。 严格来讲，神经网络应该称为人工神经网络( a n i f i c i a ln e u r a ln e t w o r k ，简称 a n n ) 。人工神经网络是模仿和延伸人脑智能、思维、意识等功能的非线性自适 应动力学系统，神经网络所具有的学习算法能使其对事物和环境具有很强的自 学习、自适应和自组织能力，它的知识积累是自动的、无瓶颈效应存在。 因此，神经网络信息处理系统是一种拥有全新计算结构的新型智能信息处 理系统，或称为基于神经计算的智能信息处理系统。它可以模仿人脑处理不完 第l 章绪论 整的、4 i 准确的、甚全处理非常模糊的信息，并能够进行联想记忆，从部分信 息中获得全部信息。神经网络具有分布存储信息和并行计算的性能，它通过神 经元之间的协同形成结构，通过协同促进网络形成自组织和宏观有序的结构， 使其实现集体行为，获得联想记忆的功能。因此，联想记忆神经网络是由其突 触权值和连接结构来表达信息的记忆，这种分布式存贮使得神经网络能存储较 多的复杂的模式和恢复记忆的信息。它是通过预先存储或学习机制进行自适应 训练的，可从不完整的信息，或噪声干扰中来恢复原始的信息，因而它具有很大 的潜在应用价值，如图像恢复、图像和语音处理、模式识别、分类等( 韩力群， 2 0 0 7 ，周志华，曹存根，2 0 0 4 ) 。 1 2 联想记忆模型的研究现状 神经网络的研究始于上个世纪4 0 年代，它的发展经历了一条兴起、萧条和 兴盛的曲折道路。 美国芝加哥大学的生理学家w s m c c u l l o c h 和w a p i t t s 总结了生物神经元 的一些基本生理特征，提出了形式神经元的数学描述与结构，即m p 模型( 1 9 4 3 ) ， 兴起了神经网络的研究。其后生理学家d o h e b b 认为学习过程是在突触 ( s y n a p s e ) 上发生的，突触的联系强度随其前后神经元的活动而变化( 1 9 4 9 ) 。 根据这一假设提出的学习规则为神经网络的学习算法奠定了基础，使神经网络 的研究进入了一个重要的发展阶段。 1 9 6 5 年，m m i n s k y 和s p a p e n 在p e r c e p t r o n 一书中指出感知机的缺陷，并 表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期， 这是神经网络发展史上的第一个转折。 到了2 0 世纪8 0 年代初，优秀的美国物理学家j j h o p f i e i d 博士发表了一篇对神 经网络研究的复苏起了重要作用的文章( 1 9 8 2 ) ，他提出的h o p f i e l d 联想记忆 ( h o p n e i da s s o c i a t i v em e m o 吼h a m ) 模型不仅开创了联想记忆模型研究的先河， 而且显示出了神经网络的巨大潜力。受其所用方法的推动，从八十年代初到现 在，联想记忆( 也可称为联想存储器) 的研究己取得了丰硕的成果。既有理论的， 又有应用的。在理论上侧重于新的学习算法和体系结构的创建和设计：在应用 方面则是利用联想记忆所独具的纠错性等优势，结合具体应用，进行多方面的 研究，如图像压缩、模式识别和知识推理等。 2 笫l 章绪论 联想记忆( a s s o c i a t i v em e m o 呵，a m ) 是神经网络理论的一个重要组成部分， 也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。它 主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢 复成完整的原型，适于识别、分类等用途。h o 面e i d 网络模拟了生物神经网络的 记忆功能，也常常被称为联想记忆网络。但是这种传统的h o 胡e l d 网络有很多不 足之处： ( 1 ) 存在伪状态( s p u r i o u ss t a t e s ) ，伪状态是指除记忆状态之外网络中多余的 稳定状态；对h o p f i e i d 联想记忆网络的分析可见，要构成一个对所有输入模式都 很合适的h o p f i e l d 网络是很不容易的，需要满足的条件是很苛刻的。当所要记忆 的模式过大时，权值矩阵中就会出现若干个相同的特征值；当模式数小于神经 元的数目，权值矩阵中会存在若干个0 ，构成所谓的零空间。因此，零空间是 h o 两e l d 网络的一个固有特性，即h o p f i e l d 联想记忆网络不可避免地存在着伪状 态。 ( 2 ) 记忆容量的缺陷，记忆容量是在一定的联想出错概率容限下，网络存 储互不干扰样本的最大数目，h o p f i e l d 利用计算机模拟表明具有n 个神经元的联 想i 己忆模型的存储容量约为0 1 5 n ，当记忆模式的数量小于0 1 5 n 时，记忆模式是 稳定的，而大于0 1 5 n 时，所有的记忆都变得不稳定了，a m i t 等学者在理论上也 证明了传统h o 两e l d 网络记忆容量的不足( 1 9 8 5 ) 。他将原来被用于分析自旋玻 璃系统的r e p l i c a 理论用于联想记忆模型，并表明当记忆模式的数量小于0 1 3 8 n 时，在记忆模式附近存在平衡点，而当记忆模式数量超过0 1 3 8 n 时，则不存在稳 定记忆模式。 ( 3 ) 当网络规模较大时，由于h o 曲e l d 网络全连接的特性，就当前的技术 而言，该网络是不能在大规模集成电路中实现的。因为连接权值是各种实数值， 而连接的数量很大，所以每个神经单元都接有众多输入线，即使采用多路切换 的方法来进行模数变换也是很复杂的，成本上难以接受，其中的计算也非简单 数字电路能够承担，所以只能采用模拟电路来实现这些运算，但其精度、抗干 扰能力以及稳定性都不可能很理想。所以不易做成大容量、高可靠性的集成电 路。 为了改进h o p n e i d 网络的联想记忆性能，常用的一种手段是改进网络的学 习方法，比如伪逆法、反复学习、纠错学习( 如d e l t a 学习) 、带遗忘的学习、 非线性学习规则等，另外还包括移动兴奋门限、修改神经元激励函数、神经元 第l 章绪论 状态的多值化等，所有这些方法都在不同程度上提高了h o p f i e i d 网络的存储容 量以及容错性。除了算法上的改进，研究人员更提出了许多其他的模型。 双向联想记忆神经网络( b i d i r e c t i o n a ia s s o c i a t i v em e m o r y ，简称b a m ) ，双 向联想记忆( 1 9 8 7 ) 是一个双域吸引子神经网络，最初由k o s k o 提出来的可实 现模式对的相互联想，后来还提出了具有指数容量的神经网络模型b a m 的一个 优点是不论用什么方法构成权矩阵，它总是双向稳定的，即网络总在有限时间 之后收敛到一个稳定状态，8 a m 的缺点是容量小，存在很多虚假稳定状态。 细胞神经网络c n n ( l oc h u a ，ly a n g ，1 9 8 8 ) ，它可以看作是具有局部连 接的h o p n e l d 网络，其记忆线性无关向量模式的容量主要取决于细胞邻域半径， 其局部连接的特性较其他网络硬件化容易些。一般来说，连接方式越复杂，邻 域范围就越大，其信息处理能力就越强，但实现时的困难则相应增大。 协同神经网络，德国h h a k e n 教授提出了协同学理论( 1 9 9 1 ) ，并在8 0 年 代末将协同学原理运用于模式识别，提出了新的基于协同学的神经网络协 同神经网络( s y n e 曙e t i cn e u r a ln e t 、v o r ks n n ) ，它具有模式训练时间短，网络学习 速度快，空间复杂度低等优点，最关键的是不存在伪状态。 汉明( h a m m i n g ) 网络，其核心是通过利用h a m m i n g 网络( h a s s o u n ，w m ， 1 9 9 6 ) 对输入模式进行分类来实现线联想记忆功能，已有人提出具有指数容量 的h a m m i n g 联想记忆神经网络。 量子联想记忆鼹络( d a nv e n t u r a ，t o n ym a r t i n e z ，1 9 9 8 ) ，研究人员将两种 量子计算算法分别用于模式存储和模式回忆，存储容量得到了指数级的增大， 此网络的最大特点是能处理呈指数增长的计算量，这是其他网络做不到的。 混沌神经网络( m n a k a g a w a ，2 0 0 0 ) ，主要分为两类：( 1 ) 基于祸合的混沌 神经网络模型。( 2 ) 基于时空总和的混沌神经网络模型：混沌神经网络在包括分 离叠加模式、多对多联想和连续学习等方面具有较大的优势。它不仅提高了神 经网络的联想成功率和联想速度，还可以用于多值模式的联想记忆，并且存储 模式可以为任意的多值模式 与传统的阈值电位反应方式的神经元模型相比，混沌神经模型与量子神经 模型的神经元状态相对“随机、多变”一点。这种“随机多变”的直接效应就 是显著增加了联想记忆的模式信息存储容量，但与认知系统、智能系统的实用 要求相比，记忆容量问题以及相关的学习算法、联想机制仍需进一步研究和改 进。 4 第l 章绪论 笔者认为，单纯依靠数学的方法可能会导致人工联想记忆与生物学联想记 忆的偏离。既然是对人脑记忆功能的模仿，就应该融入更多的生物学特性。大 腑神经生物学的研究表明：在老鼠的大脑皮层中每个神经元只连接到其他所有 神经元中的0 1 。联想记忆模型的性能不仅依赖于连接的方式，也依赖于连接 的稀疏性。所以从联想记忆网络的拓扑结构出发，研究基于稀疏网络的联想记 忆模型，在提高联想记忆回忆性能和容错性能的同时，降低网络的复杂度，才 能广泛应用到实际中，是当前联想记忆的发展方向。 本文的主要研究工作 本文着重从学习算法和体系结构两个方面对传统的h o p f i e l d 自联想记忆 ( a u t 0 a s s o c i a t i v em e m o 科，a m ) 模型进行了研究，提出了基于小世界体系的 投影学习算法模型和基于小世界的特征结构法模型，并通过实验仿真，验证了 其在图像识别和恢复中的应用价值。 ( 1 ) 引入投影学习算法( l p e r s o n n a z ，1 9 8 6 ) 和特征结构法( j l i ，a m i c h e l ， l9 8 9 ) ，以提高联想记忆模型的回忆性能和稳定性。学习算法是决定自联想记忆 模型( 如存储容量容错性等) 的关键所在。1 9 8 2 年，美国物理学家j h o p f i e l d 提出的单层全互连含有对称突触连接的反馈网络模型，采用外积法实现了对标 准模式的联想记忆，对神经网络的发展产生了巨大的影响。但是，外积法只在 标准模式相互正交的情况下才能有效地实现联想记忆，从而限制了网络吸引子 的数量，降低了网络的回忆性能。本文引入投影学习算法和特征结构法，一方 面减少了要求标准模式相互正交带来的制约，另一方面增强了模型的回忆性能， 使之可以广泛的运用到图像修复和模式识别等领域。 ( 2 ) 引入小世界网络的思想，对传统模型的全互连体系结构进行了稀疏化 处理。虽然许多自联想记忆模型的存储容量一直在提高，但是采用的仍然是传 统的全互连结构。随着实际的需求和被处理问题的扩大，模型的复杂度大大增 加，从而导致布线工艺的难度也大大增加，限制了模型的v l s i 硬件实现。因为 人工神经网络联想记忆是对人脑记忆功能的模仿，所以应该更多的从生物学观 点出发，在模型中融入更多的生物特性。大脑神经生物学的研究表明，在老鼠 的大脑皮层中每个神经元只连接到其他所有神经元中的o 1 。联想记忆模型的 性能不仅依赖于连接的方式，也依赖于连接的稀疏性。本文在联想记忆模型中 第1 章绪论 引入小世界稀疏结构，在保持原有性能的基础上，大大降低了模型的结构复杂 度。 ( 3 ) 对基于小世界网络的投影学习模型和小世界特征结构法模型在m a t l a b 半台i ：模拟仿真。传统的h o 叩e l d 联想记忆模型对部分或有噪的信息回忆能力 较差，但是本文提出的模型，经实验验证，在较小连接数的情况下，对含噪或 部分遮挡的图像具有良好的回忆性能，表现出较强的容错性。 1 4 本文的内容安排 本文的内容共分以下五章： 第一章绪论，阐述了本文的研究背景，介绍了联想记忆模型的最新研究进 展，并简要介绍了本文的主要研究工作。 第二章人工神经网络，对离散h o p f i e l d 网络从模型，运行方式和网络稳定 性等方面进行了详细分析，并介绍了联想记忆的分类和工作过程。 第三章在分析传统的外积法的基础上，提出了两种改进的算法：投影学习 算法和特征结构法。通过对这三种联想记忆模型的理论分析和实验研究，指出 投影学习算法和特征结构法不仅对无噪样本具有良好的联想记忆性能，更有良 好的容错性，适用于图像或模式识别等领域。 第四章针对联想记忆模型结构上的局限性，研究了几种具有稀疏结构的网 络：规则连接网络、小世界网络和随机连接网络，指出小世界网络兼具规则连 接网络和随机连接网络的优点，适合用于改进联想记忆模型的拓扑结构，然后 构造出基于小世界体系的投影学习算法和特征结构法模型，通过交通标志识别、 文字识别等实验验证了，稀疏后的模型在有效降低结构复杂度的同时，保持了 网络较好的回忆性能和容错性。 第五章对全文进行总结，并指出了进一步的研究方向。 6 笫2 章人工神经网络与联想记忆 2 1 引言 第2 章人工神经网络与联想记忆 人类具有联想的能力，可以从一种事物联系到与其相关的事物。人工神经 网络是对生物神经网络的模拟，也具有联想的功能。人工神经网络的联想是指 系统在给定一组刺激信号的作用下能联系出与之相对应的信号。联想是以记忆 为前提的，即首先把信息存储起来，再按某种方式或规则将相关信息取出。联 想记忆的过程就是信息的存取过程。传统的数字计算机的信息存取方式是按地 址存取方式( a d d r e s s a b l em e m o 哕) ，即一组信息对应着一定的存储单元。而神经 网络信息的存取( 记忆与联想) 是以基于内容的存取原理为基础的，记忆地址通过 记忆内容的部分描述来识别。所以这里所谓的联想记忆也称为基于内容的存取 ( c o n t e n t a d d r e s s e dm e m o r y ) ，因为信息被分布于生物记忆的内容之中，而不是某 个确定的地址。 1 9 8 2 年，美围物理学家j h o p f l e l d 提出的单层全互连含有对称突触连接的 反馈网络是最典型的反馈网络模型，反馈神经网络是一个反馈动力学系统 ( h o p 行e l d ，1 9 8 4 ) ，具有更强的计算能力。他用能量函数的思想形成了一种新 的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研 究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络 中神经元之间的连接上，形成了所谓的h o 西e i d 网络，称之为离散h o p f i e l d 网 络。19 8 4 年，h o p f i e l d 设计与研制了h o 面e l d 网络模型的电路，指出神经元可 以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为连续 h o p f i e l d 网络。用该电路h o 面e l d 成功的解决了旅行商( t s p ) 优化问题( 1 9 8 4 ) ， 从而开辟了神经网络用于智能信息处理的新途径，为神经网络的复兴立下了不 可磨灭的功劳。 h o p f i e l d 网络是一神经动力学系统，具有稳定的平衡状态，即存在着吸引子， 因而h o p n e l d 网络具有联想记忆功能。将h o p f i e l d 网络作为联想记忆网络需要 设计或洲练网络的权值，使吸引子存储记忆模式。比如，现在欲存储m 个n 维 的记忆模式，那么就要设计网络的权值使这个m 模式正好是网络能量函数的m 7 第2 章人工神经网络与联想记忆 个极小值。联想记忆网络是通过神经元之间的权重学习规则来调整神经元间的 权霞，从而得剑各事物间的联系。各神经元间的权重共同表现为神经网络的联 想记忆功能。因此，联想记忆的神经网络是由连接权值和连接结构来对信息进 行记忆。这种分布式能存贮较多的模式和能够在一定的程度上恢复残缺的不完 整信息。冈而，它咧以被应用在图像复原、模式识别等领域。 h o p 行e l d 嘲络分为离散h o p f i e l d 网络( d i s c r e t eh o p f i e l dn e u r a ln e 铆o r k ，简 称d h n n ) 和连续h o p f i e l d 网络( c o n t i n u e sh o 明e l dn e u r a ln e t w o r k ) 模型，本 章主要介绍用离散h o 西e l d 网络及其实现联想记忆的方式。( 高隽，2 0 0 3 ) 2 2 离散h o p 毹l d 神经网络 2 2 1 离散h o p f i e l d 模型的网络结构与工作方式 离散h o 明e l d 网络是一种单层全互连结构，其形式如图2 1 所示。 图2 1 h o p f i e i d 神经网络结构 神经元可取二值f o l 或f l 1 ，其中的任意神经元f 与，间的突触权值为 f j ，神经元之间连接是对称的，即f ，= f 神经元自身无连接，即t 。= 0 。虽然 神经元自身无连接，但每个神经元都同其他的神经元相连，即每个神经元都将 其输出通过突触权值传递给其他的神经元，同时每个神经元又都接收其他神经 元传来的信息，这样对于每个神经元来说，其输出信号经过其他神经元后又有 可能反馈给自己，所以h o p f i e l d 网络是一种反馈神经网络。 h o e l d 网络中有疗个神经元，其中任意神经元f 的输入用表示，输出用v ， 表示，它们都是时间的函数，其中v ，( f ) 也称为神经元f 在f 时刻的状态。 第2 章人工神经网络与联想记忆 珥( f ) = 0 ( f ) + 勿 ( 2 i ) ，= l ，引 式( 2 1 ) 中的6 i 表示神经元f 的阈值或偏差。相应神经元f 的输出或状态为： v f ( f + 1 ) = g ( 掰。o ) ) ( 2 2 ) 其中的激励函数g ( ) 可取阶跃函数z ，( f ) 或符号函数s 加( f ) 。如取符号函数， 则h o 西e l d 网络的神经元的输出v ，( f + 1 ) 取离散值l 或一1 ，即： e ( f + 1 ) = 1 矿v ，( f ) + 岛o = l 。 ( 2 3 ) 一l 矿_ ( ，) + 匆 o ( 2 4 ) h o e i d 网络存在稳定状态，则要求h o p 6 e l d 网络模型满足如下条件：网络 为对称连接，即f ，= f 神经元自身无连接，即乙= o 。这样h o p f i e i d 网络的突 触权值矩阵r 为零对角对称矩阵。 在满足以上参数条件下，h o 两e l d 网络能量函数的能量在网络运行过程中应 不断地降低，最后达到稳定的平衡状态。 h o p n e l d 网络的“能量函数”定义为： ln月月 e = 一去o 一+ 6 l v j - i ，= i，= i l j j l 式( 2 5 ) 所定义的“能量函数”值是单调减小的。 网络中的任意神经元f ，其能量函数为： e = 一去ov j _ + 6 f v j 二j = l j ( 2 5 ) 为说明这一问题，可考虑 从f 时刻至f + l 时刻的能量变化量为： e = 巨o + 1 ) 一巨0 ) = 一吾窆o e ( 川) _ + 6 f l ( 川) + 丢圭o v ，( f ) _ 一魂_ ( f ) - ，2 l一j = l j lj l = 一去 v ( f + 1 ) 一v f ( f ) 】【勺+ 岛1 厶 户l ( 2 6 ) 由式( 2 3 ) 可得：幄o 。 因为神经元，为网络中的任意神经元，而网络中的所有神经元都按同一规则 进行状态更新，所以网络的能量变化量应小于等于零，即： e 0 e ( f + 1 ) 刖 ( 2 7 ) 所以在满足参数条件下，h o 面e l d 网络状态是向着能量函数减小的方向演 化。由于能量函数有界，所以系统必然会趋于稳定状态，该稳定状态即为h o p f i e l d 网络的输出。能量函数的变化曲线如图2 2 ( 高隽，2 0 0 3 ) 所示，曲线含有全局 最小点和局部最小点。将这些极值点作为记忆状态，可将h o p f i e l d 网络用于联 1 0 第2 章人工神经网络与联想记忆 想记忆；将能量函数作为代价函数，全局最小点看成最优解，则h o p f i e l d 网络 可用于最优化计算。 图2 2 能量函数局部极小值图示 2 2 3 离散h o p j f i e l d 网络与联想记忆 联想记忆( a s s o c i a t i v em e m o 巧，a m ) 是神经网络理论的一个重要组成部分， 也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。它 主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢 复成完整的原型，适于识别、分类等用途。h o p f i e l d 网络模拟了生物神经网络的 记忆功能，也常常被称为联想记忆网络，它具有两个比较突出的优点：一是信 息的存储是按内容存储记忆的( c o n t e n ta d d r e s s a b l em e m o 哆，c a m ) ，而传统的计 算机是基于地址存储的。二是信息的存储是分布的，而不是集中的。 从作用方式来看，联想记忆分为线性联想与非线性联想；从状态来看，又 可以分为静态联想与动态联想。但在通常情况下，人们把联想记忆分为自联想 与异联想。h o p f i e l d 网络就是典型的自联想记忆。 ( 1 ) 自联想记忆( a u t o a s s o c i a t i v em e m o 拶) 。自联想能将网络中输入模式映 射到存储在网络中不同模式中的一种。联想记忆网络不仅能将输入模式映射为 自己所存储的模式，而且还能对具有缺损或噪音的输入模式有一定的容错能力。 本文主要研究的即为自联想记忆模型。自联想模式又可分为非循环自联想和循 环自联想，如图2 3 。 ( 2 ) 异联想记忆( h e t e r 0 a s s o c i a t i v em e m o q ) 。最早的异联想网络模型是 k o s k o 的双向联想记忆神经网络。异联想网络在受到具有一定噪音的输入模式激 第2 章人工神经网络与联想记忆 发时，能通过状态的演化联想到原来样本的模式对。异联想也分为非循环和循 环两种，如图2 ，4 所示。 异联想的输入模式维数与输出模式一般不相等。异联想可以由自联想通过 映射得到。 _ 石2 z 2 图2 3 非循环自联想和循环自联想 图2 4 非循环异联想和循环异联想 m 耽 联想记忆的工作过程分为两个阶段：一是记忆阶段，也称为存储阶段或学 爿阶段；二是联想阶段，也称为恢复阶段或回忆阶段( 高隽，2 0 0 3 ) 。 ( 1 ) 记忆阶段。在记忆阶段就是通过设计或学习网络的权值，使网络具有 若干个稳定的平衡状态，这些稳定的平衡状态也称为吸引子( a t t r a c t o r ) ，吸引 子有一定的吸引域( b a s i no fa t t r a c t i o n ) 。吸引子的吸引域就是能够稳定该吸引 子的所有初始状态的集合，吸引域的大小用吸引半径来描述，吸引半径可定义 第2 章人工神经网络与联想记忆 为：吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离， 如图2 5 所示。 吸引域 黝 吸引子 图2 5 吸引子与吸引域示意图 吸引子也就是联想记忆网络能量函数的极值点，如图2 6 所示。记忆过程就 是将要记忆和存储的模式设计或训练成网络吸引子的过程。 图2 6联想记忆网络的能量函数 ( 2 ) 联想阶段。联想过程就是给定输入模式，联想记忆网络通过动力学的 演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。简化的 联想过程如图2 7 所示。 吸引子的数量代表着联想记忆网络的记忆容量( m e m o 呵c 印a c 时) 或存储 容量( s t o r a g ec a p a c i t y ) ，存储容量就是在一定的联想出错概率容限下，网络中 存储互不干扰样本的最大数目。存储容量与联想记忆的允许误差、网络结构、 学习方式以及网络的设计参数有关。简单来说，一定的网络其吸引子越多，则 菊2 章人工神经网络与联想记忆 删络的存储容量就越大。吸引子具有一定的吸引域，吸引域是衡量网络容错性 的指标：吸引域越大，网络的容错性能越好，或者说网络的联想能力就越强。 图2 7 联想过程简化示意图 按上述两个过程，归纳h o p n e i d 联想记忆网络的运行步骤如下： 第一步设定记忆模式。将欲存储的模式进行编码，得到取值为l 和一1 的记忆 模式( 历 ，7 ) ：u = 甜：，甜：，甜? ，汀；七= l ，2 ，聊。 铲黔 引， 其中f 。是神经元，到f 突触权值，一旦汁算完毕，突触权值将保持不变。 第三步初始化网络状态。将欲识别模式u = “，“：，甜：，“：】7 设为网络状态 的初始状态，即：v ( o ) = “：，u ( o ) 是网络中任意神经元f 在r = o 时刻的状态。 第四步迭代收敛。根据公式 v v ( ，+ 1 ) = 洲0 _ ( 疗) 】，= ，+ l ，2 i 随机地更新某一神经元的状态，反复迭代直至网络中所有神经元的状态不变为 止，假设此时的f = r 。 第五步网络输出。这时的网络状态( 稳定状态) 即为网络的输出y = v ( 丁) 。 1 4 第2 章人工神经网络与联想记忆 对丁以上所介绍的h o p f i e l d 联想记忆网络，需要说明的是： ( 1 ) 以上所介绍的h o 西e l d 联想记忆网络的激励函数为符号函数，即神经元的 状态取l 和一l 的情况。对于联想记忆网络的激励函数为阶跃函数，即神经元的 状态取l 和o 时，相应的公式有所变化。设在网络中存储m 个刀维的记忆模式 ( 脚 。 掰r 。 、i 第2 章人上神经网络与联想记忆 2 3 连续h 0 p 6 e l d 神经网络 1 9 8 4 年，h o p f i e l d 采用模拟电子线路实现了h o 面e l d 网络，该网络中神经 f 已的激励函数为连续函数，所以该网络也被称为连续h o p f i e l d 网络。在连续 h o 筒e l d 网络中，网络的输入、输出均为模拟量，各神经元采用并行( 同步) 工 作方式。利用这一特征，h o p f i e l d 将该网络应用于优化问题的求解上，并成功地 解决了t s p 问题( h o p n e l d ，1 9 8 4 ) 。 2 3 1 连续h o p f i e l d 网络模型 连续h o p n e l d 神经网络结构如图2 3 所示。 孰t 一一“卜v 1 孥芝一 k 、 i ，f 拳一一“，卜 ， ： 皋一一“爪 v 啦c k 沙 图2 8 连续h o p f i e l d 神经网络模型 从陶2 8 可见，h o 明e i d 神经网络中的每个神经元都是由运算放大器及其相 关的电路组成，其中任意一个运算放大器f ( 或神经元，) 都有两组输入：第一 组是恒定的外部输入，用，表示，这相当于放大器的电流输入；第二组是来自其 他运算放大器的反馈连接，如：其中的另一任意运算放大器，( 或神经元，) ， 用，表示，这相当于神经元，与神经元，之间的连接权值。u i 表示运算放大器f 的 输入电j 玉，v 表示运算放大器，的输出电压，它们之间的关系为： 1 6 第2 章人工神经网络与联想记忆 其中，激励函数g ( ) 常取s i g m o i d 型函数中双曲线正切函数，即： 惴批m n h ( 净= 黑 ( 2 1 2 ) 其中，珥2 为曲线在原点的斜率，即： 导：掣l 以：o ( 2 1 3 ) 2如 因此，称矾为运算放大器f ( 或神经元f ) 的增益。 激励函数g ( - ) 的反函数g _ ( ) 为： 驴g - l ( 咖一言1 0 9 ( ( 2 1 4 ) 口；i + y 。 对于图2 3 所示的连续h o 曲e i d 神经网络模型，根据基尔霍夫电流定律有： c 鲁+ 每2 姜去c 巧一) + q 。5 ， c f 鲁= 姜讹训竹惫 其中，屯= 去。设专= 去+ 芸。棚i j ( 2 m ) 为： c ，警= 粪 卜专 ( 2 1 6 ) 与离散h o p f i e l d 神经网络相同，连续h o p f i e i d 网络的突触权值是对称的， 且无自反馈，即：f ，= f ，乙= 0 a 对于连续h o p f i e l d 神经网络模型，其能量函数定义如下： e = 一圭姜喜。v _ + 善去r 厂。1 c v ，以一善耽 g ，7 ， 按照式( 2 1 7 ) 定义的能量函数，由于存在右侧第2 项，因此不是l y a p u n o v 函数，这就引起很多运算上的问题。所以，在不脱离硬件电路实现和式( 2 1 2 ) 中参数口取值足够小的前提下，h o p n e l d 将这一项舍去而采用下式所定义的能量 1 7 第2 章人工伸经网络与联想记忆 函数： 1 kn n e = 一去i l o 一e 厶，= l ，= if _ l ( 2 1 8 ) 这样，激励函数g ( 。) 就非常接近于阶跃函数甜( f ) ，其反函数g 。1 ( ) 在【o ，1 ) 区 侧里也非常接近于0 。 2 3 2 连续h o p 6 e l d 网络稳定性分析 有： 为证明该能量函数e 是单调下降的，可求式( 2 1 7 ) 对时间t 的微分， 警= 筹等一喜c 粪。_ 一老+ ，鲁 d t d v | d t、r t “d t 将式( 2 1 6 ) 代入( 2 1 9 ) 式可得： 即： ( 2 1 9 ) 警一善c ，c 警，鲁 = 一萋e 学警 ：争c 蛐生生 q 卫 一姜e 掣c 2 因为g 一( v ) 为单调增函数，所以尘；盟o ，又( 冬) z o ，c o ，因而 。at 。 堡o d t ( 2 2 1 ) 由于能量函数e 是有界的，因此，连续h o 叩e l d 网络模型是稳定的。 连续h o 两e l d 网络模型对生物神经元模型做了大量的简化，但仍突出了生 物系统神经计算的主要特性，如： ( 1 ) 连续h o p n e i d 网络的神经元作为i o 变换，其传输特性具有s i g m o i d 特性。 ( 2 ) 具有时空整合作用。 第2 章人工神经网络与联想记忆 ( 3 ) 在神经元之间存在着大量的兴奋性和抑制性连接，这种连接主要是通 过反馈来实现。 ( 4 ) 既有代表产生动作电位的神经元，又有代表按渐进方式工作的神经元。 即保留了动态和非线性这两个最重要的计算特性。 1 9 第3 章联想记忆的算法研究 第3 章联想记忆的算法研究 3 1 外积法的局限性 联想记忆( a m ) 是神经网络理论的一个重要分支，也是神经网络用于智能控 制、模式识别与人工智能等领域的一个重要功能。它主要利用神经网络的良好 容错性，能使不完整的、污损的、畸变的输入样本恢复成完整的原型，适用于 识别、分类等用途。 1 9 8 2 年美国物理学家j h o 叩e l d 首次提出了单层全互连含有对称突触连接 的反馈网络模型，采用基于h e b b 规则的外积法实现了对标准模式的联想记忆， 对神经网络的发展产生了巨大的影响。h o 叩e l d 用能量函数的思想形成了一种新 的计算方法，阐明了神经网络与动力学的关系，并用非线性动力学的方法来研 究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络 中神经元之间的连接上，形成了所谓的h o 西e l d 网络，称之为离散h o 叩e l d 网 络。 假设网络模型( 异步模型) 可以描述为如下方程形式； iv ( ，+ 1 ) = g ( ( f ) ) ，l f 刀 伽) ：窆乃_ ，l 姚” j l j = 1 其中，g ( 列) = s g n ( 甜) 。外积法采用存储模式的外积和来设计权值矩阵，设给定聊 个模式样本口2 ，七= l ，m ，口 一1 ，l ”，玎历，则设计网络权值为： = 孝彰口j ；三二 ( 0 2 ) 写成矩阵形式为： 丁= 口( 口) 7 一， ( o 3 ) = l 2 l 第3 章联想记忆的算法研究 其中，表示单位矩阵。 h o 阳e i d 网络要记住模式口。，就是使口，七= l ，聊成为网络的平衡点，满 足s g n ( 丁口) = 口。 将式( 3 3 ) 得到的权值矩阵用于联想记忆，即 丁口= 口( 口) r 一卅木口= a ( 口) 7 幸口一所口 ( 0 4 ) 七= l膏= l 可以证明，只有当样本模式口，七= l ，小之间相互正交时， 口( 口) r 木口一朋口= ( 以一所) 口 ( o 5 ) 七= i 即s g n ( 丁口。) = 口，口才能成为网络的平衡点。 因此，基于h e b b 规则的外积法只有在标准模式向量是相互正交的特殊情况 下，才能够实现联想记忆。所以这种传统的联想记忆模型有着很大的局限性， 难以在实际中推广应用。为了在较大的范围内实现神经网络联想记忆的实用性， 必须对学习算法加以改进，提高网络的回忆性能和容错性。 3 2 投影学习算法( p r o j e c t i o nl e a m i n gr u l e ) 研究 3 2 1 投影学习算法 在上一节中，我们已经证明，只有在标准模式向量是相互正交的特殊情况 下，外积法才能保证所有的样本模式都是网络的平衡点，实现对无噪模式的记 忆。但足，在实际中，很难遇到满足输入模式相互正交的情况，因此，使用外 积法联想记忆有着较大的局限性，难以推广使用。针对外积法的缺陷，p e r s o n n a z 等人提出了一种投影学习算法( 1 9 8 8 ) ，通过从丹维空间