（计算机应用技术专业论文）基于小世界体系的模糊自联想记忆神经网络研究.pdf

一h i - l ， 一 0 i i i 1 1 1 2 模糊联想记忆网络研究现状2 1 3 研究方法4 1 4 论文结构安排4 第2 章模糊联想记忆神经网络6 2 1 模糊神经网络6 2 2 联想记忆7 2 3h o p f i e l d 神经网络8 2 4 模糊联想记忆神经网络1 0 2 5 本章小结。1 2 第3 章小世界体系结构1 3 3 1 小世界网络1 3 3 2 聚类系数和特征路径长度1 3 3 3w s 小世界网络1 4 3 4 改进的小世界体系结构生成方法1 6 3 5 本章小结2 0 第4 章基于小世界体系结构的模糊自联想记忆模型2 1 4 1 问题提出2 1 4 2 小世界联想记忆网络研究现状2 2 4 3 基于小世界体系的模糊自联想记忆模型2 3 4 4 本章小结2 6 第5 章仿真实验2 7 5 1 仿真实验目的与方案2 7 5 2o r l 人脸库简介2 7 5 3 可行性和有效性分析2 8 - a 2 | 1 1 1 11 1i lr lr lf i ii ii iiil ；y 18 8 2 6 0 2 5 4 本章小结31 第6 章总结和展望3 2 6 1 工作总结3 2 6 2 工作展望3 2 参考文献3 3 致谢3 6 读研究生期间主要的研究成果3 7 2 、n： 蠢 扣 l l 鼍 联想记忆网络是一类特殊的人工神经网络，能够从不完整、含噪信息中获得全部信息。 模糊联想记忆是模糊系统和神经网络的结合，兼具两种优点，已广泛应用在人工智能，模式 识别等领域。模糊联想记忆网络结构大都是全互联的，随着神经元数量增加，网络的连接边 增多，硬件实现困难。因此，对模糊联想记忆网络结构研究成为近几年研究热点，同时，生 物学研究证明：生物脑神经中普遍存在小世界效应，因此，从生物学角度出发，将小世界体 系结构应用到模糊联想记忆中并非偶然。 本文从网络结构角度出发，深入研究小世界体系结构生成算法，对一种权值择优小1 t c 界 生成算法进行改进，并通过实验验证其可行性和有效性。再将其应用到模糊自联想记忆网络 中，构建了基于小世界体系结构的模糊自联想记忆网络模型。本文具体的研究工作和创新之 处体现在以下几个方面： 1 介绍了模糊联想记忆网络的概念和研究现状，指出了现有模糊联想记忆神经网络学习算 法及硬件实现的问题，分析了从网络体系结构出发，对全互联模糊神经网络结构进行稀疏互 联的可行性。 2 研究了复杂网络中典型的小世界网络，分析指出原始小世界体系结构生成方式具有随机 性，缺乏确定性的缺陷，借鉴复杂动态网络中和谐统一的混合择优模型构建思想，对一种具 有目的性的权值择优生成方法进行改进。 3 将小世界理论和模糊联想记忆神经网络结合起来。运用最大一t 模蕴含算子对全互联神经 网络进行学习，确定权值矩阵。以权值矩阵为指导，运用权值择优捷径生成算法生成具有小 世界体系结构的模糊自联想记忆网络，这样生成的小世界体系结构不乏确定性，由于是以权 值矩阵为依据，所以生成的小世界网络保留了有用边删除了无用边，在减少连接代价的同时 最大程度的保持了网络性能。 4 将基于小世界体系的模糊自联想记忆网络应用到简单的人脸图像识别。结果证明了其可 行性和有效性，对含燥信息恢复的鲁棒性。 关键词：小世界网络；模糊联想记忆网络；权值矩阵；择优生成算法，人脸识别 ( a u t h o r ：y a nb e n w e i a b s t r a c t a s s o c i a t i v em e m o r yn e t w o r ki sas p e c i a la r t i f i c i a ln e u r a ln e t w o r k i tc a l lo b t a i na l lt h e i n f o r m a t i o nf r o mu n c o m p l e t e da n dn o i s yi n f o r m a t i o n f u z z ya s s o c i a t i v ec o m e sf r o mt h ec o m b i n eo f f u z z ys y s t e m sa n dn e u r a ln e t w o r k s ，a n dw i d e l yu s e di na r t i f i c i a li n t e l l i g e n c ea n dp a t t e r nr e c o g n i t i o n m o s to ff u z z ya s s o c i a t i v em e m o r yn e t w o r k sa r ef u l lc o n n e c t e d ，w i t ht h ei n c r e a s eo fn u m b e ro f n e u r o n s ，t h ec o l l e c t i o no fn e u r o n si si n c r e a s e dt o o ，a n dt h eh a r d w a r ei m p l e m e n t a t i o ni sd i f f i c u l t s o t h er e s e a r c ho ff u z z ya s s o c i a t i v em e m o r ys t r u c t u r eb e c o m e sp o p u l a ri nr e c e n ty e a r s a tt h es a m et i m e ， b i o l o g i c a ls t u d ys h o w st h a tt h es m a l lw o r l dc h a r a c t e r i s t i c si sp r e v a l e n ti nt h eb i o l o g i c a lb r a i n t h e r e f o r e ，f r o mt h ep o i n to fb i o l o g i c a l ，i ti sr e a s o n a b l et oa p p l yt h es m a l lw o r l dm o d e lt ot h ef u z z y a s s o c i a t i v em e m o r yn e u r a ln e t w o r k t h i sp a p e r sr e s e a r c hi sb a s e do nt h es t r u c t u r eo fn e t w o r k , d e p t hr e s e a r c ho nt h eg e n e r a t i o n a l g o r i t h mo ft h es m a l lw o r l da r c h i t e c t u r e p r o p o s e das m a l ln e t w o r km o d e lg e n e r a t i o ni m p r o v e a l g o r i t h mb a s e do nt h eb e s ts e l e c t i o no fw e i g h tm a t r i x , a n dv e r i f yt h ef e a s i b i l i t ya n de f f e c t i v e n e s s f r o me x p e r i m e n t t h e na p p l yt ot h ef u z z ya u t o a s s o c i a t i v em e m o r yn e t w o r k , f o r mt h ef u z z y a s s o c i a t i v em e m o r yn e t w o r km o d e lb a s e do ns m a l lw o r l dm o d e l f o l l o w i n gw a y se m b o d i e st h e r e s e a r c hc o n t e n ta n di n n o v a t i o n ： 1 i n t r o d u c e st h ec o n c e p t sa n dr e s e a r c hs t a t u so ff u z z ya s s o c i a t i v em e m o r yn e t w o r k p o i n t so u tt h e p r o b l e mo ft h el e a n i n ga l g o r i t h ma n dh a r d w a r ei m p l e m e n t a t i o no ff u z z ya s s o c i a t i v em e m o r y n e u r a l n e t w o r k a n a l y z e s t h e f e a s i b i l i t yo fs p a r s ec o n n e c t i o n o ff u l lc o n n e c t i o nf u z z y a s s o c i a t i v en e u r a ln e t w o r k 2 r e s e a r c ht h es m a l l w o r l dn e t w o r kw h i c hi st h et y p i c a ln e t w o r km o d e li nt h ec o m p l e xn e t w o r k t h eo r i g i n a ls m a l lw o r l da r c h i t e c t u r eg e n e r a t i o na l g o r i t h mi sr a n d o m n e s s ，l a c k so fc e r t a i n t y r e f e r e n c et h eh a r m o n i o u su n i f y i n gh y b r i dp r e f e r e n t i a lm o d e la n dt h eo p t i m a l s y n a p t i c d i l u t i o ns t r a t e g yo f c o m p l e xd y n a m i cn e t w o r k ，p r o p o s e dag e n e r a t i o na l g o r i t h mw i t hc e r t a i n t y 3 c o m b i n et h es m a l lw o r l dt h e o r ya n df u z z ya s s o c i a t i v em e m o r yn e u r a ln e t w o r k ；t r a i nt h ef u l l c o n n e c t i o nn e u r a ln e t w o r kw i t hm a x - tn o r mo p e r a t o r g e tt h ew e i g h t sm a t r i x g u i d e db yt h e i l 矗 0， f鼍 8 t 囊 纛 i ， l 两南人学硕十学何论文a b s t r a c t w e i g h t sm a t r i x , g e n e r a t e dt h ef u z z ya s s o c i a t i v em e m o r yn e u r a ln e t w o r kb a s e do ns m a l lw o r l d m o d e l t h i sm o d e li sc e r t a i n t y ；i tr e t a i n st h eu s e f u le d g ea n dd e l e t e st h eu s e l e s se d g e s ，s ok e p t t h eb e s tp e r f o r m a n c ew i t hl e s sc o n n e c t e dp r i c e 4 a p p l yt h ef u z z ya s s o c i a t i v em e m o r yn e u r a ln e t w o r kb a s e do i l s m a l lw o r l dm o d e lt of a c e r e c o g n i t i o n t h er e s u l t ss h o wt h a ti t sf e a s i b l ea n de f f e c t i v e ，r o b u s t n e s so nr e c o v e r yo fn o i s y i n f o m a t i o n k e y w o r d s ：s m a l lw o r l dn e t w o r k ；f u z z ya s s o c i a t i v em e m o r yn e t w o r k ； w e i g h t sm a t r i x ；o p t i m a ls e l e c t i o ng e n e r a t i o na l g o r i t h m ； f a c er e c o g n i t i o n i i i 蔫 毒 f 、 两南人学硕十学伊论文第1 章绪论 1 1 选题意义 第1 章绪论 人脑是一个高度复杂的生物神经系统，是思维活动的物质基础，思维是人类 智能的集中体现。长期以来，人们对大脑结构和工作原理做了大量研究工作，希 望能用机器来模仿人类智能，从而产生一门研究、模拟、延伸和扩展人脑智能的 新科学人工智能。人工智能的研究有对生物神经系统结构的模拟和功能的模 拟两种方法，人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 就是从人脑的结构出 发来模仿和延伸人脑智能、思维、意识等功。a n n 的研究开始于2 0 世纪四十年代， 由心理学家m c c u l l o c h 和数学家p i t t s 一起提出，他们构造了一个神经元数学模型 ( m p 模型) 。从此，人工神经网络成为了研究热点。 联想是人脑最基本的功能，是人类最常用的一种思维方式，人类正是由于具 备联想这一能力，才可以从一种事物联想到与其相关的事物或其他事物。对于模 仿人脑智能的人工神经网络，理所当然应该设计为具备联想能力的神经网络。只 能这样，人工神经网络才能越来越靠近人脑生物神经网络，因此，联想记忆神经 网络应运而生。联想记忆( a s s o c i a t i v em e m o r y , a m ) 神经网络是人工神经网络理论 的一个重要组成部分，联想记忆神经网络具有良好容错性，能使不完整的、含噪 声、畸变的输入样本恢复成完整的原型，所以适用于模式识别、模式分类等用途。 如今，联想记忆神经网络已经成功应用于智能控制、模式识别与人工智能等领域 1 1 。2 o 人工智能发展至今，以及从处理确定性问题为主过渡到处理不确定性问题为 主，不确定性人工智能技术及应用是当前人工智能的研究热点b 3 。而模糊神经网络 是该领域的一个重要工具。模糊神经网络起源于2 0 世纪8 0 年代后期。在此之前， 模糊技术已经得到极大的重视和发展，模糊系统已经广泛应用在模糊控制器、模 式识别、模糊辨识和信号处理中。模糊技术的优点在于它的逻辑性和透明性，人 们可以将已获取的先验知识结合到模糊规则中。但由于在现实生活中不存在一种 正式的和有效的知识获取方式，因此对于设计者来说，即使他是领域专家，要完 成复杂系统所有的输入输出数据的检查以找到一组合适的规则也是很难的。模糊 系统包括模糊化过程和模糊规则的推理过程，每一过程对系统的执行性能都有影 响，模糊化过程和模糊规则的推理过程都要人为的选定模糊隶属度函数和适当的 学习方法。而且模糊系统中模糊规则的前提和结论部分通常都是模糊子集，解模 糊也是一项复杂的工作，模糊系统输入输出关系式是高度非线性的，要想得到一 个满意的输入输出关系式，在众多需要调节的参数面前，再有经验的专家也难以 善 i 基 两南大学硕十学何论文第1 章绪论 胜任。然而人工神经网络具有学习能力和自适应能力，它善于对网络参数的自适 应学习，并且有并行处理及泛化能力。这使得研究者降模糊逻辑和神经网络结合 在一起。通过神经网络实现的模糊逻辑系统结构具有模糊逻辑推理功能 模糊神经网络正是人工神经网络和模糊逻辑系统的互补结合，兼具两者优点， 能模糊性解释，已成为模糊智能系统的重要建模工具。联想记忆网络和模糊技术 结合产生了模糊联想记忆网络( f u z z y a s s o c i a t i v em e m o r y n n ) ，f a m 网络融合了模糊 运算和模糊规则双重概念，具备良好的模糊性解释能力。目前，模糊联想记忆网 络己被广泛应用于系统预测、模式识别、图像处理以及系统辨识等领域。 神经网络由两部分构成：学习算法和网络体系结构。学习算法属于软件部分， 主要是连接权值的确定。网络体系结构属于硬件部分，主要是网络拓扑结构的确 定。神经网络的学习算法一直都是研究的热点，然而一个好的神经网络模型不仅 要有好的学习算法，网络拓扑机构也同样重要。但是由于对优良网络性能的追求， 往往忽视了网络的拓扑结构，没有考虑到网络实现的连接代价和复杂度，到目前 为止，全互连结构仍然是大多数神经网络模型所采用的拓扑结构。直到近几年， 随着待处理问题规模的扩大，在大规模的互联过程中，网络复杂性无法控制，同 时在网络的硬件实现上存在难题，因此，许多研究学者开始关注神经网络体系结 构。生物学研究表明真实生物神经系统呈现具有稀疏互联特性的复杂网络性质( 主 要体现为小世界效应和无标度特性) h 吲。因此，小世界效应的提出为神经网络结 构的研究提供了有效的方法，从而网络体系结构的研究日渐引起人们的重视，成 为研究神经网络重点之一。 因此，本文对模糊联想记忆网络体系结构进行研究，将小世界体系引入到模 糊联想记忆网络中，构建基于小世界体系结构的模糊自联想记忆神经网络，对网 络结构进行了优化，减小网络的时间和空间复杂度，在减小网络连接代价的同时 保持最优的网络性能。本文构建的基于小世界网络体系的模糊自联想记忆网络更 符合神经生物学观点，在硬件上也更容易实现。 1 2 模糊联想记忆网络研究现状 模糊联想记忆和一般的联想记忆相似，模糊联想记忆只是对模糊模式对的联 想记忆存储，且模糊模式之间的关系是一种模糊关系。1 9 8 7 年，b a r tk o s k o 提出 m a x m i n 合成模糊联想记忆网络模型1 ，首次将模糊理论和神经网络结合起来，这 种网络兼具两者优点。在此之后，许多研究学者对模糊联想记忆网络进行了研究， 并取得显著成果。目前，模糊联想记忆网络已经成功应用于系统辨识、模式识别、 图像处理等领域o h l 。 毒 i 两南大学硕十学付论文第1 章绪论 f a m 网络的研究也集中在学习算法和网络体系结构上。学习算法的研究是为了 确定最优的权值矩阵以达到良好的网络性能。学习算法上面的研究很多，国内外 研究学者提出了很多学习算法和改进算法，如b k o s k o 率先利用模糊h e b b 法则对 连网络进行训练，后来经研究发现这种算法呈现出子集回想特性，它并不能保证 可靠地存储多个模糊模式对睁1 0 1 。此后，许多学者对模糊联想记忆网络的学习算法 进行改进，在m a x m i n 合成算子中的m i n 实际是一个t 一模，从而人们自然想到用 其它f 一模代替m i n ，从而m a x m i n 演化成a x 一合成算子。1 9 9 6 年范俊波和靳蕃 i 竹气， 等利用模糊蕴含算子r ( a ，6 ) = ：? ：一：为m a x - m i nf a m 提出了一种有效的学 - 3 算 【b ， a d 法。后来出现了基于爱因斯坦，一模的模糊联想基于学习算法n2 1 ，在一定条件下， 这种学习算法能将多个模糊模式对可靠地编码到模糊联想记忆的连接权矩阵中。 f u l a ic h u n g 和t o n gl e e 提出了一种正交编码学习算法n3 】，即如果输入模式对满 足正则条件以及m a x m i n 正交条件，网络就可以存储多个模式对。但是一般情况 下难以满足正交条件。近几年还提出了最大连接权算法、梯度下降算法等改进算 法，这些算法在提高网络一些性能的同时有存在各自的不足，还需要进一步完善。 网络结构上面的研究大都是增加或减少神经元个数或者层数，如由一层的神 经网络发展到两层甚至多层网络结构。这些改进都很少考虑神经元之间的连接方 式，使得现有的神经网络结构大都采用全互联结构，随着待解决问题规模的增大， 网络复杂性也随之增大，硬件实现方面存在很大的问题，同时全互连并不是人脑 神经元的构成方式，大脑生理学已经证明：人脑神经元的互连采用一种类似小世 界体系的连接方式。所以各国研究人员逐渐将研究注意力转移神经元之间的连接 方式上面。从连接方式上优化神经网络结构，不再是单纯的在神经元数量上的增 减。小世界理论的提出为神经网络结构研究提供了一种新方法，j w b o h l a n d 率先 将小世界模型引入到传统的h o p f i e l d 联想记忆模型中n 钔，提出了一种新的基于s w a 的h o p f i e l da m 模型( s w h a m ) ，通过在所构建模型上的一系列数值仿真实验，他 们证实了采用小世界体系的联想记忆网络能够达到随机互连网络同等的检索性 能，而其中的连接数仅为全互连网络的1 4 。近几年，小世界体系已经应用到了多 值联想记忆网络、指数自联想记忆网络、核自联想记忆网络中，并取得了显著成 果n 5 。 1 ，小世界体系应用到神经网络中才刚刚开始，以后还有很多工作要做，很多 问题有待解决。 t l 矗 i i 两南大学硕十学伊论文第1 审绪论 1 3 研究方法 本文将小世界结构应用到模糊自联想记忆网络中，模糊自联想记忆网络结构 是一种全互联的单层反馈神经网络模型，采用m a x t 。合成模糊蕴涵算子对模糊 自联想记忆网络进行训练，确定其连接权值矩阵。改进原始小世界模型捷径随机 生成缺乏确定性的缺点，提出一种具有确定性的动态择优捷径生成小世界的算法 改进，以连接权值矩阵为依据，动态择优生成基于小世界结构的模糊自联想记忆 网络模型，并进行数值仿真实验验证其可行性和有效性。将其应用于简单人脸图 像识别，验证该模型的联想记忆能力。 大概实施方案如下： ( 1 ) 由一组给定的待记忆模式对，采用m a x l 。合成模糊蕴涵算子对全互联 模糊自联想记忆网络进行训练，确定其连接权值矩阵w 。 ( 2 ) 分析原有小世界结构随机捷径生成算法存在的缺陷，提出一种改进权值择优 捷径生成算法，该方法生成的小世界体系结构具有确定性，并通过数值仿真 实验验证其可行性和有效性。 ( 3 ) 以全互联模糊自联想记忆网络的连接权值矩阵w 为依据，应用本文改进的 小世界网络生成方法生成基于小世界体系的模糊自联想记忆模型，通过仿真 实验证明其优越性。 ( 4 ) 将构建的基于小世界模型的模糊自联想记忆网络应用于人脸图像识别，对实 验结果进行分析，验证网络的联想记忆性能。 1 4 论文结构安排 论文各章内容安排如下： 第一章为绪论，简述论文研究背景、模糊联想记忆网络研究现状、论文实施 方案和主要工作。 第二章主要介绍模糊联想记忆网络的的基础知识。首先介绍了联想记忆的概 念和分类，再介绍了典型的联想记忆网络模型h o p f i e l d 网络模型和h e b b 学习规 则。最后对模糊自联想记忆和模糊异联想记忆的结构模型进行分析。 第三章对小世界网络进行研究，分析了随机捷径生成小世界模型存在的缺陷， 对小世界结构模型的生成算法进行研究，提出一种以权值矩阵为依据的择优捷径 生成小世界体系结构的改进算法。通过数值仿真实验，验证其可行性和有效性。 第四章将本文改进的小世界体系生成算法应用到模糊自联想记忆网络中，在 本章中对模糊自联想记忆网络学习算法进行研究，分析m a x - m i nf a m 网络模型采 用h e b b 规则训练网络时存在的缺陷，在本文中，采用了基于m a x l 。的模糊自联 4 i i 、 两南人学硕 ：学伊论文第1 章绪论 想记忆网络学习算法确定网络权值矩阵。再以权值矩阵为依据生成基于小世界模 型的模糊自联想记忆网络模型，通过实验验证网络的联想记忆性能。 第五章中将基于小世界结构的模糊自联想记忆模型应用到人脸图像识别中， 通过实验结构分析其网络性能。 第六章是对论文的一个总结，分析了该模型优越性的同时也指出其存在的不 足，并对以后的工作做了展望。 _ 1 r i 葺 l 、 i 、 两南人学硕+ 学伊论文第2 章模糊联想记忆神经网络 第2 章模糊联想记忆神经网络 2 1 模糊神经网络 模糊神经网络是模糊理论和神经网络相结合的产物。神经网络和模糊理论过 去都是各自独立发展的，直到2 0 世纪8 0 年代后期，由日本研究人员提出了模糊 神经网络，并在1 9 9 1 年率先推出了模糊神经网络洗衣机，随后，逐渐应用到机器 控制、工业过程控制等领域。受到日本模糊神经网络成功应用的影响，欧美也从 2 0 世纪9 0 年代初开始了模糊神经网络的研究。1 9 8 7 年，b a r tk o s k o 提出了最大一 最小型模糊联想记忆网络砷1 。此后，许多学者对其进行了研究，并取得了一系列的 成果，近十几年来，f a m 网络被应用于系统预测、模式识别、图像处理以及系统辨 识等领域。 模糊理论和神经网络是两种主要的智能控制理论，各有各的优点。模糊技术 的优点在于它的逻辑性和透明性，人们可以将已获取的先验知识结合到模糊规则 中，很好的利用了人的经验知识，从软件角度模拟人脑。人工神经网络是从人脑 的结构角度出发模拟人脑智能，实现对信息的记忆和处理能力。神经网络善于对 网络参数的自适应学习，并且有并行处理及泛化能力，能够从输入输出数据中获 得有用的知识，从硬件角度模拟人脑。模糊技术和神经网络各自有各自的优点， 与此同时，也各自存在缺点。如模糊技术不具备学习能力，对规则的判断完全靠 人类的经验知识，但由于在现实生活中很难找到正式有效的经验知识获取方式， 因此对于设计者来说，即使他是领域专家，要给复杂模糊系统找到一组合适的规 则是很难的，模糊系统输入输出关系式是高度非线性的，要想得到一个满意的输 入输出关系式，在众多需要调节的参数面前，再有经验的专家也难以胜任。然而 人工神经网络刚好相反，人工神经网络具有非线性映射能力、学习能力和自适应 能力，它善于对网络参数的自适应学习，并且有并行处理及泛化能力。但是神经 网络不能处理模糊问题，将系统看成“黑箱 的映射问题，因此缺乏明确的物理 意义，表达知识比较困难，学习速度慢，不能融入人们的经验知识。不难发现， 两者的优缺点存在互补关系，这使得研究者降模糊逻辑和神经网络结合在一起。 通过神经网络实现的模糊逻辑系统结构既有模糊逻辑推理功能，同时网络的权值 也具有明确的模糊逻辑意义。因此，模糊神经网络不仅吸取了模糊逻辑和神经网 络二者的优点，还克服了各自具有的缺点。这使得模糊神经网络成为当前研究的 一个热点，并形成了一个较为完善的体系n 引。 目前提出的模糊神经网络有很多模型。比较著名的有模糊联想记忆f a m ( f u z z y a s s o c i a t i v em e m o r y ) 模型、模糊自适应共振理论模型f a r t ( f u z z ya d a p t i v e 6 l l 能力，才可以从一种事物联想到与其相关的事物或其他事物，联想是人类思维活 动中的一种最常用的思维方式。人工神经网络是对生物神经网络的模拟，所有它 也应该具备联想记忆的能力。人工神经网络的联想就是指系统在给定一组输入信 号的作用下，该系统能够输出与之对应的信号。 联想记忆( a s s o c i a t i v em e m o r y ，a m ) 是神经网络理论的一个重要组成部分， 也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。它主 要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢复成 完整的原型，适于识别、分类等用途。 联想记忆的工作过程分为两个阶段：一个是记忆阶段，也叫存储阶段或学习 阶段；另一个是联想阶段，也叫恢复阶段或回忆阶段。 ( 1 )记忆阶段。初始设定网络权值，通过一定的学习算法调整网络的权值， 使网络具有很多稳定的平衡状态，这些稳定的平衡状态也称作吸引子 ( a t t r a c t o r ) ，吸引子有一定的吸引域。吸引域表示该吸引子的所有初 始状态集合，吸引域大小用吸引半径描述。吸引域定义：吸引域中所 含所有状态之间的最大距离或吸引子所能吸引状态的最大距离。吸引 子就是联想记忆网络的能量函数的极值点，记忆过程既是将要记忆和 存储的模式设计或训练成网络吸引子的过程。 ( 2 )联想阶段。联想过程就是给定输入模式，通过训练好的联想记忆网络 达到稳定状态，即收敛到吸引子，联想起已存模式的过程。 2 2 2 联想记忆的分类 联想记忆分为自联想记忆和异联想记忆两类。 ( 1 )自联想记。i l ( a u t o a s s o c i a t i v em e m o r y ) 。自联想记忆能将网络中输入模 式映射到网络已存模式中的一种。当我们将存储样本模式 4 ( 七= 1 , 2 ，p ) 输入模拟神经元中，当网络模块己记住这些模式之 后，即使我们用4 的一组具有缺省噪音的输入模式a ：作为网络的输 i j i j 两南人学硕卜学f 矗论文第2 章模糊联想 己忆神经网络 入时，只要他们的差异没有超出其吸引域，网络模块将回想或输出完 整的4 。 ( 2 ) 异联想记忆( h e t e r o a s s o c i a t i v em e m o r y ) ，有时也称为联想映射。k o s k o 的双向联想记忆神经网络是最早的异联想记忆网络模型。我们将一系 列样本模式对( 4 ，反) 输入模拟神经元，当神经元记住这些模式后， 神将元能由a ：联想出最，由b ：联想出4 ，其中4 ：和b ：分别为4 和 玩的一组不完整或带有噪声的信息。 一般情况下，自联想记忆的输入输出模式具有相同的维数。而异联想记忆的 输入模式维数与输出模式一般不相等。异联想记忆可以有自联想记忆通过映射得 到。自联想记忆和异联想记忆均可以根据网络中存储的联想信息来扩充起关键作 用的模式的影响，本文正是利用这个特点对联想记忆网络的结构进行改进。 2 3h o p fieid 神经网络 联想记忆的研究开始于2 0 世纪8 0 年代，美国加州工学院生物物理学家 j j h o p f i e l d 博士在1 9 8 2 年发表了神经网络与具有突现集合计算能力的物理系 统，提出了h o p f i e l d 神经网络模型( h n n ) z g - - 2 0 。在这种神经网络模型中引入动力 学，通过能量函数( 也称李雅普诺夫函数) 分析人工神经元网络的稳定过程，使 网络运行的稳定性判断有了可靠和简便的依据，开辟了人工神经网络应用于联想 记忆和优化计算领域的途径。由于h o p f i e l d 网络与电子电路存在明显的对应关系， 所有使得这种网络易于理解和实现，在此之后神经计算科学出现了前所未有的研 究热潮。 h o p f i e l d 神经网络分为离散型和连续型，离散型h o p f i e l d 神经网络可以用于 联想记忆，连续性h o p f i e l d 神经网络可以用于优化计算。本文的联想记忆网络就 是用离散的h o p f i e l d 神经网络来实现。 2 3 1 离散型h o p f ieid 神经网络 离散h o p f i e l d 神经网络是离散时间系统，它可以用一个加权无向图表示，图 的每一边都有一个权值，每个神经元( 节点) 都有一个阈值，网络的阶数相应于 网络中的节点数。 离散h o p f i e l d 神经网络是一种n 个神经元的全互连结构。这n 个神经元相互 连接，每个神经元既是输入又是输出，网络中存在许多反馈回路，节点间的连接 强度由权值表示。如图2 1 所示。 8 l 、 i 糊联想记忆神经网络 图2 1h o p f i e l d 神经网络模型 该网络有，2 个神经元n l 刀：，n 。，其转移特性函数为z ，以，六，阈值为 q ，b ，见，在一般的离散h o p f i e l d 网络中，都选用相同的转移特性函数，即 z ( x ) = a ( x ) = 六( x ) = 厂( x ) ( 1 - 1 ) 其中( ) 为激励函数，可以取符号函数s g n ( t ) 或是阶跃函数甜( f ) 。当取符号函 数时，神经元输出为1 或者l 。 假设网络的输入为x = ( ，x ：，x n ) ，x 一1 ，+ 1 ) ”，网络的输出为 y = ( y l ，y 2 ，y 。) ，y 一1 ，+ 1 ) ”， 各个神经元在时刻f 的状态为 v ( t ) = ( v 1 ( ，) ，v 2 ( r ) ，v 。( f ) ) ，v ( t ) 一1 ，+ 1 ) ”，其中f 为离散时间变量， f o ，1 ，2 ，) 。 w 。为神经元聆，到神经元刀，的连接权值，由于h o p f i e l d 网络是对称的，连接权 值矩阵缈为刀刀方正，且有 w ，= w j l ，f ，j l ，2 ，刀) ( 1 - 2 ) h o p f i e l d 网络通过样本的学习确定权值矩阵，这个过程称为训练过程或者学习 过程。当网络完成训练后，网络就具有联想能力，对网络给定一个输入模式x ，网 络开始运行，一次运行后到达下一状态。如果此状态不是稳定状态，则将此输出 回送到网络的输入，网络继续运行至下一个状态。如果网络是稳定的，网络经过 有限次的循环运行，网络状态将收敛到稳定状态。整个过程用公式表达如下： v j ( t + 1 ) 鞫卅 = ( _ o ) 一嘭) f 9 ( 1 3 ) 两南人学硕十学伊论文第2 章模糊联想记忆神经网络 其中v ，( f ) 为第_ ，个神经元在时刻的状态，厂为激励函数，p 为阈值，一般取 零值。当网络到达稳定状态后，网络状态将不再变化，即v 9 + 1 ) = v ( t ) ，网络的输 出y = v ( f ) 即网络回忆出的模式。 2 3 2h e b b 学习规则 在离散的h o p f i e l d 网络中，采用的学习规则是海布( h e b b ) 学习规则，设神 经网络为n 个神经元互联网络，神经元有两个状态，兴奋时取1 ，抑制时取0 。使 用h e b b 学习规则的权值的调节规则是：若神经元f 与，同时兴奋或抑制时，它 们之间的连接强度增强，否则减弱，即 = a x f x ， a o ，i = 1 , 2 ，2 j = 1 , 2 ，2 ( 1 - 4 ) 其中a w i j 为连接权值增量，a 为学习常数。在实际学习中，一般取口= 1 或 a = 1 珂。 在自联想记忆中，模式x = ( 而，x ：，x 。) 与其自身联想，则用h e b b 学习规则 确定的权值矩阵为w = 口仅) 7 1 x 。其中a 为学习常数，许多学者将a 取值为“1 力 0 如果有m 个模式x 1 ，x 2 ，工”要进行自联想记忆，则权值举证为 w = ( x 1 ) 7 x 1 + ( x 2 ) r x 2 + + ( x 册) 7 x ”= x r x ( 1 5 ) 其中x 为m 即阶矩阵，它的每一行都是一个待记忆模式。当网络的权值矩阵 确定后就可以进行回想过程，用模式x 。，k = 1 , 2 ，m 作为网络的输入，则网络输出 为其本身。联想记忆网络的学习过程就是网络连接权值的确定过程，当权值矩阵 确定后网络就具有联想功能。 2 4 模糊联想记忆神经网络 模糊联想记忆( f u z z ya s s o c i a t i o nm e m o r y ，f a m ) 是对模糊记忆模式的联想 记忆存储。和一般的联想记忆相同，f a m 分为模糊自联想记忆和模糊异联想记忆两 大类。与一般联想记忆不同的是，f a m 的记忆模式为模糊模式，且相关记忆模式之 间的关联关系式一种模糊关系瞳h 副。 2 4 1 模糊联想记忆神经网络实现原理 模糊记忆模式的各个分量都是模糊的，即a k = ( a l , 口：，a n ) ，其中 a l ( 汪1 , 2 ，刀) 可取为单值型，区间值型，或模糊值型数值。而一个记忆模式的各 个分量理解为一个模糊事物在其特征上的隶属度时，以模糊形式表达的一个记忆 向量实际上反映的就是我们对一个模糊事物的记忆。 1 0 两南人学硕 j 学伊论文第2 章模糊联想记忆神经网络 ( 1 )模糊自联想记忆存储器：模糊自联想存储器的结构与一般自联想存储器相 同，如图2 2 所示，它可以用一个单层反馈式网络模块组成。与一般自联 想记忆存储器不同的是其节点为可实现模糊运算的模糊节点，而其记忆矩 阵在对应网络模块转化为网络模块的权矩阵则是一个由模糊关系所确定 的矩阵，即 w = m a x ( a 女oa ：) = ( w ，) ( 1 - 6 ) w = m a x ( a 肼oa 幻) ( 1 - 7 ) 这里记号“o 表示某种模糊合成算子，如取大和取小等合成运算。 图2 2 模糊自联想记忆存储器结构 模糊自联想记忆网络能够实现自身到自身的联想记忆功能。在回想的时候， 若是以一个带有不确定性信息或有噪声干扰的模式彳去激发此模糊自联想记忆网 络，通过网络的演变，最终将输出一个与模式a 在模糊意义下最贴近的模糊模式 彳。即 m 。么一么 ( 1 8 ) ( 2 )模糊异联想记忆网络：模糊异联想存储器有时也称作模糊映射网络模块。 它是一类可以实现模糊异联想存储及模糊映射变换的网络模块。美国加州 大学的b a r tk o s k o 在1 9 8 7 年提出了最基本的模糊异联想记忆模块：f a m 网络模块。f a m 网络是一类双层双向对称连接网络模块，如图2 3 所示。 当存储模式对为( 4 ，b k ) ，网络学 - j 所得连接权值为w = a 。b k 。其联想方式为 形oa 女= b 女，ro b = a 女 ( 1 - 9 ) 还有一种模糊双向联想记忆网络，更模糊异联想记忆网络的网络结构相类似， 在这里不做介绍，在本文中是基于模糊自联想网络模型的，模糊自联想记忆网络 的学习算法将在第四章中介绍。 2 5 本章小结 本章主要介绍模糊联想记忆网络，阐述了模糊联想记忆神经网路的产生背景， 联想记忆的概念和分类，学习了最基本的联想记忆网络模型h o p f i e l d 神经网络模 型及其学习算法，最后对模糊联想记忆网络的实现原理和研究现状做了介绍。 两南人0 t 硕 学伊论文 第3 章 小世界体系结陶 3 1 小世界网络 第3 章小世界体系结构 2 0 世纪6 0 年代，美国哈佛大学社会心理学教授s t a n l e ym i i g r a m 发现了著名 的“六度分割( s i xd e g r e e so fs e p a r a t i o n ) 现象，即世界上任意两个人，都 可以通过朋友关系联系起来，并且他们之间通过朋友关系联系起来的朋友数很小， 平均不超过6 个，所以叫做“六度分割现象，后来这种现象被称为“小世界现 象”。经过研究表明，小世界现象在现实世界中普遍存在，如疾病传播网、通信网 以及全球信息网( w w w ) 等。 1 9 9 8 年6 月，美国康奈尔( c o r n e l l ) 大学