（计算机软件与理论专业论文）灰色自适应谐振理论及其性能评估.pdf

南京航空航天犬学颐士学位论文 摘要 神经网络的学习方式通常包括三种：监督( s u p e r v i s e d ) 学习、无监督 g a n s u p e r v i s e d ) 学习和强化( r e i n f o r c e m e n t ) 学习。由sg r o s s b e r g 和ga c a r p e n t e r 等人提出的自适应谐振理论( a d a p t i v e r e s o n a n c e t h e o r y a r t ) 是采 用无监督学习的竞争型神经网络模型，其记忆方式与生物记忆形式类似，记忆 容量可随学习模式的增加而增加，不仅可进行实时的在线学习，还可随环境的 改变而进行动态的学习，具有良好的自适应性。 根据相似度函数的对称性，a r t 模型一般分为两类：一类属传统a r t 型，其相似度函数是非对称的；另一类为s a r t ( s i m p l i f i e da r t ) 型，其相似 度函数是对称的。由于两类模型的简单学习规则和动态在线学习特性使其获得 了广泛的应用。但其关键的权重调整仅考虑了学习率及输入模式与竞争获胜神 c o e f f m i e n t g r c ) 刻画和突出了这种关系，并显式地将其引入到传统a r t 和 s a r t 模型的学习规则中，从而构建了一族灰色a r t ( g r e y a r t g a r t ) 和灰 色s a r t ( g s a r t ) 模型。所谓一族是指模型的学习规则中的灰色关联函数是 一个函数族，包括多项式、指数、正切函数。在对g r c 的进一步分析发现它仍 忽略了输入模式与所有参与竞争的神经元权重间的整体描述特性。本文通过在 g r c 中加入该整体特性，相应构建了另一族改进的g a r t ( i m p r o v e dg a r t i g a r t ) 和改进的g s 触盯( i g s a r t ) 模型。最后，在i r i s 和w i n e 数据集上的 实验证实了两族模型的有效性和可行性。 关键词：神经网络；移! 星塑别；自适查遣坛理论；灰色关联系数；灰色关联函 数；整体特性；聚类；无监督学习 一 一一_ _ _ _ _ 一一 灰色自适应i 皆振理沦及其肚能评估 a b s t r a c t i ng e n e r a l ，t h el e a r n i n gm e t h o d so fn e u r a ln e t w o r k sh a v et h r e et y p e s ，t h a ti s ， s u p e r v i s e dl e a r n i n g ，u n s u p e r v i s e dl e a r n i n g ，a n dr e i n f o r c e m e n tl e a r n i n g t h e a d a p t i v e r e s o n a n c et h e o r yf a r t ) p r o p o s e d b ys g r o s s b e r ga n dg ac a r p e n t e r i sa n i m p o r t a n tc l a s so fc o m p e t i t i v en e u r a ln e t w o r km o d e lu s i n gu n s u p e r v i s e dl e a r n i n g i t h a sm e m o r ym o d es i m i l a rt oh u m a n a n di t ss t o r a g ec a p a c i t yc a ni n c r e a s ew i t ht h e a d d i t i o no f l e a r n i n gp a t t e r n sm o r e o v e r ，t h i sm o d e l c a n p e r f o r m o n l i n el e a r n i n g ，i s s u i t a b l et od y n a m i c a le n v i r o n m e n t sa n dh a sg o o da d a p t i o n a c c o r d i n gt ot h es y m r n e t r yo f t h es i m i l a r i t yf u n c t i o n su s e di na r t ，t h ea r tc a n b ed i v i d e di n t ot w oc l a s s e s 0 n ec l a s si st h et r a d i t i o n a la r t a n dt h eo t h e ri st h e s i m p l i f i e da r t ( s a r t ) t h es i m i l a r i t yf u n c t i o no f t h ef o r m e ri sa s y m m e t f i c a i f u n c t i o n b u tt h a to f t h el a t t e ri ss y m m e t r i c a lf u n c t i o n t h e s et w oa r t sh a v eo b t a i n e d b r o a da p p l i c a t i o n sd u et ob o t ht h e i rs i m p l el e a r n i n gr u l e sa n dd y n a m i c a lo n l i n e l e a m i n gb e h a v i o r s b u tt h e i rp i v o t a lw e i g h ta d j u s t m e n t sa r ed e t e r m i n e do n l yb y t h e i r l e a r n i n gr a t e sa n d t h ed i f i e r e n c e sb e t w e e nt h ei n p u tp a t t e r n sa n dt h ew i n n e rn e u r o n s w e i g h t s i ts e e m st h a tt h et r a d i t i o n a la r ta n ds a r t i g n o r es o m e ( i m p l i c i t ) c o r r e l a t i v er e l a t i o n s h i p sd u r i n gt h el e a r n i n g ，w h i c h a c t u a l l ye x i s tb e t w e e n t h ei n p u t p a t t e r n sa n d t h ew e i g h t so f a l lt h eo t h e rn o d e st h a tp a r t i c i p a t ei nc o m p e t i t i o n i nt h i s p a p e r ，t h ed e n g sg r e y r e l a t i o n a lc o e f f i c i e n t s ( g r c s ) ，w h i c hc h a r a c t e r i z ea n ds t r e s s t h ea f c l r e m e n t i o n e dc o r r e l a t i o nr e l a t i o n s h i p s a r ee x p l i c i t l yi n t r o d u c e di n t ot h e l e a r n i n gr u l e so f t h et r a d i t i o n a la r t a n ds a r t s u c hc o m b i n a t i o n sp r o d u c ea f a m i l y o f g r e ya r t ，n a m e l yg a r t ，a n dg r e ys a r t ，f o rs h o r tg s a r tt h ef a m i l yo f t h e g r e yr e l a t i o n a lf u n c t i o n s i nt h em o d e l s l e a r n i n gr u l e si n c l u d e s p o l y n o m i a l ， e x p o n e n t i a l ，a n dt a n g e n t i a lf u n c t i o n sb y m o r e a n a l y s e s ，w ef o u n d t h a tt h ea b o v e d e f t n e dg r c s n e g l e c tt h e w h o l ec h a r a c t e r i s t i c sb e t w e e nt h e i n p u tp a t t e r n sa n d w e i g h t sa n df u r t h e ri n d u c ea n o t h e rg r c sc o n t a i n i n gt h ew h o l ec h a r a c t e r i s t i c ss oa n e w f a m i l yo f i m p r o v e dg a r t ，f o rs h o r ti g a r t ，a n di m p r o v e dg s a r t ，n a m e l y i g s a r t ，i sd e r i v e df i n a l l y ，t h ee x p e r i m e n t so nt h ei r i sa n dw i n eb e n c h m a r kd a t a s e t c o n f i r mt h ev a l i d i t i e sa n df e a s i b i l i t i e so ft h ea b o v et w of a m i l i e sm o d e l s o v e rt h o s eo f t h et r a d i t i o n a la r ta n ds a r t k e y w o r d s ：n e u r a ln e t w o r k ；p a t t e r nr e c o g n i t i o n ；a d a p t i v er e s o n a n c et h e o r y ( a r t ) g r e yr e l a t i o nc o e f f i c i e n t ( g r c ) ；g r e yr e l a t i o nf u n c t i o n ；w h o l ec h a r a c t e r i s t i c ； c l u s t e r i n g ；u n s u p e r v i s e dl e a r n i n g 恣哀航空簸天炎学赣主掌链沦爻 图表索写 醋2 t ：竞争学习稿舀稳枕毒4 示意踅6 懑2 。2 ：a r t 穰鳘熬分类，9 蕊2 - 3 ：传统a r t 斡萋本框架9 豳2 。4 ：s 越姆的基本梃絮1 1 嚣4 + l ：多项式函数2 2 图4 - 2 ：指数酌数2 2 图4 ，3 ：芷留遗数，2 3 鹜4 - 4 ；i r i s 数攘集戆u 铤薄及鬻有类剐稼弩豹s o m 浚袈窝2 4 爨s ：i r i s 数掇集懿三缎u 蹩终一2 4 表4 + i ：a r t 模型在i r i s 数据黛上的实验结聚2 5 图4 - 6 ：三组a r t 模型援i r i s 数据集上豹平均错分数敷平均错分察一2 6 豳4 。7 ：w i n e 数据集躲u 矩阵授带寄类男4 标母鹣s o m 浃射圈2 7 霜4 8 ：w i n e 数器集豹三维毯短终；2 7 表4 0 ：a r t 缓鍪 在w i n e 数攥集上鹤实羧魏聚，2 8 阉4 ，9 ：三组a r t 模型谯w i n e 数据集上的平均错分数军口平均镄分率2 9 袭5 1 ：s a r t 模垄褒i r i s 数据鬃上豹实验鼹聚3 l 图5 - 1 ；三组s a r t 模型谯i r i s 数据榘上的甲均错分数朔平均锩分率3 2 表5 2 ：s a r t 模型在w i n e 数据集上豁安验绉慕3 3 鼹5 - 2 ：三缓s a r t 壤鬣在w i n e 数据纂上翡警筠罐努鼗努平麓镪分攀3 3 南京航空航天大学硕士学位论文 第一章绪论 1 1 人工神经网络的发展历程及其特点 所谓人工神经网络是指为了模拟生物大脑的结构和功能而构成的一种信息处理 系统或计算机【2 9 1 。通常所说的神经网络郎指人工神经网络。神经网络的发展历程经 历了三个时期： 第一个时期从神经网络兴起到2 0 世纪6 0 年代。神经网络的兴起应追溯到2 0 世 纪4 0 年代。1 9 4 3 年心理学家ws m c c u l l o c h 和数理逻辑学家w p i t t s 在分析、总结 神经元基本特性的基础上提出了神经元的数学模型( m - p 模型) 【2 9 翔l 。4 0 年代末 doh e b b i a n 从心理学的角度提出了种神经网络学习算法，称为h e b b i a n 学习规 则2 9 ，l 。5 0 年代宋fr o s e n b l a t t 设计和制作了著名的感知机模型( p e r c e p t r o n ) ，它 是一种多层神经网络模型 2 9 , 3 0 1 。6 0 年代初期w i d r o w 提出了主要适用于自适应系统 的自适应线性元件网络，简称为a d a l i n e ( a d a p t i v e l i n e a rd e m e n t ) 【2 9 ，3 0 l 。 第二个时期从2 0 世纪6 0 年代末到7 0 年代末。由于当时j o h n v o n n e u m a r m ( 冯诺依曼) 式数字计算机的发展处于全盛时期，电子技术工艺水平比较落后的 原因，尤其是m i n s k y 和p a p e r t 于1 9 6 9 年出版了一本感知机专著，书中论证了简单 的线性感知机功能有限，不能解决如“异或( x o r ) ”等基本问题，而且指出多层 网络还不能找到有效的计算方法，这些论点使得对神经网络的研究陷入了低谷【3 0 1 。 但在荚、日等国仍有少数学者继续着神经网络模型和学习算法的研究，提出了许多 有意义的理论和方法：如a r b i b 的竞争模型、1 9 7 7 年k o h o n e n 提出的自组织映射模 型、s g r o s s b e r g 的自适应谐振模型、f u k u s h i m a 的新认知机等【2 9 】。 第三个时期从2 0 世纪8 0 年代初至今。1 9 8 2 年美国物理学家j h o p f i e l d 提出了 h o p f i e l d 神经网络模型，根据网络的非线性微分方程，引入了能量函数( 1 y a p u n o v 函数) 的概念。1 9 8 4 年他用此模型成功地解决了复杂度为n p 的“旅行商最优路 径”( t s p ) 问题 2 9 , 3 0 1 。这些成果使神经网络的研究进入了一个新的热潮。1 9 8 6 年 r u m e l h a r t 和m c c l e l l a n d 提出了多层网络的“逆推”学习算法，简称b p ( b a c k p r o p a g a t i o n ) 算法p o 。1 9 8 7 年6 月在美国加州举行了第一届神经网络国际会议，并 成立了国际神经网络学会1 2 9 1 。1 9 9 0 年我国的8 6 3 高技术研究计划批准了关于人工神 经网络的三项课题p 9 1 。 目前神经网络得到了广泛的应用，既有民用领域的应用，如：语音识别、图像 识别、计算机视觉、实时语言翻译、市场分析、决策优化、自适应控制、专家系统 等，也有军事领域的应用，如：雷达和声纳的多目标识别与跟踪、战场管理、导弹 灰色自适应谐振理论技i i 肚能评估 的智能引导、航天器的姿态控制等口。神经网络之所以在许多领域被广泛应用，与 其特点密切相关。与冯诺依曼式计算机相比，神经网络具有如下特点： 大规模并行处理【3 0 , 3 1 , 3 2 人脑神经元之间传递脉冲信号的速度远低于冯诺依曼式计算机的工作速度， 但由于人脑是一个大规模并行与串行组合处理系统，因而可以作出快速判断、决策 和处理，其速度远高于串行结构的冯诺依曼式计算机。神经网络具有并行处理的 特征，大大提高了工作速度。 非线性处理 3 0 ，3 2 】 神经网路的每个神经元接受大量其它神经元的输入，通过非线性输入输出关 系，产生输出，进一步影响其它神经元，实现了从输入状态空间到输出状态空间的 非线性映射。 自组织及自适应性p o , 3 z , 3 2 j 神经网络具有初步的自组织与自适应能力，能够在学习过程中自适应地发现蕴 含在样本数据中的内在特性及规律性。同神经网络因学习方式及内容的不同可具 有不同的功能。而冯诺依曼式计算机强调程序的编写，系统的功能取决于程序给 出的知识和能力。 分布式存储，存储与计算相结合 3 0 , 3 1 , 3 2 1 人脑存储信息的特点是利用突触效能的变化来调整存储内容，也即信息储存在 神经元之间连接强度的分布上，存储区与运算区合为一体。而冯诺依曼式计算机 具有相互独立的存储器和运算器，知识存储与数据运算互不相关，只有通过人的编 程给出指令使之沟通。 联想能力p i , 3 2 】 人脑具有很强的“容错性”和联想记忆功能。另外，人脑每日有大量的细胞死 亡，但并不影响大脑功能。而对于冯诺依曼式计算机来说，情况完全不同，元件 的局部损坏、程序中的微小错误，都可引起严重后果，表现出极大的脆软性。 1 2 神经网络的结构和学习方法分类 由于分类标准的不同，神经网络有多种分类方法。按照神经元互连模式的不 同，神经网络通常分为二种典型的网络结构： 前向网络( 前馈网络) 【3 0 1 f 碍络可划分为若干“层”，各层依次排列，通常情况下，第i 层的神经元只接受 第( i - 1 ) 层神经元给出的信号，各神经元之间没有反馈。第一节点层与输出节点 层统称为“可见层”，而其它中间层则成为“隐含层”( h i d d e nl a y e r ) ，这些神经 元称为隐单元。 反馈网络口o 】 南京航空航天大学硕士学位论文 反馈网络与前向网络的重要区别在于反馈网络至少有个反馈连接。反馈连接 既可以是异反馈( 一个神经元的输出反馈到其它神经元作为输入) ，也可以是自反 馈( 一个神经元的输出反馈到自身而作为其输入) 。同时网络中还可以有计算功能 的隐神经元。 神经网络的主要任务就是对外部世界进行建模，并通过学习使模型与外部环境 充分一致从而达到完成特定应用的目的。学习的实质就是使神经元之间的权重随外 部激励( 环境) 作自适应变化。网络的基本学习方法有： 误差矫正学习1 3 0 , 3 3 】 误差矫正学习是指当神经网络的实际输出与目标输出产生误差时，利用误差信 号来矫正调整神经元之间的连接权重，通过这样一个迭代序列矫正过程，使得神经 网络的输出一步步的接近理想的期望输出。这可以通过最小化代价函数或性能指标 来实现，代价函数般定义为信号误差的平方。误差矫正学习通常也称为w i d r o w h o f f 规则、a d a l i n e 规则或6 规则。前向网络通常采用误差矫正学习方法。 h e b b i a a 学习 3 0 , 3 3 这是由doh e b b i a n 在2 0 世纪4 0 年代末提出的一种神经网络学习规则。他认 为，如果源和目的神经元均被激活时，它们之间突触的强度应该增强。在神经网络 中，h e b b i a n 学习规则可简单描述为：如果一个神经元从另一神经元接受输入激励信 号，并且两者均处于高激励电平( 数学上就是两者的符号相同) 时，则这两个神经 元之间的权重就应当增强。 竞争学习。唧】 竞争学习是指在训练过程中，所有神经元均参与彼此间的竞争，竞争过程按照 “胜者为王”( w i n n e r - t a k e a 1 1 ) 的竞争抉择算法，即竞争结束后，只有获胜的神经元 输出为l ，指示此次输入模式所属类别，并对与其相连的权重进行相应的调整；而 所有其它未获胜的神经元的输出为0 ，与这些神经元相连的权重保持不变。 随机学习】 随机学习规则是利用随机过程、概率和能量关系来调节连接权重。其基本思想 是：在随机训练过程中，随机改变权重，确定权重改变后产生的最终能量，并按 下列准则来确定是否保留此权重的变化：如果网络能量降低了，则保留这变化： 如果能量并没有降低，则根据一预选的概率分布来保留这一改变；否则拒绝这一改 变，使权重恢复到原来的值。 基于存储器的学习口” 在基于存储器的学习中，所有用来训练网络的输入输出映射以及实现这个目标 映射的相关先验数据都需要存储在存储器中。基于存储器的学习包含基本的两部 分：测试模式数据的局部近邻的定义和应用于此训练模式的学习规则。最近邻规 则、k 一近邻规则是典型的基于存储器的学习规则。 灰包臼适应谐振理沦及其性能评估 不同的网络结构使用不同的学习方法可以获得各种神经网络模型以完成不同的 任务。比如前向网络通过误差矫正学习可得到感知器；荤层反馈网络的h e b b i a n 学 习得到著名的h o p f i e l d 网络、双层反馈网络的h e b b i a n 学 - 3 可得到双向联想记忆网 络( b a m ) 等等。 1 3 本文的研究内容 神经网络的学习方式通常可分为三种。种是有监督( s u p e r v i s e d ) 或称有导师 的学习。待分类的模式类别属性已知，对于每次输入的模式，神经网络输出端都有 一个对应的监督信号与其属性相匹配，大部分有监督学习算法都能将多维空间误差 减至最小。一种是无监督( u n s u p e r v i s e d ) 或称无导师的学习。待分类的模式类别属 性未知，神经网络结构和连接权重根据某种聚类法则，自动对周围环境的模式进行 学习调整，直至神经网络的结构和连接分布能合理地反映训练模式的统计分布，无 监督学习常用于聚类问题p 。第三种是强化学习( r e i n f o r c e m e n t ) 或称再励学习。 它的学习原则很简单：如果学习者的某个决策行为导致来自外部的评价信号的改 善，那么以后产生的趋势便加强d t l 。本文所研究的自适应谐振理论( a d a p t i v e r e s o n a n c et h e o r y - a r t ) 【l 】就是一种采用无监督学习的神经网络。 迄今在a r t 模型基础上发展出了a r t l ，i a r t i ，a r t 2 ，a r t 3 ，f a r t ， s a r t ，a r t m a p 和f a k t m a p 等模型。a r t l 模型能自稳定地学习并分类任意顺 序的二值输入模式串，但对输入模式的顺序很敏感【8 】o 这导致了改进的a r t l ( i m p r o v e da i 王t i - i a r t i ) 模型的提出，它对于输入模式串的顺序的依赖性远比 a r t l 模型小pj 。a r t 2 模型能自稳定地学习并分类任意顺序的模拟或二值输入模式 串，但它在参数选择上要花费昂贵的计算代价口o 】。a r t 3 模型建立在a r t 2 模型基 础上并由多个a r t 2 模型通过多种级联结构联接而成。通过多层网络结构，a r t 3 模型能实现分布式识别中的并行搜索或假设检验【”。将模糊集理论引入a r t l 模型 而提出的模糊a r t ( f u s s ya r t - f a r t ) 模型能自稳定地学习并分类任意顺序的模 拟或二值输入模式串，并解决了a r t 2 模型的计算代价问题，但对输入模式顺序的 敏感性仍困扰着f a r t 模型【l “。一种简化的a r t ( s i m p l i f i e da r t s a r t ) 模型综 合了f a r t 模型和其它一些成功的聚类算法的特点，比如s e l f - o r g a n i z i n gm a p ( s o m ) 【j 4 4 刮和n e u r a lg a s ( n g ) j i l l a r t m a p 模型实现了某种映射关系，能自 稳定的将m 维输入矢量快速映射成n 维输出矢量p 4 1 。模糊a k t m a p ( f u s s v a r t m a p f a r t m a p ) 模型是a r t m a p 模型进一步的推广，它能自稳定地实现模 拟或二值输入、输出矢量间的映射1 。 各种改进和推广使a r t 模型的学习性能和分类性能不断提高，对数据的表达能 力得以迸一步增强，适用范围不断扩大。传统a r t 模型的特点是学习规则简单，但 仍体现了生物学上的学习特性。它在权重调整时，仅考虑了学习率及输入模式与竞 南京航空航天大学硕士学位论文 争获胜的神经元权重之间的关系。然而这种学习规则忽略了输入模式与所有参与竞 争的神经元权重之间实际存在的某种相关关系。jld e n g 的灰色系统理论1 3 l 恰好提 供了描述这种隐关系的手段。为此可在学习规则中考虑这种输入模式与所有参与竞 争的神经元权重之间的灰色关联。这种关联可称为灰色关联系数。本文利用文献 f 2 ，2 6 ，2 7 的灰色关联系数引入思想，构建了相应的灰色a r t 模型( g r e y a r t g a r t ) 。并在此基础上，进一步对灰色关联系数进行了改进，发展出改进的 g a r t 模型( i m p r o v e dg a r t i g a r t ) 。 相似度函数的定义在a r t 模型的学习中是非常关键的，在很大程度上决定了 a r t 模型的性能。根据a r t 模型中的相似度函数的对称性，可以将a r t 模型分为 两类 2 3 , 2 4 i ：第一类如a r t l ，i a r t l ，a r t 2 ，f a r t 等，它们的相似度函数均是非 对称的；第二类如s a r t 等，其相似度函数是对称的。因此除了研究第一类模型 外，还应该研究第二类模型。传统a r t 模型的相似度函数均为非对称函数，因此除 了研究传统a r t 模型外，还应研究相似度函数为对称函数的s a r t 模型。与将灰色 关联系数引入到传统a r t 模型中相对应，也可以将其引入到s a r t 模型中，同样可 以构建相应的灰色s a r t 模型( g r e ys a r t g s a r t ) 和改进的g s a r t 模型 ( i m p r o v e dg s a r t i g s a r t ) 。 本文各章的内容安排如下： 第一章共分三节，首先在第一节介绍了神经网络的发展历程及其特点，第二节 接着介绍了神经网络的结构和学习方法分类，最后在第三节介绍了本文的研究内 容。 第二章共分四节，第一节首先介绍了a r t 模型的竞争学习机制和自稳学习机 制，接着在第二节介绍了a r t 模型的一种分类方法，即根据相似度函数是否为对称 函数而将a r t 模型分为传统a r t 和s a r t 模型，然后在第三节和第四节分别对传 统a r t 和s a r t 模型进行了详细的描述。 第三章共分三节，第一节首先介绍了灰色系统的概念及其主要内容，第二节接 着介绍了灰色关联系数，第三节在第二节的基础上提出了改进的灰色关联系数。 第四章共分四节，首先在第一节通过灰色关联系数的引入提出了灰色a r t 模 型，接着在第二节相应地通过改进的灰色关联系数的引入提出了改进的g a r t 模 型，然后在第三节详细分析了该如何选取灰色关联函数，最后在第四节通过i r i s 和 w i n e 数据集上的试验对g a r t 和i g a r t 模型的性能进行了评估。 第五章共分四节，首先在第一节提出了灰色s a r t 模型，接着在第二节提出了 改进的g s a r t 模型，然后在第三节通过i r i s 和w i n e 数据集上的试验对g s a r t 和 i g s a r t 模型的性能进行了评估。 第六章首先简单回顾了一下本文的研究工作，接着对以后有待进行的研究工作 作了进一步的展望。 灰色白适应谐振理沦及其肚能评估 第二章a r t 及其相关模型 自适应谐振理论【1 l 是由sg r o s s b e r g 和gac a r p e n t e r 等人提出的，它是一种采 用无监督学习的竞争型神经网络模型，其记忆方式与生物记忆形式类似，记忆容量 可随学习模式的增加而增加，不仅可进行实时的在线学习，还可随环境的改变而进 行动态的学习，具有良好的自适应性能。此外由于匹配警戒门限的引入，使a r t 模 型避免了一般模型所遇到的“稳定性一弹性”的两难困境。所谓稳定性是指一个模型 能保持对不相关输入模式的稳定记忆的能力；而弹性是指个模型能持续学习新的 模式的能力 7 1 。已有的模式识别模型一般较难同时保持好的稳定性和弹性，即当一 个模型完成学习后，模型的参数已经固定而不能再修改，当学习新的模式时，必须 重新修正参数或权重才能尽可能完全地记忆并回忆该新的模式和已经学习过的模 式，最大限度地避免已经学习过的模式的遗忘。a r t 模型的重要特点是：它能在不 遗忘已经学习过的模式的前提下自适应地和动态地学习新的模式，能同时具有良好 的稳定性和弹性。 2 1 竞争学习机制和自稳学习机制 由顶向下 自稳机制 y 。y 。 y “一， 图2 - 1 ：竞争学习和自稳机制示意图 竞争学习的原理如图2 - l 【3 0 1 所示，假设输入观察矢量是一个n 维二进制矢量 一，= x 。五x 。】，它的各个分量只能取0 或1 。系统的输出是一个m 维二进制 矢量y ，r = 【y 。y ) 0 一。】，它的各个分量也只能取值为0 或1 。系统可分成如下三 层：f ：和f 分别称为上、下短期记忆层，简记为s t m ( s h o r t t i m em e m o r y ) ； m 似 撇 譬 l s 一、i_、) 南京航空航天大学硕：e 学 立论文 ，：和f 。之间是个长期记忆层 功能描述如下： f 层( s t m ) f 层的输入是观察矢量x ， s 可表示如下： j l 一 兰一 一 豁】”2 勘j = o 】“2 ，= o 。 。 简记为l t m ( l o n g t i m em e m o r y ) 。各层的运算 输出是维矢量s ，s = 【s 。s a n _ l l 。s 的各个分量 ( 2 1 ) 其中j = 0 ( 一1 ) 。由2 - l 式易知矢量s 的模为l ，这就是说f 层的作用是对输 入观察矢量进行规格化。 f 。和f ：之间的中层( l t m ) 这层的作用是由矢量s 计算出一个m 维矢量丁，t ：【厶”o 一。1 。t 的各分量表示 如下： t ，= w 。s ， ( 2 2 ) 产0 其中i = 0 一1 ) ，w 。表示f ，层的第，个神经元到f ：层的第i 个神经元之间的 由底向上的连接权重。由于权重w 。的变化相对于f 。n n n l s 和f ：层的矢量r 丽 言缓慢得多，所以这层被称为长期记忆层。 f ：层( s t m ) f ，层的作用是由矢量r 计算输出矢量r ，其计算公式如下： 若铲m “珏则胪话羞 ( 2 _ 3 ) 在输出层f ：进行的是种“胜者为王”的竞争抉择运算：即在“一。2 0 0 ， 只有一个最大的分量，其对应的输出定为l ，而所有其它分量的对应输出皆定为0 。 由底向上的权值调整 每送进一个输入观察矢量( r ) ，就可以算出相应的输出矢量y ( f ) ，随即进行权重 调整。权重的调整公式如下： w 。o + 1 ) = w 。o ) + 。o 埯，o ) 一w 。o ) 堍o ) ( 2 - 4 ) 其中i = o 似一1 ) ，= o ( 一1 ) ，a 0 ) 是学习率，f 为迭代次数。由于在 y 。o ) y m 一。0 ) 之中只有一项等于1 而其它各项皆为0 ，因而只有与该非零项相对应的 权重才做调整，即只改变与竞争得胜的神经元相连的各个权重，而所有其它神经元 的权重皆维持不变。对于竞争得胜的神经元，与其相连的各权重的调整策略是使各 w 。o ) ( c 为竞争得胜者的编号) 与规格化输入矢量s o ) 的各分量s ( r ) 趋于一致。 灰色自适应谐振理论及其肚能评估 由于简单的竞争学习机制不能保证记忆具有足够的牢固性，因此需要引入个 由顶向下的自稳学习机制。首先由输出矢量r o ) 产生一个由顶向下的矢量z 0 ) ， z ( f ) = i z 。o ) z o ) z 。( f ) 】，各分量z j ( f ) 可表示如下： ：，0 ) = w j 。o ) y o ) ( 2 5 ) 其中j = o ( 一1 ) ，w ，( f ) 表示f ：层的第i 个神经元到f 。层的第，个神经元之间 的由顶向下的连接权重。由于诸y ，t ) 中只有y 。) 为l ，其它均为0 ，所以上式可进 一步简化为： z ，o ) = w j 0 ) ( 2 6 ) 其中，= 0 ( 一1 ) ，由顶向下的权薰w 。o ) 是在前f 次迭代学习中记忆下来的。设 由顶向下的第c 个权重矢量为渺：o ) ，矽：o ) = 【w ：。0 ) w ：。o ) w j 。彻，由2 - 6 式可知： z ( f ) = w 。o ) ( 2 7 ) 当两个空间矢量的模对于衡量它们的相似度无关紧要时，则它们的相似度可以 用它们之间的夹角大小来衡量。否则可以用它们之间的欧氏距离大小来衡量。因此 s 0 ) 与z ( o 之间的相似度可用如下两种定义： 一s ) z ( f ) 7 圹瓜厕 7 7 ：爿s 0 ) 一z o ) i ( 2 - 8 ) ( 2 9 ) 如果s o ) 与z e ) 之间的相似度足够高，即7 7 值很接近l ( 或卵，值很接近o ) ，则 对竞争得胜的神经元的由底向上和由项向下的权重进行调整。设c 为竞争得胜的神 经元的编号，则权重的调整公式如下： f w e , 燃2 铵+ 储一燃嗯 ( 2 1 0 ) 1 w j , ( f + 1 ) = 以+ 卢o ) b ，o ) 一w ，0 ) “” 其中，= 0 ( v 1 ) ，0 ) 是学习率。 如果s e ) 与z e ) 之间的相似度不够高，即卵低于某个阀值( 或? 7 高于某个阀 值) ，应立即摒弃第一次得胜的神经元c ，再在余下的神经元中重新开始竞争选 择，这样一个一个找下去。如果都搜遍了，仍找不到足够相似者，则应新开辟一个 输出端作为新的一类。 2 2 a r t 模型的分类 相似度函数在a r t 模型中起到了非常重要的作用，在很大程度上决定了a r t 模型的性能。如上一节2 _ 8 式和2 9 式定义的矾和7 7 ，都是对称的。根据a r t 模型中 的相似度函数的对称性，可以将a r t 模型分为两个大类，如图2 2 2 3 ； 南京航空航天大学硕士学位论文 图2 2 ：a k t 模型的分类 第一类为基于a r t l 的模型集，也可称为传统a r t 模型集，如a r t ! ， a r t l ，a r t 2 ，f a k t 等，它们的相似度函数是非对称的；第二类为s a k t 模型 集，其相似度函数是对称的【2 3 1 。接下来的两节将对传统a r t 和s a r t 模型作详细 的描述。 2 3 传统a r t 模型 传统a r t 模型的基本框架如图2 3 所示，主要由输入比较层( 7 , ) 、识别 层( f ：) 、匹配警戒门限p ，再加上由底向上与由顶向下的闭环反馈网组成【4 j “。 图2 - 3 ：传统a r t 的基本框架 2 3 1 定义 相似度函数 特征空间丹中的任意两个模式z 与r 之间的相似度函数可以定义为如下的映射 关系【4 ，2 3 “t ： 厨口，r ) ：f s x f s - o ，1 1 ( 2 1 i ) 荻邑自适应谐振理论及其性能评估 一一一 面“，y ) 为模式与y 之间的相似性度量，由2 - 1 1 式可知0 m 口，y ) l ， v 一，r 。f s ，百似，) 越接近l ，说明一与y 之间的相似度越高；且面是一个非对称函 数，即m ，r ) 吖( y ，) ，v ，r f s 。 激励函数( 或称选择函数) 输入模式r 对由底向上的神经元k 的权重。的激励函数可以定义如下4 2 3 1 ： f 。= 万口，w 。) 其中七0m1 ，m 为模式类别数。 ( 2 1 2 ) 并且万为满足2 n 式定义的衙函数，即 a f 也是一个非对称函数。 匹配函数 由顶向下的神经元c 的权重缈j ( c 为竞争得胜的神经元的编号) 与输入模式x 之间的匹配函数可以定义如下【4 , 2 3 , 2 4 ： 面痧。，) ( 2 1 3 ) 菥同样为满足2 1 1 式定义的面函数，即面寻也是一个非对称函数。 2 3 2 识别层 识别层f t 的神经元数目至少应等于最大模式类别数，每个神经元在某个工作状 态中对应一个模式类别。识别层采用“胜者为王”的竞争抉择算法，其公式为h ，3 0 1 ： c k = o , t , m - , , m a x - i 弦口，w 她a r 。g m a x 晋 协 其中c 为竞争获胜的神经元，m 为模式类别数。由2 - 1 4 式可知，输入模式x 对 由底向上的神经元t 的权重。的激励函数为： 万伍帆) ：；簪 ( 2 - 1 5 ) 由2 - 1 5 式可知，j 为满足2 1 l 式定义的面函数，即j i 是一个非对称函数， 也即万似，矿。) ；否谚。，z ) 。 2 3 3 输入比较层 输入比较层f - 主要计算由顶向下的竞争得胜的神经元的权重形：( c 为竞争 获胜的神经元的编号) 与输入模式之间的匹配度。匹配函数的定义如下i t 3 0 】： 面眵，j ) ：警 ( 2 _ 1 6 ) 由2 - 1 6 式可知，历；同样是满足2 - 11 式定义的函函数，即j 矛是一个非对称函 数，也即而匆：，爿) t 丽0 ，j 。 南京航空航天大学硕士学位论文 2 3 。4 匹配警戒门限 匹配警戒门限p 的选择在传统a r t 模型中是非常关键的。若允许p 很小，则把 许多有差异的模式归为类或分为少数几类，即分类过粗；若p 取得过大，则稍有 不同的模式，或稍有小变形的同一模式都被判为不同类别，即分类过细。总而言 之，p 对模式噪声或干扰很敏感。目前对于p 的选择还没有很好的解决方案，通常 部是通过多次试验的经验获得。 2 3 5 权重调整 由底向上的权矩阵和由顶向下的权矩阵在传统a r t 模型中起着核心作 用。在学 - 1 过程中，权向量从初值逐渐达到与输入模式x 相同或成正比例的值。传 统a r t 模型的权重调整公式如下1 4 , 3 0 1 ： w 。o + - ) = f 讫l j + 卢。1 x ，。一w p o 。 ：i ：； ( 2 1 7 ) w ，o + 1 ) ： w t ! f ? + 口似为( f ) 一肌铆( a c ) ( 2 1 8 ) 1 w p j ( f c ) 其中o ) ( o s 1 ) 是学习率，f 为迭代次数，i = o ，l ，m l ，m 为模式类别数， j2 0 , 1 ，n 一1 ，n 为输入模式的维数，w 。e ) 表示f 。层的第个神经元到f ：层的 第一个神经元之间的连接权重，w ，。o ) 表示f ：层的第f 个神经元到f 。层的第个神经 元之间的连接权重。 2 , 4s a r t 模型 s a k t 模型的基本框架与传统a r t 模型的相似，如图2 - 4 所示。也主要由输入 比较层( f 。) 、识别层( f ：) 、匹配警戒门限p ，再加上由底向上与由顶向下 的闭环反馈网组成【4 】。 图2 4 ：s a r t 的基本框架 灰包自适应谐振理论及妓肚能评估 2 4 1 定义 相似度函数 特征空间f s 中的任意两个模式与y 之间的相似度函数可以定义为如下的映射 关系【4 2 32 4 1 ： m ，r ) ：f s f s +