（控制科学与工程专业论文）基于记忆强度的art2神经网络的应用研究.pdf

1 n、笺，_1 r，霉t 嬲溯型 学位论文数据集 中图分类号 t p l8 3 学科分类号 1 2 0 3 0 2 0 论文编号 1 0 0 1 0 2 0 1 l1 3 7 8密级公开 学位授予单位代码 1 0 0 1 0 学位授予单位名称北京化工大学 作者姓名 叶晓明学号 2 0 0 8 0 0 13 7 8 获学位专业名称 控制科学与工程获学位专业代码 0 8 1 1 北京市属高等学校人才 课题来源 强教计划资助项目 研究方向 图像处理与模式识别 论文题目基于记忆强度的a r t 2 神经网络的应用研究 a r t 2 ，神经网络，人脸识别， 关键词 特征提取，主成分分析，记忆强度，记忆一遗忘机制 论文答辩日期宰论文类型 应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 l 指导教师林小竹教授北京石油化工学院图像处理与模式识别 评阅人1朱群雄教授北京化工大学智能系统工程 评阅人2李夏青教授北京石油化工学院状态监测与诊断 评阅人3 评阅人4 评阅人5 答辩委员会主席朱群雄教授北京化工大学智能系统工程 l 答辩委员1 刘建东教授北京石油化工学院信息隐藏和混沌密码 答辩委员2张晓明教授北京石油化工学院网络与信息安全 答辩委员3 徐华教授 北京石油化工学院三维建模和可视化 答辩委员4李夏青教授北京石油化工学院状态监测与诊断 答辩委员5 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询。 三学科分类号在中华人民共和国国家标准( g b t1 3 7 4 5 9 ) 学科分类与代码中查询。 四论文编号由单位代码和年份及学号的后四位组成。 的应用研究 织神经网络，通过竞争学习 和自稳机制原理实现分类，可以在非平稳的、有干扰的环境中进行无监督 的自学习，其学习过程能迅速识别已学习过的样本，并能迅速适应未学习 过的新对象。该网络是对人脑认知事物的一种模拟。 针对传统的a r t 2 神经网络在对输入模式识别时，会产生模式漂移的 问题，本文修正了传统a r t 2 网络的权值，修正后的网络学习规则将减慢 学习速率，降低模式漂移速度，而且也能对所给对象进行合理的分类。试 验证明，权值修改后的慢速a r t 2 神经网络改善了传统a r t 2 神经网络对渐 变过程的不敏感性。 为了更好地模拟人脑学习和认知功能，本文利用记忆强度作为与 a r t 2 神经网络已有模式进行识别排序的依据，使得改进后的网络从获胜 机制的角度更加接近人脑。在输入新的样本时，新的网络按照记忆强度的 强弱排序并进行比较，会很快找到其属于的模式。试验表明，对频繁出现 的事物进行识别时，引入记忆强度后的a r t 2 神经网络能减少计算量，节 省识别时间，从而提高网络的识别速度。 本文还将引入记忆强度的a r t 2 神经网络应用于人脸识别。在对o r l 数据库中的人脸进行p c a 降维或小波变换降维后，得到的人脸向量作为输 入神经网络的样本，从而对一定量的输入样本进行识别分类。通过对o r l 人脸库的识别和分类进行了模拟，结果表明应用夹角余弦识别准则的 a r t 2 神经网络的识别率均高于用欧几里得距离和街区距离作为准则的 识别率；而且改进后的a r t 2 神经网络比原始的a r t 2 神经网络要节省识 别时间，特别对大样本数据，效率提高尤其明显。引入记忆遗忘机制的 a r t 2 神经网络在学习认知功能上的特色和优势，为其在大样本多模式的 北京化工大学硕i ：学位论文 实际环境中的应用奠定了基础。 关键词：a r t 2 ，神经网络，人脸识别，特征提取，主成分分析，小波变换， 记忆强度，记忆一遗忘机制 i i kw i t hm e m o r y s t r e n g t h n e t w o r kw h i c hi sb a s e do n a d a p t i v e r e s o n a n c e t h e o r y i t c a r r i e so u tt h ec l a s s i f i c a t i o n b yu s i n g c o m p e t i t i v el e a r n i n ga n ds e l f - s t e a d ym e c h a n i s m ，a n dc a nl e a r nb yi t s e l fi n d y n a m i ce n v i r o n m e n tw i t hn o i s ea n dw i t h o u ts u p e r v i s i o n i t sl e a r n i n gp r o c e s s c a nr e c o g n i z el e a r n e dm o d e l sf a s ta n db ea d a p t e dt on e wu n k n o w no b je c t s r a p i d l y t h i sk i n do fn e u r a ln e t w o r kc a ns i m u l a t eh u m a n sb r a i nt or e c o g n i z e t h i n g s w h e nt h et r a d i t i o n a la r t 2n e u r a ln e t w o r kr e c o g n i z e si n p u tp a a e m s ， t h e r ei sap r o b l e mo fp a t t e md r i f t i n ge x i s t e d i no r d e rt os o l v et h a ti s s u e ，t h i s p a p e rg i v e so u ta na l g o r i t h m so fa r t 2b a s e do ns l o ww e i g h tu p d a t er u l e ， w h i c hc a ns l o wd o w nt h el e a r n i n gr a t e ，r e d u c et h es p e e do f p a t t e md r i f t i n gi n c l a s s i f i c a t i o nf o ri n p u tm o d e ，a n dc a nc l a s s i f yo b je c t sr i g h t l y t h er e s u l to f e x p e r i m e n ts h o w st h a tt oac e r t a i ne x t e n tt h ei m p r o v e dn e u r a ln e t w o r ks o l v e s t h ep r o b l e mo fp a t t e r nd r i f t i n g i no r d e rt oi m i t a t et h ec o u r s eo f l e a r n i n ga n dc o g n i z i n gt h i n g sw i t ht h e h u m a nb r a i n b e t t e r , t h i s a r t i c l ei n t r o d u c e dt h eh u m a nb r a i n s m e m o r i z i n g f o r g e t t i n gm e c h a n i s mt o t h ea r t 2n e t w o r k ，t h e nu s e dt h e m e m o r ys t r e n g t ha st h eb a s i so fs e q u e n c ef o rr e c o g n i t i o nw i t he x i s t i n g p a t t e m s ，t h u s t h i sn e t w o r km o d e l w o u l db e i m p r o v e db e t t e r t h r o u g h s i m u l a t i o nf o rr e c o g n i t i o na n dc l a s s i f i c a t i o nw i t he x p e r i m e n t a ls a m p l e s ，w e p r o v et h a tt h ea r t 2n e t w o r kw i t hm e m o r i z i n g f o r g e t t i n gm e c h a n i s mc o u l d r e c o g n i z ee x p e r i m e n t a ls a m p l e sw i t hl e s st i m ei nr e c o g n i t i o nt h a no r i g i n a l a r t 2n e t w o r k ，a n di m p r o v et h ee f f i c i e n c yo fn e t w o r k t h i sp a p e rs t i l la p p l i e dt h ea r t 2n e u r a ln e t w o r kw i t hm e m o r ys t r e n g t h i n t of a c er e c o g n i t i o n a f t e rt h ed i m e n s i o n so ff a c ei m a g e si no r ld a t a b a s e 1 1 1 北京化t 大学硕十学位论文 a r er e d u c e db yu s i n gt h em e t h o do fp c ao rw a v e l e tt r a n s f o r m ，t h ef a c e v e c t o r sw h i c hw eg o ta r es a m p l e sw h i c hw i l lb ei n p u ta r t 2n e u r a ln e t w o r k t h r o u g hs i m u l a t i o nf o rr e c o g n i t i o na n d c l a s s if i c a t i o nw i t ho r lf a c ed a t a b a s e ， w ep r o v et h a tt h er e c o g n i t i o na c c u r a c yo fa r t 2n e u r a ln e t w o r kt h a tu s e st h e r e c o g n i t i o nc r i t e r i a o ft h ea n g l e sc o s i n ei s h i g h e rt h a nt h er e c o g n i t i o n a c c u r a c yo fo t h e rm e t h o d st h a tu s e s t h er e c o g n i t i o nc r i t e r i ao fe u c l i d e a n d i s t a n c eo rb l o c kd i s t a n c e ，a n dt h a tt h ei m p r o v e da r t 2n e u r a ln e t w o r kc o u l d s a v em o r er e c o g n i t i o nt i m et h a no r i g i n a la r t 2n e u r a ln e t w o r k ，e s p e c i a l l yf o r t h el a r g ea m o u n t so fd a t at h ee f f i c i e n c yc a nb ei n c r e a s e do b v i o u s l y t h e f e a t u r e so fc o g n i t i v el e a r n i n gf u n c t i o n o fa r t 2n e u r a ln e t w o r kw i t ht h e h u m a nb r a i n sm e m o r i z i n g - f o r g e t t i n gm e c h a n i s ma r et h ef o u n d a t i o nf o ri t s a p p l i c a t i o ni nt h ea c t u a le n v i r o n m e n tw i t hl a r g em o u n t so fs a m p l e sa n dm a n y p a t t e m s k e yw o r d s ：a r t 2 ，n e u r a ln e t w o r k ，f a c er e c o g n i t i o n ，f e a t u r ee x t r a c t i o n ， p c a ，w a v e l e tt r a n s f o r m ，m e m o r ys t r e n g t h ，m e m o r i z i n g - f o r g e t t i n gm e c h a n i s m 目录 目录 第一章绪论1 1 1引言1 1 2 课题研究背景及意义2 1 3 本文的贡献及内容组织：3 1 3 1 本文的贡献j 3 1 3 2 本文的内容组织4 第二章a r t 2 神经网络的基本结构及工作原理7 2 1自适应谐振体系结构7 2 2a r t l ：二进制输入模型1o 2 3a r t 2 模拟输入模型1 0 2 4a r t 2 网络的设计原则1 5 2 5a r t 2 神经网络的工作原理1 8 2 6 本章小结2 1 第三章a r t 2 改进算法的验证及分析2 3 3 1 慢速权值更新的a r t 2 改进算法2 3 3 1 1 算法步骤2 3 3 1 2 实验模拟研究。2 4 3 2 基于记忆强度的a r t 2 算法2 9 3 2 1艾宾浩斯记忆遗忘曲线2 9 3 2 2 算法步骤3 0 3 2 3实验模拟研究31 3 2 4 实验结果分析3 2 3 3 本章小结3 4 第四章人脸图像的降维方法3 7 4 1 人脸图像的预处理3 7 4 1 1 图像的积分投影方法3 8 4 1 2 人脸轮廓的确定3 8 4 2 主成分分析( p c a ) 方法4 l 4 2 1p c a 算法原理4 l 4 2 2 人脸识别的简单分类准则4 2 4 2 3 实验过程与结果4 2 4 3 小波变换在图像降维中的应用。4 6 4 3 1 二维离散小波变换4 7 4 3 2 基于二维小波变换的人脸图像降维4 8 v 北京化丁人学硕i j 学位论文 4 4 本章小结5 0 第五章基于记忆强度的a r t 2 网络对人脸识别的影响5 l 5 1具有记忆强度的a r t 2 网络对人脸样本的识别率研究5 1 5 2 具有记忆强度的a r t 2 网络对人脸样本的识别速度研究一5 2 5 2 1实验样本一的实验结果与分析5 4 5 2 2 实验样本二和实验样本三的实验结果与分析5 4 5 3 本章小结5 5 第六章总结及展望5 7 6 1 总结5 7 6 2 展望5 8 参考文献5 9 致谢6 3 研究成果及发表的学术论文6 5 作者及导师简介6 7 v i 焉。l-i 1 1 ：z 3 ：； 1 3 2c o n t e n t so f t h et h e s i s 4 c h a p t e r 2t h eb a s i cs t r u c t u r ea n dw o r k i n gp r i n c i p l e 7 2 1s t r u c t u r eo fa d a p t i v er e s o n a n c es y s t e m 7 2 2 a r t l ：b i n a r yi n p u tm o d e l 10 2 3 a r t 2 ：a n a l o gi n p u tm o d e l 10 2 4 d e s i g np r i n c i p l e so f a r t 2n e u r a ln e t w o r k 15 2 5 w o r k i n gp r i n c i p l eo f a r t 2n e u r a ln e t w o r k 18 2 6c o m m e n t s 21 c h a p t e r3v e r i f i c a t i o na n da n a l y s i so fi m p r o v e da r t 2a l g o r i t h m 1 9 3 1a r ta l g o r i t h mb a s e do ns l o ww e i g h tu p d a t er u l e 19 3 1 1 s t e p so f t h ea l g o r i t h m 19 3 1 2 e x p e r i m e n t a ls i m u l a t i o ns t u d i e s 2 0 3 2a r ta l g o r i t h mb a s e do nm e m o r ys t r e n g t h “2 9 3 2 1 t h em e m o r y - f o r g e t t i n gc u r v ea n di t sp r i n c i p l e 2 9 3 2 2 s t e p so f t h ea l g o r i t h m 3 0 3 2 3 e x p e r i m e n t a ls i m u l a t i o ns t u d i e s 2 7 3 2 4 a n a l y s i so f e x p e r i m e n t a lr e s u l t s 2 8 3 3c o m m e n t s 3 4 c h a p t e r 4d i m e n s i o n r e d u c t i o nm e t h o d so ff a c ei a m g e 3 7 4 1p r e t r e a t m e n to ff a c ei a m g e 3 7 4 1 1 i n t e g r a lp r o j e c t i o nm e t h o do fi m a g e 3 8 4 1 2f a c ec o n t o u rd e t e r m i n a t i o nm e t h o d 3 8 4 2p c am e t h o d 3 7 4 2 1p c a a l g o r i t h mt h e o r y 3 7 4 2 2 s i m p l ec l a s s i f i c a t i o ns t a n d a r d so ff a c ef a c er e c o g n i t i o n 3 8 4 2 3 e x p e r i m e n t a lp r o c e s sa n d r e s u l t 3 8 4 3 a p p l yw a v e l e tt r a n s f o r mi n t oi m a g ed i m e n s i o n r e d u c t i o n 4 6 4 3 12 dd i s c r e t ew a v e l e tt r a n s f o r i d 4 7 4 3 2d i m e n s i o n - r e d u c t i o nb a s e do nt w o d i m e n s i o n a lw a v e l e t r a n s f o r m 4 8 4 4c o m m e n t s 5 0 v i i 一! ! 室些三叁堂堡：生堂垡堡兰 一 一一_ _ 一 c h a p t e l 5a p p l y a r t 2w i t hm e m o r ys t r e n g t hi n t of a c er e c o g n i t i o n 4 7 5 1r e a e a r c ho fr e c o g n i t i o nr a t eo f a r t 2 w i t hm e m o r ys t r e n g t h 4 7 5 2r e a e a r c ho fr e c o g n i t i o nt i m eo f a r t 2 w i t hm e m o r ys t r e n g t h 4 8 5 2 1r e s u l t sa n da n a l y s i so fe x p e r i m e n t a l1 4 9 5 2 2 r e s u l t sa n da n a l y s i so fe x p e r i m e n t a l2 & 3 5 0 5 3c o m m e n t s 5 1 c h a p t e r6s u m m a r y a n df u t u r ew o r k 5 7 6 1 s u m m a r y 5 7 6 2 f u t u r ew o r k r e f e r e n c e s a c k n o w l e d g e m e n t s r e s e a r c hp r o d u c t i o na n dp a p e r a u t h o ra n dt u t o r sp r o f d e v 1 i i 5 8 5 9 。6 3 。6 5 6 7 1 1引言 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n ) 也简称为神经网络( n n ) 或称作连接模型( c o n n e c t i o n i s tm o d e l ) ，它是一种模仿动物神经网络行为特征，进行 分布式并行信息处理的算法数学模型【l 。3 1 。2 0 世纪六七十年代，神经计算科学处于休 眠期的时候，许多科研工作者离开了在细胞的水平上模拟脑功能的科学研究领域。然 而，仍然有一些无怨无悔的学者在这一时期继续神经计算科学的工作，其中，g r o s s b e r g 是最为执著的一位。g r o s s b e r g 在神经计算领域中的工作从2 0 世纪6 0 年代早期开始一 直持续到2 0 世纪末。g r o s s b e r g 对于神经计算科学最重要的贡献是自适应谐振理论 ( a d a p t i v er e s o n a n c et h e o r y ，a r t ) 。 通过对生物视觉系统的研究和模拟，g r o s s b e r g 构造了一种称为g r o s s e r 网络的人 工神经系统。g r o s s b e r g 网络是连续时间的竞争自组织网络，具有竞争的运行机制和竞 争的学习机制。g r o s s b e r g 发现，标准的竞争自组织网络的学习机制可能是不稳定的， 新的学习可能侵蚀先前的学习。g r o s s b e r g 将这一问题称为“稳定性与可塑性= 难 ( s t a b i l i t y p l a s t i c i t yd i l e m m a ) 问题。为了解决这一问题，19 7 6 年，g r o s s b e r g 建立了a r t 理论，并把g r o s s b e r g 网络改造为a r t 系统1 4 。7 j 。 自适应谐振理论是一种设计竞争自组织神经计算模型的理论，而基于a r t 理论 设计的神经计算模型称为a r t 系统。所谓“谐振 指系统输入模式与系统某种内在 模式匹配时的状态，犹如系统外部振荡频率与系统固有振荡频率相同时的谐振状态。 a r t 系统试图使每一个输入模式都能与系统某种内在模式匹配，如果系统不存在这种 内在模式，则自组织或自适应地形成或创立这一模式。 自然，a r t 系统与s o m 图一样是一种竞争自组织人工神经网络，具有竞争学习 和非监督学习机制，其自组织机制具有稳定性，习得的知识不会因为新知识的学习而 衰退。有趣的是，从某种意义上说，a r t 系统的自组织机制或a r t 学习是有教师信 号的学习，但与监督学习机制不同，其教师信号不是外部的，而是内在的，是a r t 系统自身自顶向下的习得期待。与s o m 图一样，a r t 系统具有较为充分的神经生理 学基础。a r t 系统源于g r o s s b e r g 模拟生物视觉系统的工作。虽然自适应谐振理论借 用了物理学的概念以阐述生物神经系统中神经信号的运动，然而，物理系统中的谐振 现象在生物神经系统中其实是常见的，是生物神经系统本身固有的机制。不同的是， 生物神经系统中的谐振是自适应的，或自学习的和自组织的，而物理系统中的谐振一 般是非自适应的。 a r t 系统的神经计算功能主要表现为自组织聚类。聚类的意义在于发现事物之间 的内在联系极其规律性，对于a r t 系统，最主要的是：这种“发现 是“自组织” 北京化t 大学硕二i ：学位论文 的。然而，自组织必须是有目标的，无论这种目标是显式的或是隐式的。生物系统的 自组织需要其生存目的的引导，而a r t 系统的自组织需要与类似生命或生物的取向 性联系在一起，包括j 下取向性和负取向性。 a r t l 系统是a r t 系统家族中的第一位成员，是解析g r o s s b e r g 自适应谐振和思 想最经典的范例。然而，a r t l 系统存在自身的局限性，即a r t l 系统只能处理0 和 1 二值输入模式。 19 8 7 年，为了处理任意实值输入模式，g a r p e n t e r 和g r o s s b e r g 设计了a r t 2 系统。 作为g r o s s b e r g 自适应谐振理论的实现之一，a r t 2 系统与a r t l 系统是极为相似的， 即二者都具有“比较。识别”结构偶，都是由比较层和识别层构成的人工神经网络系统， 并且，又都具有注意子系统和定向子系统。所不同的是，为了处理实值输入模式，a r t 2 系统比较层中的感觉神经元集合被划分为了若干子集。 在自适应谐振理论中，网络以稳定的方式对任意输入模式序列进行自主学习和模 式识另1 1 1 8 - 1 5 】。 本文重点讨论对a r t 2 神经网络的改进以及其在模式识别中的应用。 1 2 研究背景及意义 a r t 2 是基于自适应谐振理论的一种自组织神经网络，通过竞争学习和自稳机制 原理实现分类，可以在非平稳的、有干扰的环境中进行无监督的自学习，其学习过程 能迅速识别已学习过的样本，并能迅速适应未学习过的新对象。该网络是对人脑认知 事物的一种模拟【1 6 - 1 7 】。人在最初认识一种事物时，会根据经验知识和以前见过的事物 进行比较、判断，从而确定是否认识该事物；认识该事物后往往会根据一定的规则标 准对所认识的事物进行分类【1 8 。1 9 】。 目前，国内外学者提出的传统的a i 玎2 神经网络存在的问题主要有以下四类： ( 1 ) a i 玎2 神经网络的模式漂移问题，目前的解决方法有：根据输入样本与模 板中心的距离来调整权值；通过将传统a r t 2 权值公式的离散化来减慢学习速率； 在每个分类中分别记忆第一次学习权值，然后与每次学习后本类别中权值进行对 比；采用典型模式学习法，典型模式可以用模式向量的均值来求解；增加伴随神 经元和重置系统；提出幼态学习规则。 ( 2 ) a r t 2 神经网络的幅度信息丢失问题，目前的解决方法有以欧氏距离为相 似测度，在相似度警戒测试和权值调整时都考虑到输入模式的幅度信息；在检验条 件中加入幅度信息；用动态聚类来测量输入向量的幅度相似度；增加一套幅度调 整子系统对幅度信息先进行匹配；用相应的线性变换处理方法，把“同相位不可分 问题”转化为“整个坐标平面内的相位划分问题”；将样本的幅值作为样本本身的一个 重要特征值，作为输入的一个分量进行训练，同时将幅值信息引入了相似度的警戒测 试。 2 第一章绪论 ( 3 ) a i 玎2 神经网络的警戒测试准则的选择问题，目前的解决方法有：引入截断 双曲线函数来计算输入矢量与神经网络由顶向下权重矢量之问的相似程度，提出更严 格的警戒测试准则，这种新的警戒测试准则具有更强的抗噪声能力。 ( 4 ) a r t 2 神经网络的非负性输入的问题，目前的解决方法有：对a r t 2 网络f l 层的滤波函数进行了调整，改进后的a i 汀2 神经网络可以不受输入模式符号的影响， 取消了所有模式的聚类中心必须出现在第一象限的限制。 同常生活与工作中，这样的现象比比皆是，我们能一眼认出天天见面的同事，却 不太容易认出儿时的伙伴。我们还记得研究生和大学时代同学的名字，却很难叫出小 学或中学同学的名字。认出熟人的这个过程的快慢即识别搜索已有模式的时间长短与 人脑自身具备的记忆遗忘机制有关。 原始的a r t 2 神经网络在认识新事物时是对已有的模式逐一比较，当数据样本和 模式比较多时花费的时问就会大大增加，从而影响了网络的工作效率，也不能很好地 解释上述现象。为了提高网络的工作效率，更好地模拟人脑认知事物的过程，本课题 将人脑的记忆遗忘特性引入a r t 2 神经网络，并应用于人脸识别，改进后的网络对于 频繁出现的人脸模式会识别得更快；对于不经常出现的人脸模式会识别较长的时间； 对于一个新的人脸，网络则将其增加为一个新的模式。这样，改进后的a r t 2 神经网 络模型在功能上将更加接近人脑的认知过程。 1 3 本文的贡献及内容组织 1 3 1 本文的贡献 本文通过研究无监督学习网络中的a r t 2 神经网络，对a r t 2 神经网络进行了改 进，并通过引入新的思想一记忆强度，对该神经网络进行了进一步的优化。在文中对 所研究的各个算法进行了v c + + 和m a t l a b 下的设计和实现。通过实验仿真，加深了对 该网络的理解和认识，促进了论文研究的进展。 论文的主要贡献如下： ( 1 ) 分析了a r t 2 神经网络的发展历史及研究现状。对a r t 2 神经网络的运行 算法进行了分析和研究，并对该网络的传统算法进行了程序设计和实现。结合对算法 的实验仿真的结果对该算法的优缺点进行了总结。 ( 2 ) 提出了一种基于慢速权值更新的a r t 2 神经网络的算法，该算法在对输入 模式进行识别分类时，会减慢学习速率，降低模式漂移的速度。新的网络学习规则在 分类实验中取得了较好的效果，并在一定程度上解决了模式漂移问题。 ( 3 ) 利用图像的积分投影方法对o r l 人脸库里的人脸图像进行预处理，以此确 定人脸轮廓，得到每个人的裸脸。然后分别利用主元分析法( p c a ) 和小波变换方法 对预处理后的人脸图像降维，将人脸图像降到尽可能低的维数，得到的人脸特征向量 北京化下大学顾十学位论文 作为a r t 2 神经网络的输入向量，作为进一步的研究的基础。 ( 4 ) 将人脑的记忆遗忘特性引入到a r t 2 神经网络，用记忆强度作为与已有模 式进行识别排序的依据，使得改进后的网络不仅具有原始a r t 2 网络的所有优点，而 且从获胜机制的角度更加接近人脑，降低了识别样本模式的时间，从而更好地完善了 该网络模型。并通过对二维坐标点和o r l 人脸库的识别和分类进行了模拟，结果表 明应用夹角余弦识别准则的a r t 2 神经网络的识别率均高于用欧几罩得距离和街区距 离作为准则的识别率；而且具有记忆强度的a r t 2 神经网络比原始的a r t 2 神经网络 要节省识别时间，特别对大样本数据，效率提高尤其明显。引入记忆遗忘机制的a r t 2 神经网络在学习认知功能上的特色和优势，为其在大样本多模式的实际环境中的应用 奠定了基础。 1 3 2 本文的内容组织 本论文内容组织的结构安排如下： 第一章，介绍了本论文研究的背景。分析了传统的a r t 2 神经网络存在的问题以 及国内外学者对这些问题的改进。通过对这些问题的总结，本文提出一种基于记忆强 度的a r t 2 神经网络算法。最后给出本文的贡献和结构内容安排。 第二章，介绍了传统的a r t 2 神经网络的基本结构及工作原理。a r t 2 网络是a r t 网络中的一种，可以用于处理连续信号模式，非常适用于模式识别问题。本章从a r t 2 网络的般结构丌始，详细讲述了传统a r t 2 网络的结构、原理和工作步骤。以便于 进一步提出对它的改进。 第三章，对a r t 2 神经网络的传统算法进行了验证，针对a r t 2 神经网络的模式 漂移问题，本章提出了两种改进的算法，即慢速权值更新的a r t 2 神经网络算法和基 于记忆强度的a r t 2 神经网络算法。慢速权值更新的a r t 2 神经网络算法对传统的 a r t 2 网络的权值训练方面进行了修f ，这样，新的网络学习规则将减慢学习速率， 降低了模式漂移的速度，而且也能对所给对象进行合理的分类。而基于记忆强度的 a r t 2 神经网络算法是在研究a r t 2 神经网络结构的基础上，将记忆遗忘机制引入到 网络中，用记忆强度作为获胜机制。对于这两种改进思想，我们都进行了程序设计和 实现。并通过与传统算法的实验对比分析，验证了算法的改进效果。 第四章，为了将基于记忆强度的a r t 2 神经网络应用于人脸识别中，本章研究人 脸图像的降维方法。首先利用积分投影方法得到o r l 人连数据库中的每个人的裸脸， 然后再分别结合主成分分析方法( p c a ) 和小波变换方法对裸脸再进行降维，使人脸 图像的维数尽可能的低，由此得到的人脸特征向量，便可作为输入到a r t 2 神经网络 的向量。 第五章，研究基于记忆强度的a r t 2 神经网络对人脸识别的影响研究。分别将通 过主成分分析方法( p c a ) 和小波变换方法得到的人脸特征向量作为网络的输入，对 4 第一章绪论 这些人脸特征向量进行识别，通过与传统算法的实验对比分析，验证了基于记忆强度 的a r t 2 神经网络比传统a r t 2 神经网络要节省识别时间，特别对大样本数据，能够 明显地提高效率提高。 第六章，总结本课题中完成的工作，并对论文需要改进和完善的地方做了进一步 的说明，指出今后的研究方向。 5 北京化t 人学硕l 学位论文 6 厂_ 二二二二= 一二 第二章a r t 2 神经网络的基本结构及工作原理 自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳 定模式编码的神经网络。本章介绍一种自适应谐振体系结构一a l 订2 ，对于任意序列 的模拟或二进制输入模式，这种结构能迅速自组织地进行模式识别并聚类。为了处理任 意序列模拟输入模式，a r t 2 体系结构将问题的解决方案整理，并表达为一组设计原 则：如稳定性一可塑性平衡，搜索一直接存取平衡，以及匹配一复位平衡。在这些体 系结构中，自上而下学习期望和匹配机制在自稳定的编码过程中是至关重要的。随着 学习进程的开始，并行的搜索方案使a r t 2 可以自我更新，并实现实时的假说建立、测 试、学习和识别过程。经过学习自我稳定后，搜索过程可以自动脱钩，此后输入模式 可直接访问他们的识别码而不需要再搜索。因此，识别熟悉的输入所用的时间不随学 习编码的复杂性而增加。如果新的输入模式与已熟知类别的样本集合具有共同的不变 的属性，那么它可以直接访问这一类别。警戒值参数则决定了该分类的细致程度。如果 由于环境反馈，警觉性增加( 或减少) ，系统就会自动搜寻并更细( 或更粗) 地进行识 别分类。增益调节参数能使a r t 2 抑制噪音达到一定水平。尽管a r t 2 网络具有高度 的非线性，其的全局性设计仍使它能够有效地学习【2 0 。2 1 1 。 2 1自适应谐振体系结构 自适应谐振体系结构是一种可以实时响应任意序列输入模式的，自组织地进行稳 定模式编码的神经网络。在文献 5 】中g r o s s b e r g 提出了自适应谐振理论的基本原理。 在文 2 和 3 中，c a r p e n t e r 和g r o s s b e r g 用一组常微分方程刻画了一类被命名为a r t l 的自适应谐振结构。对于任意序列的二进制输入模式，经证明的定理已能说明a r tl 网络实时动态特性。这些定理预示了搜索的顺序( 可视为网络的学习过程的函数) 和 渐近分类结构是有任意序列的二进制输入模型自行组织的。这些定理也证明系统白稳 定性能和说明了该体系的适应权重振动至多一次，而不会陷于伪存储状态或局部极小 值2 2 乏4 1 。 本章介绍自适应谐振结构中的a r t 2 。对于任意序列的模拟( 灰度级，连续值) 输入模式，以及二进制输入模式，a r t 2 网络能够自行组织，形成稳定的识别分类【2 5 瑚】。 本论文将通过计算机仿真方法来说明系统的动态特性。 a r t 网络通过修正连接权重，也就是自下而上的自适应过滤器的长期记忆系统( l t m ) 的迹，来对新的输入模式进行编码( 图2 1 ) 。 北京化丁大学硕十学位论