（计算机应用技术专业论文）有理权函数神经网络研究及其在数据挖掘中的应用.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 针对传统神经网络学习算法( 如b p 算法、r b f 算法) 等训练权值难以反映训练样本 信息的缺陷，南京邮电大学的张代远教授在专著神经网络新理论与方法提出了样条 权函数神经网络算法，样条权函数神经网络算法能够很好地反映样本的信息特征，而且 随着样本个数的增加，网络的泛化能力也在增强。本文在张代远教授的研究基础上，首先 利用倒差商一连分式方法，构造了以有理函数作为权函数的新型人工神经网络一有理权函数 神经网络；然后结合有理权函数神经网络结构对网络在多输入单输出和多输入多输出两 种情况下的误差进行分析。分析结果表明，训练样本个数越多，误差值越小；最后通 过实例来验证有理权函数神经网络算法的逼近能力、泛化能力以及处理多维输入与输 出的能力，且从计算精度和时间效率两方面将其与传统算法( b p 算法、r b f 算法) 作 比较。实例的数值仿真结果表明，本文中的有理权函数神经网络是可行和有效的，并具有 较好的精确性。 在应用部分，由于神经网络十分适合处理非线性和含噪音的数据，尤其是对那些以模 糊、不完整、不严密的知识或数据为特征的处理问题。基于此研究了基于有理权函数神经 网络的分类数据挖掘方法。并将此算法在i r i s 数据库上进行了实验和对比分析，实验结果 表明此算法较传统算法( b p 算法、r b f 算法) 在收敛速度和分类精度上均有明显提高。 关键词：神经元，神经网络，权函数，数据挖掘，有理插值 a b s t r a c t t h et r a i n i n gw e i g h to ft r a d i t i o n a ln e u r a ln e t w o r kl e a r n i n ga l g o r i t h m s ( s u c ha sb p a l g o r i t h m ， r b f a l g o r i t h m ) a r ed i f f i c u l tt or e f l e c tt h ei n f o r m a t i o no ft r a i n i n gs a m p l e s ，s op r o f e s s o rd a i y u a n z h a n go fn a n j i n gu n i v e r s i t yo fp o s t sa n dt e l e c o m m u n i c a t i o n sp r o p o s e dan e w a l g o r i t h m s p l i n e w e i g h tf u n c t i o nn e u r a ln e t w o r ki nh i sm o n o g r a p hn a m e d t h en e wn e u r a ln e t w o r kt h e o r ya n d m e t h o d ”t h i sn e wa l g o r i t h mc a nr e f l e c tt h ec h a r a c t e r i s t i c so fs a m p l ei n f o r m a t i o np e r f e c t l y , a n d w i t ht h ei n c r e a s eo ft h en u m b e ro f s a m p l e s ，t h en e t w o r k sg e n e r a l i z a t i o na b i l i t ye n h a n c e s b a s e d o nt h es t u d yo fp r o f e s s o rd a i y u a nz h a n ga n du s er a t i o n a lf u n c t i o na sw e i g h tf u n c t i o n ，t h i sp a p e r c o n s t r u c t san e wt y p ea r t i f i c i a ln e u r a ln e t w o r k - r a t i o n a lw e i g h tf u n c t i o nn e u r a ln e t w o r kb y m e a n so fr e c i p r o c a ld i f f e r e n c e - - c o n t i n u e df r a c t i o nm e t h o d c o n s i d e r i n gi t sn e t w o r k ，t h e ng i v e d e t a i le r r o ra n a l y s i sf o rm u l t i - i n p u ts i n g l e o u t p u ta n dm u l t i i n p u tm u l t i o u t p u tb yc o m b i n i n g n e t w o r ks t r u c t u r e i ts h o w st h a tt h el a r g e ro ft h en u m b e ro ft r a i n i n gs a m p l e s ，t h es m a l l e ro f t h e v a l u eo fe r r o r i nt h ee n d ，s o m ee x a m p l e sa r eg i v e nt ov e n f yi t sa b i l i t i e so fa p p r o x i m a t i o n , g e n e r a l i z a t i o na n dh a n d l i n gm u l t i - d i m e n s i o n s ，a n dc o m p a r ei tw i t ht r a d i t i o n a la l g o r i t h m sf r o m t i m ee f f i c i e n c ya n dc o m p u t a t i o n a la c c u r a c y , w h i c hs h o w st h a tr a t i o n a lw e i g h tf u n c t i o nn e u r a l n e t w o r ki sa v a i l a b l ea n de f f i c i e n t ，a n dw i t hb e t t e rp r e c i s i o n i nt h ea p p l i c a t i o np a r t ，b e c a u s en e u r a ln e t w o r ki sv e r ys u i t a b l ef o rh a n d l i n gn o n 1 i n e a ra n d n o i s e 。c o n t a i n i n gd a t a , e s p e c i a l l yf o rt h o s ew i t hv a g u e ，i n c o m p l e t e ，u n p r e c i s i o nd a t aa n dh a n d l e d a t af e a t u r ep r o b l e m ，t h em e t h o do fc l a s s i f i c a t i o no fd a t am i n i n gb a s e do nr a t i o n a lw e i g h t f u n c t i o nn e u r a ln e t w o r ki s s t u d i e d a f t e r w a r d ，t h i sa l g o r i t h mi st e s t e db yi r i sd a t a b a s et o e v a l u a t ei t sc a p a b i l i t y e x p e r i m e n tr e s u l t ss h o wt h a tt h i sa l g o r i t h mi sb e t t e rt h a nt r a d i t i o n a l a l g o r i t h m s ( b p ，r b f ) i nt h ec o n v e r g e n c es p e e da n dc l a s s i f i c a t i o na c c u r a c y k e y w o r d s ：n e r v ec e l l ，n e u r a ln e t w o r k s ，w e i g h tf u n c t i o n ，d a t am i n i n g , r a t i o n a l i n t e r p o l a t i o n l l 夕 ， 南京邮电大学硕士研究生学位论文目录 目录 第一章绪论1 1 1 论文的研究背景及意义l 1 2 国内外研究现状与水平2 1 3 本文的主要内容和成果3 1 4 本文的组织结构4 第二章人工神经网络的基础- 5 2 1 神经网络的定义5 2 2 神经元模型5 2 2 1 生物神经元模型5 2 2 - 2 人工神经元模型6 2 3 神经网络常用模型及其优缺点7 2 4 人工神经网络与人工智能的区别。8 2 5 本章小结9 第三章有理权函数神经网络算法1 0 3 1 当前主要的几种神经网络算法1 0 3 1 1b p 算法1 0 3 1 2r b f 算法1 3 3 2 权函数神经网络的理论基础1 5 3 3 有理权函数神经网络算法1 7 3 3 1 有理插值函数1 7 3 3 2 有理权函数神经网络的拓扑结构1 8 3 3 3 有理插值权函数的确定2 1 3 3 4 有理插值权函数的误差分析2 3 3 4 有理权函数神经网络实验分析- 2 6 3 4 1 模拟实验环境介绍2 6 3 4 2 实验过程与结果分析。2 6 3 5 本章小结3 8 第四章有理权函数神经网络在数据挖掘中的应用3 9 4 1 有理权函数神经网络分类器_ ：3 9 4 1 1 分类及分类器的概述3 9 4 1 2 有理权函数神经网络分类器的构造步骤3 9 4 2 基于神经网络的数据挖掘过程4 0 4 2 1 数据准备，：4 1 4 2 2 规则抽取：4 5 4 2 3 规则评估4 6 4 3 人工神经网络在数据挖掘中应用的优缺点- 4 6 4 4 本章小结4 7 第五章应用实验验证与结果分析4 8 5 1 实验环境4 8 5 2 仿真实验4 8 5 2 1 实验目的4 8 5 2 2 实验方法4 8 i l l i j 南京邮电大学硕士研究生学 5 2 3 实验结 5 2 4 实验结 5 3 本章小结 第六章总结与展望 6 1 总结 6 2 展望。 致谢 参考文献 攻读硕士学位期间发 南京邮电大学硕士研究生学位论文第一章绪论 1 1 论文的研究背景及意义 第一章绪论 神经网络是在模拟生物神经网络的基础上构建的一种信息处理系统，具有强大的信息 存贮能力和计算能力，是种非经典的数值算法。人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ， a n n ) 由1 9 4 3 年美国神经生理学家w m c c u l l o c h 和数学家w p i t t s 从信息处理的角度，研 究神经细胞行为的数学模型表达，合作提出了神经元最早的数学模型( m p 模型l 】) ，拉开 了神经网络理论研究的序幕。在2 0 世纪8 0 年代进入了一个发展高潮，至今已开发出 h o p f i e l d 网络、误差反向传播( b a c k p r o p a g a t i o n ，b p ) 网络、对向传播网络( c p n ) 、k o h o n e n 网络、径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 模型、双向联想记忆( b a m ) 、回归( e l m a n ) 网络等3 0 多种典型的模型，其中以b p 网络模型应用最广。由于人工神经网络的计算具有 可行性、自组织、自适应、非线性和容错性等特征，a n n 已成为人工智能领域的前沿技术， 在模式识别、函数逼近、联想记忆、复杂控制、信号处理等领域应用广泛；由于其思想的 新颖性以及计算机技术的飞速发展，a n n 在越来越广泛的领域中应用成为可能，特别是在 体现知识的复杂性和微观认识不完备性的环境科学领域，a n n 方法己初步显示出其广阔的 应用前景。 在目前的神经网络模型当中。b p 网络是目前应用最广，基本思想最直观的多层误差反 向传播神经网络，它是具有三层或三层以上的阶层型神经网络。各层之间神经元实现全连 接，而每层内各神经元之间无连接。网络按有导师的方式进行学习。目前，在实际应用中， 绝大部分的b p 模型是采用b p 网络和它的变化形式，它是多层前馈神经网络的核心部分， 并体现了神经网络最精华的部分，所以b p 算法很快在神经网络中占据了主导地位，但b p 算法的主要缺点( 收敛速度慢、局部极小、难以求得全局最优点等困难) ，使得b p 算法的 普及引起了人们最激烈的批评，针对此弊端，南京邮电大学的张代远教授提出了样条权函 数神经网络算法，此理论与方法彻底克服了困扰学术界多年的传统算法的弊端，特别是样 条权函数神经删络理论与算法具有网络结构简单、泛化能力强等突出优点，值得推广。 在南京邮电大学张代远教授的专著神经网络新理论与方法中提出了一种新型的神 经网络结构【2 1 。新网络结构中没有传统网络结构中的隐层，即只有输入层和输出层。针对 传统的神经网络训练后的权值是常数，所以人们很难从存储在神经网络的权值中提取有用 的规则，所以新型的神经网络结构将以“权函数”代替“权值”，即为输入样本的函数， 1 南京邮电大学硕士研究生学位论文第一章绪论 在此篇论文中，权函数为输入样本的有理函数，经计算机仿真证明了在计算精度和时间效 率两方面得到了很好的改进，所以将研究成果运用到数据挖掘当中，具有一定的现实意义。 1 2 国内外研究现状与水平 人工神经网络早期的研究工作应追溯至上世纪4 0 年代。1 9 4 3 年，心理学家 w m c c u l l o c h 和数理逻辑学家w p i t t s 在分析、总结神经元基本特性的基础上首先提出神 经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两 人可称为人工神经网络研究的先驱。1 9 4 5 年冯诺依曼领导的设计小组试制成功存储程序 式电子计算机，标志着电子计算机时代的开始，他也是人工神经网络研究的先驱之一。数 理逻辑的方法研究生物神经网络的创举，大大地开阔了人们的思路。在这之后，1 9 4 9 年 d oh e b b 从心理学的角度提出了至今仍对神经网络理论有着重要影响的h e b b 学习法则 【3 1 。5 0 年代末，er o s e n b l a t t 设计制作了“感知机”【4 1 ，它是一种多层的神经网络。这项工 作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制 作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。在 6 0 年代初期，w i d r o w 提出了自适应线性元件网络【5 】，这是一种连续取值的线性加权求和 阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神 经网络的名称，而实际上就是一种人工神经网络模型。8 0 年代初期，模拟与数字混合的超 大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在 若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国 的物理学家h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科学院院刊上发表了两篇关于人工神经网 络研究的论文【6 1 ，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现 实性。随后，一大批学者和研究人员围绕着h o p f i e l d 提出的方法展开了进一步的工作，形 成了8 0 年代中期以来人工神经网络的研究热潮。 我国最早涉及人工神经网络的著作是涂序彦先生于1 9 8 0 年发表的生物控制论【7 】 一书，书中将“神经系统控制论”单独设为一章，系统地介绍了神经元和神经网络的结构、 功能和模型。该书发表时人工神经网络的研究尚未进入复苏时期，国内学术界对该领域的 情况知之甚少，研究热点主要集中在人工智能方面。随着人工神经网络2 0 世纪8 0 年代在 世界范围的复苏，国内也逐步掀起了研究热潮。1 9 8 9 年1 0 月和1 1 月分别在北京和广州召 开了神经网络应用学术讨论会和第一届全国信号处理神经网络学术会议。1 9 9 0 年2 月，我 国8 个一级学会( 即中国电子学会、中国计算机学会、中国智能学会、中国自动化学会、 2 南京邮电大学硕士研冗生学位论文 第一章绪论 中国通信学会、中国物理学会、中国生物物理学会和中国心理学会) 联合在北京召开了“中 国神经网络首届学术大会”。从而开创了我国人工神经网络及神经计算方面科学研究的新 纪元。此后经过十几年的发展，我国学术界和工程界在人工神经网络的理论研究与应用方 面取得了丰硕成果，学术论文、应用成果和研究人员的数量逐年增长。目前，人工神经网 络已在我国科研、生产和生活中产生了普遍而巨大的影响。目前，主要的研究工作集中在 以下几个方面： ( 1 ) 生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究 神经细胞、神经网络、神经系统的生物原型结构及其功能机理。 ( 2 ) 建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包 括概念模型、知识模型、物理化学模型、数学模型等。 ( 3 ) 网络模型与算法研究。在理论模型研究的基础上构造具体的神经网络模型，以实现 计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研 究。 ( 4 ) 人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成 实际的应用系统。例如，完成某种信号处理或模式识别的功能、构造专家系统、制成机器 入等等。 1 3 本文的主要内容和成果 从1 9 4 3 年人工神经网络提出至今，应用于不同学科与不同目的的神经网络已经有数 十种，但目前国内外研究人工神经网络，还是很多集中在研究多层前馈网络中的b p 网络， 其学习算法即著名的误差反向传播( b a c kp r o p a g a t i o n ，简称b p ) 算法。而b p 网络在实际 应用中还存在诸如“经常出现局部极小问题”、“收敛速度很慢，且收敛速度与初始权值的 选取有关”、“隐层数及其节点数的选取尚无理论指导，基本上依靠经验探索”等缺陷。国 内外学者一直在对此进行研究。 ， 本文所做的主要工作如下： 一、通过查阅国内外大量相关技术文献，介绍了文章用到的神经网络基本知识：神经 网络的定义以及神经元模型，在此基础上，概述了传统算法( b p 、r b f ) 的算法思想，并 和新型算法作比较，最后介绍了数据挖掘的相关知识。 二、用有理函数( 通过插值方法得到) 作为神经网络的权函数，建立了一种新的人工 神经网络一有理权函数神经网络。并将此新型的神经网络算法和传统算法作比较，表明此 堕室坚皇奎堂堡圭塑壅生堂焦笙壅蔓二雯丝丝 算法较传统的算法在计算精度和时间效率两方面有较大的改进，该部分为本人在理论研究 上的创新点。 三、给出了有理权函数神经网络在数据挖掘分类方面的应用实例，通过与传统神经网 络( b p 、融强) 数据挖掘分类对比分析，验证了有理权函数神经网络进行数据挖掘在分类 精度和收敛速度上要优于传统算法( b p 、r b f ) 神经网络。实验结果进一步证明了有理权 函数神经网络算法应用上的优越性。 1 4 本文的组织结构 本文的论文结构共分为六章： 第一章：讲述课题背景和意义、研究现状及本文的主要内容。 第二章：讲述了神经网络的基础理论。首先介绍了人工神经网络的定义，然后详细介 绍了神经元模型以及神经网络常用模型的优缺点，最后从认知模型方面，将其与人工智能 进行比较。 第三章：讲述了有理权函数神经网络。在此章节中，为了比较新算法和传统算法，首 先介绍传统神经网络算法( b p 和r b f 算法) ，然后在此基础上详细阐述了有理权函数神经 网络算法，主要包括有理权函数神经网络的拓扑结构及其函数的确定，最后对其误差进行 了分析。在本章的最后，通过实验从计算精度和时间效率两方面验证了新算法较传统算法 的优越性，以及训练时间与维数大小和样本个数的关系，进而证明有理权函数神经网络算 法具有很好的稳定性和计算时间。 ， 第四章：本论文理论与应用的结合点为有理权函数神经网络算法在数据挖掘分类中的 应用。所以在本章中，首先概述了分类的一些知识，然后在此基础上阐述了有理权函数神 经网络分类器的构造过程；接着介绍神基于神经网络的数据挖掘步骤；最后评价了人工神 经网络在数据挖掘中应用的优缺点。 第五章：算法应用。提出将有理权函数神经网络算法应用到数据挖掘分类当中，针对 传统算法的缺陷，进行了仿真实验。证明了有理权函数神经网络应用于分类时，收敛速度 和分类精度得到了很大的改善。 第六章：总结与展望。对本文进行的工作进行了分析与总结，并提出了下一步的研究 方向。 4 南京邮电大学硕士研究生学位论文第二章人工神经网络的基础 第二章人工神经网络的基础 2 1 神经网络的定义 神经网络是由大量的、简单的处理单元( 或称神经元) 广泛地连接而成的复杂网络系 统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性系统。神经网络具有大 规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适用于处理需要同时 考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络是由神经元模型( 如图 2 1 ) 构成，这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单 一输出，并且能够与其它神经元连接，存在许多( 多重) 输出连接方法，每种连接方法对 应一个连接权。 权 2 2 神经元模型 输入 2 2 1 生物神经元模型 加权和 图2 1 神经元模型 乃输出 神经系统的基本构造是神经元( 神经细胞) ，它是处理人体内各部分之间相互信息传 递的基本单元。据神经生物学家研究的结果表明，人的大脑一般有1 0 1 0 1 0 1 1 个神经元。每 个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支一 树突组成。轴突的功能是将本神经元的输出信号( 兴奋) 传递给别的神经元。其末端的 许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴 奋。神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出。神经元的树突与另 外的神经元的神经末梢相连的部分称为突触1 8 】，其结构大致描述如图2 2 所示。 塑室堕皇奎兰堡圭堑壅生堂垡笙奎 第二章人工神经网络的基础 一一一一一 ：= ：= ：= ：三：= = = 2 2 2 人工神经元模型 图2 2 生物神经元结构 神经网络的基本单元称为神经元，它是对生物神经元的简化与模拟。神经元的特性在 某种程序上决定了神经网络的总体特性。大量简单神经元的相互连结即构成了神经网络。 一个典型的具有，z 维输入的神经元模型可以用图2 3 来加以描述。 输入 神经元 厂 厂 西 恐 恐 【一【一 y = f ( w x + 6 ) 图2 3 神经元模型 由2 3 可见，一个典型的神经元模型主要由以下五部分组成。 ( 1 ) 输入 r 五，而，毛代表神经元的n 个输入。用n x l 列矢量x 来表示： ： ，x = i x i ，而，r 一 ， ( 2 ) 网络权值和阈值 w ，w l ：，w 。代表网络权值，表示输入与神经元之间的连接强度；b 为神经元的阈值， 可以看作一个输入恒为1 的网络权值。用l x n 行矢量w 来表示： w = 【w ，w i ：，w i 。】 阈值b 为lx1 的标量。 6 堕塞坚皇奎堂堡主婴壅竺兰垡丝壅篁三兰三塑丝塑鳌塑茎些 注：网络权值和阈值都是可调的。正是基于神经网络权值和阈值的动态调节，神经元 乃至神经网络才得以表现出某种行为特性。因此，网络权值和阈值的可调性是神经网络学 习特性的基本内涵之一。 ( 3 ) 求和单元 求和单元完成对输入信号的加权求和，即 n e t = 故，+ 6 一 l k = l 这是神经元对输入信号处理的第一个过程。 ( 4 ) 传递函数 在图2 3 中，厂表示神经元的传递函数或激发函数，它用于对求和单元的计算结果进 行函数运算，得到神经元的输出，这是神经元对输入信号处理的第二个过程。 ( 5 ) 输出 输入信号经神经元加权求和及传递函数作用后，得到最终的输出： y = f ( w x + b ) 2 3 神经网络常用模型及其优缺点 目前，在应用和研究中采用的神经网络已近7 0 种，其中较有代表性的有以下几种【9 】： ( 1 ) 感知器( p e r c e p t r o n ) 是最“古老”的网络( r o s e n b l a t t ，于1 9 7 5 年提出) ，是一种可 、- l ，- 上l ，bh t ，i 、 d n 一1 一，口- 4 - r n 训琢刚线任万尖襦，日刖很少便用o ( 2 ) 多层前传( b p ) 网络：是一种反向传递并修正误差的多层映射网络，在参数适当 时，能收敛到较小的均方差，能实现复杂的高度非线性映射，可用作复杂类模式识别、语 言识别、自适应目标识别、自适应控制等。缺点是训练时间长、易陷入局部极小。 ， ( 3 ) 盒脑态( b s b 网络) ：具有单元间连接和单元自反馈的最小均方差的单层自联想网 络，可用于从数据库中提取知识。缺点是仅有单步决策能力。： ( 4 ) b o l t z m a n n 机( 简称b m ) 由h i n t o n 等提出。由于网络收敛条件较复杂，所以该模 型中加入了噪声系数t ，减小了陷入局部极小的可能，缺点是训练时间长，网络有噪声， 使其应用领域受到限制。 ( 5 ) 神经认知机( n e o c o g n i t r o n ) 由f u k u s h i m a 于1 9 7 2 年提出，是迄今为止结构最复杂 的多层网络，通过无导师学习，具有选择性注意的能力。缺点是耗用节点及互连多，对样 本的平移、旋转不敏感，参数多且难选。 7 塑室唑皇奎堂堡圭堡窒生兰篁丝奎篁三童三塑丝塑丝塑墨型 ( 6 ) 双向联想记忆网络( b a m ) 是类单状态互联想网络，具有学习能力，能很快存 储新模式。缺点是存储密度较低，且易振荡。 ( 7 ) 学习矩阵网络( l r n ) 是一种单层单向非递归竞争网络。采用离线学习方式，只 能实现二值模式分类，可用于异联想最邻近模式分类器。 ( 8 ) h o p f i e l d 网络由h o p f i e l d 于1 9 8 2 年提出，是一类不带有学习功能的单层自联想网 络。缺点是要对称连接，内存开销较大。 ( 9 ) 自适应共振网络( a r t ) 由g r o s s b e r g 提出，是根据可选参数对输入数据进行粗分 类的网络，a r t l 用于二值输入，a r t h 用于连续值输入。缺点是太敏感，输入有小的变 化，输出变化很大。 ( 1 0 ) 对传网络( c p n ) 由r h e c h t - n i e 于1 9 8 7 年提出，是一种组合式网络，由k o h o n e n 层和g r o s s b e r g 层组成，采用离线式学习方式的异联想最邻近模式匹配器，能存储任意模 拟值模式，常用于图象分析、统计分析和数据压缩。缺点是需要大量的处理单元、计算时 间较长、模式分类较差、不能表达复杂的模式界面。 2 4 人工神经网络与人工智能的区别 人工神经网络与人工智能在认识模型上有许多不同之处，我们从解释级别、处理方式 和表示结构三个方面进行比较【1 0 1 。 ( 1 ) 解释级别( l e v e lo f e x p l a n a t i o n ) 传统人工智能中，用符号表示某些事物。从认知的观点来看，人工智能认为智能表示 方法是存在的，并且建立了由符号表示的顺序处理的认知模型。 人工神经网络强调并行分布处理( p a r a l l dd i s t r i b u t e dp r o c e s s i n g 。p d p ) 模型，这种模型 认为通过大量神经元的相互作用产生信息处理，每一个神经元在网络中将兴奋或抑制信号 传送给其他神经元。神经网络特别强调对认知现象的神经生物解释。 ( 2 ) 处理方式( p r o c e s s i n gs t y l e ) 传统人工智能中，处理是顺序的，类似于典型的计算机编程，甚至当没有预定次序( 如 专家系统中对事实和规则的扫描) 时，其处理操作仍然一步一步执行。 相比之下，并行性不仅对神经网络中的信息处理至关重要，而且是适应性之源，庞大 的并行度( 成千上万个神经元) 赋予了神经网络鲁棒性这重要特征。计算在众多网络神 经元中传播，网络对含有噪声或不完整的输入仍然可以进行识别：一个被损坏的网络仍然 可以满意运行，而且其学习无需太好。 妻室坚皇奎堂堕圭堡壅竺兰垡鲨奎 兰三兰王塑丝堕竺塑苎篓! ! ( 3 ) 表示结构( r e p r e s e n t a t i o n a ls t r u c t u r e ) 符号表示含有一个准语言结构。同自然语言的表达一样，经典a i 的表达通常非常复 杂，它建立于简单符号的系统结构之上。给定一有限符号集，有意义的新表达通常由下列 部分组成：符号表达成分、句法结构与语义的模拟。 而结构和天然表示是神经网络的一个至关重要的问题，在1 9 8 8 年3 月定期举行的认 知会议上，f o d o r 和v y l y s h y n 含蓄地批判了神经网络处理认知和语言方面的计算复杂度， 他们就神经网络在认知的两个基本过程，即思维表示和思维处理中存在哪些误解产生了分 歧。因此f o d o r 和p y l y s h y n 提出了传统人工智能而非神经网络的理论： 1 ) 思维表示特征表现出一个复合结构的组成和组合语义。 2 ) 思维过程对运行一个复合结构的组成和组合语义非常敏感。 总之，我们可用自上而下的方法将符号人工智能描述为知识数据表示和规则系统语言 中一个刻板的操作，也可用自下而上的方法将神经网络描述为具有天然学习能力的并行分 布式处理机。在执行认知任务的过程中，应发现更多隐含的有用的方法手段并将其结合成 为结构化的连接模型或混合系统，而不是单独的基于符号的人工智能或神经网络进行求解 搜索，因此，我们能将神经网络的适应性、鲁棒性和一致性与从符号人工智能中继承的表 示、推理和普遍性结合起来产生期望特性( f e l d m a n ，1 9 9 2 ；w a l t z ，1 9 9 7 ) 。实际上，一些方法 就是基于这种目标思想而产生的，能从训练的神经网络中提出规则，另外对符号和联结方 式如何结合的理解，可以整合起来制造一个智能机。 2 5 本章小结 本章阐述了有关人工神经网络的基本知识点，详细地介绍了神经网络的定义、神经元 模型、神经网络常模型的优缺点，最后从认知模型的三个不同方面，将人工神经网络与人 工智能进行比较。 9 南京邮电大学硕士研究生学位论文 第三章有理权函数神经网络算法 第三章有理权函数神经网络算法 3 1 当前主要的几种神经网络算法 3 1 1b p 算法 b p 算法是用于前向多层网络的学习算法，它是d e r u m e l h a r t 和j l m c c e l l a n d 及其 研究小组在1 9 8 6 年研究并设计出来的。b p 算法基于d e l t a 学习规则，使用梯度搜索技术， 实现网络的实际输出与期望输出的均方差最小化。网络学习的过程是一种边向后传播边修 正权的过程。 前向多层网络的结构一般如图3 1 所示。它含有输入层、输出层以及处于输入输出层 之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。 在隐层中的神经元也称隐单元。隐层虽然和外界不连接，但是，它们的状态则影响输入输 出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。在图 3 1 中，z 为节点的输入值( 初始值) ，y 为收敛后的输出值，形、y 分别表示输入结点到 隐结点和隐结点到输出结点的权值。 图3 1 前向神经网络 b p 算法实质是求取误差函数的最小值问题【l l 】。这种算法采用非线性规划中的最速下 降方法，按误差函数的负梯度方向修改权系数。 为了说明b p 算法，首先定义误差函数。取期望输出和实际输出之差的平方和为误差 函数，则有： 二= 吉莩( 矽吲2 ( 3 1 ) 其中：l 是输出单元的期望值，它也在这里用作教师信号；彳是实际输出，假设第m 层是输出层。 南京邮电大学硕士研究生学位论文 第三章有理权函数神经网络算法 由于b p 算法按误差函数e 的负梯度方向修改权系数，故权系数的修改量和p ： 其中：7 7 为学习速率，即步长。 w u = - - 7 7 毒 ( 3 2 ) 熹：熹婺 ( 3 3 ) 一= 一 i l 锄? 哪 v 7 群表示第尼层的f 神经元的输入总和，根据b p 原则，求兰最为关键。 所以 从而有 令d ：= 鼍 则学习公式： 筹：半刮坷 哪 。 亳李哼1 一= 一r a w h 加： j 吣郴亳叫蠹时1 毗= 一，7 影秽q 其中：刁为学习速率，即步长，般取队l 之间的数。经推导得： 影= # ( 1 一# ) 钟卅 ， ( 3 4 ) ( 3 5 ) ( 3 6 ) ( 3 7 ) ( 3 8 ) 从上述过程可知：多层网络的训练方法是把一个样本加到输入层，并根据向前传播的 规则：# = 厂( 阱) ，不断一层一层向输出层传递，最终在输出层可以得到输出彳。把r 和 期望输出鬈进行比较。如果两者不等，则产生误差信号口，接着则按下面公式反向传播修 改权系数： = 霉叫 ( 3 9 ) 公式( 3 8 ) 中，求取本层d ? 时，要用到高一层的西+ 1 ；可见，误差函数的求取是从输出 1 i 南京邮电大学硕士研究生学位论文第三章有理权函数神经网络算法 层开始，到输入层的反向传播过程，在这个过程中不断进行递归求误差。通过多个样本的 反复训练，同时向误差渐渐减小的方向对权系数进行修正，以达最终消除误差。从上面公 式也可以知道，如果网络的层数较多时，所用的计算量就相当可观，故而收敛速度不快。 为了加快收敛速度，一般考虑上一次的权系数，并以它作为本次修正的依据之一，故 而有修正公式： a w , y ( t + 1 ) = 一刁彬k 工k ，q + a a w u ( t ) ( 3 1 0 ) 其中：r l 为学习速率，即步长：口为权系数修正常数，一般取0 7 0 9 左右。 按照上述b p 算法的思想，下面给出了常规b p 算法的流程图( 如图3 2 所示) 。图中 给出的迭代次数的上限的目的是为了避免当平均误差一直不满足精度要求而导致程序无 法结束运行的情况。 图3 2 b p 算法的流程图 以上介绍了b p 算法的基本思想，虽然b p 算法的理论依据坚实，推导过程严谨。但是 人们在使用过程中也发现b p 算法存在诸多不足之处，主要包括以下几个方面： 收敛速度慢 由于b p 算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，误 差曲面存在平坦区域。在这些区域中，误差梯度变化较小，即使权值的调整量很大，误差 依然下降缓慢，使训练过程几乎停顿。 1 2 堕室坚皇奎堂堡主塑窒生堂笙堡奎塑兰皇塑翌壑里墼塑丝堕竺簦鲨 易陷入局部极小 b p 网络的训练是从某一起始点开始的斜面逐渐达到误差的最小值。对于复杂的网络， 其误差函数为多维空间的曲面，就像一个碗，其碗底是最小点。但是这个碗底表面是凹凸 不平的，因而在其训练过程中，可能陷入某- d 谷区，而这小谷区产生的是一个局部极小 值，由此点向各方向变化均使误差增加，以至于使训练无法跳出这一局部极小值。如下图： e w 图3 3 误差的局部极小和全局极小 网络结构难以确定 结构参数( 包括隐层数、隐层神经元数) 缺乏理论上的指导，通常只能根据经验来选 择。 泛化能力差 一般情况下，训练能力差时，泛化能力也差，并且一定程度上，随着训练能力的提高， 泛化能力也提高。但这种趋势有一个极限，当达到此极限时，随着训练能力的提高，泛化 能力反而下降，即出现所谓“过拟合 现象。此时，网络学习了过多的样本细节，而不能 反映样本内含的规律。 3 1 2r b f 算法 径向基函数网络( r a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k ，r b f n n ) 1 2 1 是由输入层、输出层 和隐层三层组成，其拓扑结构为图3 4 所示【1 3 】。输入层节点只传递输入信号到隐层，从输 入层到隐层的变换是非线性的，隐层节点由一定的作用函数构成，从隐层到输出层的变换 是线性的。输入层到隐层之间的权固定为1 ，只有隐层到输出层之间的权可调。 隐层的变换函数是一种局部分布的、对中心点径向对称衰减的非负线性函数，其常用 的函数形式是高斯函数 啪) ：时掣乩2 ，搠 ( 3 1 1 ) 式中，哆为隐层第j 个单元输出；x = ( ，x 2 ，吒) r 为输入矢量；1 1 1 | 表示范数， 1 3 南京邮电大学硕士研究生学位论文 第三章有理权函数神经网络算法 i x - c , l l ： x - c , ) 丁( x - c a ；q 为隐层第_ ，个高斯单元的中心；乃为第个隐层结点高斯 函数的宽度；i i x q0 表示输入向量与中心点之间的距离测度；表示第个隐层结点到 第七个输出层结点之前的连接权值。 网络的输出可表示为： 写成矩阵形式有： 欺= 纺( 工) ( 七= 1 ，2 ，m ) y = y = 【y 。，y 2 ，y 。】7 矿= 【q ，哆，r = 【嚷。，q ：，】r = 【仍( 工) ，仍( 石) ，编( 石) 】7 式中，y 为输出矢量；w 为隐层到输出层的权矩阵；痧为隐层输出量。 隐层 图3 4 r b f 神经网络 ( 3 1 2 ) r b f 神经网络的学习算法主要分两步：一是根据输入样本确定q 和半径乃，二是采 用误差校正学习规则，调节输出层的权矿。具体如下： l 、确定q ，通常采用k 一均值法： ( 1 ) 初始化所有聚类中心q ( = l ，2 ，| ) 1 ) ，通常将其初始化为最初的| i z 个训练样本； ( 2 ) 将所有样本x 按最近的聚类中心分组，如果 则将样本x 划归为类i ； 0 z e , i i = 吁n i 防一q 0 1 4 ( 3 1 3 ) 里堡墅皇奎兰堡主堕圣兰兰垡堡奎蔓三兰蔓堡堡里鍪塑丝塑塑兰鎏 ( 3 ) 计算各