（计算机应用技术专业论文）b样条权函数神经网络研究及其在数据挖掘中的应用.pdf

_ 1 l m f 南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机应用技术 研究方向：智能计算技术与应用 作者：吴家宝 指导教师：张代远 题目：b 样条权函数神经网络研究及其在数据挖掘中的应用 英文题目：t h er e s e a r c ho nn e u r a ln e t w o r kw i t hb s p l i n ew e i g h t f u n c t i o na n di t sa p p l i c a t i o ni nd a t am i n i n g 主题词：神经网络；权函数；b 样条；误差：逼近；b p ；r b f k e y w o r d s ：n e u r a ln e t w o r k s ；w e i g h tf u n c t i o n s ；b s p l i n e ；e r r o r ；a p p r o x i m a t i o n ；b p ； 南京邮电大学硕士研究生学位论文 摘要 摘要 传统神经网络的权值是常数，训练的权值往往难以反映样本的信息；且在实际的应用 中，传统的神经网络模型难以确定，网络至少是三层结构，并需要对隐含层进行反复的扩 展或修剪。基于这些考虑，神经网络新理论与方法一书提出了权函数神经网络的算 法。权函数神经网络的这一模型彻底打破了传统的神经网络结构复杂的缺点，简化了 网络结构；其理论与方法彻底克服了困扰学术界多年的传统算法的局部极小、收敛速 度慢、难以求得全局最优点等缺陷。 b 样条权函数神经网络作为一种权函数神经网络，具有权函数神经网络的特点。本 文在理论与算法部分首先构造了b 样条权函数神经网络模型；接着又给出了通过样本点 计算b 样条权函数具体的过程；然后结合b 样条权函数神经网络的模型对网络误差进行 分析；最后，通过仿真实验，在均方差和训练时间方面将b 样条权函数神经网络与传统 b p 、r b f 神经网络算法进行了对比分析，验证了b 样条权函数神经网络具有很高的逼 近精度和很快的训练速度。 本文在应用部分，给出了基于b 样条权函数神经网络的数据挖掘方法，对葡萄酒进行 分类识别。通过与基于b p 、r b f 神经网络的数据挖掘方法相比，得出了b 样条权函数神 经网络具有很好的分类效果的结论。 关键词：神经网络；权函数；b 样条；误差；逼近；b p ；r b f 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t t h et r a d i t i o n a ln e u r a ln e t w o r k sw e i g h t sa 托c o n s t a n t , a n dt h et r a i n i n gw e i g h t sc o u l dn o t r e f l e c tt h ei n f o r m a t i o no ft h es a m p l e i np r a c t i c a la p p l i c a t i o n s ，t h et r a d i t i o n a ln e u r a ln e t w o r k s m o d e l sa 他d i f f i c u l tt ob e 辩u l e d , a st h en e t w o r k sa 他a tl e a s tt h r e e - l a y e r $ t l u c t u l sa n dt h e h i d d e nl a y e rn e e d st ob ee x t e n d e do rm o d i f i e da g a i na n da g a i n b a s e do nt h e s ec o n s i d e r a t i o n s , t h em o n o g r a p h , n a m e d t h en e wn e u r a ln e t w o r k st h e o r ya n dm e t h o d ，p r o p o s e sw e i g h t f u n c t i o n sn e u r a ln e t w o r k sl e a r n i n ga l g o r i t h m s p l i n ew e i g h tf u n c t i o n sn e u r a ln e t w o r k sb r e a k d o w nt h et r a d i t i o n a ls h o r t c o m i n g so ft h ec o m p l e xn e u r a ln e t w o r k ss t r u c t u r ec o m p l e t e l ya n d s i m p l i f yt h en e t w o r k s 咖l c t l l 他t h et h e o r ya n dw a y sc o m p l e t e l yo v e r c o m eq u e s t i o n s , s u c h 硒 l o c a lm h 1 i m a , s l o wc o n v e r g e n c ea n dd i f f i c u l tt oo b t a i nt h eg l o b a lo p t i m a lp o i n t ，w h i c ht r o u b l e a c a d e m i am a n yy e a s a saw e i g h tf u n c t i o n sn e u r a ln e t w o r k s ，b - s p l i n ew e i g h tf u n c t i o nn e u r a ln e t w o r kh a st h e c h a r a c t e r i s t i c so fw e i g h tf u n c t i o n sn e u r a ln e t w o r k s i nt h ep a r to ft h et h e o r ya n da l g o r i t h m s b s p l i n ew e i g h tf u n c t i o nn e u r a ln e t w o r km o d e li sc o n s t r u c t e d ；a f t e rt h a t , s p e c i f i cp r o c e s s e so f t h ec a l c u l a t i o no fb - s p l i n ew e i g h tf u n c t i o n st h r o u g hs a m p l ep o i n t si sg i v e n ；a n dt h e na n a l y z et h e n e t w o r ke r r o rt oc o m b i n e 、 ，i t l lb s p l i n ef u n c t i o nn e u r a ln e t w o r k f i n a l l y , w ec a l lc o n c l u d et h a t b s p l i n ew e i g h tf u n c t i o nn e u r a ln e t w o r kh a sh i g ha p p r o x i m a t i o na c c u r a c ya n df a s tt r a i n i n g s p e e dt h r o u g hs i m u l a t i o ne x p e r i m e n t s ，w h i c hi sc o m p a r e dw i t hc o n v e n t i o n a lb p , r b fn e u r a l n e t w o r k sa l g o r i t h mi nt h em e a ns q u a r ee r r o ra n dt r a i n i n gt i m e i nt h ea p p l i c a t i o np a r t ，b s p l i n ew e i g h tf u n c t i o nn e u r a ln e t w o r kd a t am i n i n gm e t h o di s g i v e nt oa s s e s st h ea c c e p t a b i l i t yo ft h ew i n ei nc l a s s i f i c a t i o n b yc o m p a r e d 、枋t hb p , r b fn e u r a l n e t w o r k sd a t am i n i n gm e t h o d s ，w ef i n dt h a tb - s p l i n ew e i g h tf u n c t i o nn e u r a ln e t w o r kh a sag o o d p r e c i s i o ni nc l a s s i f i c a t i o n k e yw o r d s ：n e u r a ln e t w o r k s ；w e i g h tf u n c t i o n s ；b s p l i n e ；e r r o r ；a p p r o x i m a t i o n ；b p ；r b f i i 南京邮电大学硕士研究生学位论文 目录 目录 第一章绪论- l 1 1 课题研究的背景和现状1 1 2 课题研究的意义3 1 3 本文的主要内容和成果3 1 4 本文的组织结构4 第二章神经网络概述5 2 1 人工神经网络的介绍5 2 2 神经元模型5 2 2 1 生物神经元模型5 2 2 2 人工神经元模型6 2 3 神经网络分类7 2 4 两种常见的神经网络9 2 4 1b p 神经网络9 2 4 2r b f 神经网络9 2 5 本章小结l o 第三章b 样条权函数神经网络。l l 3 1b 样条权函数神经网络的理论基础l l 3 2b 样条权函数神经网络算法1 3 3 2 1b 样条权函数神经网络的提出。1 3 3 2 2 插值b 样条权函数算法1 4 3 3b 样条权函数神经网络结构的一般算法1 9 3 4b 样条函数逼近阶及其网络误差分析2 l 3 4 1b 样条函数逼近阶：2 l 3 4 2b 样条权函数神经网络误差分析2 3 3 5b 样条权函数神经网络实验2 5 3 5 1 实验环境介绍及网络结构2 6 3 5 2 实验过程与结果分析。2 6 3 6 本章小结3 3 第四章b 样条权函数神经网络在数据挖掘中的应用3 4 4 1 数据挖掘技术简介3 4 4 1 1 什么是数据挖掘3 4 4 1 2 数据挖掘的过程3 4 4 1 3 数据挖掘的分类3 7 4 2 数据挖掘的神经网络方法3 7 4 3b 样条权函数神经网络方法在数据挖掘中应用3 8 4 3 1 应用背景3 8 4 3 2b 样条权函数神经网络数据挖掘3 8 4 3 3 传统神经网络数据挖掘4 l 4 3 4 实验对比分析4 3 4 4 本章小结。4 4 第五章总结与展望4 5 5 1 总结4 5 l 卜 妻室堡皇奎兰堡主堕茎竺兰竺笙苎一旦 _ _ - _ - - - _ - - _ - _ - l - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ l - _ _ - - _ - l - _ - _ l _ _ - l - - _ _ - _ - _ _ l - l o - - - l - o o o 。一一一 5 2 展望4 5 致谢4 6 参考文献”4 7 攻读硕士研究生期间发表的论文。5 0 i v 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 课题研究的背景和现状 第一章绪论 随着神经解剖学、神经生理学以及神经单元的电生理过程等研究取得的突破进展，人 们对人脑的结构、组成及最基本工作单元有了充分的认识 1 9 4 3 年，美国m cc u l l o c h 和w a l t e rp i t t s 从信息处理的角度出发，研究了神经细胞行 为的数学模型表达，最后提出了神经元的数学模型( m p 模型i l 】) 。该模型的提出拉开了人 们对神经网络研究的进程。1 9 4 9 年，心理学家d o n a l ao h e b b 提出了著名的h e b b 学习规 则【2 l ，即通过神经元之间结合强度的改变来实现神经学习的方法，它为神经网络学习算法 奠定了基础。1 9 5 7 年，f r a n kr o s e n b l a t t 定义了一种以后常用的神经网络结构感知机模 型【3 l 。后来，他构造一个感知机网络，并对网络模式识别的能力进行了演示，这是人们第 一次把神经网络纯理论的研究付诸于工程实践。1 9 6 2 年，b e r n a r dw i d r o w 和t e dh o f f 提出 了自适应线性神经网络f 4 】，它是连续取值的线性网络，主要用于自适应系统，这在当时掀 起了神经网络、脑模型研究的高潮。 1 9 6 9 年，人工智能创始人之一m i n s k y 和p a p e r t 在 p e r c e p t r o n s 一书中【5 l 指出了简单 的线性感知机的功能是有限的，它无法解决线性不可分的两类样本分类的问题，它连“异 或 的问题都不能解决。m i n s k y 这一论断给予了当时的神经网络研究沉重的打击，神经网 络的研究陷入了低潮时期。在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模 型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共 振理论，自组织映射，认知机网络模型理论，b s b 模型等等，为神经网络的发展奠定了理 论基础。 1 9 8 2 年，美国物理学家j j h o p f i e l d 提出了h o p f i e l d 神经网络模型【6 】。他引入了“能 量函数的概念，使得人们对网络稳定性研究有了明确的判据。1 9 8 4 年他用此模型成功解 决了复杂度为n p 旅行商问题。后来，从事并行分布处理研究的学者，于1 9 8 5 年将随机机 制引入到h o p f i e l d 模型中，提出了b o l t z m a n n 机f 7 1 。1 9 8 6 年r u m e l h a r t 等人在多层神经网 络模型的基础上，提出了多层神经网络模型的反向传播学习算法，它成功解决了多层前向 神经网络的学习问题【引。1 9 8 7 年，第一届国际神经网络学会在美国加州召开了。此后每年 召开两次国际联合神经网络大会( i j c n n ) 。不久，该学会创办了刊物( ( j o u r n a ln e u r a l n e t w o r k s ) ) ，另有十几种国际著名的神经网络学术刊物相继问世。至此，神经网络理论研究 南京邮电大学硕士研究生学位论文 第一章绪论 在国际学术领域获得了其应有的地位 我国对人工神经网络也有比较早的研究1 9 8 0 年出版的生物控制论阴一书，系统 地介绍了神经元和神经网络的结构、功能和模型随着2 0 世纪8 0 年代神经网络世界范围 的复苏，国内也掀起了研究的热潮。1 9 8 9 年1 0 月和1 1 月，神经网络及其应用讨论会和第 一届全国信号处理神经网络学术会议分别在北京和广州召开；1 9 9 0 年2 月，国内八个 学会( 中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物物理学会 和心理学会) 联合的“中国神经网络首届学术会议 在北京召开，这次大会以“八学会联 盟，探智能奥秘一为主题，收到了3 0 0 多篇学术论文，开创了中国人工神经网络及神经计 算机方面科学研究的新纪元。1 9 9 1 年在南京召开了中国神经网络学术大会( 第二届) ，会 上成立了中国神经网络学会。1 9 9 2 年由国际神经网络学会和i e e e 神经网络委员会主办的 国际性学术会议在北京召开经过十几年的发展，人工神经网络在我国的科研、生产和生 活中产生了巨大的影响。 在神经网络模型中，b p 网络是应用广网络模型，它是多层前馈神经网络，但b p 算法 的主要缺点( 收敛速度慢、局部极小、难以求得全局最优点等) ，使得b p 算法的普及引起 了人们最激烈的批评。 针对此弊端，2 0 0 6 年出版的神经网络新理论与方法【1 0 】一书，提出了一种新型的神 经网络训练算法一权函数神经网络训练算法。此理论与方法彻底克服了困扰学术界多年 的传统算法的弊端，特别是权函数神经网络理论与算法具有网络结构简单、泛化能力强等 突出优点。 数据挖掘于1 9 8 9 年第l l 届国际联合人工智能学术会议上被提出来，至今已经有2 0 多年的历史了。虽然数据挖掘的理论研究和实际应用已取得了巨大的成功，但是因为数据 挖掘技术本身兴起的时间比较短，技术还不够成熟。随着对数据挖掘研究的深入，人们发 现神经网络本身具有的特性，如良好的鲁棒性、自组织自适应性、并行处理、分布存储和 高度容错等，非常适合解决数据挖掘的问题，因此，近年来神经网络数据挖掘方法越来越 受到人们的关注。 目前传统的神经网络方法( b p 、r b f ) 被广泛地应用于数据挖掘中，鉴于传统神经网 络存在的缺陷，以及权函数神经网络突出的优点，因此将权函数神经网络方法应用于数据 挖掘中具有一定的前景。 2 南京邮电大学硕士研究生学位论文 第一章绪论 1 2 课题研究的意义 传统的神经网络( b p 、r b f ) 具有如下的缺陷：网络模型难以确定，特别是隐含层的 层数的选取和神经元个数的选择，这使得网络模型需要进行反复的扩展或修剪；网络的权 值是常数，对于初值敏感的神经网络来说，它会影响到网络的收敛速度，并且容易陷入局 部最优：网络训练的权值难以反映训练样本信息。 神经网络新理论与方法一书提出了权函数神经网络理论与方法 1 0 l ，这些理论与 方法是对传统神经网络模型和算法的一种革新，它们彻底克服了传统神经网络所存在 的缺陷。权函数神经网络的拓扑结构简单( 仅有输入层和输出层) ，所需要的神经元的 个数与样本的个数无关，仅仅取决于输入、输出结点的个数。另外，连接到每个神经 元的权值是以与该神经元相连的输入变量为自变量的函数，这样训练好的权函数能很 好的反映样本的信息特征 本课题便是基于权函数神经网络的理论与方法，在权函数神经网络模型中采用的 权函数是b 样条函数【1 1 1 由于权函数能更好的反映样本的信息特征【坝，另外权函数神 经网络理论还不够完善，因此，对b 样条权函数神经网络进行研究，不仅丰富了权函数神 经网络理论，而且具有重大的现实意义 当前数据挖掘日益盛行，神经网络数据挖掘的方法被广泛的应用。如果用b 样条权函 数神经网络数据挖掘方法来代替传统的神经网络数据挖掘方法，那么它将能够克服传统神 经网络方法中所存在的缺陷，最终能从多方面取得数据挖掘的效益。因此，将b 样条权函 数神经网络应用于数据挖掘算中具有现实的意义。 1 3 本文的主要内容和成果 本文主要研究b 样条权函数神经网络算法及其在数据挖掘中的应用。本文的研究内容 和成果可概括为以下几个方面： 1 通过收集查阅国内外大量相关技术文献，介绍了本文用到的基本概念和知识：神经 网络的原理、发展、模型，传统神经网络，权函数神经网络，b 样条函数和数据挖掘相关 的概念和知识。 2 在研究权函数神经网络和b 样条函数的基础上，构建了b 样条权函数神经网络，并 给出了网络模型；通过对b 样条权函数神经网络进行深入分析和研究，对其误差和泛化能 力分别给与了理论分析和实验验证，同时本文在求b 样条权函数的时候给出了有、无边界 南京邮电大学硕上研究生学位论文 第一章绪论 - _ _ _ _ _ _ _ - _ - - _ _ _ _ _ _ _ _ - 。_ 。_ _ _ _ _ - _ _ _ _ _ _ - _ _ - _ _ _ - - - - _ _ _ - - _ _ - - - _ _ - - - _ - - - _ _ _ _ _ _ - _ _ _ _ _ - _ - - - _ _ _ - - - - _ _ _ - - _ _ _ - _ - - - _ _ - _ - - _ _ - _ _ 一i - _ _ _ - _ - - _ _ - - _ _ _ _ 。- 一 条件的b 样条权函数算法 。 3 介绍了数据挖掘的过程，实现了b 样条权函数神经网络对葡萄酒分类的应用 4 通过传统神经网络( b p 、妞f ) 和b 样条权函数神经网络在葡萄酒分类上进行了对 比分析，得出b 样条神经网络方法在数据挖掘上要优于传统的b p 、r b f 神经网络方法的 结论。 1 4 本文的组织结构 本文共分为五章： 第一章：介绍了课题研究的背景和现状，给出了课题研究的意义，本文的主要内容和 成果及文章的组织结构 第二章：首先对人工神经网络进行了介绍；其后通过对生物神经元模型的介绍，过渡 到了人工神经元模型；接着继续介绍了神经网络的分类；最后给出了两种比较常见的神经 网络。在人工神经元模型的介绍中引入了权函数神经元模型，为第三章b 样条权函数神经 网络的研究分析奠定了基础。在本章的末尾给出了传统的神经网络( b p 、r b f ) ，为第三 章和第四章的对比分析奠定了理论基础。 第三章：首先给出了b 样条权函数神经网络的理论基础，其中引入了权函数神经网络 模型；接着，在对该模型进行描述之后，提出了b 样条权函数神经网络概念，并给出了网 络模型及其相应的算法；然后，对b 样条权函数的逼近性及其网络误差进行了分析与推导。 同时，本章也给出了一般情况下的b 样条权函数神经网络结构及其算法。最后，在本章的 末尾对b 样条权函数神经网络进行了数据仿真，并与传统的神经网络( b p 、l 也f ) 算法进 行对比分析。本章为论文的核心部分。 第四章：首先给出了数据挖掘的概念；其后介绍了数据挖掘的过程、分类及神经网络 数据挖掘方法的特点；接着，通过对葡萄酒分类识别例子给出了b 样条权函数神经网络在 数据挖掘中的具体应用；然后，给出了传统神经网络( b p 、r b f ) 对葡萄酒分类识别的方 法及过程；最后通过该例子，将b 样条权函数神经网络和传统的神经网络进行对比分析， 指出b 样条权函数神经网络方法较传统神经网络有一定的优势。 第五章：总结与展望。 4 南京邮电大学硕士研究生学位论文第二章神经网络概述 第二章神经网络概述 2 1 人工神经网络的介绍 人们的各种活动，如阅读、呼吸、思考等，用到一个大约由1 4 x l o 个互相连接的神 经元组成复杂的生物神经网络f 1 2 】部分的神经网络的结构和功能与生俱来，而大多数的功 能则是通过后天的学习获得。 虽然人们并不完全清楚生物神经网络是怎样进行工作的，但是人们希望构造一些“人 工神经元 ，并通过一定的方式连接起来，用来模拟“人脑 的某些功能。 2 2 神经元模型 神经网络是由大量的、简单的处理单元( 或称神经元) 广泛地连接而成的复杂网络系 统，因此神经网络的构成单元的模型( 生物神经元模型和人工神经元模型) 可以看成是该 神经网络的模型。 2 2 1 生物神经元模型 解剖学的研究告诉人们，人的大脑由大量的( 约1 4 x l o 个) 高度互联的单元( 每个 单元约1 0 4 个连接) 组成，这些单元被称为神经元，它是信息处理的基本单元。就目前的 研究的情况来看，这些神经元由三部分组成：树突、细胞体和轴突【8 】【1 2 】【1 3 】。突触为输入输 出接口，树突和细胞体为输出端，接受突触点的输入信号；细胞体相当于一个微型的处理 器，对来自其它神经元的信号进行组合，在一定条件下产生输出信号；输出信号通过轴突 将信号传给其他的树突和细胞体。图2 1 给出了生物神经元简化示意图。 5 南京邮电大学硕上研究生学位论文第二章神经网络概述 2 2 2 人工神经元模型 图2 1 生物神经元简化示意图 人工神经网络是生物神经网络的高度简化版本，它只能在较低的层次上模拟人脑的功 能人工神经网络虽然没有生物神经网络复杂，但它们之间有两个关键的相似之处：第一 个相似之处是都可以看成是神经元高度互连而成的网络：第二个相似之处是神经元之间的 连接决定了网络的功能。 1 典型神经元模型 人工神经元是人工神经网络中的基本处理单元，由权值、求和单元和激活函数三个部 分组成，它是一个多输入、单输出的非线性配件，是一个近似模拟生物神经元的数学模型 ( 见图2 2 ) 。每一个连接都有突触连接强度，用连接权值来表示，将产生的信号通过连 接强度放大，人工神经元接收到与其相连的所有神经元输出的加权积累，加权总和与神经 元的阈值进行比较，若它大于阈值，人工神经元被激活。当它被激活时，信号被传送到与 其相连的更高一级神经元。 图2 2 典型神经元模型 在图2 2 中t ( 扛1 ，2 ，朋) 为输入，心( f = l ，2 ，肌) 为权值，口为阈值，厂( ) 为激活函数， z 为输出。输入和输出的关系可以表示为 6 南京邮电大学硕士研究生学位论文 第二章神经网络概述 z = 厂( 而嵋一力 j i l c 1 ) 激活函数( ) 决定神经元的输出，将输出幅度限制在一定范围内，它通常有以下几种 形式：a ) 阈值函数；b ) 分段线性函数，它类似于一个放大系数为l 的非线性放大器；c ) 双曲 正切函数；d ) s i g m o i d 函数 2 权函数神经元模型 随着神经网络理论的发展，权函数神经元模型【1 0 1 作为一种新颖的神经元数学模型出现 了，它基于典型的神经元模型，对权值与输入之间的关系进行了探讨和研究，是典型神经元 模型的发展( 见图2 3 ) 毛 吃 毛 k 图2 3 权函数神经元模型 图2 3 给出了权函数神经元结构图，在图中净输入 五= 5 ( ) ( 2 2 ) 式( 2 2 ) 中s ( 五) 是自变量的薯的一元的函数，其中扛l ，2 m 。由图2 3 所示的净输入 有加个变量，所以有 2 3 神经网络分类 饼 忍= 五 f 暑l ( 2 3 ) 大量的神经元通过一定的拓扑结构连接起来，就形成了神经网络。通常，神经网络内 的神经元之间是相互连接的，根据神经元不同连接方式，可以将神经网络分为两大类：分 层神经网络和相互连接型神经网络。 分层网络将一个神经网络模型中的所有神经元按照功能分为若干层。一般有输入层、 隐含层和输出层，各层顺次连接。 7 南京邮电大学硕士研究生学位论文 第二章神经网络概述 输入层接受外部输入模式，并由各输入单元传送给相连的隐含层的各个单元；隐含层 是神经网络的内部处理单元层，它体现了神经网络所具有的模式变换能力，如模式分类、 模式完善、特征抽取等根据神经网络的模式变换功能，隐含层可以有多层，也可以一层 也没有；输出层产生神经网络的输出模式。 分层网络可以细分为3 种互连方式： ( 1 ) 单纯的向前网络( 图2 4 ) ：由输入层进入网络，经过中间各层的顺序变换，由输 出层产生一个输出。 ( 2 ) 具有反馈的前向网络( 图2 5 ) 。反馈的结构形成封闭的环路，具有反馈的单元也 称为隐单元，而网络本身还是前馈型的。 ( 3 ) 层内互连的前向网络( 图2 6 ) ：同一层单元的相互连接使它们彼此之间相互制约， 限制同一层内能同时激活的单元个数，而从外部看还是前向网络。一些自组织竞争网络就 采用这种网络结构。 相互连接网络是指网络中任意单元之间都是可达的( 图2 7 ) 互连网络又分为局部互 连和全互连。全互连网络中的每个神经元的输出都与其他神经元相连，而在局部互连网络 中，有些神经元之间没有连接关系。 图2 4 单纯的向前网络图2 5 具有反馈的前向网络 图2 6 层内互连的前向网络 图2 7 互连网络 8 南京邮电大学硕士研究生学位论文 第二章神经网络概述 有时候为了描述的方便，可以将神经网络进行简化图2 8 给出了多隐层多输入多输 出人工神经网络结构简化图x 表示输入矩阵，y 表示输出矩阵，形凇( k 叠0 l l - 1 ) 表 示层与层之间的连接权矩阵 1 l - 2 图2 8 多隐层多输入多输出人工神经网络结构简化图 2 4 两种常见的神经网络 神经网络的种类比较多，本节将简单的介绍两种常见的神经网络b p 神经网络【8 1 【1 3 1 和 r b f 神经网络【8 】【1 4 1 。 2 4 1b p 神经网络 b p 神经网络是8 0 年代初发展起来的人工神经网络中最有实用价值的部分之一1 9 8 8 年，r u m e l h a r t 和m c c l a l l a n d 提出了多层前馈网络的反向传播算法即b p 算法，它解决了感 知器不能解决的多层网络学习算法的问题，其算法的核心是引入了反向传播的误差信号来 解决学习问题。 b p 算法，其主要思想是从后向前逐层传播输出层的误差，以间接算出隐含层的误差。 算法分为两个阶段：第一阶段为正向过程，输入信息从输入层经隐含层逐层计算每个单元 的输出值；第二阶段为反向传播过程，内输出误差逐层向前算出隐含层单元的误差，并用 此误差修正前层权值。 b p 算法的本质为最速下降法，即以目标函数的负梯度方向作为寻优方向反复迭代，直 到目标函数收敛到最优解。 2 4 2r b f 神经网络 r b f 网络是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部 9 南京邮电大学硕士研究生学位论文第二章神经网络概还 接受域来执行函数映射的神经网络它以函数逼近理论为基础而构造的一种前向网络点组 成第一层是输入层；第二层是隐含层；第三层为输出层它的特点是隐含神经元的输出 函数为径向对称的基函数，而基函数的中心向量被定义为网络输入到隐含层的连接权向 量。它实现了如下的一种映射关系 y f a x ) = 依( x ) ( 2 4 ) 其中y 为第i 个输出单元对应工的输出值，既表示第f 个隐单元到第k 个输出单元的 权值。诈( ) 为径向基函数，在这里采用g a u s s i a n 函数 舭) = e x p ( 一呀) ( 2 5 ) 其中k = l ，2 h ，h 为隐层神经元个数，1 1 1 i 为欧几里德范数。 2 5 本章小结 在本章的开头简要的介绍了人工神经网络，接着介绍生物神经元模型，在此之上引入 了人工神经元，给出了人工神经元的模型。在人工神经元模型中介绍了样条函数神经元模 型，为第三章的研究做了铺垫。然后根据神经元的连接方式将神经网络划分成了分层网络 和相互连接型网络，给出了基本介绍及神经网络结构简化图。本章的最后给出了传统的神 经网络：b p 和r b f 神经网络，为第三章和第四章的对比分析奠定了理论基础。 1 0 南京邮电大学硕士研究生学位论文第三章b 样条权函数神经网络 第三章b 样条权函数神经网络 神经网络训练的过程就是调整网络内部参数的过程，只有通过训练好的神经网络才能 对学习过的样本具有识别能力，使网络实际的输出值接近目标值传统神经网络( b p 、r b f ) 内部结构复杂，网络层次在一般情况下，至少有三层；网络的收敛对训练的初值选择还很 敏感。 权函数神经网络只有两层，神经元的个数与样本个数无关，需要训练的权值仅仅和输 入层相连的结点有关【i o l 。这样的神经网络拓扑结构简单，无须进行结构调整。另外，权函 数神经网络是以输入样本结点为自变量的一元函数，训练好的权函数能很好的反映样本的 特征信息。 本章研究了b 样条权函数神经网络算法在文中通过样本来构造b 样条权函数，然后 通过理论分析和实验验证，最后得出了b 权函数神经网络具有很强的泛化能力和很快的训 练速度的结论。本章给出的b 样条权函数算法和误差分析所采用的神经网络模型都是从单 一输出过渡到多输出。 3 1b 样条权函数神经网络的理论基础 本节研究的b 样条权函数神经网络是权函数神经网络的一种，在对其进行介绍之前有 必要先对权函数网络进行一下阐述和分析。在介绍权函数神经网络之前，先引入权函数【i o l 的定义。 定义3 1 ( 权函数) 权值不是常数，由函数构成。 本节选取的神经网络结构如下：输入层和神经元直接相连，假设每一个输入样本的向 量是m 维，那么，输入端就有朋个结点，每个输入端通过连接权前馈到所有神经元的输入 端。假设每一个输出样本的向量1 维，那么它将神经元计算的结果输出。这里网络是多输 入单输出神经网络结构( 见图3 1 ) 。 南京邮电大学硕士研究生学位论文 第三章b 样条权函数神经网络 毛 而 薯 图3 1 多输入单输出的理论权函神经网络 在图3 1 中，x t ( i = l ，2 所) 表示输入变量，h ( 五) ( f 薯l ，2 肌) 表示理论权函数，圆圈 表示加法器。输入变量五( i = 1 ，2 m ) 经过权函数( 毛) 变换之后的输出量就是 z j ( i f f il ，2 朋) 这个毛就成为加法器的输入量，也就是说有如下的等式 z = z j ( 3 1 ) 五= m ( 而) ( 3 2 ) 在图3 1 中毛与z 的关系通过如下的加权系数联系起来，即 毛= 仇z ( 3 3 ) 式( 3 3 ) 中的加权系数碾( i = 1 ，2 m ) 满足 仍= l ( 3 4 ) 则由式( 3 2 ) 和式( 3 3 ) 可以得到 z ：= 1w f ( 毛) ( 3 5 )z = w l x ) ) j 仍 如果将图3 1 中的权函数w f ( 薯) 写成仇( 薯) ，则有 z = 吩( 誓) ( 3 6 ) 式( 3 6 ) 是一元函数，其描述的方程可以看成是投影方程，这样给出的神经网络结构可 以用来实现空间曲线的参数方程的映射关系。 通常情况下，神经网络的训练的目的是为了求权函数w ( 薯) ，在通过某种方法求得权 函数嵋( 薯) 之后，将其放大l 仍倍，就得到了投影曲线珥( 葺) 。从曲线的图形上看，权函数 南京邮电大学硕士研究生学位论文第三章b 样条权函数神经网络 坼( ) 与投影曲线( ) 之间只相差一个常数因子，因此，它们具有“相似性一另外，投 影曲线蚝“) 在一定程度上能够反映原来空间曲线的特征，因此，权函数也能够在一定程 度上反映原来空间曲线的特征这意味着，对已训练好的神经网络只要提取权函数，就能 够获得隐含在原来样本中的重要信息。 现在就来讨论如何确定图3 1 中的权函数m ( 薯) ，一般来说，只有离散的有限样本点是 已知的，这意味着要通过有限个已知的样本点来求得理论权函数m ( 薯) ，按照目前的理论 水平来说是做不到的，但是可以根据有限个样本点通过插值的方法求得近似的权函数。 3 2b 样条权函数神经网络算法 3 2 1b 样条权函数神经网络的提出 在上节的内容中我们探讨了权函数神经网络的可行性，本节将在权函数神经网络的基 础上给出一种新的算法，b 样条权函数算法。由于b 样条权函数是权函数的一种特例，该 算法的研究也应该具有一定的可行性和优越性。接下来将给出b 样条权函数算法分析的过 程。 b 样条有着样条函数的优良的性质，它是所有样条函数中具有最小局部支撑的样条函 数【1 l l 。用b 样条作插值的基函数，插值节点上的原始数据误差的传播就可以由每一个b 样 条基函数控制在最小范围内，能反映样条拟合的某种实质局部性，而这是其他的插值基函 数不可能具有的。 在通过样本点求近似权函数的时候，若权函数采用b 样条来表示则该网络即为b 样条 权函数神经网络。图3 2 给出了多输入单输出的b 样条权函数神经网络的模型，其中 色( 而) ( 江1 ，2 m ) 是近似b 样条权函数。 毛 而 薯 图3 2 多输入单输出的b 样条权函数神经网络 1 3 南京邮电大学硕士研究生学位论文第三章b 样条权函数神经网络 对于上节中的图3 1 ，假设一共有n + 1 个需要训练的样本。一( 毛) 表示神经元与第 j ( f 霉l ，2 肼价输入结点相连的理论权函数毛( f 聋l ，2 朋) 表示m 维输入向量的第f 个分量 由于训练样本有+ 1 个，因此，将有+ 1 个节点。把这n + 1 个输入向量按照输入样本的 顺序组成一个n + i 维的向量，表示为 葺盘( 而。而) ( 3 7 ) 这n + 1 个输入向量对应n + 1 个目标向量，把+ 1 个目标向量记为 z = ( z o 毛知) ( 3 8 ) 为了求得权函数w ( 薯) ，除了知道毛的取值之外，还要知道函数乙的值，根据式( 3 4 ) 和式( 3 8 ) 有 z ；f = ( m ( 薯o ) m ( 而1 ) 哗( h ) ) = ( 仍气仇z l ，7 i z n ) ( 3 9 ) 按照式( 3 4 ) 对样本分配，权函数w ( 薯) 将由输入向量式( 3 7 ) 决定，输出向量由式( 3 9 ) 决定，于是所对应的插值点为 编= 城。，锄。，勿知 = ( 而o ，) ，( 而。，仍z t ) ( 毛，佛z r ) ( 3 1 0 ) 由式( 3 1 0 ) ，就可以根据插值理论确定图3 2 中的近似权函数b t ( x ，) ，该近似权函数与理 论权函数在插值点处具有相同的值，而在插值点以外，岛( 一) 与心( 薯) 有一定的误差。下面 将通过插值b 样条函数来确定近似权函数岛( 薯) 。 3 2 2 插值b 样条权函数算法 为了通过插值b 样条函数来确定近似权函数勿( 薯) ，有必要介绍下b 样条基函数定义、 性质和样条函数用b 样条基函数表示的形式。 ( 1 ) b 样条基函数定义及其性质 定义3 2 ( b 样条基函数) 设节点序列为 t 七 x o x n 0 n a x o l ， x ( 而，葺+ h 1 ) x 叠( 毛，五+ “1 ) 打 m ( x ) = l i = 0 ( 3 1 6 ) ( 3 1 7 ) ( 2 ) b 样条表示样条函数 定理3 1 对于分划为t i 口= x o h = 6 h 慵来说， 函数组 m ( x ) ( f = 一七，- k + l ，n - 1 ) 在区l h q a ，6 】上，构成了样条空间的一组基底 证明：因为i i ( 功( i = - k ，一k + l ，一1 ) 中的每一个都是关于分划的k 次样条函数，且 共有+ 七个，而样条空间的维数也为n + k 。下面将证明在区间 口，b 】上，m 乒( x ) 是线性 无关的。 设有一组待定常数q ( f _ 一k , - k + l ，一1 ) ，假设存在如下的关系式 一1 q m 。( x ) = o ( 3 1 8 ) l = - k 根据v i , k