（计算机应用技术专业论文）padé权函数神经网络的研究以及对路由算法的优化.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机应用技术 研究方向：智能计算技术与应用 作者：姚煜 指导教师：张代远 j i l li l lii i iii i ii iii iu y 17 5 4 8 8 7 题 目：p a d 6 权函数神经网络的研究以及对路由算法的优化 英文题e l ：r e s e a r c ho nn e u r a ln e t w o r kw i t hp a d 6 w e i g h tf u n c t i o na n d i t sa p p l i c a t i o no nr o u t i n g a l g o r i t h mo p t i m i z a t i o n 主题词：p a d 6 ，权函数，神经网络，路由算法 k e y w o r d s ：p a d 6 ，w e i 曲tf u n c t i o n ，n e u r a ln e t w o r k ，r o u t i n ga l g o n t 南京邮电大学硕士研究生学位论文摘要 摘要 神经网络作为一种能够通过自我学习的智能网络系统，已经在各种人工智能领域得到 了广泛的运用。而神经网络自我学习的根本实质就是由已知的训练样本求得近似而准确的 各组权向量和相应的偏置值。然而传统神经网络的权值都是离散的常数，训练的权值和训 练样本之间难以体现出某种必然的内在联系。传统的学习算法是通过对随机产生的权值向 量进行多次代数迭代的方法而达到权值收敛性的训练。为了满足实际的各种应用，传统的 神经网络模型一般超过三层的网络结构，各层神经元个数的选取也是不确定的，并且需要 通过各种迭代对隐含层进行反复的扩展或修改。基于这些考虑，张代远教授在专著神经 网络新理论与方法率先提出神经网络权函数的概念，将传统的与训练样本无关的权 值和激活函数转变为统一的以训练样本为自变量的权函数。权函数神经网络模型克服 了传统的神经网络结构复杂的缺点，简化了网络结构；其理论与方法摆脱了传统算法 的局部极小、收敛速度慢、且难以求得全局最优点等缺陷。 本文以p a d 6 逼近形式的权函数作为神经网络的模型，利用样本插值函数构造出相 应p a d 6 权函数，新构造出来的神经网络模型具有结构简单，精确度高，泛化能力强， 收敛快速等优点。然后对所得的p a d 6 权函数神经网络的网络误差进行分析。最后，通 过仿真实验，在均方差和运算速度方面与传统的b p ，r b f 神经网络算法进行对比分析， 说明p a d 6 权函数神经网络具有很高的精度和收敛速度。 结合实际的应用，本文给出了p a d 6 权函数神经网络运用于路由算法的优化，对具有多 q o s 约束的路由技术，通过其各个q o s 参数而构造统一的代价函数，并运用于路由选择算 法之中。最后，通过数据分析和仿真与传统的b p 神经网络进行比较，由相应的结果表明， p a d 6 权函数神经网络能更好的为多q o s 约束路由提供一种新的有效途径。 关键词：p a d 6 ，权函数，神经网络，逼近，b p ，r b f ，路由算法，q o s a b s t r a c t n e u r a ln e t w o r k ( n n ) ，a san e wf o r mo fa r t i f i c i a l i n t e l l i g e n c e ( a i ) n e t w o r ks y s t e mw h i c h c a nb es e l f - l e a m e d ，i sw i d e l yu s e di na l lf i e l d so fa it e c h n o l o g y t h ee s s e n c eo fw h yn n c a n l e a ms o m e t h i n gb yi t s e l fi st h ep r o c e s so fh o w i ti st r a i n e db yt h e t r a i n i n gs a m p l e s ，a n dt og e tt h e a c c u r a t ew e i g h tc o n s t a n t s a st h ew e i g h tv a l u e sa r ec o n s t a n t si nt r a d i t i o n a ln n ，t h e r ei sh a r d l v a n yi n n e r - r e l a t i o n s h i pw h i c hb er e f l e c t e db e t w e e nt r a i n i n gs a m p l e sa n dt h ew e i g h tv a l u e s i n a d d i t i o n ，t h et r a d i t i o n a la l g o r i t h mi si m p l e m e n t e db y s e l e c t i n gs o m er a n d o mw e i g h tv a l u e s ，a n d c h a n g i n gt h ev a l u e si t e r a t i v e l yu n t i lr e a c ht h ed e s i r a b l eg o a l s f o r f u l f i l l i n gm a n yp r a c t i c a l p r o b l e m s ，t h et r a d i t i o n a ln na r eu s u a l l yn ol e s st h a nt h r e e - l a y e ri nn e t w o r ka r c h i t e c t i = i r e a n dt h e n u m b e ro fn e u r a la r ea l s on o td e t e r m i n e d ，t h ei n n e r - l a y e r s h o u l db em o d i f i e dt ob ef i t l e a p p l i c a t i o n s f o ra l lt h o s er e a s o n s ，p r o f e s s o rz h a n gd a i y u a ng i v e st h en o t i o no fn n w e i g h t f u n c t i o n si nt h eb o o ko fn e u r a ln e t w o r kn e w t h e o r ya n dm e t h o d t h ew e i g h tv a l u e sa r en o l o n g e rc o n s t a n t sa n ym o r e ，t h e ya r et h ef u n c t i o n so ft r a i n i n gs a m p l e s t h en e wn nm o d e ln o t o n l ys i m p l i f yt h en e t w o r ka r c h i t e c t u r e ，b u ta l s og e tr i do fs o m em a n y s h o r t a g e si nt r a d i t i o n a l n n ，l i k eo n l yg e t t i n gt h el o c a lb e s tv a l u e ，s l o wc o g n i t i o n s p e e da n dh a r dt og e tm eu n i v e r s a lb e s t y a h l e t h i st h e s i ss t u d yo n e p a r t i c u l a rf o r mo fn nw e i g h tf u n c t i o n ：t h ep a d da p p r o x i m a n t sn n u s i n gt h et r a i n i n gs a m p l e st og e tt h ei n t e r p o l a t i o nf u n c t i o n sw h i c hc a nb eu s e dt og e tt h ep a d 6 w e i g h tf u n c t i o n t h ek e yc h a r a c t e r i s t i c so ft h i sn e wn na r e ：m o r es i m p l en e t w o r ka r c h i t e c t i l r e b e t t e ra c c u r a t ev a l u e sa n ds t r o n g e rg e n e r a l i z a t i o n t h ee r r o r o ft h en e wn ni sa l s od i s c u s s e d a t l a s t ，w i t ht h er e l e v a n te x p e r i m e n t ，w eg e tt h ec o m p a r i n gr e s u l t sb e t w w e nt h ep a d d w e i g h t f u n c t i o nn na n ds o m et r a d i t i o n a ln n ( b p , r b f ) ，t h er e s u l t ss h o wp a d 6w e i g h t 如n c t i o nn n i s b e t t e rt h a nb pa n dr b fn ni n c a l c u l a t i o n a c c u r a c ya n ds p e e d ，a sw e l la si ni e s se r r o r p r o d u c t i o n ， i nt h ep r a c t i c a l a p p l y i n g ，t h i sp a p e ra p p l i e sp a d dw e i g h tf u n c t i o nn ni n q o sr o u t i n g a l g o r i t h mo p t i m i z a t i o n ，b ys i m u l a t i n gt h er o u t e r sf u n c t i o n a l i t i e s ，w ec a nu s e w e i g h tf u n c t i o nn n t od e a lw i t ht h eq o sn e t w o r km e t r i c s ，a n dt h e np r o d u c et h ec o s tf u n c t i o nw h i c h c a nb eu s e dt o c a l c u l a t et h ea p p r o x i m a t en e t w o r kc o m m u n i c a i o nc o s tv a l u e t h ec o m p a r i s o ne x p e r i m e n ta l s o s h o w st h ep a d 6w e i g h tf u n c t i o nn n i sb e t t e ri nq o sa l g o r i t h mm e t r i c so p t i m i z a t i o nt h a no t h e r 塑塞塑皇奎兰堡主堡壅生兰垡笙奎a b 。t r 犹t 一一一 ：= = ： t r a d i t i o n a ln n m o d e l ，h e r el i k eb pa n dr b f k e yw o r d s ：p a d 6 ，w e i g h tf u n c t i o n ，n e u r a ln e t w o r k ，a p p r o x i m a n t s ，b p , r b f , r o u t i n g a l g o r i t h m ，q o s 南京邮电大学硕士研究生学位论文目录 目录 摘要i a b s t r a c t i i 目勇匙i i i 第一章绪论。l 1 1 神经网络研究的发展历程l 1 2 课题研究的内容及意义2 1 3 主要研究工作和内容3 1 3 1 本文的工作3 1 3 2 本文的内容3 第二章神经网络简介5 2 1 神经网络概念的提出5 2 2 神经网络的工作原理6 2 2 1 神经元模型6 2 2 2 神经网络理论模型7 2 2 3 神经网络学习方法。l o 2 3 常见的神经网络1 1 2 4 本章小结。1 2 第三章p a d 6 权函数神经网络1 3 3 1 传统神经网络的缺陷1 3 3 2 权函数神经网络结构1 4 3 3p a d 6 权函数求解方法16 3 4p a d 6 权函数神经网络结构的算法求解2 0 3 5p a d 6 权函数神经网络误差分析2 2 3 6p a d 6 权函数神经网络实验2 5 ，d o u ：实验昌的2 5 3 6 2 实验方法：2 5 3 6 3 实验结果2 8 3 7 本章小结：3 2 第四章p a d 6 权函数神经网络在路由算法优化中的应用2 8 4 1 路由算法概述2 8 4 i 1q o s 路由算法的提出：2 8 4 1 2q o s 路由度量参数的选择标准及基本性质2 9 4 2p a d 6 权函数神经网络实现路由度量参数的确定，3 0 4 2 1 传统q o s 路由度量参数的选择方法3 0 4 2 2p a d 6 权函数神经网络对路由度量参数的选择确定算法o 3 1 4 2 3p a d 6 权函数神经网络算法的优点3 3 4 3 本章小结3 4 第五章路由参数确定的仿真实验3 5 5 1 实验目的3 5 5 2 实验方法3 5 5 3 实验结果分析3 6 5 4 本章小结3 8 南京邮电大学硕士研究生学位论文 目录 第六章总结与展望3 9 6 1 总结3 9 6 2 展望3 9 致谢4 l 参考文献4 2 攻读硕士学位期间发表学术论文情况4 4 i v 南京邮电大学硕士研究生学位论文第一章绪论 第一章绪论 1 1 神经网络研究的发展历程 神经网络是一门新兴交叉学科，对其进行系统的研究开始于2 0 世纪4 0 年代，是人工 智能研究的重要组成部分，已成为脑科学、神经科学、认知科学、心理学、计算机科学、 数学和物理学等共同关注的焦削。神经网络在理论上是通过模仿人脑神经网络的结构和 某些工作机制建立一种计算模型，凭借机器自身的超高级运算速度和极强的存储能力而实 现的一种智能系统，是一种旨在模仿人脑结构及其功能的信息处理系统f 2 1 。 1 9 4 3 年，美国的心理学家w s m c c u l l o c h 和数学家w a p i t t s 在论文神经活动中所 蕴含思想的逻辑活动中，提出了一个非常简单的神经元模型，即m - p 模型【3 1 。该模型将 神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。次后， f r o s e n b l a t t 等人研制出了历史上第一个具有学习型神经网络特点的模式识别装置，即感知 机【5 】。对于最简单的没有中间层的感知机，r o s e n b l a t t 证明了一种学习算法的收敛性，这种 学习算法通过迭代地改变连接权来使网络执行预期的计算，也成为了b p 算法的理论基础 【4 】 o b p 算法的出现很快就被广泛的运用于神经网络的各个研究领域之中，其核心的算法思 想是按照梯度下降的原则实现对权值的调整，从而达到学习和记忆的信息智能处理效果。 b p 算法的最大缺点也是由其核心算法所造成的，那就是收敛性不稳定，往往受限于初始时 所取定的数值，结果只能收敛于局部的极小值，由于反向传播所产用的迭代方法，也使得 收敛速度很慢，这就造成了b p 算法只能解决复杂度较小的问题。 由于上述原因，要想从根本上解决b p 算法的缺点，必须改变b p 神经网络的算法思想 和网络结构。由此，南京邮电大学张代远教授提出了一种新型的神经网络训练算法：样条 权函数神经网络训练算法1 9 l 。与传统的反向传播网络结构不同，张教授所提的样条权函数 神经网络，只有输入层和输出层，其权值经过训练后并非常数而是权函数：关于输入样本 的函数。由于这种权函数是由训练样本点经过样条差值理论而构造的，而不是类似于b p 算法随即初始化的各种权值常数，使得样本点数值和权值之间建立的紧密的函数对应关 系，因此使得网络能够对训练过的样本具有精确的记忆性；而且训练过程并不同于b p 算 法的反复迭代，以满足梯度下降的原则，而是只需求出某类具体权函数所对应的参数，因 此其训练时间比b p 算法要缩短很多，而更有利于处理复杂度较高的各类智能计算中。 南京邮电大学硕士研究生学位论文第一章绪论 在新型的权函数神经网络模型中，算法训练的核心是通过已知的训练样本点，建立其 与某类特定的权函数之间的函数对应关系，以求出具体的权函数表达式，达到训练的最终 结果。因此网络的训练过程需要借助于数学中的插值理论以及函数逼近论，p a d 6 逼近做为 有理逼近的一种特殊形式，由于能在分子和分母最高次数较小的情况下，很好的逼近目标 函数，而达到描述客观事情的复杂，非线性等特点，因此是一种很好的逼近方法【1 9 】。通 过实践证明，p a d 6 逼近的简单有理函数形式就能很精确的逼近函数高次幂级数展开式【2 0 1 。 利用p a d 6 逼近的有理函数做为权函数，在对给定样本的进行训练的过程中，求得相应 的p a d 6 权函数的具体形式，从而达到对网络结构的确定和学习的结束。这样训练所得神经 网络能够很好的反应出权值与样本点之间的对应关系，具有良好的记忆性，准确的逼近能 力以及很好的收敛性。 1 2 课题研究的内容及意义 本课题以张教授所提出的权函数神经网络为依据【9 】，采用具体的p a d 6 逼近形式的 有理权函数的神经网络来改进传统的以权值为独立的常数的网络模型。权函数神经网 络的拓扑结构简单，而传统的多级隐藏层由单层的权函数神经元所替代。并且权函数 神经网络所需要的神经元的个数与样本的个数无关，仅仅取决于输入、输出接点的个 数。另外，它的权值是以与它相连的输入样本节点为自变量的函数，这样训练好的权 函数能很好的反映样本的信息特征。采用p a d 6 逼近的有理分式做为新型神经网络中的具 体权函数，能充分利用有理函数能够较好，简便的逼近所有函数的特点，做到方便计算， 准确度高，和减少算法复杂度等好处。因此本文采取能快速计算的，形式简单，误差很 小的p a d 6 权函数作为神经网络的具体权函数形式。 同时，由于随着i n t e r n e t 的高速发展，基于各种目标的路由算法也越来越被人们所关 注，对于多q o s 约束的路由算法中度量标准的确定问题，由于其自身求解的不确定性，能 够采取神经网络对其数据进行分析而达到较理想的结果】。本文比较p a d 6 权函数神经网 络模型和传统的神经网络模型对这类路由算法的确定进行分析，得出新型的p a d 6 权函数神 经网络具有更强的数据分析和综合能力，算法的收敛性和可靠性也更强。 2 南京邮电大学硕上研究生学位论文第一章绪论 1 3 主要研究工作和内容 1 3 1 本文的工作 本文主要研究p a d 6 权函数神经网络算法及其在路由算法中的应用。本文的研究工作可 概括为以下几个方面： 1 通过收集查阅国内外大量相关技术文献，介绍了文章需要用到的基本概念：神经网 络的原理、发展、模型和传统神经网络研究方法，借鉴张代远教授的样条权函数神经网络 模型而提出p a d 6 权函数神经网络的概念。 2 对p a d 6 权函数的网络模型进行深入的分析和研究，给出其求解般问题的证明步骤 和误差分析。 3 给出基于多q o s 约束的路由算法度量标准的确定原理，并利用p a d 6 权函数神经网 络对其进行模拟和实现。 4 通过实验，实现b p 神经网络和p a d 6 权函数神经网络在数据预测中的对比分析，得 出p a d 6 权函数神经网络在模型的建立，数据处理，学习算法的训练等方面要优于传统的 b p 神经网络。 1 3 2 本文的内容 第一章：介绍了神经网络的研究发展历程，并给出了课题研究的意义，本文所作的工 作及文章内容安排。 第二章：介绍了传统神经网络的理论基础。首先通过人脑的神经元模型，引出了人工 神经元的模型，并讲述了神经网络的基本概念和知识；接着介绍各种常用的神经网络模型； 最后结合不同的网络模型，并对传统的网络模型和算法分析其优点和不足。 第三章：给出p a d 6 权函数神经网络的模型以及其实现的算法。首先介绍基于权函数的 新型神经元模型，接着提出由此类神经元组成的p a d 6 权函数神经网络，并给出相应计算方 法的推导过程。然后分析与传统神经网络( b p ，r b f 神经网络为例) 相比，其在性能上的 改进。再对神经网络的误差进行了分析与推导，给出了误差的公式。最后在实验部分，给 出了p a d 6 权函数神经网的数据仿真图并与传统的神经网络算法进行对比，从而验证p a d 6 权函数神经网络具有很好的精确性和收敛速度，在时间和空间上都要优于传统的神经网络 模型。 堕室堕皇奎堂堡主婴壅生堂垡笙奎笙二兰堕堡 第四章：介绍了基于多q o s 约束的路由算法度量标准的优化原则，并运用p a d 6 权函 数神经网络对各种网络参数进行数据分析，得出理想的代价函数。本章首先给出了路由算 法的定义以及代价值( 权值) 。然后提出基于各种度量参数的网络连通代价函数，并用新 型的神经网络模型对其进行计算和求解，以满足各种应用场合的需要。 第五章：对比p a d 6 权函数神经网络和传统神经网络对路由算法优化过程，得出对于突 变性强的网络结构中，p a d 6 权函数神经网络能更快速，精确的逼近理论数值，从而具有更 好的灵敏性以及收敛速度。最后在存储空间上比较两种网络模型的复杂度，得出新型网络 模型的优越性。 第六章：总结与展望。 4 南京邮电大学硕士研究生学位论文 第二章神经网络简介 第二章神经网络简介 2 1 神经网络概念的提出 神经网络( n e u r a ln e t w o r k ，简称n n ) 是在对人脑组织结构和运行机智的认识理解基础 之上模拟其结构和智能行为的一种工程系统。早在本世纪4 0 年代初期，心理学家 m c c u l l o c h 、数学家p i t t s 就提出了人工神经网络的第一个数学模型，从此开创了神经科学 理论的研究时代。其后，f r o s e n b l a t t 、w i d r o w 和h o p f , j j h o p f i e l d 等学者又先后提出了 感知模型，使得人工神经网络技术得以蓬勃发展。 神经系统的基本构造是神经元( 神经细胞) ，如图2 1 所示，它是处理人体内各部分之间 相互信息传递的基本单元 1 2 】。据神经生物学家研究的结果表明，人的一个大脑一般有1 0 1 0 到1 0 1 1 个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸 出的其它较短分支：树突组成。轴突的功能是将本神经元的输出信号( 兴奋) 传递给别的神 经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来 自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单地处理( 如：加权求和， 即对所有的输入信号都加以考虑且对每个信号的重视程度体现在权值上有所不 同) 后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。大脑之 所以能够处理极其复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面 还在于神经冗能够对输入信号进1 a - j 二 - i f i - 线性处理。 图2 1 人脑神经元结构功能示意图 通过生物学家和心理学家等的研究，人类大脑的思维分为抽象( 逻辑) 思维、形象( 直 观) 思维和灵感( 顿悟) 思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的 过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按照串行模式进行逻辑 堕室堕皇奎堂堡主婴壅生兰垡堡塞蔓三童塑丝塑竺堡坌 推理；这一过程可以写成串行的指令，让计算机执行，就是我们常说的算法。 然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决 问题的办法。这种思维方式的根本之点在于以下两点【i 列： 1 信息是通过神经元上的兴奋模式分布储在网络上； 2 信息处理是通过神经元之间同时相互作用的动态过程来完成的。 神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信 息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神 经元构成的网络系统所能实现的行为却是极其丰富多彩的。人脑由于能对外部输入信息进 行学习，分析和推理，神经网络是从脑的神经系统结构出发来研究脑的功能，它研究的目 标是利用大脑神经网络的一些特性，设计出具有类似某些大脑的智能系统。 2 2 神经网络的工作原理 2 2 1 神经元模型 神经元是模拟人脑神经元细胞工作原理而得到的计算模型，神经元是神经网络操作的 基本信息处理单位，也是神经网络的设计基础。它由连接权( 权值) 、加法器和激活函数 三个基本部分组成，是一个多输入、单输出的数学模型( 见图2 2 ) 1 4 】。 1 连接权，又叫权值。类似生物神经元细胞的突触，表示连接到神经元的突触 i ( i = 1 , 2 ，甩) 上的输人信号x i ( f = 1 , 2 ，z ) 所需要乘以的连接权值，用以调节某个突触上输 入信号的大小。 2 加法器。用来求解输入信号x 。，z ：，与相应连接权。，：，加权的和。加法 器还包含一个外部的偏置值秒，其作用是按照实际问题的需要，适当的增加或降低激活函 数的网络输入。 3 激活函数。用来限制神经元输出振幅，将输入信号压制在允许范围之内的一些特定 值。 南京邮电大学硕士研究生学位论文 第二章神经网络简介 x i 石2 ： x n 图2 2 单神经元模型 用数学方法表示图2 2 中神经元- ，的工作方法为： 材，= 一+ 臼 f = l y = f ( u j ) ( 2 1 ) ( 2 2 ) 其中，_ o = l ，2 ，聆) 为输入信号，o = l ，2 ，甩) 为神经元的连接权值，p 为偏置 值( 阀值) ，“，是输入信号的线性组合器的输出，厂( ) 为激活函数，y 为神经元的输出 信号。激活函数厂( ) 决定神经元的输出，它通常有以下几种形式：阈值函数；分段线性函 数和s i g m o i d 函数。 2 2 2 神经网络理论模型 图2 2 所示的神经元就可以表示为一种简单的神经网络具有多输入，但输出的特点。 其扩展性以及对现实问题的模拟和描述能力是相当有限的，神经元作为对外部输入起感知 作用的最小单元，其个数的增加，理论上能提高网络的精确度。我们把一组并行处理输入 信号的神经元的集合称为“层”，神经网络就出现了“分层”的现象”】。下面介绍几种最 常用的神经网络的结构模型。 ， l 单层多输入多输出前馈网络 、 如图2 3 所示的网络结构，图中共有”个神经元。m 个输入信号向量( z 。，x ：，x ) 7 与 这n 个神经元全相连。与所有神经元相连的连接权值组成一个，z m 的矩阵，称为权值矩阵 表示为： 南京邮电大学硕士研究生学位论文 第二章神经网络简介 砭 ： 图2 3 单层多输入多输出网络模型 形= 1 w 2 1 1 w 1 2 w 2 2 2 埘 屹m ： 坍 此 ( 2 3 ) 该神经网络的输出信号向量】，= ( y ，y 2 ，儿) 7 的求解方法为：先由权值矩阵与输入 信号向量x = ( 工，x ：，x 。) 7 相乘所得的，z 维向量，再与偏置值向量彳= ( 岛，岛，幺) r 相加 而得出线性组合向量u ，最后对利用激活函数f ( ) 对u 求值而得到网络的最终输出。用数 学方法表示为： u = 陟x + 彳 ( 2 4 ) y = f ( u ) ( 2 5 ) 展开为： “ “，i 二i 一 ；| = 甜甩j妻j三誊，；妻三r主+r幺j。i 。26： 南京邮电大学硕士研究生学位论文 第二章神经网络简介 = f “l 甜2 ： u 胛鬈 ( 2 7 ) 在这种类型的网络中，数据流的方向是严格由输入层直接投射到输出层，而不存在反 向流动的情况( 输入层接受输出层反馈的数据) ，成为前馈式网络。由于图2 3 的网络参与 运算的神经元只有一层( 包含权值矩阵和输入向量的计算，偏置值的处理以及激活函数的 转变) ，所以成为单层前馈网络。 2 多层多输入多输出前馈网络 图2 4 两层多输入多输出网络模型 现实中的大量实际数据往往是具有很大的随机性和噪声影响，单层的神经网络虽然具 有收敛性强，训练方法简单等特性，但是往往准确性方面不能得出较好的逼近效果，因此 多层的神经网络模型如图2 4 所示( 两层为例) ，输入的一组实际数据通过多层的神经元网 络的筛选，最后能得到较理想的相应输出。 类似单层的多输入多输出网络模型，我们可以推广到多层的相应网络模型。m 个输入 信号向量( 五，x ：，x 。) r 先通过，z 个神经元组成的第一层，得到的相应的，z 个输入信号向量 的中间输出( 爿，z ，) r ，依次再通过各层网络结构，最终得到理想的输出结果 ( 乃，儿，卫) r 。中间的各种内部参数依次为：权值矩阵( 1 ，形2 ，矽”，) r ，上标w 表示中间 的层数，激活函数( 厂1 ，厂2 ，厂”，) r ，偏执值( 臼1 ，秒2 ，f la y ，) 7 1 等。 3 简化为隐层模式的神经网络模型 神经网络的实质是对一组输入数据进行学习和分析，得到理想的相应输出结果【9 】。如 南京邮电大学硕士研究生学位论文第二章神经网络简介 果我们将中间的神经元层的实现方式和过程看成是个黑匣子，那么站在用户的角度看各 层的处理方式就会变得十分简单。类似于图2 5 所示的工作模式。 x 输 形y 入 隐 输 层 出 层层 图2 5 简化为隐层模式的神经网络 多层的网络结构也可以简化为含有一个抽象的隐层的神经网络模型，这样的简化能更 好的把我们关心的重点放在数据的转变和分析上来，而不用太过于关心各种网络的复杂模 型。这样的简化模式为后面所提出的新型权函数网络结构提供依据。 2 2 3 神经网络学习方法 神经网络是一个能进行自我学习的智能网络系统，它首先要根据一定的学习准则进行 学习，然后才能对需要识别和分析的数据进行操作。我们以神经网络对手写“x ”、“y ” 两个字母的识别为例进行说明，规定当“x ”输入网络时，应该输出“0 ，而当输入为“y ” 时，输出为“l ”。因此一般网络学习的准则应该是：如果网络一旦做出错误的判断，则 通过网络的自身学习( 比较实际输出和理论输出) ，应使得网络减少下次犯同样错误的可能 性。首先，给网络的各连接权值赋予( o ，1 ) 区间内的随机值，将“x ”所对应的图象模式输 入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。 在此情况下，网络输出为“1 ”和“0 ”的概率各为5 0 ，也就是说是完全随机的。这时如 果输出为“1 ( 结果正确) ，则使连接权值增大，以便使网络再次遇到“x ”模式输入时， 仍然能做出正确的判断。如果输出为“0 ”( 即结果错误) ，则把网络连接权值朝着减小综合 输入加权值的方向调整，其目的在于使网络下次再遇到“x ”模式输入时，减小犯同样错 误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“x 、“y ”后，经过网 络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两 个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。 当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网 络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。 l o 南京邮电大学硕士研究生学位论文 第二章神经网络简介 2 3 常见的神经网络 ( 1 ) b p 神经网络 一种具有多层的多输入多输出神经网络模型，即反向传播算法( b a c kp r o p a g a t i o n ， 简称b p 算法) f ，是基于误差的梯度下降准则( 即l m s 算法) 的一种网络训练方法。 它的优点是：功能强大，易于理解；而且现实中的很多训练方法都可看作是反向传播 法的一种变形或修改。典型的b p 网络是三层、前馈的阶层网络，即：输入层，隐层( 也 称中间层1 和输出层，类似于图2 4 。相邻层之间的各神经元实现全连接，即下一层的每一 个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接。 学习规则及过程：它以一种有教师示教的方式进行学习。首先由教师对每一种输入模 式设定一个期望输出值f 4 】。然后对网络输入实际的学习记忆模式，并由输入层经中间层向 输出层传播( 称为“模式顺传播”) 。实际输出与期望输出的差即是误差。按照误差平方最 小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”。随着“模 式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的 期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定各层 间的连接权值之后就可以工作了。 由于b p 网及误差逆传播算法具有中间隐含层并有相应的学习规则可寻，使得它具有 对非线性模式的识别能力。特别是其数学意义明确、步骤分明的学习算法，更使其具有广 泛的应用前景。目前，在手写字体的识别、语音识别、文本语言转换、图象识别以及 生物医学信号处理方面已有实际的应用。但b p 网并不是十分的完善，它存在以卜一些主 要缺陷：学习收敛速度太慢、网络的学习记忆具有不稳定性，即：当给一个训练好的网络 提供新的学习记忆模式时，将使已有的连接权值被打乱，导致已记忆的学习模式的信息的 消失。 ( 2 ) 竞争型神经网络 竞争型( k o h o n e n ) 神经网络：它是基于人的视网膜及大脑皮层对刺激的反应而引出 的。神经生物学的研究结果表明：生物视网膜中，有许多特定的细胞，对特定的图形( 输入 模式) 比较敏感，并使得大脑皮层中的特定细胞产生大的兴奋，而其相邻的神经细胞的兴奋 程度被抑制7 1 。对于某一个输入模式，通过竞争在输出层中只激活一个相应的输出神经元。 许多输入模式，在输出层中将激活许多个神经元，从而形成一个反映输入数据的“特征图 形”。 竞争型神经网络是一种以无教师方式进行网络训练的网络。它通过自身训练，自动对 l l 塑塞堂皇奎堂堡主翌壅圭兰堡垒奎 ，蔓三童塑丝塑竺塑坌 输入模式进行分类。竞争型神经网络及其学习规则与其它类型的神经网络和学习规则相 比，有其自己的鲜明特点。在网络结构上，它既不像阶层型神经网络那样各层神经元之间 只有单向连接，也不象全连接型网络那样在网络结构上没有明显的层次界限。它一般是由 输入层( 模拟视网膜神经元) 和竞争层( 模拟大脑皮层神经元，也叫输出层) 构成的两层络。两 层之间的各神经元实现双向全连接，而且网络中没有隐含层。有时竞争层各神经元之间还 存在横向连接。竞争型神经网络的基本思想是网络竞争层各神经元竞争对输入模式的响应 机会，最后仅有一个神经元成为竞争的胜者，并且只将与获胜神经元有关的各连接权值进 行修正，使之朝着更有利于它竞争的方向调整。 神经网络工作时，对于某一输入模式，网络中与该模式最相近的学习输入模式相对应 的竞争层神经元将有最大的输出值，即以竞争层获胜神经元来表示分类结果。这是通过竞 争得以实现的，实际上也就是网络回忆联想的过程。除了竞争的方法外，还有通过抑制手 段获取胜利的方法，即网络竞争层各神经元抑制所有其它神经元对输入模式的响应机会， 从而使自己“脱颖而出”，成为获胜神经元。除此之外还有一种称为侧抑制的方法，即每 个神经元只抑制与自己邻近的神经元，而对远离自己的神经元不抑制。这种方法常常用于 图象边缘处理，解决图象边缘的缺陷问题。 竞争型神经网络的缺点和不足：因为它仅以输出层中的单个神经元代表某一类模式。 所以一旦输出层中的某个输出神经元损坏，则导致该神经元所代表的该模式信息全部丢 失。 2 4 本草小维 在本章的开头介绍了神经网络的概念：由生物神经元模型为依据，在此之上引入了人 工神经元，给出了人工神经元的模型。在神经元的基础上扩展到神经网络的各种理论结构 模型，然后根据神经元的连接方式将神经网络划分成了各种分层形式的网络。并给出了基 本介绍及神经网络结构简化图。本章的最后给出了传统的神经网络：b p 神经网和竞争型神 经网络的结构分析和各自的优缺点分析。 南京邮电大学硕士研究生学位论文 第三章p a d 6 权函数神经网络 第三章p a d 6 权函数神经网络 3 1 传统神经网络的缺陷 通过以上的介绍可知，神经网络的训练过程就是调整网络内部参数的过程，只有通过 训练的神经网络才能对学习过的样本具有识别能力，使网络的实际输出值逼近理想的目标 值。传统神经网络内部结构复杂，网络层次在一般情况下，至少有三层；网络的收敛对训 练的初值选择还很敏感。 传统的神经网络( 以应用广泛的b p 神经网络为例) 具有如下的缺陷： ( 1 ) 算法的学习速度很慢，其原因主要有： a 由于b p 算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此， 必然会出现“锯齿形现象”，这使得b p 算法低效； b 存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0 或1 的 情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿； c 为了使网络执行b p 算法，不能用传统的一维搜索法求每次迭代的步长，而必须把 步长的更新规则预先赋予网络，这种方法将引起算法低效。 ( 2 ) 网络