（应用数学专业论文）bp网络的改进及其应用.pdf

摘要神经网络以其并行处理、自适应组织、联想记忆及容错和鲁棒性等特点，受到了广泛关注，研究结果已经表明，用神经网络处理直觉和形象思维信息具有比传统处理方式好得多的效果，神经网络的应用有着非常广阔的空间。b p 网络包含了神经网络理论中最精华的部分，由于其结构简单、可塑性强，得到了广泛的应用，特别它的数学意义明确、步骤分明的学习算法更使其具有更广泛的应用背景，其在分类、函数逼近、预测等方面都有非常好的优势，适合于解决复杂的非线性问题。本文首先介绍了人工神经网络的基本理论，包括神经网络的定义、学习方法、特点以及神经网络各种模型的优缺点，然后介绍了b p 网络及其建模过程，同时就b p 网络算法的缺点，介绍了b p 算法的一些改进方法，最后针对b p 网络收敛速度慢的缺点，本文对s 函数作了限制和新的定义，并对“九五”和“十五”期间中国城镇家庭人均可支配收入进行实证研究，通过和传统方法应用结果的比较，体现了改进后的b p 网络无论在速度还是在精度方面都有所提高；另外根据误差补偿思想，本文提出了一种新的组合模型离散灰色和b p 网络的组合模型，并对“九五”和“十五”期间中国城镇家庭人均可支配收入进行实证研究，结果表明组合模型比单一模型具有更好的预测精度。关键词：神经网络，b p 算法，组合模型a b s t r a c tn e u r a ln e t w o r ki sa t t e n d e db yp e o p l eb e c a u s eo fi t c h a r a c t e r i s t i c st h er e s u l to fr e s e a r c hh a si n d i c a t e dt h a tn e u r a ln e t w o r ki sm o r ee f f e c tt h a nt r a d i t i o n a lm e t h o di nd e a l i n gw i t hi n f o r m a t i o no fi n s t i n c ta n dt h o u g h t i tw i l ld e v e l o pw e l l b pn e u r a ln e t w o r ki n c l u d e st h ee s s e n t i a lp a r to fn e u r a ln e t w o r kt h e o r y , i ti sa p p l i e dw i d e l yb e c a u s eo fi t ss i n l p l e 曲d c t l l r e i tc a ns o l v et h ec o m p l i c a t e dp r o b l e mo fn o n l i n e a rf u n c t i o n t h i sp a p e ri n t r o d u c e st h eb a s i ct h e o r yo fn e u r a ln e t w o r k , i n c l u d i n gt h ed e f i n i n go f n e u r a ln 吐w o r k , t h em e t h o do f s t u d y i n ga n da p p r a i s i n gm a n yn e u r a ln e t w o r km o d e lf i r s t t h e ni n t r o d u c e sb pn e u r a ln e t w o r km o d e l ，i np a r t i c u l a r , i n t r o d u c e st h em o d e l a tt h es a m et i m e i ta p p r a i s e si t sa l g o r i t h m i ca n di n t r o d u c e s9 咖ei m p r o v i n g l a s t , t h i sp a p e rb r i n g sf o r w a r di m p r o v i n ga n dp u t si ti n t op r a c t i c eo ft h ep o s i t i v er e s e a r c ht of a m i l y sd i s p o s a b l ei n c o m ew i t ht h eu r b a nr e s i d e n t so fd u r i n gt h es t a t e st e n t hf i v e - y e a rp l a np e r i o do f t h en i n e t hf i v e y e a rp l a n w ec a ng e tt h a tt h ei m p r o v i n gm e t h o di sb c t 把rt h a nt h et r a d i t i o a lm e t h o d t h et h r o u g h tc o m p e n s a t i n gt h r o u g ht h e蝴f i m d l yi sp r o p o s e db yak i n do fa s s o c i a t i o nm o d e lb a s e d0 1 1d i s p e r s e dg r e ya n dn e u a ln e t w o r k , a n dc a r r i e do nt h ep o s i t i v er e s e a r c ht of a n m y sd i s p o s a b l ei n c o m ew i t ht h eu r b a nr e s i d a i t so fd u r i n gt h es t a t e st e n t hf i v e - y e a rp l a np e r i o do f t h en i n e t hf i v e y e a rp l a n ”啊把r e s u l ts h o w st h a tc o m b i n a t i o nm o d e lh a st h eb e t t e rp r e c i s i o no fp r e d i c t i o nt h a nt h es i n g l em o d e l ，s ot h e r ew i l lb ed e e p e rd e v e l o p m e n ts p a c et oc o m b i n a t i o nm o d e l k e yw o r d s ：n e u r a ln e t w o r k , b fa l g o r i t h m i c ，c o m b i n a t i o nm o d e l2学位论文独创性声明本人郑重声明：1 、坚持以。求实、刨新”的科学精神从事研究工作2 、本论文是我个人在导师指导下进行的研究工作和取得的研究成果3 、本论文中除引文外，所有实验、数据和有关材料均是真实的4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构已经发表或撰写过的研究成果5 、其他同志对本研究所傲的贡献均已在论文中作了声明并表示了谢意作者签名；蒯瘟亟v日期：) 趔z学位论文使用授权声明本人完全了解南京信息王程大学脊关保留、使用学位论义的规定，学薮畜教缣窭学霞谂变莠巍嚣家囊警蘩门或箕摆定裁稳遴交论文的电子版和纸质版；有权将学位论文用于非赢剃目的的少最复铺并灸_ 譬论文进入学校匿书镲搜查舞；窍投将学位论文熬蠹容缓入骞关数据库进彳亍检索；有粳将学位论文的标题和摘藤汇编出版保密的学挝论文在解寒后适用本摁定。作糕名：因减e l 期：l 弘第一章绪论1 1 引言神经网络的研究已有近半个世纪“1 ，早期神经网络的研究可以追溯到1 8 0 0 年f r u e d 的前神经分析学时期，他做了一些初步工作。1 9 1 3 年神经网络的第一个实践是由r u s s e l l 描述的水力装置。1 9 4 3 年美国心理学家w a r r e nsm c c u l l o c h 与数学家w a l t e r 且p i t t s 合作，用逻辑的数学工具研究客观事物在形式神经网络中的表述，从此开创了对神经网络的理论研究。1 9 4 9 年心理学家d 0 h e b b 提出了关于神经网络学习机理的“突触修正假设”，突触联系效率可变的假设。1 9 5 7 年f r o s e n b l a t t 首次提出并设计制作了著名的感知器( p e r c e p t r o n ) 。第一次从理论研究转入工程实现阶段，掀起了研究神经网络的高潮。1 9 6 2年b e r n a r d w i d r o w 和妇r c i a n h o f f 提出了自适应线性元件网络，简称为a d a l i n e ( a d a p t i v el i n e a re l e m e n t ) 。1 9 5 1 年夏，m a r v i nm i n s k y 和d e a ne d m o n d s 合作创建了学习机。1 9 6 9年m i n s k y 和p a p e r t 在经过多年对以感知器为代表的简单网络系统的功能及其局限性从数学上作了深入分析和研究，发表了专著，名为 。在肯定感知器的研究价值以及它们有许多引起人们注意的特征之后，指出线性感知器功能是有限的。该书在学术界产生正反两方面的影响，它的副作用在于促进2 0 世纪6 0 年代中人们对神经网络研究的热情骤然下降，迅速转入低潮。进入2 0 世纪7 0 年代后，s t e p h e ng r o s s b e r g是所有研究神经网络人员中最有影响的。他周到、广泛地研究了心理学和生物学的处理，以及人类信息处理的现象，把思维及脑紧密结合在一起，成为统一的理论。1 9 6 8 年j a m e sa n d e r s o n 从具有基本神经元的突触的激活的联想记忆模型的a n s 模型开始工作。1 9 7 0 年和1 9 7 3 年k u n i h i k of u k u s h i m a 研究了视觉系统的空间和时空的神经系统模型以及脑的空间和时空的人工神经系统模型，提出了神经认知网络理论。1 9 7 1 年芬兰的t u e v ok o h o n e n 开始从事随机连接变化表的研究工作。1 9 7 9 年日本n h k 的福岛邦彦( f u k u s h i m ak ) 提出了认知机模型，后来又提出了改进型新认知机( n e o c o g n i t r o n ) 模型。1 9 7 9 年日本东京大学的中野新提出了有名的联想记忆模型，即所谓联想机( a s s o c i a t r o n ) ，它能实现从残余信息( 模式) 到完整信息( 模式) 的恢复过程。1 9 8 2 年和1 9 8 4 年美国加州工学院物理学家j o h nh o p f i e l d 在美国科学院院刊上发表1 的两篇文章，提出了仿人脑的神经网络模型即著名的h o p f i e l d 模型，并将能量函数( 李雅普诺夫函数) 引进对称h o p f i e l d 网络中，使网络稳定性的研究有了明确的判断，并证明了一个互连单元的神经网络系统将达到能量损耗最小原理。1 9 8 4 年和1 9 8 5 年t e r r e n c es e j n o w s k i 和h i n t o na c k l e y 用统计物理学的概念和方法研究神经网络，提出了b o l t z m a n n ( 玻尔兹曼) 机，首次采用了多层网络的学习算法，并用模拟退火过程来模拟外界环境。1 9 8 6 年m c c l e l l a n d 和r u m e l h a r t 提出了多层网络的误差反传算法( b a c kp r o p a g a t i o n ，简称b p 算法) 。这种算法的主要思想“”是把学习过程分为两个阶段：第一阶段( 正向传播过程) ，输入信息从输入层经过隐含层逐层处理并计算出各单元的实际输出值；第二阶段( 反向过程) ，若在输出层不能得到期望的输出，那么逐层计算实际输出与要求输出之间差值，以便据此差值调整权值，从后向前修正各个层次之间的联系权重，在不断的学习和修正过程中，可以使网络的学习误差达到最小。它是迄今为止用的比较广泛和流行的最普通的网络。目前神经网络发展的重点是以应用为导向，研究和利用大脑神经网络的一些特性，设计出具有类似的某些大脑功能的智能系统。神经网络正在蓬勃发展，其理论研究结果和应用范围一时还无法准确预料，下面几个方面的研究显得非常有意义：( 1 ) 模式识别如图象识别、语音识别及雷达声纳一类目标识别等。( 2 ) 信号处理如特征提取、噪声抑制、数据压缩、自适应均衡、自适应滤波、话音插空、预测估值、自适应控制等。( 3 ) 判识决策如模糊评判、系统诊断、差错控制、加密破译等。( 4 ) 实时优化控制如机器人控制系统、列车自动驾驶、智能计算机实时信息处理等。( 5 ) 组合优化如t s p 解法、任务分配、货物调运、组合编码、路由选择等。( 6 ) 知识工程如知识表达、专家系统、自然语音处理和实时翻译系统等。神经网络的理论研究是一门新兴的边缘和交叉学科，它的产生和发展一方面受其他学科的影响，反过来又势必影响其他学科的发展。神经网络从信息论角度看，它是另一种信息处理的工具，对它的研究将涉及许多学科和专业，如数学、物理学、信息科学、心理学、神经生物学、认知科学、计算机科学、微电子学甚至哲学等。另一方面，直接应用现代科- 2 -学的新理论和新方法，如信息论、系统论、控制论、协同论和耗散结构理论等。对神经网络进行研究，可同时为这些学科提出许多新问题，将会推动这些学科理论和其他方面的发展。1 2 本文工作人工神经网络具有高度的非线性映射能力，能以任意精度逼近非线性函数，因此比较适合于一些复杂问题的建模。但因其自身的缺点，如收敛速度慢、目标函数存在局部极小点、难以确定隐含层数和隐节点数等，使得其在应用方面受到限制。本文在介绍了b p 算法的一些改进方法之后，针对b p 网络收敛速度慢的缺点，本文对s 函数作了限制和新的定义，并对“九五”和“十五”期间中国城镇家庭人均可支配收入进行实证研究，通过和传统方法应用结果的比较，体现了改进后的b p 网络无论在速度还是在精度方面都有所提高；另外文章提出了一种新的组合模型一离散灰色和b p 网络的组合模型，并通过与各单一模型在实际应用结果的比较，表明了新组合模型的实用性及优越性。- 3 第二章人工神经网络基本理论2 1 神经网络概论探讨人脑思维的奥秘是人类长期以来的梦想。自从公元前亚里士多德时代开始，人们就开始研究具有思维能力的机器。第一台电子计算机的闯世使这方面的研究有了实质性的进展。1 9 5 6 年，人工智能技术的出现，使人们又朝思维机器的研究方向进了一步。现在神经网络技术又为人们进一步了解人脑思维的奥秘开辟了新的途径。人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) 是由大量类似于神经元的处理单元相互连接而成的非线性复杂网络系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经两络处理、记忆信息的方式完成人脑那样的信息处理功能。这将对计算机及其应用的发展产生巨大的影响。利用人工神经网络的学习能力，联想记忆功能、分布式并行信息处理功能，来解决专家系统中的知识表示，获取和并行推理问题。人工神经网络是计算机科学、控制论、信息论、神经生理学、心理学、语言学等多种学科互相渗透而发展起来的一门综合性新学科。到目前为止，虽然什么是人工神经网络，学术界有各种各样的说法和定义，但就其本质而言，人工神经网络是研究如何制造出人造的智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。至于人类智能活动的能力是什么含义，人们也是有共同认识的。一般地说是人类在认识世界和改造世界的活动中，由脑力劳动表现出来的能力，更具体一些可概括为：( 1 )通过视觉、听觉、触觉等感官活动，接受并理解文字、图象、声音、语言等各种外界的“自然信息”，这就是认识和理解世界环境的能力。( 2 )通过人脑的生理与心理活动以及有关的信息处理过程，将感性知识抽象为理性知识，并能对事物运动的规律进行分析、判断和推理，这就是提出概念、建立方法，进行演绎和归纳推理、作出决策的能力( 3 )通过教育，训练和学习过程，日益丰富自身的知识和技能，这就是学习的能力。( 4 )对变化多端的外界环境条件，灵活地做出反应，这就是自我适应能力。总之，人类神经网络是涉及信息描述和信息处理的复杂过程，因而实现人工神经网络4 是一项艰巨的任务。尽管如此，这门学科还是引起了许多科学和技术工作者的浓厚兴趣，特别是在计算机科学和技术飞速发展和计算机应用日益普及的情况下，许多学者认为实现人工神经网络的手段已经具备，人工神经网络开始走向实践阶段。目前研究人工神经网络主要有两条途径：一条是心理学家、生理学家们认为大脑是智能活动的物质基础，要揭示人类智能的奥秘，就必须弄清大脑的结构，也就是要从大脑的神经元模型着手研究，摘清大脑信息处理过程的机理，这样人工智能的实现就可迎刃而解。显然由于人脑有上百亿神经元，而且现阶段要进行人脑曲物理模拟实验还很困难。因而完成这个任务极其艰巨。但可以看出这一学派是企图创立“信息处理的智能理论”作为实现人工神经网络的长远研究目标，这个观点值得重视的。另一条是计算机科学家提出的从模拟人脑功能的角度来实现人工智能，也就是通过计算机程序的运行，把从效果上达到和人类智能行为相似作为研究目标，这个观点比较实际，目前引起较多人的注意。总之，不论从什么角度来研究人工神经网络，都是通过计算机来实现的，因此可以说人工神经网络的中心目标是要摘清楚实现人工智能的有关原理，使计算机更智慧、更聪明、更有用。2 2 神经网络学习方法2 2 1 学习机理神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成组，称为层。每一个处理单元有许多输入量( x 。) ，而对每一个输入量都相应有一个相关联的权重( 形) 。处理单元将经过权重输入量( 置形) 相加( 权重和) ，而且计算出唯一的输出量。这个输出量就是权重和的函数( 厂) ，厂为传递函数。对于大多数神经网络，当网络运行的时候，传递函数一旦选定。就保持不变。然而，权重是变量，可以动态的进行调整，产生一定的输出。权重的动态修改是学习中最基本的过程。对单个的处理单元，权重的调整很简单，但对大量组合起来的处理单元。调整权重类似于智能过程，网络最重要的信息存在于调整过的权重之中。2 2 2 学习方式霄掰种不屈的学秘方式或训练方式，帮有指导的训练和没有指鼯调练。缓明遐，指导下豹学篙蠛训练需要“老蟥”来进行撩弹，教薅既是调练数据本身，不但包括有 癣入数据，还包括霄在一定输入翁件下的输出嘲络根据训练数据的输入和输出来调节本身的牧重，搜网络始虢出符合实鼯鲍辕出。没有攒粤下的学习j 毫壤指调练数据兵肖输入没有输掰，惩络必须搬掇一定的判断标准自行谣燕权麓。( 1 ) 霄指导学习在这释学习方式申，辫络将盛宥鲍辕出与实嚣输黩数据进行比较。髓终经过一然潮练数据缀的计算后，最翘随机设置鲍权鬟绕过孵络的调熬，使得输出更接近实际的输出结果。所以学习过程的目的在于减小网络应有的输出与实际输出之间的误麓。这是靠不断调整权重来实瑷麴。辩于指导下的学习网络，在可以蜜际应用之前必须进行硼练。训练的过程是用一组输入数据岛相应的输出数据输进网络，网络根据这些数据来调整数据，也同时告诉阿络相应戆输出筑该是侍么。嬲络经过罅 练最，若认为舞络静赣窭与痘有静输如翔静误差这捌了免许范羼，粳重就不荐改动了这时瞬络可用新的数据妊检验。( 2 ) 无指导学习在这静学习方式下，疆终苓蓑争 耀熬影薅采调熬投耋。毪就是滋在嚣络训练过程孛，只提供输入数据而无相应的输出数据。阴络检查输入数据的规律或憩向，根据网络本身的功能来避 行调整，并不襁要告诉网络避种调整是好是坏。这种无指搏避e 行学习的算法。强调一缝缝怒蓬攀元惩戆掺律。如果输入嫠惠使：蝰毽攀嚣缀豹经 覃单燹激港，整个整理攀元组的活性就增强，然庸始理单元组将信息传递给下一艨单元。目前对无指导下的训练机理还不充分了解，还是个继续研究的课题。在现实生错中，有诲多瓣趱无法在事毙露充分夔铡子使耀络进学学习。2 2 3 学习规则( 1 ) h e b b 规则h e b b 娥鬻是由d o n a l dh e b b 在1 9 4 9 年捷鑫熬。窀戆基本燕曩 l 霹熬纳为 絮栗憝遴摹元从另一个处理单元接受到一个输入，并且如果两个帮元都处于高度活动状态，运时羹单6 元的连接权重就要被加强。( 2 ) d e l t a 规则d e l t a 规则是常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有输出问的误差这个规则也叫w i d r o w - h o f f 规则，首先在a d a l i n e 模型中应用，也可称为最小均方差规则。( 3 ) 梯度下降规则这是对减小实际输出和应有输出间误差方法的数学说明。d e l t a 规则是梯度下降规则的一个例子。梯度下降规则的要点为：在学习过程中，保持误差曲线的梯度下降。( 4 ) k o h o n e n 学习规则该规则只用于无指导训练网络。在学习过程中，处理单元竞争学习的机会。具有高的输出单元是胜利者，有能力阻止它的竞争者并激发相邻的单元。只有胜利者才能被输出，也只有胜利者与其相邻的单元可以调节权重。( 5 ) 后传播学习方法误差的后传播技术一般采用d e l t a 规则，入网络。网络从前往后计算每一个单元输出，此过程涉及两步，首先是正反馈，当数据输将每个单元的输出与应用的输出进行比较，并计算误差。第二步是向后传播，从后向前重新计算误差，并修改权重。完成这两步后，才能输入新的数据。这种技术一般用在三层或四层网络。对于输出层，已知每个单元的实际输出和应有的输出，较易计算误差，技巧在于如何调节中间层单元的权重。( 6 ) g r o s b e r g 学习方法s t e p h e ng r o s s b e r g 结合h e b b 模型，建立了新的模型。g r o s s b e r g 模型将每个神经网络划分为由星内( i n s t a r s ) 和星外( o u t s t a r s ) 的单元组成。星内单元是接受许多输入的处理单元，而星外单元是指其输出发送到许多其他处理单元的单元。如果一个单元的输入和输出活动激烈，其权重的改变就大，如果总的输入或输出小，权重的变化就很小。对不重要的连接，权重可能接近于霉。2 3 神经网络的特点人工神经网络是采用物理可实现的器件或采用现有的计算机来模拟生物体中神经网络7 的某些结构与功能，并反过来用于工程或其它的领域人工神经网络的着眼点不是用物理器件去完整地复制某些事物，而是采纳其可利用的部分来克服目前计算机或其他系统不能解决的问题，如学习、识别、控制和专家系统等。与现代计算机相比有以下特点：( 1 ) 人工神经网络在结构上与目前的计算机根本不同，它是由许多小的处理单元互相连接而成，每个处理单元的功能简单，但大量简单的处理单元集体的、并行的活动得到预期的识别、计算的结果，具有较快的速度。( 2 ) 人工神经网络具有较强的容错性，即局部的或部分的神经元损坏后，不影响全局的活动。( 3 ) 人工神经网络所记忆的信息是存储在神经元之间的权中，从单个权看不出其储存信息的内容，因而是分布式的存贮方式。( 4 ) 人工神经网络具有十分强的学习能力，人工神经网络的连接权和连接结构都可以通过学习而得到。2 4 神经网络各种模型及其优缺点目前，在应用和研究中采用的神经网络已近7 0 种，其中较有代表性的有以下几种潮：( 1 ) 感知器( p e r c e p t r o n ) 是最“古老”的网络( r o s e n b l a t t ，于1 9 7 5 年提出) ，是一种可训练的线性分类器，目前很少使用。( 2 ) 多层前传( b p ) 网络是一种反向传递并修正误差的多层映射网络，在参数适当时，能收敛到较小的均方差，能实现复杂的高度非线性影射，可用作复杂类模式识别、语言识别、自适应目标识别、自适应控制等。缺点是训练时间长、易陷入局部极小。( 3 ) 盒脑态( 髓b 网络) ：具有单元间连接和单元自反馈的最小均方差的单层自联想网络，可用于从数据库中提取知识。缺点是仅有单步决策能力。( 4 ) b o l t z m a n n 机( 简称蹦) ：由h i n t o n 等提出。由于b p 网络收敛条件较复杂，所以该模型中加入一噪声系数丁，减小了陷入局部极小的可能，缺点是训练时间长，网络有噪声，使其应用领域受到限制。( 5 ) 神经认知机( n e o c o g n i t r o n ) 由f u k u s h i m a 于1 9 7 2 年提出，是迄今为止结构最复杂的多层网络，通过无导师学习，具有选择性注意的能力。缺点是耗用节点及互连多，对样本8 的评移，旋转不敏感，参数多且难选。( 6 ) 双向联想记忆网络( b a m ) 是一类单状态互联想网络，具有学习能力，能很快存储新模式。缺点是存储密度较低，且易振荡。( 7 ) 学习矩阵网络( l r n ) 是一种单层单向非递归竞争网络。采用离线学习方式，只能实现二值模式分类，可用于异联想最邻近模式分类器。( 8 ) h o p f i e l d 网络由h o p f i e l d 于1 9 8 2 年提出，是一类不带有学习功能的单层自联想网络。缺点是要对称连接，内存开销较大。( 9 ) 自适应共振网络( a r t ) 由g r o s s b e r g 提出，是根据可选参数对输入数据进行粗分类的网络，a r t i 用于二值输入，a r t i i 用于连续值输入。缺点是太敏感，输入有小的交化，输出变化很大。( 1 0 ) 对传网络( c p n ) 由r h e c h t n i e 于1 9 8 7 年提出，是一种组合式网络，由k o h o n e n 层和g r o s s b e r g 层组成，采用离线式学习方式的异联想最邻近模式匹配器，能存储任意模拟值模式，常用于图象分析、统计分析和数据压缩。缺点是需要大量的处理单元，计算时间较长。模式分类较差，不能表达复杂的模式界面。2 5 本章小结本章阐述了有关人工神经网络的基本理论，详细地介绍了神经网络的定义、学习方法、特点以及神经网络各种模型的优缺点- 9 一第三章b p 神经网络模型3 1 卵网络结构b p 网络由输入层、隐层和输出层构成，每层由许多并行运算的简单神经元组成，这些神经元类似生物神经系统的神经元，网络层与层之间的神经元采用全互连方式，同层神经元之闻无相互连接。虽然单个神经元的结构简单，功能有限，但大量神经元构成的网络系统所能实现的功能却是极其丰富多彩的。神经网络是一个非线性动力学系统，其特点在于信息的分布式存储和并行协同处理。b p 网络结构如图3 1 所示。输出神经元隐含神经元输入神经元输出层隐层输入层fflf图3 - 1b p 网络模型结构在b p 网络拓扑结构中，输入节点与输出节点是由问题的本身决定的，关键在于跨层的层数与隐层节点的数目。隐层处于输入层与输出层之问，作为输入模式的内部表示，即对一类输入模式中所含的区别于其它类别的输入模式饿特征进行抽取，并将抽出的特征传递给输出层，因此，把隐层称为特征抽取层。这特征抽取的过程，实际上也就是对输入层与隐层之问的权值进行“自组织化”的过程，即在网络的训练过程中，各层之间的权值从初始的随机值逐渐演变，最终达到能够表示为输入模式特征的过程。对于隐层的层数，许多学者都作了理论上的研究，著名的k o l m o g o r o v 定理证明了只要隐层节点足够多，一个隐层的神经网络就可以以任意精度逼近一个非线性函数。相对来说，隐层节点数的选取很困难。在实际操作中主要靠经验和试凑法，一般选取隐层节点数( 即隐层神经元数) 是输入特征向量的2 倍。3 2 卵算法的思想1 9 8 6 年r u m e l h a r t i n t o n 和w i l l i a m s 完整而简明地提出一种a n n 的误差反向传播训一1 0 练算法( 篱髂b p 算法) ，系统地解决了多层弼终孛黪盘单元连接投黪攀习闯题，述慰其能力和潜力进行了探讨。p a r k e r 在1 9 8 2 霉也提出过犀样盼算法后来考发珑w e r b o s 草崧1 9 7 4年的博士论文中曾提到过有关b p 学习算法及其几种变形。谖麓爱传播算法魏盎要思想是把学嚣过程分为秘个蹬段：第鼢莰( 正商传播除段) ，给出输入信息通过输入瑟经隐含层运屡处理并计算每个单元的实际输出值；第二阶段( 反向过稷) ，若在输出层采能得到期望的输出值，则逐屡递归的计算实际输出与期望输出之间戆差值( 帮瀑差) ，傻摄攮越差调节权傻，吴髂的落，就是可对每一个稷重计算如接受单元的误麓值与发送单元的激活值的积。因为这个积和谈差对权重酶( 负) 微商成正眈( 又称梯度下降算法) ，把怯称作权重误差微商。权重的实际改变可以由极重误差微商一个模式一个横式垂孽诗箕处理，靼它髓霹班在途缝摸式集上遴纷累趣。反侮簿法有两种学鞲醴程，这是瞻予在求导运算中假定了所求的谟差函数的导数是所有模式的导数和。因此粳重的改变方式就有两种：一种是对提供的所有模式的导数求和，再改交投耋。遮就是调缀期( e p o c h ) 瓣学习方式，灵体些说，对每令横式要计算出投耋误差导数，直到该胡f 练期结柬时才累加，此时才计算权煎变化w ，并把它加到实际的枚重数组上，每周期只傲一次。另一种是由于权的修正悬计算每个模式的导数后，改交枚重并求导数秘，这藏是模式( f a t t e r n ) 学霹方式，它是每处理一令模式藏量 募窭该模式瓣较重误差导数，更新a n n ，在处理下一个模式之前就把w 加到原来的权黧上。3 3 标准卵算法公式鼹终学薄公式接罨赫攘鲁愚鏊是：游嬲终衩毽 嗨，霸；蘩正与籁攘( 参) 蘩歪，搜诶差函数( 露) 沿负梯度方向下降。1 输出带点的输出谚计算公式( 1 ) 输入节点的输入 置( 2 ) 隐节点的输出；n = ，( w 口。一蚌) ，其中连接枚值为b ，节点闽值为qj( 3 ) 赣出节点输出；绋= 兵而舅一畴) 箕串连接权德力荔，节赢阏馕为毋-2 输出层( 隐节点到输出节点间) 的修正公式( 1 ) 输出节点的期望输出：( 2 ) 误差控制所有样本误差：e ：圭略 g ，t 1其中一个样本误差为= i 矿- 4 i其中p 为样本数，以为输出节点数。0 ) 误差公式：4 = 辑一d ，) + d j + ( 1 一d f )“) 权修正值：毛( 后+ 1 ) = 瓦( 七) + ，7 4 m ，其中k 为迭代次数( 5 ) 阈值修正：岛( 七+ 1 ) = 岛( 后) + ，7 43 隐节点层( 输入节点到隐节点) 的修正公式( 1 ) 误差公式：= y 。( 1 一) ，) 点瓦( 2 ) 权值修正：w j k + d = w j k ) + ，| l _( 3 ) 阈值修正：只( | | + 1 ) = 鼠( 七) + 叩其中隐节点的误差4 中的4 瓦表示输出层节点，的误差磊通过权值毛向隐节点f反向传播( 误差谚乘权值乃再累加) 成为隐节点的误差，如图4 _ 6 所示。?ff弋矿图3 - 2 误差反向传播- 1 2 -输入层3 4 凹算法的不足与改进b p 算法存在以下问题：1 收敛速度慢b p 算法的收敛速度与许多因素有关，其中包括：( 1 ) 算法参数的选择；( 2 ) b p 算法本身的局限性，如b p 算法的误差曲面存在平坦区域，在这些区域中，误差梯度变化较小，即使权值的调整置很大，误差依然下降缓慢等。2 目标函数存在局部极小点在学习过程中有时会发现，当学习反复进行到一定次数后，网络的全局误差减小的非常缓慢或是根本不再减小了，而此时网络的实际输出与期望输出还有很大的误差，这种情况就是陷入了局部极小点。导致这种现象的原因是由于网络采用的激活函数是一种非线性的函数，这个函数激活后的值是全局误差的输入，因此导致全局误差会存在多个极小值，而网络收敛时很有可能陷入其中的某一个而不是全局的最小值。全局最小点图3 - 3 多个极小值点的连接权空间在图3 - 3 中，若初始时在o 或c 点的位置，网络误差按梯度下降法调整，只能达到局部极小值点；若在b 点的位置，网络误差才能达到全局最小值。所以，要设法使收敛过程跳过局部极小值点3 难以确定隐含层数和隐节点数等结构参数( 包括隐层数、隐层神经元数) 和运算参数( 如步长、非线性函数等) 的选择缺乏理论上的指导，通常只能根据经验来选择。针对b p 酸法的不足，对b p 算法的一些改进主要有0 m n l ；1 附加动量法- 1 3 附加动量法是在反向传播法的基础上，在每一个权值变化量的基础上加上一项正比于前一次权值变化量的僵，并根据反向传播法来产生新的权值变化量，带有附加动量因子的权值调节公式为：a w ( k + 1 ) = m c x a w ( k ) + l r x m c x 墨，o r 1( 3 o w其中k 为训练次数，m c 为动量因子，一般取o 9 5 左右，一为学习速率，是常数，e 为误差函数。附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递，促使权值的调节向着误差曲面底部的平均方向变化，有助于使网络从误差曲面的局部极小值中跳出。它减小了学习过程的振荡趋势，从而改善了收敛性。2 自适应学习率法对于一个特定的问题，要选择适当的学习率非常困难，而且在网络训练的过程中训练开始时效果较好的学习速率，不见得对后来的训练合适。自适应学习率法是指在网络训练的过程中，学习速率能够自适应的调整。自适应调整学习速率有利于缩短学习时间，其权值更新公式为：a w ：l r 堡( 3 2 )a w州m ) ：m c a w ( k ) + l r x m c x 譬( 3 - 3 )o w其中，扣为学习速率，是变量，而附加动量法中的，是常数。通常调节学习速率f ，的准则是：检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选择的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应减小学习速率的值。自适应学习速率f ，的调整公式如下：f 1 0 5 i t ( k ) ( m s e ( k + i ) 1 0 4 m s e ( k ) )( 3 4 )p ( 七) ( 其他)其中m s 8 为均方差，初始学习速率扣( o ) 的选取范围可以有很大的随意性。3 弹性b p ( r e s i l i e n tb a c k p r o p a g a t i o n ) 法1 4 弹性b p 法是1 9 9 3 年德国的m a r t i nr i e d m i l l e r 和h e i n r i c hb r a u n 在他们盼沦文中提出的。这种算法的原理是消除偏导数的大小对权值调整的影响，仅用偏导数的符号来表示权值更新的方向，权值改变的大小仅由专门的“更新值” 来确定：嵋= 0 0 2 1 2 ( 3 - 1 1 )当上式成立时，搜索方向将重新设置为负梯度。使用该方法在处理某些问题时训练效果比用p o l a k - r i b i e r e 共轭梯度法略好，但需要的内存稍微大些。( 4 ) 成比例的共轭梯度( s c a l e dc o n j u g a t e g r a d i e n t ，s c g ) 算法前面提到过的共轭梯度算法要求在每次迭代时进行行搜索，但这种搜索很费时。针对这个问题，s c g 算法忽略了行搜索，其基本原理是利用下面将要讨论的u i 算法与共轭梯度法相结合。采用s c g 算法训练比其它共轭梯度算法需要更多的迭代次数才能达到收敛，但因为它不用进行行搜索，所以每次迭代需要计算的次数显著减少了。s c g 算法的内存要求1 6 与f l e t c h e r - r e e c e s 一样5 拟牛顿算法拟牛顿算法是牛顿算法的变异。在牛顿算法中，网络的权值按照下式调整：“= 一月；1 ( 3 一1 2 )其中，日是海森矩阵牛顿算法比共轭梯度法收敛快，但在b p 网络中海森矩阵的计算相当复杂、耗时。因此，拟牛顿算法在牛顿算法的基础上，通过迭代逐渐建立对海森矩阵的近似，从而达到近似实现牛顿算法的目的( 1 ) b r o y d e n - f l e t c h e r - g o l d f a r d - s h a n n o ( b f g s ) 算法拟牛顿算法中使用最多的是b f g s 算法，它的网络权值调整公式为：= 坞+ ( t + 篙警 去一坐嘎拶c s 一其中，是海森矩阵日的近似值，i ，为网络的权值和阈值，g 为梯度，七为训练次数。尽管b f g s 算法通常需要很少的迭代次数就能收敛，但它每步迭代的计算量和内存需求大于共轭梯度法。因此对于大型网络来说，最好使用弹性b p 法或共婀梯度法，而训练小型网络时使用b f g s 算法效果较好。( 2 ) 一步割线( o n es t e ps e c a n t ，o s s ) 算法o s s 算法是共轭梯度法和拟牛顿的折衷方法。在o s s 算法中，网络权值按照下式调整：l = + 吒丑( 3 - 1 4 )其中p 为搜索方向，参数4 用来减少搜索方向的梯度。利用行搜索函数来确定最小点位置。第一次搜索方向是负梯度方向，在连续迭代中，新搜索方向按照以下公式计算：a w k “= 一既- i - 4 w k + e a g ；( 3 - 1 5 )其中w 为网络的权值和阈值，g 为梯度，七为训练次数，4 与只为新搜索方向调整参数。这种方法不用存储整个海森矩阵，假设每次迭代时前一次的海森矩阵是正定的，并且在计算新的搜索方向时没有用到海森矩阵的逆，o s s 算法每步需要的内存和计算量都小于b f g s1 7 算法，但略大于共轭梯度法。6 ( i z l ) 优化方法在牛顿算法中，如果海森矩阵不是正定的。牛顿方向可能指向局部极大点，或是某个鞍点。这时可以通过在海森矩阵上加一个正定矩阵，使海森矩阵改变为正定。l e v e n b e r g和m a r q u a r d z 首先在最小二乘法问题中引入了这一概念。随后g o l d f e l d 等首次将这一概念应用于b p 算法中，因此有了b p 网络的l e v e n b e r g - m a r q u a r d t 优化算法，简称u l 算法，其权值和阈值的更新公式为：w k + 1 = w k j r j + i u i 一1j 7 e( 3 1 6 )式中，为误差对权值的微分的雅可比矩阵，p 为误差向量，为一个标量。依赖于的幅值，该方法光滑地在两种极端情况之闻变化：即牛顿法( 当 0 ) 和梯度下降法( 当口号) 。采用l m 优化方法，可以使学习时间更短，在实际应用中效果较好。但对于复杂的问题，这种方法需要很大的内存。3 5 髓网络的学习过程设输入层、隐含层的节点数分别为、m 。结合本文实际例子，实际输出层的节点数取1 ，训练的样本数为p ，输入样本向量为：尹= ( 群，嚣，嚣) ( 1 “p ) 。通常取并- - 1 ，这样就把各隐含单元上的阈值转化为与第一个输入单元相连接的权值，便于统一处理以k ( 1 f ，l 七( 3 2 7 )h m其中，k 为样本数，穗为隐含层单元数，玎为输入单元数如果f 玛，c ：= o 啊= 蕊+ 口( 3 2 8 )其中，朋为输出单元神经元数，撑为输入单元数。口为【1 ，1 0 】之间的常数。嘎= l 0 9 2 即( 3 2 9 )其中行为输入单元数。3 6 3 数据预处理当我们利用一些实际数据建立数学模型时，有时不能直接使用这些数据，而要经过数据预处理。本文同样也需要进行数据的预处理工作。这主要是基于两个原因：1 神经网络隐含层激励函数作用范围的限制；2 数据自身特点对神经网络模型适应程度的影响。鉴于上述原因，数据预处理方法也可以分为两类：一类是将数据进行归一化处理，使得数据落在神经网络隐含层激励函数的作用范围内；一类是将数据进行变换，如进行平滑处理，差分处理等，剔除数据中的干扰，提取出样本数据中的典型信号。本文在数据预处理时，均采用归一化的方法。考虑到b p 算法经常采用的激励函数为s i g m o i d 类( s 型和双极型) 函数，该函数在自变量处于饱和区时，收敛速度慢。因此文2 1 献 1 5 中建议将输入与输出数据交换在【0 1 o 9 】或【0 2 o 8 】之间，这样s i s m o i d 类函数在该区间内变化梯度增大，网络收敛速度提高，网络性能改善。具体算式“耵是：】，= o 1 + 0 孑8 ( x - i x _ 血)l ，【o 1 ，o 9 】( 3 - 3 0 )x m x m1=。y ：o 2 + 了o 6 ( x - l x m ) y e o 2 ，o 8 】x m x 咖i3( 3 - 3 1 )式中，x 为原始数据，x 。和z 血分别为原始数据的最大值和最小值，】，为变换后的数据a 本文在进行数据预处理时，将输入变量与输出变量数据归一化到 o ，1 】之间。与其相对应的数据逆变换算式为：x = x 嘲+ y x 僻。一x m i n )( 3 - 3 2 )使用上式即可以还原出所代表的真实数据。3 6 4 激励函数的选取激励函数，为非线性、连续可微的非递减函数，可以严格利用梯度法进行推算，它的权的学习解析式十分明确。对于多层的神经网络，激励函数对区域的划分是由一个非线性的超平面组成的区域，它是比较柔和、光滑的任意界面。因而，它的分类比线性划分精确、合理，这种网络的容错性较好。常见的激励函数厂；对数s i 鄹。i d 函数：，。) = 万1双曲正弧鲫i 涵数：m 蔷3 6 5 网络学习参数的选取1 权值和阈值的初始值的选取神经网络权值和阈值的初始值对于网络训练是否达到局部最小、是否能够收敛以及训练时间的长短关系都很大。如果初始值太大，使得加权后的输入落如激励函数的饱和区，导致其导数厂伍) 非常小；而在计算权值修正公式中，因为正比于厂仁) ，故当，g ) 0时，则有_ 0 ，使得_ 0 ，使得整个网络调节过程就会趋向于停顿“”。所以，一般总是希望初始加权后的每个神经元的输出值都接近于零，这样可以保证每个神经元的权值都能够在它们的激励函数变化最大之处进行调节。故一般将权值和阈值的初始值取( - l ，1 ) 之间的随机数。2 学习速率玎的选取学习速率玎决定每一次循环中所产生的权值