（系统工程专业论文）灰色BP神经网络方法的研究.pdf

摘要 b p 神经网络在函数逼近、模式识别、分类、数据压缩等领域有着非常广泛 的应用。然而，目前的b p 神经网络模型主要是针对信息确定性问题进行研究。 基于实际应用的需求，应从信息不确定性、模糊性等方面进行相应的拓展。 在传统的b p 网络模型里，训练样本往往都是以单值的形态存在的，但是在 一些实际应用中，训练样本属性值具有不确定性。此时，若是依然按照传统b p 神经网络的方法进行训练和预测，则会大大影响网络的泛化能力。目前，针对训 练样本的灰色特点，很多专家学者结合粗糙神经元和模糊神经元进行了深入的研 究，并取得了一定的进展。然而，通过结合灰色系统理论知识，来处理训练样本 不确定性问题的研究还比较少。基于以上分析，本文提出了一种基于灰色神经元 的b p 神经网络方法。该方法先分析了灰色神经元的可行性；然后结合灰色理论 的特点，提出了一种灰色神经元的设计方法；最后根据设计的灰色神经元，构建 灰色b p 神经网络预测模型，并通过实例验证该模型的合理性和有效性。 此外，为了有效提高b p 神经网络的学习性能，需要从一个新的角度考虑神经 网络的学习训练。武妍、王守觉等提出的f b b p 算法：将神经网络输入调整与通 常的权值调整的反向传播算法结合起来，通过调整权值和输入矢量值的双重作用 来提高神经网络的性能。但是在输入矢量的调整过程中，输入矢量值可能会无限 制的增长，从而影响网络的学习能力和泛化能力。基于此，本文提出了一种基于 f b b p 的新算法一g b p 算法。该算法不仅将传统的权值调整方法与输入矢量调整的 方法结合起来，并对输入矢量进行灰度调整，通过缩小输入灰度，优化神经网络 的输入，从而解决了f b b p 算法的不足，以使神经网络训练更具有合理性，实现 更有效的学习。通过实验证明，所提出的方法是非常有效的，不仅能保持原有分类 的不变性，还具有训练速度快和泛化能力高的双重优点。 关键词：b p 神经网络；灰色神经元；灰色系统理论；g b p 算法 a b s 。l k a c l b p ( b a c kp r o p a g a t i o n ) n e u r a ln e t w o r kh a sav e r yw i d er a n g eo fa p p l i c a t i o n si n f u n c t i o na p p r o x i m a t i o n ，p a t t e mr e c o g n i t i o n ，c l a s s i f i c a t i o n ，d a t ac o m p r e s s i o na n ds o o n h o w e v e r , b pn e u r a ln e t w o r km o d e lf o rm o s to ft h ep r o b l e mo fu n c e r t a i n t y s o ，i t i sn e e dt o s t u d yo nt h ei n f o r m a t i o nu n c e r t a i n t ya n da m b i g u i t yf o rp r a c t i c a l a p p l i c a t i o n b pi nt h et r a d i t i o n a ln e t w o r km o d e l ，t h et r a i n i n gs a m p l e sa r eo f t e ni nt h ef o r mo f s i n g l e v a l u e d ，b u ti np r a c t i c a la p p l i c a t i o n s ，t h ea t t r i b u t ev a l u e so ft r a i n i n gs a m p l e si s s o m e t i m e su n c e r t a i n t y a tt h i sp o i n t ，i fi ti ss t i l lt h et r a d i t i o n a lm e t h o do fb pn e u r a l n e t w o r k t r a i n i n g a n d p r e d i c t i o n ，i t w i l l s i g n i f i c a n t l y a f f e c tt h en e t w o r k s g e n e r a l i z a t i o na b i l i t y a tp r e s e n t ，t h et r a i n i n gs a m p l e sf o rt h ec h a r a c t e r i s t i c so ft h e g r a y , m a n ye x p e r t sa n ds c h o l a r sr o u g hf u z z yn e u r o n sa n dn e u r o n si na ni n d e p t h r e s e a r c h ，a n dh a sm a d es o m ep r o g r e s s h o w e v e r ，t h et h e o r e t i c a lk n o w l e d g et h r o u g ha c o m b i n a t i o no fg r a y , t od e a l 、 ，i t ht r a i n i n gs a m p l e so fu n c e r t a i n t yr e s e a r c hi ss t i l l r e l a t i v e l ys m a l l b a s e do nt h ea b o v ea n a l y s i s ，t h i sp a p e rp r o p o s e sa na p p r o a c hb a s e d o ng r a yn e u r o n sb pn e u r a ln e t w o r km e t h o d t h em e t h o di sf i r s ta n a l y z e dt h e f e a s i b i l i t yo fg r a yn e u r o n s ；t h e o r ya n dt h e nc o m b i n i n gt h ec h a r a c t e r i s t i c so fg r a y ，a g r a yn e u r o n so ft h ed e s i g nm e t h o d ；f i n a l l y , a c c o r d i n gt ot h ed e s i g no fn e u r o n st o b u i l dg r a yb pn e u r a ln e t w o r kp r e d i c t i o nm o d e la n da ne x a m p l eo ft h em o d e lo f r a t i o n a l i t ya n de f f e c t i v e n e s s b e s i d e s ，i no r d e rt oi m p r o v et h es t u d y q u a l i t yo fb pn ne f f e c t i v e l y , i ti s n e c e s s a r yt ot h i n ka b o u tt h es t u d yt r a i n i n go fn nf r o mt h en e wa n g l e w uy a n ，w a n g s h o 哂u ee t cp u tf o r w a r dt h ef b b pa r i t h m e t i c p u tt h ei n p u tr e g u l a t i o no fn na n dt h e c o m m o nr e v e r s ep r e v a l e n c ea r i t h m e t i ct o g e t h e r ，a n dr e g u l a t et h ei n p u tv e c t o rd a t a a n da u t h o r i t yr e s u l tt om i n i m i z et h en n se r r o rf u n c t i o n h o w e v e r ，i nt h ep r o c e s so f r e g u l a t i o ni n p u tv e c t o r , i n p u tv e c t o rr e s u l tm a yi n c r e a s ec e a s e l e s s l ya n di n f l u e n c et h e s t u d ya b i l i t ya n de x t e n s i v ea b i l i t yo fn e t w o r k s o ，t h ep e o p l ep u tf o r w a r dt h en e w a r i t h m e t i cb a s e do nf b b p - g b pa r i t h m e t i c t h ea r i t h m e t i cn o to n l yp u tt h ea u t h o r i t y r e s u l tr e g u l a t i o nm e t h o da n di n p u tv e c t o rr e g u l a t i o nm e t h o dt o g e t h e r , b u ta l s od ot h e g r a y r e g u l a t i o nt ot h ei n p u tv e c t o r a f t e rt h ed e c r e a s i n go fi n p u t ，o p t i m i z i n go fn n i n p u t ，t h ee r r o ro ft h ef b b pa r i t h m e t i ch a sb e e ns o l v e da n dt h en nt r a i n i n gi s r e a s o n a b l e s ot h ee f f e c t i v es t u d yi sc o m ei n t ot r u e a f t e rt h ee x p e r i m e n t ，i ti sf o u n d t h a tt h em e t h o di se f f e c t i v e i tn o to n l yk e e p st h ei n v a r i a b i l i t yo fp r i m ec l a s s i f i c a t i o n ， b u ta l s oh a st h ea d v a n t a g eo fq u i c kt r a i n i n gs p e e da n dh i g he x t e n s i v ea b i l i t y k e y w o r d s ：b pn n ；g r a ys y s t e mt h e o r y ；g r a yn e u r o n s ；g b pa l g o r i t h m 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。本人 在论文写作中参考其他个人或集体已经发表的研究成果，均在文中以适当方 式明确标明，并符合法律规范和厦门大学研究生学术活动规范( 试行) 。 另外，该学位论文为() 课题( 组) 的 研究成果，获得() 课题( 组) 经费或实验室的资助，在 () 实验室完成。( 请在以上括号内填写课题或课题组负责 人或实验室名称，未有此项声明内容的，可以不作特别声明。) 声明人( 签名) ：【虱乡灾 矿。1 年毛其7 b 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办 法等规定保留和使用此学位论文，并向主管部门或其指定机构送交 学位论文( 包括纸质版和电子版) ，允许学位论文进入厦门大学图书 馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国 博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和 摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于： () 1 经厦门大学保密委员会审查核定的保密学位论文， 于年月日解密，解密后适用上述授权。 () 2 不保密，适用上述授权。 ( 请在以上相应括号内打“”或填上相应内容。保密学位论文 应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密 委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权。) 声明人( 签名) ：c 日放 矿、年6 其c b 第一章绪论 第一章绪论 1 1 研究背景、目的及意义 人工神经网络由于其强大的并行处理、分布式信息存储、自组织自适应及其 学习能力，已广泛应用于模式识别、人工智能、控制工程及信号处理等领域。而 b p 神经网络又是众多神经网络中应用最广泛的一种。它在函数逼近、模式识别、 分类、数据压缩等领域有着更加广泛的应用。在神经网络的应用中，如何提高神 经网络模型的收敛速度和泛化能力一直是众多专家学者关注和研究的方向。 神经网络( n e u r a ln e t w o r k ，n n ) 的泛化能力或推广能力，是指神经网络在训 练完成以后输入其训练样本之外的新数据时获得正确输出的能力。所以，泛化能 力是神经网络最主要的性能之一，没有泛化能力的神经网络没有任何使用价值。 如何提高n n 的泛化能力一直是该领域研究者所关注的问题。而神经网络的样本 复杂性和结构复杂性是影响神经网络泛化能力的主要因素，所以，人们的研究大 都集中于此。例如，正则化、网络集成、输入模糊化、结构优化、p c a 方法对 样本预处理等，这些方法不同程度地提高了n n 的泛化能力。但总体上说，n n 的 泛化仍然是一个没有解决或没有完全解决的问题。 近年来，很多学者对如何加快b p 算法收敛速度的问题做了大量的研究，许多 研究者提出了不少改进的方法，如避免过早饱和的方法：调整权值方法；正则化 方法；交互式方法；改变学习率的方法以及改变激励函数的方法等。这些方法都 对误差反向传播算法的性能进行了一些改善。但总的来讲，主要都是基于对连接 权值调整的大小上下工夫，急需从其他的角度入手，开发一些有效的学习方法。 此外，在处理信息不完备或是信息不确定性的问题时，传统的神经网络往往 很难涵盖所有的有效信息数据，容易造成信息的缺失，从而影响网络训练和预测 的性能。目前，已有不少的专家学者提出了基于模糊数学和粗糙集理论方面的神 经网络研究，并取得了重大的突破，且很好地把理论研究落实在了实际应用中。 然而结合灰色系统理论，利用灰色神经元来表示输入样本特征的方法，目前相关 的研究还很少。 基于以上的分析，本文将通过研究模糊神经元和粗糙神经元的相关知识，然 后结合灰色系统理论的特点，提出了一种基于灰色神经元的b p 神经网络方法，并 l 灰色b p 神经网络方法的研究 给出实例，进一步验证灰色神经元在神经网络应用中的可行性与有效性；此外， 本文在f b b p 算法的基础上，通过引进灰色系统理论的灰数与灰度概念，优化神经 网络的输入，提高神经网络的收敛速度，以使神经网络训练更具有合理性。 1 2 神经网络的发展历程 人工神经网络( a r t i c f i a l i n u e a r l n e t w o k s r ) 是由若干元( 也称神经元) 按照 不同方式相互连接而构成的非线性动力系统，是对人脑网络若干基本特性的抽象 和模拟，具有高度的并行性和高速的信息处理能力。智能研究的重要组成部分之 一，它己成为神经科学、脑科学、心理学、认知机科学和数理科学等领域的研究 人员共同关注的焦点。 神经网络的研究已有6 0 年的历史，其发展经历了兴起、高潮、萧条、复展 的曲折道路 1 - 3 l 。上世纪4 0 年代，心理学家w s m c c u l l o c h 和数理逻辑学家 w p i t t s 根据人的神经元结构提出了一种形式化神经元模型( m - p 模型) ，并用于 图像识别等。这是第一个用数理语言描述脑的信息处理过程的模型，从此开创了 人工神经网络研究的时代。5 0 年代末期，计算机科学家f r o s e n b l a t t 给出一种 能够进行简络模型，称之为感知机( p e r c e p t r o n ) ，并证明了在某种条件下算法的 收敛性。r o s e n b l a t t 和其他一些研究者曾对之报以很高的希望，以此为代表神 经网络形成了首次研究的高潮，但是，1 9 6 9 年，作为人工智能创始人之一的 m m i n s k y 和s p a p e r t 等经过数年的潜心研究，从理论上证明了单层感知机分类 能力的局限性，并指出只有做某些改进才会使其能力得到增强。至于能否找到一 种有效的改进算法，m i n s k y 的态度是悲观的。他们的分析恰似一瓢冷水，让很 多学者感到前途渺茫而纷纷改行。在这之后近l o 年，神经网络研究进入一个缓 慢发展的萧条期。一直到1 9 8 2 年，美国生物物理学家j j h o p f i e l d 提出了一种 新的非线性网络模型( h o p f i e l d 模型) ，这种神经网络系统的运行机制是要求网 络的能量函数达到最小状态。h o p f i e l d 模型可以模拟联想机制，在信息不完全 或受干扰的情况下图像仍能恢复到原来的清晰状态。更为重要的是，h o p f i e l d 用这种网络来解决旅行商问题，可以在概率意义下获得最优路径，并且也可以使 用模拟退火技术使概率增加。这说明了主要用来模拟形象思维的神经网络也可以 解决逻辑思维中部分难以解决的问题，从而使人们看到了神经网络的魅力。接着， 2 第一章绪论 1 9 8 6 年，d e r u m e l h a r t 和j l m c c l e l l a n d 出版了具有轰动性的著作并行分 布处理一认知微结构的探索，提出了用于训练多层感知器的“误差反向传播算 法( b p 算法) ”，并将这种网络应用于信息处理、模式识别和数据压缩等领域， 都取得了较好的效果。所有这些都引发了人们对人工神经网络的热切关注，因此 这段时间被称为神经网络研究的复兴时期。近3 0 年来，神经网络渐渐走上了稳 步发展的道路，并不断参透到生命科学和工程科学等科学研究的诸多领域，逐渐 形成一门交叉学科。 1 3 国内外研究概况 1 3 1 国外研究现状 关于减小网络规模的做法：1 9 9 7 年d o u g h e r t y 和c o b b e t t 两人针对神经网 络在短期交通流预测中的应用时，存在着大量参数的确定问题，提出了利用弹性 测试的方法来减小网络规模的一种递推技术。神经网络最初的训练问题是确定合 适的输入参数。在这项研究中所用的数据包括：流量、流速、占有率。包括了非 高峰时段和高峰时段以及事件的条件，最初的试验是以一分钟为时段的，不是很 成功。因为这样的随机性很大，同时由于考虑每一个单独的车道的数据更加剧了 这种随机性。因此数据结合了非机动车道的数据，并且时段划分为五分钟。 用弹性分析法来理解训练的网络，通过分配给每一个输入结点的扰动性分析 进行分析以及观察结果的运动。通过使用这种方法每个结点的重要性可以得到评 价。 对于网络的测试和调整训练包括三方面：1 ) 对集合的初步训练：最初较大 的网络通过可能获得的数据进行训练，集合包括了试验点的所有数据；2 ) 用弹 性测试检验神经网络，观测输出数据随每一个输入数据变化的规律；3 ) 最后的 训练是使用大量的数据包括例子进行训练，确定代表网络特性的数据点。最后对 网络的性能进行评价并用统计分析的方法给出了预测准确的量度。 。d o u g h e r t ym c o b b e nm s h o r t t e r mi n t e r - u r b a nt r a f f i cf o r e c a s t su s i n gn e u r a ln e t w o r k s j i n t e r n a t i o n a lj o u r n a l o f f o r e c a s t i n g ( s 0 1 6 9 - 2 0 7 0 ) ，1 9 9 7 ，1 3 ：2 1 - 3 1 3 灰色b p 神经网络方法的研究 1 3 2 国内研究现状 1 9 9 8 年吉林工业大学初连禹和杨兆升提出了一种模糊神经网络的预测模型 ，这种模型基于模糊控制建立一个模糊预测模型用神经网络记忆模糊模型中的 模糊规则。用当前的实测流量、历史流量、平均速度等作为输入量，并与基于历 史数据和时间序列方法建立的模型进行了比较，与这两种方法相比模糊神经网络 方法没有时间上的延迟。神经网络采用了一个三层的b p 神经网络。其中隐藏层 的功能函数采用双曲正切函数，权重按照随机方式初始化，并按照最陡下降法对 权重系数进行调整。 王宏杰，林良明等提出了基于改进的b p 神经网络理论模型的路面交通流时 序的预测算法 ，针对于b p 神经网络的学习率，用动量法对网络的收敛性进行优 化。b p 神经网络最初是通过对每一个样本进行训练最后确定网络的参数，这样 的训练方法的缺点就是需要很长的时间并且收敛的速度也较慢。文章采用了一种 积累误差的成批处理的方法来解决这个问题。虽然是采用了积累误差的方法但是 b p 算法仍然存在收敛速度慢的问题。因此文章讨论了通过调整学习率的方法来 提高收敛速度。调整的原则是使它的每一步保持尽可能大的值，又不至于使学习 过程产生振荡。因此采用了启发式调整。b p 网络的另一个缺点是容易陷入局部 最小点，所谓的动量法就是在原有权值调整的基础上再加上一个动量向。在对输 入数据的预处理上文章采用了按比例缩放的方法。最后文章还将改进的算法与几 种算法进行了比较从计算次数上和平均误差上。 2 0 0 2 年谭国真和丁浩提出了一种基于线性独立函数的智能神经元模型 。从 广义的神经元讲，它能够大大地增强神经元的信息存储能力。文章指出了在大量 样本存在的情况下b p 神经网络存在收敛速度慢的情况。以往的研究中人们用线 性独立函数对神经网络输入层进行预处理，使神经网络具有较好的映射效果。文 章提出了拓展神经元的思想也就是所谓的广义神经元，采用的是正弦和余弦函数 对神经元进行构建。通过这种拓展能够增强神经元存储信息的能力。对输入数据 的选择，通过相关路段的相关性分析，选择相关系数大的进行输入。 2 0 0 4 年杨世坚和贺国光两人提出了模糊c 均值和神经网络相结合的预测方 由初连禹，杨兆升基于神经网络的实时交通流量的模糊预测 j 中国公路学报，1 9 9 8 ，1 1 ：7 8 8 2 。王宏杰，林良明基于改进b p 网交通流动态 j 交通与计算机，2 0 0 1 1 9 ( 3 ) ：1 1 1 4 谭国真，丁浩广义神经网络的研究及其在交通预测中的应用 j 控制与决策，2 0 0 2 1 7 ：7 7 7 7 8 4 4 第一章绪论 法。文章指出了神经网络对于短期交通流预测很有效，但是也存在缺点即当异 常交通流出现时难以准确判断未来交通流的运行状态，而模糊神经网络对于3 0 分钟以上的交通流预测的效果比较好，对于更短的交通流预测相对困难。针对两 者的特点这篇文章将这两者进行了结合。模糊c 聚类方法是建立在误差平方和的 基础上的，以样本属于某类的隶属等级来表示样本与某类的距离。这样通过这些 方法对数据进行分类。 1 4 本学位论文的工作 虽然经过近年来的研究和发展，b p 神经网络在理论应用方面得到了快速的 发展，但现有研究成果的不足和缺陷在一定程度上限制了b p 神经网络在某些领 域的规模应用。本文将结合灰色系统理论相关知识，对b p 神经网络模型的训练 和预测性能进行研究。本文将要研究的主要工作包括以下几个方面。 1 b p 神经网络应用广泛，主要应用于函数逼近、模式识别、分类和数据压 缩等方面；它也是前向网络的核心部分，体现了人工神经网络的精华。本文将从 b p 神经网络模型的结构及其特点等方面进行论述，并对灰色系统理论与神经网 络的融合性问题进行研究。 2 在实际的应用中，神经网络训练的样本往往都是不确定性的，经常会以 灰数的形态存在。基于实际的需求，本文结合灰色系统理论知识，提出了一种基 于灰色神经元的b p 神经网络方法。在本文中，先是分析了灰色神经元的可行性； 然后根据神经网路传统神经元的性质，设计了一种灰色神经元；最后，根据设计 的灰色神经元，建立灰色b p 神经网络预测模型，并用实例验证了该方法的有效 性。 3 为了提高传统b p 神经网络学习算法的效率，本文结合灰色系统理论知识 和f b b p 算法，提出了一种基于灰色区间的神经网络算法( g b p 算法) ：将传统 的权值调整方法与输入矢量调整的方法结合起来，并对输入矢量进行灰度调整。 最后，通过实例证明了g b p 算法的合理性和可行性。 。杨世坚，贺国光基于模糊c 均值聚类和神经网络的短时交通流预测方法 j 系统工程，2 0 0 4 ， 2 2 ( 8 ) ：8 3 8 6 5 灰色b p 神经网络方法的研究 1 5 全文的组织结构 本学位论文一共包括5 章。 第一章主要对课题的研究背景、目的、意义及神经网络的发展历程、国内外 的研究概况进行了阐述。 第二章首先分析了灰色理论的基本概念；然后分析研究了人工神经网络模 型，并重点分析了b p 神经网络模型的结构、数学描述、学习过程以及优缺点等。 最后，进一步研究分析了灰色系统理论和神经网络的融合性问题。 第三章借鉴粗集神经元和模糊神经元等相关知识，结合灰色系统理论的特 点，提出了一种基于灰色神经元的b p 神经网络方法。然后，通过实例验证该方 法的有效性。 第四章结合灰色系统理论知识，提出了一种基于灰色区间的b p 神经网络算 法，并验证该算法的合理性。 第五章对全文工作的总结以及对未来研究方向的展望。 6 第二章灰色系统理论和b p 神经网络摹本概念 第二章灰色系统理论和b p 神经网络基本概念 本章先介绍灰色系统理论的基本概念，然后针对b p 神经网络模型的结构及 其特点等方面进行论述，最后对灰色系统理论与神经网络的融合性问题进行研 究。 2 1 灰色系统理论的基本概念 灰色系统理论【7 - 9 1 是一种处理少数据不确定性信息的数学工具。灰色系统为 少数据、不确定性系统，是信息部分确定、部分不确定：部分完全、部分不完全： 部分已知、部分未知的系统。灰色系统理论的主要思想是通过对现有少数据进行 灰色生成，对少数据、不确定性系统进行数据处理和信息加工，从而挖掘出其中 有价值的知识和规律。 2 1 1 灰色系统理论的基本定理与法则 灰色系统用灰数、灰色方程、灰色矩阵等来描述，其中灰数是灰色系统的基 本“单元”或“细胞 。 我们把只知道大概范围而不知道其确切的数称为灰数。在应用中，灰数实际 上指在某一个区间或某一个一般的数集内取值的不确定数。通常用记号“p ”表 示灰数。 设有灰数p l h 6 】，a 6 ； 2 【c ，d 】，c d ，用符号幸表示o l 与p 2 间的运算，若 0 3 = p l 木p 2 ，则0 3 亦应为区间灰数，因此应有圆3 【p ，门，e f 。 法则2 1 设 l 口，6 】，a 6 ；0 2 c ，d 】，c d ，则o l 与0 2 的和记为o l + 0 2 ， 且 0 l + 0 2 【a + c ，b + d 2 1 1 法贝u 2 2 设 1 【口，6 】，a 6 ；p 2 【c ，d 】，c d ，贝i j p 1 一0 2 = o l + ( 一p 2 ) 【a - d ，b c 】 法贝2 3 设o l 口，6 】，a o ，贝u 。 矧1 灰色b p 神经网络方法的研究 法贝i j2 4 设o l 【口，b l ，a 6 ； 2 【c ，d 】，c d ，贝0 固l 2 m i n a c ，a d ，b c ，b d ，m a x a c ，a d ，b c ，h a 】 法贝q2 5 设o l 【d ，6 】，口 6 ；0 2 【c ，d 】，c d ，c 0 ，贝l j 9 i 0 2 = o l 噬1 ，即 p 。： r 血n 詈，詈，鲁，导) ，m a x a ，詈，鲁，导) 法则2 6 设 口，6 】，a - j 的目的就是使这个误差函数达到最小，典型的优化计算方法是采用 一阶梯度法，或者叫做最速下降法。该算法的关键是寻找目标函数e 对寻优参数 的一阶导数。计算过程是从输出层开始，逐层求解误差函数e 对各权系数的导数， 然后令： 母嚆 ( 2 5 ) r 为系统的学习效率。 从而修正权系数嵋： 嵋o + 1 ) = 增( ，) + 弼o + 1 ) ( 2 6 ) 其中嵋o + 1 ) 一第q 层第f 个节点与第歹个节点的连接权系数在第( f + 1 ) 次学 1 2 第二章灰色系统理论和b p 神经网络基本概念 习后的值。嵋( f ) 一第g 层第f 个节点与第个节点的连接权系数在第( ，) 次学习后 阴但。嘭u + 1 ) 一弟q 层弟i 个节点与弟歹个节点明连瑗权系数在弟u + 1 ) 次学习 后需要的修正值。 自于螂+ 1 ) 嚆，故嚣附算如下 两a e = 嚣，篱的计算根据该层位置的不同而改变，具体如下 输出层： 嚣= 毳蕃蔷一c z 训八彬一后1 亿7 ， 其中： 铝= 嘉叫一蟾州q ) ( 2 8 ) 厂7 ( ) 一一激活函数的一阶导数。 对于o 一1 层( 隐含层) 睾= 参器= ( 善一嚷嵋卜肛母1 亿9 ， 其中： 一参= ( 善一嚷嵋卜 亿 由式( 2 7 ) 一( 2 1 0 ) ) 可以看出，学习信号是反向递推计算的，首先由输出层 输出与期望响应的差推出鳄，并根据它递推出反向次层q 一1 层的，依次类推， 算出所有的器，并由他们算出嵋。从而修正全部连接权系数。在以上的推导 过程中，涉及导数项厂( x ：) 它是激活函数的一阶导数，计算如下： 由y ：2 几驴q ) 2 蕊1 。求导可耐( x 脚j ，驴q ( 1 一y 这样即可完成网络学习过程的误差反传计算。 b p 网络采用“万学习拥刚”对网络讲行训缤笪渎烙学y - i 讨程分为两个环 1 3 灰色b p 神经网络方法的研究 节：样本数据正向传播过程和误差信号反向传播过程。 2 2 3b p 网络模型的计算流程 b p 算法可以通过以下具体过程实现： 1 确立网络模型，初始化网络及学习参数。 2 提供训练模式，选实例作学习训练样本；训练网络，直到满足学习要求。 3 前向传播过程，对给定训练模式输入，计算网络的输出模式，并与期望模 式比较，若误差不能满足精度要求，则误差反向传播。 4 反向传播过程。 b p 神经网络计算流程见图2 3 。 2 2 4b p 算法的优缺点 1 只要有足够多的隐藏层和隐藏节点，b p 神经网络可以逼近任何非线性映 射关系：但节点过多，影响网络泛化能力。 2 隐藏层数和节点个数难以确定。选取尚无理论上的指导，而是根据经验或 实验选取。 3 该算法属于全局逼近算法，具有较好的“泛化”能力，计算的样本对学习 样本集的依赖性不高。非常适合于信息处理、图象识别、模型辨识等方面。 4 容易出现局部极值而产生误差振荡，造成收敛效果不佳。 5 收敛速度很慢，因此难以满足控制系统的适时反应要求。 针对这些问题，需要对标准b p 算法做必要的改进，以加快收敛速度达到最 优化。对于b p 算法的改进主要有权值调整、自适应学习速率调整、网络结构调 整等。常用的改进方法有以下几种：( 1 ) 加入动量项；( 2 ) 自适应学习速率调整； ( 3 ) 共扼梯度算法：( 4 ) l e v e n b e r g m a r u q a r t 算法。除了改进算法以外，通过 改变神经网络结构( 隐层结点数和网络层数) 、调整误差等方法，也能加快b p 算 法的收敛速度。 1 4 第二章灰色系统理论和b p 神经网络基本概念 图2 3b p 神经网络计算流程图 2 2 5 本文采用的b p 神经网络结构 本章及以下章节的神经网络结构都采用带一个隐含层的3 层前向网络，隐含 层和输出层结点都采用标准的s i g m o i d 激励函数，为方便起见，把阈值写入连接 权中去，则： n e t j = ， i = 0 1 5 灰色b p 神经网络方法的研究 其中， 吩= f ( n e t j ) ，= 1 ，啊， n e t k = u j w j k ， j = o 坛= f ( n e t k ) ，k = 1 ，m ， m ) = 专 以上各式中，x i 表示神经网络的第i 个输入：叶表示神经网络隐含层的第j 个输出；y k 表示神经网络的第k 个输出：表示输入层与隐含层之间的连接权 值：表示隐含层与输出层之间的连接权值。 b p 算法实质是求取误差函数( e ) 的最小值问题。这种算法采用非线性规划中 的最速下降方法，按误差函数的负梯度方向修改权系数。 = 一刁瓦o e = 一刁( 儿一) ( 1 一以) 甜， a e 嘞2 一刁瓦 瓦o e = 融训棚训卜心， 其中， e ：要兰( 欺一气) z ， 其中，t 1 称为学习率。 2 3 灰色系统与神经网络融合方式的分析 灰色神经网络就是将灰色系统方法与神经网络方法有机地结合起来，对复杂 的不确定性问题进行求解所建立的模型。灰色系统( g r e ys y s t e m ) 是指信息不完 全、不确定的系统，灰色问题( g r e yp r o b l e m ) 是指结构、特征、参数等信息不完 备的问题。而神经网络具有并行计算，分布式信息存储，容错能力强，自适应学习 功能等优点，在处理复杂的人工智能问题上显示出极优越的地位。通过对灰色系 统和神经网络的研究，研究发现灰色系统和神经网络可以融合( 都可看作是数值 1 6 第二章灰色系统理论和b p 神经网络基本概念 化、非数学模型的函数估计器) ，两种方法各有所长。如果把两者结合起来，建立 一种兼具两者优点的方法，则利用这种方法求解灰色问题时，与神经网络方法相 比；计算量小，在少样本情况下也可达到较高精度；与灰色系统方法相比：计算 精度高，且误差可控。 目前，关于神经网络与灰色系统结合的研究还比较少，对于灰色系统与神经 网络的融合技术的研究还有待进一步深入。从灰色系统与神经网络的融合的可行 性及其融合的可能方法进行分析与研究，我们可将灰色系统与神经网络技术从简 单融合和组合融合进行分析如下： 2 3 1 灰色系统与神经网络的简单融合 1 神经网络与灰色系统弱融合 在复杂系统中，可同时使用灰色系统方法和神经网络方法对于灰色特点明显 且没有分布并行计算的部分使用灰色系统方法来解决，而对于无灰色特征属黑箱 的部分用神经网络解决，两者之间无直接关系。例如：系统行为因子x 。受多种 因素的影响，可以通过灰色关联分析找出对行为x 0 有较大影响的几个因子，再 以它们的时间序列数据作为输入，用神经网络来对) ( o 进行预测，从而可以提高 预测精度。 2 串联型融合 灰色系统方法如灰色模型与神经网络在系统中按串联方式连接，即一方的输 出为另一方的输入，例如文献，一个用于计算机系统容错分析预测的结构，如图 2 4 所示。在此系统中，由灰色系统g m ( 1 ，1 ) 预测每个时间步上不同数据个数的 计算机系统的可靠性；而后，将其预测结果输入神经网络中，神经网络被训练收 敛于期望的计算机系统可靠性，最后，调用基于已训练神经网络g m ( 1 ，1 ) 来预测 计算机系统的可靠性。 1 7 灰色b p 神经网络方法的研究 初始数列选择器 g m ( 1 ，1 )存储器 时间选择器神经网络 图2 4 灰色系统与神经网络结合串联融合预测 3 用灰色系统辅助构造神经网络 由于灰色系统的信息结构分为确定性信息与不确定性信息，用神经网络技术 求解灰色系统时，可用灰色系统中的确定性信息来辅助构造神经网络，由确定性 信息指导神经网络结构，改进神经网络的学习算法。 4 用神经网络增强灰色系统 灰色系统建模的宗旨是将数据列建成微分方程模型，由于信息时区内出现空 集( 即不包括信息的定时区) ，因此只能按近似的微分方程条