（计算数学专业论文）灰色系统理论和人工神经网络融合的时序数据挖掘预测技术及应用.pdf

灰色系统理论和人工神经网络融合的时序数据挖掘预测技术及应用作者简介：周志刚，男，1 9 7 7 年5 月生，2 0 0 3 年从师于郭科教授，于2 0 0 6 年7月毕业于成都理工大学计算数学专业。摘要随着管理信息系统( m i s ) 应用水平的提高，决策人员和研究人员掌握了大量数据，并希望利用数学模型来分析这些数据，挖掘有用信息，从而进行定量预测。本文针对一维等时距时间序列，将应用范围极其广泛的灰色系统理论和神经网络技术融合起来，研究并建立了不同的融合模型，提出了灰色系统理论和神经网络融合的时序数据挖掘技术。本文首先在第2 章里阐述了灰色系统模型的优点与不足，针对g m ( i ，1 ) 模型的缺陷和不同的数据列特点给出了基于各种改进g m 模型的数据挖掘预测技术；同时阐述t b p $ 中经网络的有关理论，提出了基于有动量的自适应梯度下降法b p 神经网络挖掘预测模型，用于对攀枝花市的钢产量进行预测；重点为第3 章，对灰色模型和神经网络模型取长补短，提出了灰色系统理论和神经网络融合的各种模型，并将融合方式分为：1 弱融合( 简单融合) ；2 强融合：2 1 组合融合( c o m b i n a t i o ng r e yn e u r a ln e t w o r kc g n n ) ：2 1 1c g n ni2 1 。2c g n n i i2 2 完全融合( f u llg r e yn e u r a ln e t w o r kf g n n ) ：2 2 1f g n ni2 2 2f g n n i i2 2 3f g n n i i i选取部分模型用于攀枝花市水泥用石灰岩的需求量的挖掘预测，进行对比分析。实例表明灰色系统理论和神经网络融合的时序数据挖掘模型f g n ni 对具有波动性质、随机性较大的时间序列挖掘预测比单一的灰色模型和神经网络模型更有效；与其它常用时序数据挖掘模型比具有所需样本少，操作简单，更具实用价值。关键词：数据挖掘，预测，灰色理论，g m ( 1 ，1 ) ，b p 人工神经网络，融合作者签名：周志刚t h ef u s i o nt e c h n o l o g yb e t w e e ng r e ys y s t e mt h e o r i e sa n dn e u r a ln e t w o r k sa n di t sa p p l i c a t i o ni np r e d i c t i o nf o rt i m es e q u e n c ei n t r o d u c t i o no f t h ea u t h o r ：z h o uz h i g a n g ，w a sb o r no nm a y2 5 ，1 9 7 7 ，b ea w a r d e dt h es c i e n c em a s t e r sd e g r e eo f c o m p u t i n gm a t hi nc h e n g d uu n i v e r s i t yo f t e c h n o l o g yo nj u l yo f 2 0 0 6 ，u n d e rt h eg u i d a n c eo f p r o f g u ok e a b s t r a c tw i t l li m p r o v i n go ft h ea b i l i t ya b o u ta p p l i c a t i o no fi m sr i n f o r m a t i o nm a n a g i n gs y s t e m ) ；t h er e s e a r c h e r sa n dd e c i s i o n m a k e r sh o l dl a r g en u m b e r so fd a t a ，a n de x p e c tu s i n gm a t hm o d e lt oa n a l y s i st h o s ed a t aa n dm i n i n gu s e f u li n f o r m a t i o nf o rt h es a k eo fq u a n t i f i c a t i o n a lf o r e c a s t i nt h ep a p e r , a i m i n ga to n e d i m e n s i o ne q u a lt i m ei n t e r v a ld a t ar o w s ，t h ev a r i o u sa m a l g a m a t i o nm o d e l sa r ep u tf o r w a r db e t w e e ng r e yt h e o r i e sa n da r t i f i c i a ln e u r a ln e t w o r k s ( a n n ) o w i n gt ot h o s ee x t e n s i v ea p p l i c a t i o na r e a a f t e rs t u d y i n gt h o s ea m a l g a m a t i o nm o d e l s ，i ti sb r o u g h tf o r w a r dt h a tt h et e c h n o l o g yw h i c hi sb a s e do na m a l g a m a t i o nb e t w e e ng r e yt h e o r i e sa n da n ni su s e dt om i n n gt i m es e q u e n c ed a t a i nt h es e c o n dc h a p t e r , i ti se x p o u n d e da b o u ts t r o n g p o i n ta n ds h o r t c o m i n go fg r e yt h e o r i e s a c c o r d i n gt ot h el i m i t a t i o no fg m ( 1 ，1 ) a n dt h ec h a r a c t e r i s t i co fd i f f e r e u td a t ar o w s ，t h eb pa n nm o d e lw h i c hb a s e do nd e g r e s s i v eg r a d sa r i t h m e t i co fh a v i n gm o m e m u ma n da u t o - a d a p t i o nf u n c t i o ni sp r e s e n t e d ，a n dt h em o d e li sa p p l i e dt of o r e c a s tt h es t e e lo u t p u to ft h ec i t yp a nz h i h u a t h et h i r dc h a p t e ri st h em o s ti m p o r t a n to fa l lc h a p t e r s i nt h et h i r dc h a p t e r , a f t e rc h o o s i n gr e s p e c t i v es t r o n g p o i n to ft h eg r e ym o d e la n dt h ea n nm o d e l t h ev a r i o u sm o d e l sa r es t u d i e dw h i c hi sf u s e dt h eg r e ym o d e la n dt h ea n n ，i na d d i t i o n ，t h o s ea m a l g a m a t i o nm o d e l sa r ec l a s s i f i e da sf o l l o w s ：1 f e e b l ea m a l g a m a t i o n ( s i m p l ea m a l g a m a t i o n )2 p o w e r f u la m a l g a m a t i o n ：2 1c o m b i n a t i o ng r e yn e u r a ln e t w o r k ( c g n n ) ：2 1 1c g n n i2 1 _ 2c g n n i i2 2f u l lg r e yn e u r a ln e t w o r k ( f g n n ) ：22 】f g n n ii i2 2 2f g n n i i2 2 3f g n n i i is o m eo fa l lt h o s em o d e l sa r eu s e dt of o r e c a s tr e q u i r e m e n to ft h el i m e s t o n ef o rp r o d u c i n gc e m e n ti np a nz h i h u ac i t y , a n dt h er e s u l t sa r ec o n 廿a s t e d i ti sp r o v e dt h a tt h em o d e lf g n nii sm o r ee f f e c t i v et h a nt h es i n g l eg r e ym o d e la n da n nm o d e lt om i n ea n df o r e c a s tt h et i m es e q u e n c ed a t aw i t ht h ec h a r a c t e ro ff l u c t u a t i o na n dr a n d o m i c i t y f g n nii so fm o r ea p p l i e dv a l u et h a no t h e rm o d e l sw h i c hi so f t e nu s e dt om i n ei n f o r m a t i o nt of o r e c a s tb e c a u s ei th a v et h em e r i t so fi e s ss w a t c h e sa n dt h et r a i to fm o r ec o n v e n i e n tt oo p e r a t e k e y w o r d s ：d a t am i n i n g ，f o r e c a s t , g r e yt h e o r i e s ，g m ( 1 ，1 ) ，b p a n n ，f u s i o ns i g n a t u r e ：z h o uz h i g a n gi l i第1 章引言第1 章引言本章首先介绍预测基本概念等有关的预备知识：最后论述时序数据挖掘中预测模型的研究现状、本文研究内容和创新点。1 1 有关预测和数据挖掘的基本知识1 1 1 预测的基本概念预测对于人们并不是一个陌生的名词，但其作为一门独立的学科，问世的时间却不很长。随着预测技术的普及和推广，预测人员已不满足于定性分析所得出的结论，而力求定量化。随着管理信息系统( m i s ) 应用水平的提高，决策人员和研究人员掌握了大量数据，并希望利用数学模型来分析这些数据，挖掘有用信息，从而进行定量预测。预测就是对事物未来发展所做出的估计与推测。现代预测科学给出预测的一般定义：预测是人们利用己掌握的知识和手段，预先推知和判断事物未来或未知状况的结果。它由五个要素组成：人( 预测者) 、知识( 预测依据) 、手段( 预测方法) 、搴物未来或未知状况( 预测对象) 、预先推知和判断( 预测结果) 。1 1 2 预测方法的评判同一预测对象，常可以用不同的方法进行预测。为了识别何种方法较准确，需要建立一些能帮助我们选择较优的方法的准则，这类准则称为预测方法的精度准则。具有实用价值的两个精度准则是均方误差( m s e ) 和平均绝对误差( m a e )准则：令e ，= x ，一x ，为第r 期误差m s e = 亡e ，2 m a n = 去l e | 一 f 2 l1 = 1m s e 准则和m a e 准则是两个彼此独立的准则，在需要利用精度准则的场合，选用其中之一即可。m s e 准则主要关注的是没有大的预测失误，并倾向于否定容易产生大预测失误的方法；m a e 准则主要关注的是平价绝对误差的大小，不太注意是否有大的预测失误，对个别大误差不太敏感。在预测实践中，m s e 准则用的较多。在工程实际应用中往往还要从预测的精确度、预测费用、预测方法的复杂性等方面对预测方法进行综合评判，以求找到与工程问题相适应的最优预测方法。1 1 3 数据挖掘基本概念保存在计算机和数据库中的数据正在以惊人的速度增长。同时，这些数据的成都理工大学硕士学位论文使用者期望从数据中获得更精细的信息。例如市场部经理不再满足于简单的营销列表，而是想了解关于客户以前购买商品的细节性信息，并预测客户未来的购买情况。简单的结构化查询语言的查询不足以支持这些增长的信息需求，需要数据挖掘技术插手帮助解决这些问题。通常数据挖掘被定义为从数据库中发现隐藏的信息，有时也被称作探索性数据分析、数据驱动发现和归纳学习。通俗的说数据挖掘就是从不完全的、有噪声的、模糊的、随机的数据中，提取隐含其中的、人们事先不知道的、但有潜在价值的信息和知识的过程。1 1 4 数据挖掘功能广义而言，可将数据挖掘的功能分两大类：对现在的描述和对未来的预测。对现在准确的描述正是对未来精确预测的基础。因此可以说数据挖掘的功能就是预测。分类与预测是两种数据分析形式，它们可用于抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法( c l a s s i f i c a t i o n ) 用于预测数据对象的离散类别( c a t e g o r i c a ll a b e l s ) ，而预测( p r e d i c a t i o n ) 则用于数据对象的连续取值。预测是数据挖掘中广泛运用的一种功能。1 1 5 数据挖掘模型数据挖掘模型在本质上也分为预测模型和描述模型两类，在图卜1 中看到每类模型下都包含一些需要用到该类模型的最常用的数据挖掘任务。数据挖掘的模型在解决实际问题时，并非完全单独使用的，不同的问题适用于不同的方法；更多情况是需要同时采用多种数据挖掘方法才能挖掘潜藏的信息。至于应该采用何种方法，则视所要研究问题的类型和数据型态而定。嬲挖掘多少问! 型分类回归时间序列分析预测，_ 夕a 卜篓述型聚类汇总关联规则序列发现图1 - 1 数据挖掘模型与任务数据挖掘中进行预测的工具和方法，是对传统预测方法的继承和发展，也为新的预测技术发展提供了广阔的空间。数据挖掘的出现为预测的发展提供了新的机遇，也为预测提供了新的课题。预测在实际问题中应用非常广泛，是数据挖掘的一项非常重要的任务。以电信业、银行业及零售业等行业常用的预测模式为例：在电信业常用预测模式有话务量预测、用户数预测等；银行业常用预测模式有信第l 章引言用卡发行量预测等；零售业常用预测模式有商品销售量预测、客户消费行为预测、营业收入预测等。这些预测模式在企业经营中起着不可或缺的重要作用。因此加强对数据挖掘预测功能的研究与拓展也就有着重要意义。1 1 6 数据挖掘中预测模式建立流程在数据挖掘实务操作上，要建立良好的预测模式的流程及注意点如下：1 ) 数据的选择：预测模式的最终目的是利用现有已知信息预测未知值或未来值。因此选择合适的数据建立模式是必要且关键的。建立预测模式时，与目标变量相关的变量应尽量考虑纳入，选择关键变量，否则建立的模式将失真而毫无意义。2 ) 模式检测和评估：预测模式建构完成后，必须加以检测和评估。在数据挖掘过程中，建构预测模式时，只用部分数据建立最初模式，剩余的数据则用来测试和评估模式的预测效果。通常将数据分为三部分：训练集( t r a i n i n gs e t ) ：此数据用来建立最初预测模式。测试集( t e s ts e t ) ：此数据主要用于测试模式荠对模式进行修正。评估集( e v a l u a t i o ns e t ) ：对同一数据可以建立不同的预测模式，当各个预测模式建构完成后，需要对不同的预测模式预测效果进行比较，评估集则是用来评估不同模型的执行效果。分割后的每一数据集，都必须具有代表性，至于三个数据集如何分配，目前还没有定论，一般在实务中按6 0 ( 数据集) 、3 0 ( 测试集) 、1 0 ( 评估集) 操作，所建立的模式预测效果较好。在数据挖掘建模过程中，建立、测试、评估是一种反复循环的程序。模式的预测效果会随着不同的数据集而有异，对不同预测模式的效果，也必须加以比较评估，选择最合适的预测模式。3 ) 预测模式的适用性：a 公司建立的客户流失模式，未必适合b 公司采用。去年建立的客户购买意向模式，可能因为市场变化而变得不适用。因此，即使模式预测效果很好，使用预测模式进行预测时，仍然要考虑时效性和数据来源，避免获得错误信息影响决策。1 2 时间序列基本知识1 2 1 基本概念绝大部分预测对象都随时间而发展变化，一方面有其内在的运动规律，另一方面又受到很多不确定因素的影响而表现出一定的随机性。这种既随时间变化，又具有随机性的对象，在数学上用随机过程来描述。更抽象一点，我们把一族无成都理工大学硕士学位论文穷多个、相互有关的随机变量，记为口( r ) ，t t ，其中t 是一个无穷集合，并称之为随机过程。丁有时又称为参数集。最常见的参数集有：1 ) 正= 0 ，l ，2 ， ；2 ) 正= 一，一3 ，一2 ，一1 ，0 ，1 ，2 ，3 - j ；3 ) 五= k ，6 ，其中d ，6 可以是。当丁为1 ) 、2 ) 两种情形时，称x ( t ) 为随机序列，特别是丁为时间集合时，称之时间序列。1 2 2 时间序列种类及特征基本时间序列类型如表1 - 1 所示。表卜1 时间序列基本类型种类例子不规则序列；随机时间序列众多微弱的相关因素产生随机干扰突变战争和自然灾害引起突变固鞠謦飘( 包括季节变动)季节变化_ y = 爿s m 等( 瓦+ r )趋势序列指数型y = a e “实际中的时间序列往往是多种基本时间序列的组合。由表卜l 可见，时间序列有四种变化特征：1 ) 趋势性。某个变量由于受到某些因素持续同性质( 或同方向) 的影响，其时间序列表现为持续的上升或下降的总变化趋势，这种趋势可能是线性的，也可能是非线性的。2 ) 季节性。时间序列以一年为周期随着自然季节的推移而呈现变化，在各年的一定季节出现高峰值，而另外一定季节出现低谷值，各个高峰值和低谷值不一定相等。3 ) 周期性。上述季节变动是一种典型的周期性特征，它是以一年为周期发生周期性变化；此外，周期性还可能是以数( 十) 年、月、日为周期而呈现变化。4 ) 不规则性。不规则性交动可分为突然性变动和随机性变动。任何一个时间序列，可能同时具有以上几个特征，也可能是上述某几个特征第l 章引言的组合。时间序列模式就是从时间序列中寻找变化规律，并建立有关数学模型，从而获得系统的有关信息，预测将来的发展趋势，以揭示自然现象间的本质联系和内在规律性，从而有效地对客观现象及其变化规律进行预报和控制。1 3 时序数据挖掘中的预测模型研究现状自9 0 年代数据挖掘技术兴起以来，关于预测型数据挖掘目前还没有一种被共同接受的理论框架，其实现方法大致可以分为：基于逻辑的方法，基于距离的方法和基于数学的方法。其中被广泛使用的是基于数学的方法，在时序数据挖掘中具体有如下三种方法：1 ) 经典的参数估计方法，例如线性回归方法、时间序列分析等分析方法，建立在一套严密的理论上，是预测所用的一类重要方法，无疑在数据挖掘中也有重要应用。但是在这种方法中，一般是用带参数代数方程来描述系统输入、输出间的关系，方程中的待定参数由训练样本确定，尽管参数模型有很好的理论基础，但它常常过于简单化或者对涉及的数据要求过多的、无法获得的知识。因此，对于现实世界中的问题来说，这些参数模型可能是不实用的。2 ) 神经网络方法，也称为经验非线性方法，如前向人工神经网络。神经网络是一种非常流行的预测技术。比如商场的数据被输入神经网络来训练消费模式，当消费模式形成以后，就可以用来预测将来的购买情况。神经网络具有并行处理、自适应自组织、联想记忆及容错和鲁棒性( r o b u s t n e s s ) 等特点。由神经网络理论中的k o l m o g o r o v 连续性定理，即：给定任一连续函数p ：e ”- - 月“，妒( x ) = y ，这里e 是闭单位区间 0 ，1 ，e ”为m 维单位立方体，则p 可以精确地由一个三层神经网络来实现。任何一个时间序列都可以看成是一个由非线性机制确定的输入输出系统，因此该理论从数学上保证了神经网络用于时间序列预测的可行性。又由于预测中，所有的信息均来自单一的序列，所以在应用中一般使用反向传播方向来进行有记忆地训练和预测。具体地讲，可以采用b p 网络或者径向基函数网络( r b f n n ) 等神经网络来进行非线性时间序列预测。其可以较好地揭示非线性时间序列在时延状态空间中的相关性，从而达到预测目的。这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。但是，这种方法也遇到了许多难以解决的问题( 比如过拟合问题、局部极小问题等) ，并且缺乏一种统一的数学理论。3 ) 基于统计学习理论的实现方法。统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 是一种专门研究有限样本情况下的统计理论。该理论针对有限样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不成都理工大学硕士学位论文仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。v a p n i kv 等人从2 0 世纪7 0 年代开始致力于此方面研究，n 2 0 世纪9 0 年代中期，随着其理论的不断发展和成熟，s l t 开始受到越来越广泛的重视。这一理论基础上发展了一种新的预测方法：支持向量机( s u p p o r tv e c t o rm a c h i l i e ，s v m ) ，已初步表现出很多优于已有方法的性能，s l t 和s v m 正与神经网络研究一起成为科学研究的热点，并将推动预测型数据挖掘理论和技术的发展。八十年代邓聚龙教授提出了灰色理论，其中g m ( 1 ，1 ) 模型用来对时序数据进行预测；近年c h e c h i a n gh s u 等人首先将6 m ( 1 ，1 ) 与b p 网络组合对电力需求进行了预测，刘思峰教授等人2 0 0 2 年提出了基于灰色系统理论的时序数据挖掘技术，陈全世教授等人近年提出了灰色一神经网络综合预测模型。此后，灰色系统理论与神经网络相结合的挖掘预测技术研究成为热点，继而提出了各种灰色神经网络模型，将灰色系统理论与神经网络模型有机融合起来，但它们都是与原始g m ( 1 ，1 ) 模型进行融合，而原始g m ( 1 ，1 ) 有其固有的缺陷，这些融合模型并不一定可靠。1 4 研究内容目前的数据挖掘方法主要有统计学、关联分析、聚类分析、回归分析等，帮助我们分析包含在数据仓库中的数据。它们共同特点是用户参与，你必须提出许多问题，才能得到包含在复杂关系中的结果，当你提不出问题或提出的问题不正确时，将得不到正确的数据。如统计学方法必须假设数据符合一定的耍求，如变量的独立、服从某种分布、无非线性关系等，这些要求很难在实践中有效地使用。并且现行方法还表现了用户参与过多，主观性较强；不能处理定性变量和复杂数据，如非线性数据；不能进行深层次的分析；发现的事实或规则是以查询为主要目的，对预测影响不大等特点。本文针对一维等时距时间序列，将应用范围极其广泛的灰色系统理论和神经网络技术融合起来，研究并建立了不同的融会模型，给出了灰色系统理论和神经网络融合的时序数据挖掘预测技术，并将这一技术应用于攀枝花市矿产资源供需平衡研究中( 攀枝花市地质矿产局委托成都理工大学项目) 。实例表明灰色系统理论和神经网络融合的时序数据挖掘预测技术对具有波动性质、随机性较大的时间序列挖掘预测比单一的灰色模型和神经网络模型更有效；与其它常用的时序数据挖掘预测模型比具有所需样本少，操作简单，更具实用价值。1 5 创新点第1 章引言本文对各种改进g m ( 1 ，1 ) 模型进行了比较系统的研究并进行应用与比较；给出了各种灰色系统理论和神经网络融合模型并进行了分类，选取了部分融合模型应用于攀枝花市水泥用石灰岩需求量挖掘预测，进行分析比较，得出了f g n ni ( 见第三章) 比单一的灰色模型和神经网络模型以及c g n ni ( 见第三章) 更适合对数据波动较大、随机性较大的等时距时间序列进行挖掘，从而做出长期预测的结论。第2 章分别基于灰色系统理论与神经网络的时序数据挖掘预测技术第2 章分别基于灰色系统理论与神经网络的时序数据挖掘预测技术2 1基于灰色系统理论的时序数据挖掘预测技术2 1 1 灰色系统理论概述灰色系统( g r e ys y s t e m ) 理论是八十年代发展起来的- - 1 新学科。灰色系统是指信息部分明确、部分不明确的系统，其中包括元素( 参数) 信息不完全、结构信息不完全、边界信息不完全、运行的行为信息不完全。人们在认识世界与改造世界的过程中常常自觉或不自觉地通过已掌握的部分信息对事物做整体剖析，通过少量已知信息的筛选、加工、延伸和扩展，深化对系统的认识，再经系统改造，系统重组，提高效率。灰色系统理论将随机过程看作为一种灰色过程，认为一切随机量都可以看作是在一定范围内变化的灰色量加以处理。灰色理论认为纷繁复杂的客观系统有着自己的逻辑规律，少量的数据包含了事物发展的规律，尽管客观系统表象复杂，数据离乱，但它总是有整体功能的，因此必然蕴涵某种内在规律，关键在于如何选择适当的方法去挖掘它和利用它。通过对灰色过程的生成方法，将具有随机性的数据列，转化为一个具有较强规律性的数据列，从而可以建立连续微分方程模型，这种方法同样使用于存在灰色信息的情况。与传统的模型相比，灰色建模不存在误差积累问题，因而可以用于长期的高精度的预测。在灰色系统理论的应用中，预测已成为灰色系统理论的一个最活跃的领域，其灰色模型g m ( 1 ，1 ) 等已应用于工程技术、社会、经济、农业、生态、环境等各种系统的预测中。灰色系统着重外延明确，内涵不明的对象，灰色系统建模方法是着重系统行为数据间、内在关系间挖掘量化的方法。灰色系统建模实际上是一种以数找数的方法，从系统的一个或几个离散数列中找出系统的变化关系，试图建立系统的连续变化模型。灰色系统本身没有很强的并行计算能力，系统的轻微变化都将导致重新计算，这是灰色模型的应用的一个弱点。2 1 2g m ( 1 ，1 ) 建模原理灰色系统理论的实质是将无规律的原始数据进行累加生成，得到规律性较强的生成数列后再重新建模。由生成模型得到的数据再通过累加生成的逆运算一一累减生成得到还原模型，由还原模型作为预测模型。灰色模型是预测工作的基础模型。在灰色模型中，最具一般意义的模型是由 个变量的n 阶微分方程描述的模型，称为g m ( n ，h ) 模型，作为一种特例的g m ( 1 ，1 ) 模型可用式表示为：皇竺+ g x ( 1 ) ：。，式中x ( 1 表示原始数据经累加后生成的新数列；a 称为模型的发成都理工大学硕士学位论文展参数，反映x 1 及原始数列工的发展趋势；“称为内生控制灰数，反映数据间的变化关系。g m ( 1 ，1 ) 模型的具体算法如下：设时间序列工o 有n 个观察值，x = x o ( 1 ) ，x 0 1 ( 2 ) x ( o ( n ) ) ，通过累加生成新序列x 1 k x ”( 1 ) ，x 1 ( 2 ) x 1 ( ) ) ，其中x 1 ( 竹) = x o ( 月) 。生成序l = 1列x ( 1 相应的微分方程为：d x ( 1 ) + “m ：“( 2 1 )c l t设毋为待估计参数变量，令西= ( a ，“) 7 ，利用最小二乘法求解可得西=( b 7 b ) _ 1b 7 l其中bz 1 ( 2 )一z 1 ( 3 )匕= i x ( o ) ( 2 ) ，x ( 。) ( 3 ) ，x ( 。( n ) rb 中背景值z 1 ( 后+ 1 ) = 去( z 1 ( 七) + x 1 ( 七十1 ) ) ( 七= 1 , 2 ，- h 一1 )( 2 2 )z将求得的西带入( 2 一1 ) 式，解微分方程，有：曼( 1 ( 七+ 1 ) = 工( ( 1 ) 一旦 g 一“+ 旦( 七：1 , 2 ，? 一1 )( 2 3 )口( 2 3 ) 式即为预测方程，此时可利用一次累减( 卜i a g 0 ) 得到还原序列：主o ( k + 1 ) = 曼1 ( 七+ 1 ) 一量1 ( 尼) = ( 1 8 4 ) x o ( 1 ) 一兰 e 一“( k = l ，2 n 1 )( 2 4 )g m ( i ，1 ) 模型是用于预测工作的最基本模型，这一模型有多种发展模式。利用g m ( i ，1 ) 模型进行预测虽然有许多成功的实例，但同时也存在一些预测精度不高的情况，说明g m ( 1 ，1 ) 模型的实用性有待提高，文献 8 指出其理论上的缺陷。在提高灰色预测模型精度的研究上，主要的方法可以归结为两类：第一类为通过各种技术所实现的误差减小技；另一类为误差补偿技术。对于第二类方法，大部分学者仍然利用灰色建模理论对预测残差进行建模。因为预测残差一般波动性比较大，而灰色预测模型一般对于波动大的系统预测不是很适用，所以此类方法效果并不是很理想。2 1 3g m ( 1 ，1 ) 模型的缺陷及改进：g m ( 1 ，1 ) 预测实质上是一种外推法，是用指数曲线i ( 1 去拟合序列x m ，拟合方法是最b - - 乘法，从最d - - 乘法的原理可知，拟合结果应当满足：第2 章分别基于灰色系统理论与神经网络的时序数据挖掘预测技术 x 1 ( j i ) 一主1 ( 女) 】= 0( 2 5 )k = l但在实际应用中，( 2 5 ) 式有时并不满足，明显的存在系统误差。出现这种情况原因分析如下：在求解微分方程( 2 1 ) 时，得：x ( 1 ( f ) ：兰一三e 一，将其离散化，得：三e - a k + 兰( 2 6 )日a为求解常数c ，需要一个定解条件，g m ( 1 ，1 ) 令曼1 ( 1 ) = x ( 1 ( 1 ) = x o ( 1 ) ，则有：( 1 ) ；一三+ 兰：x ( 。) ( 1 ) ，d口一cx ( 1 ( 1 ) 一兰，“d曼( 1 ( t + 1 ) ：i x ( 。( 1 ) 一兰p 一“+ 兰( 2 7 )( 2 7 ) 式就是我们熟悉的g m ( 1 ，i ) 预测值量( 是+ 1 ) 的表达式。这样得到的拟合曲线曼1 在坐标平面( 七，x ( 1 1 ( 七) ) 必然通过点( 1 ，工( 1 ( 1 ) ) ，而由最小二乘法原理，拟合曲线并不一定通过第一个数据点，我们将i 1 ( 1 ) = x m ( 1 ) 作为已知条件的理论依据并不存在，另外应考虑到x 1 ( 1 ) 是一个最旧的数据，与未来关系不密切，而且不是通过累加生成得到，规律性不强。因此，我们有必要抛弃传统的以童1 ( i ) = z ( 1 ( 1 ) 为己知条件的解题方法。另外矩阵b 中背景值无论在数据变化平缓的时间序列( 低增长指数情况) 还是数据变化急剧的时间序列( 高增长指数情况) 都构造为z 1 ( 七+ 1 ) = ：1 ( x 1 ( + x 1 ( 尼+ 1 ) ) 也不尽合理，这样构造背景值在高二增长指数序列中预测值存在明显的滞后误差。2 1 4 改进g m ( 1 ，1 ) 模型：在g m ( 1 ，1 ) 改进方法上，很多文献提出的方法要么效率低下，要么得到的参数计算过于复杂，不具有实用性。例如文献 8 提出分别将舅o ) = x 1 ( m ) ( m = 1 ，2 ，3 ，一，1 1 ) 作为已知条件，从而解得新的预测公式：x ( 1 ( _ + 1 ) = x ( 1 ( ，竹) 一u e 一口( 州1 + 兰口口通过比较，选取误差最小的m 值，建立预测公式，显然，当n 较大时，此法并不具有优越性。下面对g m ( 1 ，1 ) 模型从三方面进行改进，以得到更实用、更合理、盛型堡三查兰堡主堂焦堡奎对预测数据变化更具适应一陛的g m ( i ，1 ) 预测模型。1 修正初值从2 1 3 节知道，传统的初值选用原始数据序列的第一个数据值，这是没有理论依据的，在运用中会降低模型的建模精度和预测精度。在最小化指定指标函数的情况下，提出一种新的初值构造方法。设模型的初值为黜o ( 】) ，把该值代入( 2 3 ) 中，得；【甜( 。1 ( 1 ) 一- u e 一“+ 兰( 2 8 )口a定义如下的指标函数：形= 渺( t ) 一x 1 1 ( 研k = l砉 盘x 。c ，一兰 e 一口c t 一1 ，下面求出指标函数最小的待识参数口令g 。2 州“”= a ，u l e - a ( k - 1 ) + 兰a 一砸，k e 叫h k)(1)抄诳叫一(1)矿ntc=l小哪一= 1nx 1 ( ) p “1 = c ，则有k = la a x ( 。( 1 ) + 兰( b 一彳) 一c ：0 ，解之，得：口：u ( a 7 - b 而) i a - + c ( 2 - 9 )弘五矿求出参数口后，就可用( 2 8 ) 式来预测，把这种改进g m ( 1 ，1 ) 模型称为修正初值g m ( 1 ，1 ) 模型，记为c g m 。2 消除g m ( 1 ，i ) 模型固有偏差若原始数据列为严格的指数序列，即x o ( _ ) = a e 卿叫( k = 1 , 2 n ) ，由g m ( i ，1 )预测模型建模过程可得：舀2 习= c b 7 动。b e =2 ( 1 一e 。)1 + e 。2 1 + e 最终结果为m麟什i u。m2i 塑如扣口。黼、joox“一口+扣妇)00k口。黼珥加第2 章分别基于灰色系统理论与神经网络的时序数据挖掘预测技术曼旧( 1 ) = a ，童( 0 ( ) = 篙将( 2 一1 0 ) 式和( 2 4 ) 式比较，可知传统灰色预测模型存在误差。反过来用传统灰色预测建模过程中得到的参数口和“表示原始数据序列的参数a 和c ，即：c = l n 吾薏，爿= i 2 五u ，可见，若令：6 = 1 n 詈薏，五= 老，则有：h = c , j = 彳。由此结果建立的预测模型为：竞。( 1 ) = x o ( 1 )量( o ( 膏) = 五6 ( 。一k = 2 3 胛( 2 - 1 1 )我们把模型( 2 1 1 ) 称为无偏灰色预测模型，记为w p g m 。w p g m 模型本身不存在固有偏差，因而也就消除了传统灰色预测模型对原始数据序列增长速度不能过快、预测长度不能过长的限制，与传统灰色预测模型进行了对比。理论分析和实例计算均表明，在指数趋势时间序列条件下无偏灰色预测模型较传统灰色预测模型性能优越，相对误差可降低到1 以内。3 重构背景值从公式( 2 - 3 ) 可见，g m ( 1 ，1 ) 预测模型拟合和预测精度取决于常数口和“，而口和甜的求解依赖于背景值的构造形式。因此，背景值z ( 1 ( 七十1 ) 成为直接影响mg m ( 1 ，1 ) 模型精度和适应性的关键因素。z ( ”( k + 1 ) 是 k ，k + 1 这段时间内! 之一d f的背景值，( 2 - 2 ) 式是一个平滑公式。从图2 1 来看，z ( i ( 七+ 1 ) 是梯形a b c d 的面积。g m ( 1 ，1 ) 模型拟合曲线是指数曲线，在【k ，k + 1 上实际曲线x ( t ) 对应的面积总是小于梯形面积，当序列数据变化平缓( 低增长指数曲线) 时，工( i ( t ) 与x ( 1 ( j j + 1 ) 值相差不大，实际面积值接近梯形面积值，因而用梯形面积值作为z ( 1 ( k + 1 ) 时，模型偏差很小，当时间间隔很小，序列数据变化平缓( 低增长指数情况) 时，这样构造的背景值是合适的。但当序列数据变化急剧( 高增长指数曲线)时，因为x m ( 尼) 与x m ( k + i ) 值相差较大，使得实际面积与梯形面积值有较大差值血，用梯形面积值作z ( 1 ( k + 1 ) 值时，模型偏差较大。增长指数越大时，厶值也越大，因而偏差也越大，而且为滞后误差，说明背景值三1 ( 七+ 1 ) 取值过大是造、，j成都理工大学硕士学位论文成滞后误差的原因。由此得结论：当背景值z 1 ( 七+ 1 ) 小于实际面积，模型产生超前误差，当z 1 ( _ i + 1 ) 值大于实际面积，模型产生滞后误差，当z ( 1 ( + 1 ) 值kk + lr图2 1 背景位构造图非常近似于实际面积时，误差会最小。因此当序列数据变化急剧( 高增长指数情况) 时，这样构造出来的背景值往往产生较大的滞后误差，模型偏差较大，因而在一定程度上影响了灰色系统理论的应用。由于原始序列仅是一些离散点的数据，实际曲线x o ( ，) 未知，因而区间 后，k + 1 的实际面积未知。基于这一种情况，背景值求解思路为：将区间 k ，k + l 】等分为，z 个小区间，用这h 个小区间的面积和近似作为实际面积。当m 较小时，胛个小区间面积和小于实际面积：当n 较大时，竹个小区间面积和会大于实际面积。因此，随着船由小向大变化，这n 个小区间面积之和由小于实际面积向大于实际面积值变化，在这个变化中，理论上存在一个，z 值( 可以不是整数) 会使得这n 个小区间的面积和等于实际面积，那么将对应这个以值的小面积之和作为2 0 ) ( k + 1 ) ，将使g m ( 1 ，1 ) 模型偏差最小，拟合和预测精度最高，对低增长指数和高增长指数都有很好的适应性。一般地，月等分区间 后，七+ 1 时，咒个小区间面积和为：s 。= r m ，口( x ) = y ，这里e 是闭单位区间 0 ，1 ，e ”为m 维单位立方体，则妒可以精确地由一个三层神经网络来实现。任何一个时间序列都可以看成是一个由非线性机制确定的输入输出系统，因此该理论从数学上保证了神经网络用于笙! 童坌型茎垄鱼墨堕望堡皇塑丝壁塑塑堕壁墼塑堡塑塑型垫查时间序列预测的可行性。又由于预测中，所有的信息均来自单一的序列，所以在应用中一般使用反向传播方向来进行有记忆地训练和预测。具体地讲，可以采用b p 网络来进行非线性时间序列预测，其可以较好地揭示非线性时间序列在时延状态空间中的相关性，从而达到预测目的。由于神经网络数据处理的并行性、函数映射的高度非线性等特点，能解决一些传统计算机极难求解的问题，很快适应于各个领域，而且在许多领域都取得了令人满意的结果。近几年来，a n n 的在预测方面相关研究与其应用范围发展极为迅速，其与传统统计方法的差异在于可建构非线性模式，并且可以弥补传统统计方法所要求的假设条件，事先不需要限定模式，变量间有交互效应时可自动侦测，但因为分析模式无法读取，犹如一个黑盒子( b l a c kb o x ) 。2 2 2a n n 构建预测模式对于数据的选择，a n n 可以接受各种不同种类的变量作为输入，适应性强。a n n 构建预测模式的过程实际上就是a n n 通过不断的学习，建立合适、精确的预测模型。要使得a n n 能正确的运作，则必须透过训练的方式，让a n n 反复地学习，一直到每个输入值都能正确对应所需的输出值为止。因此，在a n n 学习前，我们必须建立出一个训练样本( t r a i n i n gs e t ) 使a n n 在学习的过程中有一个参考，训练样本的建立来自于实际系统输入与输出或是以往的经验。a n n 的工作性能与训练样本有直接的关系，若训练样本不正确、太少或是太相似，a n n 的工作区间与能力将大打折扣。换言之，训练样本越多、越正确且差异性越大，a n n 的能力就越强。a n n 的训练( t r a i n i n g ) 就是在调整连结权重，使其变得更大或更小，通常由随机的方式产生介于+ 1 到一1 之间的初始值。权重的值越大，则代表连结的神经元更容易被激发，对a n n 的影响也更大；反之，则代表对a n n 并无太大的影响。通常对于太小的权重可以将它移除，用以节省计算机计算的时间与空间。a n 州| 1练的最终目的，在于让预测变量的输出值越接近目标值，也就是输入数值进入系统中，得到的输出值也要相同。a n n 在束训练之前，其输出是凌乱的，但随着训练次数递增，a n n 连结权重将逐渐进行调整，使得目标值与神经网络的输出值两者之间误差越来越小。当两者间的误差几乎不再变化时，则称a n n 已达收敛( c o n v e r g e n c e ) ，此时a n n 便训练完成。通常定义一个价值函数( c o s tf u n c t i o n )作为a n n 收敛的指标，价值函数将会随着网络的训练次数越变越小，最终几乎不再变化。学习率( l e a r n i n gr a t e ) 是a n n _ l j i i 练过程中极为重要的参数，其控制权重变化的速度，并且会影响收敛速度和误差收敛与否。若学习率选择较大，会有较大的权重修正值，收敛的速度将变得较快；反之，较小的学习率会使得网络的收敛速度变慢。然而，学习率若是过大，则会造成过度修正、震幅过大，易使数成都理工大学硕士学位论文值无法收敛：因此，选择太大或太小的学习率都对a n n 的训练有不良影响。当a n n经由训练样本训练完成后，虽然输出已经与目标值接近，但对于非由训练样本产生的输入，则无法得知将会有何种输出，此时则必须以测试样本( t e s ts e t ) 对模式进行测试。到目前为止，已经有许多的学者针对不同的问题提出若干a n n 模式，每一种a n n 的算法不相同。常见的网络有反向传播网络( b a c k - p r o p a g a t i o i ln e t w o r k ) 、霍普菲尔网络( h o p f i e l dn e t w o r k ) 和径向基函数网络( r a d i a lb a s i sf u n c t i o nn e t w o r k ) ，这些网络并非适用所有的问题，使用者应针对问题选择适当