（电路与系统专业论文）自相似业务流的预测研究.pdf

摘要 摘要 近年来的网络业务流特性研究表明，多种不同类型的网络业务流不仅具有短 相关特性，还呈现长相关特性或自相似性。正是这种长相关性给业务流的长期预 测提供了可能性。 本文阐述了网络业务流的特性，给出了自相似的定义和相关的一些重要定理， 分析了自相似业务流的特点，对业务流的自相似性进行了总结。 根据自相似业务流的长相关特性，本文重点讨论了两种数学模型，目的是用 这两种模型对自相似业务流进行预测，进而根据预测结果对计算机网络节点的存 储器资源进行合理的分配，使得丢失率达到最小。 第一种模型是f a r i m a ( f r a c t i o n a la u t o r e g r e s s i v ei n t e g r a t e dm o v i n g a v e r a g e ) 模型。该模型可以描述和预测同时具有短相关和长相关特性的网络业务， 通过选择合适的模型参数，对自相似业务流进行预测研究。 本文的重点放在对f a r i m a 模型的研究上，因为它是一个线性模型，实现起来 更容易一些。本文首先介绍了f a r i m a 模型的定义，产生f a r i m a 过程的方法，并 进行了仿真来验证f a r i m a 过程是一个自相似过程。接着，介绍了利用f a r i m a 模 型进行建模的过程，即根据网络业务流，求解f a r i m a ( p ，d ，q ) 模型中的三个参数 p 、d 、q 的过程，即f a r i m a 模型的拟合过程。最后，根据己经得到的f a r i m a ( p ，d ，q ) 模型，提出了预测未来业务流流量的方法，并通过实际业务量进行了验证。研究 结果表明，f a r i m a 模型是进行自相似网络业务流预测的有效模型。为了减小计算量 本文对f a r i m a 模型拟合的方法和具体步骤进行了深入的研究，简化了运算步骤，提 出了一种简化的预测方法。这种方法的关键是将f a r i n a 模型的拟合问题转化为 a r m a 模型问题，从而大大缩短了模型建立的计算难度和时间。 第二种模型是神经网络反向传播算法模型。本文介绍了该算法的特点和具体 实现步骤。根据自相似业务流的长相关特性，采用5 层神经网络模型和后向传播算 法，对自相似业务流的预测进行了研究。研究结果表明，该模型能够较好地预测自 相似业务流，特别是在预测精度上比f a r i m a 模型要高，但是它的计算量较大。 建立预测模型及根据模型进行预测，对于网络带宽资源的分配、改进网络中 缓冲区的丢弃算法、减小丢失率都具有十分重要的意义。实际数据的仿真实验结 果表明，将自相似业务流的预测应用到存储器的分配中，大大地减小了丢失率。 关键词：自相似，长相关，f a r i m a ，建模，预测 a b s t r a c t a b s t r a c r t h er e c e n tr e s e a r c h e so fn e t w o r kt r a f t i ch a v es h o w nt h a tm a n yk i n d so fr e a l n e t w o r kt r a f f i ch a v eb o t hs e l f - s i m i l a r i t ya n dl o n g r a n g ed e p e n d e n c e i ti st h el o n g r a n g e d e p e n d e n c et h a tl o n g - t e r mp r e d i c t i o no fn e t w o r kt r a f f i ci sp o s s i b l e i nt h i se s s a y ，t h ec h a r a c t e r i s t i co fn e t w o r kt r a f f i ci sn a r r a t e d ，a n dt h ed e f i n i t i o no f s e l f - s i m i l a r i t ya n ds o m eu s e f u lt h e o r e m sa r eg i v e n m o r e o v e r , s p e c i a la s p e c t so f s e l f - s i m i l a rt r a m ca r es u m m a r i z e d f o rl o n g - r a n g ed e p e n d e n tt r a f f i c ，t w op r e d i c t i o nm o d e l sa r eg i v e na n dd i s c u s s e d t h ep r e d i c t i o nr e s u l t sc a nb ea p p l i e dt or e d u c el o s sr a t i o i na l l o c a t i o no fm e m o r i e si n n e t w o r kn o d e s t h ef i r s tm o d e li sf a r i m a ( f r a c t i o n a la u t o r e g r e s s i v ei n t e g r a t e d m o v i n g a v e r a g e ) i ti sc a p a b l eo fc a p t u r i n gb o t ht h el o n g r a n g ea n ds h o r t - r a n g eb e h a v i o ro f n e t w o r kt r a f f i c n l er e s e a r c ho ff a r i m am o d e li se m p h a s i z e dd u et oi t sl i n e a r i t ya n d e a s i e ra c c e s st h a nn o n l i n e a ro n e sf i r s t l y i nt h i sp a p e r , t h ed e f i n i t i o no ff a r i m am o d e l i si n t r o d u c e d ，a n dt h eg e n e r a t i n gm e t h o do ff a r i m ap r o c e s si sg i v e n s i m u l a t i o n s h a v es h o w nt h a tf a r i m ap r o c e s si ss e l f - s i m i l a r s e c o n d l y , p r o c e d u r e sa r eg i v e nt o o b t a i nt h et h r e ep a r a m e t e r so ff a r i m a ( p ，d ，q ) i ns e l f - s i m i l a rn e t w o r kt r a f f i c f i n a l l y , t h ep r e d i c t i o nm e t h o do fn e t w o r kt r a f f i ci sp r o p o s e d s i m u l a t i o n ss h o wt h a t f a r i m a ( p ，d ，q ) i se f f e c t i v ef o rl o n g r a n g ed e p e n d e n tn e t w o r kt r a f f i cp r e d i c t i o n i n o r d e rt om i n i m i z ec o m p u t i n gt i m e ，s i m p l i f i e d p r e d i c t i o np r o c e d u r e s a r e p r o v i d e d ， w h i c ht r a n s f o r mp a r a m e t e rs e e k i n gi n t oa r m a p r o c e s s ，a n dc o m p u t i n gc o m p l e x i t ya n d d u r a t i o na r ed e c r e a s e d 1 1 1 es e c o n dm o d e li sb po f n e u r a ln e t w o r k i nt h i sp a p e r , t h ec h a r a c t e r i s t i co f b pi s s u m m a r i z e d i nl o n g r a n g ed e p e n d e n tc a s e ，a5 - l a y e rb pi sa p p l i e dt o p r e d i c tt h e n e t w o r kt r 椭c s i m u l a t i o n ss h o wt h a t ，i nt e r m so fp r e d i c t i o n ，b pi sm o r ep r e c i s et h a n f a r i m a ，b u ta tt h ec o s to fc o m p u t i n gc o m p l e x i t y t h es e t u po fp r e d i c t i o nm o d e la n di t sa p p l i c a t i o ni nr e a ln e t w o r kt r a f f i ca r ev e r y i m p o r t a n ti nt h er e s e a r c h e so fb a n d w i d t ha l l o c a t i o n ，d i s c a r d i n gm e t h o d s ，a n dl o s sr a t i o r e d u c i n g w h e np r e d i c t i o nr e s u l t sa r ea p p l i e di nm e m o r ya l l o c a t i o no fn e t w o r kn o d e s ， s i m u l a t i o nr e s u l t si n d i c a t et h a tl o s sr a t i oc a nb er e d u c e d k e y w o r d s ：s e l f - s i m i l a r i t y , l o n g - r a n g ed e p e n d e n c e ，f a r i m a ，n e t w o r kt r a f f i cm o d e l i n g ， p r e d i c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致i 9 的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：丝三：鱼日期：加年，月7 曰 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：瞠垒壑导师签名：坌篷丝 日期：炒6 年厂月7 日 第一章引言 第一章引言 在计算机网络的设计、评价和优化中，网络业务模型起着非常重要的作用。 其中，时间序列模型作为研究网络业务的工具，有着很好的前景。但是传统的模 型只能处理短相关( s h o r t r a n g ed e p e n d e n c e ，s r d ) 过程，如泊松过程、m a r k o v 过程、a r ( a u t o r e g r e s s i v e ) 、m a ( m o v i n ga v e r a g e ) 、a r m a ( a u t o r e g r e s s iv em o v i n g a v e r a g e ) 和a r i m a ( a u t o r e g r e s s i v ei n t e g r a t e dm o v i n ga v e r a g e ) 等过程。随着 网络测量技术的发展，网络研究人员发现高速网络的业务具有长相关性j 1 2 j 1 3 1 ( 1 0 n g r a n g ed e p e n d e n c e ，l r d ) ，亦称自相似性( s e l f - s i m i l a r i t y ) 。这是传统 模型不能处理的。于是，一些长相关模型，如f g n ( 分数高斯噪声，f r a c t i o n a l g a u s s i a nn o i s e ) 和f a r i m a ( 0 ，d ，0 ) 被用作网络业务模型。但是最近的实际网络测 量显示，网络业务同时呈现长相关和短相关特性，而长相关模型不能描述短相关 特性。因此建立可以同时描述长相关和短相关特性的网络业务模型是很有必要的， 而f a r i m a ( p ，d ，q ) 是具有这种功能的模型之一 4 】【5 】【6 】【”。过去对于f a r i m a 模型的 研究主要集中在视频业务源、风能和经济方面，将f a r i m a 用于实际i n t e r n e t 网 络业务流预测的文献则比较少，这也许是因为f a r i m a 过于复杂的缘故。 随着神经网络研究的进展，对网络业务流的预测，除了用f a r i m a 模型外，电 有用神经网络模型来实现的。神经网络是一种非线性系统，它能够像人一样，通 过学习( 也即训练) 来达到一定的功能，从而完成相应的任务。神经网络的一个 显著特点是：如果系统中存在可以接受的误差，那么这个误差不会影响整个系统 的正确运行，依然能够得到好的结果1 8 】。这一特点使得神经网络模型比其他模型更 适合于具有突发特性的自相似业务流，再加上简单的学习方法，使得它可以作为 系统业务流模拟的一种强有力的工具。所以，有一些学者利用神经网络来解决通 信网系统中的一些非线性问题：y u a n g 等人提出了利用反向传播神经网络来解决无 线a t m 网络带宽分配问题【9 】；b o l l a 等人提出了利用神经网络的预测能力来解决包 含同步电路交换和异步分组交换时分复用混合结构中的带宽分配问题【io j ：l o n g 提 出了利用神经网络的预测能力来控制状态变化未知的系统结构1 ；m o h a m e d 提出 利用神经网络的预测能力来自动量化视频数据流的质量【i ”；y o u s e f i z a d e h 等提出 利用神经网络的预测功能来减少具有自相似特性的业务模型的分组丢失【8 j 。 上述研究工作的意义在于，对删络业务流进行建模和预测，可以帮助我们优化 电子科投大学硕士学位论文 网络带宽资源的分配，改进网络节点缓冲区的丢弃算法，减小数据丢失率。 本文主要研究网络业务f a r i m a 模型的拟合方法和运用f a r i m a 模型进行 i n t e r n e t 网络业务预测的方法。文中给出了拟合f a r i m a 模型的具体步骤，通过采 用分形反滤波( 分数差分) 、后向预测及参数粗估计与参数精确估计相结合等方法， 对模型的拟合过程进行了简化，显著地降低了建模的时间，提高了将预测用于网 络控制的实用性和有效性。 本文还对神经网络预测模型进行了初步探讨。采用5 层神经网络结构和反向传 播算法，利用神经网络的学习能力和预测能力，为自相似业务流建模，来预测业 务流的到达过程。文中比较了d n s 、c p 、c s 和p s 这四种缓冲区分配方案。根据 分组丢失率的大小，对o n o f f 模型产生的自相似业务流及来源于贝尔实验室的 实测网络数据流进行了仿真。为了提高预测能力，减小预测误差，仿真时对这些 数据进行了相应的平滑处理。为了提高反向传播算法的收敛速度，采用了动量因 子平滑收敛过程中的振荡，使得算法在稳定的前提下更快收敛。仿真结果表明， d n s 缓冲区分配方案的丢失率和公平性优于c p ，c s ，p s 缓冲区分配方案。 第二章眭相关与自相似介绍 第二章长相关及自相似介绍 在传统通信网业务中，常假设业务到达过程服从p o i s s o n 分布，到达间隔服 从负指数分布。在最初研究a t m 网络时，也曾采用过此类模型。随着研究的深入， 引入了各种推广的p o i s s o n 过程和b e r n o u l l i 过程，如m m p p ( m a r k o vm o d u l a t e d p o i s s o np r o c e s s ) 、i p p ( i n t e r r u p t e dp o i s s o np r o c e s s ) 和i b p ( i n t e r r u p t e d b e r n o u l l ip r o c e s s ) 等。这些模型的共同特点是只存在短时相关性，即当时间尺 度增加时，统计上单位时间内得到的信元数将趋于白噪，其相关函数趋于0 函数， 可以认为这些模型所表示的业务流在各个时间尺度下具有不同的特性。而实际网 络业务流的特性与这类模型存在较大偏差。实际业务流在各个时间尺度下表现出 相似的突发特性，在相关函数上表现为长相关特性。 2 i 自相似概念产生的背景 分形( f r a c t a l ) 一词最早由美籍法国数学家芒特勃罗( b e n o i tb m a n d e l b r o t ) 于1 9 6 8 年提出。根据他本人的解释，陔词具有“支离破碎”、“极不规则”的含义。 他在研究海岸线等曲线时，发现这类极不光滑的曲线具有“自相似性”，即取出陔 图形任何一个部分，放大到原来的尺度后，所得的图形与原图形惊人的相似。用 不同的步长单位去测量这类曲线的长短，结果也不同，因为所用的步长越小，图 形的精确结构就越明显，曲线就显得越崎岖，因此总长度也越大。进一步研究揭 示了这类“病态图形”的另一个重要性质：它们是“分维”的，它们的维数并非 整数。最初人们对于这类既非线，又非面，也非体的集合图形无可奈何，只好用 “分形”来形容它们。后来人们才发现，其实自然界广泛地存在着分形的事物，“整 形”的反而是一种特例。 分形论的自相似概念，最初指形态或结构的自相似性。也就是晚，在形态或 结构上具有自相似性的几何对象称为分形。如果一个对象是分形的或自相似的， 进行合理的放大后，其整体的形状是相似的。 由于在自然界、社会和思维领域广泛存在着分形现象，这引起了分形研究的 飞速发展。自相似是分形的一个重要特征，对于时间序列，它表示在不同的时问 尺度下具有相同的统计特性。 屯子科技大学硕士学位论文 对于网络自相似的研究始于1 9 8 7 年。从那时起d v w 订s o n 等开始使用一种精 密的网络监测设备，对b e l i c o r em o r r i sr o 中心( m r e ) d e 若干个以太网中的 业务流进行了深入研究。其后，在1 9 8 9 年更将该设备的时间分辨率由1 0 0 蜗提高 到2 0 u s ，并在随后的三年中进行了更为系统的研究分析。他们对所得到的数百万 个实际网络传输的数据包进行了统计分析。结果表明，l a n 业务的统计特性是基于 泊松或贝努利过程的传统业务流模型所无法描述的，w e l e l a n d 与d v w i l s o n 等提出这种特性更适于采用自相似模型来描述p j 。 与w g l e l a n d 等人的研究结果相似，d r t h o m a s 和b f o w l e r 的研究结果参见 图1 一l 。图卜l 中各图的横坐标是时问尺度，纵坐标是单位时间内到达网络节点的 数据流的字节数。图的左边从上到下的四幅图是不同尺度下的p o i s s o h 业务流的 数据量( 从上到下，时间尺度越来越粗) 。从图中明显可以看出，它们的“形状” 并不类似。图的右边从上到下的四幅图是不同尺度下的实测业务流的数据量( 从 上到下，时间尺度越来越粗) 。从图中明显可以看出，它们的“形状”是类似的， 即直观上表现为业务流的自相似性。 自从l e l a n d 对b e l c o r e 的局域网的测试与分析结果口】发表后，又有许多针对 其他实际运行网络的测量研究成果。较有代表性的有：g r r a m i i i i 和w i l l i n g e r 等 基于i s d n 、以太网及v b r 视频业务”1 的观测数据；p a x s o n 和f l o y d 基于广域网 ( w a n ) 的观测数据；b e l l c o r e 的研究人员基于n o 7 的共路信令网( c c s n ) 的观 测数据；h e y m a n 等基于a t m 网中视频会议【8 1 的观测数据；a d d i e 等基于澳大利亚 高速数据网f a s t p a c 的观测数据等。这些成果表明在任何时间、任何地点、任何 网络环境下，实际网络业务流的自相似性都是存在的。它不仅具有短时相关性，还 具有长时相关性。因此网络业务分析不仅要采用具有短时相关性的信号，还应采 用能够表征长时相关性的信号如分形信号( f r a c t a ls i g n a l ) 或1 f 信号( 即功 率谱为幂函数的形式) 等。从此分形信号进入了网络业务分析中。 第二章l 圭相关与自相似介绍 图i 1t h o m a s 等的研究结果 2 2 长相关和自相似的定义及定理 殴x ( t ) 是连续随机过程，r ( t ) 是该随机过程的相关函数。如果。月( f ) = o 。， 则称x ( t ) 是长相关过程。物理意义是指x ( t ) 的当前值与它的所有历史有关。 自相似过程是长相关过程的一利，简单模型，采用二阶矩性质描述其长相关特性， 并且只需要一个h 参数。浚参数便于估计，而且能得到准确的置信区间。 对于离散随机过程x ( t ) ，如果用r ( t ) 表示其相关函数，则当。r ( f ) = 0 0 时， 称x ( t ) 是长相关过程；如果。r ( ，) = c o 成立，称满足上述 条件的过程是渐进自相似过程，且其h ：l 一昙。 定义2 2 1 称 x k0 l l 为 x _ 0 1 2 一的m 阶聚集过程，若 斟) _ 五m ( 2 2 ) 它的自相关系数记为，”( 女) 。 定理1 若 再，k 一为一强渐近二阶自相似随机过程，自相似系数为b 则 l i r a 些：c 。 。一了2 。 ( 2 3 ) c 为一吐的常数 定义3 ( 二阶自相似) 如果对所有的l ，有 m ) = 等嫩+ 1 ) - 2 k t m + ( 1 ) 2 ( 2 _ 4 ) ( ，) 是严格二阶自相似的，何表示】j u r s t 参数，去 日 0 ，t 0 ，自相似参数，即h u r s t 参数h ，0 h 1 满 足 j ，( ，) = dc t - h y ( a t ) ( 2 6 ) 那么l ，( r ) 是自相似的，简记为h s s ( hs e l f s i m i l a r ) 。这里a = db 表示a 和b 具有相同的有限维分布。在业务建模范围内，把y ( t ) 当作累积函数或从0 到t 时刻的总的业务量。对于口，l 的情况，时间被拉伸或膨胀，则收缩因子口“被应 用到y ( a t ) 的幅度上，使之与j ，( f ) 的幅度具有可比性。对于a 1 的情况也是类似的。 日虽然是一个变量，但在上述过程中是不变的。这是一个很自然的定义，然而它 有一个很大的缺点：除非】，( f ) 是衰落的，也就是对所有的t r ，y ( t ) = 0 。否则，由 于归一化因子a “的作用，y ( ，) 是非平稳的。但是它的增量过程x ( t ) = y ( f ) 一r ( t 一1 ) 和y ( f ) 的情况是不同的。现在考虑一种特殊情况：j ，( f ) 是h s s 过程并且有平稳的 增量过程，在这种情况下，我们称y ( t ) 是h s s s i ( h s sh a ss t a t i o n a r y i n c r e m e n t s ) 。更进一步，我们假发r ( t ) 有无限方差，那么可以验证 e ( y ( f ) ) = o ；e r 2 ( ，) _ 盯2l 卯“，并且有 ，( k ) ：霎( “一i f _ s 1 2 “+ ls 1 2 ”) ( 2 7 ) 由a ”，( ，) = jy ( a t ) ，令，= l ，a = t 得到： r ( t ) = 。，t h y ( 1 ) 电子科技大学硕士学位论文 由此可以得到e y 2 ( f ) = 盯2 ，”，这可作为( 2 7 ) 式的来源。增量过程爿( f ) 的 均值为o ，白协方差r ( k 1 由( 2 4 ) 给出，其来源和y ( t ) 比较相似。 如何将分布的自相似过程( 连续时间过程) 和二阶自相似( 离散时问过程) 过程联系起来呢? 关键问题是上“”，可以看作取样均值来计算 = 去善即胁弋h ( 0 ) ) = jm m “( y 0 ) 一y ( o ) ) = _ 1 z 因此，如果r ( t ) 是一个h s s s i 过程，那么其增量过程z ( r ) 满足 x = d 甜“驴1 ( 2 8 ) 这表明在有限维分布的意义上x “”1 是u 何通过一个简单的尺度关系( 包括h ) 与x 联系起来的。方程( 2 4 ) 和方程( 2 5 ) 表达了：x 和m 。”需要有严 格的或渐进的二阶自相似结构。 对于h 参数的引入，回忆一个随机变量z 的取样均值z 的方差，满足 肠r ( 乏) ：笠，这里m 是取样问隔。由方程式( 2 8 ) 可得到惭( x n ，) ：g 2 m 2 1 1 2 ， 从取样均值的角度来考虑，取样点都是独立的。当：上时，v a 玎( 山) 减少到 2 、。 1 盯2 m 。特别是妄 日 l 时， v a r ( x ”7 k 盯2 m 一4 这里0 口 i ( h = 1 一p 1 2 ) 。这也从侧面说明了，在某种特定而不是任何取样 点的从属结构( 这里我们指的是时间序列) v a r ( x ) 的收敛速度比m 。慢。 在定义中，采用了参数h 来表征自相似程度。该参数来自于h e h u r s t 早期 对水库储水量的自相似行为的研究，亦称为k i 相似序列的h u r s t 参数。由于它能 第二章k 相关与自相似介绍 较好地体现序列的自相似程度，即h = 0 5 时为一传统的短期相关序列，随着h 增 大并趋于l ，序列具有越来越强的长期相关性。因此，目前通信领域中对于l r d 序 列的研究，基本都采用h u r s t 参数或可转化为日的类似参数。 我们再回到二阶自相似的定义及其自协方差y ( t ) 。设r ( t ) = r ( k ) 口2 ，表示自 相关函数。当o 日 l 且h 委，那么有 r ( k ) h ( 2 h 1 ) 女”， - + ( 2 - 9 ) 当三 日 l 的情况下，r ( 尼) 近似于c 女，o 1 ，c 为大于。的常数， 口= 2 2 h ，我们可得到 ，( i ) = o 。 ( 2 1 0 ) 定义6 如果平稳随机过程x ( t ) 的自相关函数满足方程式( 2 1 0 ) ，那么我们 称x ( t ) 是长相关的；如果x ( t ) 的自相关函数是可和的，那么我们称x ( t ) 是短相关 的。长相关的物理意义是指x ( t ) 的i i i i i 值与它的所有历史有关。自相似过程是长 相关过程的一种简单模型。它用二阶矩性质描述长相关过程，只需要一个h 参数。 该参数便于估计，而且能得到h 参数准确的置信区间。对于离散函数，如果 。r ( t ) = m ，则称x ( f ) 是长相关过程。 定义7 广义平稳的离散随机过程 五) 。j 工称为强渐近二阶自相似过程，且 具有自相似系数( 即h u r s t 系数) h = i b 2 ，0 b 1 ( 2 1 2 ) ( 2 ) 置，的m 阶叠加过程满足： v a r ( ：d 2 m p( 2 1 3 ) ( 3 ) z ，的谱密度函数满足： s ( 厂) = c le 2 叫- 1 1 2 1 i f + 1 1 3 9 ( 2 1 4 ) ，= _ 田 对于x 。满足这三个条件中的任一条件的，则称以是自相似的，而且以上三个 命题等价。 自相似参数h 又称为h u r s t 参数，是描述自相似特性的唯一参数。对于h ，有 3 个物理意义不同的取值范围。o h 1 2 表示负相关，1 2 h l 为正相关，h = l 2 为没有相关性。实际网络业务是正相关的，所以h 的取值范围是( 1 2 ，1 ) 。h 越 大，过程自相似程度越高。自相似过程最重要的特征是，当m 斗o 。时，聚集过程 的自相关结构并不退化。传统业务模型则不同，当m 甘0 0 时，聚集过程x 自相 关结构将退化，即当k = l ，2 ，3 ，时，t j ”似) - - ) 0 。 严格地洗，自相似是不存在的。因为严格的自相似属于主观世界，尤其是训 算机世界。因此客观世界中的自相似指的是统计自相似，既概率意义下的自相似。 2 3 自相似业务流h 参数的检测方法 在建立f a r i m a 模型h 寸，首先需要检测自相似业务流的h 参数，从而确定其中 的参数d 。所以本章有必要详细介绍自相似业务流的检测方法。根据自相似业务流 的长相关特性，其h 参数的检测方法有很多种，这里介绍其中的最常用的几种。 2 3 1 时间一方差法( v - t ) 把初始时间序列x = x ，i 1 分成大小为m 的子块，取每一块的平均值，刺连 续的m 值有： 第二章陡相关与自相似介绍 ( t ) = i 1 。h 。x ( f ) 女= 1 ，2 ，( 2 - 1 5 ) 然后取”( i ) 的样本方差，这个样本方差是v a r x n “的估计值。对分形高斯噪声和 f a r i m a 过程，当m 斗o o 时，有v a r x 川= 吼2 9 。这里卢= 2 h 一2 - 1 ) 。既然历汝“是v a r x 州的一个估计值，所得到的点应该形成一条斜率为 = 2 h 一2 ( 一1 0 ，令k = 1 ，对以f 为计数间隔，信号x 的n 个计数样 本施以正交小波变换，从最精细的尺度开始，依次取各个尺度，记j = l ，计算仃： ( 2 ) 依下面三个公式别估计在此分辨率下信号的h u r s t 系数： 电予科技大学硕士学位论文 c 。：! l i 一 ( 2 2 4 ) r a n ( m ) 厕 皑一 求卢，满足如下方程的正根： 估计l t u r s t 参数 c ，。n ( m ) c r ；1 ( k ) f l = 0 ( 2 2 5 ) m = m h ( 七) = 【l o g ：卢( 女) + 1 1 2 ( 2 2 6 ) ( 3 ) 令k = k + l ，a t = 2 a t ，获得序列x 新的n 个样本计数过程后进行正交小波 变换，计算盯：，( 女) ，根据定理3 和( 2 2 2 ) 式检验在( s = 1 ，2 ，3 ，) ) 各尺度下 h u r s t 系数的一致性，若v m s 有i 一一l ( k 一1 ) 口：( t ) 一o ，5 i 占( 占为一致检验偏差 设定值，如j = o 0 1 ) ，则认为新序列通过一致性检验，转向( 3 ) 。否则，修正方差： 2 i 22 口，( k ) = ( 1 一a ) c r i ( k ) + o ! o i 川( k 一1 ) ，口( 0 ，1 ) ( f = 2 ，3 ，上) ( 2 - 2 7 ) z ( 4 ) j = j + 1 ，对各尺度下方差序列进行移位： 仃；( ) = 仃，2 一( t 1 ) ( ，= + 1 ，) ( 2 2 8 ) 盯；( 血) = 苫j ( 七) 2 ( - ，= l ，2 ，) ( 2 2 9 ) ( 5 ) 重复( 2 ) 一( 4 ) ，直至l ( 日( 尼) h ( k 一】) ) h ( k ) j 0 。 显然， x ， 是d ( 一0 5 ，0 5 ) 的f a r i m a ( p ，d ，q ) 过程，当且仅当x ，是一个 a r m a ( p ，q ) 过程。如果对h 1 ，有o ( b ) 0 ，那么r = 中( 占) o - 1 ( 口) ，满足f = q 和m ( b ) x ，= 0 ( b ) r 。因此，在d ( 一05 ，0 5 ) ，p o ，q 0 时，f a r i n a ( p ，d ，q ) 过 程 ) 可看成由f a r i m a ( 0 ，d ，o ) 驱动的a r m a ( p ，q ) 过程，其数学表达式为： x ，= 叫( b ) ( 曰) r ( 3 - 6 ) 其中 r = _ “口， ( 3 7 ) 是f a r i m a ( 0 d 。o ) 过程，即分数差分噪声。 定理1 设 x ) 是d ( - o 5 ，0 5 ) 的f a r i m a ( p ，d ，q ) 过程，且式( 3 1 ) 中多项 式0 ( b ) 与中( b ) 无公共根，则： ( 1 ) 如果中( b ) 0 ，l b i 1 ，则式( 3 1 ) 有唯一的平稳解，形如： ，= 甲，a 1 ( 3 8 ) ，5 咖 其中甲( z ) = 甲，z 7 = o ( z ) m 。( z ) ； 一 ( 2 ) ， 具有物理可实现的单边滑动平均表示的充分必要条件是 。( b ) o ，i b l s l ： ( 3 ) ，) 可逆的充分必要条件是o ( 口) o ，例i ： ( 4 ) 如果 z ，) 具有物理可实现的单边滑动平均表示且可逆，则对d 0 ，其自 电子科挫大学顺士学位论义 相关函数和谱密度有 r ( h ) 凸2 “。，( 一) ( 3 - 9 ) 其中c 0 为常数： m ，= 丢l 蔷蓦卜i “i 。，和州蚓c ， c 。- 因此，在极限状态下，f a r i m a ( p ，d ，q ) 过程的自相关函数和谱密度函数有同 f a r i m a ( o ，d ，o ) 类似的结构，即当o d o 5 时，f a r i m a ( p ，d ，q ) 是长相关的。 定理2 1 5 】【”1 当o d o 5 时，f a r i m a ( p ，d ，q ) 过程是渐进二阶自相似过程，且 其h u r s t 参数h = d + l 2 。 不难看出，o d o 5 的f a r i m a ( 0 ，d ，0 ) 和f a r i m a ( p ，d ，q ) 过程可以描述自相似 业务所具有的长相关特性。 从f a r i m a 的定义容易看出，当d = o 时，它是普通的a r m a ( p ，q ) 过程，是短相 关的。当d ( 0 , 0 5 ) 时，f a r i m a 过程是长相关过程。另外，如果p - q = o ，即 f a r i m a ( 0 ，d ，0 ) ，它是f a r i m a ( p ，d ，q ) 最简单的形式，被定义为高斯白噪声的d 阶分数差分，简称为分数差分噪声，把这一运算又称为分形滤波。它与f g n ( f r a c t i o n a lg a u s s i a nn o i s e ，分形高斯噪声) 等价，差分系数d 表示长相关的 强度，如同f g n 过程中的l t u r s t 参数一样，并且h ：d + o 5 。同a r m a 和f g n 过程相 比，f a r i m a ( p ，d ，q ) 过程的灵活性在于可以同时对长相关和短相关进行建模。 3 2f a r i m a ( p ，d q ) 过程的产生 传统的a r m a 模型已经建立了一套成熟的理论和方法1 1 5 6 儿 1 。而与传统的a r m a 过程相比，f a r i m a 模型的结构辨识和参数估计要困难和复杂得多。当数据同时呈 现长短相关性时，它们的行为很难区分，使得模型选择变得困难。此时，精确似 然估计方法遇到了计算上的问题，而其它“半参数”技术导致明显的有限样本偏 置和较大的样本方差。 利用f a r i m a ( p ，d ，q ) 模型时，在获取了参数d ( 等价地，h u r s t 参数h ) 的有 效估计后，可以通过分形反滤波来削弱数据中的长相关结构，以达到增强短相关 结构的目的。这是因为当我们将传递函数g ( b ) = ( 1 一b ) “的分形反滤波器作用于动 态数掘刑，所得到的过程将是一个a r m a 过程。基于上述讨论，我们可把 第三章f a r i m a 模型介绍 f a r i m a ( p ，d ，q ) 分离为“分数差分”和“a r m a ”两部分。其中“分数差分”是关键 部分。 从式( 3 - 6 ) 和( 3 - 7 ) 的推导可以看出要生成一个f a r i m a ( p ，d ，q ) 过程一般 要经过两步。这里我们介绍两种产生f a r i m a ( p ，d ，q ) 过程的方法。 算法一：直接定义法 步骤1 ：产生分数差分噪声y 。 对于给定的参数d ，由式( 3 - 4 ) 和( 3 7 ) 假定y 的值在负时间轴上为0 ，我 们可以得到一个有限的时间序列，其定义为： 其中， 万。：l ，口l ：d ，以：半( t ：2 ，3 。) 步骤2 ：产生一个f a r i m a ( p ，d ，q ) 过程z 。 在这一步中，我们先将白噪声a ，替换为f a r i m a ( 0 ，d ，0 ) 过程r ，然后使用常用 的a r m a 过程产生方法来生成f a r i m a ( p ，d q ) 过程x 。 即：取适当的p ，q 值以及相应的a r 和m a 的参数代入公式中( b ) ，= 0 ( b ) y 中， 则可得到上。 算法二：h o s kin g 1 3 1 方法 步骤l ：产生分数差分噪声r 。 令r ( k ) = 生! ! 垡2 ：堂二! 塑 ( 1 一d ) ( 2 一d ) - ( k d ) 1 计算r ( k ) 2 使k 的取值从一个服从n ( 0 ，) 的过程中得到 3 设置n 。= 0 4 设置d 。= 0 5 使k = l n 重复下面的运算 6 n 。= r ( ) 一o 。r ( k 一) l 乜予科技大学颂= l 学位论文 7 d = b i 一二l d h 8 中“= n t d 女 9 使j = l ，k - 1 重复下面的运算 1 0 o “= o 一i 一中o 女一1 女一， 1 1 m = o x 一， 1 2 v = ( 1 一中0 ) y 使扎的取值从一个服从n ( ，叱) 的正态过程中得到。 令y - x 就可得到一个n 点差分噪声。 步骤2 ：产生一个7 a f i m a ( p ，d ，q ) 过程z 与算法一的步骤2 相同。 3 3 仿真验证f a r i m a 过程的长相关性 先用直接定义方法生成f a r i m a ( 0 ，d ，0 ) 过程i l ，然后取适当的p ，q 以及相应 的p + q 个参数生成f a i i m a ( p ，d ，q ) 过程。d 的取值分别为0 1 ，0 2 ，0 3 ，0 4 ，0 4 5 。 对每个d 值，在保持p 和q 等参数不变的情况下，分别产生3 ，0 0 0 个和2 0 ，0 0 0 个f a r i m a ( p d ，q ) 样本点，然后使用小波检测法分别估计其h u r s t 参数，根据 d = h 一0 5 得到d 。其中生成分数差分噪声f a r i m a ( 0 ，d ，0 ) 过程是关键步骤。 我们将仿真结果列于表3 一l 。由表3 1 可以看出，使用上述方法产生的业务流， 其估计的d 值与设定的d 值非常接近，验证了上述方法产生f a r i m a 过程的可行性。 根据公式h = d + l 2 得到的h 值在( 1 2 1 ) 范围内，说明f a r i m a 可以用来描 述自相似业务流。而前面已经介绍过，f a r i m a ( p ，0 ，q ) 过程是a r m a 过程，它可 以用来描述短相关业务流。所以，综合起来看，f a r i m a ( p ，d ，q ) 既可以描述长相 关又可以描述短相关业务流。 第三章f a r i m a 模型介绍 表3 一l 生成的f a r i 姒( 1 ，d 1 ) 的h 和