（计算机应用技术专业论文）网络流量检测与分析预测技术的研究.pdf

声明尸明 本人郑重声明：此处所提交的硕士学位论文网络流量检测与分析预测技术的研 究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得 的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 学位论文作者签名：鱼缸扯日 期：删 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅：学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容。 i 涉密的学位论文在解密后遵守此规定) 作者签名： 日期： 导师签名： 绯一 叠 j ， ，a t 华北电力人学硕十学位论文摘要 摘要 网络流量检测与建模预测是对网络进行管理控制的关键技术。本文分析了 当前网络异常检测与流量预测的相关技术并深入研究了网络流量的自相似性及 其参数估算算法，详细分析了与网络流量数学建模的相关技术，之后设计了一 个结合小波分析与希尔伯特黄变换的自相似指数估算算法将其应用于网络流量 异常检测，并通过实验验证了其在准确性与有效性方面的提高，同时还设计了 一个结合经验模态分解与离散小波变换的网络流量混合模型应用于网络流量预 测，也通过实验验证了其有效性与相对较高的预测准确性。 关键词：自相似性，自相似指数，小波变换，希尔伯特黄变换，经验模态分解 a b s t r a c t n e t w o r kt r a f f i cd e t e c t i o na n dm o d e l i n gp r e d i c t i o na r et h ek e yt e c h n o l o g i e st o m a n a g ea n dc o n t r o lt h en e t w o r k i nt h i sp a p e r , t h ec u r r e n tt e c h n o l o g i e so fn e t w o r k a n o m a l yd e t e c t i o na n dp r e d i c t i o na r ea n a l y z e d ，t h es e l f - s i m i l a ro fn e t w o r kt r a f f i c a n di t sp a r a m e t e re s t i m a t i o na l g o r i t h m sa r es t u d i e di nd e p t h ，a n dt h er e l a t e d t e c h n o l o g i e so fn e t w o r kt r a f f i cm o d e l i n gh a v ea l s ob e e nd e t a i l e da n a l y z e d t h e n ，a r e f i n e ds e l f - s i m i l a rp a r a m e t e re s t i m a t i o n a l g o r i t h m i s d e s i g n e dt h r o u g h t h e c o m b i n a t i o no fw a v e l e ta n a l y s i sa n dh i l b e r t - h u a n gt r a n s f o r m ，w h i c hi sa p p l i e dt o n e t w o r kt r a f f i ca n o m a l yd e t e c t i o n ，a n das e to fe x p e r i m e n t sa r er u nt ov e r i f yt h e i m p r o v e m e n ti nt h ea c c u r a c ya n da v a i l a b i l i t y am i x t u r em o d e lo fn e t w o r kt r a f f i ci s a l s o d e s i g n e dc o n c u r r e n t l yt h r o u g h t h ec o m b i n a t i o no f e m p i r i c a l m o d e d e c o m p o s i t i o na n dd i s c r e t ew a v e l e tt r a n s f o r m ，w h i c hi sa p p l i e dt on e t w o r kt r a f f i c p r e d i c t i o n ，a n das e to fe x p e r i m e n t sa r ea l s or u nt ov e r i f yt h ei m p r o v e m e n ti nt h e a c c u r a c ya n da v a i l a b i l i t y x i ek u n ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n gx i a o r o n g k e y w o r d s ：s e l f - s i m i l a r , h u r s tp a r a m e t e r , w a v e l e tt r a n s f o r m ，h h t ，e m d 趣 ， a 华北电力人学硕十学位论文目录 目录 中文摘要 英文摘要 第一章引言l 1 1 课题研究的背景和意义”l 1 2 国内外研究现状l 1 2 1 网络流量异常检测国内外研究现状l 1 2 2 网络流量分析建模国内外研究现状2 1 3 论文主要工作3 1 4 论文的组织结构4 第二章网络流量自相似特性分析5 2 1 自相似性5 2 1 1 自相似过程6 2 1 2 自相似过程的特性7 2 1 3 网络流量自相似性产生的原因一9 2 2h u r s t 指数及其估算算法贼1 3 2 2 1 时域下的估算算法1 3 2 2 2 频域及小波域下的估算算法1 5 2 2 3 算法性能分析”l7 2 3 网络流量的多重分形1 8 第三章网络流量时间序列的分析与建模2 0 3 1 网络流量时间序列建模2 0 3 1 1 时间序列分析相关概念2 0 3 1 2 时间序列建模2 l 3 1 3 基于网络流量的时间序列建模2 l 3 2 网络流量模型分析与比较2 2 3 2 1 短相关流量模型2 2 3 2 2 长相关流量模型2 6 3 2 3 自相似流量模型比较分析- 3 2 华北电力人学硕+ 学位论文目录 第四章基于h u r s t 指数估算的网络流量异常检测优化算法设计一3 4 4 1 小波分析原理3 4 4 1 1 小波变换”3 4 4 1 2 多分辨率分析”3 6 4 1 3 小波分析的特点3 7 4 2 希尔伯特黄变换3 7 4 2 1 基本理论”3 8 4 2 2 经验模态分解3 9 4 3h u r s t 指数的小波估算算法4 0 4 4 结合h h t 与小波变换的异常检测优化算法4 l 4 4 1 算法的整体设计4 l 4 4 2 基于h h t 的流量数据预处理”4 2 4 4 3 基于小波系数方差法的指数估算4 4 4 4 4 算法整体流程一4 6 第五章结合小波与e m d 的网络流量预测优化算法设计4 7 5 1 网络流量预测概述4 7 5 2 小波多分辨率分析的m a l l a t 算法4 7 5 3 网络流量预测分析优化算法的整体设计4 8 5 4 趋势项的多项式拟合预测”5 0 5 5 细节信号的a r m a 建模和预测5 l 5 5 1a r m a 建模预测流程“5 l 5 5 2a r m a 模型拟合5 3 5 5 3a r m a 模型的预测方法一5 5 5 6 近似信号的f a r i m a ，建模和预测”5 5 5 6 1f a r i m a 建模预测流程“5 5 5 6 2f a r i m a 模型的分数阶差分5 6 5 6 3f a r i m a 模型的预测方法”5 7 第六章异常检测与流量预测的实现与分析一5 8 6 1 网络流量异常检测实例分析5 8 6 2 网络流量预测实例分析”6 2 第七章结论6 6 i i ， 华北电力人学硕十学位论文目录 参考文献6 7 致谢一7 l 在学期间发表的学术论文和参加科研情况7 2 i i i j 一 华北电力人学硕十学位论文 1 1 课题研究的背景和意义 第一章引言 互联网自问世以来持续着爆炸式的发展，使人类社会步入了信息的时代。其应 用已经普及并结合到了商业、工业、农业、金融市场、服务制造、交通运输、法制 管理、学习研究等社会生活的各方各面。网络对人类社会生活的影响日益加剧，正 在改变着人们的生活模式。随着网络协议体系的不断发展，产生了共享以太网到交 换以太网、标准以太网到1 0 g 以太网、a t m 、城域网、广域网、无线网等等多种网 络类型。同时计算机网络的理论及实践研究也在不断地深入和扩展，网络规模同益 扩大，设备的种类也越来越多，涌现出了大量的网络用户和日渐多样的网络应用类 型，如p 2 p 、多人联机、多媒体视频语音通信等。 多样的综合网络服务，对网络带宽有很高的要求，并且需要高质高速稳定的传 输，网络用户对网络服务质量( q u a l i t y o f s e r v i c e ，q o s ) 的要求同趋严苛。然而，即 便通信线路、交换设备、服务器等硬件设施和软件支持十分优良，组网与管理技术 也在不断完善，由于人为原因或资源管理不当等诸多因素，网络服务很可能达不到 预期的效果，计算机网络发生阻塞异常或被攻击的可能性也仍在提高，这不但影响 了网络性能，也加大了安全隐患，很有可能造成无法弥补的经济损失。 基于此种状况，信息网络监测管理与分析的压力越来越大。为了给网络运营和 维护管理提供重要信息支持，网络流量检测与分析方法的研究显得尤为重要，它可 以用于网络的资源分布、容量规划、服务质量分析、错误监测与隔离以及安全管理， 通过分析网络性能还可以了解网络运行动态，诊断可能存在的问题，甚至预测可能 出现的问题。目前，流量异常检测与流量数据分析建模已经受到国内外研究学者和 机构的高度关注。 1 2 国内外研究现状 1 2 1 网络流量异常检测国内外研究现状 作为网络安全管理领域的重要研究内容，网络流量异常检测的相关研究国内外 目前已经丌展了很多，基于不同的数据源类型，不同的流量监测范围，不同的异常 类型，也有着多式多样的检测方法与手段。网络流量异常，即是指某种已经影响了 网络j 下常使用的网络流量模式。而网络流量异常检测，则是指依据某种手段，及时 确定网络流量异常发生的时问地点【l 】。导致网络异常发生的原因有很多，如异常网 络操作、闪存拥挤、网络滥用、蠕虫病毒、恶意攻击、网络配置错误等。如要进行 1 t 华北电力人学硕十学位论文 异常检测，则必须具有进行检测的范本，即网络上产生的流量数据。流量数据也有 不同的类型，如数据包截取数据，网络流( n e t w o r kf l o w s ) 和s n m p 的统计数据。 不同的异常检测场合，也可能需要对数据源进行不同的处理，如网络流采样【2 1 、流 量统计时间序列【3 】等。流量异常检测的范围大致包括链路异常检测和全网异常检测 两种，检测方式则包括在线和离线两种。 网络流量异常检测的方法概括的说大致有如下几类： 1 ) 基于特征行为的异常检测。即在流量范本中分析与流量异常的特征相匹配的模 式来进行检测。基于此种方式开发出了相应的网络流工具( f l o w t o o l s 4 1 、 f l o w s c 锄【5 】) 或网络入侵检测工具( b r o 6 1 、s n o r t 7 】) 。 2 ) 基于流挖掘的异常检测。即在网络中结合数据挖掘技术，分类聚合数据流，挖 掘出某种流量异常的特征模式，以此确定异常行为并实现检测。它不但可以检 测出已知特性的异常，还可以挖掘出未知的异常特性并且令其得到检测。 3 ) 基于统计的异常检测。即流量数据为时间序列，并使用统计分析技术来检测异 常。方法大致包括基于时间和基于空问两种。基于时间的统计方法有小波分析【3 1 、 指数滤波等，用于某链路的异常检测。基于空间子空间的则一般用于整体的异 常检测哺j 。 目前，大量文献提出了基于网络流量自相似性参数估算的异常检测方法。它相 对于传统的异常检测方法具有更高的准确度和检测率，已经成为了一个新的研究热 点。然而参数估算的算法有多种，准确性及适用场合也大致不同，为了得到更高的 参数估算准确度以提高异常检测率，仍需要大量针对参数估算算法的研究工作。 1 2 2 网络流量分析建模国内外研究现状 对网络行为及其数据的分析可以获得网络性能的关键特征参数，帮助建立精准 的网络数据模型，其技术近年来有了一定的发展。但是，目前仍然没有一个确定的 数据模型能够完全准确的刻画网络流量的特性。早期的网络特性，很长一段时间都 是使用传统的p o i s s o n 模型。此模型主要基于电话网业务，即传统话务理论，只适 用于高度平稳、变异有限且明确的情况。当前计算机网络的呼叫与响应机制与传统 电话呼叫响应的特征完全不同，且数据网络通信存在突发性，其突发性可以发生在 不同的时间尺度，p o i s s o n 模型已经不能够刻画当前数据网络的实际业务 9 , 1 0 1 。 在9 0 年代初，l e l a n d 、t a q q u 、w i l l i n g e r 和w i l s o n 提出网络流量存在自相似性 ( s e l f - s i m i l a r i t y ) 】。他们通过对在几个以太网上采集的大量实际流量数据进行高 时间精度( 2 0 弘s ) 的统计分析，指出网络业务的突发性不随时白j 轴单位的变化而变 化，证明了计算机网络流量具有统计上的自相似性，也就是说网络流量在很宽的时 间尺度( 毫秒、秒、分钟、小时) 内都存在突发现象，这打破了传统的流量分析建 2 华北电力人学硕+ 学位论文 模方法，具有极高的参考价值。紧接着，p a x s o n 和f l o y d 证明了在广域网上的自相 似性【姗，并且继续扩展到了a t m l l 2 】等网络，在服务上也涵盖了i s d n 13 1 、v b r 视 频业务【1 4 1 、w w w 业务【0 5 1 等。通过研究证明，计算机网络业务在不同的网络传输环 境、不同的网络传输协议下，在不同的时间尺度上均具有突发性和统计上的自相似 性，使用自相似模型，远比传统的m a r k o v 模型和短相关模型更加准确，描述的特 性也更加真实。此外，自相似性对网络的服务性能也有很大的影响，对网络的设计、 监控、管理都需要考虑到自相似性的影响。 目前主要的网络流量模型一般采用时间序列分析建模方式，多是基于自相似或 长相关性、重尾分布、分形及多重分形等概念或框架下的模型。大体有o n o f f 模 型、f b m f g n 模型、f a r i m a 模型、小波模型、多分形小波模型、a 稳定自相似过 程模型等几种。实际上，某单一的流量模型很难完全表征网络流量的所有性质，它 们各有优缺点，一般来说需要对模型进行组合分析。 通过对网络流量的分析与建模，可以实现计算机网络的流量预测，从而以此实 现网络服务业务质量的提高。然而，尽管已经有很多模型对网络流量进行了建模和 预测分析，一个完美的网络流量数据模型目前还没有真j 下出现，对于网络流量自相 似性的研究将会成为今后计算机网络特性研究的根本课题。 1 3 论文主要工作 通过上面的分析介绍我们可以看出，为了适应当今对网络服务的需求，对计算 机网络流量进行准确及时的异常检测是必要的。为了提高网络服务响应的水平，对 网络流量进行预测也是必不可少的工作。通过对网络流量进行分析，有助于计算机 网络的设计与监控管理，具有十分重要的意义。 本课题的首要目的就是基于网络流量的自相似性设计一个准确度高的自相似 参数估算算法，实现网络流量的高精度异常检测。之后则基于小波分析与经验模态 分解，设计一个网络流量的拟合模型，实现网络流量尽量准确的预测。本文主要工 作包括以下几个方面： 1 ) 阐明网络流量检测与分析预测技术的研究背景现状及研究意义，概述网络流量 异常检测和流量分析建模的一般方法。 2 ) 针对网络流量的自相似性，在相关概念、特征特性、产生原因等方面进行详细 介绍，同时给出自相似指数的估算算法。并在时间序列分析方面总结网络流量 的短相关与长相关描述模型。 3 ) 针对以往自相似指数估算算法准确性上的不足，设计并实现结合希尔伯特黄变 换与小波分析的自相似指数估算算法，以求实现准确度的提高。将其用于网络 3 华北电力人学硕+ 学位论文 流量异常检测，并通过实验验证方法的有效性。 4 ) 总结以往流量模型的不足，设计并实现结合经验模态分解与小波分解的混合网 络流量模型，以求实现网络流量的高精度拟合与高准确预测。最后通过实验验 证方法的有效性。 1 4 论文的组织结构 论文主要目的是网络流量异常检测与分析预测，并围绕网络流量的自相似性与 小波分析展开。论文主要包括7 章，各章主要内容安排如下： ” 1 ) 第一章引言部分。首先阐述了课题的研究背景与意义，之后简单介绍了网络流， 量异常检测与分析预测的相关概念相关技术和研究现状，最后给出了论文的主 要工作和组织结构。 爱 2 ) 第二章自相似性部分。主要对网络流量的自相似性进行较详细的阐述，从其产 生原因，相关特性等多方面进行分析。之后给出了当前较流行的自相似指数估 算算法，并进行比较分析。最后简单介绍了网络流量的多重分形特性。 3 ) 第三章流量分析模型部分。首先简要介绍了时间序列分析的相关内容并给出了 网络流量建模的一般流程。之后在短相关与长相关两方面详细介绍了网络流量 较常用的数据模型，最后分析比较了这些模型的优势与不足。 4 ) 第四章异常检测优化算法设计部分。首先对小波分析与希尔伯特黄变换进行了 简单介绍，之后给出了一个结合小波分析与希尔伯特黄变换的自相似指数优化 估算算法。 5 ) 第五章流量优化建模预测部分。首先概述了网络流量预测的相关内容并简单介 绍了小波分解与重构的m a l l a t 算法，之后设计了一个网络流量结合经验模态分 解与小波分解的混合模型，并给出了相应的预测算法。 6 ) 第六章实验实现部分。主要基于前两章的内容，在网络流量异常检测优化算法 与网络流量分析预测优化算法两个方面分别进行实验实现与验证，给出相应结 果并给与分析。 7 ) 第七章结束语部分。对本文的工作进行回顾与总结，并对未来的进一步工作与 1 方向进行了展望。 4 华北电力人学硕十学位论文 2 1 自相似性 第二章网络流量自相似特性分析 自相似性并不仅仅应用于随机过程或时间序列分析，它可以是一个较宽泛的概 念。所谓自相似性，概括的说是指一个复杂系统的某种结构或过程的特征从不同的 空间尺度或时间尺度来看都是相似的，或者其局域性质或局域结构与整体类似。它 是总体与部分之间以及部分与部分之间，其细微结构或性质特征具有的相似性，并 且从整体中分离出的局部( 局域) 部分也能够反映出原本整体的基本特征。它也表 示非线性或几何变换下的相对不变性，即在不同放大维数上的特性相似，包括几何 结构与形态、过程、信息、功能、性质、能量、物质( 组份) 、时间、空间等特征 上具有自相似性的广义分形。一般情况下自相似性的表现形式十分复杂，并不是简 单的部分与部分、整体与部分的完全重合。在计算机网络的范围内，正常的网络业 务流量就可以被理解为一个自相似过程，其自相似性表征了在各个不同时间尺度上 流量结构的相似性，具体表现为在所有( 至少是很广的) 时间范围内，不同时间尺 度下，单位时间数据通信量的统计特性不变，并且其突发性在不同的时间尺度上都 是存在的，且有聚集的特点。 首先介绍一下应用随机过程中的一些基本知识【1 6 , 1 7 1 ，有关概率空间、随机变量、 数学期望等概念则不再详细介绍。 定义2 1 ( 随机过程) ： 设给定的概率空间( q ，f ，p ) 和参数集tcr i ，若对每一个固定的t t ，都有定 义在( q ，p ) 上的一个随机变量x ( c o ，t ) ( 缈q ) 与之对应，对于给定的，x ( c o ，t ) 是t 的函数( 样本函数或实现) ，则称依赖于参数t 的所有可能实现的全体，即随机 变量族 x ( c o ，f ) ，t n ，为一个随机过程。记为 x ( c o ，f ) ，c o q ，t r ，简记为 x ( f ) ，t 乃 或( 五) 。 定义2 2 ( 平稳随机过程) ： 设 x ( f ) ，t t ) 为随机过程，其任意有限维分布函数不随时间的推移而变化，则 它是一个狭义平稳随机过程。如果其均值和方差为常数，且任意两点间的协方差只 取决于时间间隔如( j ，t ) = r x ( s - - t ) ，v s ，t t ，则它是一个广义平稳随机过程。 定义2 3 ( 自协方差与自相关函数) ： 对于一个平稳过程 z t ) ，有均值e ( z ，) = 和方差v a r ( z , ) = e ( z f - u ) 2 = 仃2 ，并且 协方差c o y ( z , ，z i ) 仅仅是时间差i t s l 的函数。在这种情况下，z 。和z t + k 之问的协方 差可以写为： 5 华北电力人学硕十学位论文 九= c o v ( z 。，z l + k ) = z ( z 。一) ( z t + k 一) ， z t 和z t + k 之f i j 的相关为： 反2 福赫2 万l k ， 公式( 2 1 ) 公式( 2 - 2 ) 其中，v a r ( z , ) = v a r ( z , ) = = 仃2 。作为k 的函数，丫k 称为自协方差函数，p k 称为自相关函数( a c f ) 。 2 1 1 自相似过程 在应用随机过程中，自相似性即指在各个不同的时间尺度上具有相同特征的性 质，自相似过程则是指在统计意义上具有尺度不变性的一种随机过程。实际上自相 似性并没有统一的定义，不同的定义有时也并不是完全等价的。那么，在应用随机 过程范围内，自相似过程较常用的数学定义如下。 定义2 - 4 ( 自相似过程) ： 设x = ，i = 1 , 2 ，3 j 是一个广义平稳随机过程，即其具有： 常数均值= 可x j ，有限方差口= e l ( x , 一2 j 7 ，和只依赖于k 的自相关函数 ，( 七) ：丛生丛掣，k ：0 l 2 。 假设x 的自相关函数删具有如下形式：r ( k ) - - l ( k ) k - p , k 一，其中o p 。，有l 卸笔等= l ，则有随机过程 x 例= ，k = l ，2 ，3 夕为过程x 的m 阶聚集过程。 其中掣= 土一州+ + h 夕，七= l 2 , 3 m ，即岱，= 土m ，二邑蚤，同时记时间序 ；一f ： “ 列x 例= ，i = 1 , 2 ，3 夕的自相关函数为r c m ) ( k ) 。 如果对所有的m - 1 , 2 ，( k = 1 , 2 ，3 ) ，其满足如下的两个条件： v a r x c ) = 朋2 - 2 纥，且，( 七) = 去，“( 七) = 【( 后+ 1 ) 2 - 2 k 2 + lk - i1 2 】， 则称此随机过程为严格二阶自相似的随机过程，其中h ( o 5 ，1 ) ，被称作h u r s t 指数， 且有h = l 一2 。它表征了自相似性的强弱，是描述自相似性最重要的一个参数。当h 值较大时，经过时间平均后的随机过程其方差减小的速度则较慢，同时说明其自相似性 华北电力人学硕十学位论文 较强。当h 值为最小值0 5 时，此随机过程就变为一个p o i s s o n 过程。 如果某个随机过程经过时间上的聚合以后它的自相关函数趋近于严格二阶自相似 随机过程的自相关函数：l i m ，例内= ，内， 即x ( m ) 的自相关函数一m 需满足： 肘+ ，叶l 夕寸2 卜，一1 , m 寸o o ，且，俐内专1 2 6 2 忙2 - # 夕，mj ，传= 2 , 3 ，夕， 则称此随机过程为渐进二阶自相似的随机过程。其中万2 表示一个算子符，作用于函 数坟k ) 即表示万2 俐= 所凳+ l 夕一2 _ ，阳+ 独一l 夕。 实际上，通常具有自相似性的随机过程一般都不是严格二阶自相似的随机过 程，而都是属于渐进二阶自相似的随机过程。 以上是自相似过程的一个定义，它是基于标准离散时间序列的。自相似过程还 有一个基于连续时间的定义。 定义2 5 ( 连续自相似过程) ： 设 x ( f ) ，t r + 为一个连续时间随机过程，存在自相似参数h ( 0 o ，有r r ( t ) d t = o o ， 且有r ( o ) = o o ，那么此过程就是长相关的。 这也说明长相关过程的自相关函数具有不可加和性，它随滞后时间t 的增加呈 双曲线缓慢衰减( 负幂指数衰减) ，且呈发散态势。其谱密度函数在原点处服从幂 率变化，也是发散的。不可和性即说明，高滞后的相关即便是个别的，非常小的量， 可是它的累计结果却相当的重要。 从长相关性的定义我们可以看出，自相似与长相关有紧密的联系。长相关需要 是平稳随机过程且自相关函数的条件与自相似过程的相同。但是，长相关并不等于 自相似，自相似是长相关的一个特例，或者说是一个简单模型。对于一个平稳的自 相似过程，我们可以证明，如果满足h ( 0 5 ，1 ) ，则其自相关函数就是不可加和的。 这就说明了此自相似过程具有长相关特性，且有= ( 1 + ) 2 。 2 慢衰减方差 从统计学的角度上说，对于一个自相似过程，其样本均值的方差具有慢衰减的 特性。具体地说，当m 趋近于无穷大时，自柏似过程x 的m 阶聚集过程x 一) 的方 差的衰减速度比m 的倒数要慢。 其数学表示为：v a r ( x t 肌) 姗一，mjo o ，其中( o ，1 ) ，即前文自相似过程定 义中的b ，且0 t 是一个与m 无关的常数。自相似过程的方差衰减要慢于短相关过程。 3 h u r s t 效应 网络流量具有自相似性，则必然会出现h u r s t 现象，即产生h u r s t 效应。h u r s t 现象或h u r s t 效应，作为一个程度度量，与自相似性有十分紧密的联系。现将h u r s t 效应简单解释如下【9 】： j l 对于一组给定的观测样本序列五，k = 1 , 2 ，疗，则其和为y ( n ) = t ，其样本均 8 华北电力人学硕十学位论文 值为i o ) = y ( n ) n ，样本方差为s 2 ( ，1 ) = ( 1 甩) e - ( i n ) 2 y ( 刀) 2 ，其重新调制尺度权 k f f i i 差( r s ，r e s c a l e da d j u s t e dr a n g ea n a l y s i s ) 统计为：。 r ( n ) s ( n ) = m a x ( o ，彤，oo ) 一m i n ( 0 ，暇，暇) 】s 伽) ，公式( 2 4 ) 其中嵫= ( 五一x 伽) ) ，k = l ，2 ，刀，r 表示重新调整尺度的极差，即序列变化范 i = 1 围的度量，s 表示样本的标准差。 英国的水文专家h u r s t 在1 9 9 1 年和1 9 9 5 年发现，大部分自然发生的时间序列 满足关系：研r ( 甩) s 仰) 】c r l hr l - - 9 , o o ，其中h 为h u r s t 参数，其典型值为o 7 3 ，c 为与n 无关的有限的正的常数。 可如果时间序列是短相关的，m a n d e l b r o t 等发现其满足另一个关系： e r ( n ) s ( n ) 卜d n 0 5n 专o o ，d 也为与n 无关的有限的正的常数。 上述的两个关系的差异通常被称为h u r s t 效应或h u r s t 现象。 2 1 3 网络流量自相似性产生的原因 网络流量的自相似性是从信源发送时就确定的还是在链路的传送过程中产生 的，是业务流量内在固有的特性还是由于不同的网络协议共同调节的结果，目前并 没有一个明确的说明，只能说是由于各方面的原因共同作用而产生的。 1 重尾分布 定义2 7 【2 0 】( 轻尾重尾分布) ： 设非负的随机变量x ，有其分布函数为，( 工) = p ( x o ，存在口，b 0 ，使得f ( x ) a e 一，则 称f 为轻尾分布( 或f 有轻尾) 。 如果对所有的s o ，有詹，( s ) = e e 硝= ，则称f 为重尾分布( 或f 有重尾) 。 或：若有声( x ) 一c x - a o a 工卜c a x ”, l 口 2 ，t 期望是有限的，但是方差是无限 的，具有很高的突变性。可当口l 时，t 的期望不是有限的。此模型中数据通信时 间是l 口 2 的重尾分布。感性的看，它说明数据通信时间不是固定的，突发性强、 方差无限，且在较大的数据量尺度上波动。所以，从此种角度上说，应用层决定了 i p 层聚集的链路流量具有自相似性。 4 网络协议和t c p i p 拥塞控制 t c p i p 网络体系结构，包括应用层、传输层、互连网络层以及网络接口层。当 数据在不同层封装交换时，需要遵循不同层的相应协议，不同的协议在数据传输时 也需要遵循不同的策略。i n t e r n e t 网络中包含多种网络类型，应用多种不同的网络协 议，不同的协议对自相似网络流量也有不同的影响。h u n g a r y 对此问题进行了较细 致的研究，分析了不同协议的流量占有率并分析相应协议下链路流量的自相似特性 口7 1 。图2 1 给出了不同协议在网络中的比重： 华北电力人学硕十学位论文 口i c m p 口o s p f 1 ， 1 7 u d p 8 t c p 9 0 一，一 口s m t pi 6 0 o ，h ”_ p 2 6 一f 伊 3 爱如 图2 - 1 不同网络协议在网络中占的比重 可以看出，i p 协议占1 0 0 的情况下，传输层t c p 协议占据了主导地位，其次 是u d p 。应用层下，f t p 与h t t p 占有率较大，但没有哪一个协议占主导地位。其 自相似性分析如表2 1 ： 表2 1 不同网络协议在网络中占的比霞 所占比例传输量时间方差 传输协议分析r s相关类型 ( )( x1 0 5 ) 分析 i p1 0 01 9 5 1 40 7 2o 7 3l r dh = 0 7 3 t c p8 8 51 9 4 6 60 7 2o 7 3l r dh = 0 7 3 u d p8 8 74 30 6 8l r dh = 0 6 8 o s p e0 8 82 1o 6 7、s r d i c m p1 6 82 90 6 3s r d h t t p4 7 6 48 0 0 4o 7 20 7 4l r dh = 0 7 3 f t p1 2 2 9 1 4 6 o 8 5 0 7 8l r dh = 0 8 5 s m t po 2 60 0 0 40 7 2l r dh = 0 7 2 t e l n e t1 6 95 8、s r d o t h e r s3 6 1 31 50 7、s r d 实际上，网络协议和t c p i p 拥塞控制都可能成为网络流量自相似性诱发的因 素。根据上表，h t t p 和f t p 协议下的流量具有多重分形的特征，决定了被其占大 部分的t c p 协议下的流量具有长相关性。并且t c p 的传输控制机制使得文件大小 的重尾分布特性得以保存，从而引发了它的长相关性。 从t c p i p 协议拥塞控制上来说，其混沌特性也是诱发自相似性的原因之一【2 引。 缓冲区大小与t c p 流数量的比率决定了系统相位迁移，以周期性至浑沌性，且基于 特定的指数生成自相似时间序列。单一的t c p 流量是渐进自相似的，其h 大于0 5 。 于缓存瓶颈处相互叠加生成的t c p 流量具有短相关性，其h 约等于0 5 ，原因是t c p 拥塞控制机制令瓶颈缓存占用率最大，使得相互叠加的t c p 流量变得平滑，然而单 1 2 华j 匕电力人学硕十学位论文 一的t c p 流量仍具有长相关性。 所以说，t c p 协议本身即可产生自相似流量。网络流量的自相似性也是t c p 拥塞控制和具有重尾特性的上层协议共同作用的结果。 2 2h u r s t 指数及其估算算法 我们现在已经知道，正常的计算机网络业务流量具有自相似性在相当长的时间 内是其不可改变的一个特性。那么，我们就需要一种手段来判断网络流量自相似性 的有无或强弱，最好有一个量化的度。理论上说，根据自相似过程的定义，我们需 要一个无限长度的时间序列来进行分析，并考察它的自相似性，但这是不现实的。 事实上，一般采用的方法是分析一个有限的时间序列，即有限的网络流量数据采样， 根据此采样来估算流量信号的h u r s t 指数，以此判别流量的自相似性。 h u r s t 指数，即自相似指数h ( 0 h 1 ) ，是描述业务突发性的重要参数，是 衡量随机过程自相似性强弱的最重要的也是唯一的指标。实际上，最早h u r s t 指数 是由h u r s t 提出，用来研究尼罗河水库控制问题的。后来则被拿来用于研究网络流 量特性。对于一个自相似过程，其h u r s t 指数有一个确定的范围，即0 5 h l ，若 序列的h u r s t 指数在此范围内，说明其具有自相似性，为长相关模型，反之，则不 具有自相似性。h 值越大，序列的突发性也就越强，自相似程度也就越高。当h 趋 近于l 时，序列的自相似性程度达到最大值，数据流的突发性也达到最大，而当h = 0 5 时，说明此序列相互独立、具有有限方差，在较大时间尺度上不再具有突发性，即 已经不再具有自相似性，并且从长相关模型退化为短相关模型。 依据随机过程的估计理论来导出h u r s t 指数估算的最优表达式理论上是可行的， 但实际上却非常困难。对于严格二阶自相似过程，其h u r s t 指数隐藏在其自相关函 数中。对于渐进二阶自相似过程，其需要的相关时间跨度很长，估算难度更大。目 前已经有多种可行的方法能够估算网络流量的自相似指数h ，并且大多是图形化或 半图形化的方法，总体上可分为时域和频域两大类。较常用的时域下的方法包括方 差时间图法( v a r i a n c e t i m e ，v t ) 、绝对值法( a b s o l u t em o m e n t ，a b s ) 、余数法 ( v a r i a n c eo fr e s i d u a l s ，r e s ) 和r s 法。较常用的频域下的方法包括周期图法 ( p e r i o d o g r a m ) 、w h i t t l e 法和小波法( w a v e l e t ) 。其中，方差一时间图法、r s 法和 周期图法是完全的图形化方法。图像化的方法大体上是把统计的流量数据对应在对 数坐标上，并进行线性拟合，根据拟合得到的直线的斜率来估算h 的值。但是w h i t t l e 法却可以较准确的定量估算h 的值】。下面对不同的估算算法一一进行介绍，并简 单评估其性能【2 9 3 3 1 。 2 2 1 时域下的估算算法 1 3 华北电力人学硕+ 学位论文 时域下的h u r s t 指数估算算法基本都是利用全域计算的统计量和随机过程序列 的聚集阶数之间的幂函数规律，即在对数坐标图中，若统计量与聚集阶数m 之间存 在线性关系，则该序列具有l r d 特性，且可以由拟合到的直线的斜率估算h u r s t 指 数。 1 聚类方差法 聚类方差法( a g g r e g a t e dv a r i a n c e ) 又可分为方差- 时间图法与绝对值法。 根据自相似过程定义，x ( m ) 为过程x 的m 阶聚集过程。若x 的长度为n ，则： 产1 m 。鬣k i n = l ，2 ，胍 公式( 2 5 ) 且有x ( m ) 的n 阶中心距为：彳肘= 万l _ 善l 砖一i r 。 如果随机过程x 方差有限或是高斯的，具有长相关性，则对于大的n m 和m ， 有：a m ：”芘c m 州肛n ，其中c x = 表示正比关系。在两边分别取对数，则有： l o g 肼：m 虻l o g ( m ) 。在对数坐标图中呈直线，得到的直线斜率即为n ( h - 1 ) 。当n = l 时，对应的算