（计算机应用技术专业论文）网络业务流的特性分析及预测技术研究.pdf

摘要 摘要 随着计算机网络技术的飞速发展，网络规模急剧膨胀，带宽成倍增长，复杂性、异 构化程度不断增加。基于计算机网络的各种应用、务也越来越广泛，尤其是新的应用( o n v o d ，v o l p ，p 2 p ) 的出现，宽带网络服务需求( 如多媒体、视频业务等) 的激增，网络的突发 业务流量急剧增加，基于传统模型的流量特征不再适合当前网络流量的分析。对网络业 务流量的特性分析和预测技术研究对于保证关键业务得到所需的服务质量( q o s ) 、进行流 量负载均衡、区分服务优先等级、检测和定位网络故障和安全攻击( 例j t h d d o s 攻击) 以及 进行长期网络规划设计等方面都具有较大的研究和应用价值。 本文分析了网络业务流的特征特性，详细描述了自相似业务流的特点，包括自相似 性的定义、性质、网络流量自相似程度的h u r s t 参数估计方法、长相关性和重尾分布的 基本概念，阐述了自相似、长相关、重尾分布对网络性能的影响。在网络流量预测方面， 人们发现传统的p o i s s o n 模犁不适应网络业务流量分析，一些新的流量模型和预测方法 被相继提出，同时，许多相关技术被应用到流量预测中，比如神经网络、混沌理论、小 波方法等。文章在总结分析了已有的流量预测方法基础上，提出了一种新的基于多种预 测技术组合而成的网络流量预测方法。该方法根据小波多尺度的分解和重构思想，将网 络流量通过小波分解成不同尺度f 的逼近信号和细节信号，然后分别单支重构成低频序 列和高频序列。根据低频和高频序列的不同特性，分别采用线性最小均方误差估计 ( l m m s e ) 和白回归模型( a r ) 对未来网络流量进行预测，最后重新组合生成预测流 量，通过对真实网络流量的仿真实验，结果显示该方法能比较准确的预测未来的网络流 量，比直接在原始流量基础上建模进行预测的方法有更高的预测精度。 最后，本文将网络流量预测技术应用于分稚式拒绝服务攻击( d d o s ) 检测之中，给出 了一种基于流量预测的拒绝服务攻击( d d o s ) 检测模型。该模型基于本文提出的网络流 量预测方法对未来时间段的业务流量进行预测，根据预测结果来提供一个近似的正常流 量模板，以区分网络是否受到了d d o s 攻击。由于拒绝服务攻击可以导致网路流量发生 大规模的突变，进而会改变网络流量的自相似程度。因此，可以通过计算d d o s 攻击发 生时网络流量的h u r s t 系数与预测得到的正常网络流量h u r s t 系数之问的差异程度来快 速的检测d d o s 攻击。 关键词：网络流量；自相似；线性最小均方误差估计；小波分析；自回归模型；流量预 测；分布式拒绝服务攻击 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g y ，t h en e t w o r ks c a l ee x p a n d s r a p i d l y ，t h eb a n d w i d t hg r o w si nd o u b l e ，t h ec o m p l e x i t ya n dh e t e r o g e n e i t yi n c r e a s e c o n t i n u a l l y a p p l i c a t i o n sb a s e do nt h ed a t an e t w o r kb e c o m ei n c r e a s i n g l y w i d e s p r e a d ， e s p e c i a l l yt h ee m e r g e n c eo fn e wa p p l i c a t i o n s ( s u c ha sv o d ，v o l p ，p 2 p ，e t c ) l e a d st oag r e a t d e m a n df o rb r o a d b a n dn e t w o r ks e r v i c e s ( s u c ha sm u l t i m e d i a ，v i d e o ，e t c ) a st h e n e t w o r k t r a f f i cu n e x p e c t e d l ys h a r pi n c r e a s e ，t h et r a f f i cc h a r a c t e r i s t i c sb a s e do nt h et r a d i t i o n a lm o d e li s n ol o n g e rs u i t a b l ef o r t h ec u r r e n tn e t w o r kt r a f f i c a n a l y s i s a n a l y s i sb a s e d o nt h e c h a r a c t e r i s t i c so fn e t w o r kt r a f f i ca n df o r e c a s t i n gt e c h n o l o g yh a v e g r e a tr e s e a r c ha n d a p p l i c a t i o nv a l u ef o rg u a r a n t e e i n gt h en e c e s s a r yb u s i n e s s c r i t i c a lq u a l i t yo fs e r v i c e ( q o s ) ， t r a f f i cl o a db a l a n c i n g ，d i f f e r e n t i a t e ds e r v i c ep r i o r i t y ，n e t w o r kd e t e c t i o na n dl o c a t i o n ，s e c u r i t y a t t a c k s ( s u c ha sd d o sa t t a c k ) ，l o n g - t e r mn e t w o r kp r o g r a m m i n ga n dd e s i g n t h i sp a p e ra n a l y z e st h en e t w o r kt r a f f i c c h a r a c t e r i s t i c s ，i n c l u d i n g t h ed e f i n i t i o no f s e l f - s i m i l a r i t y ，c h a r a c t e r i s t i c so fs e l f - s i m i l a rt r a f f i c ，h u r s tp a r a m e t e re s t i m a t i o nm e t h o d s w h i c hd e s c r i b e st h ed e g r e eo fs e l f - s i m i l a rt r a f f i c ，b a s i cc o n c e p to fl o n g r a n g ed e p e n d e n c ea n d h e a v y t a i l e dh i s t r i b u t i o n ，a n d t h e i m p a c t o f s e l f - s i m i l a r i t y ，l o n g - r a n g ed e p e n d e n c e ， h e a v y t a i l e dh i s t r i b u t i o nt on e t w o r kt r a f f i ca r ed e s c r i b e d i nt h en e t w o r kt r a f f i cf o r e c a s t i n g ，i t w a sd i s c o v e r e dt h a tt h et r a d i t i o n a lp o i s s o nm o d e li sn ol o n g e rs u i t a b l ef o rn e t w o r kd a t at r a f f i c a n a l y s i s ，an u m b e ro fn e w m o d e l sa n dt r a f f i cf o r e c a s t i n gm e t h o d sh a v eb e e np r o p o s e d , a tt h e s a m et i m e ，l o t so fr e l e v a n tt e c h n o l o g ya r eu s e dt op r e d i c tt r a f f i c ，s u c ha sn e u r a ln e t w o r k s ， c h a o st h e o r y w a v e l e tm e t h o d s w es t u d i e sp r e v i o u sr e s e a r c ho nt h et r a f f i c p r e d i c t i o n m e t h o d sa n dp r o p o s ean e wc o m b i n a t i o no fn e t w o r kt r a f f i cp r e d i c t i o nm e t h o d sb a s e do na v a r i e t yo ff o r e c a s t i n gt e c h n i q u e s t h em e t h o db a s e do nt h e o r yo fd e c o m p o s i t i o na n d r e c o n s t r u c t i o no fm u l t i s c a l eo fw a v e l e t ，t h en e t w o r kt r a f f i c ，w h i c ha r ed e c o m p o s e da n a p p r o x i m a t i o ns i g n a la n ds o m ed e t a i ls i g n a l so fd i f f e r e n ts c a l e s t h e nt h e s es i g n a l sa r e r e c o n s t r u c t e di n t os e v e r a ll o w f r e q u e n c ya n dh i g h - f r e q u e n c yt i m es e r i a l sb yw a v e l e t t h e s e s e r i a l sa r ep r e d i c t e db yl i n e a rm i n i m u mm e a ns q u a r ee r r o ro fe s t i m a t e ( l m m s e ) a n d a u t o r e g r e s s i v em o d e l ( a r ) r e s p e c t i v e l ya c c o r d i n gt ot h e i rd i f f e r e n tf e a t u r e s t h ep r e d i c t e d r e s u l t so fa l ls e r i a l sa r ec o m b i n e di n t ot h ef i n a lp r e d i c t i o nt r a f f i c t h es i m u l a t i o nr e s u l t sw i t h t h er e a lt r a f f i ct r a c e ss h o wt h a t ，o u rm e t h o dc a np r e d i c tf u t u r et r a f f i cc o r r e c t l y ，a n dc o m p a r e d w i t ht h em e t h o d st h a tm o d e l sf o rt h eo r i g i n a lt r a f f i ca n dp r e d i c td i r e c t l y ，o u rm e t h o dh a sa h i g h e rf o r e c a s t i n ga c c u r a c y f i n a l l y ，n e t w o r k t r a f f i c p r e d i c t i o nt e c h n o l o g y w i l lb e a p p l i e d t o d i s t r i b u t e d d e n i a l - o f - s e r v i c ea t t a c k s ( d d o s ) d e t e c t i o n ，t h i sp a p e rp r e s e n t sad e n i a lo fs e r v i c ea t t a c k s ( d d o s ) d e t e c t i o nm o d e lb a s e do nt h et r a f f i cp r e d i c t i o n t h i sm o d e lp r e d i c t st h et r a 硒co f b u s i n e s si nt h ef u t u r et i m eb a s e do nt h en e t w o r kt r a f f i cf o r e c a s t i n gm e t h o d sr e f e r r e di nt h i s p a p e r ，p r o v i d e sat e m p l a t es i m i l a rt ot h en o r m a lt r a f f i ca c c o r d i n gt of o r e c a s tr e s u l t s ，t od e t e c t w h e t h e rt h en e t w o r ki sa t t a c k e db yd d o s b e c a u s ed d o sa t t a c kc a nl e a dt on e t w o r kt r a f f i c b u r s t a n dt h e ni n f l e c t st h es e l f - s i m i l a r i t y a sd e n i a lo fs e r v i c e ( d d o s ) a t t a c k sc o u l d1 c a dt oa a b s t r a c t l a r g e s c a l en e t w o r k t r a f f i cm u t a t i o n ，i tc a nb ed e t e c t e dr a p i d l yb yc o m p a r i n gh u r s tc o e f f i c i e n t o fn e t w o r kt r a f f i cu n d e rd d o sa t t a c k sa n dt h ef o r e c a s t i n gn e t w o r kt r a f f i c k e y w o r d s ：n e t w o r kt r a f f i c ；s e l f - s i m i l a r i t y ；l m m s e ；w a v e l e ta n a l y s i s ；a rm o d e l ；t r a f f i c p r e d i c t i o n ；d d o s 创性j 声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究y - 作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签名：秆舶日期：训、彭6 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 导师签名： 鲤 盘丛塾 日凝：谚曲、参毛 第一章前言 第一章前言 1 1 研究背景 近年来，以i n t e m e t 为代表的计算机网络得到了突飞猛进的发展，每天全球都有成千 上万台的主机连入各种计算机网络。网络把人们的工作、学习和生活紧密地联系在一起， 涉及到教育、经济、政治、军事等各行业和部门，其已经成为整个社会基础设施的重要 组成部分。与此同时，网络规模急剧膨胀，带宽成倍增长，网络业务类型和网络异构化 程度不断增加。正是因为如此，使得经过网络传输的信息结构组成也发生了巨大的变化。 一些新型网络应用的出现特别是由于v o l p 、v o d 及p 2 p 等网络多媒体应用的出现和网络用 户对网络服务需求的变化，进一步加剧了经过网络传输信息构成的这种明碌变化趋势。 有研究n 2 1 表明：从计算机网络出现至今，通过i n t e r n e t 传输的信息量正在不断地呈 现出以指数速率方式增加。比如，k l e i n r o c k 口1 在观察从1 9 7 1 年1 0 月到1 9 7 5 年3 月期间 a r p a n e t 网络流量变化情况时发现：在其前半时期内，网络流量以较快的指数速率方式增 加，从1 9 7 1 年十月期间每天十万个数据流量增加到了1 9 7 3 年八月为止的三十倍。尽管以 后其流量的增长速率有所下降，但是其仍然服从以指数速率方式增加。同时，随着网络 技术和网络带宽的不断发展，各种大容量媒体在网上传输已经很普遍，如音乐，视频等 多媒体数据，这些都导致了网络流量呈“爆炸式”发展，网络流量以指数速率方式增加 更为明显。 自i n t e r n e t 问世以来，关于网络流量的研究就一直在不断的探索中。早在上个世纪 7 0 年代初，人们主要借鉴公共交换电话网络( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ，p s t n ) 的流量模型，用泊松( p o i s s o n ) 模型来描述数据网络的流量特征。基于p o i s s o n 分布的模型 认为：网络流量是短相关的( s h o r t r a n g ed e p e n d e n c e ，s r d ) ，当网络流量增加时，突发性 会被吸收。通过对数据通信网的业务流量观测结果表明：数据通信源具有突发性特征h 1 ， 并在对其建立数学模型时提出了基于泊松分布流量模型的假设喵3 ：外部数据源产生流量 的时间间隔为指数分布，即数据源到达过程是服从泊松分布过程；数据源一次产生的流 量长度服从指数分布；网络数据包到达的时间间隔和数据源一次产生的流量长度之间相 互独立。 泊松模型确实能够较好的描述实际呼l i t f 的到达过程，并且在当时网络应用单一，数 据传输量较小的情况下，泊松模型对网络流量的建模和模拟起到了积极的作用。值得注 意的是，近年来一些新兴的大数据量传输业务对网络流量的特性产生了新的影响，比如 v o d ，p 2 p 等应用。以p 2 p 流量为例，服务器端的流量压力减轻了，但是整个网络的负载 显著增加，而这一类流量的突发性往往比传统流量更显著，出现在网络上的节点数呈现 出指数方式增加和新型网络应用使得对网络流量特性描述史加困难。特别是v o d ，p 2 p 等网络应用产生的流量行为特征与相应服务质量( q u a l i t yo fs e r v i c e ，o o s ) 需求的差异以及 不同l t f f , j 流量的叠加，使得传统p s t n 统计流量特征方法不再适合于分析当前数据通信网 络流量的特征，网络流黾服从泊松分布过程的假设对现代通信网络显得不尽合理怫1 。研 江南大学硕士学位论文 究表明实际网络中存在的突发性发生在许多不同的时间尺度内，网络流量具有自相似特 征口引。从而，由上个世纪9 0 年代初以来，研究人员开始对网络流量行为表现为自相似性 特征进行了大量的研究。1 9 9 3 年，l e l a n d ，t a q q u 等人对以太网和可变比特率的视频业务 数据进行测试并分析结果发现：以太局域网流量到达过程呈现突发性和间歇性，分组流 量描述为到达问隔时间呈重尾衰减，方差以样本大小的分数幂衰减，功率谱离散接近原 点，相关性体现为长相关性( l o n g r a n g ed e p e n d e n c e ，l r d ) 。人们对网络传输业务流量的 认识才发生了根本性的变化。同时研究也发现不论是在l a n 口3 网内还是在w a n 网内阳1 仉1 1 3 ， 网络流量行为越来越表现为具有突发性的自相似特征，而自相似过程是一种研究较为广 泛的简单的长相关性模型。 也有研究表明，流量的自相似性会导致缓冲溢出率高，延时长和持续周期性拥塞， 直接影响到新一代网络的设计、控制、分析和管理。要设计、管理和利用好网络，需要 对入规模网络结构进行动态描述，并根据网络流量的变化来分析网络的性能，而对网络 流量进行研究是准确而有效地获取这些性能特征的必要于段。然而网络的异构性、复杂 性造成了网络流量研究和预测的困难，因此对网络流量研究成为人们急待解决的难题。 1 2 课题意义 网络流量是网络业务的最直接载体，它能够直接反映网络性能的好坏，所以对网络 业务流量进行研究是保证互联网业务传送质量的关键问题之一，其中网络流量建模、特 性分析与预测技术历来是业界关注的焦点和研究的热点。随着计算机网络规模的扩展和 业务种类的不断增长，影响网络流量的不确定凶素越来越多，非线性、多时间尺度变化 的特征越来越明显，这也给网络流量研究带来了机遇和挑战。 与网络的快速发展相比，对网络流量相关领域进行的研究还相对较少。作为若干台 计算机互联而成的庞然大物，i n t e m e t 具有多变、异质、动态等特点1 1 2 】。与一般的自然 系统相比，i n t e m e t 又具有很强的社会性，广大用户的行为对于i n t e m e t 具有重要的影响。 如何认识这样一个系统的统计特性和动力学性质，认识i n t e m e t 使用者的行为特征，正 日益引起人们的兴趣。i n t e m e t 的飞速发展以及社会对其依赖的加深，对网络管理也提 出了更高的要求。如何给广大的i n t e m e t 使用者提供一个安全、可靠和高效的使用环境， 是网络管理需要解决的问题。与网络应用类型的发展相比，网络资源的增长似乎总是不 能满足需求的增长。站在网络资源拥有者的角度，如何优化现有的各种网络资源，如何 根据网络的发展趋势，做出合理的规划和设计，也是一个重要的问题。 对网络流量进行研究就是为了解决上述问题而形成的一个新的研究方向i i 2 。几乎所 有与网络相关的活动都是和网络流量联系在一起的，网络流量是记录和反应网络及其用 户活动的重要载体。通过对网络流量的统计分析，我们可以间接掌握网络的统计行为， 以便发现解决相关问题的办法。分析当前网络流量的研究现状，为了解决网络流量猛速 的发展，研究网络流量有以下几个方面意义： 1 ) 网络性能监控和网络管理的需要。网络流量为网络工程提供验收依据，为网络 运营提供实时或阶段性性能监控工具；通过流量预测可进行网络诊断，如发现网络瓶颈 2 第一章前言 节点或链路，确定镜像服务器的位置，有效配置资源，为网络规划、改造、及时解决性 能问题提供参考和依据等。网络流量分析也是管理和优化各种网络资源的重要依据；网 络流量的统计情况，反映了用户使用网络资源的情况，是制定和执行网络计费的重要依 据。计算机网络的发展，促进了网络管理研究的发展，从而刺激了对网络流量的需求， 而网络管理技术又促进了网络流量技术的研究，研究网络流量的体系结构、机理、方法 时，可以借鉴网管的体系结构及相关技术。网络流量预测对于实现数据可靠传输，合理 分配网络资源具有重要的指导意义，是一些网络应用程序的重要基础；流量预测也是流 量工程和网络管理的核心问题，网络管理中的拥塞控制、路由选择机制、接入控制和异 常柃测等均需要进行流量预测，因此精确、迅速的流量预测对于网络管理具有十分重要 的作用。 2 ) 网络服务质量的提高对网络流量研究的需要。随着网络的不断发展，网络服务 质量q o s 同益显出其重要地位。而q o s 依赖于从应用层、传输层、网络层，甚至链路 层、物理层的共同努力，各层的q o s 机制互相交错、相互作用，其策略、参数配罱都必 须以网络、用户、应用的实际特征、运行规律( 如业务量特征，用户行为模式，控制机 制对流量的影响等) 为直接依据，而这些数据主要靠对网络流量的研究获得。q o s 指的 是能够提供持续的，可预测的数据递交服务，满足用户需求。q o s 要求应用、主机、网 关等互相协调，网络各层自上而下以及从发送方到接受方沿途每个网络要素都有质量保 证机制。例如根据对网络流量的预测结果进行带宽的动态分配，可以在保证q o s 的前提 下，实现对网络带宽利用率的最大化。 3 ) 网络安全评估、攻击检测与安全防护的需要。网络安全一直是困扰人们的首要 问题之一，对网络攻击的防范措施，可利用分析网络流量的手段进行分析判断是否受到 攻击，如对异常攻击流量( 如d d o s ( d i s t 舶u t e dd e n i a lo fs e r v i c e ) 攻击) 的检测，这些都是 建立在对网络长期观测所获得的正常行为、异常行为及其动态变化模式的基础上，网络 流量研究可以说是网络安全研究的前提和保障。 基于以上各方面，所以越来越多的研究人员把目光投向网络业务流量建模和网络流 量预测方面的研究工作。 1 3 研究现状 大量的研究表明：聚集的网络流量最为重要的统计特征足自相似性、长相关和多重 分形【1 3 】，网络流量这种复杂的行为特性通常表现为大多数时间尺度和统计阶上的突发 性。在此基础上的流量预测方法比较多，有基于固定流量模型的、有基于神经网络的、 还有基于模糊理论等。大致上可以分为三大类： 一类是针对网络流量建模，然后根据确定的网络流量模型来进行流量预测。在流量 模型研究方面，主要包括两类流量模犁：短相关的流量模型和长相关的流量模型。短相 关的流量模型也称为经典流量模型，主要是建立在泊松模型和马尔可夫过程理论的基础 上。随着研究的深入，研究人员发现经典流量模型在很多方面已经无法准确模拟现实网 络，越来越多的数据表明长相关流量模型特别是自相似模型比经典流量模型更准确模拟 江南大学硕士学位论文 实际流量。短相关模型仅仅对于小的时间尺度范围内存在显著的相关结构，而长相关在 很宽广的范围内都存在，即具有长期的依赖性。短相关模型主要包括马尔可夫( m a r k o v ) 过程、自回归模型( a u t o r e g r e s s i v em o d e l ，a r ) 、自回归滑动平均模型( a u t o r e g r e s s i v e m o v i n ga v e r a g em o d e l a r m a ) 以及自回归求和滑动平均模型( a u t o r e g r e s s i v ei n t e g r a t e d m o v i n ga v e r a g em o d e l ，a r i m a ) ；长相关模型主要包括分形自回归求和滑动平均模型 ( f r a c t i o n a la r i m am o d e l ，f a r i m a ) 、分形布朗运动( f r a c t i o n a lb r o w n i a nm o t i o n ，f b m ) 和分形高斯噪声( f r a c t i o n a lg a u s s i a nn o i s e ，f g n ) 模型等。 第二类预测方法就是根据随机过程的前二阶距知识，对已有的流量直接进行统计学 的分析和处理，直接利用流量的可预测性，使用统计学已有的分析和预测模型，对已有 数据建立适当的函数和依赖关系，分析数据的内在规律，对未来数据进行控制和预测。 主要有基于线性最小平均平方误差估计( l i n e a rm i n i m u mm e a ns q u a r ee r r o r ，l m m s e ) 、 线性回归估计( l i n e a rr e g r e s s i v ee s t i m a t i o n ，e r e ) 等， 其余的方法都归为第三类，包括神经网络方法、滤波理论、小波方法等。如文献1 1 4 】 还提出使用小波的方法来对自相似的网络流量进行预测；文献【l5 】进而使用小波和聚类共 同对流量进行预测；还有研究者使用支撑向量机( s u r p p o r tv e c t o rm a c h i n e ，s v r ) 等方法进 行网络流量预测i l 引。 无论那种方法，都有其使用的范围和优缺点，基于模型的方法预测精度一般比较高， 但计算量大，复杂度高；基于统计学的方法预测精度比较低，但计算量比较小，容易实 现；l m s 滤波器方法不适宜描述不稳定的网络流量；神经网络技术适宜描述流量的不稳 定性，但是它的计算量通常都很大；因而不易于实现。小波方法适合于处理非线性流量， 预测精度比较高，但运算量大，且不适合于在线预测。在实际运用中，一般是根据具体 的应用在预测精度和实现复杂度之间折衷。 1 4 本文主要工作 如何有效的对网络流量行为进行分析和预测，对正确认识和理解网络行为，对确保 网络正常有效的运行起到了至关重要的作用，网络流量特征分析与预测方法研究是网络 领域的关键技术之一。 因此，本文的主要研究工作将着重集中在以下几个方面进行： 1 ) 网络流量行为特性分析。网络流量特征是分析和研究网络性能、规划网络建设 的基础。了解网络行为随参数变化的情况，这对网络的设计、控制、分析和管理是非常 有实际意义的。本文将首先对网络流量的自相似性特征进行分析与研究，并对网络业务 流表现为自相似性特征的原因进行分析。只有准确的把握流量的特性( 如：长相关、白 相似、重尾分布等) ，才能对数据流量作出正确的判断和预测。 2 ) 对网络流量中的相关模型以及各种预测算法进行研究。选用网络流量预测方法， 一方面必须符合坚实的理论基础，另一方面要易于实现。现有的网络流量预测算法只是 单一采用线性或者非线性的方法进行处理，这种片面件造成预测的准确度和实时性难以 保证，另外流量模型足流量预测中最罩要的部分，模型的选择合适与否直接影响到预测 4 第一章前言 的效果。实际上，网络流量行为是一个相当复杂的过程，其行为随着时间和地域的不同 会呈现出很大的变化，因此不可能只通过一种模型或者一种方法就能很好的描述网络流 量行为，并且想希望提出一种针对网络流量的通用化预测方法是很困难的，可以通过对 流量行为进行分析和分类，根据各个类别的不同特性，分别使用不同的模型和方法进行 预测，最后再组合生成流量预测结果或者建立一个组合多种模型和算法的模型来提高预 测的效果。从本质上讲，网络流量预测组合模型的预测过程是一个对信息进行综合的过 程，各种单一预测模型的预测结果提供了关于预测流量的信息，综合模型再基于这些己 知信息得到一个合理的最终预测结果。本文在总结分析了已有的流量预测方法基础上， 提出了一种新的基于多种预测技术组合而成的网络流量预测方法。该方法根据小波多尺 度的分解和重构思想，将网络流量通过小波分解成不同尺度下的逼近信弓和细节信号， 然后分别单支重构成低频序列和高频序列。根据低频和高频序列的不同特性，分别采用 自回归模型( a r ) 和线性最小均方误差估计( l m m s e ) 对未米网络流量进彳j ：预测，最 后重新组合生成预测流量，通过对真实流量的仿真实验，结果显示有较高的预测精度。 3 ) 最后文章对网络流量自相似性在网络安全中的应用进行了探讨，将网络流量预 测技术应用于分布式拒绝服务攻击( d d o s ) 检测之中，给出了一种基于流量预测的拒绝服 务攻击( d d o s ) 检测模型。该模型基于本文提出的网络流量预测方法对未来时问段的业 务流量进行预测，根据预测结果来提供一个近似的正常流量模板，以区分网络是否受到 了d d o s 攻击。由于拒绝服务攻击可以导致网路流量发生大规模的突变，进而会改变网 络流量的自相似程度。因此，可以通过计算d d o s 攻击时网络流量h u r s t 系数与预测得 到的正常网络流量h u r s t 系数之间的差异程度来快速的检测d d o s 攻击。 1 5 论文的组织结构 各章节的内容分布如下： 第一章是总的概述了课题的相关背景和研究意义，引出了本文将要研究的问题，回 顾了从网络流量开始研究以来对网络流量特性和预测方法所展开的研究。 第二章介绍了网络流量的相关特性特征，详细介绍了网络流量研究中的自相似性并 对其进行了详细的分析。 第三章对目前主流的网络流量预测方法进行了分析研究，通过对比各种方法的优缺 点进而提出一种新的流量预测方法。 第四章在前面章节研究的基础上提出了一种基于小波多尺度分析、自回归模型、线 性最小平均平方误差估计的网络流量组合预测方法，并和别的单一的预测方法进行了实 验比较，通过实验表明，本文提出的方法有比较高的预测效果。 第五章将前面提出的网络流量预测方法应用到d d o s 攻击检测中，提出了一种基于 流量预测的d d o s 检测模弛，并进行了试验分析。 篼六章是文章的总结，同时介绍了今后需要进一步完善的工作。 江南大学硕士学位论文 第二章网络业务流量特性分析 随着网络规模的扩大，对于网络业务流量特性的研究已经成为网络性能分析最主要 的方向之一。通过对网络流量特性的研究，可以为预测网络性能、保障q o s 等应用提供 必要的支持。对于网络流量的研究只有十几年的历史，1 9 9 3 年发表的文献【7 】为这方面的 研究奠定了基础。本章主要介绍了网络流量自相似性的概念和相关数学特征，还介绍了 形成自相似的可能原因以及自相似程度的判断方法，并简单介绍了长相关性以及重尾分 布等概念。 2 1 自相似性 上世纪9 0 年代初，l e l a n d ，t a q q u 等发表的具有开创性意义的论文【7 】及其修订版【8 j 中 第一次明确的提出了网络流黾中存在着自相似现象。在这两篇论文中，l e l a n d 等通过对 在几个以太网网段上所采集的大量的高分辨率的网络流量数据进行统计分析，证实了真 实的网络流量具有统计上的自相似性。这两篇论文打破了使用泊松网络流量假设进行直 接的排队分析就足以描述所有网络流量的幻想，发起了对网络流量性能的重新研究，是 近十几年来互联网领域最重要的论文之一。 图2 1 是来自b e l l c o r e l 5 6 j 公司1 9 8 9 年采集的网络流量，分为b y t e 流量和p a c k e t 流 量。从这个图中可显见其自相似结构i l 。如图2 2 所示，即为在两个不同时间尺度下的 b e l l c o r e 公司1 9 8 9 年采集的网络流量，从中可以很明显的观察到网络流量在多个时间尺 度上具有统计自相似的特性，并且在多个时间尺度上都具有十分强的突发性。 冒 夤 q j 粤 删 煺 12 ( a ) 测试点 xl o 图2 1 01 ( b ) 测试点 网络实际流量 图2 - 2 不同时间尺度下的网络流量 随后，又有大量的研究工作表明，网络流量呈现自相似性，具有长相关性7 ，8 _ 13 1 。从 6 一 一 一 一 一 一 。 (8甍e磐嘲耱 第二章网络业务流量特性分析 数学上看，自相似、长相关足对无限序列的一种定义，在实际中，需要通过对一有限时 间段内的数据进行采样。采样中我们定义网络业务流量就是单位时问内流过某段网络或 者某台机器的数据的多少，所谓流鼍就是被人为定义为被观测的数据包组的数量。自相 似网络流量往往可以被描述成一个在极宽的时间尺度范围内具有突发性。这一行为与传 统的电话业务量和各种通用的分组业务流量模型如泊松过程、马尔可夫过程等有很大的 不同。一般的观点认为网络流量的叠加复用会减小突发程度，产生平滑的汇聚流，然而 对于自相似流量来说，复用叠加后突发性依然很强。实际的网络流量具有的自相似性是 指统计意义下的自相似性，具有成长性。随着网络异质性的加剧，更多类型的业务和更 多的协议的出现将使网络流量的自相似性更加普遍。研究还表明网络、i p 务流量的自相似 性对网络性能有深刻的影响，它直接影响到网络的设计、控制、分析和管理。 2 1 1 自相似过程的定义 自相似过程的定义分为连续时间序列上的定义和离散时间序列上的定义。自相似过 程在离散时问序列上又分为严格二阶自相似过程和渐进二阶自相似过程。自相似过程堆 叠产生的时l 、日j 序列的自相关函数等于或者趋近于原始自相似过程的自相关函数，这表明 自相似过程的突发性不会因为堆叠而平滑掉。从直观上理解，所谓自相似现象是指不同 时间尺度上的结构相似性，它意味着局部以某种方式与整体相似u 7 , 1 8 】，即局部适当放大 后与整体具有相同的统计分布结构。这罩的结构既包括空间上的，也包括时间上的，自 相似还可以从分布意义上来定义【7 , 1 9 】： 当a 0 时，随机过程x ( f ) 和a - h x ( a t ) 同分布，可以用下式表达： x ( ，1 ) ，x ( ，2 ) ，y ( t 。) ) 口一日x ( a t l ) ，口一月x ( a t 2 ) ，口一h x ( a t 。) ) ( 2 1 ) 其中“”表示渐进同分布，这样的随机过程称为连续时间自相似过程。 考察一个广义平稳( 即协方差平稳) 过程x = x ( ，) = x i ，x 2 ，) ，设x 具有恒定均值 = e 【工】和有限方差v a r x = 盯2 = e i ( 一) 2l 。过程x 的自相关函数定义为： ，( 七) ：丛生型掣，k ：0 ，1 2 ( 2 2 ) 盯一 显然应有，r ( k ) ，仃2 0 0 ， 0 0 ，并且与时间，无关。 此外，我们定义过程x 的叠加过程x m = f 帕) = x ：，。x ：( r n ) ) ，其中 1 x ”= 二( 叉r ，卅一。+ 1 + + 一。) ，t 1 ，m 厶 ( 2 3 ) r n 过程x ”的自相关函数表示为，”( 忌) 。 下面给出文献i8 】中自相似过程的定义。当上述的过程x 满足以下三个条件： 1 ) 其自相关函数符合： ，( 七) = 七邓l ( k ) ，k o ( 3( 2 4 ) 江南大学硕士学位论文 其中0 0 。 2 ) 过程x ( ”的方差符合： v a rx ( ”) = 仃2 m 一声 ( 2 5 ) 3 ) 过程x 伽的自相关函数符合： ，”( 尼) = ，( 七) ，k i o = o ，1 ，2 ，)( 2 6 ) 时，过程x 是严格二阶自相似过程。 但是在文献1 2 0 1 中，作者提出上述三个条件不是相互独立的，条件( 2 5 ) 包含了条件( 2 4 ) 和( 2 6 ) ，或者说由条件( 2 5 ) 可以直接确定二阶自相似过程。条件( 2 5 ) 可以直接推出，例 的精确表达式，而不像条件( 2 4 ) 采用的慢变函数有可能是恒量或是慢变函数。这些结 论可以由以下定理加以说明。 定理2 1 ：过程满足条件( 2 5 ) ，当且仅当其自相关函数满足 ，( 七) = ( 七十旷，一2 k 2 一卢+ ( 七一1 ) 2 - p 】_ 去v 2 ( 七2 - , a ) ( 2 7 ) 其中0 1 ，k ，v 2 ( ) 为二阶差分算子，即v 2 ( 厂( x ) ) 三厂( x + 1 ) 一2 f ( x ) + f ( x 1 ) 证明见文献【2 0 1 ，由定理2 1 ，可直接推出定理2 2 。 定理2 2 ：如果过程x 满足条件( 2 7 ) ，则有 l i m 等= 丢( 2 胡( 1 胡= h ( 2 h _ 1 ) ( 2 8 ) 其中h = 1 一2 。 利用定理2 1 和定理2 2 ，还可以推出定理2 3 。 定理2 3 ：如果过程x 满足( 2 7 ) ，则有 r ”( 七) = ，( 后) ，k i o = o ，l ，2 ) ，m = 1 2 = 2 ，3 ) 由以上得出文献1 8 1 中给出的二阶自相似过程的定义是冗余的。 们最终给出一个简洁的严格二阶自相似过程的定义。 定义2 1 ：如果上述过程x 的自相关函数满足式( 2 7 ) ，即 ，( 尼) = 去【( 七+ 1 ) 2 一p 一2 七2 一+ ( 七一1 ) 2 一声】 ( 2 9 ) 通过上面的讨论，我 ( 2 1 0 ) 其中0 1 ，k 1 ，且h = l 一3 2 ，则过程x 称作严格二阶自相似过程。 类似的，可以定义渐近二阶自相似过程。 定义2 2 ：如果上述