（计算机应用技术专业论文）面向城域网的网络流量建模研究.pdf

摘要 摘要 网络流量模型是网络性能分析与网络规划设计的基础，精确的网络流量模型 对设计高性能网络协议、高性能的网络设备、高效网络拓扑结构、流量预测与网 络规划、拥塞控制与负载均衡等都具有重要意义。随着近年来互联网的日益普及 和应用的急剧增加，骨干网流量的特征也发生了很大改变，传统的网络流量模型 已经不能适应当前的骨干网流量。因而，研究当前骨干网流量的规律，设计能反 映其特征的模型，是今后一段时间网络流量领域研究的一个重要方向。 论文以陕西省自然科学基金项目( 基金编号：2 0 0 5 f 4 3 ) 及2 0 0 3 年、2 0 0 4 年 西安宽带多媒体城域网优化项目为背景，对城域网网络流量进行了深入研究，取 得了预期的效果，在自相似网络流量理论和实际应用之间架设了一个桥梁。论文 的主要内容和创新点包括： 1 、通过对城域网大量真实网络流量数据的分析和严格检验，发现城域网网络流 量的概率密度分布服从g 踟a 分布，探索出一条从概率密度分布特征出发来 研究网络流量的新途径。基于上述结论，对美国础c e 大学r u d 0 1 h 础司i 所提 出的、在网络流量研究领域具有重要影响的m w m 模型进行改造，建立了一 个基于g 猢a 分布和小波的网络流量仿真模型( g w m ) 。仿真实验显示，该 模型在仿真流量的特征、算法的合理性等方面，均较m m 模型有了显著的 提高。 2 、发现了城域网流量聚合过程的规律，揭示了城域网流量之所以服从g 猢a 分 布的成因，把对网络流量特征的认识提升到一个新的高度。利用上述规律， 预钡了城域网网络流量的演化趋势，为提高城域网网络规划的前瞻性奠定了 基础。 3 、发现了网络流量的概率密度分布与观测尺度之间的量化关系，刻画了网络流 量复杂而细致的自相似结构，从而打破了1 0 多年来仅能依靠方差和数学期望 等这样简单的统计特征来定义网络流量自相似性的现状，深化了对自相似现 象的理解。作为应用实例，这些研究成果在网络设备的缓存设计工作中，对 于网络流量排队分析起了重要作用。 4 、建立了一个基于g a l 砌a 分布和多重随机二分法的网络流量仿真模型 ( g m ) 。该模型的仿真实验显示，其仿真流量能够精确地反映实际网络 流量的特征，并可以通过调整输入参数的值，方便地改变仿真流量自相似的 程度，从而性能较g w m 模型又有了进一步提高。该模型发表在2 0 0 5 年8 月的 中国通信学报( 英) 上，详细的算法设计将发表在2 0 0 7 年的系统仿真学 西北工业大学博士学位论文 报。华为公司在2 0 0 6 年基金项目中，也提出了基于层叠模型的网络流量异常 检测等课题，旁证了该模型的实际价值。 。 5 、设计的基于s n l 旧的网络流量采样工具，最小尺度达到l o 毫秒，远高于目前 同样采用s 舳方法的流量采样所能达到的精度，有能力捕捉到流量在微小 尺度上的精细特征。流量样本直接采自一个实际城域网，样本代表性强。 关键词：网络流量，模型，自相似，概率密度分布 摘要 a b s t r a c t n e 研o r k 仃a 伍cm o d e la c t sa st l l e 如n d a i l l e n t a li s s u eo fn e 似o r kp c r f o r i n a l l c e a 1 1 a i y s i sa n dn e t w o r kp l a 皿i n g e s p e c i a l l y ，p r e c i s en e 咐o r kt r a m cm o d e li se s s e n t i a l t o h i g hp e r f o 皿a n c en e m o r kp r o t o c o lc o i l s m l c t i n 舀l l c t w o r kd e “c ed e s i 面g ， e f f e c t i v en e 帆o r kt o p o l o g yd 印1 0 y m e n t ，仃a 伍cf o r e c a s t i i l 舀c o n g e s t i o nc o n 仃o l ，1 0 a d b a l a l l c e ，a n ds oo n d u et ot h es u r g i l l gp o p u l 撕t ) ra n di n c r e a s i n gu t i l i t yo f t h eh t e m e t ， b a c k b o n en e m o r ki sr a p i d l yg r o w i n gi i ls i z e ，s p e e da n ds c o p e ，a c c o n l p a n j e dw i t ht h e e v o l v i n go ft 1 1 e i rt r a m cp r o p e n i e s a sar e s u l t ，t 1 1 c 仃a d i t i o n a ln e t w o r kt r a 伍cm o d e l d o e sn ol o n g e ra c c o r d a mw i t h 仃a 硒co f c u r r e n tb a c k b o n en e 似7 0 r k c o n s e q u e n t i a l l y ，i t i sam a t 鼢o f 罂雒u r g e i l c yt or e s e a r c ha f nm o d e it h ec h a r a c t e r i s t i c so fb a c k b o n e n e 柳o r l 【仃a 伍ci nt h en e a r 如t l l r e h lt h i sd i s s e r t a t i o i l ，t h en e 研o r kt m m co fm c 仃o p o l i t a na r e an e 研o r k ( m a n ) a r e r e s e a r c h e dt 1 1 0 r o u 曲l yo n ab a c k 莎o l 】i l do ft l l en a t u r a ls c i e n c ef i l i l do fs h 锄嫡 p m v i n c e ( 2 0 0 5 f 4 3 ) a i l dm ep r o j e c t o f a nb r o a d b a i l dm u l t i n l e d i am a n o p t i i i l i z a t i o ni n2 0 0 3a n d2 0 0 4 t h er e s u na c l l i e v e sm ee x p e c t 乱i o n 锄ds e t su pa b r i d g cb e 俩e c nm es e l f s i m i l a rt h c o r ) ra n dt l l ep r a c t i c eo fn e 柳o r k 仃a m c m 血 r e s e a r c hw o r k sa n dc r e a t i v ec o n t r i b u t i o n si nt l l ed i s s e n a t i o ni n c l u d e ： 1 t h en e m o r k 廿a m ci sd i s c o v e r e da n dv 嘶m dt ob ea c c o r d a n tw i c hg a n h n a d i s 缸i b u t i o nb a s e do na i l a l y s i so f a 乒e a td e a lo f t r a c e sc 0 1 1 e c t e d 丘d maf e a lm a n 1 1 l i sr e s u np r o v i d e sai l e w 印p r o a c hl l s i n gp r o b a b i l i t yd e n s i t yd i s t r i b u t i o n p r o p 耐y 南r 吐圮咖d y o f n e t w o r k 订a 伍c b a s c d o n i t ，m e 砌u e i l t i a l m w ms c t u p b yr u d o l f h 硒e d io f 融c eu 1 1 i v e r s i t y ( u s ) i sr 曲u i l d e d t ob eag a r n i i l a d i s m b u t i o na i l dw a v e l e tb 硒c dm o d e l ( g w a d p e r f o m a n c eo ft l l ei m p r 0 v e d m o d e li ss h o w e dt ob em o r ee 饪b c d v e 廿l a ni 垃e d i sm 洲b yt l l ee x p e r i i n c n t ， e s p e i c a l l yi i la s p e c t s0 fs t a t i s t c a lp r o p e n i e so fm e 订a m cg e n e r a t e db ym em o d e l a i l dr a t i o n a h t yo f t h ea l g o 咖瑚l l s e di i lt l l em o d e l 2 l a w sa p p e a r e di nt 1 1 ep r o c e s so f 在a 伍ca g 铲e g a t i l l ga r ee x p o s e da n dt l l ec a u s ew h y 也em a nn 咖o r k 觚陋ca p p e 盯sg 锄m ad i s 胁u t i o ni sa l s od i s c o v e r e 正1 1 1 e s e a c l l i e v e m e n t s 鲥c h c 也eh 1 0 w l e d g eo fn e t w o r kn a 雎cp r o p e n i 鼯掣e a t l ya n d p r o v i d can e c e s s a r yb 船i sf o rn e 咐o r kd 印l o y i i l e n tw 曲f o r e s i 乒t 3 q u a n t i f i c a l i o n a lr e l a t i o n 砌pb e 押e c n 也ep r o b 曲i l i t yd e i l s i t yd i s m b u t i o no ft l l c n e t 、o r k 仃a m ca i l dt 1 1 er c i a t e d es c a i ei sd i s c o v e r e d ，t h i 工s ，t h ec o m p i e xb u t d e l i c a t es t m c t u r eo ft b 旧m a n 订a 丘i ci sw e l li l l l l s t r a t e d t h ei m p r o v e m e t 孵a t l v i n 西北：1 业大学博士学位论文 d e 印e n st h eu n d e r s t a i l d i n go ns e l f s i m i l ”p h e n o m e n aa 1 1 dn o t a b l e l ye n d s t h e s t a t u sl a s t e df o rm o r et h c nt e n ”a r st h a fm es e l f - s i m i l a r i t yo ft h en e t w o r kt r a 伍c c a no n l yb ed e s c d b e dw i t ht h es i m p l es t a t i s t i c a lv a r i a b l e ss u c h 勰m ev a r i a n c ea 1 1 d m ee x p e c t a t i o n 心a i la p p l i c a c i o ni n s t a i l c e ，i tp l a y si m p o r t a l l tr o l em l eq u e u e a n a y s i s ，i nm eb u f f 打d e s i 舀1o f n e 咐o r kd e v i c e 4 ag 锄m ad i s 研b u l i o na 1 1 di t e r a t i v er a n d o md i c h o t o m yb a s e dm o d e l ( g i d m ) i s s e tu p t h ee x p e r i m c l l ts h o w st 1 1 a tt 1 1 em o d e lr l o to n l ya c c u r a t e l ym a p st h e p ro _ b a b i l 时d e n s i t yd i s 硒b u t i o np r o p e r t yo ft h er e a ln e 觚o r k 订a f f i ca c c u r a t e l y ，b u t a l s oh a st h ea b i l i t y 幻a l t e rt l l es e l f s i m i l a rd e 伊e eo fm eg e n e r a t e di l e t w o r kn a 伍c t h r o u 啦a d j u s t i n g 也ev a l u e so fm ei n p u tp 猢e t e r s c o n s e q u e n t i a l l x p e m r i i l a n c eo ft l l eg mi si l l l p r o v e dg r e a t l yt h a ng m t h em o d e l i s p u b l i s h c da tm n ac o m m u i l i c a t i o ni i la u g2 0 0 5a 1 1 di t sd e t a i l e da l g o r i t l l i nw i n a p p e a r e d i 1 1j o m n a lo fs y s t e ms i m u l a t i o n f u r t h e m o r e ， i t sw o 珊l i l 】e s si s 锄p h a s i z e d b ym e 劬do fh u a w e ic o r p i i l2 0 0 6 ，i nw h i c l l ，p r a c t i c a lp r o j e c t s s u c ha sa b n o m l a ln e 铆o r kt r a m cd e t e c t i o nb a s e do nc a s c a d ea r es u p p o r t e d 5 an e t w o r kt r a f 五cs a m p l i n gt o o lb a s e do ns n h pi se l a b o r a t e l yd e v e l o p e dt o e n s i l r et h et i m es c a l e 舔p r e c i s ea st e nm i l l i s e c o n d s ，w h j c hi sm o r ea c c u r a t et h a l l b e f - o f e 1 1 l i sa d v a n t a g em a k e si tp o s s i b l et oc a t c ht l l ed e t a i l so f t l l et r a 伍cp o r p e r t y i n 湖a 1 1s c a l e t r a c e si nm es t l l d ya r ec 0 1 l e c t e dd i r e c t l yf 如maf e a lm a nn e m o r k k e y w o r d s ： n c o r k 仃a 匝c ，m o d e l ，s e l f s i m i l 码p r o b a b i l 埘d 钆s i t yd i s t 曲u t i o n i v 西北。 业人学博士学位论文 插图目录 图1 一l 采用冗余带宽法设计产生拥塞现象示意图5 图1 2 网络流量模型发展的三个阶段6 图2 1 网络流量建模的主要内容一2 0 图2 2 客户终端、服务器及模型化网络( 单链路) ，3 1 图3 1 西安宽带多媒体城域网的拓扑结构3 4 图3 ，2s n m p 工作原理3 8 图3 3o b t b 模型示意图4 0 图3 4 典型流量变化柱状图4 2 图3 5 采集的原始流量4 3 图4 1 流量的概率密度分布的离散化4 8 图4 2 分段数量大小对于曲线的影响4 9 图4 3 一条典型骨干链路的流量概率密度分布5 0 图4 ，4 骨干网流量概率密度5 0 图4 5 用s a s 软件对两组流量样本的统计结果5 1 图4 6 两组典型的流量样本概率密度的拟合5 3 图4 7 两组典型的流量样本概率密度的拟合。5 4 图4 8 最小方差和示意图5 4 图4 9 流量样本概率密度曲线修正结果的考察5 7 图4 1 0 重尾分布与指数分布的区别6 0 图4 1 l 重尾分布与指数分布的区别6 1 图5 1 城域网网络流量构成示意图，6 5 图5 2w 曲服务器6 6 图5 3v o d 服务器与文件下载6 7 图5 4w 曲浏览6 8 图5 5 视频新闻与n g n 可视电话6 9 图5 6 城域网骨干网流量聚合示意图7 0 图5 7 文献【c f c o 习流量样本的分布7 2 图5 8 文献 z v 8 0 0 3 】中部分流量样本的分布7 3 图5 9 城域网网络流量聚合过程总体描述一7 4 图5 1 0 主要国家和地区的互联网渗透率7 9 图5 1 l 网民通常使用互联网的时间8 0 图6 1 不同尺度下原始流量的时域图像8 5 图6 2 不同聚集程度下的流量峰值8 5 图6 3 流量聚集过程示意图8 7 图6 珥a 1 1 1 ( i n ) 、a 1 1 1 ( 0 u t ) 时间方差图9 0 图6 5a 1 1 1 ( i n ) 、a 1 1 1 ( o u t ) 自相关函数图9 0 图6 6b 1 1 ( n q ) 、b 1 1 ( o u t ) 时间方差图9 l 图6 7b 1 l ( 玳) 、b l l ( 0 u t ) 自相关函数图9 1 图6 8 a 1 1 2 ( i n ) 、a 1 1 - 2 ( o u t ) 时间方差图9 2 图6 9 流量聚集算法示意图9 4 v i i i 插图目录 图6 _ l o 输入流量的概率密度分布9 5 图6 1 1 输出流量的概率密度分布9 5 图6 一1 2 流量样本c 1 2 一l ( i n ) 的概率密度分布拟合结果9 7 图6 1 3 流量样本及各阶聚集流量的拟合参数之间的关系9 9 图7 1 三层多分辨率结构图1 0 4 图7 2 原始流量的概率密度分布1 0 8 图7 - 3 ( a ) 翻1 的分布：，1 0 8 图7 3 ( b ) ( 2 的分布：1 0 8 图7 3 ( c ) ( 3 的分布：1 0 9 图7 4 ( a ) ( d 1 的分布。1 0 9 图7 4 ( b ) c d 2 的分布1 0 9 图7 4 ( c ) c d 3 的分布1 0 9 图7 5 实际网络流量与g w m 仿真流量的时域图像比较1 1 4 图7 6 仿真流量的概率分布1 1 4 图7 7 仿真流量的自相似分析1 1 5 图7 一s 当小波层数增加时仿真流量的对闻方差图1 1 5 图7 9 用简单的二分法产生低阶仿真流量1 1 7 图7 1 0 实际的网络高阶与低阶流量1 1 8 图7 1 1 当胄卸或者r = 1 时，一次二分后的概率密度分布1 1 9 图7 - 1 2 经过多次二分( 不等分) 生成的流量一1 1 9 图7 1 3 x 与2 分布曲线的比较1 2 2 图7 1 4 实际流量与g 舳m 仿真流量的时域图像对比1 2 3 图7 1 5 实际流量与仿真流量的概率密度分布对比1 2 4 图7 一1 6 仿真流量的自相似性分析1 2 4 图7 1 7 口和b 的取值方法1 2 4 图7 1 84 与日的关系1 2 5 i ) c 西北工业大学博士学位论文 表格目录 表4 1 最小方差和计算表5 5 表4 2 柯尔莫哥洛夫检验相关计算5 8 表6 1 一条典型骨干链路的网络流量样本8 4 表6 2 采样参数一8 9 表6 3 自相似参数的估算一9 2 表6 4g 釉a 分布拟合9 8 表7 1 ( a ) x a 0 0 1 i n( c h ) 1 1 0 表7 1 ( b ) x a 0 0 1 一i n ( ( t d ) 1 l o 表7 2 ( a )x a 0 0 2 一i n( c z ) 表7 2 ( b ) x a 0 0 2 q ( c d ) 表7 3 c d 与c h 标准差之比 表7 4 g w m 与m w m 的比较 “o 1 l o 1 1 1 表7 5 口、6 与h 的关系 表7 6 m w m 、g w m 及g m 的比较 x 1 2 5 1 2 6 西北工业大学 学位论文知识产权声明书 本入完全了解学校有关保护知识产权的规定，即：研究生在校攻读 学位期问论文工作的知识产权单位属于西北工业大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查 阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作 者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：指剥币签名港刍 年g 月j f 日少。7 年莎月日 | j 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的 学位论文，是本人在导师的指导下进行研究j ：作所取得的成果。尽我所 知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其 他个人或集体已经公开发表或撰写过的研究成果，不包含本人或他人已 申请学位或其它用途使用过的成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名绥绉 年月j 曰 第一章绪论 1 1 选题的背景与意义 1 1 1 课题的提出 第一章绪论 当前，随着互联网的迅速普及和宽带化，各种新的业务类型不断出现，网络 规模空前扩大，网络结构更加复杂。根据中国互联网信息中心的权威调查【。“删， 截止2 0 0 6 年7 月3 1 日，国内网民数为1 2 3 亿，国内上网计算机数达到5 4 5 0 万 台，其中宽带上网2 8 1 5 万台，国际出口带宽达到1 3 6 1 0 5 m b p s 。随之而来的是网 络流量的急剧增加，以及人们对互联网依赖的日益增加。网络的性能、安全性和 可靠性不仅成为互联网进一步发展的基础，而且越来越成为一个涉及社会生活、 国民经济安全的重大问题。 丽另一方面，人们对互联网络的流量特征、网络行为特征缺乏理解和精确描 述的问题日益突出，严重影响着网络的发展和有效利用。在此情况下，作为保证 互联网服务质量的关键之一，网络流量的特征及其控制成为业界研究的热点。： 传统上，人们使用泊松过程来刻画p s i n 等网络的网络流量以分析网络的性 能。尽管很多研究证实网络流量并不服从指数分布，但出于简化分析的目的，网 络流量的到达还是经常使用泊松过程来建模黜”。然而，自从1 9 9 4 年w l e l a n d 等人揭示了局域网网络流量所具有的自相似性后耻州，自相似网络流量理论很快 确立了其在网络流量领域研究的主导地位，在自相似性、长程依赖性、重尾分布、 分形以及多重分形等概念下的网络流量模型及其相关研究一片繁荣，人们建立了 多种具有自相似特征的数学模型，包括分形高斯噪声f g n 模型、分形布朗运动 f b m 模型、o n 0 f f 模型、重尾分布模型、分形自回归滑动平均过程f a 尉m a 模型等，其中的o n 0 f f 模型、重尾分布模型，均可以生成自相似仿真流量。 1 0 多年来的网络流量研究已经证实，由于网络流量存在自相似性、长程依赖 性，核心设备的性能受到更为艰巨的挑战。但是这些研究成果对于当前网络设计 工作的作用却并不明显。这集中表现为，由于缺乏把理论和实际骨干网络流量有 机结合起来的、方便实用的方法和手段，目前的网络设计工作基本上仍只能基于 传统的流量工程方法。鉴于此，国外一些研究机构和企业如c a d a 、s 面m 等， 率先调整方向，以实用性为出发点，启动了一批基于当前实际骨干网网络流量的 研究项目。如s p r i n t 公司的口监控项目p m o n 【删，提供了一个通用的i p 网 络监控系统，采集并管理着大量的骨干网络流量数据，以及网数据包类型、包大 西北工业大学博士学位论文 小的分布、带宽占用等方面的统计分析。围绕该项目，研究者发表了大量的论文。 这些努力，打破了先前存在的、理论研究与应用结合不紧密的局面，其成果具体 体现在2 0 0 5 年互联网测量大会( d 订c 2 0 0 5 ) 上大量出现的务实的论文和相关研 究报告，如基于测量的在线游戏数据特性、b i t t 0 丌e n t 类型系统的测量、分析和 模型化等【“】。在国内，围绕清华大学“互联网研究学术论坛”胂司，研究者就 网络流量的研究方法、研究方向等展开热烈讨论，推动了国内网络流量的研究工 作。 这些努力将网络流量的理论研究和运营商的现实需要紧密结合起来，期望以 务实的态度解决大规模网络运营中的实际问题，已经取得了一系列的重要成果。 而作为中国最大p 网络c h 蹦a n e t 运营商的中国电信，为了满足因c h 玳a n e t 用户数量急剧增加及游戏、视频等宽带信息日益普及而导致的对网络带宽和性能 不断提高的要求，自2 0 0 3 年以来组织和开展了多项专题研究。这些研究基于实 际测量的网络流量数据，以便为网络的扩容和性能优化提供可靠实用的依据。这 些研究取得的成果，不仅体现在为c h 矾a n e t 设计所提出的一系列规范和要求 里，而且也实际地指导了具体的网络扩容和优化工作。 2 0 0 5 年，国家自然科学基金委员会在其网络与信息安全重大研究计划项 目指南中指出，“研究网络传输控制中的关键性和代表性的性能模型不仅对网络 的稳定运行而且对网络的性能优化都是十分重要的”邴”“】。该研究计划还提出 了相关研究内容，包括“长相依、自相似和重尾分布为主体的网络传输控制的新 模型，网络动态控制策略及适应合作、竞争和变动的博弈机制、网络传输控制模 型分析的有效计算方法”等。 同时，国内外的重要网络设备制造企业和电信运营商还面向社会，专门针对 网络流量研究设立了一批基金。如华为公司在其2 0 0 6 年基金项目中，提出了网 络流量的安全研究、基于小波分析的网络流量异常检测、及基于层叠模型的网络 流量异常检测等具有很强实用价值的课题。 在这种背景下，结合作者参加的陕西省自然科学基金课题“基于人工免疫的 网络流量异常检测”( 基金编号：2 0 0 5 1 4 3 ) 和2 0 0 3 年、2 0 0 4 年“西安宽带多 媒体城域网优化”项目，我们提出了“面向城域网的网络流量建模研究”的课题， 目的是利用从西安宽带多媒体城域网骨干链路上所采集的大量典型的网络流量 数据，深入研究网络流量的概率密度分布、自相似性等，精确刻画城域网的网络 流量特征，并用之于面向城域网的网络流量仿真模型的设计。这项研究达到了预 期的效果，在自相似网络流量理论和有实际价值的应用之间建立了一个桥梁，不 仅对于电信运营商的网络规划设计和性能优化工作，而且对于网络设备制造企业 的网络协议及网络设备的设计工作，均具有一定指导意义。 第一章绪论 1 1 2 网络流量模型的应用 网络流量模型是网络设备设计、流量工程、链路带宽设计及网络流量异常监 测和控制等工作中的关键技术之一，对于提高网络性能、充分利用网络资源起着 基础性的支撑作用。高性能的网络流量模型，会为在确保网络高效的前提下，有 效降低网络建设成本方面等方面的工作，提供可靠的技术保障。在排队系统性能 评估过程中，网络流量模型不仅要考虑单个源对于队列长度的影响，还要考虑多 个源的聚合对于队列长度的影响；不仅要考虑单个队列下的性能，还要考虑多个 队列存在时的性能。 由于已经发现数据网络流量呈自相似特征，因此传统的能够精确描述电话网 络的泊松模型和马尔可夫模型等，对于i p 网来说在很大程度上已经变得不再适 用。网络流量的自相似性显著影响到网络的流量控制与排队性能，这一问题引起 了人们的极大关注。网络流量自相似性导致的拥塞对于排队性能的影响，在很大 程度上归因于网络流量在不同时间尺度上表现出的剧烈的变化性。进一步的研究 证实，基于泊松过程的网络流量模型大大低估了自相似性对排队性能的影响程 度，研究显示，自相似性导致的性能下降主要来自于自相似性所带来的显著的排 队延迟和包丢失【”。 当前，互联网的蓬勃发展，使得无论从技术、经济还是安全角度来看，加强 对网络流量特征的研究，建立符合实际网络流量行为特征的网络流量模型都变得 尤为迫切。而在实际的网络设计、网络设备设计等场合运用已经建立起来理论和 方法，则是网络流量模型从实验室走向工业应用的关键。目前，网络流量模型的 应用主要包括以下几个方面： l 、缓存设计 在网络设备的设计工作中，当设备端口的速率确定后( 比如设定为l o o m b p s 或者l g b p s ) ，网络流量特征就成为决定设备缓存大小的决定性因素。在这种应 用场合，一般采用网络流量的解析模型，作为计算设备所需缓存大小的流量依据。 解析模型一般基于排队论方法，在网络性能指标与资源供给之间建立起有机的联 系。利用这一联系，可以估算出要达到某些性能指标，如延迟时间、吞吐率等， 所需要的网络资源配置。当设备的体系结构、c p u 的性能等选定后，网络资源 主要表现为缓存的大小。 以利用r u d o l hr j e d i 等人提出的多尺度排队( m s q ，m u l t i s c a l eq u 伽e ) 模 型皿”】呻叫来估算缓存大小的方法为例，对这类应用作以下简要说明：按照该模 型，最大速率为c 的网络设备端口，其所需要的缓存大小可以通过下式来估算： p q 6 】“m s q ( 6 ) 西北工业大学博士学位论文 m s q ( 6 ) ：= 1 一兀：p 【足2 “ 明物理上代表了当队列大小为q 、缓存大小为6 时发 生拥塞的概率。由( 卜2 ) 式，当流量的概率密度分布确定后，即可以根据设计 容许的拥塞概率来确定缓存大小6 。或者反过来，按设计的缓存大小来估算发生 拥塞的概率。估算过程所需的流量的概率密度分布，可以从已经建立的网络流量 模型获得，比如本文提出的网络流量模型就适合于与城域网网络流量相关的缓存 设计。 2 、流量工程 网络流量模型在流量工程中的应用主要通过流量矩阵方式实现。流量矩阵表 现为一个矩阵，它是一定范围的网络上所承载流量的总体描述，其每一个元素代 表从网络中一个节点发出、到达另外一个节点的流量，且与一个源目的对相对 应。流量矩阵只反映流量的大小，与路由无关。在一个给定的拓扑上，一旦把一 个路由算法或者负载均衡策略作用于一个流量矩阵，则整个网络上的流量负载就 可以相应地确定。 流量工程经常需要用到流量矩阵作为输入，比如路由算法，负载均衡方案， i g p 链路权重的设置算法，可靠性和失效分析，多径路由，容量设计，瓶颈避免， 公平机制，口链路到光纤的映射等。在这些工作中，网络的性能评估一般通过仿 真和计算两种方式实现，而这两种方式又都需要首先通过一定方式来描述网络流 量，也就是建立网络流量模型。 3 、链路带宽设计 在实际的网络运营管理中，对网络链路带宽的设计一般采用冗余带宽法，也 就是提供远超过网络流量所需求的带宽，使得网络链路上的流量即使在峰值时也 不至于达到链路的带宽。由于不掌握流量的分布规律，网络运营者通常以链路上 实测流量均值的2 3 倍作为链路的设计带宽，期望通过提供富裕的带宽，来保障 流量峰值期间的q o s 指标。 这种方法的优点是简单易行，不需要复杂的模型和计算。缺点是通常会带来 两种不利的后果：是提供的冗余带宽过多，浪费了网络带宽资源。二是尽管有 带宽冗余，但仍然不能满足流量峰值期间的需要而产生拥塞，从而不能保障网络 性能。这可以通过图1 1 来说明，图中横坐标为流量大小，纵坐标为网络链路流 量的概率密度分布，即流量呈现不同大小的概率。假如设计者并不掌握实际网络 4 第一章绪论 流量的特征( 实际工作中绝大多数情况的确是这样) ，而是经验式地选择以实测 流量均值( 图中为4 5 m b p s ) 的2 倍( 即9 0 m b p s ) 作为链路的设计带宽。而另一方 面，网络流量实际的概率密度分布如图1 1 中曲线所示。这样就会造成不利的结 果，即：尽管大多数时间内网络链路并不饱和，但在某些时段，因为流量过大而 出现拥塞，拥塞概率可以通过图卜l 中概率密度分布曲线、横坐标和9 0 m b p s 直线 所围成的区域来计算。 平均流量设计带宽 4 5 m b p s9 0 m b 嚣臣霉霹o 0 7 卜产t _ 十 姜o 0 6 嚣o 0 5 薹o 0 4 譬o 0 3 0 0 2 0 0 l 0 oz o如6 08 01 0 0 l z ul 4 t ll l 叫 流量诅i b p 曲 图1 1 采用冗余带宽法设计产生拥塞现象示意图 4 、网络异常监测 由于协议的开放性以及弹v 4 在设计时缺乏对安全问题的周详考虑，目前p 网络安全形势严峻。从2 0 0 1 年的红色代码、蓝色代码，到2 0 0 4 年的冲击波、震 荡波等蠕虫病毒，无不造成大规模的网络中断，带来了大量的网络资源浪费和数 以亿计的经济损失。蠕虫病毒攻击、分布式拒绝服务攻击( d o s ) 等，有的利用 了网络服务、系统服务的漏洞，有的利用网络资源、系统资源的有限性，有的利 用了网络协议和认证机制自身的不完善性。这些病毒通过在短时间内发动大规模 网络攻击，消耗带宽、c p u 等特定资源，实现拒绝服务攻击。因此，不管是是 大型骨干网络，还是中型本地网络甚至是部门级局域网，都迫切需要实现针对恶 性蠕虫和大规模拒绝服务攻击的安全控制机制，增强网络的自我防御能力。 目前，网络流量异常监测技术是解决异常网络流量问题的首要的技术手段。 为了识别异常流量，需要通过对正常条件下的网络流量进行采集和分析，建立基 于时间的正常网络流量的模型。在线使用情况下，网络流量异常监测系统会在系 统数据库中，对所监测网络各个时间段内、各种协议的网络流量建立一个动态流 量基准。当某个时段，某个协议流量与其当前基准不符时，就会给出一个异常告 警。随着时间积累，告警会逐步升级。然后，就可以在对告警进行分析的基础上， 采取针对性的措施，比如跟踪异常流量，找到并阻塞源头、流量过滤等，从而实 西北工业大学博士学位论文 现对网络的保护。 1 2 国内外研究现状 网络流量模型研究已经经历了传统流量模型阶段、自相似流量模型阶段两个 阶段。如图1 - 2 所示，传统的网络流量模型包括泊松模型、爱尔兰模型等，这些 模型曾成功地用于p s l n 、i s d n 等网络的流量设计，取得了良好的效果。而主 要的自相似模型包括o n o f f 模型、m w m 模型等，到目前为止，绝大多数的 应用还仅止于对网络流量所呈现特征的解释，实际用于网络设计和产品研发层面 的还风毛麟角。当前，网络流量模型的研究正处于自相似流量模型日益走向深化 和实用化的阶段。围绕实际网络尤其是骨干网络，研究者在骨干网网络流量特征、 网络流量矩阵以及网络设计方法等方面开展了大量工作。 传统流量模型阶段斗一自相似流量模型时期阶段十自相似流量模型深化阶段 l e l a n d 的l a h 流量分析 小波模型 嚣篡m 船器端羔募敬效裟麓嚣糍嚣患 爱尔兰模型 n “；觜盖篓篇嚣梨辫失效釜麓； 流量要蹩? 认识 w 儿l i n g e r 的0 h o f f 解释 混沌模型 9 0 年代中期2 0 0 4 年 图1 2 网络流量模型发展的三个阶段 白相似流量模型作为当前主流的研究方向，可以从自相似性的发现、自相似 流量模型的广泛研究以及探索自相似产生机理的努力几个方顽来进行回顾。 1 2 1 流量自相似性的发现与相关研究 1 、传统流量模型的特点分析 7 0 年代和8 0 年代的早期，人们主要借鉴p s n 4 网络的经验，用泊松模型来 描述数据网络的流量，一般称为传统流量模型，其基本假设为： ( 1 ) 外部数据源产生流量的时间间隔为指数分布，即数据源到达过程为一 p o i 8 s o n 过程 g ( f ) l f = l ，2 ) ，g ( f ) 为数据包f 和f + l 的时间间隔； ( 2 ) 数据源一次产生流量的长度服从指数分布 日( f ) 卢1 ，2 ，) ，h ( f ) 为 数据包f 的数据长度； ( 3 ) g ( f ) 和日( f ) 相互独立。 第一章绪论 泊松过程的包到达过程是无记忆性的，包到达时间间隔服从指数分布。根据 泊松模型，随着数据源的增加，累加流量将趋近平均流量值。 在这一时期，研究者普遍认为，泊松过程是真实网络流量过程的一个足够精 确的表示。因此，有一大批基于泊松模型的排队分析方法在这一时期得到发展。 但很显然，这种排队分析方法的有效性完全依赖于通信流量服从泊松过程的程 度，对于不服从泊松过程的i p 网络流量，泊松模型的局限性是显然的。 2 、以太网流量自相似性的发现 文献n “1 是l o 多年来网络研究领域最重要的论文之一，它引发了人们对数据 通信网络流量特征的重新认识和研究。1 9 9 3 年，w k l a l l d 和其同事先驱性阿工作 提供了局域网流量自相似性的最早的经验性证据。他们研究的数据有四组，其中 两组数据是1 9 8 9 年8 月和l o 月自同一个研究机构实验室的以太网所采集，该网络 承载着这个实验室从软件开发部门到电话系统原型研究部门等的所有业务的网 络流量，且网络流量主要以i p 类为主，包括远程登录、电子邮件以及服务器和工 作站之间的网络文件系统( n f s ) 的通信内容。以太网通过路由器与公司的大网 连接，不过网上有超过9 5 的流量属于网