（计算机应用技术专业论文）大规模网络ip流行为特性及其测量算法研究.pdf

中文摘要 中文摘要 随着网络规模的扩大，网络流量特征研究已经成为网络性能分析最主要的方向之一。通过网 络流量特征的研究，可以为预测网络性能，q o s 服务和s l a 服务等应用以及作为应用基础的网 络测量提供必要的支持。由于目前绝大部分互连网络均使用t c p i p 协议，基于i p 报文的研究一 直是网络流量研究的重点之一。作为m 报文的集合，m 流不但可以表现报文的特征，而且从更 高层次的角度反映用户偏好，因此目前有相当多的文献通过m 流的角度研究分析协议行为和用 户行为对网络负载和性能的影响。所谓i p 流特性，是指在正常网络中i p 流所表现出的一系列固 有特点，以及这些特点在网络中的关联关系。作为表达m 流状态的流长分布，流速分布和流到 达分布等相关特性，已经取代i p 报文成为目前研究的重点之一。 本文主要研究两方面的内容：首先，分析在网络中不同负载状况下妒流( 主要包括t c p 流， u d p 流和i c m p 流) 的流长特性，流速特性及其流到达分布特性：并分析各种流特性之间的关系， 进而阐述这些流特性所反映网络运行状况信息，以及导致这些特性的主要因素；其次，在综合 分析m 流各项特性和模型的基础上，提出利用部分i p 流特性，提高现有网络测量，网络安全等 具体应用性能的算法，并通过具体的实验证明算法的有效性和鲁棒性。 在第一部分研究内容方面，本文将采集自各种不同时间、不同应用背景和不同负载的大规模 高速网络的t r a c e 作为研究对象，使用试验分析的方法，对流长，流速和流到达等多维具体特 征分别进行分析，然后综合考虑它们之间的相关关系。 在流长分析方面，通过对流长进行统计，发现其相同和相异的分布特征，本文结合t c p i p 相关协议和用户行为，对这些特征的形成原因和于扰因素作进一步分析和推测，并指出这些特征 对口流流长分布影响程度。然后，在分析口流长分布特点的基础上，提出大规模网络状况下m 流流长分布经验模型，该模型在表达大规模网络i p 流流长分布上，其精度高于原有p a t i o 模型， 其复杂度低于原有双p a r c t o 模型。论文采用k o l m o g o r o v - s m i r n o v 拟合优度检验对相关模型与实 际t r a c e 流长分布的拟合程度进行检验，并对模型的相关参数的取值范围做深入讨论。最后， 本文讨论了该经验模型与现有模型存在的异同，分析了导致异同的原因，并进一步指出口流流 长分布发展可能的趋势。 在流速分析方面，分别对t c p 流、u d p 流和i c m p 流的平均流速从协议分析的角度进行建 模，从平均流速模型参数分析中，获得在不同阶段对决定m 流平均流速的若干主要影响因子。 然后，通过试验分析的方法，对所选取的t r a c e 中不同协议类型的i p 流平均流速进行统计分析， i 中文摘蛰 检验这些冈素在实际网络中，住不同流k 的情况r 对i p 流平均流速的贡献从而验证 r 本文所 提出的l p 流平均流速影响冈子的町靠性。最后使川相天性分析的方法，讨论流速与流长之间的 相关关系，并从i p 流速模型的角度分析各种网络特性，协议特征和h j 户 j 为对不同流长的i p 流 的影响。 在流到达分析方面，本文在分析现有l p 流到达分布研究成果的基础上，首先对不同来源的 大规模网络的i p 流到达时间间隔分布和自相关性进行了探讨，验证，l p 流到达时间间隔均服从 w e i b u l l 分布的规律，同时还发现随着i p 流到达密度的增加，w e i b u l l 分布的参数a l p h a 逐渐接近 于l ，则w e i b u l l 分布退化为指数分布；l p 流的自相关系数随着被考察i p 流流长的增加逐渐减弱， 流长大于1 0 0 的l p 流，其到达过程基本不相关。然后，本文在测晕的基础上，使用p o i s s o n 丛集 过程对i p 流到达建模，从而获得大规模网络中i p 流到达与流长之间存在以f 关系：大规模网络 中，i p 流到达过程存在长相关关系，但流长大于某个阈值的i p 流的到达过程基本可以认为是 p o i s s o n 过程，并对该阈值的取值范围进行了讨论。最后，本文使用基于离散小波的多分辨率分 析方法，对来自多个网络的不同流长的i p 流的到达情况进行考察，验证了本文研究所得的结论。 第二部分的研究内容是第一部分研究的具体应用，对前者的研究就有较强的依赖性。在本部 分中，本文根据舻流流长呈重尾分布的特性，提出了一种计数算法一m g c b f 算法，该算法能 针对元素出现频率呈重尾分布的特定集合，采用分层多粒度计数多哈希的方式存储集合中元素出 现频率的信息。在m g c b f 算法的基础上，设计了流长统计和信息维护模型，在基本不影响测量 精度和测量复杂度的情况下，大幅度地节省所需存储资源，并且模型具有良好的可扩展性。在综 合i p 流流长和流速分布特征和相关关系的基础上。本文提出了一种基于i p 流特征的动态超时机 制( d t o s ) ，针对不同流长和不同特征的i p 流采用不同的而且可以动态变化的超时，在保证i p 流 识别的精度前提下，尽快将已经结束的流淘汰，以节省测量系统的计算和存储资源。试验结果显 示，采用动态超时策略在性能上明显高于其他超时算法，而且还能应对网络中可能存在的突发情 况，在极端情况下( 如蠕虫爆发，和大规模的d d o s 攻击出现时) ，保证测蕈系统的安全。 关键词：大规模网络i p 流特性i p 流长m 流速i p 流到达流测量m g c b f 算法d t o s 算法 英文摘要 a b s t r a c t a st h ee x p a n d i n go fn e t w o r k s ，s t u d yo fn e t w o r kt r a f f i cc h a r a c t e r i s t i c si sb e c o m i n go n eo fm a i n d i r e c t i o no fn e t w o r kp e r f o r m a n c ea n a l y s i s i tc a l lg i v ee s s e n t i a ls u p p o r t i n gf o rs o m en e t w o r k a p p l i c a t i o n s 。s u c h 罄p e r f o r m a n c ef o r e c a s t i n g , q o ss e r v i c e 。s l as e r v i c e ，a n de v e nf b ft h en e t w o r k m e a s a r e m e n tw h i c hi st h ef o u n d a t i o no ft h e s ea p p l i c a t i o n s b e c a u s et c p i pp r o t o c o ls u i t e sp l a ya n o v e r w h e l m i n gr o l ei ni n t e r - c o n n e c tn e t w o r k s s t u d yb a s e do nl pp a c k e t si so n eo fm a i nr e s e a r c h d i r e c t i o n so fn e t w o r kt r a f f i c a st h ea g g r e g a t i o no fi pp a c k e t s i pf l o w sc 锄n o te x p r e s st h e c h a r a c t e r i s t i c so fi pp a c k e t s ，b u tr e f l e c tt h eu s e r s b e h a v i o ri nh i g h e rl a y e r s a n ds ot h e r ea r cm o t ea n d m o r ep a p e r ss t u d y i n gt h ei n f l u e n c e si nn e t w o r kp a y l o a d sa n dp e r f o r m a n c e sw h i c ha r eg i v e nb y p r o t o c o l sa n dt t s e r sb y1 1 f l o w sa n a l y s i s i pf l o w sc h a r a c t e r i s t i c s 玳t h ei n h e r e n tc h a r a c t e r sa m o n gi p f l o w si nn a t u r a ln e t w o r k s ，a n dt l l e ya t ea l s oi n c l u d i n gt h er e l a t i o n s h i p sa m o n gt h o s ec h a r a c t e r s s e v e r a l i pf l o w sc h a r a c t e r i s t i c ss u c ha si pf l o w sl e n g t hd i s t r i b u t i o n , i pf l o w sr a t ed i s t r i b a t i o n , a n di pf l o w s a r r i v a lp r o c e s sa t eb e c o m i n go n eo fm o s ti m p o r t a n td i r e c t i o n sr e p l a c i n gt h es t a t u so fi pp a c k e t s r e s e a r c h t h e 托a 托t w om a i nc o m p o n e n t si nt h i sd i s s e r t a t i o n ：f i r s f l y ，$ e v e r a lc h a r a c t e r i s t i c so fi pf l o w s ( i n c l u d i n gt c pf l o w s ，u d pf l o w s ，i c m pf l o w s ) a r ca n a l y z e d ，s u c ha sf l o w sl e n g t hc h a r a c t e r i s t i c s ，f l o w r a t ec h a r a c t e r i s t i c s ，a n df l o w sa r r i v a lc h a r a o t e d s t i c s ，a n ds o 勰t i l er e l a t i o n s h i p sa m o n gt h e m b a s e do n t h e s e ，t h i sd i s s e r t a t i o nd e s c r i b e st h e i ro s a g n si nd i s c o v e r i n gt h en e t w o r ki n f o r m i n g , a n da l s oa n a l y z e s n 壕m a i nf a g t o l 苫w h i c hc a r lc 硼瑚t h e s ec h a r a c t e r i s t i c s s e c o n d l y , b a s e do nt h ei pf l o w sc h a r a c t e r i s t i c s a n dm o d e l i n ga n a l y s i s ，t h i sd i s s e r t a t i o np r o p o s e ss e v e r a la l g o r i t h m st ou p g r a d i n gt h en e t w o r k m c n s a r g m o rp e r f o r m a n c e sa n ds e c u r i t y t h ee f f i c i o n e i e sa n dr o b u s t n e s so f t h ea l g o r i t h m sa 把a p p r o v e d b yas e r i e so f e x p e r i m e n t s ， ms e c t i o n1 t l l i sd i s s e r t a t i o ns t u d i e st h o t r a c e sw h i c hc o m ef r o mt h en e t w o r k sw i t hd i f f e r e n t t i m e , d i f f e r e n ta r e a sa n dd i f f e r e n tp a y l o a d s ，a n da n a l y z e st h ec h a r a c t e r i s t i c so f f l o w sl e n g t h , f l o w sr a t e a n df l o w sa r r i v a lp r o c e s sb ye x p e r i m e n t a lm e t h o d s ，a n da l s ot h e i rr e l a t i o n s h i p s i nc h a p t e r2 ，t h es 舢eo rd i f f e r e n tf l o w sl e n g t hd i s t r i b u t i o nc h a r a c t e r i s t i c sa r ed i s c o v e r e db y a i l a l y z i n gt h o s et r a c e s 1 1 c a u s a n di n t e r f e r e n c ee l e m e n t so ft h o s ec h a r a c t e r i s t i c sa r ei n f e r r e d u s i n gt c p a pp r o t o c o ls u i t e sa n du s e 幅b e h a v i o ra n a l y s i s a n dt h ei n c i d e n c eo ft h o s ec h a r a c t e r i s t i c si s a l s og a u g e da tf o l l o w i n g b a s e do nt h o s ed i s c u s s i o n s , t h ee m p i r i c a lm o d e lo fi pf l o w sd i s t r i b u t i o nf o r l a r g e - s c a l en e t w o r k sa r ep r o p o s e db a s e do nt h ec h a r a c t e r i s t i c sa n a l y s i s ，w h o s ep r e c i s i o ni sb e t t e rt h a n p a r e t om o d e la n dw h o s ec o m p l e x i t yi sl e s st h a nd o u b l e - p a r c t om o d e l k o l m o g o r o v - s m i r n o v g o o d n e s s - o f - f i tt e s ti se m p l o y e dt oi n s p e c tt h ee f f e c to f t h i sm o d e la n di t sp a r a m e t e r s a n dt h e n , t h i s e m p i r i c a lm o d e ii sc o n t r a s t e dw i t ho t h e rd l s t r i b u t i o nm o d e l st h a tp r e s e n t e db vf o r n l e rf c s e a r c h c r s a n d t h es a l n ea n dd i f f e r e n tc h a r a c t e r i s t i c sa m o n ga l io f t h e s 0m o d e l sa r ed i s c u s s e d , a n ds od ot h e i rc m l s g s t h ep o s s i b l et e n d e n c yo fi pf l o wd i s t r i b u t i o ni sf o m c a s t e db a s e do nt h o s ed i s c u s s i o n sa tt h ee n do f t h i s d i s s e r t a t i o n h lc h a p t e r3 t h i sd i s s e r t a t i o nm o d e l st h ei pf l o w sr a t eb a s e do np r o t o c o la n a l y s i sf r o mi t st h r e e m a i nc o m p o n e n t s ：t c pf l o w s ，u d pf l o w sa n di c m pf l o w s f r o mt h ea n a l y s i so fp a r a m e t e r so ft h o s e m o d e l s , t h ef l o w s 眦a t ef o u n do u tt ob ed e t e r m i n eb ys o m ei n f l u e n c ef a c t o r s a n dt h e n , t h o s e m 英上摘要 t r a c e sa r ec h o s e da ss t u d yo b j e c t s w h i c hc o m ef r o mt h en e t w o r k sw i t hd i f f e r e n tt i m e ，d i f f e r e n ta r e a s a n dd i f f e r e n tp a y l o a d s t h ei n f l u e n c ef a c l o t sa r ev e r i f i e dt h e i re f f e c i e n c ef o r t h ei pf l o w sr a t ew i t h d i f f e r e n tl e r i g t hi nt h ea c t u a lo e t w o r k s a n dt h i si sa l s ov e r i f i e dt h er e l i a b i l i t yo fi n f l u e n c ef a c t o r so fi p f l o w sr a t e w h i c ha r ei n t r o d u c e db yt h i sd i s s e r t a t i o n i nc h a p t e r4 ，b a s e do od i s c u s s i n gt h ef o r m e rr e s e a r c hp r o d u c t i o n so ni pf l o w sa r r i v a ld i s t r i b u t i o n ， t h i sd i s s e r t a t i o na n a l y z e st h ei n t e r a r r i v a lt i m ed i s t r i b u t i o na n dt h e i ra u t o c o r r e l a t i o n so fi pf l o w sw h i c h f r o md i f f e r e n tl a r g e - s c a l en e t w o r k sa tf i r s t a n di ti sf o u n dt h a tt h ei pf l o w s i n t e r a r r i v a lt i m e d i s t r i b u t i o nf o i l o w sw e i b u l ld i s t r i b u t i o nw h i c h sp a r a m e t e ra l p h ai sc l o s et o1 0a st h es c a l eo f n e t w o r k b e c o m e sl a r g e r , s ot h ew e i b u l ld i s t r i b u t i o n sd e g r a d e st oe x p o n e n t i a ld i s t r i b u t i o n a b o u tt h ei pf l o w s i n t e r a r r i v a lt i m e sa u t o c o r r e l a t i o ns t u d y i n g , i ti sd i s c o v e r e dt h a tt h ea u t o c o r r e l a t i o nb e c o m e sl e s sa st h e i pf l o w s l e n g t hi n c r e a s e sw h i c ha r eb em e a s u r e d a c c o r d i n gt ot h es t u d i e sa b o v e ，t h i sd i s s e r t a t i o n e m p l o y sp o i s s o nc l u s t e rp r o c e s st oa n a l y z et h er e l a t i o n s h i pb e t w e e ni pf l o w sa r r i v a lp r o c e s sa n di p f l o w sl e n g t h a n dg e t ss o m ec o n c l u s i o n 豁f o l l o w i n g ：1 1 1 ei pf l o w sa r r i v a lp r o c e s si sl o n g - r a n g e d e p e n d e n c e si nl a r g e - s c a l en e t w o r k s ，w h i l et h ea r r i v a lp r o c e s so fi pf l o w sw h o s el e n g t hb i g g e rt h a n s o m et h r e s h o l dc a nb em o d e l e da sp o i s s o np r o c e s s a tl a s t 。t h i sd i s s e r t a t i o ne m p l o y sm u l t i - r e s o l u t i o n m e t h o d sb a s e do nd i s c r e t e w a v e l e t st or e v i e wt h ei pf l o w sa r r i v a lp r o c e s sw i t hd i f f e r e n tf l o wl e n g t h si n t h et r a c e sf r o md i f f e r e n tl a r g e - s c a l en e t w o r k s ，a n dp r o v e st h ec o n c l u s i o ng o r e nf r o mt h ea b o v e i ns e c t i o n2 t h em a i nr e s e a r c ho b j e e l sa r et h ea p p l i c a t i o n sb a s e do nc o n c l u s i o nf r o ms e c t i o nl - i nt h i ss e c t i o n , t h i sd i s s e r t a t i o np r o p o s e so n en o v e lc o u n t i n ga l g o r i t h m - - - - m g c b fa c c o r d i n gt ot h e c h a r a c t e r i s t i c so fi pf l o w sl e n g t hd i s t r i b u t i o nf o l l o w i n gt h eh e a v y - t a i l e dd i s t r i b u t i o n u s i n gal i t t l ef i x m e m o r y , t h em g c b f m a i n t a i n st h ec o u n t e r sf o ra l li n c o m i n gf l o w sw i t hs m a l le r r o rp r o b a b i l i t y , a n d k e e p sl o n gf l o w s i n f o r m a t i o ni d e n t i f i e dw i t haf i x e dp a c k e tn u m b e rt h r e s h o l db yae x p a n d i n gd a t a s t r u c t u r e ，w h i c hb u i l du pt h em o d e lo fl o n gf l o w s i n f o r m a t i o ns t a t i s t i c s b a s e do nt h ea n a l y s i so f d i s t r i b u t i o na n dr e l a t i o n s h i p sb e t w e e ni pf l o w sl e n g t ha n dt h e i rr a t e t h i sd i s s e r t a t i o np r o p o s e st h e d y n a m i ct i m e o u ts t r a t e g y 巾t o s ) t oa n a l y z ef l o w sd i s t r i b u t i o na n df l o wr a t em e t r i c si nd e t a i l t h e s t u d i e s s h o w t h a t t h i s m e t h o dc a n i m p r o v e t h ep e r f o r m a n c e s o f n e t w o r k m e a s u r e m e n t a n d t h ee f f i c i e n c y o ft h er e s o u r c eu s a g pb yu s i n gd i f f e r e n tt i m e o u ts t r a t e g i e st od e a lw i t hf l o w st h a th a v ed i f f e r e n tr a t e f e a t u r e sb a s e do ni n t e g r a t e du s a g ea n a l y s i so ft a r g e tn a t w o r k i tc a l la l s oa p p e r c e i v en e t w o r ka b n o r m a l b e h a v i o re f f i c i e n t l y , a n dt h e nt a k ee m e r g e n tm e a s u r e st oe n s u r et h es a f e t yo f m e a s u r e m e n ts y s t e m k e y w o r d ：i pf l o wc h a r a c t e r i s t i c si nl a r g es c a l en e t w o r k s ，i pf l o w sl e n g t h , i pf l o w sr a t e ，i pf l o w sa r r i v a l ， 1 pf l o w sm e a s u r e m e n t , m g c b fa l g o r i t h m ，d t o sa l g o r i t h m 图表索弓 a 表索引 图表索引 表l - l 不同来源t r a c e 分布概况11 表2 - 1t r a c e 中不同协议类型报文和字节数量分布 表2 - 2t r a c e 中不同协议类型i p 流分布 表2 - 3i p 流应答率分析 表2 - 4 单报文i p 流使用最频繁的端1 3 比较表 表2 - 5 不同操作系统的下r l 初始值 1 6 2 0 2 2 表2 - 6 不同重尾分布模型的概率密度函数和补累积分布函数2 5 表2 - 7 分布函数拟合的k - s 参数检验 表3 - 1 不同流长阈值的t c p 流流长和平均流速的相关关系。5 2 表3 - 2 不同持续时间阈值t c p 流流速与平均流速的相关关系 表3 - 3 不同流长阈值u d p 流流长和平均流速的相关关系 5 3 5 4 表3 - 4 不同持续时间阈值u d p 流流长和平均流速的相关关系5 4 表4 - 1 拟合曲线的参数取值 表5 1 实验使用t r a c e 流分布统计 表6 - 1 短流( p a c k e m u m 6 ) 持续时间的比例 表6 - 2 长流前n 个报文到达时间 b 图索引 图i - 1 互联网发展状况统计 图! - 2 文件大小和链接速度关系 6 5 9 3 9 8 图l - 3 流量聚合示意图 图2 1 平均报文测度和平均流长测度分析 l 6 图2 - 2 不同t r a c e 的不同类型i p 流流长分布曲线 图2 - 3 无应答i p 流流长分布2 l 图2 - 4h t t p 类型的i p 流在t r a c e 中所占比例分析 图2 - 5 尾重近似的不同重尾分布函数的补累积分布曲线比较2 6 图2 - 6 冗余消除后i p 流流长分布 图3 - 1t c p 拥塞窗口的变化示意图3 3 图3 - 2 两种典型u d p 流的报文到达序列3 4 1 1 7 东南人学博l 学位论文 翻3 - 3i p 流持续时间的且补累积分布曲线3 7 图3 - 4 不同流长的t c p 流持续时间分布3 9 图3 - 5 不同流长和类型的n o n t c p 流持续时间分布4 0 图3 - 6i p 流流速的互补累积分布曲线4 2 图3 - 7 不同类犁的t c p 流的流速分布4 3 图3 - 8 不同类型n o n t c p 流的流速分析4 5 图3 - 9 随机流内报文到达和特定流平均流内报文到达时间间隔分布4 7 图3 - l o 流持续时间和流长分布分析4 9 图3 - 1 1 平均流速和流长相关性分析5 l 图3 - 1 2 流内报文到达时间间隔分布5 6 图3 一1 3 基于流内报文到达时间方差的流速平稳性分析5 7 图4 l 不同时间粒度fi p 报文，流和平均流长曲线6 2 图4 - 2i p 流到达间隔l o g - l o gc c d f 6 4 图4 - 3 不同流长i p 流到达的自相关系数对比6 6 图4 _ 4 多分辨率分解示意图7 1 图4 - 5 能量曲线的示例7 2 图4 - 6 总体i p 流到达平稳性分析。7 3 图4 7 有应答和无应答i p 流到达的平稳性分析7 5 图4 - 8 不同协议类型的i p 流到达平稳性分析7 6 图4 - 9 不同流长伊流的到达平稳性分析7 7 图4 - l o 不同持续时间i p 流的到达平稳性分析7 9 图4 1 l 不同持续时间l p 流的到达平稳性分析8 0 图5 1b l o o mf i l t e r 示例8 3 图5 - 2c b f ，s b f ，m g c b f 算法计算性能、存储空间及误著比较8 9 图5 - 3 基于m g c b f 算法的流长统计和信息维护模型9 0 图5 4 不同测量方法所得t h r e s h o l d = 1 0 0 0 长流分布对比图9 4 图6 - 1d t o s 算法工作原理图9 9 图6 - 2 流内报文到达时间间隔累积分布( c d f ) i t l t 线1 0 1 图6 3 采用不同超时策略的流累积分布( c d f ) i t 自线1 0 3 图6 - 4 正常状况下各种超时策略资源使用情况1 0 4 图6 - 5 异常状况下各种超时策略资源使用情况。1 0 4 1 1 8 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东 南大学研究生院办理 一魏同时名：焉( 金、l 以h 勺 第1 章绪论 第1 章绪论 虽然i n t e r n e t 诞生才短短的十几年时间，但是由于各种不同应用的驱动，网络已经深入到世界的 各个角落，成为目前信息交流的最主要平台之一。i n t e m e t 软件联盟的调查报告显示，1 9 8 1 年8 月联 网主机仅有2 1 3 台，而到2 0 0 5 年6 月互联网上联网主机的数目约为3 5 3 ，2 8 4 ，1 $ 7 台【l 】。图l 为摘录 自 s c 主站的不同时段活动主机探测结果的统计图，数据表明i n t e r n e t 活动主机数随着年份的增加呈 非线性增长基本符合摩尔定律。i n t e m e t 在国内的发展和普及也十分迅速，从中国互联网c n n l c 统计数据来看，国内上网用户和主机也存在逐年增长的趋势，而w w w 服务主机的数量增长基本和 活动主机的类似。 随着上同用户和活动主机的增长。各种网络服务层出不穷，导致网络流量不断增大，网络行为 也变得越来越复杂因此有必要针对网络行为进行分析，获取各种网络中各种业务流量的差异及其 它们对i m c r n e t 性能影响的相关信息，为网络计费，流量工程，网络安全等诸多应用提供支持，从而 提高网络服务质量。 i n t e m e t 中d n s 上登记的活动主机数 ( 来自i s c ) 蔫t 麓a 螂 舞i 黛潮 霉嘲 嚣i m 蔫 拍搠姻 i 朝搬藩 鞠i 曲蕾 黼i 曾 e ilil ； i ll 中国互联网发展状况统计数据 ( 来自c n n i c ) ”一“鬈”一一 图 一1 互联网发展状况统计 传统对网络流量的测量集中在报文层次，但是由于网络流量的增长速度要高于计算机软硬件的 发展速度，而且报文层次的测量相对平等地分析每个报文，不能分析报文间内在联系及其更高层次 信息，所以单纯基于报文层次的网络测量已经不能满足网络行为观测及其基于观测的相关网络优化 和管理的需求：而且按照“新摩尔定律”光纤定律，互联网带宽每9 个月增加一倍，成本降低 一半；但是计算机硬件的发展还是服从摩尔定律增长，所以带宽的增长速度要远高于硬件的发展， 这就为基于报文的网络测量和分析带来较大的困难；因此网络测量目前主要基于对报文聚类的测量。 所谓报文聚类，就是按照一定的标准或者规范，将报文分为若干个集合，通过研究报文集合的特点， 反映网络的运行状况 基于高层应用协议聚集的方式是目前报文集合研究的一个重点，但是由于现有网络带宽的发展 速度使得在主干网络中对网络流量进行高层分析变得十分困难，所以一般基于高层应用协议分析的 方法一般只能适用于低速低带宽踺络，而对高速网络这种分析方法显然不能满足其要求 口流研究是基于报文聚类研究的一种常用方法，目前基于m 流的研究已经成为网络流量和行为 研究的重点之一，主要的研究团体有c a i d a 、m e r i t 、i t a 、o c 3 和i e t f 等组织。在一般的网络 系统常用的性能指标为：信道传输速率和容量，信道利用率、传输延迟、响应时间和负载能力等。 这些网络的性能指标主要应用于端到端系统之间信道能力的测量，而本文所研究的是在大规模网络 中流量的总体特征及其这些特征对网络总体性能( 如网络吞吐量，网络延时等) 的贡献，从而为网络安 全，嘎络优化等应用提供必要的技术支撑。 1 东南人学搏卜学位论上 1 1 研究现状 i p 流研究已经成为目前网络彳：i = 为研究最主要的方向之一，它反映，端剑端的应川状况，七三经逐 渐代替基下报文的研究被广泛应h 】r 计算机网络的性能分析。 1 1 1i p 流的定义 网络测苗就其对象而言，目前主要可以分为报文测量和流测量两种类型，其中流测量主要针对 是i p 流的。所谓i p 流，是指符合特定的流规范( s p c c m c a t i o n ) 和超时( t i m e o u t ) 约束的一系列数据报文 的集合 2 1 1 3 1 1 4 1 。l p 流可以分为双向流( b i d i r e c t i o n ) 和单向流( u n i d i r e c n i o n ) ，舣向流是将流规范所规定 的对应源宿端点的所有报文均归入该i p 流，而单向流对应地将报文按照不同方向分为两个i p 流。 目前使用频率较高的流规范主要有五元组，目的地址或者o d f l o w 等。其中五元组流规范被广 泛地采用 2 1 1 4 1 1 5 1 ：超时约束将超过定时间不活动的i p 流定义为已终结，这样可以对i p 流的进一 步分析，同时也可以使测量系统资源得到充分利用，超时策略的设定对流测量的精度和测量系统资 源的利用状况有较大影响，一般测量系统普遍采用c l a f f y 2 建议的6 4 秒。为保证研究的一致性，除 非特别说明，本文将