（通信与信息系统专业论文）网络测量中的抽样技术研究.pdf

摘要 摘要 随着信息技术的飞速发展，互联网已经成为社会基础设施中最重要的组成部 分之一个人用户通过它获取信息，进行消费、娱乐；企业用户通过它发布产品 信息，实现电子商务；政府部门通过它办公，开展电子政务等。为了满足人们对 互联网应用日益增加的需求，它的规模不断扩大、速度不断提高，给网络测量技 术带来了很大的挑战。网络管理者为了测量网络的性能，需要从大量的网络测试 节点上收集流量数据，但是仅仅在一条o c 4 8 链路上采集到的每小时的流量就有 6 0 0 g 字节，必须花费大量的资源去存储、传输和处理这些流量数据，使得网络测 量无法进行。因此，在下一代大规模、高速网络中，抽样技术成为了很多大型网 络在测量和监控网络性能时主要采用的方法，它一方面大大减少了测量的数据量， 另一方面也降低了测量过程带给系统的高负荷。但是，抽样技术造成了测量数据 的不完整性，影响了网络安全监测、网络管理和性能评估等分析结果的正确性， 导致最终决策的失误。所以，抽样技术是整个网络测量的基础，不仅仅要考虑抽 样本身的问题，还需要针对不同复杂的测量应用配置合适的抽样方法，才能达到 正确网络测量的目的。 本文深入研究了不同的网络应用中的抽样技术，主要内容和成果如下： 一、提出了一种基于i p 流的可变抽样率的网络流量抽样测量方法。 通过实际测量和理论研究，分析了目前异常检测中所用的抽样方法影响检测 结果正确性的原因，提出了新的可变抽样率的测量方法。该方法在设置从属过程 中的数据报文抽样率的同时考虑到了主过程中的i p 流的性质，利用哈希模式匹配， 将到达的数据报文按流标识分类，并记录下该报文在i p 流中的位置，然后根据报 文在所属流中位置顺序参数的减函数设置不同的抽样率进行抽样实验结果表明， 该方法增加了短流中报文的抽样概率，解决了由于随机报文抽样方法偏向于抽样 长流而导致的网络异常被丢弃的问题，提高了异常检测的正确性。该方法还可以 应用于其他短流检测的网络测量中。 二，提出了基于f a r i m a 流量预测的抽样方法。 目前的互联网业务量特征具有高突发性和高随机性的特点，对实际网络流量 进行的大量测试和分析结果表明其呈现出长程相关或自相似的统计特性。在网络 业务量行为特征研究中，为了使数据报文的抽样采集过程不会对其统计特性造成 影响，提出了基于f a r i m a 流量预测的抽样方法。该方法根据流量预测值，在高 峰时段提高抽样粒度，采集较多的数据报文；流量较低的时间段，用小的抽样粒 度来采集数据。这样，抽样样本就可以e e 较真实地反映原业务流量行为特征，同 时流量低谷时段降低抽样粒度，可以减轻c p u 的负载，节省存储空间。 l l 西安电子科技天学博士学位论文：网络测燕中的抽样技术研究 三、基于信息熵理论提出了一种大规模、i 晦速i p v 6 网络流量分布式抽样测量 方法。 i p v 6 鼹络静1 2 8 b i t 燃穴缝蛙空闼带来了瓣络艇摸大疆增加，瑷蠢瓣撞撵方法 犬部分廷能痤磊于单点韵瓣终爨量，无法完熬穗爱映i p v 6 弼络黪饿施。文辛熬方 法利用信息熵理论，对i p v 6 数据报文首都中驹备个字段比特位的熵进行统计比较， 选撵出嫡值较大( 即随机性较强) 的字段，将麓作为抽样算法掩码贩配的关键字 段，然后进行h a s h 映射，通过判断h a s h 映射后的值是否属于抽样域，柬完成i p v 6 隔终流藿的擒祥采集。它的优点是避免7 对数攒报文黄部内容的全糖榉，在保证 羹移檬零煞莲掇缝熬 l 蓼撬下，寿彀毽减多了遮藏霪，挺裹了攘群溺豢瓣效率，满 足了赢遮网络测量的要求。同时，它是基手对穆输中数据报文酋鄢内容不会被改 变字段的抽样，所以在网络中的各个测量节点上，只要配置同一抽样算法和同一 抽样域，对于相同流量数据在不同的节点测量可以得到相同的抽样样本，满足了 分布戏髓络测量的要求。 瓣、疆窭7 一秘基于撼梯戆 覆入式爨终攀窥瓣延溺量方法。 该方法采焉菲侵入式盼测量方式避免了圭动时延测羹中因为人为注入静探测 流量增加网络链路和路幽器额外负载的缺陷，提高了时延测量的藏确性，适用 于以掇供q o s 保证为主嚣目标的i p v 6 网络时娥测量中。哈希抽样技术既减少了高 速网络流量测量采集的数据爨，又可以让同个数据报文在两个不同的测试端点 鄂被攒撵裂，保证了测豢的霹嚣性。本文还钤瓣孵络萃囱对延测豢巾不同测试点 对舞瀚步运题，势鬻强究了蒸于g p s 接收税l l 冬硬箨嗣步窝基予线瞧麓麓麓软蒋同 步方法的实现，实验结果裘明线性规划方法可以消除时钟偏差和频黢，同步时钟。 关键词： 阕络测量，抽样技术，异常检测，单向时獭测量，分布式结构，流量预测 1 1 1 a b s t r a c t w i t ht h er a p i d d e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yo v e rt h ep a s ts e v e r a l y e a r s ，t h ei n t e m e th a sh a dap r o f o u n de f f e c to na l m o s te v e r ya s p e c to fo u rs o c i e t y p e r s o n a lu s e r sc a l lu s ei tt o g e ti n f o r m a t i o n ，s h o p p i n go n l i n ea n de n t e r t a i n m e n t s b u s i n e s su s e r sc a l lu s ei tt oa d v e r t i s et h e i rp r o d u c t st op u b l i ca n dr e a l i z ee - b u s i n e s s g o v e r n m e n tc a l lu s ei tt oi m p r o v et h e i rs e r v i c el e v e la n da d m i n i s t r a t i v ee f f i c i e n c y t h e d r a m a t i cg r o w t ho fi n t e r n e ti ns c a l ea n dd a t al i n kr a t ef o ri n c r e a s i n g l yd i v e r s ea n d d e m a n d i n gp u r p o s eb r i n g san e wc h a l l e n g ef o rn e t w o r km e a s u r e m e n t f o re x a m p l e ，t h e c o l l e c t i o no ft m f f i ed a t af r o mt e nt h o u s a n d so fn e t w o r kn o d e si se s s e n t i a lf o rt h a t n e t w o r ka d m i n i s t r a t o rm o n i t o r sn e t w o r kp e r f o r m a n c e ，b u td a t av o l u m e so f6 0b y t e p a c k e th e a d e r so na no c 4 8l i n kc a ne a s i l yg e n e r a t e6 0 0 g b y t e so fd a t ai na nh o u r a sa r e s u l t ，t h em a s s i v er e s o u r c e sh a v et ob eo c c u p i e do ns t o r i n g ，t r a n s m i t t i n ga n d p r o c e s s i n g ，s on e t w o r km e a s u r e m e n tb e c o m e si m p o s s i b l e t h e s ec h a l l e n g e sm o t i v a t e t h ei m p l e m e n to ft r a f f i cs a m p l i n gi nt h el a r g e s c a l ea n dh i g h s p e e dn e x t - g e n e r a t i o n n e t w o r k t h ea d v a n t a g e so ft r a f f i cs a m p l i n ga r et op r e v e n ta l le x h a u s t i o no fr e s o u r c e s a n dl i m i tt h em e a s u r e m e n tc o s t s b u t ，i ti sw e l lk n o w nt h a ts a m p l i n gd i s t o r t st h er e s u l t s o fn e t w o r ks e c u r i t ym e a s u r e m e n t , n e t w o r km a n a g e m e n ta n dp e r f o r m a n c ee v a l u a t i o n b e c a u s eo fi n c o m p l e t ed a t a s o ，i ti si m p o r t a n tt or e s e a r c hh o wt ou s et h es a m p l i n g t e c h n o l o g yi nn e t w o r kf o ra c c u r a t er e s u l t s t h er e s e a r c hw o r ki n t h i sd i s s e r t a t i o nc a r r i e sa d e e pr e s e a r c ho nt r a f f i cs a m p l i n gi n n e t w o r km e a s u r e m e n t t h em a j o rc o n t e n t sa r eo u t l i n e da sf o l l o w s i no r d e rt or e d u c et h ei m p a c to fs a m p l e dt r a f f i co na n o m a l yd e t e c t i o n ，an o v e l m e t h o do fv a r i a b l es a m p l i n gr a t e si nt r a f f i cs a m p l i n gi sp r o p o s e d b yu s i n gt h eh a s h p a t t e r nm a t c h i n ga l g o r i t h m ，w ec l a s s i r yi n c o m i n gp a c k e t sb yf l o wi da n dr e c o r dt h e i r p o s i t i o n s t h e n ，v a r i o u ss a m p l i n gr a t e sa r es e ta c c o r d i n gt ot h ed e c r e a s i n go r d e r f u n c t i o no ft h ef l o wt h ei n c o m i n gp a c k e tb e l o n g st o o u rm e t h o di n c r e a s e ss a m p l i n g r a t e so fs m a l lf l o w sa n dr e s o l v e st h ep r o b l e mt h a tag r e a tm a n yn e t w o r ka n o m a l i e sa r e d i s c a r d e db yt h er a n d o mp a c k e ts a m p l i n gb e c a u s ei th a sab i a st o w a r d sl a r g ef l o w s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea c c u r a c yo f a n o m a l yd e t e c t i o ni si m p r o v e d r e c e n tw o r kh a ss h o wt h a tn e t w o r kt r a f f i cm a ye x h i b i tp r o p e r t i e so fl o n g r a n g e d e p e n d e n c e ( l r d ) o rs e l f - s i m i l a r i t y i no r d e rt op r e v e n ti n a c c u r a t et r a f f i cs t a t i s t i c sd u e t oi n c o m p l e t es a m p l e dd a t a ，w ed e v e l o pan e ws a m p l i n gm e t h o dw h i c hb a s e do nt r a f f i c p r e d i c t i o nu s i n gt h ef a r m a ( f r a c t a la u t or e g r e s s i o ni n t e g r a t e dm o v i n ga v e r a g e ) i v 西安电子科技大学博士学位论文：网络测量中的抽样技术研究 m o d e l ah i g hs a m p l i n gr a t ei se m p l o y e dd u r i n gp e r i o d so fp e a kt r a f f i c ，a n dal o w s a m p l i n gr a t ef o rp e r i o d so fl o wt r a f f i c t h ea n a l y s i sr e s u l t ss h o wt h a to u r m e t h o dc a n g e n e r a t em o r ea c c u r a t e t r a f f i cm e a s u r e st h a n s y s t e m a t i cs a m p l i n ga n d r a n d o m s a m p l i n g ad i s t r i b u t e dm u l t i - p o i n tt r a f f i cs a m p l i n gm e t h o dt h a tp r o v i d e sa na c c u r a t ea n d e f f i c i e n ts o l u t i o nt om e a s u r ei p v 6t r a f f i ci sp r o p o s e d w eu s ee n t r o p y 够a l le v a l u a t i o n t o o lt oa n a l y z et h eb i tr a n d o m n e s so fe a c hb y t ei ni p v 6p a c k e th e a d e r s ，a n dc o n c l u d e t h a tt h el a s to n eb y t co f p a y l o a dl e n g t hf i e l da n db y t en u m b e r8 、1 2 、1 4 ，1 5 ，1 6o f t h e i p v 6s o u r c ea n dd e s t i n a t i o na d d r e s sf i e l d sw h i c hh a v eb o t hu n c h a n g e a b i l i t yd u r i n g f o r w a r d i n ga n dh i g hb i te n t r o p yv a l u e s w h e t h e rap a c k e ti ss a m p l e do rn o tb a s e do na h a s hf u n c t i o nc o m p u t e do v e rt h es e l e c t e db y t e s i to t t e r saw a yt oc o n s i s t e n t l ys e l e c tt h e s a m es u b s e to fp a c k e t sa te a c hm e a s u r e m e n tp o i n t ，w h i c hs a t i s f i e st h er e q u i r e m e n to f t h ed i s t r i b u t e dm u l t i p o i n tm e a s u r e m e n t t h ea d v a n t a g e so f t h em e t h o di st h a ti m p r o v e d r a n d o m n e s so f t h es a m p l ea n dt h em n t i m ee f f i c i e n c yo f t h es a m p l i n ga l g o r i t h m f i n a l l y , u s i n gr e a li p v 6t r a f f i ct r a c e s ，w ep r o v et h a tt h es a m p l e dt r a f f i cd a t an o to n l yh a v ea g o o du n i f o r m i t yt h a ts a t i s f i e st h er e q u i r e m e n to fs a m p l i n gr a n d o m n e s s ，b u ta l s oc a n c o r r e c t l yr e f l e c tt h ep a c k e ts i z e d i s t r i b u t i o no f f u l lp a c k e tt r a c e an o n i n t r u s i v ea n ds a m p l i n gm e a s u r e m e n to fo n e w a yd e l a yi sd e s c r i b e d t h e m a i na i mo f d e p l o y i n gi p v 6n e t w o r k si st op r o v i d eq o sg u a r a n t e e ds e r v i c e s ，b u ta c t i v e ( i n t r u s i v e ) m e a s u r e m e n t st h a tm u s ts e n dt e s tt r a f f i cb u r d e n i n gt h en e t w o r ki m p a c to n t h ea c c u r a t eo fo n e - w a yd e l a y n o n i n t r u s i v em e a s u r e m e n tm e t h o da v o i d st h e d i s a d v a n t a g e t r a f f i cs a m p l i n g b a s e do nh a s hf u n c t i o nr e d u c e st h ea m o u n to f m e a s u r e m e n td a t aa n dp r o v i d e saw a yt os a m p l et h es a m ep a c k e ti nt w od i f f e r e n tn o d e s m o r e o v e r , f o rr e s o l v i n gt h ec l o c ks y n c h r o n o u sp r o b l e mb e t w e e ns e n d e ra n dr e c e i v e r d u r i n go n e - w a yd e l a ym e a s u r e m e n t ，w es t u d yh o wt oi m p l e m e n tt h et w ok i n d so f s y n c h r o n o u sm e t h o d s o n ei sb a s e do ng p sr e c e i v e ra n dt h eo t h e ri sb a s e do nl i n e a r p r o g r a m m i n ga l g o r i t h m t h er e s u l t ss h o wt h a tt h es o f t w a r em e t h o dc a nr e m o v et h e s k e wa n do f f s e ti no n e w a yd e l a y k e y w o r d s ：n e t w o r km e a s u r e m e n t ，t r a f f i cs a m p l i n g ，a n o m a l yd e t e c t i o n ，o n e - w a y d e l a y ，d i s t r i b u t e dm e a s u r e m e n t , t r a f f i cp r e d i c t i o n 创新性声明 搴入声甥瑟呈交熬论文是我个久在导舞静稻静下送行斡研究工箨及掰敬褥的 研究成槊尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其它人已发表或撰写过的研究成果；也不包含为获得谣安电子科技大学 或其它教蠢橇构翡学袋残涯警瑟使溺蓬的砉孝辩。麓我一霹工终兹嗣恚所徽戆程籍 贡献均已在论文中做了硝确的说明并表示了谢意。 。 零人虢番叠 毯期：爱厣谚，菠 关于论文使用授权的说明 本人宠全了解西安电子科技火学有关保瞽釉使用学位论文的规定，帮；学校 有权保留邀交论文的复印件，允许凝阅和借阅论波；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的论文在 解密磊遵守茳毅定 零入签名：盗盔 导师艇名 基期：山若。，戈 日期：文归彦，茹 第一章绪论 第一章绪论 在下一代的大规模高速网络测量中，为了减少采集到的流量数据和降低对 网络资源的需求，抽样测量技术已经成为目前国内外的研究热点。本章首先从互 联网发展的特点出发，介绍了网络测量的意义，测量体系结构和基本的网络测量 方法以及国内外研究现状。然后介绍了网络测量中流量测量的重要性和高速网络 应用带来的问题，着重讨论了高速网络流量抽样技术研究情况和典型的抽样方法。 最后，给出了本文的主要研究内容，成果及章节安排。 1 1 1 互联网的发展特点 1 1 网络测量的意义 互联网( i n t e m e t ) 是由在一定的网络架构上互联的主机和这些主机所产生的 业务量以及负责主机之间相互通信的协议三部分组合而成的一个大型系统。它最 初是2 0 世纪6 0 年代末由美国国防部高级研究计划局首先建成的a r p a n e t 网络， 主要用于科研教育部门。近年来，随着上世纪8 0 年代t c p i p 技术的问世，把多 种不同的网络技术和管理域统一了起来；9 0 年代初w w w ( w o r l dw i d ew 曲) 技 术的发明，它使用了超文本标记语言( h t m l ) ，使在网页中包括超文本连接成为 了可能，因而使得普通用户可以通过浏览器自由地访问网络上的信息。这些技术 的应用推动了互联网的快速发展。 互联网的发展呈现出两个主要的特点： 一、互联网的规模不断扩大。中国互联网络信息中心( c n n i c ) 发布的最新 的中国互联网络发展状况统计报告显剥，截止到2 0 0 7 年1 月，我国的网络用户 总人数为1 3 7 0 0 万人，与去年同期相比，网络用户总人数一年增加了2 6 0 0 万人， 增长率为2 3 4 ，同1 9 9 7 年首次的调查结果6 2 万网络用户相比，现在的总用户数 已是十年前的2 2 8 3 倍。如图l 1 所示，从2 0 0 0 年至今的网络用户数不断增长。 另外，上网计算机数达到了5 9 4 0 万台，增长了2 0 0 1 中国域名总数为4 ，1 0 9 ，0 2 0 个，其中c n 下注册的域名达到1 ，8 0 3 ，3 9 3 个，与去年同期相比，增长了6 4 4 1 中国网站总数达到了8 4 3 ，0 0 0 个，网页总数达到4 4 7 亿个，网页字节总数为 1 2 2 ，3 0 6 g b ；网络国际出口带宽总量达到2 5 6 ，6 9 6 m b p s ，从这些数据可以看出互联 网规模呈现出一个快速增长的发展趋势； 2 西安电子科技人学博十学何论文：网络测草中的抽样技术研究 川m1 3 吵 9 a 1 0 7 9 j 0 一 5 9 1 0 3 3 7 0 ， 翠 2 唧1 22 0 0 l1 2加0 2 1 2 舢1 22 0 0 4 1 22 0 1 22 0 0 6 1 2 图1 1 历次调查网民总数 二、互联网进入了一个高速网络的时代。到目前为止，除了传统的浏览、聊 天、网络新闻、电子邮件等业务外，新的业务类型不断涌现，如远程教育、网上 银行、电子商务、网上视频服务、i p 电话、远程医疗、网络游戏等等，这些都对 网络带宽要求较高。中国互联网络发展状况统计报告中最值得瞩目的是，中国宽 带网络用户总数达到了1 0 4 亿，占目前1 3 7 亿网络用户总数的7 5 9 。视频、音 乐等依赖大容量传输的新业务的出现和宽带用户的高速增长，必然需要提高的互 联网的骨干网传输速度。目前，我国骨干网的网速达到了o c 4 8 ( 2 5 g b p s ) ，有 的经过了扩容以后，带宽容量已经升级到了o c l 9 2 ( 1 0 g b p s ) 。 大规模、高速的互联网网络出现，给其运营、维护和管理提出了更高的要求。 为此各国相继提出了下一代互联网的研究与开发计划，如美国的超宽带网络服务 ( v b n s ) 、下一代i n t e m e t ( n g i ) 和i n t e m e t 2 ，欧盟的g e a n t 、6 n e t 等等。 最新的报道指出i n t e m e t 2 研究开发的超高速i n t e m e t 2 网络即将推出，理论最高网 速可达1 0 0 g b p s ，是现有最高网速的1 0 倍，i n t e m e t 2 项目首席负责人道格范豪 韦林还表示在添加一些设备后，网络速度有望飚升至4 0 0 0 b p s 。我国自然科学基金 委重点支持建成了中国高速互联试验网络n s f c n e t ，实现了与i n t e r n e t 2 的连接。 下一代网络普遍采用i p v 6 协议，克服了i p v 4 地址短缺、服务质量不高、安全性差 和移动性差等问题，实现了即插即用。 1 1 , 2 网络测量的意义 大规模、高速的互联网成为了下一代网络发展的必然趋势，但是，因其异构 性、业务类型的多样性且变化的随机性对网络管理提出很高的要求，而且新的网 络传递技术、新的网络环境和新型网络应用的产生，使得利用网络测量方法来研 耿删姗咖舢锄舢舢。 第一章绪论 究互联网络的运行规律和为网络技术的改进提供可靠的理论依据，成为网络发展 的一项重要课题1 2 j 。网络测量的意义主要有以下四个方面： ( 1 ) 互联网协议中的网络测量能力的补充 由于在互联网协议设计的时候没有考虑到网络规模的扩大引起的测量需求， 所以对于网络测量的研究就成为了网络协议完整性的有力补充。 在互联网协议中，网络中数据报文从一个节点到另一个节点的传输过程对于 相互通信的终端是不可见的，它的特点是数据报文从一个主机到另一个主机是通 过标准化的接口，在各个不同的协议层上完成的。例如，对于发送端主机来说， 它可见的就是网络传输层为其提供了一个管道，网络数据报文通过该管道传送到 目的主机；然而，低层的协议负责这些数据的路由和在物理链路上的具体传输， 这些对于终端主机来说是看不到的。正是由于这种分层结构的特点，使得网络协 议中没有一种机制来完成在某个终端对网络内部性能的测量，主要原因是只有在 低的协议层上才能看见网络传输的情况。 另外，互联网早期发展的主要任务是实现计算机互联，用户在此基础上获得 诸如e - - m a i l 、f t p 、w w w 等传统数据业务，网络只是“尽力而为”地提供传输服 务，无q o s 保证，无售后服务保证，安全问题也是由用户自行解决。而电信网是 提供商业服务的，它所提供的电信服务是一种商品，因而既要保证q o s ，又要有 足够的安全性、可靠性，同时还要确保售后服务的能力，所以网络必须有很强的 可管理性和可维护性。用户的接入管理、网络的资源管理( 1 k 务系统和网络层资 源管理和控制的交互) 、网络的安全管理、对网络节点及业务节点的监测、对业务 进程的监视、完备的运行维护体系等等这些关系到运营、管理的技术难点都需要 网络测量的支持，因此，对网络测量的研究恰好弥补了这一缺陷。如通过测量建 立网络的服务模型( s e i v i c em o d e l s ) 管理网络【3 】，也可提供对s l a ( s e r v i c el e v e l a g r e e m e n t ，服务等级协议) 的管理【4 】。 ( 2 ) 网络性能监控的需要 网络测量为网络开通后提供性能检验、考核指标的手段，为网络工程提供验 收依据，为网络运营提供实时或阶段性性能监控工具；通过测量可进行网络诊断， 如发现网络瓶颈节点或链路，确定镜像服务器的位置，有效配置资源，为网络规 划、改造、及时解决性能问题提供参考和依据( 如，若检测到w e bs e r v e r 处于拥 塞状态，可以使用负载均衡策略来进行处理：发现网络瓶颈，通过扩容予以解决 等) ；通过网络流( f l o w ) 的测量可提供计费依据等等。实测的数据更具有真实性、 代表性，更能反映网络的真实状况。 i p 网络服务质量的提高依赖于应用层、传输层、网络层，甚至数据链路层、 物理层的共同努力，用户往往关心应用层面的q o s ，但各层的q o s 机制互相交错、 影响，相互作用，其策略、参数配置都必须以网络、用户、应用的实际特征( 属 4 婀交电子科技人学博十学位论文：网络测餐中的抽样技术研究 性) 、运行规律( 如业务量特征，用户行为模式，控制机制对流量的影响等) 为直 接依据，而这些数据主要靠测量获得。 网络测量技术还是传统网络管理系统必要的补充，如基于s n m p 的网络管理 系统可以通过轮询和接收异常t r a p 消息的方法似乎可以得到设备及其各个端1 3 运 行的状态，但对于详细的协议分析、基于应用的流量特征、端到端的性能检测及 其计费策略等都无能为力。这些都必须要通过网络测量采集数据，进行深入分析 来完成。 ( 3 ) 网络安全评估、入侵检测与防护的需要 网络安全是用户和i s p 、a s p ( a p p l i c a t i o ns e r v i c ep r o v i d e r ) 考虑的首要问题 之一，借助于端口扫描等手段对i p 网络进行脆弱性分析( v u l n e r a b i l i t y a n a l y s i s ) ， 能使网管人员及时查漏补缺，合理配置防火墙及网络参数，制定相应的安全策略， 在入侵还没有发生前尽量杜绝它。然而，没有绝对的安全堡垒( 极有可能从内部 攻破) ，检测网络是否被他方探测、识别探测者身份和探测意图( 即入侵检测， i n t r u s i o nd e t e c t i o n ) 【5 l 是网络安全领域的另一个重要问题，入侵检测实际上是网络 测量与反测量的斗争过程。判断网络是否被他方探测，需要做一系列长期细致的 工作，如：( 1 ) 检查系统当前的状态：检查当前的登录，查看可疑的行为( 奇异 的登录、奇怪的工具使用、奇怪的网络连接等) ；显示远程登录；检查系统配置文 件是否被人更改；用一些特殊命令扫描系统( 如f m d 等) 等。( 2 ) 检查系统日志， 特别注意登陆失败的消息。( 3 ) 检查工具软件，有些是侵入者放置。( 4 ) 询问合 法用户，看有无异常情况。网络入侵一般是由于：系统固有的安全漏洞；合法工 具的滥用( 如p a c k e ts n i f f e r ，p o r t s e a n 等) ；不正确的系统维护措施；低效的系统 设计和检测能力。对网络入侵的防范措施，可利用网络测量的各种手段进行：分 析用户、操作系统、路由器、数据库，判断有无入侵活动( 基于主机) ；对分组实 时监控，进行分组分析，捕获分组首部或内容，进行分析判断是否受到攻击( 基 于网络) 。而这些都建立在对网络长期观测所获得的正常行为、异常行为及其动态 变化模式的基础上。此外，为了定位攻击源，需要进行反向跟踪( i p t r a c e b a c k ) 。 所有这些都离不开网络测量的支持。 ( 4 ) 研究网络新技术的需要 网络测量为q o s 控制技术如资源预约协议( r s v p ) 的接入控制、拥塞控制技 术提供了定量选择参数的依据。实验测量和行为规律分析也可以对协议的设计提 供参考。以前t c p 拥塞控制技术所采用的参数往往是根据简单的推理或纯理论的 演算得到的，通过测量和行为指标的分析可以使选择的参数更适应实际网络的运 行规律。又如为实现q o s 而采取的流量整形机制，首先需要按五元组( 源、目m 地址，两端口地址，i p 协议) 对业务流进行分类，这就涉及到捕获分组头的问题。 新一代的网络设备，如路由器在硬件体系结构上仍然采用硬件转发模式和交 第一章绪论 换网络结构，在关键的1 p 转发和业务流程处理上采用了可编程的、专为l p 网络设 计的网络处理器技术，替代了原来的a s i c 技术，通过软件来控制处理流程。对于 一些复杂的标准的操作( 如路由表查找算法、q o s 的拥塞控制算法等) 则采用硬 件协处理器来提高处理性能。实现软件业务灵活性和高性能硬件转发的有机结合。 由于其有了业务灵活性，因此可以把近些年发展起来的m p l s 技术、v p n 技术、 q o s 技术、流量工程技术、可控组播技术、用户管理技术等诸多技术融合进来， 成为拥有灵活业务能力的高性能网络设备，基于网络测量掌握i p 网络及其业务特 征可以使这些新技术达到最佳的运用，使设备工作在最佳状态。 下一代互联网将采用i p v 6 协议，这样网络的业务量规律、性能行为模式将发 生新的变化，需要通过网络测量尽快掌握这些规律。 1 2 1 网络测量的体系结构 1 2 网络测量的方法 网络测量的体系结构从层次上说，是一个数据工程，如图1 2 ，从高层到低层 依次分为：数据表示、数据分析、数据管理、数据采集。 第四层：数据表示( 报表，曲线、可视化等) 第三层：数据分菥( 统计分析、数据挖掘等技术) 第二层：数据管理( 存贮、维护、检索等) 第一层：数据采集( 主动、被动) 图1 2 网络测量的体系结构 ( 1 ) 数据采集一一包括主动测量、被动测量。数据采集着重考虑以下几个问 题：一是数据采集时，尽量照顾到各种性能指标；二是提供一个向第二层统一的 访问接口；三是数据采集的频度在满足所测性能指标要求的前提下，尽量减轻网 络的消耗。 ( 2 ) 数据管理一一由于测量得到的数据非常庞大，需要合适的数据存贮、维 护、检索策略，为便于分析，需要将数据格式化。考虑到数据共享，一般运用数 据库技术，同时考虑到灵活性，也采用文件存贮方式。 6 两安电f 科技人学| 尊十学位论文：网络测晕中的抽样技术研究 ( 3 ) 数据分析一一数据分析需要研究如何定义每个行为指标，分析每个行为 指标包含的因素，如算法、误差来源、测量单位等，还要考虑测量环境、测量方 法、测量工具的影响。将所有这些影响因素量化描述，即对应一个指标。由基本 的性能指标能组合出新的指标，还可定义反映网络整体性能的综合指标。 在测量得到原始数据后，首先对某一指标的大量样本采用统计学的方法进行 分析，得出均值、方差等参数( 基本统计分析) ；其次，由一些数学模型( 如时间 序列预测、回归分析、判断预测、小波分析等) 做出性能趋势预测( 趋势预测) ； 进而，采用数据挖掘( d a t a m i n i n g ) 技术进行分析( 关联分析) ，得出网络本质的 行为规律。经过这些步骤，通过归纳、综合、分析、演绎对每一个指标给出合理 的定义、分析算法。 ( 4 ) 数据表示一一网络测量结果的数据表示即直观形象地表示出测量结果， 发挥艺术想象力，可借鉴网管软件采用的方法，也可征求网管人员和用户的意见。 采用图形用户界面g u i ，以直方图，二维、三维坐标曲线，扇形图，报表等形式。 可以看出，在体系结构中，数据采集问题是网络测量的基础，本论文所研究 的抽样技术就主要涉及的是在高速网络环境下的数据采集和数据管理等问题。接 下来简单讨论一下网络测量的方法。 1 2 2 网络测量的主要方法 ( 1 ) 主动测量和被动测量 按照测量方式可分为主动测量和被动测量。 主动测量 主动测量是将数据报文探针注入网络进行测量。因为主动测量探针可以放到 任意可以接入的节点上，所以它非常适合进行端到端的性能测量，如端到端的丢 包率可以通过观察在目的节点上的报文序号的间隙获得；而端到端的时延可以通 过对每一个探测报文在源节点和目的节点的时间戳确定。 常见的主动测量工具有p i n g 和t r a e e r o n t e ，它们可以不用通过网络内部路由器 来测量一个节点上的往返性能参数，它的缺点是目的节点主机必须能够回应i c m p 报文，但是我们知道在一些网络中，考虑到安全问题，通常网络管理员是禁止回 应i c m p 报文的。t r e n o 工具【6 k 通过建立一个符合t c p 行为特征的探测报文流来 确定“桶吞吐量( b u l kt h r o u g h p u t ) ”的大小。 主动测量的优点是易于控制，但是它的缺点是在测量过程中产生了新的网络 流量，增加了网络的潜在负载，附加的流量可能会干扰网络性能，影响分析结果。 例如，在测量网络的瓶颈链路带宽时，定期地向网络中发送大量的t c p 数据报文， 由此产生的附加流量可能会引起海森博格效应，即测量的网络吞吐量低于实际的 第一章绪论 7 瓶颈带宽。本文研究的i p v 6 网络端到端单向时延的测量中，由于i p v 6 中提供q o s 保证的服务，所以如果采用主动方法测i p v 6 网络的时延会引起很多问题，我们在 第五章进行了具体讨论。 被动测量 被动测量是在需要测试的网络节点上( 路由器或者主机终端) 设置数据采集 器，通过收集传入或者流经的网络业务量，进行分析，获得性能数据。被动测量 要求测得的数据报文的内容不会被改变且测量行为本身对于正常网络业务量的干 扰可以忽略。例如，一个路由器不能为了完成测量行为而耗尽其资源去采集数据， 从而削弱了它自身的路由和转发数据报文的功能。 与主动测量相比，被动测量的优点是不会给系统增加额外的网络流量负载， 同时也就避免了海森博格效应。它的缺点是在高速网络中会引起测量、分析和存 储等资源短缺的问题，如收集到的大量的业务量数据，它在传输到数据分析节点 和存储时会消耗大量的带宽和存储空间，因此如何减少测量得到的数据量的大小 成为高速网络中被动测量的重要问题。 ( 2 ) 单点测量和多点测量 从测量点的分布，测量方法还可分为单点测量和多点测量两种。目前，大部 分大型的网络测量项目都采用了分布式多点测量，如：n i m i 、r i p e 、n l a n r a m p 、 p m a 、s k i t t e r 、i e p m 等都是分布式多点测量项目。一些测量依赖于在网络的多个 点上进行监测，如要测量一个数据包从主机a 到主机b 所需的时间，则需要使用 准确同步的时钟记录数据包离开主机a 和到达主机b 的时间。对于大型网络上的 流量测量，可以考虑在多点监测流量，以收集到数据包通过该网络的详细信息。 单点测量在非合作的情形下能发挥巨大的作用，如美国朗讯科技公司b e l l 实验室 的单点测量项目血t 锄e tm a p p i n g 。 ( 3 ) 单程测试和环回测试 从测量的路径上看，网络测量还可以分为单程测试和环回测试两种。单程测 试是指探测报文在网络的源端进入网络，在目的端输出，根据输出参数来评价网 络性能。环回测试是指探测分组在网络一端进入网络，到达目的端后转发回源端 输出，根据输出参数来评估网络性能。环回测试的主要优势是测试配置简单，成 本低，但在某些情况下，进行单程测试更有意义： 口在i p 网络里，从源端到目的端的路径可能和目的端回到源端的路径不一 样( 不对称路径) ，有前向和反向的区别；路径所经过的路由也不一样，因此，环 回测试其实是将两个不同路径一起测试。每个路径单独测试突出了两