（计算机系统结构专业论文）基于流被动测量的时间测度的研究.pdf

摘要 摘要 基于流被动测量的时间测度的研究 张晓宇龚俭东南人学 随着网络技术飞速发展，网络规模日益扩大，网络复杂性不断提高，影响网络服务质量 的因素也逐步增多，这对网络管理提出了新的挑战。在网络管理中，往返时延、延迟抖动等 时间测度具有非常重要的指标作用，它是计算机网络的重要性能测度。网络测量作为了解网 络性能的基本手段，是进行有效的网络管理的基础。在被动测量日益普及的今天，基于被动 测量的时间测度研究，对于掌握网络服务质量的具体情况具有重要的意义。当前提出的基于 被动测量的时间测度研究是从报文的角度来进行，如何基于能够提供详尽的网络流量应用类型 信息的流来进行时间测度分析在当今网络流量激增的背景下具有重要的现实意义。 论文以时间测度的应用为研究背景，结合c e r n e t 华东北地区网络中心“网络行为观测 系统”的需求，对基于流被动测量的时间测度问题展开了研究。本文在基于报文被动测量的时 间测度研究基础之上，进一步扩展到“流级别”上来，考虑到t c p 流在时间上存在相关性，选 择了t c p 流进行时间测度的研究。通过分析t c p 的数据类型，把交互数据流和块状数据流 的传输过程进行建模，分别提出基于这两类流的往返时延估计方法。本文还研究了一些其它 的时间测度，并首次提出了网络总体时延的概念，用它米描述一个网络的服务质量。 论文首先介绍了时间测度研究的相关背景知识。在分析了现有时间测度研究的不足之处 之后，提出了本文主要研究目标：基于流的往返时延、延迟抖动等时间测度的被动测量方法 的设计，确定了通过对报文的传输过程建立相应的数学模型的方法来得到被动式测量方法的 研究思路。 其次，对论文研究的数据n e t f l o w 进行了介绍，并给出了抽样条件下部分数据的原 始信息估计公式。本部分着重介绍了n e t f l o w 相关内容，包括n e t f l o w 流记录的采集、n e t f l o w 流记录的格式以及各个字段的内容；针对现有n e t f i o w 抽样机制的影响，结合区间估计理论， 给出了流内原始字节数、报文数的计算公式。 再次，论文根据t c p 交互数据流和块状数据流的传输机制的不同，通过建立相应的模型 给出了往返时延的估计公式。对于交互数据流，结合n a g l e 算法给出了利用相邻报文对的时 间差来进行往返时延的估计算法，同时对于部分交互流，还提出了基于最小二乘的修正算法； 对于块状数据流，把传输过程分为无拥塞与拥塞两种情况分别进行时延估计。 接着，为了掌握网络服务质量的总体情况，论文提出了网络总体时延这个测度，并给出 了该测度的定义及其测量方法。同时，论文还结合网络管理的目标，基于n e t f l o w 数据，研 究了延迟抖动和流速。 然后，以实际网络流量为数据源，根据论文所提的方法进行了往返时延的估计，并对网 络总体时延、延迟抖动、流速进行了测量，分析了测度值在实际流量中的分布情况，总结了 相关结论。此外，通过实验对比了往返时延的估计方法的有效性，并对所建立的误差模型进 行了检验。 最后，总结了论文所做的工作，指出了不足之处，对未来进一步的研究进行了展望。 【关键词】网络管理，往返时延，被动测量，流，网络总体时延，n e t f l o w 摘要 a b s t r a c t t h et i m es c a l e sr e s e a r c hb a s e do np a s s i v em e a s u r e m e n to ff l o w z h a n gx i a o y u ，g o n gj i a n s o u t h e a s tu n i v e r s i t y w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g y , r a p i dg r o w t ho ft h es c a l eo fi n t e r n e t ， i n c r e a s eo ft h ec o m p l e x i t yo fn e t w o r k ，t h ef a c t o r sa f f e c t i n gt h eq u a l i t yo ft h es e r v i c e ( q o s ) o ft h e n e t w o r ki n c r e a s ea c c o r d i n g l y , s oi t sac h a l l e n g et ot h en e t w o r km a n a g e m e n t i nt h ef i e l do f n e t w o r km a n a g e m e n t ，r o u n d - t r i pt i m e ( r t t ) ，d e l a yj i t t e ra n ds oo ni sv e r yi m p o r t a n t ，a st h e i m p o r t a n tp e r f o r m a n c em e t r i c so fc o m p u t e rn e t w o r k n e t w o r km e a s u r e m e n ta st h eb a s ew a yt o u n d e r s t a n dt h en e t w o r kp e r f o r m a n c e ，i t sa l s ot h eb a s ew a yt on e t w o r km e a s u r e m e n te f f e c t i v e l y w i t ht h ep o p u l a r i t yo fp a s s i v em e a s u r e m e n t ，t h et i m es c a l e sr e s e a r c hb a s e do nw h i c hh a sag o o d m e a n i n g s a tp r e s e n t ，t h ep a s s i v em e a s u r e m e n tw h i c ht i m es c a l e sr e s e a r c hb a s e do np a y sa t t e n t i o n t ot h ep a c k e t s ，n o tt h e “f l o w ，w h i c hc a na f f o r dm o r ei n f o r m a t i o n ，b u ti t sg r a d u a l l yb e c o m i n ga n i m p o r t a n tr e s e a r c hf i e l da st h er a p i dg r o w t ho fn e t w o r kt r a f f i c t a k i n gt h ea p p l i c a t i o no ft i m es c a l e sa sr e s e a r c hb a c k g r o u n d ，a n dw i t ht h ep r a c t i c a ln e e do f n e t w o r kb e h a v i o ro b s e r v a t i o ns y s t e m ”( c e r n e tn o r t h e a s t e r nr e g i o n ) ，t h i sp a p e rc a r r i e so u t r e s e a r c ho nt h et i m es c a l e sr e s e a r c hb a s e do np a s s i v em e a s u r e m e n to ff l o w a c c o r d i n gt ot h et i m e s c a l e sr e s e a r c hb a s e do np a s s i v em e a s u r e m e n to fp a c k e t ，t h i sp a p e re x p a n d si tt ot h ef l o wa n d c h o o s e st h ef l o wo ft c p ( t r a n s f e rc o n t r o lp r o t o c 0 1 ) t od ot h et i m es c a l e sr e s e a r c h ，a st h et i m eh a s r e l a t i v i t yo ft h ef l o wo ft c eb ya n a l y z i n gt h ed a t at y p eo ft c p , m o d e l i n gt h et r a n s m i t t i n g p r o c e d u r eo fi n t e r a c t i v ed a t aa n db l o c kd a t a , t h ed i f f e r e n tm e t h o d so fe s t i m a t i n gd e l a yb a s e do nt h e t w ot y p ed a t aa r eg i v e n i nt h i sp a p e r s o m eo t h e rt i m es c a l e sa r ea l s og i v e n ，i n c l u d i n gt h et o t a l d e l a yo fan e t w o r k ，w h i c hc a nd e s c r i b et h eq u a l i t yo fs e r v i c ef o rt h en e t w o r k f i r s t l y , t h ep a p e ri n t r o d u c e sr e l a t e db a c k g r o u n do f t i m es c a l e sr e s e a r c h a f t e ra n a l y z i n gt h e f a l ls h o r to ft h ee x i s t i n gr e s u l t so nt i m es c a l e s ，i tr a i s e sr e s e a r c ho b j e c t i v e so fd e s i g n i n gt h ep a s s i v e m e a s u r e m e n tm e t h o db a s e do nf l o wf o rt i m es c a l e s ，s u c ha sr t t , d e l a yj i t t e ra n ds oo n t h i sp a p e r f i x e st h er e s e a r c hw a yo fg e t t i n gt h em e t h o db yb u i l d i n gt h em o d e lt h ep a c k e t st r a n s m i t t i n g p r o c e d u r e s e c o n d l y , t h ep a p e ri n t r o d u c e sn e t f i o w , a n dr a i s e st h ef o r m u l a so fe s t i m a t i n gt h eo r i g i n a l i n f o r m a t i o no fs o m es a m p l e dm e t r i c s t h i sp a r tm o s t l yi n t r o d u c e ss o m ek n o w l e d g eo fn e t f l o w , i n c l u d i n gc o l l e c t i n gt h er e c o r d so ff l o wi nn e t f i o w , t h ef o r m a ta n dt h ec o n t e n to fr e c o r d so ff l o wi n n e t f l o w i ta l s og i v e st h ef o r m u l a so fc o m p u t i n gt h eo r i g i n a li n f o r m a t i o no ft h en u m b e ro fb y t e s a n dp a c k e t si ns a m p l e df l o wc o m b i n e dw i t hi n t e r v a le s t i m a t e so fs t a t i s t i c a lp r o c e s s t h i r d l y , t h ef o r m u l a so fe s t i m a t i n gt h er t ta r eg i v e na f t e ra n a l y z i n gt h ed i f f e r e n tt r a n s m i t t i n g p r o c e d u r eo fi n t e r a c t i v ed a t aa n db l o c kd a t ai nt c ef o rt h ef l o wo fi n t e r a c t i d a t a , t h i sp a p 口 r a i s e st h ea l g o r i t h mb yc o u n t i n gt i m ei n t e r v a lo ft w oa d j a c e n tp a c k e t sb a s e do nt h ea l g o r i t h mo f n a g l e ，a n dt h ea m e n d m e n tt ot h ea l g o r i t h mb a s e do nt h el e a s t - s q u a r e sm e t h o di su s e df o rp a r tf l o w a n df o r t h ef l o w o fb l o c kd a t a , i tc o m p u t e st h er t ti nn o n - c o n g e s t i o no rc o n g e s t i o nc o n d i t i o n f o u r t h l y , i no r d e rt ou n d e r s t a n dt h et o t a ls t a t u so fq o s ，t h i sp a p e rr a i s e st h em e t r i cc a l l e dt h e t o t a ld e l a yo fan e t w o r k ，a l s og i v e st h ed e f i n i t i o na n dm e a s u r e m e n tm e t h o d t h e n ，c o m b i n e dw i t h t h ea i mo fn e t w o r km a n a g e m e n t ，i tr e s e a r c h e st h ed e l a yj i t t e ra n dv e l o c i t yo ff l o wi nt h ed a t ao f f l o w i i 摘要 s u b s e q u e n t l y , w i t ht h e t r a c e sf r o ma c t u a ln e t w o r kt r a f f i ca se x p e r i m e n td a t a , t h i sp a p e r c o m p u t e st h er 丌，m e a s u r e st h em e t r i cl i k et h et o t a ld e l a yo fan e t w o r k d e l a yj i t t e ra n dv e l o c i t yo f f l o w , a n a l y s e st h ed i s t r i b u t i o n o fs o m er e s u l t s ，a n df i n a l l y g i v e ss e v e r a lc h a r a c t e r s o t h e r e x p e r i m e n t sc o m p a r et h ee f f e c t i v e n e s so ft h em e t h o da n dv a l i d a t et h ee r r o re s t i m a t i o nm o d e l f i n a l l y , t h ep a p e rs u m m a r i z e st h er e s e a r c hw o r k ，g i v e st h ed e f i c i e n c yo ft h ew o r k ，a n di n d i c a t e s t h ef u r t h e rr e s e a r c h k e yw o r d n e t w o r km a n a g e m e n t , r o u n d t r i pt i m e ，p a s s i v em e a s u r e m e n t ，f l o w , t h et o t a l d e l a yo fan e t w o r k ，n e t f l o w i i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 埤吼碑必 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学 位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。 本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外， 允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文 的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：薅龅丛聿导师签名：垄型日期：zc 矽7 ：勾、 叫 。 第一章绪论 1 1 引言 第一章绪论 随着计算机网络技术的迅猛发展，i n t e r n e t 网成为全球最大的信息资源系统，网络正 以迅猛的速度进入社会的各个角落并已成为2 1 世纪经济发展的重要推动力。如今，计算机 已经深入寻常百姓家中，中国互联网络信息中心( c n n i c ) 在2 0 0 8 年7 月2 4 日发布了第2 2 次中国互联网络发展状况统计报告，报告显示，截至0 8 年6 月底，我国网民数量达到了2 5 3 亿，首次大幅度超过美国，跃居世界第一位 1 。同时，用户对于互联网深层次应用的需求 和接受程度人幅度提高，这就要求计算机网络应具有很高的可靠性和服务质量，对网络管理 也提出了更高的要求。 网络管理是一项战略性的t 作，从网络规划阶段就必须着手进行，以便尽早确定未来 网络管理的框架，而网络环境和用户需求的不断变化对网络管理也会不断提出新的要求， 网络设备供应厂商亦耍不断改善自己设备的可管理性。在网络管理中，记录网络流量内容， 了解网络用户行为既是网络管理的重要内容，也是进行各种决策的必要条件和重要步骤。 简单网络管理协议( s n m p ) 是目前t c p i p 网络中应用最为广泛的网络管理协议 2 。传统上的网络管理者通常是通过s n d p 协议的1 二具从支持s n m p 的网络设施搜集网络流量 数据，由于s n m p 采集的数据是基于端口的，无法提供端到端的准确的流量信息 3 ，如应用 类型或单位、a s 等高层信息。在这种背景下，一种基于“流级别”，能够提供详尽的网络流量应 用类型信息的网络流量监测技术应运而生，如n e t f l o w 4 、s f l o w 5 ，网管人员通过其可以快 速有效地掌握所管辖网络的状态。n e t f l o w 技术是由c i s e o 公司的d a r r e nk e r r 和b a r r y b r u i n s 在1 9 9 6 年开发的，目前已内建在大部分的c i s c o 路由器上，j u n i p e r 、e x - t r e m e 等 网络设备供货商也支持n e t f l o w 技术，它已逐渐成为事实的标准 6 3 。 在网络管理中，往返时延、时延抖动等时间测度具有非常重要的指标作用，它是计算 机网络的重要性能测度，对提供q o s 保证、网络规划、差错和拥塞检测、网络性能测试也有 非常重要的作用。测量网络时延可以采用主动测量 7 8 和被动测量 9 3 这两种方式。持续 性的时延主动测量对网络流餐的干扰较大，因此它主要用于网络性能诊断和故障检测，不 适用于经常性的网络性能监测。传统的时延被动测量需要专门的测量系统，实现对特定报 文及其测量时间的采集，实现成本较高，不能普及使用。因此，如何基丁二“流”进行往返 时延的被动测量具有重要意义。 本论文以c e r n e t 华东北地区网主干流量n e t f l o w 的记录为研究数据，根据其中的特定流 记录，结合被动测量的理论和相关的模型，给出了往返时延、时延抖动等时间测度的估计 方法，并首次提出了网络总体时延的概念及其测量方法，为网络管理中的时间测度的测量 提供了新的思路，做出了新的探索。 1 2 论文研究背景 1 2 1 网络管理 通常来说，网络管理是以提高整个网络系统的工作效率、管理水平和维护水平为目标， 对一个网络系统的活动及资源进行监测、分析、控制和规划 1 0 3 。网络管理系统一般指用 于改善网络性能、实现网络管理的一组软件。一台设备所支持的管理程度反映了该设备的 可管理性及可操作性。 随着技术的不断进步，出现了许多使用不同实现方案和结构的网络管理系统，流行的 有四种方式 1 0 3 ： 集中式 分布式 分层结构式 基于w e b 技术 这些系统的不同点主要在于它们所设置的管理者的数量、相互交互深度以及各自的独立程 东南大学硕上学位论文 度。 s n m p 是目前最常用的网络管理协议，是一系列协议组和规范，它们提供了一种从网络 上的设备中收集网络管理信息的方法。s n m p 也为设备向网络管理工作站报告问题和错误提 供了一种方法。 根据国际标准化组织定义网络管理有五大功能：故障管理、配置管理、性能管理、安 全管理、计费管理 1 1 。 故障管理 计算机网络服务发生意外中断是常见的，这种意外中断在某些重要的时候可能会对社 会或生产带来很大的影响。但是，与单计算机系统不同的是，在大型计算机网络中，当发 生失效故障时，往往不能轻易、具体地确定故障所在的准确位置，而需要相关技术上的支 持。因此，需要有一个故障管理系统，科学地管理网络发生的所有故障，并记录每个故障 的产生及相关信息，最后确定并改正那些故障，保证网络能提供连续可靠的服务。 配置管理 一个实现中使用的计算机网络是由多个厂家提供的产品、设备相互连接而成的，因此 各设备需要相互了解和适应与其发生关系的其它设备的参数、状态等信息，否则就不能有 效甚至正常工作。尤其是网络系统常常是动态变化的，如网络系统本身要随着用户的增减、 设备的维修或更新米调整网络的配置。因此需要有足够的技术手段支持这种调整或改变， 使网络能更有效地下作。 性能管理 性能管理是优化服务质量的需要。它定义了网络的动态评估方法，以便于检验网络所 保持的服务水平，确定实际的和潜在的网络性能瓶颈。根据网络的各项运行指标的趋势， 为制定和规划管理决策产生报告。性能管理还包括了为操作控制建立和维护性能数据库和 自动操作程序，随机或定时收集由统计数据产生的性能日志。 计费管理 当计算机网络系统中的信息资源是有偿使用的情况下，需要能够记录和统计哪些用户 利用哪条通信线路传输了多少信息，以及做的是什么t 作等。在非商业化的网络上，仍然 需要统计各条线路工作的繁闲情况和不同资源的利用情况，以供决策参考。 安全管理 安全管理用于保证降低运行网络及其网络管理系统的风险。它是一些功能组合，通过 分析网络安全漏洞将网络危险最小化。主要包括维护防火墙和安全日志、安全指示器的监 测、分区隔离、口令管理和提供各种级别的警告或报警。 1 2 2 网络测量 网络测量就是遵照一定的方法和技术，利用软件和硬件工具来测试或验证表征网络性 能的指标的一系列活动的总和。网络测量包含以下三个要素 1 2 ：测量对象，也就是被 测量的节点和链路，以及待测量节点、链路或网络的某种或某些特性；测量环境，包括 测量点的选取，测量时间的确定，测量设备、通信链路的类型等；测量方法，也就是针 对某一具体的网络行为指标，选取合适的测量方法。测量方法应该满足三个方面的要求 1 2 ：稳健性，即被测网络的轻微变化不会使测量方法失效；可重复性，即同样的网 络条件下，多次测量结果应该一致；准确性，即测量结果应该能够反映网络的真实情况。 网络测量的分类标准有多种 1 3 。比如，根据测量方式，可以分为主动测鼍和被动测 量；根据测量基准，可以分为基于流、基于网络接口、基于连接、基于节点对和基于路径 的网络测量：根据测最点的多少，可分为单点和多点测量；根据被测量者是否知情，可分 为协作式测量与非协作式测量。 本文主要关注的是主动测量和被动测量。主动测量通过在选定的测量点上利用测鼍工 具有目的地主动产生测量流鼍，注入网络，并根据测量数据流的传送情况来分析网络的性 能。主动测避的优点是使用方便，对测量过程的可控性比较高，适合端剑端的网络性能测 量，对于需要关心的内容只要在本地发送测试包观察网络的响应即可。由于该方法不涉及 用户的网络信息，所以对用户而言是很安全的。主动测量的缺点在于额外的流量会产生会 干扰网络，改变网络的运行状况，使得测量的结果产生一定的偏差；此外，增加的流量还 可能引起网络拥塞等问题。 2 第一章绪论 被动测量不主动发送数据包，而是通过在网络中的一个或多个测量点上借助包捕获器 捕获数据的方式记录网络流量，并对流量进行分析，被动地获知网络行为状况。最具代表 性的例子就是c i s c o 的硬件流测量系统n e t f l o w 。被动测量的优点在于它不产生多余流量， 不会增加网络负担，测量的是网络上的真实流量。缺点主要有以bj l 点：首先是安全性的 问题，由r 要杏看网络中的数据包，这就存在一定的安全隐患。其次是获取信息的局限性， 由于被动测量只是在测量点获取局部信息，这样对于整个网络的宏观运行状况就无法来进 行分析。此外是当进行实时采集的数据鼍过大时，对采集设备的性能要求也会很高。最后 一个问题是需要协作，否则无法在测量点安装软、硬件进行数据的采集。 在对网络进行测量的时候，主动测量与被动测量各有其优、缺点，是采用主动测量还 是采用被动测量，这一直是人们关注的问题。在网络发展的早期，网络流量内容和行为特 性单一，无法为被动测量提供足够丰富的信息，因此主动测鼍更为合适。然而，对于大规 模高速网络来说，被动测量已成为最常用的方法。当前，性能测量趋向于采用主动与被动 测量相结合的方法，如利用主动测量确定网络的整体性能，而当网络发生异常时，则采片j 被动测量方法确定问题所在的位置，进行故障定位。 1 2 3i p 流 网络测量的基本单元是报文。通过报文的各种传输特征，可以获知网络的传输特性。 然而，网络中传输的报文类型众多，不同类型的报文可以有不同的传输特性，如果将各类 报文混合在一起进行测量，不同类报文的传输特征可能会被掩盖。因此，网络测量中对报 文进行分类是十分必要的。 i p 流的概念是针对报文分类提出的。所谓i p 流，是指符合特定的流规范 ( s p e c i f i c a t i o n ) 和超时( t i m e o u t ) 约束的一系列数据报文的集合 1 4 1 5 c 1 6 ，简称 流。其中，流规范是指流中报文必须具有的相同属性，一般被称为“n 元组”，常用的有： 五元组( 源宿i p 地址、源宿端口号、传输层协议号) 、三元组( 源宿i p 地址、传输层协议 号) 。此外，还有c i s c o 公司在n e t f l o w 中采用的七元组规范 1 7 ：源宿i p 地址、源宿端 口号、协议类型、服务类型( t o s ) 和网络设备的输入逻辑接口号。超时约束则是指将超过 一定时间不活动的流定义为已结束，从而使测量系统的资源可以更充分的用于新的i p 流。 超时约束的标准针对不同的规范主要有以下两种： ( 1 ) kc c l a f f y 等人提出的6 4 秒超时机制 1 5 ，或遇到t c p 的f i n 、r s t 数据包( 仅 对t c p 数据流) 。 ( 2 ) n e t f l o w 的流结束机制，包含四条规则 1 7 ： 1 5 秒超时； 3 0 分钟内流尚未结束； t c p 流出现f i n 或r s t 报文： 流记录缓存空间满。 i p 流测量是网络管理和网络流量t 程技术研究和发展的重要依托。当今互联网将朝着 “更大”，“更快”的趋势发展，势必对网络测鼍产生了严重影响 1 8 。“更大”是指互 联网络将采用i p v 6 为基本网络层协议，网络用户的增加和网络服务的多样化：“更快”是 指互联网主干带宽达到o c 4 8 ( 2 5 g b i t ) 甚至o c l 9 2 ( 1 0 g b i t ) ，互联网用户的端到端带宽将达 到l o o m b p s 以上。为了解决“更大、更快”网络i p 流测量，c i s c o 路由器提供n e t f l o w 测量 i p 流，并建议网络速度超过o c 一3 时使用抽样测量技术：即在路由器内存中维护抽样报文的 流记录。 n e t f l o w 是c i s c os y s t e m 公司首创的流量统计技术，其标准的开放性被业界厂商广泛支 持，简单的抽样机制以及基于硬件的实现使得其更适合高速网络环境流信息的实时获取。 目前n e t f l o w 流记录格式已经成为互联网最主要的i p 流量统计、分析和计费行业标准。 此外，在流测量中，s f l o w 技术也非常重要，它是一种向采集器发送报告的推送技术， 所不同的是，n e t f l o w 是一种基于软件的技术，而s f l o w 贝o 内置在硬件的专用芯片中。s f l o w 采用纯数据包采样技术，即每一个被采样的数据包的k 度被记录下来，而人部分包被丢弃， 只留下样本被传送给采集器。s f l o w 可以输出采样数据包的任何数量的字节，这个数量取决 于具体实现的硬件限制，但对网络传输流的描述不如n e t f l o w 精确。 3 东南大学硕十学位论文 在实际软件实现中，i p 流所包含的字段定义及数量将会随着厂商甚至协议版本的不同 而出现变化( 如包含a s 信息、n e x t h o p 等) ，业界冈此也相应地出现了各种不同的实现版本。 而在这些不同的i p 流版本中，n e t f l o w 获得了最大范罔的认同。 本论文是以n e t f l o w 流记录作为流量数据进行时间测度的研究工作的。 1 2 4 往返时延 往返时延( r o u n dt r i pt i m e ) ，它表示从发送端发送数据开始，到发送端接收到 来自接收端的确认，总共经历的时延，包括传输、排队、处理和在路由器或终端主机上 的其他时延。 往返时延的测量可以采用主动测量或被动测量的方法。主动测量往返时延更易于实现， 它不需要依赖外部设备去同步两台监视器的时间，具体来说，可以采取以下三种方式 1 9 ： 基于i c m p 协议的测量 通过类j 以p i n g 的程序，每隔一定时间段进行一次。该程序对每台被测主机发送i c m p 响 应包，然后等待i c m p 的回应包，记录每个站点的测量延迟。 基于u d p 的测量 这种测量方式需要目的主机主动配合，与i c m p 类似，测量源主机发送u d p 报文到目的主 机，目的主机接收到报文后立刻返回一个u d p 报文。 基于t c p 的测量 利用t c p 三次握手机制，发送方发送一个s y n 报文，同时启动计时器，直到收到对方发 送过来的s y n + a c k 报文定时器停止，这样一个过程的总时间，便是往返时延。 主动测量需要主动发送测量报文，当使用测量用的数据包来充当实际的用户流时，增 加的测量数据流量会影响网络的性能，从而影响用户对网络的使用；另一方面，通过测量 包获得的网络性能指标并不能等同于没有测量数据流影响下的网络实际性能。 从网络管理者的角度来说，一般采用被动测量方式，这种测量方式不会对网络的正常 运行产生影响。被动测量通过两点监控或者单点监控米完成。两点监控测晕方法要求所有 的设备必须时间同步，而单点监控按照测量点类型不同可以分为在发送端测量、在接收端 测量和在网络中间点测量。网络管理者通常无法直接在收、发端进行测量，且在中间节点 测量能反映网络全局状态，因此往返时延的测量重点是在网络中间节点进行被动测量。 目前，r t t 的被动测量方法主要有以下三种 2 0 ： 1 )s 卅 c k 方法 2 0 2 1 如图1 1 所示t c p 开始建立连接时一个s y n 包导致一个s y n a c k 包的响应。这样s y n 和s y n _ a c k 包就是一对，而他们的时间差通常就是一个r 1 v r 。 客户机测量枫 搬务器 图1 1s y h c k 方法 这个方法常用于发送端或接收端r r t 测量，对于中间点为测量点的情况，则需要找到配 对的s y n 和a c k 报文，能准确测量t c p 流开始时的静态r r t 。这种方法的局限性是只能得至o t c p 连接开始时的静态值，而实际网络中r t t 是动态改变的，这样获得的r t t 值不能有效反应实 际网络状况。 4 第章绪论 2 ) 分组簇( f l i 曲t ) 方法 定义一个分组簇为一串连续的有相近的i a t ( i d e n t i c a li n t e r a r r iv a lt i m e s ) 的报文 跟随着一个较大i a t 。一个t c p 流可以按这个方法分成由个簇接着一个簇组成的。这种结 构产生的原因是t c p 基_ 丁窗口的拥塞控制机制。图12 中1 ，2 、3 号报文为个簇，4 ，5 、6 、 7 号报文为一个簇，这两个簇的起始边缘的时间差就是一个m 。 + _ _ _ 一 日曰日 卜_ t 甬斤叫 图12 分组簇方法 这种方法的局限性是它是以理想情况r 拥塞控制机制导致t c p 连接分组簇传输为基础 的，虽然实际阿络数据有类似的组簇，但是通过对数据的仔细分析，发现分组簇的形成原 因是由于发送端限制发送速率造成的，与t c p 连接的拥塞宙口机制无关。此外对于个报 文是否属于某一特定的簇，需要通过设定i a t 的阀值来确定，虽然在文献 2 2 提出了p i e 算 去，根据3 占准则设定判决门限，但实际网络中该值的确定异常剧难。因此，这种分组簇的 测量方法在测量实际网络数据得出的研就不可靠，缺乏实用性。 3 ) 速率变化计算方j 击 这种方法考虑t c p 流的动态变化。设x 为从t o 到t 传辅的比特数，那么瞬时速率即为= 甜 设在t 时i 4 的t c p 拥塞窗口值w 。文献 2 朝中证明了命题： 拥塞避免阶段中一个时间段 t o ，t 中，如果 t o ，t 中没有壬包，且 t o ，t 中m 没有变化，那么 异7 丁= 其中g t u ( m a x i m u mt r a n s m i s s i o nu n i t ) 为最大传输单元。 这种方法的局限性有两点。一是为了确保流进人了拥塞避免模式需要设置了一个门 限值( 通常为1 5 个包) 。不能估计慢启动阶段的r 1 t 。二是实际阿络数据没有那么明显的速 率变化，即此方法无法应用于实际a i 量r 丌。 此外，还有报文配对算法 2 4 ，结合s y 卜 c k 方法和报文配对的r a d 算法 2 0 ，基于t c p 慢启动的算法 2 1 ，基于白同步( s e l f c l o c k i n g ) 的算法 2 5 ，基于t c p 拥塞窗口的算法 2 6 。 以上方法都是基于报文进行往返时延的估计，需要记录每个报文的类型、标志位、到 选时间等详细信息。由于在流记录中只保存了首尾报文的剑达时间以及流内报文的总数目、 总字节数等统计信息，这样使得以上方法被动测景方法无法直接在流级别上进行运用。 本文将结合目前j 泛使用的n e t f l o w 技术采集的t c p 流记录研究流级别的往返时延被 动测埴方法。从网络管理者的角度米看，通过对阿络中多个连接的往返时延进行分析，可 以选到了解网络状况和用户行为模式的目的，为凋】1 4 网络配置、优化网络结构等提供有利 数据。 东南大学硕上学位论文 1 3 论文研究意义 基于流的被动测量已成为观察和理解主干网流量行为的重要手段。由于n e t f l o w 技术 的广泛应用，对于给定的n e t f l o w 数据，利用其中的信息来进行时间测度的相关研究具有 重要的现实意义。通过分析日常n e t f l o w 采集到的统计数据，可以事先掌握网络的流量分 布状况以及全网通信的正常基线，并以此为依据为日后可能出现的通信异常进行评估和管 理。 本文首次基于n e t f l o w 中特定的流记录来进行往返时延、延迟抖动等时间测度的估计， 提出了基于流的往返时延被动测量方法。在n e t f i o w 技术已经被广泛廊用的现代网络，该 方法的提出，可以根据现有的路由器提供的n e t f i o w 数据来测量网络延迟，对于网络管理 有着重要的意义，同时，也为测量延迟提供了一种新思路，新方法。 1 4 论文研究目标和主要研究内容 1 4 1 论文研究目标 本文的主要目标是研究基于流的往返时延、延迟抖动等时间测度的被动测量方法。主 要需要解决以下三个问题：一是如何选择合适的流进行时延的估计；二是如何建立合理的 时延估计模型；三是验证所提方法和模犁的合理性与正确性。此外，本文还需要结合网络 管理的目标，提出一组面向实际应用背景的测度，为c e r n e t 华东北地区网络中心开发的 “网络行为观测系统”( n b o s ) 【2 7 相关功能的扩展做好基础性工作。 1 4 2 论文主要研究内容 根据1 4 1 所描述的论文研究目标，在单点被动测量的背景下，本论文将主要研究以 下内容： 1 )基于流被动测量的往返时延、延迟抖动的估计 由于所给条件的变化，首先需要重新定义出往返时延、延迟抖动，再根据报文经过中 间观测点的时刻以及相关的量表示出米，同时在一定的假设之上建立相应的数学模型，最 后得到基于流级别的往返时延、延迟抖动的被动式测量方法。 2 )与时间相关的测度统计模型的建立 除了往返时延、延迟抖动测度外，本文将结合网络管理的目标，提出一些其它的测度。 如为了刻画一个网络服务质量的总体情况，从往返时延的角度提出了网络总体时延这一测 度。为了描述当前网络流量状况，采用了流速这个测度。此外，还需提出网络总体时延、 流速这两个测度的测量方法。测度模型的建立必须具有一定的统计意义。 3 )基于n e t f l o w 流记录的时间测度的计算方法的研究 由于n e t f l o w 在纽流时对报文进行了抽样，且在流记录中仅仅记下了首尾报文的到达 时间( 这里指流记录中与时间相关的测度) ，因此，对于往返时延、延迟抖动等时间测度 估计，需要改进甚至重新设计算法，这将是本文的重点。此外，对于其它测度的计算，由 于n e t f l o w 抽样机制的存在，也需要根据抽样理论的相关知识进行相应的处理，才能得到 可靠的值。 4 )测量方法的误差模型及其验证 为了验证基于n e t f l o w 流记录计算出的测度值的准确性，可以通过建立相应的误差模 型，即给出刻画测量误差的数学模型，建立的误差模型中包括各种参数。此外，还可以通 过分析误差的累积分布曲线，验证方法的实用性。 1 5 论文组织结构 本论文分七个章节来介绍基于流被动测量的时间测度的研究。全文安排如f ： 第一章是绪论部分，介绍了网络管理、网络测量的相关背景，明确了本论文的研究目 标和研究内容等。 第二二章是n e t f l o w 流记录与原始数据估计，描述基于n e t f l o w 的流记录采集方法，给 6 第一章绪论 出了抽样条件下原始流长的估计方法。 第三章是基丁t c p 交互数据流的时间测度研究，根据t c p 交互数据流的传输特点，提 出了针对交互流的往返时延估计方法。 第四章是基丁二t c p 块状数据流的时间测度研究，分析了t c 块状数据流的特点，给出了 基于t c p 块状流的往返时延估计方法。 第无章是基于n e t f l o w 其它时间测度的研究，提出了基于n e t f l o w 流记录的网络总体 时延、时延抖动、流速的估计方法。 第