（通信与信息系统专业论文）ip网络端到端带宽测量及性能研究.pdf

摘要 摘要 i p 网络规模和用户数目的不断扩大，业务种类日趋多样化，加之对服务质 量、网络与信息安全的要求越来越高，给其运营、维护和管理提出更高的要求。 同时，掌握i p 网络的运行规律，对网络设备和协议的研究开发具有非常重要的意 义，促使了网络测量的研究。 本文主要围绕i p 网络测量的有关内容展开研究，力图构造有效地网络测量基 本模型，以获得i p 网络的性能指标，掌握i p 网络的业务性能，理解其运行规律， 进而建立其行为模型，进一步提高服务质量，更好的改善网络性能，实现高效的 运营维护，并为网络新协议的开发奠定理论基础。本文主要内容如下： 研究了端到端瓶颈带宽和可用带宽的测量方法。在分析网络行为学的理论基 础上，分析了几种主要的网络瓶颈带宽与可用带宽的测量方法及其存在的主要问 题，在这一前提下研究了一种基于探测流离开时间间隔序列的可用带宽测量方法， 利用s c v ( 离开时间间隔的方差与均值平方的比值) 来估计网络的可用带宽，仿 真结果表明该方法可以有效地测量出预定目标，并与p a t h c h i r p 的方法做了比较， 可以看出在准确性与鲁棒性上都有很大的提高，同样适用于网络重负载的情况。 此外，基于分组对技术，还分析了一种测量网络瓶颈带宽的方法，考察包对到达 接收端的时间，并在多次测量中找到最小值，仿真试验结果表明该方法可以有效 地克服分组对技术无法判断时间压缩或时间扩展所造成的误差，并与分组对技术 作以比较，精度得到提高。 关键词：网络行为网络测量可用带宽瓶颈带宽 摘要 3 a b s t r a c t w n ht h ee x p l o s i v ed e v e l o p m e n to ft h es c a l e ，t h en u m b e ro ft h eu s e r s ，a n da l s ot h e s e r v i c e st y p e so ft h ei pn e t w o r k s ，m o r er i g o r o u ss c h e m e st oo p e r a t i o n ，a d m i n i s t r a t i o n a n dm a i n t e n a n c ea r er e q u i r e df o rb u i l d i n gn e t w o r ki n f r a s t r u c t u r ew i t hh i g hq o sa n d p e r f e c ti n f o r m a t i o ns e c u r i t y i ti sa l s oo fg r e a ti m p o r t a n c et om a s t e rt h eb e h a v i o ro f i p n e t w o r kf o rr e s e a r c ha n dd e v e l o p m e n to fn e t w o r kd e v i c ea n dp r o t o c o l s t h u s ，t h e r e s e a r c ho nn e t w o r km e a s u r e m e n ti sp a i dm o r ea t t e n t i o n t h i sp a p e rf o c u s e do ni pn e t w o r km e a s u r e m e n t ，w h i c ha i m sa tb u i l d i n ga ne f f e c t i v e n e t w o r km e a s u r e m e n ti n f r a s t r u c t u r e ，m a s t e r i n gt h ee n d - t o e n di pn e t w o r k s t h ef m a l o b j e c ti st og i v eb e t t e rc o m p r e h e n s i o no fn e t w o r kb e h a v i o r s ，i m p r o v et h eq o sa n d b u i l dab a s i sf o rd e v e l o p m e n to f n e w p r o t o c o l s 1 1 1 em a i nw o r k i sa sf o l l o w s ： o nt h eb a s i so fa n a l y s i so f t h en e t w o r kb e h a v i o ra n da l s ot h es e v e r a lm e t h o d o l o g i e s o f t h en e t w o r kb o t t l e n e c ka n da v a i l a b l eb a n d w i d t hm e a s u r e m e n t ，s o m ea d v a n t a g e sa n d d i s a d v a n t a g e sa l ed i s c u s s e d t h e n ，w ea p p l yan e wm e t h o dt om e a s u r et h ea v a i l a b l e b a n d w i d t h ，u s i n gt h ep a r a m e t e ro fs c v ( s q u a r e dc o e f f i c i e n to fv a r i a t i o n ) ，c o m p a r e d 谢t l lt h ep a t h c h i r p ，t h ea c c u r a c ya n dt h er o b u s t n e s si m p r o v e dal o t a tl a s t ，w ea l s o a d p l y am e t h o dt om e a s u r et h eb o t t l e n e c kb a n d w i d t h w eh a v et of i n do u tt h e m i n i m u ma r r i v a lt i m eo ft h ep a c k e tp a i r , t h e nw e 1 1g e tt h eb o t t l e n e c kb a n d w i d t h a l s o c o m p a r i n g t h i sm e t h o dw i t hp a c k e tp a i r , w ew i l ls e et h a tt h ea c c u r a c yi m p r o v e dal o t k e y w o r d ：n e t w o r kb e h a v i o r n e t w o r km e a s u r e m e n t a v a i l a b l eb a n d w i d t hb o t t l e n e c kb a n d w i d t h 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究j 。：作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或 撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表 示谢意。 ；毽、丑 本人签名：叫卜一书日期 竺z ：! ：! 关于论文使州授权的说明 本人完全了解西安电子科技大学有芙保留平使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属于西安电子科技人学。本人保证毕业离校后发表论文 或使用论文工作成果时署名单位仍然为西安i _ i = 子科技人学。学校有权保留送交论文的复印 件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存论文。 本人虢荦洱 日期 导师签名：日划 复：! ：星 p 舻7 毛扩 第一章绪论 第一章绪论 1 1 研究背景 以t c p i p 为主要协议的i n t e m e t 已经渗透到社会生活的各个角落，从电子邮 件、网上聊天、文件传送、w e b 浏览、视频点播v o d ( v i d e oo nd e m a n d ) 到电 子商务，人们充分享受了i n t e m e t 技术带来的快捷与便利。各行各业，包括工业、 农业、建筑、制造、航天等，都从信息产业中获得了巨大的推动力。近年来，随 着微电子技术、无线网络技术、软件技术的发展，通信网络、计算机网络与有线 电视网络逐渐融合，使得口技术获得了更为普遍的应用。i n t e m e t 的飞速发展迫 切需要提高它的性能，人们需要良好的服务质量( q u a l i t yo fs e r v i c e ，q o s ) 、充 分的安全保证，i s p ( i n t e m e ts e r v i c ep r o v i d e r ) 也需要加强对i n t e m e t 的管理。 近年来，以因特网为代表的新技术革命正在深刻地改变传统的电信概念和体 系，其迅猛发展的速度是人类历史上所有工业中最快的。目前，北美骨干网上的 业务量已达到了约6 9 个月左右就翻一番的地步，比著名的c p u 性能进展的摩 尔定律( 约1 8 个月左右翻一番) 还要快2 3 倍。 1 0 0 年以来直至今天，电信网的主要业务一直是电话业务，因而电信网一般 称为电话网。近1 0 年来，全世界电话用户的年增长率平均为5 1 0 左右。然 而，近年来，由于计算机的广泛应用和普及，数据业务正呈现指数式增长态势， 平均年增长率达2 5 4 0 ，远高于电话业务，特别是球业务正呈现爆炸式增长。 显然，按这种指数增长趋势，用不了几年，网上的数据业务将会超过电话业务。 在北美，有些网络( 诸如太平洋贝尔) 上的数据业务已经超过电话业务，即便像 a t & t 这样的老牌电信公司的网络，数据业务也将在2 0 0 1 年左右超过电话业务。 从全世界范围看，估计在未来1 0 年内，包括中国电信网在内的世界主要网络的数 据业务量都将先后超过电话业务量。最终，电信网的业务将主要由数据构成而非 电话，1 0 0 年来的网络电话主业将最终变成副业，网络的业务构成将发生根本性 的变化。 随着因特网业务的爆炸式增长，因特网业务将逐渐成为新的电信业务增长 点。美国y a n k e eg r o u p 公司的预测资料表明，近几年来，发达国家的电话收入已 开始逐年下降，而电信收入预计从1 9 9 7 年的1 9 0 0 亿美元增长到2 0 0 0 年的2 6 0 0 2 i p 网络端到端带宽测量及性能研究 亿美元，其主要增长来源于数据，特别是i p 的收入。2 0 0 0 年以后，业务提供者 的大约8 0 的利润将来自i p 业务。从电信网使用的通信协议看，在未来3 5 年 内，理将成为主导通信协议。这种通信协议的变化也将影响业务收入的构成。 由于用户量的剧增和自身技术的限制，现有的商用因特网无法满足用户更高 的需求，如对网络带宽要求较高的多媒体实时图像传输、远程虚拟实现教学、 p t v 、视频点播等应用。另外，目前i n t e m e t 还缺乏某些功能特性，无法满足高 等院校和科研机构的需求，也就是说需要下一代i n t e r n e t 。下一代网络普遍采用了 m v 6 协议，克服了，v 4 地址短缺，服务质量不高，安全性差，移动性差等问题， 实现即插即用。 随着移动通信与无线网络技术的发展，人们更加坚定了所坚持的个人通信的 理想。随着社会的发展和信息技术的不断进步，人们对移动通信的产品及服务提 出了更加迫切的需求。在3 0 国际标准中，以欧洲主导的w c d m a 、美国主导的 c d m a 2 0 0 0 以及中国的t d - s c d m a 成为了三大主流技术，这三大标准均可充分满 足i m t - 2 0 0 0 关于第三代移动通信的要求。第三代移动通信已在我国开始运营， 这是由我国自主研发提出的t d s c d m a 第三代移动通信标准。目前，t d - s c d m a 已在我国开始规模放号，我国已走进了3 g 的新时代。几乎所有的研究人员都认 为3 0 的核心网依然是口网络，将会采用i p v 6 ，能提供端到端的口业务。 目前，由于因特网没有一个正常盈利的商业模型，网络缺乏有效的管理和运 营手段，面临着诸如安全、q o s 等方面的问题，特别是无法有效支持实时业务成 为限制其发展的最大障碍。因此，对网络性能测量与改善，已经成为了急需解决 的问题。 1 2 网络带宽测量研究现状及意义 网络带宽分为瓶颈带宽( b o t t l e n e c kb a n d w i d t h ) 或容量( c a p a c i t y ) ，可用带 宽( a v a i l a b l eb a n d w i d t h ) 和标称带宽( n o m i n a lb a n d w i d t h ) 。瓶颈带宽指瓶颈链 路能提供的最大分组传输速率，也即端到端最大分组传输速率，是网络在没有干 扰业务( c r o s st r a f f i c ) 存在时能提供的最大传输速率。可用带宽是存在干扰业务 时网络能提供的最大可用带宽。标称带宽是指生产厂家提供的传输速率值，一般 达不到这个值。i e t f 定义了批量传输的容量( b u l kt r a n s p o r tc a p a c i t y , b t c ) ，是 用了描述网络在具有拥塞意识的传输连接( 如t c p ) 下传输大量数据的能力。 国外在网络测量方面起步较早，自从互联网开始兴起时就已开始，有许多科 研机构、大学、学术团体和企业组织了网络带宽测量的研究。 由斯坦福线性加速器中心( s t a n f o r dl i n e a ra c c e l e r a t o rc e n t e r , s l a c ) 发起的 为h e n p ( h i g he n e r g yn u c l e a ra n dp a r t i c l ep h y s i c s ) 团体开发的端到端的性能监 第一章绪论 3 控项目一一p i n g e r ( p i n ge n d - t o - e n dr e p o r t i n g ) 【1 l 项目，在全球都有监测点，采 用p i n g ( i c m pe c h o r e q u e s t ) 来测量往返时延r t t 、p a c k e tl o s s 等，进而推算系 统性能。 由b e r k e r l e yu n i v e r s i t y 和m m 开发的s p a n d ( s h a r e dp a s s i v en e t w o r k d i s c o v e r y ) 2 项目，它采用被动共享的测量，通过发送u d p 、t c p 分组让客户机 向性能服务器汇报网络性能，同时在网关处还加了一个性能捕获主机辅助测量。 r i p e ( r e s e a u xi pe u r o p e a n s ) 口】是对在欧洲运营m 网络的组织和个人开放的 一个合作机构，它的目标是确保泛欧口网络运行所必须的管理和技术相互协调一 r i p e 通过发送三种不同的u d p 分组来测量不同链路之间的性能，用g p s 来实现 同步。 在i e t f 的i p p mw o r k i n gg r o u p 【4 】的标准化工作中，采用s u r v e y o r 来测量参 与者之间的i n t e m e t 路径的性能，包括单向时延、分组丢弃、分组路由测量，但 需g p s 提供同步。 i n t e m e t 最初保证对网络用户提供尽力传送( b e s te f f o a ) 服务，随着网上银 行、电子商务等应用的日益普及，需要提供q o s 保证，于是i e t f 提出了集成服 务( i n t s e r v ) 和区分服务( d i f f s e r v ) 的概念，针对不同用户、不同业务提供不同 的服务质量( 带宽、时延等) ，在i s p ( i n t e m e ts e r v i c ep r o v i d e r ) 和用户之间达成 服务协议( s l a ) 。用户与服务提供方在同一个i s p 内可以很容易的知道自己的服 务是否兑现，但跨越多个i s p 时比较困难。网络测量是解决该问题的直接方法， 具体地讲i n t e m e t 端到端带宽测量结果可以用于以下几个方面： 评估网络性能：带宽指标是衡量网络性能行为的重要指标之一，便于运营 商掌握网络的运行状况以及作为验收网络工程的考察指标； 网络资源的合理配置：根据测量得到的每个链路的瓶颈带宽、可用带宽或 利用率情况调配资源，已达到充分利用； 路由优化；利用实际测量得到的可用带宽作为链路的“重量( w e i g h t ) ”指 标，能用来进行路由的动态构造，从而得到最优路由； 接入控制：对新的业务请求进行接入控制，一方面可以在网络拥塞时防止 网络性能的进一步恶化，另一方面对于强调服务质量的网络应用来说，可以作为 接入控制的依据； 拥塞控制：通过准确的估计网络带宽，对视频流的传输速率与网络带宽进 行匹配可以防止拥塞的发生( 借助于网络可用带宽估计技术和码率匹配技术来实 现) ； 故障诊断：网络可用带宽行为规律的奇异变化等都给判断网络故障的发生、 定位故障的位置、分析故障原因以及消除故障提供思路和途径。 随着网络技术的迅速发展和各种新型业务的涌现，大量的视频点播、流媒体、 4 i p 网络端到端带宽测量及性能研究 网络游戏等实时业务以及p 2 p 类型业务广泛应用于宽带网络上，这些新业务对网 络传输能力和服务质量提出了更高要求。网络运营商需要了解网络带宽情况来指 导网络运维、网络规划、瓶颈故障检测、拥塞控制、接纳控制以及异构无线网络 的切换、性能优化等；个人用户则希望通过简单的带宽测量工具了解当前网络的 带宽状况，考察s l a 的执行情况，因此对网络带宽测量技术的研究有重要的意义。 然而想要准确地测量是很困难的，因为不但网络状况于变万化，测量过程中会碰 到很多难以预料与克服的因素，而且有些测量工具需要严格时间的同步或源缩端 协同工作，所有这些都直接影响着最终测量精度。为了能更好地洞察网络带宽特 性、显著改善网络接入能力和服务质量等级，必须要有高效的测量技术支持，因 此带宽测量技术现在、将来都会是网络性能测量领域的研究热点。 1 3 主要内容及章节安排 本文是在国家自然基金重点项目( 6 0 1 3 2 0 3 0 ) “基于网络探测的口网络 拓扑发现和性能分析的研究”的资助下展开研究的。主要研究的内容为网络端到 端带宽测量方法：( 1 ) 研究了端到端瓶颈带宽测量算法。分析了几种主要的网络 瓶颈带宽测量方法及存在的问题，探讨了影响瓶颈带宽测量的各种因素。在此基 础上提出了一种基于包对法，考察包对到达时间的方法( r a t c t r a c e r ) ，仿真试验结 果表明该方法能够有效地测得瓶颈带宽，相比包对法其准确性得到了进一步的提 高，而且具有易于操作的特性。( 2 ) 研究了端到端的可用带宽测量算法，分析了 传统的排队模型，并在原有测量算法的基础上，研究了一种基于探测流离开时间 间隔序列的测量模型。考察分组离开时间间隔的s c v ( 方差与均值平方的比值) ， 仿真试验结果表明该方法可以有效地测量网络的可用带宽，相比p a t h c h i r p 算法准确 度得以提高，并且适合于网络重负载时的情况。 本文共分为六章。第一章主要介绍研究背景、意义、发展现状、主要研究内 容及章节安排；第二章主要介绍了网络行为学及网络测量的基本内容；第三章介 绍网络端到端带宽测量的基本内容及重要意义；第四章详细说明了基于离开时间 间隔序列的网络可用带宽测量方法；第五章详细说明了网络瓶颈带宽r a t e t r a e e r 的 测量方法；第六章总结全文并给出了需要进一步研究的问题。 第二章网络测量及行为学概述 第二章网络测量及行为学概述 本章共分为三个部分，第一部分介绍网络测量与网络行为学的基本内容；第 二部分详细介绍i n t e r n e t 端到端网络带宽测量基本算法；第三部分小结。 2 1 引言 互联网是上亿台计算机互联成的全球性网络，虽然相关的组网与管理技术在 不断地完善，但人们对它在局部和整体范围内所体现出的行为特征依然没有一个 正确和完整的认识。掌握i n t e m e t 的行为是网络规划、网络管理和网络安全、新 网络协议和网络应用设计等诸多研究工作的重要前提，近年来对大规模互联网络 行为的研究成为该领域被关注的热点目标。网络行为测量和分析是网络行为学研 究的基础，通过测量分析可以掌握网络行为的基本特征( b a s e - l i n e ) ，有助于寻找 网络行为变化的规律，构造并验证网络行为的数学模型。所以，针对网络行为的 测量与分析方法展开系统性的研究将对i n t e m e t 行为学方面的研究取得理论突破 具有重要的意义。 目前在网络测量和行为学方面研究的主要组织有c a i d a ( c o o p e r a t i v e a s s o c i a t i o nf o ri n t e m e td a t a a n a l y s i s ) p j 、m e r i t 公司、i t a ( i n s t n m a e n t a f i o nt e s t i n g a s s o c i a f i o n ) 、o c 3 和i e t f 0 n t e m e te n g i n e e r i n gt a s kf o r c e ) 等，主要工作是对网络 设备的数据采集，从历史数据中掌握网络运行状态，以预知可能出现的问题，合 理安排网络负载；同时在充分了解设备和连接的使用情况下，对未来的网络规划 做出指导。国外有很多网络组织对其自身提供的网络服务进行一定程度的测量分 析并相互进行合作，以期获得对网络状态的全面认识，如c a i d a 进行的网络数 据流测量和分析工作。目前的研究大多是根据某些特定应用的要求而进行的，目 标比较狭小，没有形成较完整的体系，已经出现的一些理论模型距离实际应用还 有一定的差距。如加利福利亚大学用一些简单的算法用历史数据对网络的延时、 吞吐量进行短期的预报以支持负载动态调整；波士顿大学通过对信道的可用带宽 的测试数据进行动态服务器的选择。总体来说，在这一领域现有的研究是直接根 据测量值进行一些网络负载的即时优化，没有对数据的长期分析和综合运用大规 模互联网因其异构性、业务类型的多样性且变化的随机性对网络管理提出很高的 要求，而且新的网络传递技术、新的网络环境和新型完了应用的产生，使得研究 互联网络的运行规律，为网络技术的改进提供可靠的理论依据，成为网络发展的 6 i p 网络端到端带宽测量及性能研究 一项重要课题。因而产生了网络行为学，即关于互联网运行规律的科学。 2 2 网络行为学研究难点及方向 由于网络技术和管理的多样性、规模庞大、增长迅速以及网络应用的变化等， 所有这些因素对网络行为研究提出挑战，也使网络行为学从网络管理分支中分离 出来，成为独立的研究方向。 研究网络行为的另一个难点是多种不同的外界和内部因会引起网络的变化、 发展，这些因素包括：首先，新的价格体系使得用户对流量类型和服务质量更加 敏感。第二，网络路由器的分组调度算法将会由“先来先服务”转移到不同的链 路稳定地共享资源。第三，目前i n t e r n e t 的组播大多是通过单播隧道传送，随着 纯组播网的逐渐普及，链路传送组播的流量类型和数量将有很大的变化。第四， i n t e m e t 支持不同服务类型和服务质量的机制将产生不同的链接和性能。第五， 网页缓冲将普遍存在，这将有助于缓解主干网的传输压力；最后是从流量比重看， 出现新的应用有可能会取代w w w 的地位，从而大大改变网络特征，如：多人 协同网络游戏的应用。 综合前面网络发展的特点和网络管理技术中存在的问题，可以将网络测量及 行为学分成三个具体研究发展方向：网络流量测量研究、单点网络流量统计行为 研究和多点分布式网络行为研究，其中多点分布式网络行为研究主要包括：端到 端网络性能研究和流量路由行为研究。这三个方向是统一整体，每个方向的进步 都会给其它研究带来帮助，其中网络流量测量是其它研究的基础和核心，本文将 主要从端到端网络性能行为方面来探讨目前国际上网络行为学相关领域的发展状 况。 2 3 网络测量技术 早在1 9 9 5 年，当n s f 停止对整个n s f n e t 的资助以后，i n t e r n e t 出现多 元发展的趋势，试图完整地跟踪和监控i n t e m e t 行为已经不可能。n s f 没有留下 可以监测不同i s p 之间的网络性能问题和安全事件的框架结构，同时i s p 也没有 重视收集或分析他们网络的数据，这样造成今天不但缺乏理想的测量和分析网络 行为工具，同时也缺乏用于分析网络行为变化的测度数据。 尽管网络测量没有得到足够的重视，但学术界对其研究一直没有间断。因此 现在有许多独立的网络端到端测量方法和相应的工具，这些测量方法主要是在端 主机发送主动探测分组进入网络，然后记录分组返回的延迟。但是这种测量涉及 到大量的难以独立建模的参数，同时测量结果的复杂性使得收集的数据难以比较 第二章网络测量及行为学概述 7 或标准化。有些研究组织正试图发展技术和体系结构来支持标准化测量、性能评 估、选择网络路由的可靠性等，但这些工作进行的很慢，还不能满足用户、研究 者和i s p 的需求。 网络测量可分为主动测量和被动测量两种方式，主动测量是通过主动产生流 量直接测量网络的属性，可以使用直接分析的方法。但是主动测量流量会对被测 网络流量的性能产生负面的影响，因此，主动测量系统开发需要仔细考虑对网络 实际传输流量的影响。被动测量完全取决于被测网络中目前已有的流量，它的最 大优点是在测量期间不影响被测网络的流量，但会引起测量、分析、存储等资源 短缺的问题。 2 3 1 主动测量技术 主动意味着测量过程中产生新的网络流量，主动流量可以引起网络部件的特 殊响应( 如：t r e r o u t e ) ，也可以用于观测网络的性能( 如：t r e n o ) 。主动测量给 网络增加潜在的荷载负担，特别是如果没有仔细设计使得该方法产生的流量最小， 那么附加的流量会扰乱网络，影响分析结果。例如：如果为了测量在m 网络中 瓶颈链路的带宽，定期地向网络发送巨大的t c p 传输，由此产生的附加流量可能 会引起h e i s e n b e r g 效应，并使测量的网络吞吐量低于实际瓶颈链路的带宽。 其次，主动测量至少要多个网络部件以某种形式的参与，如：使用p i n g 估 计主机a 到主机b 的r t f ，需要主机b 响应i c m p e c h o 请求信息。不同机器 之间主动测量的合作方式有被动合作和主动合作，如：响应i c m p 请求、匿名f t p 服务器允许主机和服务器之间实现吞吐量测量，这种合作称为被动合作。另一种 合作方式是主动合作，需要具体的安排，如果要测量a 至b 之间单向延迟的对称 性，从b 到a 和从a 到b 都需要进行延迟测量，因而b 需要主动参与测量。 网络拓扑结构的变化需要使用主动测量技术，c a i d a 开发的s k i t t e r 动态测量 工具可用于动态发现和绘制全球i n t e r n e t 拓扑。另外主动测量技术可以探测网络 的具体问题，如发现许多i n t e r n e t 端到端的延迟分布具有重尾特征。 2 3 2 被动测量技术 被动测量需要在网络中的一点收集流量信息，如使用路由器或交换机收集数 据或者使用一个独立的设备被动地监测通过被测量网络链路的流量。被动测量的 优点是可以完全取消附加流量和h e i s e n b e r g 效应，但有些测度被动测量相当困难： 如决定分组所采用的路由。当然如果用户关心的不是完整的网络路由，而是a s 之间的路由，那么可以被动监测两个对等b g p 之间的流量，因为流量包含全部的 8 i p 网络端到端带宽测量及性能研究 a s 之间的路由信息。被动技术的另一个重要的问题是现在正在提出的要求确保 隐私和安全的矛盾。 网络流量是由大小不一的分组构成的，收集到的数据可以进行各种流量分析， 如：流量中各种应用的成分、分组的大小分布、分组的相隔到达时间、性能和路 径长度等，这些能帮助设计下一代互联网设备和体系结构。网络运行者最感兴趣 的是流量流矩阵：有多少流量从一个网络流向另一个网络，这个信息能有助于优 化设计决定。不同的流量粒度矩阵有不同的用处，a s 粒度流量矩阵有助于优化 拓扑结构；企业网或校园网的管理者为了解各部门之间流量交换的情况，可以建 立系或工作组粒度的流矩阵；国家粒度的流量矩阵有助于了解各国的网络开放策 略和国际商业前景，例如美国是世界i n t e m e t 流量主要中转国，7 0 的国际中转流 量经过美国。 与荷载特性相关的一个重要特性是网络分组的大小。分组大小分布和到达时 间的统计数据同设计网络路由交换设备相关，因为交换一个分组的代价有每个分 组和每个字节的成分，因此，有关于典型i n t e r n e t 荷载的测度允许设计者优化路 由器的硬件和软件体系结构。另一个重要的荷载分析是估计流量中各种协议类型 的比重。 被动测量还有许多其它的应用，如：识别、刻画和跟踪网页缓冲和代理的优 化配置；网络体系结构的安全性；拥塞控制算法的有效性；流量增长是由于用户 数量的增加还是每个用户流量的增加；流行协议和应用使用的变化；新的技术和 协议( 如：组播和i p v 6 ) 的渗透力和影响等等。这些被动测量的应用是i n t e m e t 流量行为研究的重要内容。 有时为了能够从被动收集的数据中提取某些参数可能需要借助于主动测量。 另外，被动测量是不应该丢失分组的，否则分析的数据将不精确。但随着流量速 率的增加，保证不丢失数据变得几乎不可能，因此抽样网络流量测量技术成为解 决这一矛盾的非常有效的方法和技术。 2 3 3 抽样测量技术 网络带宽的高速发展，同时计算机测量、存储、分析资源的限制，难以直接 测量全部的网络流量。一种解决方案是抽样测量部分流量，从统计角度获得对流 量总体行为的认识。早在1 9 8 9 年，p a u l 等人首先将抽样技术引入网络测量中。 在1 9 9 3 年，o a f f y 系统研究抽样技术在网络流量统计分析中的应用，分析系统抽 样、简单随机抽样和分层抽样技术用于估计分组大小分布和分组到达时间分布网。 在1 9 9 9 年c o z z a n i 提出使用模式匹配技术抽取a t m 位元。2 0 0 0 年d u f f i e l d 使用 同样的抽样技术用于寻找网络中分组流的路径【7 】。2 0 0 1 年和2 0 0 2 年抽样测量技 第二章网络测量及行为学概述 9 术出现新发展，t a n j a 使用被动测量技术测量端至端s l a 的单向延迟测度嗍。 d u f f i e l d 9 1 和c r i s t i a n 分别根据流大小建立不等概率模型。同时抽样测量技术也普 遍应用于网络产品中，如c i s c o 的n c t f l o w 和n e t r a n m e t 测量器。 由于网络资源的限制，测量全部网络流量难以实现，目前国内外还没有人专 门从网络资源限制角度研究流量测量。当从网络主干上测量分组，最终到达分析 服务器涉及到的网络资源限制有( 1 ) 测量器c p u 速度，当分组还没有到达应用 程序能够捕捉的时刻就可能已经被丢失；( 2 ) 测量器的内存，即在流量数据被传 送到分析器之前需要考虑内存的存放空间问题；( 3 ) 从测量器到分析器之间的网 络传输带宽；( 4 ) 测量数据的硬盘存储空间，由于网络流量很大，不可能将所有 的测量数据完整地、永久地保留下来；( 5 ) 另外还有分析器计算资源的限制，控 制数据处理和查询时间的限制等。这些资源限制都可能会造成测量数据的丢失而 必须采用抽样或粗粒度聚类的方法进行处理。粗粒度聚类能够从整体上无误差地 对网络行为作统计上的认识，但缺乏对网络行为细节上描述的数据。抽样技术是 根据统计数学理论提取部分细节数据，根据这些细节数据能够对网络总体流量行 为做出在规定概率范围内的描述。因此可以规定抽样测量精度，提取部分细粒度 数据，以实现既能反映流量总体信息，又能获得流量详细信息。 网络行为包括：端到端的行为( 包括：时延、分组丢弃率、吞吐率、跳数等 行为指标) ，元网行为( 包括：利用率、局部性、突发性等行为指标) ，路由行为 ( 包括：路由振荡、路由稳定性、路由的聚合度等行为指标，是否分布式运行、 无路由环路、按需运行、安全性以及时间复杂度、通信复杂度、路由效率等等) ， 网元行为( 即节点性能、链路性能，包括：c p u 利用率、吞吐量、分组丢弃率等 行为指标) 。 2 4 研究网络行为的方法 一是模型分析，即采用数学方法建立网络模型，如由排队论建立的模型、t r i 网、流体流( f l l l i df l o w ) 模型、m m p p ( m a r k o vm o d u l a t e dp o i s s o np r o c e s s ) 模 型以及近年来建立的自相似( s e l f - s i m i l a r i t y ) 【1 0 】模型等，来研究网络的行为、网 络分析技能提供均值，即稳定性能。由于系统越来越复杂，考虑的因素越来越多， 系统模型越来越难以建立，致使该方法遭遇到了巨大的挑战。 二是仿真模拟，即通过建立实际网络的模型，处理模拟发生的事件，分析数 据获得均值、分布等数据，仿真能提供暂态和稳态的行为，比分析方法灵活。用 于网络仿真的语言【”】有：s d t n ，s l a m2 ，g p s s ，s i m u l a , s i m s c r i p t , p a w s 。仿 真的工具：i b m sr e s q ，s n a p s h o t , b e s t 1 ，c r y s t a l ，t o p s i m ，b l o s i m 。 b o s s ，g d 姬s n 讧，g 陋n e s i s ，以及在科研界使用较多的n s ( n e t w o r ks i m u l a t o r ) i p 网络端到端带宽测量及性能研究 仿真软件，成功的商业化软件o p n e t 等。但i n t e r n e t 环境的复杂性使其应用受到 限制。 三是测量分析，网络测量是对实际运营的网络进行性能测试，以发现问题、 考核指标、评估性能，如验证网络配置、拓扑结构是否合理，系统是否存在瓶颈， 系统运行是否稳定等。网络探测是网络测量更深层次的方面，在不完全了解被测 网络的拓扑、配置、协议( 事实上，就算是网路管理者有时候也并不明白被管理 网路的详细情况) 等参数的情形下，对网路进行数据收集，以获得网路的历史、 现状( 性能即存在的问题) 并预测发展趋势。由于人们对i n t e m e t 拓扑很难准确 的把握，数学模型越来越难以建立，从而导致网路测量成为较为可行的方法。 因此测量分析不仅对网路管理和性能研究具有重要意义，而且成为网络行为 研究的主要途径，成为网络行为学研究的基础。网络行为的研究，类似于物理系 统的特性的研究，要观察整个系统的运行规律，首先定义一些特性参数( 或性能 指标) ，然后进行测量，对测量结果进行分析，归纳出特性参数的性质及基本的逻 辑关系，进而研究整个系统的运行规律。同样，研究网络行为首先需要定义网络 的行为指标( 定义何种指标以及如何定义) ，然后需要获取为分析这些行为指标所 需要的原始数据( 即行为指标的测量) ，进而由采集到的数据作时间序列分析和统 计推断，归纳出指标的性质和网络的行为规律，并由此也可建立网络行为的数学 模型，作为进一步建模分析和仿真的依据。 2 5 小结 本章通过对网络行为学、网络测量的基本技术与测量方法的介绍，给出了网 络测量的几个重要研究方向的进展和基本知识，为后面几章介绍测量方法提供了 理论基础。 第三章端到端网络带宽测量 第三章端到端网络带宽测量 3 1 基本概念 网络中的传输路径由从数据源到目的地的一系列存储转发链路所组成。链路的 带宽或者容量是指该链路上数据报文的最大传输速率。网络路径的瓶颈带宽 ( b o t t l e n e c kb a n d w i d t h ) 或者容量是指源节点到目的节点之间处理能力最低的链路所 能达到的最大的数据传输速率，也就是说，当传输路径上没有其他业务流时，该 路径所能提供给一个业务流的最大传输速率。传输路径上带宽容量最小的链路称 为该路径的瓶颈链路。然而，业务流很少是单独存在于一条路径上的，而经常是 和其他业务流共享网络。网络路径的可用带宽是指网络在不降低其他业务流的传 输速率的情况下，所能提供给一个业务流的最大传输速率。 如果用慷示一条路径的跳数，用c ；表示链路趸l k ) 的容量或传输速率，那么 该路径的瓶颈带宽或者容量可以表示为 c = 熙0 ( 3 - 1 ) 另外，如果用铆来表示链路f 的利用率( o 甜， 1 ) ，那么链路上的剩余带宽就可以 表示为c x l 的，这样，整条路径的可用带宽就可以表示为 a = 纳【c l ( 1 一q ) 】 ( 3 - 2 ) 式( 3 2 ) 中对于链路利用率的计算没有一个很精确的定义或表达。另外，也没有 对某一时刻的可用带宽和某一时段的可用带宽加以区分。我们在文献1 1 2 给出了 可用带宽的数学定义，本文则基于链路空闲率重新修正了可用带宽的定义。 首先，给出链路可用带宽的“可用”定义： 定义1 论文所说的某一时刻单一链路“可用”，含义就是该链路的开始节点处于 空闲状态。 我们可以借助一个状态阶跃函数来描述节点在某一时刻所处的状态。 定义2 定义t 时刻n o d e ，_ ( 1 f n ) 的状态函数如下： n o d e f r e e j 一。( f ) = l 耋；喜毫嚣时( 3 - 3 ) 相应的三伽坂表示0 沈“和o 出，之间的链路，l g i 1 ) 。若l i n k x 上的背景流量不存在与l i n k x 1 ，即 背景流在到达n o d e x 1 之前的途径链路并非l i n k x _ 1 ，则称该背景流量是l i n k x 上的 o n e h o pp e r s i s t e n t 背景流；与之相对应，若该背景流不仅在l i n k x 上出现，而且 正是途经l i n k x 1 而到达节点n o d e x 1 的，则称该背景流是l i n k x 上的p a t hp e r s i s t e n t 背景流。真实环境中的背景流必然是o n e h o pp e r s i s t e n t 与p a t hp e r s i s t e n t 这两种 基本类型的组合。 4 3e 州g i i ，1 队列延迟分析 图4 1 所示的系统只有一个服务员，无限的队列容量在连续的时间内工作，这 一队列同时容纳两类客户的到达，探测包与背景流量包的到达。探测包的到达过 程是服从某种分布的独立的随机过程，探测包被认为是一类客户。到达率是 a 1 ( p a c k e t s s ) ，服务速率是g l ( p a e k e t s s ) 。背景流量是二类客户，到达率为 k 2 ( p a c k c t s s ) ，服务速率是p 2 ( p a c k e t s s ) 。探测流是可控的，探测流也具有一定的适 应性。 背景流量源 图4 1 测量模型拓扑图 假设队列系统是稳定的，因此p l = h l l j l ，p 2 = h 2 i j 2 ，p ：p l + p 2 = h l p l + h 2 p 2 。 令i n ( i n t e r - a r r i v a l t i m e ) 是第n 个到达探测包与第n + 1 个探测包的到达时间间隔， 第四章基于探测包离开时间间隔的可用带宽测量方法 d 。( i n t e r - d e p a r t u r et i m e ) 为相应的离开时间间隔。 o a p r a t i o 定义为平均离开时间间隔与平均到达时间间隔的比值。它提供了延 迟过程的第一位的信息1 3 9 。 g a p r a t i o ：里盟：j 1 ，p - 1 时间间隔的变化j n = d n - i a 。这里的j n 可以有正的抖动，也可以有负的抖动。负 的抖动意味着由于缓冲器溢出而导致的包的堆积；正的抖动表示包的传输而可能 发生的延迟。 h y b r i d 近似方法分析 通过【4 0 】，我们有 砰= 彳辞+ 房慨p 2 ) c ；+ 掣】+ ( 1 一岛p + 彳) 口 ( 4 1 ) c 尹是第i 类型探测包离开过程的s c v ，c ? 是第i 类型探测包服务过程的s c v ， c r 是第i 类型探测包到达过程的s c v ，向是第i 类型探测包流量密度，a 是第 i 类型探测包的到达概率。 用一个p o i s s o n 探测流来代替开始采用的周期性探测流，而保持其它参数不 变。根据( 4 1 ) 式以及【3 9 】，有 噬砒= s c 哆“+ 犯撇= s c 嘧一( 1 - ，l p + 彳) ( 4 - 2 ) ( 4 - 2 ) 式中艇垆“= o ，垆= 1 4 4 可用带宽测量算法描述 根据上述队列模型与h y b r i d 近似方法分析，现将可用带宽测试算法描述如 下： ( 1 ) 根据探测流离开时间间隔的s c v ，利用( 4 2 ) 式可计算得到网络链路 的流量密度p ( 2 ) 探测流的p l