（计算机软件与理论专业论文）大规模网络流量测量中的关键技术研究与实现.pdf

摘要 摘要 口网络的迅速发展使其成为当今人们通信的主要基础设施，随着i p 网络规模 快速地扩大，传输速率日益增长，网络结构愈加复杂，这就需要对我们对m 网络 的性能和行为进行测量，对p 网络的状态进行准确的评估。网络测量目的是通过 对网络流量的测量和网络运行状况的正确的判断，为网络性能提升、网络结构设 计的优化和网络的规划提供参考依据。由于高速互联网技术发展迅速，我们需要 更高效的测量方法来对当前的网络流量进行测量，从而更好的对网络进行管理。 本文以互联网为背景，对网络流量测量理论和技术进行了讨论，详细研究了 网络流量测量的发展历史和各个时期的研究成果。本文对互联网流量测量技术进 行了深入研究，分析了网络流量测量的指标体系和评价标准，讨论了被动测量和 主动测量的特点，研究了网络流量测量的架构。文中从大规模网络流量和性能测 量的角度出发，针对流量测量中的几个重要指标如丢包率、延时、数据采样技术 进行了深入研究，并对网络报文捕获的相关技术包括n d i s 和w i n p c a p 进行了详 细研究。 本文在对流量测量相关技术、流量测量体系结构和网络报文捕获技术进行了 分析和研究后，在此基础上设计了一个实时的被动网络流量测量模型，并总结出 了一个高效率的大规模流量测量系统的实现中的的二个关键技术，即高速报文捕 获技术和流量分类算法。本文主要就集中对两个关键技术做了研究，并提出了对 这二个关键技术的解决办法。该方法是以w i n p c a p 技术实现高速网络报文捕获， 以h i c u t s 算法为流量分类算法。在研究和解决了这些关键技术之后，本文详细阐 述了大规模网络流量测量系统的总体架构和各个模块的设计和实现，并对该系统 进行了测试，测试结果表明，本流量测量系统实现了高速网络报文捕获，并具有 较低的丢包率，达到了高速网络报文捕获的性能要求，和流量分类的功能。最后 对本文做了总结，并提出需要进一步研究的工作。 关键字：性能指标，流量测量，报文捕获，流量分类 a b s t l 认c t a b s t r a c t t h er a p i dd e v e l o p m e n to fi pn e t w o r k sm a k e st h a ti t i sg r a d u a l l yb e c o m i n g p e o p l e sm a i nc o m m u n i c a t i o n si n f r a s t r u c t u r e w i t ht h er a p i de x p a n s i o no f t h es c a l eo f 口n e t w o r k ，t h ei n c r e a s i n go ft r a n s m i s s i o nr a t e , i n c r e a s i n g l yc o m p l e xo fn e t w o r k s h u c t u r e ，s ot h a tw en e e dt a k es o m em e a s u r e m e n tf o rp e r f o r m a n c ea n db e h a v i o ro fi p n e t w o r k , a n dm a k ea l la c c u r a t ea s s e s s m e n to ft h e s t a t eo fi pn e t w o r k n e t w o r k m e a s u r e m e n ti st op r o v i d er e f e r e n c ef o ri m p r o v i n gn e t w o r kp e r f o r m a n c e ，o p t i m i z i n g t h en e t w o r ks t r u c t u r ea n dd e s i g np l a n n i n go fn e t w o r kt h r o u g ht h em e a s u r e m e n to f n e t w o r kt r a f f i ca n dn e t w o r kp e r f o r m a n c e d u et ot h er a p i dd e v d o p m e n to fh i g h s p e e d i n t e m e tt e c h n o l o g y , w en e e da m o r ee f f i c i e n ta p p r o a c ht om e a s u r et h ec u r r e n tn e t w o r k t r a f f i c ，t h e r e b ym a n a g et h en e t w o r k b e t t e r i nt h i st h e s i s ，i nt h eb a c k g r o u n do ft h ei n t e r a c t ，t h et h e o r ya n dt e c h n o l o g yo f n e t w o r k 仃a 伍cm e a s u r e m e n tw e r ed i s c u s s e d ，a n dh a v et a k es o m ed e t a i l e ds t u d ya b o u t t h eh i s t o r yo ft h ed e v e l o p m e n to fn e t w o r kt r a f f i cm e a s u r e m e n t a n dr e s e a r c h a c h i e v e m e n to fe v e r yp e r i o d i nt h i st h e s i s ，w ed e e p l ys t u d i e dt h et e c h n o l o g y o fi n t e m e t t r a f f i cm e a s u r e m e n t , a n da n a l y z ei n d i c a t o rs y s t e ma n ds t a n d a r d so fe v a l u a t i o n o f n e t w o r ki r a m cm e a s u r e m e n t 。a n dd i s c u s s e dt h ec h a r a c t e r i s t i c so fp a s s i v ea n da c t i v e m e a s u r e m e n t s ，t h e ns t u d i e dt h e a r c h i t e c t u r eo fn e t w o r kt r a f f i cm e a s u r e m e n t s f r o m p o i n to fv i e wo fl a r g e s c a l en e t w o r km e a s u r e m e n to f t r a f f i ca n dp e r f o r m a n c e ，c a r r i e d o u tt h er e s e a r c han u m b e ro fi m p o r t a n ti n d i c a t o r sf o rf l o wm e a s u r e m e n t s u c ha s p a c k e tl o s sr a t e ，t r a n s m i s s i o nd e l a y , d a t as a m p l i n gt e c h n i q u e ，f i n a l yn e t w o r kp a c k e t c a p t u r ea n ds o m er e l a t e dt e c h n o l o g i e s ，i n c l u d i n gn d i sa n dw i n p c a p w e r es t u d i e di n d e t a i l i n t h i st h e s i s b a s e do nt h o s es t u d i e sa n da n a l y s i so ft r a m cm e a s u r e m e n t t e c h n o l o g y , f l o wm e a s u r e m e n ta r c h i t e c t u r ea n dt e c h n o l o g yo fn e t w o r kp a c k e tc a p t u r e ， t h e nd e s i g nap a s s i v ea n dr e a l t i m em e a s u r e m e n tm o d e lo fn e t w o r kt r a f f i c a n d s u m m r i z e du pt w ok e yt e c h n o l o g i e sf o rah i g h l ye f f i c i e n ta n dl a r g e s c a l ef l o w m e a s u r e m e n ts y s t e m ，n a m e l yh i g h s p e e dp a c k e tc a p t u r et e c h n o l o g y a n df l o w c l a s s i f i c a t i o na l g o r i t h m t h e nm a i n l yf o c u s e do nt w ok e yt e c h n o l o g i e s ，a n dp r o p o s e da u a b s t l 认c t s o l u t i o nt ot h e s et w ok e yt e c h n o l o g i e s t h es o l u t i o ni sb a s e do nt h et e c h n o l o g yo f w m p c a pt oa c h i e v eh i g h - s p e e dn e t w o r kp a c k e tc a p t u r ea n dh i c u t sa l g o r i t h mf o rt h e f l o wc l a s s i f i c a t i o na l g o r i t h m a f t e rr e s e a r c h i n ga n dr e s o l v i n gt h e s ek e yt e c h n o l o g i e s ， t h i st h e s i sd e s c r i b e dd e s i g n m e n ta n di m p l e m e n t a t i o no fs u b m o d u l e sa n dt h eo v e r a l l a r c h i t e c t u r em o d u l e so ft h el a r g e s c a l en e t w o r kt r a f 五cm e a s u r e m e n ts y s t e mi nd e t a i l ， a n dt o o kt h et e s tf o rt h es y s t e m , t h et e s tr e s u l t ss h o wt h a tt h ef l o wm e a s u r c r n c n ts y s t e m i m p l e m e n t e dp a c k e tc a p t u r ef o rh i 曲- s p e e dn e t w o r kw i t hl o w e rp a c k e tl o s sr a t e , r e a c h i n gt h er e q u i r e m e n t so fp e r f o r m a n c ef o rh i g h - s p e e dn e t w o r kp a c k e tc a p t u r e ，a n d c o m p l e t et r a f f i cc l a s s i f i c a t i o nf u n c t i o n a l i t y f i n a l l y , w eg a v eas u m m a r yo f t h i st h e s i s ， a n dp r o p o s e df u r t h e rr e s e a r c ht h a ti ti sn e c e s s a r yt od o k e yw o r d s ：p e r f o r m a n c em e a s u r e m e n t s ，n e t w o r kt r a f f i cm e a s u r e m e n t ，p a c k e t c a p t u r e ，f l o w c l a s s i f i c a t i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：坦缘日期：汐叩年莎月多日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名： 日期：7 唧年6 月f 曰 第一章绪论 第一章绪论 1 1 本课题研究的内容与目标 本课题的主要研究目标是设计和实现一个基于w i n d o w s 平台的大规模网络 流量测量系统对网络流量进行测量，从而获得网络性能参数和网络行为特征。 本课题的研究的主要内容如下t 1 ) 网络流量测量相关理论和技术的研究 分析了网络流量测量的现实意义，对网络流量测量的指标体系进行了讨论， 对当前各种网络流量测量技术和模型进行研究，并归纳了不同网络流量测量技术 的特点和各种流量测量模型的设计思想。 2 ) 网络报文捕获技术的研究 研究当前网络报文捕获的相关理论和技术，对n d i s 相关知识进行了详细的 研究，对当前w i n d o w s 平台下最流行的网络报文捕获软件w i n p c a p 进行了详细地 分析，最后得到高速网络报文捕获技术的需要解决的关键问题。 3 ) 流量分类算法的研究 为了能得到网络流量的重要的行为特征，需要对网络流量进行分类，我们对 流量分类技术和算法做了相关的研究。我们研究了一些常见的流量分类算法和 h i c u t s 启发式流量分类算法，通过测试获得该算法在高速网络环境下的性能分析 结果。 4 ) 大规模流量测量系统的设计实现和测试 进行了大规模流量测量系统的结构设计与系统实现。详细对系统管理调度模 块、网络报文捕获模块、数据包分析模块和日志记录模块进行了阐述，最后对流 量测量系统进行tn 试。 1 2 作者的主要工作 l 、对流量测量系统的需求做了详细的分析； 2 、阅读了大量网络流量测量的体系结构、网络协议分析、网络流量测量技术， 网络报文捕获技术、流量分类算法等相关资料及相关的学术论文并对其进行了深 电子科技大学硕士学位论文 入的研究和分析： 3 、研究和分析了当前网络流量测量系统的方法和原理，并依照需求分析，对 系统进行了设计和实现； 一 4 、对实现网络流量测量系统的关键技术，如网络报文捕获、流量分类算法进 行了分析研究，并实现了这两个关键技术。 5 、实现了各个模块的功能，完成了大规模网络流量测量系统，对该流量测量 系统进行功能和性能测试。 1 3 本文的章节安排 本论文内容安排如下： 第一章，绪论。主要介绍了本课题研究的内容、目标和作者的主要工作。 第二章，网络流量测量的研究。首先讨论对流量测量进行研究的背景和现实 意义。介绍了网络测量的发展，对网络测量技术进行了概述，详细分析了网络测 量的方法。对主要网络性能指标定义及指标的分类进行了讨论；研究了当前各种 主要的的网络流量测量方法和流量测量体系结构。 第三章，网络流量测量关键技术的研究。本章着重对时延测量、丢包率测量 和数据抽样方法等关键技术进行了详细阐述和分析研究。 第四章，网络报文捕获技术研究。本章首先分析了报文捕获技术的要求与特 点，然后对捕获技术进行了研究，对n d i s 原理进行了详细的描述，重点对系统 使用的w i n p c a p 进行了分析和研究。 第五章，流量测量系统的设计与实现。先对系统的功能需求和系统总体架构 进行了阐述，然后对介绍了流量测量系统中主要功能模块的设计和实现，最后对 系统进行了测试。 第六章，全文总结。对本文所做的研究和工作进行了总结，然后分析了本课 题需要进一步研究的工作。 2 第二章网络测量概述 第二章网络测量概述 2 1 网络流量测量研究的背景与现实意义 在上个世纪后半期内，互联网技术的发展非常得快，可以说是日新月异，特 别是基于t c p i p 协议的互联网的在各个领域上的应用，涵盖了娱乐、商业、教 育、科技等领域。它的在一定程度上地改变了人们生活的方式。互联网技术发展 到当今所创造价值，可以说是人类历史上的的一项非常伟大的发明。 互联网能够取得如此大的成功的一个主要原因是t c p i p 协议的开放性，由于 其很好的开放性使得互联网融入了各种不同的网络体系，使得互联网变得越来越 复杂。这样我们对互联网的了解变得非常困难，从而对互联网的内在规律和工作 状态知之甚少，使我们对互联网的分析和管理越来越困难。因此我们这就需要对 我们对t c p i p 网络的性能和行为进行测量，对口网络的状态进行准确的评估。 网络测量目的是通过对网络流量的测量和网络运行状况的正确的判断，为网络性 能提升、网络结构设计的优化和网络的规划提供参考依据。而网络测量就成为正 确认识与充分理解互联网的最基本手段。 由于互联网的发展迅速等各种原因，人们对网络行为和性能的测量没有给与 应有的重视。特别在近期互联网技术的发展异常迅速，各种各样的网络应用随之 大量出现，因此也随之出现很多研究机构研究开发对互联网实施监测和测量的技 术。网络测量技术，特别是对网络性能测量技术的研究，已成为当前计算机网络 领域重要研究热点之一。 目前，国际上许多科研组织和大学都成立了与网络测量相关的组织，建立了 多个网络测量体系，借助其广泛分布的测量站点，在全球范围内对互联网的性能 状况进行测量和研究。美国的n i m i ( 美国互联网测量基础设施) 的目标是要建 立一个全球范围内的大规模的互联网测量体系。n i m i 与其他网络测量体系相比， 侧重点是构建一个网络性能测量的系统架构，而不仅仅是测量专门网络特性的参 数。s u r v e y o r 在全球众多高等教育和研究机构部署了专用的网络测量设备，从而 建立网络测量体系。s u r v e y o r 以i e t fi p 性能测量工作组制作的标准为基础来测 量互联网路径的性能，同时对测量方法和测量工具进行研究并改进。s u r v e y o r 使 用全球定位系统进行时钟同步，在数据库中保存测量结果并作进一步分析。 电子科技大学硕士学位论文 此外还有其他的一些网络测量体系，例如m o a t ( 测量和运行分析小组) ， i e p m ( 互联网端到端性能监测) ，n w s ( 网络气象服务) ，p p n c g ( 粒子物理网 络协调小组) 等。 网络的流量测量与估计，对于网络服务提供者、网络管理人员都有非常重要 的指导意义。对网络服务提供商来说，通过流量测量与预测，可以了解网络之间、 a s 之间的网络流量情况及其发展趋势，所获得分析得到的测量数据可以用于网 络优化中，更好地进行流量负载均衡和路由的设计。通过网络流量测量，网络服 务提供者可以采用更为灵活的计费方式。对网管人员来说，通过对网络流量的测 量与估计，可以对网络拥塞进行有效地控制，这样就就能降低因网络拥塞带来的 数据包丢失和延迟，从而充分地利用网络资源并提高网络服务质量。 2 2 网络测量技术分类 2 2 1 主动测量技术 主动测量技术是由a m p ( 主动测量项目组) 机构提出的网络流量测量方法。 这种流量测量技术是在互联网系统中，利用向网络中发送数据包、分析数据包并 利用分析结果来分析互联网的行为特征。因为主动测量技术会产生附加的网络流 量，利用这些流量测量网络并提供给其他用户各项参数，包括丢包率和环路时延 等。这些流量可能是为了引发某些网络设备的特殊响应，也许是为了查看网络为 流量提供服务类型的性能。在主动测量过程中，我们可以设计测量流量，以一定 的方式产生并发送到网络中，如泊松分布、独立分布、马尔科夫链等等。 数据包的环路时延测量是运用类似p i n g 的程序方法，根据不同的数据包设计 发送方式，每隔一个时间段进行一次。该测量方法对每台被测主机发送i c m p 响 应包，然后等待i c m p 的回应包，记录每个站点的测量延迟。发现或者诊断一个 站点故障的最好方法之一就是查看环路时延图标的变化状况，这些变化表明了路 由或者配置上的变化所引起两个站点间环路时延的改变情况。 主动测量意味着网络流量测量过程中将产生新的网络业务流量。主动测量给 网络增加了流量载荷负担，特别是如果没有详细设计使得该测量方法产生的网络 流量最小，那么该网络流量会严重干扰网络，使测量结果产生很大的误差。如： 为- f n 量在口网络云中瓶颈链路的带宽，而周期性地向被测路径发送大量的t c p 流量，那么由此产生的流量可能会产生h e i s e n b e r g 效应，而使得通过该网络云到 达这点的路径拥塞，导致测量所得的吞吐量低于瓶颈链路的实际带宽。 4 第二章网络测量概述 跟踪和可视化互联网拓扑结构也是主动测量方法最主要的应用之一，由 c a i d a 开发的动态测量工具s k i t t e r 可用于动态发现和绘制全球互联网拓扑结构。 同时主动测量技术还能够发现网络的一些特别规律，例如发现互联网端到端的时 延分布具有重尾现象。互联网的健壮性和可靠性主要取决于网络服务商提供的网 络可靠的路由，互联网路由行为的研究会在很大程度上影响网络软件和硬件的性 能以及操作策略。主动测量方法应用在其他领域的范围很广，例如：估计疋地址 的使用率，路由的不稳定性和不对称性，按网络地址前缀长度的流量分布，边界 网关协议路由表空间使用效率。 2 2 2 被动测量技术 性睦r ：苴 珏属示 仅帕n , - l d i 一 图2 1 网络被动测量结构 另外一种重要的流量测量方法是被动测量，其结构如图2 1 所示。在被动测 量方式中记录网络活动的探针被接入到网络中的某个节点上，在大多数情况下， 被连接到网络节点之间的链路上，然后使用网络数据包过滤器捕获流经该节点的 网络数据包，分析并记录该流量的数据。因为网络数据包过滤能够捕获网络数据 包而不对网络造成重大的影响，因而运用被动测量能够避免的网络流量负载和 h e i s e n b e r g 效应。 被动测量利用网络设备监测通过它的网络流量，这些网络设备有的是专用的， 有的是嵌入其它设备( 例如防火墙、路由器和交换机) 之中。网络流量测量软件 每隔一段时间查询被动监测设备并收集数据( 在s n m p 方式中，从m i b 中采集) ， 从而判断当前网络的状态和性能。 电子科技大学硕士学位论文 被动测量是在网络中的某些节点收集网络流量信息，如利用交换机或路由器 采集数据或者使用一个专用的网络设备监测网络的流量信息。被动测量能够完全 避免附加流量和h e i s e n b e r g 效应，这些优点使我们更愿意使用被动测量技术。但 是有些测量指标利用被动测量很难获得：如判断数据包所经过的路由。然而被动 测量的这些优点使得我们在开始流量测量之前应该优先考虑被动测量方式。如果 我们所关心的不是整个互联网的路由，而是自治域之间的路由，这样就能够监测 两个对等边界网关协议之间的网络流量，因为这些流量中包含所有的自治域之间 的路由信息。被动测量方式遇到的另一个重要问题是当前提出的要求确保安全和 隐私问题。 网络流量测量是发送大小不同的报文，收集到的数据可以对网络进行各种流 量分析，如：网络流量中各种应用的数据、报文发送和到达时间、报文的大小分 布和路径长度等，利用这些网络流量行为的分析结果可以帮助我们设计下一代互 联网设备和体系结构。 另外，被动测量还有很多其它的应用，例如：识别、刻画和跟踪网页缓冲： 流行协议和应用使用的变化；拥塞控制算法的有效性；网络体系结构的安全危害； 流量增长是由于每个用户流量的增加还是增加了用户：新的技术和协议( 如：组 播和i p v 6 ) 的渗透力和影响。以上的被动测量应用是互联网流量行为研究的主要 内容。 有时为了需要从所收集的数据信息中提取某些参数我们需要借助于主动测量 方式。并且，被动测量方式是应该保持尽可能小的丢失率，否则测量的数据很难 对网络性能做出精确的估计。但随着网络流量传输速率的不断地加快，保证不丢 失数据变得越来越困难，一种可行的解决方法是使用网络流量抽样技术。网络流 量抽样技术将在第三章进行研究。 2 3 网络性能指标体系 参与制订网络测量的组织或机构有：互联网工程任务组( i e t f ) 的i p p m ( 碑 p e r f o r m a n c em e t r i c s ) ，b m w g ( b e n c h m a r k i n gm e t h o d o l o g yw o r k i n gg r o u p ) ， r m o n m i b ( r e m o t em o n i t o t i n gm i b ) ，i t u - ts g l 2 、s g l 3 等，此外i e t f 的p s a m p ( p a c k e ts a m p l i n g ) 和i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 也定义了有关的度量。 i e t fi p p m 制定了i p 性能度量的框架。文献【i 】分别从测量的内容、协议层次和测 试范畴对网络性能指标进行了分类。i p 网络是由链路、节点，运行于其上的协议 6 第二章网络测量概述 以及各种应用组成，可以将测量指标分为以下几类： ( 1 链路性能测量指标 网络链路指标包括： 带宽：单位时间内所能传送的比特数，包括链路的可用带宽和容量。 带宽利用率：实际使用的带宽与链路容量的比率。 信道利用率：一段时间内信道处在占用状态的时间与总观察时间的比值。 链路的帧传输延时：包括在末端节点的排队时延和链路上的传播时延之和。 ( 2 ) 端到端测量指标 端到端路径指标包括一条端到端网络路径上所对应的协议层次上的性能指 标。包括： 瓶颈带宽：端到端路径上的最大带宽( 容量) 。 可用带宽：端到端可用带宽是指一条端到端路径在不降低竞争业务吞吐率的 前提下能给一个新的流提供的最大带宽，即最大剩余带宽 时延：数据分组在网络中传输的延时时间( 包括单向时延和往返时延) 。 时延抖动：连续的数据分组传输时延的变化。 丢包率：端到端路径上分组丢失的比率。 ( 3 ) 网络性能测量指标 网络性能指标包括网络边界上入、出端点对之间的性能指标和网络整体所体 现的性能指标。两个端点之间的性能指标是网络的基本性能指标，通过对这些基 本指标进行综合分析、计算，可得出网络整体性能指标，例如网络分组丢弃率、 网络吞吐量、网络互连通性等。 其他的性能指标，例如丢包、延迟、延迟抖动等，是在确定带宽的网络中某 种流量负载下的性能表现形式，可以用作流量分配和网络规划的性能需求的衡量 标准。例如已知网络承载主要应用的q o s 要求，即丢包率、延迟、延迟抖动不能 超过某个阂值，估计业务的时间模型和流量地点分布即可通过仿真的方法对网络 的容量进行规划设计。对于在运行的网络，可以通过调整流量和带宽等改进q o s ， 并通过性能参数的测量验证调整的效果【2 1 。 2 4 常用的网络流量测量方法 2 4 1r m o n 电子科技大学硕士学位论文 r m o n ( r e m o t em o n i t o r i n g ) 即远程网络监控，远程网络监控设备通常被称 为监控器或探针，是一种仪器，其目的是管理或者监测网络。通常，这些远程探 头是独立的设备并且投入大量内部资源专门管理网络。一个组织可以使用大量的 这些设备，最多可以每网段设置一个监控设备来管理网络。此外，这些器件可用 于管理地理远程网络，例如，为服务供应商的网络管理支持中心来管理客户网络， 或着为企业的中央支持组织管理远程站点。 因为r m o n 监控装置专门设计的探针，并致力于实现远程监控的m m ( 管 理信息库) 模块。然后把r m o n 的功能模块加入到网络集线器、交换机或路由器 中。r m o n 加载到特定的网络软件设备中，然后发挥其监控的功能，或者加载到 应用软件中，这些软件可在服务器或客户端上运行。尽管r m o n 的各种不同的应 用方法，r m o n 在每一个服务上作为一个专门的网络管理资源的功能，可用于各 种监控行为如长期的数据收集和分析。 r m o n 的目标是：脱机操作，有时，管理站不能保持持续与它的远程监控装 置联系。这可能是设计以降低通信的资源消耗( 尤其是在广域网或拨号连接通信 中) ，或意外的网络故障影响管理站和探针之间的通信；主动监控：鉴于现有资源 的监测，这可以帮助它不断运行诊断和记录网络性能。能够保证监控器在出现任 何故障总是可用的。它能够通知管理站所发生地故障并且可存储故障的历史统计 信息。管理站可以重新回放这一历史信息，以进行进一步诊断问题发生的原因； 问题的发现和报告，监控器通过配置来识别的情况，尤其是错误条件，并不断监 测错误条件。当任何一个错误条件发生时，该事件可能会记录下来，管理站就可 能被告知发生错误。 2 4 2s n m p s n m p ( t h es i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 架构模型是网络管理站和 网络元素组成的一个整体。网络管理站执行管理应用软件来监视和控制网络元素， 网络元素是如主机、网关和终端服务器等，这些网络管理代理负责执行网络管理 站所要求的网络管理功能，。简单网络管理协议( s n m p ) 是用来使网络管理站和 在网络元素中的网络代理之间进行传输管理信息。 简单网络管理协议( s n m p ) 是一个应用层协议，是用来使网络设备交换管 理信息。它是传输控制协议因特网协议( t c p i p ) 协议的一部分。s n m p 可以使 网络管理员对管理网络性能进行管理，发现和解决网络问题，并规划网络的发展。 8 第二章网络测量概述 s n m p 管理的网络包括三个主要部分组成：被管设备，管理代理，和网络管 理系统( n m s s ) 。 被管设备是一个网络节点，其中包含一个s n m p 代理，并驻留在被管理的网 络中。被管理设备收集和储存管理信息，并通过使用s n m p 为网络管理系统 ( n m s s ) 提供这该信息。被管设备有时也称为网络元素，如路由器和接入服务 器、交换机、网桥、集线器和电脑主机等。 s n m p 代理是一种网络管理软件模块，驻留在被管理的设备中。s n m p 代理 拥有本地管理信息，并且可以将这些管理信息转化成兼容s n m p 协议的格式。 一个网管系统执行的应用程序进行监测和控制管理的设备。网络管理系统 ( n m s s ) 为网络管理的需要提供大量的处理和存储资源。任何被管理网络必须 有个或多个网络管理系统( v i s s ) 。 2 4 3n e t ffo f f n e t f l o w 是思科公司提出的一种测量技术，n e t f l o w 的服务是从他们的数据网 络中给网络管理员提供访问口流量信息的服务。网络元素( 如路由器和交换机) 收集流量数据和发送给收集器。所收集的数据为高度灵活的且详细的资源使用的 统计提供了细粒度的计量。 流的定义是通过网络设备具有一些共同的属性的单向数据包序列。这些收集 到的流被发出到外部设备，即n e t f l o w 收集器。网络流量的高度细化，例如，流 记录包括如地址、数据包和字节数、时间戳、服务类型( t o s ) ，应用端口，输 入和输出接口等详细的参数。n e t f l o w 流量采集系统模型如图2 2 所示： 9 电子科技大学硕士学位论文 q 路由器 工作站 图2 - 2n e t f l o w 的流量采集过程 ( 1 ) 在路由器和交换机上定制n e t f l o w 流输出：选择输出流的版本、个数、 缓冲区的大小等，并配置相应n e t f l o w 收集器( n e t f l o wc o l l e c t o r ) 的地址、 端口等信息。此时交换机或路由器可以以u d p 的方式向外发送流信息。需要注意 的是在交换机或路由器上是以端口为单位来开启n e t f l o w 的。 ( 2 ) 在n e t f l o w 收集器端配置接收端口号、过滤策略、设置汇聚、格式等参 数、流量文件存放目录。该采集器既可以采用c i s c o 公司的软件n e t f l o wc o l l e c t o r ， 又可以基于l i n u x 平台的c f l o w d 。 2 4 4s fio w s f l o w ( i 强c3 1 7 6 ) 是一种监测通过交换机和路由器数据的网络流量的技术。 特别是，它为监测网络流量定义了在s f l o w 代理中实现的取样机制，还设置了 s f l o w 的管理信息库( m i b ) ，其用于控制s f l o w 代t 里( a g e n t ) ，和s f l o w 代( a g e n t ) 所使用的样本数据的格式，用于向中心数据收集器转发数据。s f l o w 监测系统的 架构和所使用抽样技术的设计是为了高速交换和路由网络提供持续站点范围或者 网络范围内的流量监控。通常的s f l o w 流量监测系统模型如图2 3 所示： 1 0 第二章网络测量概述 s f l o w 采集器 图2 - 3s f l o w 流量采集系统模型 s f l o w 网络监控系统包括一个( 嵌入在交换机或路由器中) 和一个中心数据 收集器或s f l o w 分析器。 s f l o w 代理( a g e n t ) 使用的采样机制，在正在监测的装置设备中捕获流量统 计数据。s f l o w 数据报立即转发取样量统计数据给s f l o w 分析器( a n a l y z e r ) 进 行分析。 s f l o w 分析仪使用s f l o w 管理信息库( s f l o wm i b ) 来控制s f l o w 代理，s f l o w 代理( a g e n t ) 使用s f l o w 数据报格式给s f l o w 分析器发送流量数据。 s f l o w 的目标是：( 1 ) 更准确的监控网络流量以千兆的速度和更高速的；( 2 ) 管理单点上千上万的代理( a g e n t ) ：( 3 ) 很低代理运行开销。 2 5 网络流量测量的体系结构 流量测量体系结构【3 】【4 】【5 1 如图2 - 3 所示： 电子科技大学硕士学位论文 图2 3 流量测量体系结构 m a n a g e r ( 管理器) ：流量测量管理器配置m e t e r ( 测量器) 实体，控制 m e t e rr e a d e r ( 测量读取器) 实体。它向m e t e r 发出的配置命令，并监督 正常运作的每m e t e r 和m e t e rr e a d e r 。在一个单一的网络实体内可以很方 便地把m e t e rr e a d e r 和m a n a g e r 功能结合起来。 m e t e r ( 测量器) ：测量器被设置在网络操作人员确定测量点。每个测量器 根据其配置设置有选择地记录网络活动。它也可以在数据存储之前汇总并进一步 处理的所记录的网络行为。处理和储存的结果被称为“使用数据 。 m e t e rr e a d e r ( 测量读取器) ：测量读取器传输测量器中存储的数据，从 而可以用于分析应用。 a n a l y s i sa p p l i c a t i o n ( 分析应用) ：分析应用处理“使用数据 ，从而可 以为网络工程和管理信息报告提供提供资料和报告。包括：流量矩阵，显示在一 个网络内的许多可能路径内的总流量；流量频率分布，计算一个时间段内的的流 量；“使用数据显示特定的主机总发送和接收的总流量。 ( 1 ) m e t e r 和m e t e rr e a d e r 之间的关系 他们之间是通过“使用数据 进行信息交互的。m e t e r 拥有的“使用数据 是以数组流数据记录形式，被称为流量表。m e t e rr e a d e r 可能以任何适当方 式收集的这些数据。例如它可能使用文件传输协议上载整个流量表的副本，或在 某个时间使用一个合适的数据传输协议阅读当前流量集中的记录。请注意， m e t e rr e a d e r 无需读取整个流数据记录，一个子集的属性值很可能足够了。 m e t e rr e a d e r 可能会从一个或多个m e t e r 收集“使用数据 ，并且可以在任 何时间从m e t e r 收集数据，而且不需要任何同步方式。 ( 2 ) m a n a g e r 和m e t e r 之间的关系 m a n a g e r ( 管理器) 负责配置和控制一个或多个m e t e r 。每m e t e r 的 1 2 第二章网络测量概述 配置包括以下信息： 流量说明，例如其中哪个流量要被测量，它们是如何被汇总，每个要被测量 的流量的任何数据需要m e t e r 计算。 m e t e r 控制参数，例如：流量的不活动时间( 如果没有数据包属于某个流 被则视为这个时间，流量被认为已经结束，即已经成为闲置) 。 抽样行为，通常每一个数据包将被观察。它有时可能需要使用抽样方法，以 观察其中的一部分数据包。 m e t e r 同时可分别为一个或更多的m a n a g e r 运行多个规则集，并且任何 m a n a g e r 可以为m e t e r 下载流量说明( 即规则集) 。则应由m a n a g e r 下载 该规则集后，控制参数才能被设置。 应该指定一个m a n a g e r 为m e t e r 的主控制者。参数，如抽样的行为，影 响了整体m e t e r 的操作，所以只应由主m a n a g e r 设置。 ( 3 ) m a n a g e r 和m e t e rr e a d e r 之间的关系 m a n a g e r 管理器负责配置和控制一个或多个m e t e rr e a d e r 。m e t e r r e a d e r 只可能被一个m a n a g e r 控制，m e t e rr e a d e r 需要至少知道关于每个 其“使用数据来源的m e t e r 的下面的信息： m e t e r 的唯一d ，即它的网络名称或地址。 多久从m e t e r 收集一次“使用数据 。 哪些流量记录应收集( 例如，所有的流，特定的规则集的流，自某一时 间活动的流等) 。 所需的流记录哪个属性值将被收集( 例如，所有的属性，或一个属性子 集) 由于冗余的报告可用于以增加“使用数据 的可靠性，必须考虑多个实体之 间的数据关系。 ( 4 ) a n a l y s i sa p p l i c a t i o n 和m e t e rr e a d e r 之间的关系 一旦m e t e rr e a d e r 已经整理了所收集的“使用数据 ，它可以通过分析应 用( a n a l ，y s i sa p p l i c a t i o n ) 处理。分析应用的细节_ 如他们产生的报告和 他们需要的数据，是这个结构范围以外的。 2 6 本章小结 本章介绍了网络测量的发展历程，对网络测量技术进行了概述，详细分析了 网络测量的方法，主动测量和被动测量。从测量工具的研究和测量基础设施的建 电子科技大学硕士学位论文 设等方面阐述7 n 量研究的进展；对主要网络性能指标定义及指标的分类进行了 讨论；最后讨论了几个流量测量的方法和网络流量测量体系结构。 1 4 第三章网络测量的关键技术的研究 第三章网络流量测量的关键技术的研究 3 1 时延测量研究 当一个网络报文从源到目的传输时，要从一台主机( 源) 出发，经过一系列 的路由器传输，最后到达另一台主机( 目的) 。网络报文传输的这个过程中要经受 几种不同的时延，这些时延中最为重要的是节点处理时延，排队时延、传输时延 和传播时延，这些时延的总和就是网络报文的时延。其中传播时延和传输时延称 为固定时延；处理时延和排队等待时延称为可变时延。 影响网络数据传输时延的主要因素分为三大类： ( 1 ) 网络本身的性能，即完全独立于网络测量方法，仅与网络本身的硬件 特性相关的部分，包括网络的物理层介质、传输所需的路由转发等分组处理的次 数和速度、网络的数据链路层协议的不同实现方式等。 ( 2 ) 测量数据包的特定性能，这与网络具体的测量方式密切相关，主