（信号与信息处理专业论文）ip网络流量测量的研究与应用.pdf

p 网络流量测量的研究与应用 摘要 理解和掌握网络行为对于网络管理和网络规划都有重要意义。网络 流量测量是网络测量技术中的一种。对因特网上的流量进行监测和分析 是我们研究因特网的流量特征、分析网络状况的有效方法。如果我们要 更好地监视当前网络行为、分析历史趋势、规划网络，除了要进行数据 采集，还要对采集并存储到数据库里的流量数据信息进行深度挖掘和恰 当的分析，以合理的方式呈现出来，供用户获取隐藏在数据背后的真正 有用的信息。 本文首先介绍了当前对网络流量测量的各种需求，根据测量数据 流时要考虑的四个因素给出了应用比较广泛的流定义方法，分析和比 较j 流量测量方法的各种分类，介绍了网络流量测量的相关标准及标 准中提出的流量测量参考模型。 接着，重点论述了网络流量测量的体系结构。这个体系结构从数据 工程的角度考虑，将网络流量测量体系结构从低层到高层分为数据采 集、数据管理、数据分析和数据呈现这四个部分。在这个基础上，着重 论述j ，这一体系结构中的数据分析和数据呈现两个方面的内容。在对网 络流量数据进行深入有效的分析方面，我们讨论了统计学和数据挖掘的 数据分析方法。先分别介绍了这两种数据分析方法，再对这两种数据分 析方法进行了比较，给出了它们之间的联系和区别。之后，我们提出如 何应用数据报表进行数据呈现的问题。在这个部分，详细分析了与数据 报表相关的各方面因素：先分析了如何根据不同的因素和指标对报表进 行分类；接着分析了列式、行式和图表式等三种报表显示格式，通过比 较和分析这三种格式，并结合网络流量数据的显示需求和特点提出了呈 现网络流量数据的最佳报表格式：最后部分，介绍了用来承载数据报表 的各种文件格式，分析了它们的优点和缺点，通过对这几种文件格式的 详细比较提出了在各种情况下选择文件格式的方案。 最后，介绍了实现网络流量监控系统的报表引擎的整个开发过程。 详细介绍了从总体设计、详细设计到具体实现的研究开发过程，对各 个1 ：要功能模块进行了介绍，对开发中碰到的各种技术问题以及解决 j j - t 去进行了论述。具体地，先介绍了开发报表引擎的背景和环境；在 了解了用户对报表引擎的需求和技术要求的基础上，提出了报表引擎 的总体设计方案。接着根据这个总体设计方案得出了报表引擎的工作 流程，对这个工作流程进行细化得到了详细的工作流程图。然后根据 详细工作流程图，划分了各个具体的功能，设计了封装这些功能的类 和接口。再得出了这些类和接口的关系图。最后，对每个功能模块的 实现和各种模块中碰到的一些技术问题进行了说明。 关键词：网络流量测量数据分析数据报表报表引擎x m l 模板 t h er e s e a r c ha n d a p p l i c a t l 0 n 0 ni pn e t w o r k t r a f f i cf l o wm 匝a s u r e m 哐n t a b s t r a c t i t s m e a n i n g f u lt ou n d e r s t a n d a n dm a s t e rb e h a v i o ro ft h en e t w o r kf o r m a n a g e m e n ta n dp l a n n i n g n e t w o r kt r a f f i c f l o wm e a s u r e m e n ti s o n e t e c h n o l o g yo f t h en e t w o r km e a s u r e m e n t i t sa ne f f e c t i v ew a yf o ru st o r e s e a r c ht h ea t t r i b u t eo ft h en e t w o r kt r a 伍cf l o wa n da n a l y z et h es t a t u so f t h en e t w o r kb yt r a 雎cf l o wm e a s u r e m e n ta n dm o n i t o r i n g i fw ew a n tt o m o n i t o rt h eb e h a v i o ro ft h en e t w o r k ，a n a l y z eh i s t o r i c a lt r e n da n d p l a nt h e n e t w o r kb e t t e r , b e s i d e sc o l l e c t i n gt r a 衔cf l o wd a t af r o mn e t w o r k w em u s t d e e p l ym i n e ，c o r r e c t l ya n a l y z ea n dp r o p e r l yp r e s e n tf l o wd a t aw h i c h h a s b e e nc o l l e c t e da n ds a v e di nt h ed a t a b a s e i nt h i s w a yw ec a np r o v i d e n e t w o r km a n a g e rw i t hi n f o r m a t i o nw h i c hi sh i d e db a c k s i d e i nt h i s p a p e r , f i r s t l y , w e i n t r o d u c e db a s i s p r i n c i p l e ，c o n c e p t i o n ， c l a s s e sa n ds t a n d a r do fn e t w o r kt r a m cf l o wm e a s u r e m e n tt e c h n o l o g y s o m ec u r r e n ta n d p o p u l a rt e c h n o l o g y o fn e t w o r kt r a f f i cf l o w m e a s u r e m e n ti s c o m p a r e d a n d a n a l y z e d s e c o n d l y , w e i n t r o d u c e d a r c h i t e c t u r eo ft h en e t w o r kt r a f f i cf l o w m e a s u r e m e n t ，r e s p e c t i v e l y i n t r o d u c e df o u r p a r t so f t h ea r c h i t e c t u r e t h ef o u r p a r t sa r ed a t ac o l l e c t i n g ， d a t a m a n a g e m e n t ，d a t aa n a l y z i n g a n dd a t a p r e s e n t a t i o n a n d w e i n t r o d u c e da n d a n a l y z e d d a t a a n a l y s i s a n dd a t a p r e s e n t a t i o n o ft h i s a r c h i t e c t u r ew i t he m p h a s i s o nt h ea s p e c to f a n a l y z i n gd a t ao f n e t w o r k t r a f f i cf l o w e f f e c t i v e l y a n d d e e p l y w ed i s c u s s e dt w om e t h o d so f a n a l y z i n gd a t a o n e i ss t a t i s t i c a lm e t h o da n dt h eo t h e ri sd a t am i n i n g w e c o m p a r e dt h et w om e t h o d s a n dt h e nw ep r o p o s e dh o w t o a p p l yd a t a r e p o r tt op r e s e n td a t aa c c u r a t e l y o nt h i sa s p e c t ，w e d i s c u s s e ds e v e r a l e l e m e n t sw h i c ha r er e l a t e dw i t hd a t ar e p o r t t h em a n n e ro fh o wt o c l a s s i f y t h ed a t ar e p o r t b y i t sc o n t e n ti si n t r o d u c e d t h r e ek i n d so f 一 d r e s e n t a t i o nf o r m a ta r ed i s c u s s e d t h et h r e ek i n d s a r ec o l u m nt o r m a t ， r o wo n ea n dg r a p h i co n e t h i r d l y , t h ew h o l ep r o c e s so f d e v e i o p m e n t 0 t r e d o r te n g i n ew h i c h i so n ep a r to f t h en e t w o r kt r a f f i cf l o wa d m i n i s t r a t i n g a n dm o n i t o r i n gs y s t e mi s i n t r o d u c e d t h ep r o c e s sf r o mg e n e r a id e s l g n t o d e t a i l e dd e s i g na n dp r o c e s so fi m p i e m e n t m i o n o fe a c hf u n c t i o n a lm o d u l e a r ei n n l o d u c e d m a i n l y ，w e i n t r o d u c e dt h e f f m c t i o no fe a 。hm o d u i 8 ， d i s c u s s e dt h ep r o b l e mw h i c ha p p e a r e d i nt h ec o u r s eo fd e v e l o p m e n t ， e x l ) a t i a t e dt h ew a y i nw h i c hw er e s o l v e d t h ep r o b l e m k e yw o r d s ：n e t w o r k t r a f f i cf l o wm e a s u r e m e n t ，d a t aa n a y 5 i 3 ，d a t a r e p o r t ，r e p o r te n g i n e ，x m l t e m p l a t e 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教岢机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：逊竖邀日期：山口r 胡 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位沦文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 帮芹向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文 i z 释：本学位论文不属于保密范围，适用本授权书。 本人签名：孙i 最淑 导师签名 日期：。塑堑。参上p 日期：j 岸丛上型二 p 网络流鼙测量的研究与应用 第一章 1 研究背景 第一章绪论 多年来，随着因特网规模的迅速扩大，加上因特网本身也出现了重大的变化， 使因特网的网络测量成为迫切需要解决的问题。在因特网的变化中，最突出的就 是网络从单纯的数据传送发展到多媒体信息传送。这就使得网络流量的形式发生 了极大的变化。人们对互联网的流量特征、性能特征、可靠性与安全性特征以及 网络行为模型等缺乏理解和缺乏精确描述的问题已经严重影响到因特网的发展 和对因特网更加有效的利用，因此网络流量测量技术是目前唯一能用于分析网络 状况、掌握流量特性的有效方法。利用流量测量获得的数据，我们可以实现负载 躲则、胜能分析、网络纠错、网络优化、业务质量监视、用户流量计费、入侵检 测、办议调测等功能，方便地实现对网络管理。且如果用这些网络流量数据进行 行效的历史分析、预测未来趋势、进行正确的决策，就需要将这些己采集并保存 的数据用合适的方式呈现出来。 12 论文结构 根据上面所提到的这样一种数据呈现的需要，我们对网络流量测量技术及其 数据的特点和流量数据的显示进行了研究。网络流量测量数据的呈现方式有两 种：一种是在工作站的屏幕上进行显示，实时地进行监视，进行及时的处理；另 种是用报表的形式呈现，为进行重大的决策和分析，提供可靠的依据等。根据 观阶段实验室的网络流量监控系统只能提供屏幕显示的情况，我们研究开发了网 络流量监控系统的报表引擎，以实现网络流量数据的报表呈现。 本论文围绕开发这一报表引擎所做的各项研究和实践内容展开。具体内容安 排如下：第一章是绪论，简要介绍课题的研究背景以及论文的结构安排；第二章， 介绍网络测量技术的基础理论研究和一些总结；第三章，介绍了网络流量测量的 体系结构，重点介绍和分析了对网络流量数据的分析方法、有关网络流量数据报 表的各方面内容。第四章，介绍了数据报表引擎的设计和实现过程。并且详细叙 述了从总体设计、详细设计、具体实现的全部过程。 第l 页 p 网络流艟测越的研究与应用 第二章 第二章网络流量测量技术 在过去的几年，网络技术的发展包括了两个方面的内容：一方面是构建网络的 羹础技术迅速发展，使得网络不仅包含了早期的低速链路，也新增了很多种类的高 速链路：另一方面是运行于网络上的应用更加丰富，打破了数据业务一同天下的局 蕊，增加了各种各样的新业务流分布于网络中。而且这种复杂的局面仍在不断变化 申， 几们对互联网的流量特征、性能特征、可靠性与安全性特征以及网络行为馍 型等缺乏理解和缺乏精确描述的问题已经严重影响到因特网的发展和对因特网 进行更加有效的利用。因此，许多专家提出应当更加深入地认识现有因特网的一 蝗内在机制。而认识事物的第一步就是要测量它，并用数字表示出来a 由此，“网 络测量”这个新的研究领域应运而生。 2 1 概述 网络测量是获得第一手网络行为指标和参数的最有效的手段。在对网络进行 - 则量和测试的基础上建立网络行为模型，并用模拟仿真方法搭建从理沦到实践的 桥梁，是理解网络行为的十分有效的途径。 在2 0 世纪9 0 年代初期就有人开始研究因特网的测量。1 9 9 5 年美国科学基金 会( n s f ) 系统地进行了因特网通信量的较大规模测量。1 9 9 6 年初，美国应用网络 研究国家实验室( n l a n r ) 在n s f 支持下召开了有关因特网统计与分析的研讨会 i s m a 。此后，依托于美国加州大学圣地亚哥分校超级计算中一t l , 的因特网数据分 析合作组织( c a i d a ) ，对网络测量的相关理论和方法展开了系统性研究。i e t f 也成立了专门的工作组i p p m 来制定i p 网络的运行参数。1 9 9 7 年，v - p a x s o n 的 博士学位论文“因特网的端到端动态性能的测量与分析”成为网络测量领域中的 邛腆文献。 网络测量技术主要有以下三个方面： ( 1 ) 网络性能测量 性能测量的目的是了解网络的可达性、资源利用率以及网络负荷等状况。性能 1 i ? r 矗是进玎网络控制的依据。性能测量的方法包括：监测网络端到端时延、抖动、 丢包率等特性；监测网络设备和链路的负载、可用性及可靠性；监测网络资源利用 第2 页 i p 网络流量测苗的研究与应用 第童 一一= 一 率、带宽使用量等。在获取性能数据后，需根据一定准则进行性能裁定，以决定是 否进行网络控制及控制程度。 ( 2 ) 网络拓扑测量 拓扑删量是网络测量的基础。拓扑指的是网络中设备的连接方式和物理布局。 只有在充分了解网络拓扑结构盼晴况下，才能获知网络流量的分布，确定网络性能 的好坏。拓扑测量可以通过主动发送探测包，对网络避行探测，以得到拓扑结构。 这种主动探测方式具有灵活方便的优点，利用简单的设备即可完成探测工作。 ( 3 ) 网络流量测量 流量测量主要是对网络中的“流”进行测量和分析，以掌握网络的流量特性，比 如： 办议的使用情况、应用的使用情况、用户的行为特征等。“流”的定义是流量工 程一个重要概念。“流”主要包括四个要素：端点、方向、时间粒度和协议层次。流 量测量的内容就是采集数据流的信息，加以分析，用于指导网络资源规划和流量调 攀，以更好地管理网络和改善网络的运行性能。 零文的研究重点是网络的流量测量方面。我们将在下面对网络的流量测量进 行进一步的论述。 2 2 网络流量测量的需求 脚络流量状况是网络中的重要信息，利用流量测量获得的数据，我们可以实 现以下目标： ( 1 ) 负载监测：将流量测量获得的网络流量数据作为输入参数，利用统计 方法和先验知识，通过负载特性分析过程，可以得到网络的当前负载状态。 r ：) 性能分析：利用流量信息，我们可以分析得到网络的性能状况，例如 链路利用率等，以定位和防止网络中的性能瓶颈，提高网络性能。 ( 3 ) 网络纠错：复杂的网络环境和丰富多样的应用类型，往往会导致网络 故障的发生。通过分析流量信息，我们可以判定故障发生的位置和导致的原因， 例如广播风暴、非法操作等，并采取措施解决故障并避免再次发生。 ( 4 ) 网络优化：流量工程的目的是为了优化网络性能，其前提是获取网络 中的流量信启、，在此基础上通过网络控制，例如资源分配、流量均衡等操作， 实现网络优化的目标。 ( 5 ) 业务质量监视：现代网络的面临的紧迫任务是为用户提供可靠的业务 质麓保障。而用户获得的服务质量以及网络供应商可提供的服务能力都必须通 过流量数据分析获得。 t6 ) 用户流量计费：如何在高速宽带网络中实现基于流量的用户计费是目 第3 捉 p 网络漉彗测量的研究与应用 第二章 前网络管理领域的热点问题，实现高效的流量计费解决方案必须依靠流量测量 技术的进步。 ( 7 j 入侵检测：安全问题是网络应用中的一个重要方面，入侵检测系统是 目前保障网络安全的重要手段。入侵检测的一个重要内容就是通过分析网络流 量判定攻击行为，以采取必要的防御措施。 ( 8 ) 协议调测：在进行协议设计和应用开发时，必须经过在实际网络环境 中检验的过程。当新的协议或应用加入到网络中，必须观测它们产生的数据流量， 以判定协议或应用的操作是否正常，是否会对网络性能造成损伤。 2 3 网络流测量中流的概念 流量测量技术关注的对象是网络中的数据流，因此“流”的定义是网络流量测 量中最重要的概念。本节我们将说明在研究数据流时需要考虑的几个主要因素及 应用比较广泛的流的定义方法。 2 3 1 参考因素 在考察流的时候，以下四个因素是主要需要考虑的方面： ( 1 ) 端点 在研究流量的时候，我们首先要考虑的是数据的发送者和接收者，它们分别 埘惠了流的两个端点，我们可以将这两个端点分为源端和目的端。与此相应的， 个流的定义可以是只考虑一个端点，或者两个端点均包含在内。 例如，在a 与b 之间存在数据传输，我们可以将所有从a 发往b 的数据包作为 一个流，而从b 发往a 的数据包视为另一个流，这就是只考虑一个端点的流定义： 与此相反，我们可以将a 、b 之间传输的所有数据包均作为一个流看待，这就是 包岔两个端点的流定义。 在具体实施时，我们需要通过一定的参数区分端点，这些参数与测量流量的 层次相关。例如，在以太网链路层，可以仅仅通过m a c 地址区分端点；而在传 输层上，我们就需要采用i p 地址、协议类型和端口号的组合以区分端点。 ( ! ) 方向 流的方向性通常包括两个方面，发出的数据和接收的数据。在研究具有双向 陀的数据传输时，例如基于t c p 的应用，从源端发往目的端的数据必然导致反向 的数据流，在这种情况下即要将双向的数据视为一个流。而在测量仅存在单向 数据的传输过程时，例如基于u d p 的单向视频播放，只需将单向的数据作为一“ 个流。， t3 ) 时矧粒度 第4 页 p 网络流量测量的研究与应用 第二章 流的另外一个重要属性是时闯粒度。在进行流量测量时，测量数据的使用者 和测量的目的可能各有不同。有可能是网络管理员希望了解某台交换机每秒通 过的数据量，也有可能是一个用户希望知道他在过去的一小时使用的网络流量， 还有可能是网管人员希望获得某段骨干网络每个月的数据流量，以分析网络性 能；由于这些差异，导致在进行流量测量时昀时恻粒度有所不同。 ( 4 ) 协议层次 目前的网络是依据分层模型构建起来的，自然导致了我们在进行网络分析和 管理的时候采取分层的方法。如果只在一个层次上定义流，无法满足不同协议 层次的管理需要，因此在这些协议层次上对流的定义也各不相同。 232 定义 在综合考虑以上各种因素的基础上，我们可以给出一个比较通用的“流”定 义：流是一系列通过网络中某一观察点的具有相同属睦的数据包，这些属性包括 端点、方向、时间粒度、协议层次。 这个定义包含两个方面的含义：一方面是流包含的数据包信息是通过一个确 定的观察点获得的，这个观察点可以是一个设备，也可以是一个网络；另一方面， 掏成一个流的所有数据包在以上四个属性具有相同的特性。 2 4 网络流量测量方法的分类 2 4 1 硬件测量和软件测量 流量测量技术首要的分类方法是划分为基于硬件和基于软件的两类。 基于硬件的流量测量通常采用硬件测量设备，称为分析仪，它是一种为特定 目的设计的用于收集和分析流量数据的硬件设备。基于硬件的流量测量效率很 高，专用性强，但是存在价格昂贵、与网络接口类型和测试目标协议相关、对使 用人员的要求较高的缺点。 硬件测量技术的一种典型例子是f l u k e 公司的o p t i v i e w 链路分析仪。它是基 r 专用集成电路( a s i c ) 实现的流量分析仪，提供o s i 参考模型全部七层的实时 流量监测。可以在千兆以太网链路上进行实时的流量分析，能够实现交换式以太 网链路的分布式流量分析，具有全双工在线流量分析能力，并且可以通过浏览器 或t e l n e t 进行设置。该分析仪是目前在干兆以太网领域进行流量测量使用比较普 遍的硬件测量工具。 基于软件的流量测量一般通过修改安装于主机上的操作系统的网络接口模 块，使之具有捕获数据包的功能，以实现流量信扈、的收集和分析。基于软件的流 第5 页 p 网络流量测量的研究与应用 第二章 璧测量具有价格便宜，实现灵活，可扩展性强的优点，但是其性能要低于基于硬 件的测量技术。 软件测量技术的典型例子是u n i x 下的t c p d u m p - 软件，它是基于b e r k e l e y 包过 滤器( b p f ) 实现的t c p i p 数据包捕获工具。t c p d u m p 可以将网络中传送的数据 包的色头完全截获下来进行分析。它支持针对网络层、协议、主机和端口的过滤， 并提供与、或、非等逻辑语句实现信息过滤，是目前应用最广泛的软件流量测量 工具。t c p d u m p 在w i n d o w s 操作系统下的变形应用是w i n d u m p ，其功能和使用 方法与t c p d u m p 类似。另一个应用比较普及的流量测量软件是s n i f f e r p r o 。 s n i f f e r p r o 是一个功能十分强大的流量测量软件，它能够抓取网络上的所有数据 坦，t 1 白定义过滤器，并将收集的数据包分析后转化为图表和报告形式输出，可 以很方便地了解网络状况。 242 主动测量和被动测量 流量测量技术的另一种分类方法是按照测量工具是否向被测网络中发送数 刿进7 7 钏分，分为被动测量和主动测量两种= 破动测量只记录可在观测点观察到的数据，而观测点本身不产生任何数据送 入被测网络中。被动测量是大多数测量工具采用的方法，例如t c p d u m p 和 s n i f f e r p r o 等工具。这种方式可以有效地获取网络中的流量信息，而不会因为测 墼动怍对被测网络产生影响。 主动测量则需要发出测量数据包，通过测量数据包在网络中的处理和响应结 粜获知网络的流量状态信息。主动测量方式是为了弥补被动测量不能主动探测网 络的动态变化的不足而产生的。主动测量具有响应速度快、适应性强的优点，但 是会增加网络的负载，使用时需要注意测量的频度。主动测量的典型例子是利用 p i n g _ l = 具测量到达某个特定节点的网络时延。 243 在线测量和离线测量 按照测量工具对测量结果进行分析的方式进行划分，可以分为在线测量和离 线测量两种类型。 在线测量工具不仅可以实时收集网络流量数据，还可以立即对收集的数据进 行分析，并实时输出分析结果。这对测量工具的能力有很高的要求，一般只有硬 件测量工具爿能做到。近年随着个人计算机处理能力的增强，很多软件测量工具 也能做判一定程度的实时分析，例女 i s n i f f e r p r o 等。 蓦线测嚣_ ： ：具只能将收集到的流量数据保存下来在需要的时候进行离线分 昕。这种方式实现比较简堆，流量数据的收集和分析工作相对独立，有利于进行 灵活的结果分折。例如我们可1 2 1 ： l j n t c p d u m p 2 1 2 具已录下网络中的流量信息，在 第6 页 p 网络流量测量的研究与应用第二章 适当的时候利用保存f 来的数据进行各种分析工作。 244 局域测量和广域测量 从流量测量面向的区域对象来看，我们可以将流量测量分为局域测量和，域 测量。局域测量针对局域网进行流量测量，广域测量的日标是广域网络。 局域测量的实现通常比较简单，因为局域网络般都由一个统一的管理机构 进行管理，并且构建局域网的基础技术一般都比较单一，例如采用以太网技术。 因此在局域网中简单地部署测量设备即可实现流量测量。 广域网络的环境比较复杂，其中既包含了各种不同的基础技术，例如以太网、 a t m 、帧中继等，有可能由不同的机构进行管理，因此广域测量比较复杂。其 复杂性主要体现在两方面：一方面是收集流量数据比较复杂，不仅需要考愚获得 j 删量数据的安全性和有效性，还要考虑观测点分布的合理性；另一方面是流量数 据的分析比较复杂，其关键在于如何获得广域网的全局流量信息，而不汉仅是局 部的状况。m r t g ( m u l t i r o u t e r t r a m c g r a p h e r ) 是目前进行广域测量的有力工 j 之一 m r t g l m r t g 是一个监控网络链路流量负载的工具软件，它通过s n m p 协议从设备得到流量信息，并将流量负载以包含p n g 格式图形的h t m l 文档方式 显示给用户，以非常直观的形式显示流量负载。m r t g 具有以下特性： 1 ) 可移植性：可以运行在大多数u n i x 系统平d w i n d o w sn t 系统之上。 ：) 源码丌放：m r t g 是用p e r l 语言编写的，源代码完全开放。 j 、高可移植性的s n m p 支持：m r t g 采用了具有高可移植性的s n m p 实现模块， 不依赖于操作系统的s n m p 模块。 4 ) 支持s n m p v 2 c ：m r t g 可以读取s n m p v 2 c 的6 4 位的记数器，从而大大减 少了记数器回转次数。 5 ) 可准的接口标识：被监控的设备的接口可以用i p 地址、设备描述、s n m p 对接口的编号及m a c 地址来标识。 6 ) 常量大小的日志文件：m r t g 采用了独特的数据合并算法，以确保日志文 件不会变大。 7 ) 自动配置功能：m r t g 自身有配置工具套件，使得配置过程非常简单。 8 1 优良的性能：m r t g 的时间敏感模块使用c 代码编写，因此具有很好的性 能。 9 1 可定制性：m r t g 产生的w e b 页面是可以定制的。 由于m r 丁g 的以上特性，它已成为目丽应用最广泛的广域网流量测量工具。 25 网络流量测量标准 随若网络技术的发展研究者们也在不断地推出新的流量测量技术，其中的 第7 页 i p 网络流量测量的研究与应用 第一壹 一二二：一 一些研究成果被i e e e 采纳为技术标准并被实现于设备中。了解和掌握这些标准 有益于我们更好地利用已有的流量测量技术和工具，更方便地实现网络管理和分 析。因此，在下面的盎容中，我们对已有的流量测量标准及研究进展进行总结和 概括。 ( 1 ) n e t f l o w n e t f l o w 是c i s c o 公司开发的用于进行流量测量的设备功能，该功能集成于几 乎所有的c i s c o 路由器和交换机中。随着c i s c o 设备在网络界的广泛应用，n e t f l o w 也成为业界的一个事实标准。利用n e t f l o w 功钱可以进行流量数据采集，并进行 数据汇集，然后将数据传输到其他设备进行分析。n e t f l o w 中定义的流为单向数 据流，由以下七个参数进行区分：源i p 地址、目的i p 地址、源端口、目的端口、 三层协议类型、业务类型( t o s ) 字段、设备的输入逻辑端口。n e t f l o w 具有比 较强大的流量测量能力，但是由于它是厂商私有协议，因此应用范围受到局限， 只能用于部署了c i s c o 设备的网络中，可扩展性不强。 ( 2 ) d i a m e t e r d i a m e t e r 是目前正i e t f 进行标准化的协议。d i a m e t e r 的主要目的是提供认 证、授权、计费( a a a ) 能力，其中包含了流量测量的功能。出于安全的考虑， d i a m e t e r 设计了非常完善的消息流程，并定义了协议使用的数据包格式。因此， 利用d i a m e t e r 进行流量测量具有非常高的可靠性，并且有较高的灵活性。由于其 强大的可扩展性和安全保证，正在得到越来越多的关注。在i t u ，3 g p p 和3 g p p 2 等国际标准组织中，都已经正式将d i a m e t e r 协议作为n g n ，w c d m a 和 c d m a 2 0 0 0 等未来通信网络的首选丸姐协议。但是也正由于d i a m e t e r 主要关注的 是从a 功能，设计流程非常完善，因此测量过程复杂，并且需要额外的协议交 换过程，增加了网络负载，效率不高。 ( 3 ) l f a p l f a p 的全称是l i g h t w e i g h t f l o w a c c o u n t i n gp r o t o c o l ，即轻载流量计费协议。 顾名思义，l f a p 是要提供一种效率更高的流量计费功能。l f a p 最早在1 9 9 7 年3 月由r f c 2 1 2 4 定义，在经过多次修改后，目前己改进到版本5 。l f a p 协议提供记 录通过一个网络节点的i p 数据包详细信息的能力，它可以实现于以太网网桥、路 由器或网络探针设备中。l f a p 的主要功能是从经过网络节点的大量数据包头中 提取流量信息。l f a p 采用t c p 作为传输协议，并定义了自己的帧格式。与d i a m e t e r 相比，l f a p 的协议包增加的数据量很小，因此效率更高。 ( 4 ) c r a n e c r a n e 的全称是c o m m o nr e l i a b l ea c c o u n t i n gf o r n e t w o r ke l e m e n tp r o t o c o l 。 第8 页 ! ! 塑! 量! i 堡型量丝堕窒兰皇旦 墨三童 它的主要目的是为业务支撑系统( b s s ) 提供流量测量功能。c r a n e 协n 采用 客户机服务器结构，由客户机收集流量数据并发送计费信息至服务器。为传递 流量信息，在客户机和服务器之间也定义了消息流程和消息格式。于c r a n e 只关注流量信息，因此消息格式与d i a m e t e r 相比也比较简单，效率较高。 ( 5 ) s f l o w s f l o w 是一种在基于交换机和路由器构建的网络中进行流量监测的技术。 s f l o w 的基本结构如下：设备中的s f l o w 代理通过数据采样监测流量，然后通过一 定的格式将采样数据传送到中央数据采集器，并且可以通过s f l o w 管理信息库控 制代理。s f l o w 的目标是为了实现高速网络中站点范围和网络范围内流量测量问 题，因此采用了采样机制，以适应吉比特以上的传输速率，并且可以管理大量的 s f l o w 代理，同时减少在设备中实现s f l o w 代理的复杂性。 以上5 种标准是目前存在的主要流量测量标准。在简要介绍了它们的主要内 容之后，我们将这5 种标准的主要特点概括，如表2 1 所示： 标准名标准化准确性效率适用范围 n e f f l o wc i s c 0 标准较高较高c i s c o 公司设备 d i 锄e t e ri e t f 标准最高较低采用认证技术的网络 l f a pi e t f 标准较高较高流量计费网络 c r a n ei e t f 标准较高较高业务支撑网络 s f l o wi e t f 标准较低最高高速网络 表2 - 1 流量测量标准比较表 2 6 流量测量相关工作组 i e t f 的i p p m 工作组在网络的主动测量方面做了大量的研究，而对被动测量 研究较多的是i e t f 的原r t f m i 作组、当前i p f 工作组和p s a m p i 作组。其中 础r f m 建立了基于被动测量的实时流量测量体系结构。i p f 的目的是从信息传 输、信息分析等方面对目前使用的各种口流信息导出系统进行衡量，建立起一个 标准的数据模型，使得记录信息能够以一种标准的方式从流测量设备导出到流信 息收集设备，并保证其安全性和完整性；p s a m p 主要侧重于报文采样测量技术。 以下重点介绍以下r t f m i 作组和i p f i ) ( i 作组及其它们的测量模型。 第9 页 i p 网络流量测量的研究与应用 第二章 2 6 1 r t f m 工作组 r t f m 的全称是r e a l t i m et r a f f i cf l o wm e a s u r e m e n t ，即实时流量测量。r t f m 是i e t f 建立的一个工作组，该工作组建立的目标有以下三个： 1 ) 总结已有的流量测量工作，包括r m o n 、因特网计费工作组以及其他研究 者发表的研究成果。 2 ) 提出一种改进的流量模型，该模型应当满足以下要求：可以用硬件实现； 可用于i p v 6 流量测量；扩展原有的计费模型以扩大测量范围；实现简单； 具有数据压缩的特性。 3 1 建立流量测量管理信息库。 该工作组在1 9 9 9 年1 0 月向i e t f 提交了5 个r f c 文档后完成了它的历史使命，这 5 个r f c 文档为r f c 2 7 2 0 至2 7 2 4 。该工作组目前处于关闭状态，但是仍有少量的 研究者在该工作组的基础上进行研究，并提出了四个相关草案作为原有内容的补 充。 在r f c 2 7 2 2 中定义了r t f m 的基本结构，该结构的基本构件是计量器 ( m e t e r ) ，计量阅读器( m e t e rr e a d e r ) 和管理器( m a n a g e r ) 。采集的数据由 数据分析应用程序进行处理。r t f m 结构如图2 1 所示： 图2 - 1r t f i d 结构图 图中四个模块的含义分别是： 一管理器：管理器是配置计量器及控制计量阅读器实体的应用程序。管理器 向计量器发送配置命令，并监视计量器和计量阅读器的操作是否正确。 一计量器：计量器是根据网络管理需要放置在特点位置的测量应用。每个测 量器可以根据配置采集不同的网络数据，并可以在存储数据之前进行汇集、转换 及其他操作。采集到的网络数据在进行处理并存储后称为“可用数据”。 一计量阅读器：计量阅读器的功能是将“可用数据”从计量器中传输到数据分 析应用中。比较常用的实现方法是将计量器和计量阅读器在一起实现。 第1 0 页 旦堕塑堕量型垦盟堡塞量堡旦 苎三宴 数据分析应用：数据分析应用对“可用数据”进行进一步分析，并汇报分析 结果以利于网络管理。 计量器是整个r t f m 结构的核心部件，因此在r f c 2 7 2 0 中定义了计量器的管 理信息库( m e t e rm i b ) ，该信息库可作为s n m p 管理的标准部件集成在设备中。 采用r t f m 的结构及m e t e rm i b 可以提供较完备豹流量测量功能，但是由于这种 结构采用的是查询方式，效率不高，并且操作比较复杂，因此在管理大型网络方 面有较大的局限性。 2 62 i p f i x 工作组 目前有许多厂商提供流量测量工具，这些工具都有各自不同的流量信息输出 方式和格式，因此很难开发出一个方便用户使用的通用流量信息分析工具。为了 消除这种厂商各自为政的局面，制定个统一的i p 设备输出流量信息的工业标 准，正t f 于2 0 0 1 年1 0 月成立了球f 工作组。i p f 全称是1 1 1 t e m c tp r o t o c o lf l o w i n f o n n a t i o ne x p o r t ，即i p 流量信息输出。 该工作组的任务包括三个方面： 1 ) 定义一个信息输出协议，确定将流量数据从测量设备中输出到数据采集点 的标准方式。 2 ) 确定i p 流的标准定义，该定义应当是可实现的，并能适应目前已使用的流 量信息输出协议。 3 ) 选择一种可以承载i p 流量信息的协议，该协议应当可方便地在设备中实现 并部署应用，并且具有拥塞控制功能。可以选择的协议包括t c p 和s c t p 等。 目前该工作组己向i e t f 提交了两个草案，在草案中定义了口f 的参考模型， 该模型如图2 2 所示。 在图中，方括号里的内容表示各种功能组件：用星号( ) 标记的功能组件 不属于i p f 体系结构的部分；实线箭头表示该接口己在i p f 体系结构中定义； 虚线箭头表示没有在i p f 体系结构中定义。 图中各部分的含义如下： 一口f 设备：i p f 设备是指至少具有观测点、测量功能和输出功能三者 中的任何一种的设备，例如一个具有测量和输出功能的路由器。 一采集器：采集器接收来自一个或多个输出者的流量数据，采集器可以处 理和存储这些数据。 第1 1 页 i p 网络流量测量的研究与应用 第二章 图2 2 p f i x 参考模型 一观测点：观测点是指网络中任何可以观测至l j i p 数据包的位置，例如以太 网交换机中的一个端口。 一测量过程：测量过程是产生流量记录的过程。测量过程的输入是在观测 点观察到的口数据包。测量过程包括一系列功能：数据包头采集、定时采样、分 类和保留流量记录。 一输出过程：输出过程是指将流量记录发送到一个或多个采集器的过程。 利用i p f i x 结构，我们就可以设计标准的流量数据分析应用，通过标准接口 从采集器中获取流量信息，然后进行分析和处理。 2 7 本章小结 在本章的内容中，我们主要对已有的流量测量技术进行了总结和概括。首先 说明了流量测量在实际应用中的需求，然后分析了在进行流量测量时主要考虑的 四个参考因素，分别是端点、方向、时间粒度和协议层次。在这个基础上我们给 出了流的通用定义，之后对已有的流量测量技术进行分类和总结，最后介绍了与 测量相关的测量标准和流量测量相关工作组，且对各种工作组提出的流量测量模 型进行了介绍。 第1 2 页 i p 网络流量测量的研究与应用 第三章 第三章网络流量统计数据的分析与应用 网络流量测量是分析网络状况、掌握流量特性的有效方法。如果我们要监视 网络行为、分析历史趋势、更好地规划网络，除了要进行数据采集，还要对采集 并存储到数据库里的数据信息进行深度挖掘和恰当的分析，并以合理的方式呈现 出来，供用户获取隐藏在数据背后的真正有用的信息。 在众多的数据呈现方式中，数据报表是提供给用户的一种非常重要的方式。 本章从网络流量测量的体系结构开始阐述，并根据这个体系结构阐述对网络流量 数据进行分析的必要性及其各种分析方法。最后对网络流量数据报表进行讨论， 先分析流量数据报表的内容的分类：接着介绍数据报表的一般的显示格式，再结 合网络流量数据的特点和呈现的需要选择适合的报表格式；最后介绍了承载数据 报表的各种文件格式，对各种文件格式进行了比较。