（通信与信息系统专业论文）基于校园网的网络流量特征分析.pdf

中文摘要 摘要：随着互联网的迅速发展，功能强大，网络流量行为特征成为人们深刻理解整 个网络体系的切入点，也是网络规划、设计和管理的基本依据，对网络运行的q o s 保证和网络安全也有很大的影响。对网络流量行为的研究现在己经成为热点。 本文在介绍了多种流量采集方法后，建立了基于c o r a l r e e 揿件的短期流量采集 框架。通过在校园网上的实施，得到了校园网流量的原始数据。依据此数据，进 行了统计分析工作，分别从网络流量体现出来的基本特征方面和不同的时问尺度 方面分析了网络流量的特性。在尺度分析中介绍了估算网络自相似特性的方法和 实验方案，并得出了网络流量在不同时间段和不同时间尺度上相似性特征的规律。 最后对网络流量中的b t 流量特征进行了分析，并指出其在整个网络流量特征中存 在的影响。 关键词：网络流量；流；自相似性；h u r s t 参数。 分类号：t p 3 9 3 e 立交垣厶堂亟堂位途塞旦曼! 垦g ! a bs t r a c t a b s t r a c t ：w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g i e s ，e s p e c i a l l yt h e c o n t i n u o u se m e r g e n c eo fn e wa p p l i c a t i o n s ，t h en a t u r eo f n e t w o r kt r a f f i ci st h ek e yf o r p e o p l et o u n d e r s t a n dt h ew h o l en e t w o r ks y s t e ma n di st h e b a s i so f n e t w o r k p r o g r a m m i n g ，d e s i g na n dm a n a g e m e n t i ta l s oh a si n f l u e n c ei nt h eq o s o ft h en e t w o r k a n dt h es e c u r i t yo ft h en e t w o r k s ot h er e s e a r c ho ft h en a t u r eo fn e t w o r kt r a f f i ch a s b e c o m et h eh o t s p o t i nt h i sp a p e r ，a f t e rs e v e r a ls a m p l i n gm e t h o d so fn e t w o r kt r a f f i ca r ec o n s i d e r e d ，w e s e tu pt h es h o r t - t e r ms a m p l i n gm e t h o du s i n gc o r a lr e e ft og e tt h eo r i g i n a ld a t a s e to f c a m p u sn e t w o r k a c c o r d i n g t ot h e s ed a t a ，w eh a d d o n es o m es t a t i s t i c a lw o r ki n c l u d i n g s o m er e s e a r c hw o r ko nb a s i cn a t u r ea n dd i f f e r e n tt i m es c a l e so f n e t w o r kt r a 伍c w e i n t r o d u c e dt h em e t h o da n dt h es c h e m eo ft h ee x p e r i m e n tt oc a l c u l a t et h es e l f - s i m i l a r i t y o ft h et r a f f i c ，m a d eac o n c l u s i o nt h a tt h en e t w o r kt r a f f i ch a ds e l f - s i m i l a r i t ya td i f f e r e n t t i m es c a l e s a tl a s tw em a k es o m er e s e a r b ho nt h et r a f f i co fb to n l y ，a n dp o i n t e dt h a ti t h a do b v i o u si n f l u e n c eo nt h ew h o l et r a f f i cc h a r a c t e r i s t i c s k e y w o r d s ：n e t w o r k t r a f f i c ，f l o w ，s e l f - s i m i l a r ，h u r s t c l a s s n o ：t p 3 9 3 致谢 本论文的工作是在我的导师陈常嘉教授的悉心指导下完成的，陈常嘉教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 陈常嘉老师对我的关心和指导。 非常感谢胡师舜老师、郭宇春老师、郑宏云老师、赵永祥老师、张力军老师 和实验室的其它所有的学长，他们给了我无私的帮助和不倦的教导，让我在一个 充满温暖和关爱的环境里愉快而顺利地完成了学业。特别要感谢的是胡师舜老师， 她的认真负责、勤勤恳恳的工作作风和对学生的真挚关爱是我们从学习、做课题 到最后的论文答辩准备工作得以顺利完成的重要支持力量。 在实验室工作及撰写论文期问，高贺、李岩、蔡鹏程、任唯贤、罗丹等同学 对我论文中的网络流量研究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢家人和所有帮助过我的朋友，他们的理解和支持使我能够在学校 专心完成我的学业。 e塞銮道厶堂亟堂 位 论毫 i i言 1 引言 1 1 课题来源、目的及意义 近年来，i n t e r n e t 取得了飞速发展，无论是网络规模、联网的主机数量，还是 网络的信息量都在不断的增长。随着网络技术的迅速发展及i n t e r n e t 服务和应用的 普及，互联网的规模日益庞大，网络用户在急剧增长，互联网所提供的内容也日 趋多样化、复杂化。互联网的每一步发展也越来越依赖于网络的性能、安全性和 可靠性，而且成为一个涉及公众的同常生活、国民经济和国防安全的重大问题。 然而，由于目日口对大型网络如i p 城域网的流量特征、业务特征、用户行为还 研究甚少，网络的规划设计没有一套比较成熟的理论和方法作为指导，仍然按照 传统的经验设计方法，哪罩发生拥塞，就在哪罩增加带宽，增强处理能力。这样 做尽管简化了设计，但是这只能局部的解决问题，不能满足对网络性能同益增高 的要求。如果建立网络性能如流量、时延、抖动等的数学模型，再利用网络仿真 技术模拟网络承载的实际流量，从而获取网络的重要性能指标，为网络设计提供 可靠的依据，并验证实际方案的优劣，就能缩短网络建设周期，提高网络设计的 科学性，降低网络投资的风险。 由于网络流量特征实际上反映了其与网络流量控制机制之问的相互作用和相 互影响，因此对网络流量特征进行深入的分析和研究，在网络性能分析和网络规 划设计中具有重要的意义，并且可以很大的提高网络资源的有效利用率。特别随 着i n t e r a c t 的快速发展和网络协议体系的变化，从共享以太网到交换以太网、a t m 、 千兆以太网、w i r e l e s se t h e r n e t ，1 0 ge t h e m e t ；i n t e m e t 路由策略的变化从“f i r s t c o m e , f i r s ts e l - v e ”到公平的资源共享；网络应用的多样化，p 2 p 、视频会议、i n t e r n e t m u l t i c a s t 应用、w e bc a c h e 、多人游戏，这些都为研究网络流量特性提供了新的契 机。 互联网通信量测量的主要作用有： 网络故障排除一计算机网络不是永远不会出错的。设备的- d , 点故障都有 可能使整个网络瘫痪，或者使网络性能明显下降。例如广播风暴、非法包 长、错误地址、安全攻击等。对互联网通信量的测量可以为网络管理者提 供详细的信息以帮助发现和解决问题。 协议调试一在人们升级原有网络协议或发布新的网络协议时，对互联网通 信量进行测量可以知道新的协议是否工作正常。 环境模拟一我们可以使用互联网通信量测量获得的数据作为输入流或者 对这些经验数据进行分析，使用统计方法构造输入流来测试正在开发的网 络设备和网络协议，从而可以设计出性能更加优越的网络设备和网络协 议。 性能估计一互联网通信量测量的结果直接反映了网络的性能。 我们实验室借助于校园网的有利条件，开展了网络测量方面的研究，着重对 网络流量总体特征以及多种具体应用体现出来的网络行为特征进行了研究，希望 能为以后更深入的研究有所帮助。 1 2 研究现状 目前，国内外对网络流量的研究非常重视，开展了大量的工作。 在数据流量规律的分析方面，国内外许多研究发现在很多网络环境中都存在 自相似通信流量【2 】o 自相似现象是指在一种维度的不同的“放大”程度或不同尺 寸上看起来是相同的或表现是相同的。关于自相似数据通信量的最早的研究是“o n t h es e l f - s i m i l a rn a t u r eo fe t h e m e tt r a f f i c ”【3 】这篇论文打破了使用泊松通信量假设 进行直接的排队分析就足以描述所有网络通信量的幻想。触发了网络流量的研究 活动。 9 0 年代中期，l e l a n d 等人通过对l a n 的流量分析及k i i v a n s k y 等人对w a n 流量分析发现流量的自相似性【3 1 ，p a x s o n 等人随后验证了泊松模型在w a n 上的失 效性 4 1 ，并报告了对广域t c p 通信量以及t c p 连接上承载的f t p 和t e l n e t 通 信量的研究结果，结论如下：( 1 ) 通常使用的泊松模型在很宽的时间尺度上严重低 估了t c p 通信量的突发程度。( 2 ) 交互式t e l n e t 通信量连接的到达可以用泊松 模型很好的描述，然而对分组到达的泊松假设，即指数分布的到达自j 隔时间的假 设就明显低估了通信量的突发程度。( 3 ) 对于f r p 所进行的成批传送而言，通信量 的结构再一次与泊松模型有明显的差异，和t e l n e t 数据的情况相同，f t p 会话 的到达和泊松模型吻合得很好，但数据连接的到达突发程度就大得多。另外，每 次突发中所含的字节数目的分布服从重尾分布。 w i l l i n g e r l 5 l 等人研究发现，具有无限方差的o n 期间和o f f 期问时段的流量源 严格交替，导致了网络流量聚集并呈现自相似性或者长程相关性，从而在一定程 度上揭示了网络流量自相似性产生的机理。综上所述，自相似性已成为网络流量 研究的一个重要课题。 在网络仿真方面，国内外也进行了很多研究。网络仿真不仅仅检测假设模型、 检测分析的j 下确性，还为那些根本无法进行分析的复杂模型提供研究的可能。网 2 络拓扑结构和流量的复杂性，以及网络拥塞的自适应控制理论，所有的这些使仿 真法成为解决网络问题的最得力的工具。 在国内，也有很多人在从事关于网络流量的分析研究工作【1 2 1 。 1 3 本文主要工作 自相似性对网络性能具有一定影响，但是自相似性的产生原因及对自相似参 数影响较大的因素还没有定论，在资源有限网络中自相似对网络性能的影响也还 没有进行深入研究，因此，本文中我们首先分析校园网流量中存在的行为特征， 在有限的网络资源下研究了网络流量的自相似特性和b t 流量在整个网络流量自相 似性特征方面具有的影响，主要工作有： ( 1 ) 建立校园网流量采集模型，采集校园网流量，利用c o r a l r e e t l l 3 1 软件和脚 本语言对粗数据进行分析处理，统计实际流量的总体特征和分布。 ( 2 ) 采用r s 图、方差一时自j 曲线等方法来估计校园网流量的自相似参数( 又 称h u r s t 参数) ，通过比较不同时段和不同时问尺度上h u r s t 参数值的分布情况，分 析其中表现出来的特点。 ( 3 ) 采用b t 流量提取算法，提取网络中的b t 应用流量。并计算b t 流量、剩余 流量及总体流量的h u r s t 参数，研究占网络流量大部分的b t 流量对网络行为特征存 在的影响。 1 4 论文结构 在第二章中，我们主要介绍了流量采集的常用工具和分类，重点介绍了本课 题中用到的流量采集和分析工具c o r a l r e e f 软件，并介绍了采用的流量采集模型系 统结构和实验的数据来源及格式。 在第三章中，我们主要讨论网络流量中的自相似现象。我们首先对自相似过 程和长相关的过程进行定义。在这之后，我们讨论如何检测一个过程是否具有自 相似特性，并且讨论如何对自相似过程进行参数估计 在第四章中，首先给出校园网流量的自相似特性实验结果并进行了相应的分 析。其次介绍了b t 流量提取的方法，b t 流量的自相似特性分析结果及对整个网络 流量特性的影响。 在第五章中，在论文的最后，我们对全文进行了总结，并对网络流量自相似 研究领域的工作进行展望。 3 韭塞变塑厶堂亟堂僮i 金塞速量墨塞左这垂! 筮塌盆越：县 2 流量采集方法和数据分析工具 2 1 流量采集方法和工具简介 随着网络流量和i n t e r n e t 上应用种类的不断增加，理解和管理网络变得越来 越复杂和重要。网络通信量测量成为现代化网络管理系统的一个非常重要的组成 都分，采集到的数据为网络的运行及其性能的分析提供了最原始的数据。网管人 员可以利用这些流量数据，分析网络的使用情况和性能，尽早发现网络的瓶颈， 便于调整网络的路由以及网络的升级与扩展，合理分配网络流量，保证网络高效、 稳定、可靠的运行。 根据不同的需要对i p 网络进行采集测量在技术方面采用不同方法，其中主要 有两种采集测量方法：主动探测和被动探测。 1 主动探测：利用p i n g 。t r a c e r o u t e 以及类似的工具，选取合适的目的站 点，发送i c m p 包或u d p 包，通过目的点的响应来得到网络的一些信息。比如通 过p i n g ，可以得到网络的时延、丢包率等信息。这种方法的优点是灵活、方便， 借用简单的设备，比如只使用p c 机即可完成探测工作。缺点是会增加网络的流 量。性能监测与分析、网络拓扑探测等一般是采用主动探测法。 2 被动探测：被动探测时，使用探测设备监视经过它的流量。这些设备可以 是专用的，也可以是嵌入到其他设备( 如路由器、防火墙、交换机和主机) 之中的。 测量软件或系统周期性的轮询被动监测设备并采集信息以判断网络的性能和状 态。被动测量法的优点是，在测量时对网络的流量增加很小，测量的是网络上的 真i f 流量。缺点是不够灵活，有时还需要在交换机或路由器上增加额外的软硬件 以进行流量的记录。 流量数据采集一般选用被动探测方法。本文所设计的数据采集子系统也是使 用被动测量法，在校园网的一个接口处设置一台数据采集服务器，采集经过选定 接口的所有双向数据流量信息。 我们采用的数据采集服务器为d e l lt 作站。 对于网络测量的研究需要从网络流量的采集开始，在网络中建立一些探针， 它们处于一些重要节点和网段，监视网络线路上各协议比例，各计算机占用情况 等，监控网络上各种业务的网络流量，记录网络操作，实现分布采集集中处理的 网络分析系统。目前应用比较广泛的网络流量采集工具有很多种，如n e t f l o w ”、 m r t g 7 1 、n e t r a m e t s l $ f l t c p d u m p t 9 1 等。从数据获取的方式来分类，流量采集工具 大致可以分为两类： 4 l 峦交道厶堂亟堂位途室速量悉塞左洼型熬据岔叛! ：县 工具自身不进行流量采集和统计，而是收集网络结点( 如路由器和交 换机) 所采集到的流量信息。该信息以m i b 的方式存储在网络结点中， 测量工具通过s n m p 协议获取这些流量信息，如n e t f l o w 和m r t g 。 工具直接工作于被监测链路，通过各种n i c 及其驱动，捕获链路中所 有报文并分析其首部，生成流信息，如t c p d u m p 和n e t r a m e t 。 基于s n m p 的流量采集工具最大的缺点是需要对网络节点( 如路由器和交换机) 进行复杂的配置，而且还需要设备的支持，同时对节点设备的性能会有一定的影 响。另外由于s n m p 协议的特性，要对结果数据进行复杂的封装，因此使用s n m p 进行数据采集效率比较低下，占用网络带宽比较多。但由于采用了s n m p 标准，很 多著名生产厂商都支持，如思科、北电等，因此在大规模网络中应用比较广泛。 t c p d u m p 和n e t r a m e t 是当前应用非常广泛的以太网流量采集工具。t c p d u m p 使用比 较简单，但其分析功能也比较单一，因此不适合大规模的网络测量。n e t r a m e t 是 r f c2 7 2 2 的实现版本，其内部协议采用s n m p ，因此同样有效率比较低的缺点，另 外由于其体系结构的因素，不适合大规模的网络测量，只适用于中小以太局域网 络。 我们在本课题研究中采用的流量采集工具是f l d c a i d a i l o 提供的c o r a l r e e f 软 件，本软件是采集、存储和分析网络流量数据的复杂工具集，他是一款开源软件。 不仅可以提供对网络流量精确的采集和存储，并且提供了一定的数据分析功能和 功能拓展开发接口。可以让网络用户、网络管理者和网络研究者们方便的用来对 采集到的网络流量数据进行初步的分析，或者根据自己的具体需要以c o r a l r e e f 蔓j 平台进行功能的二次开发。我们会在下文中对这款软件进行详细的介绍。 2 2 基于c o r a l r e e f 的短期网络流量测量模型 2 2 1 校园网网络结构介绍 我校校园网主要是以千兆交换式以太网为核心，二级网全部为百兆交换的网络 新格局，九个建筑物实现了千兆速率与校园网交换中心进行连接。我们将数据采 集设备放在第九教学楼于学校交换中心的接口处，主要采集整个第九教学楼的网 络流量数据。图2 1 为我们校园网的网络结构布局。 5 j e 塞奎道厶堂亟堂位i 金室速量丞基左迭垂! 熬握盆赶= ! ：县 图2 1 校园网网络结构介纠 f i g 2 1t h en e t w o r ko f c a m p u s 2 2 2c o r a i r e e f 流量采集模型 我们在短期网络流量的测量中，定时在网络出口采集一段时间内的所有数据 包，并转储到文件中，用于下一步的分析处理，流量采集模型如图2 2 所示。 图2 2 流量采集模型 f i g 2 2m o d e lo f t r a f f i cc o l l e c t i o n 6 业峦銮避厶堂亟堂位论塞适量罴塞左选塑! 熬握盆板i ：县 2 3 数据集介绍 本文中的实验数据采集自校园网内研究生实验楼的网络出口。通过设置 c o r a l r e e f 软件的采集命令参数，我们只采集所有数据包的包头前2 0 0 - - 4 0 0 个字 节，并且累计每十分钟的数据行成一个数据文件进行转存。由于校园网的流量高 峰时期流量比较大，如果采集每个数据包的全部信息会出现信息丢失或失败的现 象，所以我们为了保证采集数据的完整性和正确性，设定只采集每个数据包的前 2 0 0 - - 4 0 0 个字节。但是已经包括了数据包的完整包头信息，我们从中可以得到整 个数据包的字节大小，协议，i p 地址，端口等相关信息。考虑到经过截断处理后 的数据量依然非常大，所以我们把采集到的数据以十分钟为单位形成一个数据文 件进行存储，用采集的时问作为文件名来标识这个数据文件。 我们实验中采用的数据是2 0 0 6 年8 月1 5 同和2 0 0 6 年1 1 月2 3 同的数据。采 集到的部分数据文件如下图所示： 羽2 0 0 6 一1 1 2 3 1 8 0 0 0 0p c a p 围2 0 0 6 1 l 一2 3 1 0 1 0 0 0p r _ , a p 羽2 0 0 6 一i l 一2 3 - 1 8 2 0 0 0p c a p 稠2 0 0 6 1 1 2 3 - 1 8 3 0 0 0p c a p 羽2 0 0 6 - 1 1 - 2 3 - 1 8 4 0 0 0p c a p 嗣2 0 0 6 - 1 1 - 2 3 1 0 5 0 0 0p c a p 嗣2 0 0 6 1 1 2 3 1 9 0 0 0 0 口c a p 羽2 0 0 6 1 1 - 2 3 1 9 1 0 0 0p e e p 固2 0 0 6 1 i 一2 3 一l ，2 0 0 0p p 母2 0 0 6 - 1 1 - 2 3 - 1 9 3 0 0 0p c a p 婀2 0 0 6 - 1 1 - 2 3 1 9 4 0 0 0p c a p 固2 0 0 6 - 1 1 - 2 3 1 9 s 0 0 0p p 9 3 7 0 1 6 7 2 7 4 t i l e 1 2 3 2 6 7 6 3 3 3 2f i l e 1 3 2 2 7 9 2 6 9 l lfx l e 1 3 5 1 2 3 9 6 0 9 0t i l e 1 2 0 2 9 8 2 9 9 9 2t l l e 1 3 5 4 6 9 0 5 4 0 3f l i e 1 8 2 4 5 6 9 2 2 7 4f l l e 1 8 5 2 8 2 0 2 1 9 4f i l e 1 7 3 3 8 6 9 0 6 1 1f x l e 1 6 0 1 7 5 0 2 3 7 0f i l e 1 6 7 5 9 1 4 0 0 2 61 1 l e l t 3 1 0 1 7 0 0 1 5f x l e 2 3 一l l 一0 61 8 0 9 2 3 一i 1 0 61 8l ， 2 3 1 1 0 6i 82 9 2 3 一1 1 0 61 b 3 9 2 3 一1 1 0 61 84 9 2 3 一1 1 0 61 8 5 9 2 3 1 1 0 61 90 9 2 3 1 1 - 0 61 91 9 2 3 1 1 - 0 61 92 9 2 3 1 1 - 0 61 93 9 2 3 - 1 1 0 61 94 9 2 3 一1 1 0 61 95 ， 图2 3 数据文件 f i g 2 3d a t af i l e 可见数据文件比较庞大，这也增加了处理的难度和复杂度。 因为c o r a l r e c f 软件既可以对采集到的历史数据文件进行处理，也可以在采集 数据的同时对数据进行实时处理所以我们在采集数据的同时，可以加入一些数据 分析的功能。但是实验发现在采集数据的同时对数据进行一定的处理，对硬件的 要求比较高。当网络流量很大时，容易出现丢包现象或者对数据的处理出错，不 容易应对突发的网络流量事件。所以为了保证数据采集和处理的准确性，在实际 操作过程我们把数据处理和数据采集工作完全分开，数据采集的机器只负责进行 数据采集工作，然后我们把采集到的数据拷贝到另外的机器上进行分析工作，降 低了单台电脑的工作量，提高了工作的准确性和效率。 7 j e 豆銮适太堂亟堂也j 幺室速量丞基左法垂! 数据佥蚯 县 2 4 数据分析工具简介 进行数据处理的分析工具首先是采用c o r a l r e e f 软件。这是c a i d a ( c o o p e r a t i v e a s s o c i a t i o nf o r i n t e m e t d a t a a n a l y s i s ) 组织为网络管理人员开发的一个可用于实时流 检测及流量分析的软件包。适用于大规模的网络测量平台，数据来源广泛。提供 的数据分析功能具有很强的对原始数据的统计和过滤作用，是我们进行流量统计 工作的有力工具。 但是使用c o r a l r e e f 软件只能实现它所提供的一些功能，受他的功能的限制， 往往不能满足我们数据分析的个别需要，所以我们经常要根据自己对数据分析的 需求，采用其他的软件工具来实现自己的处理目的。在数据处理过程中我们还选 用的工具包括l i n u x 系统【1 4 】的文本处理工具g a w k t l 5 1 、绘图工具g n u p l o t 15 1 、以及 s h e l l 脚本，w i n d o w s 系统平台下的u l t r a e d i t 和m a t l a b t 怕l 软件。 a w k 是一种优秀的文本处理工具。它不仅是l i n u x 中也是任何环境中现有 的功能最强大的数据处理工具之一。这种编程及数据操作语言( 其名称得自于它 的原始设计者a l f r e da h o 、p e t e rw e i n b e r g e r 和b r i a nk e m i g h a n 姓氏的首个字母) 具有很强的数据资料处理功能。对于文档罩的资料做修改、比对、抽取等的处理， a w k 能够以很短的程序轻易地完成。如果使用c 或p a s c a l 等语言写程序完成上 述的动作，可能需要花费较多的时问编写很长的代码。a w k 能够依照使用者定义 的格式来分解输入资料，也可依照使用者定义的格式来输出资料。a w k 提供了极 其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于 内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。 g a w k 是g n u 所开发的a w k ，最初在1 9 8 6 年完成，之后不断地被改进、更新。 g a w k 包含a w l ( 的所有功能。 g n u p i o t 是一个命令驱动的交互式绘图软件，在1 9 8 6 年由c o l i nk e l l e y 和 t h o m a sw i l l i a m s 开发。g n u p l o t 的功能就是把数据资料和数学函数转换成容易观察 的平面或立体的图形，帮助研究者进行数据分析。因此g n u p l o t 并不是一般常见的 美工绘图软件，它最适合的是在科学研究的过程中，帮助研究人员完成数据资料 绘制与理论模型比较等机械化的工作，来加速研究的进行。它可以让使用者很容 易地读入外部的数据结果，在屏幕上立即现实图形，并且可以选择和修改图形的 画法，明显地表现出数据的特性。通过图形，研究者可以寻找数据的规律，或者 验证模型的正确性等。而在实验完成后，同样可以利用g n u p l o t 把结果记录下来， 可以将图形打印出来或者输出成通用的图形格式，为记录实验结果和以后撰写论 文所用。 u l t r a e d i t 是一套功能强大的文本编辑器，可以编辑文本、十六进制、a s c i i 码， 8 e 峦銮煎厶堂亟堂位淦塞远量墨塞左这塑数援瓮蚯： ：县 可以取代记事本，内建英文单字检查、c + + 及v b 指令突显，可同时编辑多个文 件，而且即使开启很大的文件速度也不会慢。软件附有h t m l 标签颜色显示、搜 寻替换以及无限制的还原功能。 m a t l a b 的名称源自m a t r i xl a b o r a t o r y ，它是一种科学计算软件，专门以矩 阵的形式处理数据。m a t l a b 将高性能的数值计算和可视化集成在一起，并提供 了大量的内置函数，从而被广泛地应用于科学计算、控制系统、信息处理等领域 的分析、仿真和设计工作，而且利用m a t l a b 产品的开放式结构，可以非常容易 地对m a t l a b 的功能进行扩充，从而在不断深化对问题认识的同时，不断完善 m a t l a b 产品以提高产品自身的竞争能力。 2 5c o r a l r e e f 软件介绍 c o r a l r e e t i i 是一套驱动、数据采集、使用和分析软件，专门对于a t m 和 p o s o c x 监控和p e a p 接口。 2 5 1c o r a i r e e f 简介 c o r a l r e e f 是c a i d a ( c o o p e r a t i v ea s s o c i a t i o nf o ri n t e r n e td a t aa n a l y s i s ) 组织为网 络管理人员开发的一个可用于实时流监测及流量分析的软件包。它有两个版本， 一个版本是对外发布的非商业用途版本，一个是只供c a i d a 本身研究用。两者使 用同样的类库和a p i ，但是后者功能上做了加强，提供一些专用于c a i d a 研究的 功能。 c o r a l r e e f 可以用在专门的网络流量检测服务器上，通过网卡采集数据，或者 是任何类型的u n i x 操作系统下，不需要什么特殊的硬件配置。c o r a l r e e f 提供了 一系列的工具集帮助网络管理者监控和诊断网络行为的变化，提供了一个统一的 平台用于支持不同的流量捕获和采集工具，可以用在不同的网络层次上它的组 件提供了对实际网络上流量的度量，包括验证和检测硬件设备的饱和度及网络流 量的瓶颈。c o r a l r e e f 支持不同网络层次数据的各种分析功能，从最底层数据包细 节的采集到高层h t m l 报表的实时产生，功能非常强大。而且在每层都提供a p i 接口，允许用户更容易更灵活的根据自己的需要进行功能开发和改进。利用 c o r a l r e e f 自有功能可以直接获得一些统计结果或者得到可以用其他程序再进行处 理的数据。经过c o r a l r e e f 处理的数据结果可以以文本的形式输出，文本格式给用 户的二次处理提供了方便性，使用u n i x 系统下的工具( 例如g r e p ) 就可以进行 处理，给用户提供了很灵活的可操作性。所以说网络系统的管理者可以利用 9 立銮道厶堂亟宝位i 金塞逋量置塞左迭麴熬据经短：! ：县 c o r a i r e c f 软件工具集有效的监控和解释观测到的数据规模庞大的网络行为。 综上所述，基于c o r a l r e e f 的流量测量工具有以下优点： ( 1 )适用于大规模的网络测量平台，适用范围广，可移植性好。 ( 2 )数据来源广泛，可以是历史的t r a c ef i l e 、以太网或a t m 流量。 ( 3 )底层可以使用的硬件种类多，通过驱动后，上层无需任何改动即可调用。 ( 4 )结合了n e t r a m e t 的规则集技术，使其在性能和灵活性上有了很大的提高。 ( 5 )实现了一种新的性能优化算法，提高了测量工具的流量采集和匹配速率。 2 5 2c o r a i r e e f 软件架构 该软件包由设备驱动、共享库、类、应用程序以及报告生成程序等组成，其 结构如图2 4 所示。c o r a l r e e f 软件包和其他专用于流量采集的测量工具t c p d u m p 和n e t r a m e t 相比，具有以下优点：( 1 ) f i e 为一个软件开发平台，为研究和开发人 员提供了更灵活的空间。该软件平台从底层的抓包、流分析到上层的实时报告分 析都提供了统一的a p i 接口。( 2 ) 在该软件开发平台上，c a i d a 组织开发了很多流 测量应用及分析程序，网管人员或研究人员可以直接使用。( 3 ) 该软件开发平台支 持的硬件多样，配合相应的硬件采集卡，可以对a t m 流量进行分析。 p e r l 程序 c c + + 应用程序p e r l 接口 l i b c o r a l ( 核心共享库) c o r a l 驱动库 t r a c e sf i l e 文件 f i b p c a p 图2 4c o r a l r e e f 软件包结构 f i g 2 4t h ea r c h i t e c t u r eo f c o r a l r e e f s o f t w a r ep a c k e t 2 5 3c o r ai r e e f 数据分析应用 c o r a l r e e f 提供强大的数据处理和分析功能，其包含的数据处理函数主要分为 两大类。一类是以“c n ”开头的命令，用来处理数据包组成的原始数据源；另一 类是以“记”开头的命令，用来处理已经聚合为流的数据。在下面我会对c o r a i r e e f 1 0 北鏖銮遵厶堂亟土堂焦逾塞速量丞塞左法塑数握筮扳王县 的这两类命令分别进行详细的说明。这里的原始数据源包括c o r a l 软件采集的数 据、l i b p c a p 采集的数据或者是由c r l _ t r a c e 、t c p d u m p 等其他软件产生的路径文件。 图2 5 所示是c o r a l r e e f 的功能结构图，展示了不同数据分析功能之间的关系。 图2 5c o r a l r e e f 的功能结构图 f i g 2 5 o v e r v i e wo f c o r a l r e e f sf u n c t i o n s 所有的c d 命令支持公共的一个参数集和配置选项，这样的参数般以c 开 头，每个命令除此之外还分别支持自己特有的一些参数。这些选项包括在收到一 定数量的数据包、a t m 信元或者设定的时问间隔后停止；特殊的链路参数；过滤 准则；每个数据包要采集的字节数；以及与调试相关的配置。另外，还可以通过 配置过滤准则对采集到的所有数据进行过滤，挑选出满足自己要求的数据包，或 者按照定的时间间隔对数据进行处理。 c f l 类命令主要有： c dn e 一捕获网络流量的数据并输出到一个c 1 1 文件 c d 砸n tp k t 一打印出数据包的不同网络层次的包头和开销信息； 刚鲥m 一打印a t m 信元的信元头和开销信息； c r ln o w 一以一定的流结束规则和时间间隔，把具有相同的源口地址，目的i p 地址、协议、源端口、目的端口的数据包聚合成流 t 2 类命令可以处理的文件类型为c r l 类命令的输出文件或者t 2 一类命令的输 出。主要命令有： t 2r e p o r t 一生成h t m l 汇总信息报表； 北塞銮逼厶堂亟堂焦j 金塞逾量苤塞虚选垂! 数据筮扭；! ：县 t 2r a t e 一输出固定的间隔内i p v 4 和i p v 6 数据包数和字节数，即数据包和字节 在这段时白j 问隔内的速率( p k f f s 、b y t e s ) t 2 自o p 一把一个数据报表按照数据包数、字节数或者流数进行排序，并列出前 n 位的数据。 上面列出的只是比较常用的一部分功能命令，还有很多命令没有逐条列出， 可以在c o r a l 的帮助文档中找到每条命令的详细说明。下面举两个例子来说明用 c o r a l 处理数据的具体操作过程。 例l ：把数据包聚合成流并列出该流量数据的相关信息 命令行输入：e r lf l o w i t f 5 c i = l os o u r c e f i l e - 0d e s t i n a t i o n f i l e 输出文件的内容为： s r c o 4 o 2 7 o 4 o 3 0 0 4 0 4 4 o 4 0 4 o 4 0 3 d s t p r o t o o k s p o r t a p o r t p k t s o 9 8 o 1 614 6 9 7 86 4 6 7 l1 6 0 3 5 o 1 9 0 2 6 1 2 26 4 1 5 62 9 6 5 o 1 5 8 0 1612 23 3 2 2 23 6 4 7 o 1 7 0 1618 05 8 0 1 31 8 3 1 o 1 5 0 16l4 5 9 2 52 02 2 4 4 b y t e s f l o w s 2 2 5 3 4 2 3 61 4 2 3 0 7 0 01 3 9 1 9 3 4 8 l 2 7 0 2 6 6 8l 2 3 9 0 6 6 8l 其中命令行中的c i 表示每个时间间隔设为l o s ，i 表示在各个时问自j 隔处将 流进行截断处理，- t p 3 表示判定流结束的超时时间设置为5 秒。- o 表示将该命令 的输出结果输出到哪个文件，缺省的话表示输出到终端，即显示屏。结果文件的 各行分别列出的是根据流判定规则得到的流的信息，每行为一个流，每列代表的 是这个流的相关参数，即源m 地址、目的i p 地址、协议、源端口、目的端口、该 流包含的数据包数、字节数。 例2 ：计算设定时间间隔内的数据包、字节和流的速率 命令行输入：t 2r a t e s - c i = 5s o u r c e f i l e 吣d e s t i n a t i o n f i l e 输出文件的内容为： 撑s t a r t p k t s b y t e s f l o w se n t r i e s p k t s s b i t s l sf l o w s s 9 3 7 3 4 5 5 6 43 2 6 8 31 2 8 5 7 7 9 64 7 5 7 4 7 5 76 5 4 k2 0 5 7 m 9 5 1 4 0 9 3 7 3 4 5 5 6 93 4 4 3 61 3 8 7 2 1 8 9 5 0 8 75 0 8 76 8 9 k2 2 2 0 m 1 0 2 k 9 3 7 3 4 5 5 7 4 11 9 1 04 9 7 2 5 5 92 7 0 62 7 0 66 9 1 k2 3 0 8 m 1 5 7 l 【 其中命令行中的- c i 表示每个时间问隔设为5 s ，s 表示输出结果用短格式存储， 1 2 北鏖蛮亟厶堂亟堂位途塞速量墨塞左蓬塑! 数据盆赶上县 即一行表示一个时间间隔中得到的统计信息，否则可以将统计信息按照采集的端 口再进行分类。一行表示每个5 s 的问隔内得到的统计信息，每列表示的是这个间隔 的开始时间、总的数据包数、总的字节数、总的流数、数据包速率、比特率、流 速率。 韭塞窑遵厶堂亟堂位盈塞嗵络逋量盟自揎赵拉蛙 3 网络流量的自相似特性 自从l e l a n d 等人在9 0 年代初第一次明确的提出了网络流量中存在着自相似 现象以来，各国研究人员开始对世界上现有的一些网络进行了测量和分析，发现 不论网络的拓扑和业务如何，网络流量中都能检测到自相似特性。自相似业务成 为近年来网络业务模型的研究中的一个热点。大量的针对以太网，w e b 等业务的测 量表明：这些实际的网络业务普遍存在着在统计意义上的长时相关性( 1 0 n gr a n g e d e p e n d e n c e ) 或自相似性( s e l f - s i m i l a r ) ，具体表现在业务在大的时问尺度上呈现 出相似的突发性，这与传统的电话网中服从泊松过程的短时相关业务假设有着很 大的不同。在这种业务特性下，网络研究中的业务建模和性能分析都产生了许多 新的问题。 3 1 自相似过程及其数学特性 自相似描述了事物的某些特性，例如，自然界的现象，特定动态系统的汇聚 子域可以在时间、空间上保持其尺度。如果一个事物是自相似的，它的一部分放 大后与它的整体在形式上是相似的。 互联网通信量的一个重要性质就是自相似性。自相似性指在不同的标度下， 分布曲线的形状是相似的，不可区分的。网络上的数据流没有一个本质的突发长 度，在每个时间规模上，从微秒到分钟，从分钟到小时，突发期由一些突发子周 期构成，这些突发子周期又由一些更小的突发子周期构成，这就是互联网通信量 的自相似性。自相似性是分形( f r a c t a l ) 的基本性质，因此也有人使用分形的手段来 研究互联网的通信量。 3 1 1 自相似过程的定义 一个连续的时问过程y = y ( f ) ，f 0 被称为自相似( s e l f - s i m i l a r i t y ) 参数为日的 自相似过程【1 7 1 ，如果满足条件： y ( t ) - a 一8 y ( 口f ) ，v t o , v a 0 , 0 5 h l ， ( 3 1 1 ) 一 其中= 表示同分布。 自相似参数日也称为赫斯特( h u r s t ) 参数，它表征了过程自相似的程度。越 大，过程的自相似程度越高，其长时相关性越高；当灯= 0 5 时，过程退化为短时 1 4 韭塞銮邋厶堂亟堂垃i 金塞塑经逾堇的臼擅似缝i 生 相关过程，不再具有白相似性。 由于稳定过程要求】，( f ) = y ( a t ) ，所以连续时问自相似过程不是稳定过程，可 以证明，连续时间自相似过程是稳定增长过程。对于