（计算机科学与技术专业论文）分布式网络流量数据分析与管理技术研究与实现.pdf

国防科技大学研究生院硕士学位论文 摘要 随着互联网的迅猛发展，网络管理已变得日益重要。流量监测和统计分析是 整个网络管理的基础。为了实现对网络进行综合管理，有必要及时全面的收集、 管理网络的流量信息，准确获取网络流量数据，对网络流量态势进行分析，对网 络健康状况及未来的发展趋势作出准确判断。 网络流量分析一直是通信网络性能分析的一个极其重要的问题。但是目前大 部分网络及流量监控都是针对单个或局部链路进行的，然而，当今网络研究者面 临的更重要的问题是需要同时对网络所有链路的流量进行建模和分析，包括流量 矩阵的估算。针对当前大部分网络流量矩阵估算方法都是采用单一的s n m p 链路 负载或抽样的n e t f l o w 数据，本文提出一种综合利用多个数据源进行流量矩阵估 算的方法。算法将s n m p 链路负载与抽样的n e t f l o w 数据结合作为相互纠错码， 并设计过滤这两种数据源中的脏数据，从而进行更为精确地流量矩阵估算。同时 本文也设计了在单数据源情况下，已知网络的拓扑结构和链路流量，通过期望最 大化算法对网络o d 对之间的流量需求进行估计。论文使用校园网为实验环境采 集数据对本文提出的几种算法进行评估，并与t o m o g r a v i t y 、g e n e r a l i z e dg r a v i t y m o d e l 方法进行比较，实验结果证明了本文提出的算法在进行估算时具有更高的准 确性。 同时本文结合网络综合态势管理技术的需求，设计了流量态势管理系统的体 系结构，完成了原型系统的设计与实现。对流量采集、数据接收、数据传输、流 量分析、以及数据的存储与管理等五个功能模块进行了详细的设计；提出了基于 0 d 流的流量分析架构，采用四种相应的算法完成了流量数据的分析，实现了确定 网络中关键链路、瓶颈节点、识别大象流以及判定异常流这几种态势分析；设计 了流量数据库完成了对大规模流量原始数据以及各种态势分析数据的管理。论文 以校园网为实验环境采集真实的网络流量数据，针对本文提出的系统架构，设计 的各个功能模块，根据数据的处理流程对整个原型系统进行了功能测试和性能分 析。 综上所述，本文的工作针对分布式网络流量数据的分析与管理技术提出了有 效的解决方案，具有一定的理论价值和应用价值。 主题词：网络管理，流量采集，流量矩阵估算，流量分析，流量数据管理 第i 页 国防科技大学研究生院硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e t n e t w o r km a n a g e m e n th a sb e c o m e i n c r e a s i n g l yi m p o r t a n t t r a f n cm o n i t o r i n ga n ds t a t i s t i c a la n a l y s i sa r et h eb a s e so ft h e e n t i r en e t w o r km a n a g e m e n t i no r d e rt oa c h i e v ei n t e g r a t e dm a n a g e m e n to ft h en e t w o r k ， i ti sn e c e s s a r yt oc o l l e c ta n dm a n a g et h en e t w o r kt r a f f i ci n f o r m a t i o n o b t a i na c c u r a t e t r a f f i cd a t a i ti sr e q u i r e dt oa n a l y z en e t w o r kt r a m ci n f o r m a t i o na n da c c u r a t e l yj u d g e t h eh e a l t hs t a t u sa n df u t u r ed e v e l o p m e n tt r e n do ft h en e t w o r k m o s to ft r a f f i ca n a l y s i sm e t h o d sa r eb a s e do ns i n g l eo rl o c a l1 i n k s h o w e v e r n o w a d a y sn e t w o r kr e s e a r c h e r sf a c i n gm o r ei m p o r t a n tq u e s t i o ni st om o d e la n da n a l y z e a l lt h el i n k s s u c ha se s t i m a t i o no ft r a f j f i cm a t r i c e s m o s to ft h ep r e v i o u sa p p r o a c h e s i n f e rt r a f f i cm a t r i xf r o me i t h e rs n m pl i n kl c a d so rs a m p l e dn e t f l o wr e c o r d s i nt h i s w o r k ，w ed e s i g nn o v e li n f e r e n c et e c h n i q u e st h a t ，b ys t a t i s t i c a l l yc o r r e l a t i n gs n m pl i n k l o a d sa n ds a m p l e dn e t f l o wr e c o r d s ，a l l o wf o rm u c hm o r ea c c u r a t ee s t i m a t i o no ft r a f f i c m a t r i c e st h a no b t a i n a b l ef r o me i t h e ri n f o r m a t i o ns o u r c ea l o n e a n dw e d e s i g n t e c h n i q u e st h a t ，b yc o m p a r i n gn o t e sb e t w e e nt h ea b o v et w oi n f o r m a t i o ns o u r c e s ， i d e n t i f ya n dr e m o v ed i r t yd a t a ，a n dt h e r e f o r ea l l o wf o ra c c u r a t ee s t i m a t i o nw i t ht h e c l e a n e dd a t a w ea l s op r e s e n ta l la p p r o a c ht ot r a f f i cm a t r i xe s t i m a t i o np r o b l e mw i t ht h e s i n g l ed a t as o u r c e g i v e nt h en e t w o r kt o p o l o g ya n dt h el i n kt r a f f i c ，i tu t i l i z e st h e e x p e c t a t i o nm a x i m i z a t i o na l g o r i t h mt oc o m p u t et h et r a f f i cd e m a n do ft h ep a i ro fo r i g i n a n dd e s t i n a t i o n w ee v a l u a t e dt h ep r e s e n t e ds e v e r a la l g o r i t h m su s i n gr e a le x p e r i m e n t a l d a t a e x p e r i m e n t r e s u l t ss h o wt h a tt h e p r o p o s e dm e t h o di s m o r ea c c u r a t et h a n t o m o g r a v i t ya l g o r i t h ma n dg e n e r a l i z e dg r a v i t ym o d e lm e t h o d a c c o r d i n gt ot h er e q u i r e m e n t so ft h ei n t e g r a t e dn e t w o r km a n a g e m e n tt e c h n i q u e ， w ed e s i g nt h ea r c h i t e c t u r eo ft h en e t w o r kt r a f j f i cs i t u a t i o nm a n a g e m e n ts y s t e m f u r t h e r m o r e ，w ed e s i g n e da n dr e a l i z e dt h ep r o t o t y p e t h e r ea r ef i v ef u n c t i o nm o d u l e s o ft h es y s t e mb e i n gd e s i g n e di nd e t a i l ，i n c l u d i n gt r a f f i cc o l l e c t i o n ，d a t ar e c e p t i o n ，d a t a t r a n s m i s s i o n ，t r a f f i ca n a l y s i s ，d a t as t o r a g ea n dm a n a g e m e n t b e s i d e s ，t r a f f i ca n a l y s i s s t r u c t u r eb a s e do n0 df l o wi sb r o u g h tf o r w a r di nt h i st h e s i s a n di th a sc o m p l e t e d t r a f f i cd a t aa n a l y s i sw i t ht h ec o r r e s p o n d i n ga l g o r i t h m s ，w h i c hi n v o l v e sd e t e r m i n i n gk e y l i n k sa n db o t t l e n e c kn o d e si nt h en e t w o r k d e t e c t i n ge l e p h a n tf l o w sa n da b n o r m a lf l o w s t r a 衔cd a t a b a s ei sd e s i g n e dt om a n a g el a r g e s c a l er a wt r a f f i cd a t aa n dt h ea n a l y s i sd a t a f i n a l l y ，t h ef u n c t i o na n de f f i c i e n c yo ft h ep r o t o t y p ea r et e s t e du s i n gr e a l s a m p l e d n e t w o r k 仃a f f i cd a t a t h er u n n i n gr e s u l t sa n dt h ep e r f o r m a n c ea n a l y s i sa r ep r e s e n t e d i ns u m m a r y ，t h i sw o r kd e a l sw i t hd i s t r i b u t e dn e t w o r kt r a f f i cd a t aa n a l y s i sa n d m a n a g e m e n t ，w h i c hp r o v i d e sab a s i sf o rf u t u r er e s e a r c ha n dd e v e l o p m e n t k e yw o r d s ： n e t w o r km a n a g e m e n t ，t r a f f i cc o l l e c t i o n ，t r a f f i cm a t r i x e s t i m a t i o n ，t r a f f i ca n a l y s i s ，t r a f f i cd a t am a n a g e m e n t 第i i 页 国防科技大学研究生院硕士学位论文 表目录 表1 1 流记录内容j 3 表2 1n e t f l o w 导出格式的版本及特点1 2 表2 2v 5 格式的数据包头格式1 3 表2 3v 5 格式的流量记录格式1 3 表2 4 三种流量采集技术的横向比较1 4 表4 1 流量采集设备表( tc o l l e c te q u i p ) 4 7 表4 2 采样策略表( tc o l l e c tp o l i c y ) 4 7 表4 3 流量采集任务表( tc o l l e c tt a s k ) 4 8 表4 4 原始流量表( 基于n e t f l o wv 5 ) ( o r i g i n a lt r a 佑c ) 4 8 表4 5 链路表a 伍c ) ( l i n kt r 4 9 表4 6 网络设备表( n e th a r d w a r e ) 4 9 第1 v 页 国防科技大学研究生院硕士学位论文 图1 1 图2 1 图2 2 图2 3 图3 1 图3 2 图3 3 图 图 图 图 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 图4 图4 图4 8 9 1 0 l 1 图目录 网络系统3 n e t f l o w 框架1 2 n e t f l o w 输出报文格式1 2 关键字段与应用范围及参数之间的关系1 4 一个0 d 流的网络模型图一2 5 脏数据在流量矩阵估算中的影响一2 6 o d 流1 的计算结果2 6 o d 流2 的计算结果2 7 o d 流3 的计算结果2 7 o d 流4 的计算结果2 7 o d 流5 的计算结果一：2 8 网络流量态势管理系统架构3 0 系统物理视图。3 2 系统处理视图一3 2 流量分析系统架构图一3 4 流量采集处理流程图3 5 流量采集服务组织方案3 6 数据接收流程图一3 7 传输模块中a g e n t 端结构图。3 8 传输模块中管理服务端结构图一3 9 链路流量统计处理4 1 关键链路确定的主要代码4 1 图4 12s a m p l ea n dh o l d 算法4 3 图4 1 3 识别大象流算法描述4 4 图4 1 4 判定异常流算法描述4 6 图4 1 5 流量数据库中主要数据库表格的关系5 0 图5 1实验网络骨干网拓扑图5 2 图5 22 0 0 8 年1 0 月3 1 日1 0 点至1 2 点流经某r o u t e ri f l n d e x l 0 接口的网络流量 ! ；：； 图5 3网络流量应用排行。5 3 图5 4 关键链路测试5 4 图5 5 识别大象流测试5 4 第v 页 国防科技大学研究生院硕士学位论文 图5 6 图5 7 图5 8 图5 9 图5 1 0 判定异常流测试5 4 一周中链路数量总和的时序图5 5 大象流在一周时间内占网络总流量的百分比。5 5 一周中发生异常的情况统计( t 1 ) 5 6 一周中发生异常的情况统计( t 2 ) 5 6 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：盆查盛圈终速量熬量佥堑生笪垄盐苤盟塞生塞理 学位论文作者签名：瑟四日期：) 掰年肜月，7 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 金查盛圜终速量熬量金盘生篮堡技苤盈究生塞理 学位论文作者签名： 篡i 耳日期：砷略年) 月，7 日 危7 作者指导教师签名：2z 鱼 日期：乙细p 年2 _ 月厂7 日 国防科技大学研究生院硕十学位论文 第一章绪论 1 1 课题背景 以i n t e m e t 为代表的信息网络是现代信息社会最重要的基础设施之一，它已渗 透到社会生活的各个领域，成为国家进步和社会发展的基本需求，是未来知识经 济的基础载体和支撑环境。近几年，i n t e m e t i n t r a n e t 部署和应用的迅猛发展，使企 业和个人用户的计算模式有了重大转变。一方面网络为信息的交流、资源的共享 提供了方便、快捷的途径；另一方面，随着用户对网络的依赖程度日益加深，网 络所承担的任务也越来越重，导致网络规模日益扩大，复杂程度不断提高，承载 的业务也越来越复杂和多样，从而网络发生故障的概率也越来越高。如果网络出 现故障或运行状态不佳，会导致网络运营效率的下降，如果是网络内骨干交换设 备和骨干路由器等关键设备发生故障，将会造成巨大的损失，并产生无可估量的 影响。因此，面对日益快速发展的网络，i p 网络管理l l 】的重要性也与日俱增。 网络管理就是指监督、组织和控制网络通信服务和信息处理所必须的各种活 动的总称。从技术实现的角度来说，网络管理的过程通常包括数据采集，数据处 理，然后提交给管理者，用于在网络操作中使用。它可能还包括分析数据并提供 解决方案，甚至可能不需要打扰管理者而自行处理一些情况。进一步它还可以产 生对管理者管理网络有用的报告。网络管理的目标是确保网络的连续正常运行， 或者当网络出现异常时能及时响应和排除故障，使得网络具有最高的效率和生产 力。 i s o 定义了网络管理的5 个功能域，分别完成5 种不同的网络管理功能，分别 是配置管理、故障管理、性能管理、安全管理和计费管理【2 】。网络管理已变得日益 重要，网络实时监测是网络管理的基础部分，网络监测的目的是为了收集关于网 络状态和行为的信息，收集的信息包括与配置相关的静态信息和与网络事件相关 的动态信息，以及从动态信息中总结出来的统计信息。网络流量的管理是网络监 测的一个重要方面。它包括监测流量收集、统计分析、流量异常问题的解决三个 阶段。网络流量监测是网络管理中一个非常基础也非常重要的一个环节，研究网 络流量监测是非常有意义的。 随着i n t e m e t 应用的急剧增长，越来越多的网络应用程序需要了解流量等网络 运行参数，以支持可区分的服务。通过对网络流量分析与监管技术的相关网络管 理业务，可以对网络进行监视，包括对网络运行情况的监视、网络资源的监视和 网络性能( 如业务吞吐量、时延、丢包率、r t 、带宽利用率、网络伸缩性( s c a l a b i l i t y ) 等) 的监视等。 第l 页 国防科技大学研究生院硕十学位论文 监视的统计结果有助于网络质量控制和辅助性网络管理，如发现并改正病态 路由、根据长期观察的路由数据对网络选路制定策略等。此外，网络流量分析还 可以应用于对不同i n t e m e t 服务提供商i s p 的服务质量( q o s ) 的比较、代理服务器 的自动选择等许多方面，同时为仿真模拟i n t e m e t 环境、协议设计与评价以及动态 网络存活性分析提供研究基础，为i n t e m e t 流量工程( t r a f f i ce n g i n e e r i n g ) 和网络行为 学( n e t w o r kb e h a v i o r ) 的研究提供基础辅助依据及验证平台。 网络流量管理可以为运营商的网络管理与分析提供依据，为合理规划运营商 的网络结构、均衡网络负载和优化网络性能提供参考。通过从网络设备上获取丰 富的统计信息，包括i p 分组大小的分布、按应用协议统计的i p 流量数据、按地址 统计的流量数据、按时间统计的流量数据等，可以进行网络的流量、流向分析， 帮助网络管理员了解网络设备的负载情况，以便及早发现网络中存在的问题，更 好的对网络进行维护。 现有的网络管理系统大部分采用s n m p 管理模型，s n m p 是一种简单网络管 理协议，随着网络规模日益扩大和管理行为日趋复杂，s n m p 模型已经难以满足 实际网络管理的需求，新一代的网络管理系统结构呈现从集中式向分布式发展、 从面向数据向面向服务转变的趋势。重点科研项目“综合网络态势管理技术 是 一种基于w s d m 3 】( w e b 服务分布式管理) 的网络管理技术，综合网络态势管理 技术以面向服务架构( s o a ) 的思想作为指导，选择w e b 服务技术作为技术实施框 架，选择w s d m 作为w e b 服务之间的互操作协议。综合网络态势管理采用面向 服务的思想设计一套新型的网络管理模型，实现一套网络管理服务器软件平台， 将网络管理行为抽象为一系列的服务，并集成到服务器软件平台中。而大规模网 络流量态势分析与处理是该科研项目的关键子课题之一，需要实现流量监测服务， 因此对分布式网络流量数据分析与管理技术进行研究具有很重要的意义，本课题 正是在以上的背景下完成的。 1 2 课题研究的内容和意义 大规模网络流量态势分析与处理对于网络设计、网络性能优化、网络应用流 量监视及异常流量检测都具有很重要的意义。 首先给流量【4 】一个定义。流量( t r a f f i c ) 在逻辑上等价于呼叫或者连接。而流 ( f l o w ) 指的是两个节点之间数据包的单向序列( 也就是说，对每一个连接会话都有 两个流，从服务器到客户端的和从客户端到服务器的) ，用起止时间分隔开，可 以用下面7 个关键域进行标识：源i p 地址、目的i p 地址、源端口、目的端口、协 议类型、服务类型、路由器输入接口等( 如表1 1 ) 。无论什么时候路由器收到数 据包，都要查找这7 个域，然后再做决定。如果该数据包属于已经存在的“流”， 第2 页 国防科技大学研究生院硕士学位论文 则相应流的流量值增加；否则，将创建一个新的流。与“流”相关的属性值( 如 源目的地址、包数、字节数等) 反映了在起止时间内发生的事件。一个流的起始 时间是固定的，终止时间随着流的延续而增长。通常我们关心的流记录分类依据 由一个五元组( 即源地址、目的地址、源端口、目的端口和协议类型) 所组成。 表1 1 流记录内容 i 源地址目的源端口目的协议字节数分组数其它 地址端口类型 1 2 1 网络流量与网络体系结构 从网络体系构架来说，网络流量是一切研究的基础。所有对网络应用和网络 本身的行为特点的研究都可以通过对网络流量的研究来获得，如图1 1 所示。网络 的行为特征往往可以通过其承载的流量的动态特性来反映，所以有针对性地检测 网络中流量的各种参数( 如p a c k e ti n t e r a r r i v a l ，p a c k e tl e n g t h ，p a c k e tl o s sr a t e ，p a c k e t d e l a y ，e t c ) ，就能从中分析和研究网络运行特征。通过分析和研究网络上所运载 的流量特性，有可能提供一条有效的探索网络内部运行机制的路径。 由于网络流量在网络体系结构中的地位，越来越多的研究者转向网络流量的 研究，流量理论也越来越受到重视，网络领域的十大研究热点，其中就包括网络 流量的测量和分析。 1 2 2 网络流量与网络性能 图1 1 网络系统 网络流量能直接反映网络性能的好坏。在网络中，如果网络所接受的流量超 过它实际的运载能力，就会引起网络性能下降。吞吐量是表征网络性能的重要标 志。一个理想的网络应该接受所有提供的流量，直到它的最大吞吐量限额。然而 在实际的网络中，如果对网络流量控制的不好或发生网络拥塞【5 】，将会导致网络吞 第3 页 国防科技大学研究生院硕士学位论文 吐量下降，网络性能降低。 网络流量监测主要为了对网络数据进行连续的采集以监测网络的流量。获得 网络流量数据后对其进行统计和计算，从而得到网络及其主要成分的性能指标， 定期形成性能报表，并维护网络流量数据库和日志，存储网络及其主要成分的性 能的历史数据，网络管理员根据当前的和历史的数据就可以对网络及其主要成分 的性能进行性能管理，通过数据分析获得性能的变化趋势，分析制约网络性能的 瓶颈问题。此外，在网络性能异常的情况下，网络流量监测系统还可向网络管理 者进行告警使故障及时得到处理。 1 2 3 网络流量与网络安全 随着i n t e m e t 的应用领域和应用规模的快速增长，通过网络传播计算机病毒的 种类越来越多，传播速度更快，感染面积更广，全球的信息安全受到了普遍而严 重的威胁。安全问题己经成为严重制约网络发展特别是商业应用的主要问题，并 直接威胁着国家和社会的安全。 一方面，由于i n t e m e t 在协议、服务和管理等方面存在缺陷，黑客攻击、病毒 泛滥以及网络设备软硬件导致的异常，使得网络安全保障工作面临越来越严峻的 挑战。另一方面，互联网技术和业务的飞速发展，使得网络数据流量急剧增加。 面对国际互联网大环境，必须深刻认识到，完全杜绝互联网安全事件越来越难， 是否能够及时发现网络攻击并及时采取应对措施成为人们关注的焦点，因此有必 要提出网络流量异常分析技术。 网络管理员的一项主要任务就是监测网络设备有无异常流量，如网络设备故 障、恶意攻击、病毒等等。而鉴别这些异常往往基于一些特别的方法或管理者常 年网络管理的经验。当网络规模不大，数据量不多时，可以凭借管理经验来对它 们进行分析，对网络运行状况做出判断和评价。但是，当网络管理员面临大量的 数据和广阔的网络时便束手无策了，这就迫切需要一种对这些数据进行自动化处 理的技术，当数据中心出现网络管理人员感兴趣的异常信息时，能够自动发现或 检测出来，这样的数据处理技术将会大大减轻网络管理人员的负担。进一步，如 果对各个参数之间的空间或时间关系进行综合考虑，那么将有助于提高发现问题 的能力和准确性。 通过分析网络流量异常可以检测出许多的网络故障、性能以及安全问题，这 成为检测网络故障、性能和安全问题的一种有效方法，增强了检测故障和性能问 题的能力，对提高网络的可用性和可靠性、保证网络的服务质量具有重要的意义。 网络流量异常分析是解决异常流带来的危害问题的前提。特别是针对大规模网络 流量，网络应用和网络规模的庞大化使得研究人员对网络问题的研究变得困难和 第4 页 国防科技大学研究生院硕士学位论文 复杂，更需要一种简单有效的异常分析方法，为网络管理和网络安全提供有力的 帮助。 网络流量分析一直是通信网络性能分析的一个极其重要的问题。但是目前， 网络流量分析的许多工作都是集中在孤立地研究网络中单条链路的流量上。然而， 当今网络研究者面临的更重要的问题是需要同时对网络所有链路的流量进行建模 和分析，包括流量工程，流量矩阵估算，异常检测，攻击检测，流量预测和容量 计划等。 为了实现对网络进行综合管理，有必要及时全面的收集、管理网络的流量信 息，准确获取网络流量数据，对网络流量态势进行分析，对网络健康状况及未来 的发展趋势做出准确判断。网络流量态势包含：网络带宽分布、网络瓶颈分析、 网络流量异常分析、网络应用流量监测等。大规模网络流量态势分析与处理技术 首先需要研究设计网络流量态势管理的体系结构，设计并实现网络流量的采集， 开发端到端的网络带宽、延迟测量工具，研究网络流量及网络瓶颈的分布，通过 对网络流量数据的分析及时发现网络异常流量，实现对网络流量的实时监控。 本课题的重点研究内容有： 1 网络流量态势管理系统体系结构。 2 网络流量采集的设计与实现。 3 网络流量矩阵的估算。 4 网络流量数据分析与处理技术。 1 3 论文的主要工作 本文针对当前网络流量管理系统存在的局限性，结合网络综合态势管理的需 求，设计了流量态势管理系统的体系结构，为实现系统各模块之间的松耦合，系 统在设计上划分为三个层次，由底至上依次为资源层、管理服务层、展示层。 本文提出了一种基于多数据源的流量矩阵估算方法。算法的主要思想是提出 综合利用s n m p 链路负载和抽样的n e t f l o w 数据进行流量矩阵的估算，并设计了 过滤s n m p 和n e t f l o w 测量数据中的脏数据的算法，通过在校园网上采用本文提 出的去除脏数据并进行网络流量矩阵估计的算法实验验证了该算法的有效性。 本文完成了网络流量态势管理原型系统的设计与实现，包括分布式网络流量 数据的采集、流量数据的传输、流量数据的存储与管理等，提出了基于o d 流的 流量分析架构，以校园网为实验环境计算了网络o d 流，并对o d 流进行判定，分 析得出了校园网的关键链路、瓶颈节点，判定出网络中存在的大象流，以及异常 流等。 对网络流量态势管理原型系统进行测试。包括对原型系统的功能测试和性能 第5 页 国防科技大学研究生院硕士学位论文 测试与分析等。 1 4 论文的组织结构 本文共分五章，各章节的内容概述如下： 第一章为绪论。论述了本课题的研究背景、课题研究的内容和意义，并概述 论文的主要工作和篇章结构。 第二章为课题相关技术的研究。主要介绍了目前存在的网络流量监测技术、 网络数据流采集技术，并对其进行分析和比较；同时概述了目前网络流量矩阵估 算方法的最新研究进展。 第三章为基于多数据源的网络流量矩阵估算方法。对目前存在的多种网络流 量矩阵估算方法进行分类，针对大部分流量矩阵估算方法都是采用单一的s n m p 链路负载或者是抽样的n e t f l o w 数据，本章设计综合使用这两种数据源进行更为 精确的流量矩阵的估算方法，并设计了过滤n e t f l o w 和s n m p 数据的算法，通过 对校园网采集的真实流量数据进行实验，证明该算法具有更高的准确性。 第四章为网络流量态势管理原型系统的设计与实现。包括系统总体架构，系 统处理流程，流量采集模块，数据接收模块，数据传输模块，数据的存储与管理 模块，以及基于网络o d 流的流量分析模块的详细设计与实现。 第五章为系统的测试与分析。对网络流量态势管理原型系统进行了功能测试 和性能分析。 第六章为结束语。对本文的工作进行了总结，并提出了下一步的研究方向。 最后是致谢和参考文献。 第6 页 国防科技大学研究生院硕士学位论文 第二章相关技术研究 本章主要介绍目前主流的流量监测技术，网络数据流采集技术以及流量矩阵 估算的研究现状。熟悉这些技术对于分布式网络流量数据分析与管理技术的研究 与实现具有指导意义：网络流量信息的采集是网络管理系统得以实现的基础，通 过对不同的流量监测和流量采集技术的分析和比较，在对高速网络环境下的流量 进行监测时，选择合适的流量采集方法是整个系统设计和实现的前提，也是能否 满足用户需求的关键；同时当今网络研究面临的重要问题是需要同时对网络中所 有链路的流量进行建模和分析，包括流量矩阵估算的研究。因此，对相关实现技 术进行研究，对于分布式网络流量数据分析与管理技术的实现具有重要的参考作 用。 2 1 网络流量监测技术 i n t e m e t 流量数据有三种形式：被动数据( 指定链路数据) 、主动数据( 端至 端数据) 和b g p 路由数据，由此涉及到两种网络流量监测方法：主动监测和被动 监测【6 1 。 2 1 1 主动监测 主动监测也叫主动测量，是基于端到端的测量，通过测量设备向被测网络注 入一些以探测网络特征或网络流量负载等信息为目的的探测流，并根据这些探测 流在网络中传输时反映出来的属性来理解被测网络的模型特征参数，如t t l 、时 延、丢包率等，进而了解被测网络目前的运行状态和提供数据传输的能力，以此 来作为对被测网络进行流量信息统计、网络状态获取等应用的指导。 主动意味着测量过程中产生新的网络流量。这些流量也许是为了引起网络部 件的特殊响应，也许是为了查看网络为流量提供服务类型的性能。主动测量给网 络增加了潜在的荷载负担，特别是如果没有仔细设计使得该方法产生的流量数最 小，那么附加的流量会扰乱网络，歪曲分析结果。 主动测量的优点是灵活、方便，可得到端到端之间的网络性能信息。它的不 足：由于需要向网络发送流量，会增加网络负担，对网络性能产生影响。大量的 流量可能会在瓶颈处产生拥塞，从而使测量值偏离实际值，有系统误差，即 h e i s e n b e r g 效应，h e i s e n b e r g 测不准原理。 2 1 2 被动监测 第7 页 国防科技大学研究生院硕士学位论文 被动监测也叫被动测量，是一利- 分布式的网络监测技术，它是在被测网络的 一些离散观测点上部署一些以观测网络流为目的的设备或网络组件，并通过对该 点的数据流进行收集、分类和提取，然后对记录数据进行归并和处理。观测点一 般位于网络中流量聚合的地方。被动测量几乎不会对原有网络流量造成影响，它 可以完全取消附加流量和h e i s e n b e r g 效应，测量得到的网络数据能真实反映当前 网络的流量分布特点，这些优点使得被动测量方式被广泛用于测量和分析网络流 量分布，大量用于网络流量分析等应用。 同时，被动测量还有许多其它应用，包括：识别、刻画和跟踪网页缓冲和代 理的优化配置；网络体系结构的安全危害；拥塞控制算法的有效性；流量增长是 由于增加了用户还是每个用户流量的增加；流行协议和应用使用的变化；新的技 术和协议的渗透力和影响。以上的被动测量应用是i n t e m e t 流量行为研究的主要内 容。 2 2 网络数据流采集技术 随着网络重要性和复杂性的不断增加，作为网络管理者，需要透过整个网络 识别关键问题，包括研究应用的响应时间、网络带宽的瓶颈以及识别网络每一层 可能出现的问题等，而且还需要着眼于未来新的技术和应用，并以此扩展网络， 这些都需要从网络数据涮7 j 的采集开始。 目前常用的数据流采集方式分为三种： 传统的方法是使用s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o l ，简单网络管 理协议) ，从开启了s n m p 服务的网络设备的流量计数器( t r a f f i cc o u n t e r s ) 读取流量 信息。较为普遍的用于入侵检测和协议分析的包嗅探法( p a c k e ts n i f f e r i n s ) 广泛使用。 n e t f l o w 技术正迅速发展起来，n e t f l o w 版本已经作为i e t f 的标准之一向外发布， 越来越多的厂商都使自己的设备支持n e t f l o w ，选择n e t f l o w 采集网络数据流信息 也不失为一个好办法。 本节将对这三种方法进行详细的介绍，并且进行横向比较。 2 2 - 1 基于s n m p 的数据流采集 s n m p 方法是一种基于r e q u e s t r e s p o n s e 模式通过s n m p 协谢剐在管理基站 ( n e t w o r km a n a g e m e n ts t a t i o n ，m a n a g e r ) 与被管对象间交换网络状态信息的方法。 m a n a g e r 向作为被管对象的网络设备发送请求( r e q u e s t ) ，从而得到运行于被管对象 之上的管理代理( a g e n t ) 的回复( r e s p o n s e ) 。a g e n t 运行于被管对象上，将收集的网 络数据信息存储于管理信息库( m a n a g e m e n ti n f o r m a t i o nb a s e ，m i b ) 。m i b 是对象 的集合，它代表网络中可以管理的资源和设备，每个对象基本上是一个数据变量， 第8 页 国防科技大学研究生院硕士学位论文 它代表被管对象某一方面的信息，如被管对象某接u 流量等。 使用s n m p 法，配置简单，额外消耗网络带宽少，而且对设备的性能( 如c p u 使用率、内存占用率) 要求较低。适合大型网络的流量采集与分析。它的优点是 能从宏观的角度查看网络的整体性能和状况，给管理人员从大局的层面分析和解 决问题带来了方便。它的缺点是只能获得统计信息，不能针对i p 地址以及端口等 信息进一步分析，这是因为获取的数据局限于网络设备所固有的m i b 库。另外， 由于s n m p 管理端使用轮询的方式获得信息，在需要采集点很多的网络中轮询会 产生巨大的网络管理报文，导致网络拥塞，而且s n m p 仅提供一般的验证，不能 提供可靠的安全保证，不支持分布式管理，只采用集中式管理。在只有网管工作 站负责采集和分析数据的情况下，网管工作站的处理能力可能成为瓶颈。 。2 2 2 基于包嗅探法的数据流采集 当某网络设备不支持s n m p ，或者用户需要细节网络流信息，如网络协议类 型( t c p 、u d p 、i c m p ) ，某特定i p 地址的流量时，经常采用包嗅探法。包嗅探法 只能通过某个网络接口进行抓包。在交换网内部( s w i t c h e dn e t w o r k ) ，只有属于该设 备的数据流才会被发往该设备的网络接口，即包嗅探法无法看到其它主机的数据 流信息。 如果用户想监视整个交换网内部的数据流，则必须开启交换机的监视端口功 能( m o n i t o r i n gp o r t ) 。交换机会将所有通过它的数据包的拷贝版本发送往该端口。 只要将抓包程序应用于该端口，即可以得到整个交换网内部的数据流信息。 几乎所有现存的包嗅探工具都是基于l i b p c a p | 9 】程序包运行的，这其中包括最 早的t c p d u m p 1 0 】、当前流行的e t h e r e a l 、s n i f f e r 。包嗅探工具是对整个数据包的镜 像采集，使得它收集信息的能力最强，范围最广，从第二层以太网地址，到最上 层的应用层的信息安全都可以由数据报的结构分析得到。但是由于它采集数据量 过大，很容易产生网络处理瓶颈、主机处理瓶颈，对作为采集器，分析器的主机 要求较高，因此该方法适合于短期的网络流量采集，而不适合用于大规模的网络 分析工具。 2 2 3 基于n e t f l o w 的数据流采集 i n t e m e t 和i n t r a n e t 的部署和应用飞速的发展，使得企业和消费者信息处理模 式正在发生着重大转变。这种转变导致了对网络带宽、网络性能、可预见的服务 质量( q o s ) p _ j , 及多媒体业务和面向安全的网络业务等方面的需求有了很大的增长。 对于网络运营商来说，更合理的规划网络结构、均衡网络负载和优化网络性能， 以及对网络流量进行统计并以此作为计费的依据，已经成为运营商网络管理系统 第9 页 国防科技大学研究生院硕士学位论文 必备的功能。 市场提出了对流量统计和管理技术的需求，并要求这一技术能有效提供记录 网络和应用资源利用率所必须的信息。n e t f l o w 技术的出现正是为了满足这种需 求