（电力系统及其自动化专业论文）基于netflow技术的网络流量分析系统研究与设计.pdf

r e s e a r c ha n dd e s i g no nn e t w o r k t r a f f i ca n a l y s i ss y s t e mb a s e do n n e t f l o wt e c h n o l o g y a b s t r a c t w i t ht h ep o p u l a r i z a t i o no fi n t e r n e ta p p l i c a t i o n s ，t h es c a l eo fn e t w o r ki s e x p e n d i n g ，a n dt h es t r u c t u r ei sg e t t i n gm o r ec o m p l e x ，h o wt om a n a g en e t w o r k e f f e c t i v e l yh a sb e c o m et h es t i c k i n gp o i n to ft h en e t w o r k sn o r m a lo p e r a t i o n t o p r o v i d er e l i a b l en e t w o r ks e r v i c ef o rs u c hac o m p l e xn e t w o r ke n v i r o n m e n t ，w e n e e dt os e tu pas e to fc o m p r e h e n s i v en e t w o r km a n a g e m e n ts y s t e mt oc a r r yo u t e f f e c t i v em o n i t o r i n ga n da n a l y s i so nn e t w o r kt r a f f i c ，w h i c hw i l la s s i s tt h ej o b s s u c ha sn e t w o r kc o n s t r u c t i o n ，n e t w o r kp e r f o r m a n c eo p t i m i z a t i o na n db u s i n e s s m a n a g e m e n t t h i sp a p e rf i r s t l yc o m p a r e sc o m m o nm e t h o d sa n dt h er e l a t e dt e c h n o l o g i e s o fn e t w o r kt r a f f i c c o l l e c t i n g ，m o n i t o r i n ga n da n a l y s i s ，g i v e s ad e t a i l e d d e s c r i p t i o no ft h ep r i n c i p l e sa n dd e t a i l sa b o u tn e t f l o wt e c h n o l o g y , a n dt h e n s t u d i e st r a f f i c a n a l y s i s m e t h o d sa n da l g o r i t h m so nt h en e t w o r kl a y e ra n d t r a n s p o r tl a y e r o nt h i sb a s i s ，t h i sp a p e rc o m b i n e sw i t hn e t w o r km a n a g e m e n t f e a t u r e s ，d e s i g n san e t w o r kt r a f f i ca n a l y s i sa n dm e a s u r e m e n ts y s t e mb a s e do n n e t f l o wt e c h n o l o g y g e t sn e t f l o wd a t ap a c k e t ss e n db yt h en e t w o r ke q u i p m e n t f r o md a t aa c q u i s i t i o ns y s t e m ，a n a l y z e st h es t r u c t u r eo fn e t f l o wp a c k e t sa n d e x t r a c t so u tt h en e t w o r kt r a f f i ci n f o r m a t i o nw h i c ht h es y s t e mr e q u i r e d ，s t o r e si n t h ed a t a b a s e ；a n a l y s i ss y s t e mt h r o u g ht h i sf l o wi n f o r m a t i o n ，a n a l y z e su s e f u l n e t w o r kt r a f f i ci n f o r m a t i o nt h a tt h eu s e r s n e e da n dt h e nd i s p l a yt ot h eu s e ri n f o r mo fg r a p h i c a l f i n a l l y , i m p l e m e n t st h en e t f l o wt e c h n o l o g yn e t w o r kt r a f f i c a n a l y s i st e s ts y s t e m ，r e a l i z e st h et r a f f i ca n a l y s i sa n dg r a p h i c a ld i s p l a yf u n c t i o n s ， i i a n dg a i n sas a t i s f a c t o r yr e s u l ti nt e s te n v i r o n m e n t k e yw o r d s ：n e t f l o wa n a l y s i s ；n e t f l o w ；f u z z yc l u s t e r i n g i i i 广西大学学位论文原创性声明和学位论文使用授权说明 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成 果和相关知识产权属广西大学所有。除已注明部分外，论文中不包含其他人已经 发表过的研究成果，也不包含本人为获得其它学位而使用过的内容。对本文的研 究工作提供过重要帮助的个人和集体，均已在论文中明确说明并致谢。 ：蔼牛 年6 只 d 日 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即：本人保证不以其 它单位为第一署名单位发表或使用本论文的研究内容；按照学校要求提交学位论文的印刷本 和电子版本；学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务；学校 可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的的前提下，学校 可以公布论文的部分或全部内容。 请选择发布时间： 口即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 蕊呼 一轹彳 导师签名：匕觊铉 严多月多6 日 广西大掌硕士学位论文基于n e t f i o w 技术的网络流量分析系统研究与设计 1 1 研究背景 第一章绪论 互联网的飞速发展给人们工作、生活的方方面面带来了翻天覆地的变化。全球互联 网用户数目在以几何倍数上升，新用户中大部分来自于亚洲，来自于中国。据中国互联 网络信息中一l 二, ( c n n i c ) 2 0 0 8 年7 月推出的中国互联网络发展状况统计报告显示，截至 2 0 0 8 年6 月底，我国网民数量达到了2 5 3 亿，首次大幅度超过美国，跃居世界第一位， 同时，宽带网民数达到2 1 4 亿人，也跃居世界第一位【l j 。 随着网络技术的快速发展，互联网服务应用也呈现出了其多样性，电子商务、网络 媒体、网络游戏等服务如雨后春笋般层出不穷。从个人的日常购物、娱乐生活、知识获 取到企业的产品发布流通、商务谈判等等，方方面面也都出现了网络的身影。网络已经 深入到人们的生活当中，并且成为人们工作、生活中必不可少的一部分。随着人们对网 络依赖程度的提高，网络的安全性、可靠性成为了人们关注的热点，也成为了网络专家 们研究的主要方向。 在互联网发展过程中，一个长期困扰网络服务应用的问题是网络能提供的带宽资源 增长速度始终落后于网络用户的应用需求发展，在当今信息爆炸的年代更是如此，这个 矛盾在今后相当长的一段时间内会继续困扰着人们。因此，如何在有限的带宽资源下合 理有效地满足用户应用需求成为了网络运行管理工作的一个重要方面。为了在有限的带 宽资源下合理有效地满足用户应用需求，需要对网络用户的网络行为习惯，网络流量的 长期协议应用分布等信息加以分析，掌握现有网路上传输的流量详细信息，针对不同的 应用情况采用相应的服务策略，这是解决这供求矛盾的前提条件。 由于网络用户的来源广泛，同时网络本身所固有的虚拟性特征，产生了部分用户网 络行为缺乏道德约束的情况。在各个国家对规范网络行为立法上尚不完善的今天，网络 上出现了很多侵犯他人利益的恶意的网络行为，如病毒、网络攻击、隐私信息盗取等。 其中对网络运行影响较大的恶意行为，主要通过消耗或占用系统或网络有限的资源，进 而破坏系统对外提供服务的能力。此类攻击中，比较常见的有拒绝服务攻击、分布式拒 绝服务攻击、蠕虫病毒、端口扫描等。针对此类攻击，可以通过检测网络流量数据来检 测网络异常和攻击的发生，实时地检测网络数据流信息( 如流量大小、变化趋势、以及 变化速率) ，与历史记录模式匹配( 判断是否正常) ，或者与异常模式匹配( 判断是否被攻 击) ，帮助网络管理人员及时的发现并控制、消除异常情况。 网络流量的分析方法多种多样，依赖于当前网络设备、网络环境的不同而不同。互 联网的迅速发展，p 2 p 技术的广泛应用，新网络应用协议不断涌现等等因素，给获取数 广西大掌硕士学位论文 基于n e t f l 0 1 f f 技术的网络流量分析系统研究与设计 据流信息带来了新的挑战。能否准确、可靠的获取网络数据流信息，有效的分析、发现 异常，达到对网络管理的可视化、精细化管理，是网络规划、网络管理和网络应用设计 等诸多工作的重要前提。近年来依据网络流量分析网络运行状况的研究成为了网络运维 监控领域的热点。 1 2 国内外研究开发现状 伴随互联网的发展，网络管理工作也在逐步发展过程中，并出现了一些成功的管理 模式，例如，通过对实时网络流量数据的监测分析，可以有效地监测当前网络运行性能 以及网络层和传输层的恶意攻击事件；而长期的流量数据分析，则可应用于实施流量可 控化管理，网络工程设计等等。 传统的网络管理方法是使用s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o l ，简单网络 管理协议) 进行网络流量的采集，通过读取开启了s n m p 服务的网络设备的流量计数器 ( t r a f f i cc o u n t e r s ) 获取流量信息【2 】。由于s n m p 协议提供的流量信息过于简单，局限在字 节数和包数量的统计上，为了获取更加详细的信息，出现了基于r m o n 技术和f l o w 技 术来获取网络数据流的方法。另外，用于入侵监测和协议分析的包嗅探法( p a c k e t s n i f f e r i n g ) 也被广泛用作网络管理的手段【3 】。 f l o w 技术在这些现存的技术中是最具发展潜力的一种技术。伴随它快速发展，出现 了思科公司的n e t f l o w 、f o u n d r y 和h p 等公司的s f l o w t 4 1 、j u n i p e r 公司的c f l o w d 、华为 公司的n e t s t r e a m 等一系列标准，其中思科公司的n e t f l o w 技术无疑这当中应用最为广 泛和成功的。以n e t f l o w 版本9 为蓝本，i e t f 完成了i p f i x 的标准化工作，使网络中流 量统计信息的格式趋于标准化，并向外发布。越来越多的厂商都使自己的设备支持 n e t f l o w 。 1 2 1 基于s n m p 协议的流量监测分析 1 9 9 0 年i e t f 在r f c l1 5 7p j 中正式公布了s n m pv l ；1 9 9 3 年，发布了s n m pv 2 ， 扩充了原有网络管理协议的管理信息结构和功能；随着计算机网络规模的不断扩大，分 布式网络技术的应用等原因，业界对网络管理技术的要求也随之提高。i e t f 于1 9 9 8 年 提出了r f c 2 2 7 1 一r f c 2 2 7 5 ，形成了s n m pv 3 意见，并在r f c 3 4 1l 及后续r f c 参考文 献 6 - 8 中对s n m pv 3 的管理框架进行了完善。s n m pv 3 着重弥补了s n m p 体系结构中安 全性问题，并增强了网络管理体系结构中对网络环境的适应性、拓展了网络管理能力。 s n m p 技术是一种基于r e q u e s t r e s p o n s e 模式通过s n m p 协议在管理基站( n e t w o r k m a n a g e m e n ts t a t i o n ，m a n a g e r ) 与被管对象间交换网络状态信息的方法。m a n a g e r 向作 2 广西大掌硕士掌位论文 基于n e t f i o w 技术的网络流量分析系统研究与设计 为被管对象的网络设备发送请求( r e q u e s t ) ，由运行在被管对象之上的管理代理( a g e n t ) 对该请求进行回复( r e s p o n s e ) 驯。 a g e n t 运行于被管对象上，它作用是收集的网络数据信息并将之存储于管理信息库 中( m a n a g e m e n t i n f o r m a t i o nb a s e ，m i b ) 。 m i b 是对象的集合【l0 1 ，它代表网络中可以管理的资源和设备，每个对象集是一个数 据变量，它代表被管对象某一方面的信息，如被管对象某接口流量等信息。 正常情况下，管理基站使用s n m p 协议与网络设备进行通信。首先由m a n a g e r 向设 备发送查询请求，a g e n t 根据请求，回复相应的m i b 信息；特殊情况下，当被管对象发 生异常状况时，a g e n t 会主动发送t r a p 信息给m a n a g e r ，及时报告出现的异常情况。 s n m p 协议模型如图2 1 所示。 s n m p 协议模型 s n m p 管理站s n m p 理 图1 1s n m p 协议模型 f i g u r e1 - 1s n m pp r o t o c o lm o d e l 由于s n m p 的代理定义方便、实现简单以及t c p i p 在互联网中的广泛使用，使得 s n m p 己经成为一种事实的工业标准，目前己被众多的网络设备生产商所支持。 m r t g ( m u l t i r o u t e rt r a f f i cg r a p h e r , m r t g ) 是一种典型的基于s n m p 协议的网络流 量监测统计分析工具】。它的优点是耗用的系统资源小，可以非常直观地显示流量负载。 m r t g 通过s n m p 协议，去侦测指定的运行有s n m p 协议的网络设备，每隔一个采样 周期进行采样并统计其设备流量，最后将流量负载以包含p n g 格式图形的h t m l 文档 的方式显示给用户【l2 1 。这样，用户就可以很容易地从统计图上观察出实际网络的流量 基于n e t f i o w 技术的网络流量分析系统研究与设计 情况。 s n m p 对各个网络端口进出的数据包数和字节数进行采集，采集的信息比较粗糙， 既无法区分流量中各种不同类型客户业务在总流量中的分布状况，也无法对进出的流量 进行流向分析，提供的只是粗糙、简略的信息，这些信息只能让管理者发现问题的出现， 却无法进一步解决问题。 1 2 2 利用r m o n 协议的流量监测分析 r m o n 1 3 】是i e t f 定义的m i b ( r f c l 7 5 7 ) 【1 引，是对s n m p 标准的扩展，它定义了 标准功能以及在基于s n m p 管理站和被管对象之间的接口，主要实现对一个网段乃至整 个网络的数据流量的监视功能，目前已成为成功的网络管理标准之一。r m o n 标准可以 对网络进行防范性管理，它使s n m p 更有效、更积极主动地监测远程设备，网络管理员 可以更快地跟踪网络、网段或设备出现的故障，然后采用防范措施，防止网络资源的失 效。r m o nm i b 的实现可以记录某些网络事件，即使在网络管理站没有与监控设备主 动进行联接( 脱机) 的情况下，也能实现记录功能。通过连续地收集统计数据，帮助日 后网络管理员进行流量分析。如果某个阈值超出或某个事件发生，监视器就会试图通知 负责这些事件的网络管理站，从而使网络管理员避免网络失控，另外，r m o nm i b 也 用于记录网络性能数据和故障历史，可以在任何时候访问故障历史数据，利于有效地进 行故障诊断。使用这种方法还可以减少管理者与代理间的通讯流量，使简单而有力的管 理大型互联网络成为可能。 为了部分弥补s n m p 协议在网络流量分析和流向管理方面的技术局限，一些产品利 用r m o n 协议对业务流量进行统计等网络管理工作，但r m o n 协议本身也不完美。首 先，网络上传送的每个数据帧都需要r m o n 协议进行采集和分析，这个过程需要耗用 大量的计算资源，一般的网络设备处理能力无法满足这个要求，因此需要另外配置内置 式或外置式的r m o n 探针。其次，r m o n 探针的硬件设备部署成本较高，很难完全实 现为每台网络设备都单独配备探针，而且r m o n 探针( 特别是内置式r m o n 探针) 在 网络中部署完成以后就很难进行改动，当出现异常事件时网管人员将无法及时对特定的 网络链路进行监控。最后，r m o n 探针采集到的管理数据是从分析每个数据包后得到的， 数据量非常大而且分散，由于r m o n 协议缺乏内建的数据汇总机制，所以对数据进行 高层次的流向分析时还需要做大量的工作。所有这些因素都会阻碍利用r m o n 协议对 大型网络进行流量分析和流向分析的有效性。 1 2 3 使用包嗅探法进行流量监测分析 嗅探器是利用计算机的网络接口截获目的地为其它计算机的数据报文的一种工具 4 广西大掌硕士学位论文基于n e t f l o w 技术的网络流量分析系统研究与设计 【1 5 】。基于总线方式的计算机网络，数据是广播传输，即把发送的数据帧广播给所有与它 相连的主机，同一网段的所有主机的网卡都能监听到在网段中传输的数据帧。在一般情 况下，对不属于自己的报文，接收主机将不予响应。如果某台主机的网络接口处于混杂 模式，该主机就可以被动地接收网络中任何数据。因此，嗅探器工具需要将监控设备的 网络层设置在混杂工作模式，实现对网络上传送的所有数据进行侦听，并不仅仅是它们 自己的数据，从而获得网络上传输的所有数据信息。 利用s n i f f e r 软件监测分析网络流量是使用嗅探器工具进行流量监测分析的一种典 型应用。管理人员可以通过s p a n ( s w i t c h e dp o r t a n a l y z e r ) 镜像方式，采集重要端口的 流量数据，获取到分析网络流量状况的原始信息，然后由管理人员进行相应的流量数据 分析。 通过数据包监听工具可以取得详细的网络流量信息，但是监听工具通常专注在单一 网络的数据包内容，所以根据监听工具所提供的单一网络的流量信息，网络管理者不能 做到全面掌握整体网络的状态。此外，分析数据包非常耗费时间，而且数据包监听所储 存并需要分析的数据量非常庞大，对于资源和人员的消耗惊人，这种方式不适合复杂环 境下的大规模网络流量监测分析要求。 1 2 4 基于f l o w 技术的流量监测分析 f l o w 是网络设备厂商为了在网元设备内部提高路由转发速度而引入的一个技术概 念，目的是用硬件实现的快速转发模块替代高c p u 消耗的路由表软件查询匹配计算部 分。在f l o w t 作模式下，数据包将通过几个给定的特征定义归并到特定的集合中，这个 集合就是f l o w 。每个f l o w 的第一个数据包除了促使该f l o w 记录的产生以外，还需要网络 设备的三层模块完成路由查询等相关操作并将操作结果同时存入f l o w 记录中，该f l o w 集 合的后续数据包将直接从f l o w 的已有记录中获得路由转发信息，从而提高网元设备的路 由转发效率【l3 。 与传统s n m pm i b 相比，f l o w 记录能够提供丰富信息，因此高端网络流量测量技术 中广泛地运用f l o w 数据作为支撑，以提供网络监控、网络规划、快速排错、流量图分析、 应用业务定位、安全分析( 女i d d o s ) 等数据挖掘功能【1 6 1 。7 1 。 f l o w 技术的出现使高速链路实时流量检测成为可能。相对于s n m p 或者s p a n 镜像方 式，f l o w 允许对目标流量进行适当的抽样采集和汇总，如基于帧抽样、基于时间抽样、 伪随机方式抽样以及a g g r e g a t i o n 方案等，能够将原有高速流量进行几乎不失真的压缩处 理，从而能够在不影响准确率的前提下有效降低对分析系统处理能力的要求。 1 9 9 6 年，思科公司技术工程i ) 币d a r r e nk e r r 和b a r r yb r u i n s 发明了n e t f l o w 技术【l 引，并 于同年申请注册了美国专利。经过多年的发展，现在的网络设备中的n e t f l o w 数据交换加 速功能已经由专用a s i c 芯片实现，网络设备转发的i p 数据流的测量和统计功能也己更加 广西大掌硕士掌位论文基于n e t f l o w 技术的网络流量分析系统研究与设计 完善，并成为了当今互联网领域公认的i p m p l s 流量分析、统计和计费的行业标准。 n e t f l o w 技术利用分析i p 数据包的源i p 地址、目标i p 地址、源通信端口号、目标通信 端口号、第三层协议类型、t o s 字节( d s c p ) 、网络设备输入输出的逻辑网络端口( i f l n d e x ) 7 个属性，实现对网络中传送的各种不同类型业务数据流的快速区分。n e t f l o w 可以对每 个数据流进行单独地跟踪和准确统计，记录其转发处理和路由等流向特性信息，统计数 据流的服务类型，起止时间，及所包含的数据包数量和字节数量等流量信息。n e t f l o w 可以按定义好的时间周期，定时输出采集到的数据流流量和流向信息的原始记录，也可 以先对原始记录进行汇聚处理后，再输出统计的结果。 目前，常见的网管系统还只是针对一些传统的网络管理参数进行监控，如链路使用 率，端口出错率，c p u 内存使用率等，比较常见的基于s n m p 技术的网管系统如m r t g 、 p r g t 等，利用s n m p 协议对网络中关键设备的重要端口进行端口流量监测、统计。对网 络中需要重点维护的用户区域设置r m o n 探针，利用r m o n 协议对网络流量的底层网络 信息和上层应用业务信息进行监测分析【l 引。但是这两种分别基于s n m p 和r m o n 技术的 网络流量分析系统都有明显的技术局限性。 国外已经有不少厂商开发了基于n e t f l o w 的网络流量分析系统，如美国福禄克网络公 司推出的网络流量分析仪r e p o r t e r a n a l y z e r 可以提供网络历史和实时网络性能数据，通 过收集c i s c on e t f l o w 信息，能够查看广域网和局域网的端口速率，通过业务单位、地理 位置、i p 子网等计算网络流量，对网络上的每个端口提供实时测试报告和告警，并包括 病毒扫描向导，对潜在病毒进行快速告警等功能。但该分析仪主要作为网络性能检测、 设备管理，适用于网络的单点上进行流量分析工作，不适宜进行全网监控，在网络优化 上也不能提供更多信息。由c i s c o 公司所开发的n e t f l o w 分析系统，包括数据采集、数据 转换、数据聚合、和数据挖掘，该系统可以提供简单、粗糙的网络数据，但在数据采集 和性能分析方面不是特别完善，也没有提供完整的商用产品。 1 3 课题的研究内容及意义 随着i p 网络运行维护管理工作的进一步深化，建立一套实时网络性能监控与流量统 计分析相结合的网络运维管理体系已成当务之急。本课题对当前主要网络流量的采集技 术及相关网络流量分析方法进行深入研究分析，根据n e t f l o w 技术的原理特点，设计实现 了一套基于n e t f l o w 技术的网络流量分析测试系统。该分析系统整合了网络运行性能监 测、趋势流量分析和实时流量分析功能，通过该系统的使用，网络管理人员不仅能够有 效监控网络性能状况，实现对i p 网络的集中统一管理，还能通过针对实际网络环境设定 的各种分析条件，进行短期的实时分析、中长期的流量统计，全面掌握网络流量的业务 类型、流量流向、协议分布等各种有用信息，真正实现网络运行的可视化管理、精细化 管理目标。 6 广西大学硕士学位论文 基于n e t f l o w 技术的网络流量分析系统研究与设计 利用基于n e t f l o w 的网络流量流向分析系统，网络管理人员可以发现自身网络的特 点，从而有针对性地进行路由策略、q o s 服务控制和网络工程的规划设计等工作，对于 优化网络运行性能，提高网络管理水平有很好的帮助。 1 4 本文组织结构 本文的章节组织如下： 第一章介绍了网络流量分析研究的相关知识，并对比分析了常见的网络流量采集监 测分析方法及相关技术，阐明了课题的研究意义，最后介绍了论文的主要研究内容和全 文的组织结构。 第二章详细描述了n e t f l o w 技术原理及技术细节； 第三章深入分析了网络流量分析方法和技术； 第四章介绍了网络流量分析测试系统各个子系统的设计和关键实现技术，并在真实 网络环境下，对网络流量测试系统进行了测试，并对部分功能测试进行了详细说明和分 析； 第五章全文工作的总结，并展望了未来需要更进一步研究的工作。 最后是本文所用到的参考文献。 7 广西大学硕士学位论文 基于n e t f i o w 技术的网络流量分析系统研究与设计 第二章n e t f l o w 技术原理 n e t f l o w 是c i s c o 公司定义的一套用于网络性能监测的标准，广泛应用于c i s c o 公司 的系列路由器和交换机中。n e t f l o w 通过采集网络传送的网络数据流，获得各种网络数 据流信息，并把这些网络流量信息发给流量采集分析服务器，让用户能实时地掌握网络 传输流的运行状态、趋势和可能出现的问题。 传统的交换网络中，路由器需要对每一个输入报文单独进行处理，利用一系列函数 去检查访问控制列表和路由表，根据检索到的相关规则信息将该报文转发到目的地。而 使用了n e t f l o w 技术的路由器可以提高第三层交换机制的处理效率，因为它只需要对同 一个f l o w 中的第一个报文进行访问控制列表和路由表查询分析，并将一个f l o w 进行标 示形成一条记录，同时记录与之相关的转发处理信息后，同一个f l o w 的后续所有报文 都将作为该网络流的一部分，以相同的转发处理规则进行数据传输。这种方法对访问控 制列表和路由表的检索，只需对第一个报文进行检索处理，后续同一个流的报文将按同 样的规则进行转发不再进行单独的匹配处理，从而提高了路由器的数据转发效率。 网络上各种网络应用的通信过程都可以视为一台网络终端向另一台网络终端连续发 送的一系列i p 数据包，这系列的数据包构成了网络上某种应用的一个数据流( f l o w ) 。 n e t f l o w 中对流的定义是：一个在特定的源与目的地址之间的单向连续包序列 ( u n i d i r e c t i o n a ls t r e a mo f p a c k e t s ) ，其源和目的地址都可以通过网络层的i p 地址和传输层 的端口号来共同定义2 0 2 1 1 。 判断任何两个i p 数据包是否属于同一个数据流实际上可以通过分析i p 数据包的如 下7 个属性来判断，即： 源i p 地址 目的i p 地址 源端口号 目的端口号 传输协议类型 服务类型( t o s ) 输入输出端口 这七个元素定义了一条独立的流，如果一条流有任意一个元素与其他流不一致，那 么就会认为是一条新的流。n e t f l o w 技术就是利用分析i p 数据包的上述7 个属性，实现 对网络上传输的各种不同业务类型数据流的快速区分。n e t f l o w 可以定期输出原始记录， 也可以对原始记录进行汇聚处理后再输出统计结果。如果要实现以对全网所有业务流的 流量和流向进行统计分析，管理系统需要能够快速区分全网的所有数据流，同时准确记 8 广西大掌硕士学位论文 基于n e t f i o w 技术的网络流量分析系统研究与设计 录传送时间、传送方向和数据流的大小。 2 1n e t f l o w 表的创建和更新过程 n e t f l o w 表的创建和更新过程如下： 1 ) 每一条流的第一个数据报文通过第三层路由交换方式处理之后，路由器将其处理信 息记录在n e t f l o w 高速缓存( c a c h e ) 的n e t f l o w 表中； 2 ) 后续到达的报文，首先在高速缓存( c a c h e ) n e t f l o w 表中进行记录的匹配检索，如果匹 配，就使用n e t f l o w 表中保存的路由信息直接进行交换转发，否则再按照常规的路由转 发操作程序进行处理，并在c a c h e 中新建一条f l o w 记录。 3 ) 同一条f l o w 的不同报文按照相同的访问控制、路由处理规则进行存储转发。 2 2n e t f l o w 的抽样技术 n e t f l o w 允许对流经采集路由器的网络流量进行抽样处理，其优点主要有： 1 ) 减少对路由器c p u 资源的消耗； 2 ) 减少输出的数据量，但仍能获取设备上大多数的i p 交换信息。 n e t f l o w 抽样技术有三种： 1 ) 确定抽样：每隔n 个包中采集一个包； 2 ) 基于时间抽样：每隔n 个毫秒采集一个包； 3 ) 随机抽样：在n 个包中随机采集一个包。 参数n 由用户指定，三种抽样技术中，随机抽样被认为是最好的抽样技术。 2 3c a c h e 记录的输出规则 在n e t f l o w 服务中，路由器设备会定时检查一次高速缓存，当出现下列情况时输出 f l o w 记录： 1 ) 数据传输结束( 出现t c p 的f i n 或者r s t 标示) ； 2 ) c a c h e 记录缓存已满： 3 ) 在一定时间内f l o w 没有活动，超过了非活动定时器( i n a c t i v et i m e r ) ； 4 ) f l o w 活动的时间超过了活动定时器( a c t i v et i m e r ) 。 活动定时器和非活动定时器用于限制每条流记录在缓存中的存在时间，每条流最多 可以在缓存中存在一个由活动定时器规定的时间( 1 6 0 分钟，默认为3 0 分钟) ，而如果一 条流在非活动定时器规定的时间( 1 0 1 8 0 秒，默认为1 5 秒) 内没有更新的话【2 0 1 ，也会被 自动删除，所有被删除的流都会被发送到输出的缓冲区中准备输出到用户指定的采集服 9 广西大学硕士学位论文 基于n e t fio w 技术的网络流量分析系统研究与设计 务器。 同时，用户可以对缓冲区里的记录启用聚合功能，通过聚合减少输出的f l o w 记录 数量，降低n e t f l o w 数据的网络流量对带宽的占用。但并不是所有版本的n e t f l o w 都支 持聚合功能，目前只有版本8 和版本9 【2 1 1 支持此项功能。下图2 1 显示了c a c h e 记录输 出的流程【2 2 1 。 n e t f l o wm a i nc a c h e f b we n t r i e s f l o w1 f l o w 2 f l o w 3 2 4n e f l o w 的输出 f l o we x p i r e d c a c h ef u l i t i m e re x p i r e d a g g r e g c a c h e c a c h ef u l l t i m e re x p i r e d 一紫i 正吟耋 1 0c o u e c c i d r 图2 1c a c h e 输出 f i g u r e2 - 1c a c h ee x p o r t n e t f l o w 输出报文【2 3 1 包含了一个头部( h e a d e r ) 和一系列的记录( r e c o r d ) ，头部包含了 诸如序? l j 号( s e q u e n c en u m b e r ) 、记录数目、系统提交时间等信息，记录中包括了一条流 的相关信息，例如i p 地址j 端口、路由信息等。图2 2 是一个典型的版本l ，5 ，7 ，8 格式 的协议数据单元( p d u ，p r o t o c o ld a t au n i t ) 【2 3 】： 1 0 广西大掌硕士学位论文 基于n e t f i o w 技术的网络流量分析系统研究与设计 i ph e a d e r u d ph e a d e r n e t f l o wh e a d e r f l o wr e c o r d f l o wr e c o r d f l o wr e c o r d 图2 2 协议数据单元 f i g u r e2 - 2p r o t o c o ld a t au i l i t 每一个p d u 包中包含l 一3 0 条流的记录，约1 5 0 0 b y t e s 。用户的采集服务器从指定的 输出端口获得p d u 包，可进一步对流信息分析。 2 5n e t f l o w 的数据结构 n e t f l o w 目前为止有五种版本，分别为v l 、v 5 、v 7 、v 8 、v 9 。各版本之间差异主要 表现在对流采用的汇聚方法不同。具体如图2 3 所示： 版本说明 v l最原始的n e t f l o w 版本，由早期的c l s c ol o s 软件所支持，现在已经很少使用 v 5 标准版本，也是最通用的版本 v 7 专用于c l s c oc a t a l y s t6 5 0 0 和7 6 0 0 系列的交换机，增加了交换功能结构与v 5 相似，但不包括a s 、接口、t c p 标志和t o s 信息 v 8加入了对n e t f l o w 聚合功能的支持 v 9灵活且可扩展性强的文件输出格式，用户可以很容易选择自己希望的输出格式； 现在也能支持m p l s 、多播、以及b g p 下一跳技术 图2 - 3 n e t f l o w 版本 f i g u r e2 - 3n e t f l o wv e r s i o n 图2 4 、图2 5 给出了网络流量和流向分析系统中最常使用的n e t f l o wv 5 数据输出的 数据报文头部格式及f l o w 记录格式2 3 1 。 广西大学硕士学位论文 基于n e t f l 0 1 1 技术的网络流量分析系统研究与设计 b y t e 0b y t e lb y t e 2b ”e 3 v e r s i o nc o u n t s y s u p t i m e u n i xs e c o n d s u n i xn a n o s e c o n d s f l o ws e q u e n c en u m b e r e n g i n et y p ee n g i n ei d r e s e r v e d 图2 4n e t f l o wv 5 报文头部格式 f i g u r e2 - 4n e t f l o wv e r s i o n5h e a d e rf o r m a t b y t e 0b y t e lb y t e 2 b y t e 3 s o u r c ei pa d d r e s s d e s t i n a t i o ni pa d d r e s s i n p u ti n t e r f a c eo u t p u ti n t e r f a c e p a c k e t s b y t e s s t a r tt i m eo ff l o w e n dt i m eo f f l o w s o u r c ep o r td e s t i n a t i o np o r t p a d t c pf l a g s i pp r o t o c o lt o s 一一 s o u r c ea sd e s t i n a t i o na s s r cm a s kd s tm a s k p a d d i n g 图2 5n e t f l o wv 5 的f l o w 记录格式 f i g u r e2 - 5v e r s i o n5f l o wr e c o r df o r m a t 由于n e t f l o w 输出采用的是u d p 协议， 发出的数据可能会在到达目标地址前丢失， 是一种不可靠的数据传输，也就是说路由器 而目标采集子系统( c o l l e c t o r ) 是不会知道是 否有数据报文丢失的。在n e t f l o w 版本5 的头部中添加了一个字段来标示每个报文，也 就是说每个报文都有一个序列号，下个发送的报文的序列号是上面报文的序列号与上次 发送报文中的流数目之和，这样采集子系统可以通过分析收到的连续两个数据报文的序 列号来确定是否有报文在传输过程的丢失，当然，这种方法只能通知采集子系统是否有 报文的丢失和丢失了多少流数据，无法重新发送丢失的报文，与t c p 的丢失重传完全 1 2 广西大掌硕士学位论文 基于n e t f i o w 技术的网络流量分析系统研究与设计 不同。图2 - 6 和图2 7 描述了版本5 的头部和记录中每个字节的具体含义【2 3 】： 图2 - 6n e t f l o w 版本5 的头部字段含义 f i g u r e2 - 6n e t f l o wv e r s i o n5h e a d e rf i e l dd e s c r i p t i o n s 图2 7n e t f l o w 版本5 的记录字段含义 f i g u r e2 - 7n e t f l o wv e r s i o n5r e c o r df i e l dd e s c r i p t i o n s 此外，版本5 还提供了每个流的自治系统号的输出，当然还需要在配置输出的时候 标明需要输出a s 和方式( 原始或者同等a s ) ，系统默认是没有a s 输出的。 版本5 是目前使用最广泛的n e t f l o w 版本，可以通过对版本5 的输出数据进行分析 来得到网络行为的特征和趋势，还可以通过分析来获取网络中存在的隐患和当前网络发 生的攻击行为的特征和发生地，是一个非常有效的检测网络的工具。 广西大掌硕士掌位论文 基于n e t f l o w 技术的网络流量分析系统研究与设计 2 6 启动n e t f l o w 服务 n e t f l o w 服务功能是集成在c i s e o 路由器软件l o s 中的，所以根据软件版本的不同其 功能与性能也是不一样的，而且只有在较新的路由器上才能提供n e t f l o w 服务的硬件支 持能力，在r e l e a s e l 2 0 前仅仅在最优交换路径上才会提供n e t f l o w 服务，而在其后面的 软件版本中提供了快速交换路径、c i s c o 快速转发( c e f , c i s c oe x p r e s sf o r w a r d i n g ) 和分布 式c e f ( d c e f ，d i s t r i b u t e dc e f ) 交换。下面将介绍如何在c i s c o7 2 0 0 路由器开启n e t f l o w 服务。 ( 1 ) 进入设备配置模式 使用t e l n e t 方式或者c o n s o l e 方式登陆到c i s c o 路由器，进入到配置模式： r o u t ：e r e n a b l e p a s s w o r d ：枣木木木幸幸 r o u t e r # c o n f i g u r et e r m i n a l r o u t e r ( c o n f i g ) # ( 2 ) 在端口下启动n e t f l o w 功能 打开n e t f l o w 服务命令为： r o u t e r ( c o n f i g - i f ) # i pr o u t e - c a c h ef l o w 取消n e t f l o w 服务命令为： r o u t e r ( c o n f i g i 0 # n or o u t e