（计算机科学与技术专业论文）基于netflow的流量统计分析系统设计与实现.pdf

基于n e t f l o w 的流量统计分析系统设计与实现 摘要 随着网络日益成为经济生活的基础设施，网络的规模和复杂度日 益增加，为了知晓网络的运行使用情况，及时发现网络中可能存在 的异常流量，需要一种行之有效的流量检测方法，这种方法应该能 提供多粒度的流量信息，c i s c o 提出的n e t f l o w 技术，即是满足上述 要求的一种解决方案，n e t f l o w 是一种十分有效地监控网络、统计 网络流量的手段，在本文中将讨论如何实现一个基于n e t f l o w 的网 络流量统计系统。 n e t f l o w 与以往的流量统计方法的根本区别是其提出了流的概 念，流量统计以流为基础，根据n e t f l o w 提供的流量信息，使得可 以进行短期的、实时的网络监控，即网络异常流量的检测，帮助管 理员即时发现网络中出现的攻击、病毒传播等：也可以进行长期的、 非实时的网络流量统计，进而为网络规划、用户计费等提供依据。 整个流量统计系统分为采集器f l o wc a p t u r e 、聚合器f l o ws c a n 和分析器f l o wr e p o r t 三部分，这种软件的架构提高的系统的可靠性 和灵活性，其中实时的异常流量的检测在采集器中完成，流数据的 聚合在聚合器中完成，流数据分析呈现在分析器中完成。 关键词n e t f l o w 流量统计流量分析异常流量检测 d e s i g na n di m p l e m e n t a t i o no f a n e t w o r kt r a f f i cm e a s u r e m e n ta n d a n 灿s i ss y s t e m b a s e do nn e t f l o w a b s t r a c t a st h en e t w o r kb e c o m e sa ni n f r a s t r u c t u r ei nt o d a y se c o n o m i cl i f e ， t h es c a l ea n dc o m p l e x i t yo ft h en e t w o r ki n c 麟e ，f o rt h ek n o w l e d g eo f t h en e t w o r kr u n n i n gs t a t u s ，s u c ha sd e t e c t i n gt h ea n o m a l yt r a f f i co ft h e n e t w o r k , a ne f f i c i e n tw a yo ft r a f f i cm e a s u r e 皿i c n tm e t h o di sn e e d e d t h i s m e t h o ds h o u l dp r o v i d et r a f f i ci n f o r m a t i o no fv a r i o u sg r a n u l a r i t i e s ， n e t f l o w - t h ep r o p o s e dt e c h n i q u eb yc i s c o ，i sas o l u t i o nt h a tc a ns a t i s f y t h ea b o v em q u i r e m e n m ，a n di ti sa ne f f i c i e n tw a yt om o n i t o rt h en e t w o r k , a n dm e a s u r et h en e t w o r kt r a f f i c i nt h i sp a p e r , 1w i l lf o c u so nh o wt o i m p l e m e n ta n e t w o r kt r a f f i cm e a s u r e m e n ts y s t e mb a s e do nn e t h o w t h ek e yd i f f e r e n c eb e t w e e nn e t f l o wa n dt h ef o r m e rt r a f f i c m e a s u r e m e mm e t h o d si st h a tn e t f l o wu s e st h ec o n c e p to ff l o w ；a l lt h e t r a f f i cm e a s u r e m e n ma l eb a s e do nt h ef l o w b a s e do nt h et r a f f i c i n f o r m a t i o np r o v i d e db yn e t f l o w , i ti s p o s s i b l et o ，i n s h o r tt e r m , m o n i t o rt h en e t w o r k ，i e d e t e c ta n o m a l yt r a f f i ci nr e a l t i m e ，h e l pt h e a d m i n i s t r a t o rf i n dt h ea t t a c ko rw o r ms p r e a d i n gi nt h en e t w o r k , a l s oi n l o n gt e r m , m a k es t a t i s t i c so ft h en e t w o r ku s a g e ，t h e nd ot h en e t w o r k p l a n n i n ga n du s e ra c c o u n t i n g ，n l ew h o l es y s t e mi sd i v i d e di n t ot h r e ep a r a s 。t h ec o l l e c t o r , t h e s c a n n e ra n dt h ep a r s e r , f o rt h er e l i a b i l i t ya n df l e x i b i l i t yp u r p o s e t h e r e a l - t i m ea n o m a l yt r a f f i cd e t e c t i o ni sc o m p l e t e di nt h ec o l l e c t o r , f l o w c a p t u r e ，t h ea g g r e g a t i o no ft h er a wn e t f l o wd a t ai sc o m p l e t e di nt h e s c a n n e r , f l o ws c a n ，a n dt h er e p r e s e n t a t i o na n da n a l y s i so ft h en e t f l o w d a t ai sc o m p l e t e di nt h ep a r s e r , f l o wr e p o r t k e yw o r d sn e t f l o w , t r a f f i cm e a s u r e m e n t ，t r a f f i ca n a l y s i s ，a n o m a l y t r a f f i cd e t e c t i o n 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 盘 。 蛐 日期：堕z ：! ：! 生 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阕：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文不属于保密范围，适用本授权书。 本人签名：立 、垦 导师签名：巧f 醣l 日期：塑z ：丝：! 日期：边2 主鱼习翌 北京邮电大学硕士研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 1 1 研究背景 第一章前言 随着网络日益成为现代经济活动和生活的基础设施，对网络的监控，实时 了解网络的运行情况，发现网络中的异常日益重要，而这些都要基于网络流量 的统计所提供的数据，以前的s n m p , r m o n 等技术，提供了统计网络流量的 方法，但是这两种技术所提供的流量数据过于低层，很难满足应用层的流量统 计功能，为此c i s c o 公司提出了n e t f l o w 技术，作为一种成熟的流量统计解决 方案，己成为i p f i x 的参照标准，满足了日益增长的流量分析、网络监控、异 常监控等各个方面的要求，其中包含的流的概念，使对网络流量各种粒度的分 折成为可能。 有了n e t f l o w 采集的流量数据，就可以实时地监控网络的状态，发现网络 拥塞和病毒攻击，提高网络的安全性和可靠性，为用户提供高质量的网络服务； 同时利用这些流量数据，可以精确地统计各个终端用户的流量情况，为准确的 网络计费提供依据。 而且，作为整个数据网网管系统的一部分，流量统计和分析扮演着一个重 要的角色，它为网管的其他部分提供数据输入，因此提供一个完整的基于 n e t f l o w 的实现方案是很有意义的。 1 2 本文要解决的问题 本文在分析网络流量技术和n e t f l o w 原理的基础上，参考已有的n e t f l o w 流量统计系统，提出了一种包含网络异常流量检测的流量统计系统，此系统的 特点包括： 根据用户定义的异常模式，系统可以发现潜在的网络病毒和异常。上报 网络异常告警信息，从而保证了网络的可靠性和安全性； 原始流数据采集和数据的聚合处理分离，提高系统的可靠性和运行效 率： 1 3 本文结构 本文总结了本人在参与1 1 r 基础设施网管系统项目的开发经验，给出了一个 基于n e t f l o w 的流量统计分析系统的设计与实现，论文包括以下几个部分： 7 北京邮电大学硕十研究生毕业论文基于n c t f l o w 的流量统计分析系统设计与实现 第一章，描述了研究背景和论文要解决的问题； 第二章，对网络管理和网络流量做出了基本的阐述和介绍，介绍了n c t f i o w 的基本原理； 第三章，提出了流量统计系统功能需求； 第四章，详细介绍了整个系统的实现，包括各个模块的组成、设计； 第五章，总结全文，并提出下一步研究和待完善的问题。 1 4 研究生期间工作 研究生阶段，本人深入地了解和学习了网络管理方面相关的原理规范和技 术，并实际参与到一些大型的网管项目的开发工程中，主要包括： 1 1 卫星网网络管理系统：作为开发人员，参与后台逻辑的编写，并与客户 交流，帮助客户安装调试系统，在系统运行后，参与部分维护工作： 2 、t d s c d m a 网络管理系统：作为开发人员，编写界面告警模块，通过 此项目，熟悉了通信网网管相关的技术； 3 1i t 基础设施网络管理系统：作为主要开发人员，负责流量统计分析部 分的设计和实现工作，本文是此项工作的总结。 b 北京邮电大学硕士研究生毕业论文 基于n e t f l o w 的流量统计分析系统设计与实现 第二章网络流量和n e t f l o w 2 1 网络管理概述 随着计算机网络的普及，网络在社会经济生活中发挥着越来越重要的作用， 计算机网络已经成为支持社会发展的基础设旌，因此保证网络正常、经济、可 靠和安全的运行至关重要； 网络管理即是为了达到上述目标的主要手段，通常对网络管理的定义为： 为了向用户提供一定标准质量的业务而对网络实施的操作行为的总称，包括对 网络的初始化、监视、分析和控制等行为，具有通用管理的计划、组织、协调、 控制和指挥等五大基本功能。 在网络发展初期，组成网络的网络设备所支持的网管协议不统一，为了统 一各种设备的网管协议，方便各种形式的网络管理，网络设备厂商和标准化组 织都致力于网管协议的标准化，包括网络管理的通用协议和基本功能组成。国 际标准化组织( r r u - t 和i s o ) 为了对网络管理功能进行标准化，提出了一组 各种网络管理系统共同的管理功能，即故障管理、配置管理、计费管理、性能 管理和安全管理，简称f c a p s ； 故障管理( f a u l tm a n a g e m e n t ) ：其基本功能包括通过网络管理系统的 实时监测和告警功能即时发现网络中的故障，并通过网管软件的分析， 精确地定位故障点和故障原因，最终通过人工处理或网络管理软件的处 理排除和解决网络故障； 配置管理( c o n f i g u r a t i o nm a n a g e m e n t ) ：网络上的设备、应用等都属于 网络系统的管理对象，在网管系统的初次运行时，或新对象加入网络系 统时，或当网络系统中的设备配置发生变更时，网管系统都要知晓被管 对象的信息；同时，网络管理员可能需要修改被管对象的配置参数，这 些都属于配置管理的内容； 计费管理( a c c o u n t i n gm a n a g e m e n t ) ：计费管理功能是商用口网络管 理的一个核心内容，计费管理功能要根据用户对网络的使用情况、费率 进行准确的计费； 性能管理( p e r f o r m a n c em a n a g e m e n t ) ：性能管理主要处理与服务质量 有关的网络运行状态，包括性能指标管理、性能监视和性能分析，其目 的是使网络的性能得到提高，运行更加有效，以满足用户的使用需求； 9 北京邮电大学硕士研究生毕业论文 基于n e t f l o w 的流量统计分析系统设计与实现 安全管理( s e c u r i t ym a n a g e m e n t ) ：安全管理是要保证开放性的网络免 受非法的入侵、黑客的攻击等安全问题，保证被管对象和网络系统本身 的安全性； 2 2 流量统计和分析 在口网网络管理中，流量统计和分析是一个重要的内容，是网络管理中的 一个重要的辅助决策功能，流量统计和分析帮助网络管理人员了解何人、何时、 何种应用占用的带宽情况。 网络的流量反映了网络( 物理链路) 的运行状况，是判断网络运行是否正 常的关键依据。通过分析网络中的流量，我们可以了解网络的运行状态，为网 络规划、控制提供依据；并且我们通过网络流量的异常，能诊断出网络中可能 存在的病毒攻击和非法入侵；同时，通过流量的统计，我们可以为用户使用网 络提供精确的计费。接下来，将介绍以前使用的几种流量统计方法。 2 3 流量统计方法 2 3 1 基于s n i f f e r 的方法 在共享介质的局域网中，所有的数据包都是通过公共的线路来传输，对于 每个主机上的每个网络接口卡n i c ( n e t w o r ki n t e r f a c ec a r d ) ，它能接收到本地 局域网的所有数据包，不过在普通的工作模型下，对于通过n i c 的数据包，n i c 检查数据包的目标m a c 地址是否为本机的m a c ，若是，则n i c 将数据包传 送给主机c p u 处理；若不是，则n i c 丢弃此数据包。 n i c 还有一种工作模式是混合模式( p r o m i s c u o u sm o d e ) ，在这种模式下， n i c 将接收到的所有数据包都传送给主机c p u 处理，而不管其目的m a c 地址 是不是本机的m a c 地址；因此我们可以通过这种方式采集网络的流量信息。 采集通过网络某个节点的数据包的行为称为s n i f f e r i n g ，而通过将n i c 设置为 混合模式来获得网络流量信息的程序一般称为p a c k e ts n i f f e r 。 在文献f 1 】中，说明了一种基于s n i f f e r 的通用网络测量系统的实现。然而， 基于s n i f f e r 的方法统计流量，其一个缺点是统计程序必须分别处理每个采集到 的数据包，在比较繁忙的网络中，将会产生大量的数据包，这对s n i f f e r 程序的 设计提出了很高的要求。 1 d 北京邮电大学硕士研究生毕业论文 基于n c t f l o w 的流量统计分析系统设计与实现 2 3 2 基于s n 眦_ p 协议的方法 简单网络管理协议s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 是专门设 计用在口网络管理网络节点( 路由器、交换机等) 的一种标准协议，它是一种 应用层协议，是t c p i p 协议族的一部分。s n m p 协议使网络管理员能够管理网 络性能，发现并解决网络问题以及规划网络增长。 s n m p 管理的网络有三个主要的组成部分：管理的设备、代理和网络管理 系统，如图1 所示，其中包含的各部分为： 管理设备( m a n a g e dd e v i c e s ) ：管理设备是一个网络节点，其中包含一 个s n m p 代理，并处在管理网络中；被管理的设备用于收集并存储管 理信息。通过s n m p ，网络管理系统n m s 能得到这些信息；被管理的 设备，有时又称为网络单元，可能指路由器、访问服务器、交换机、网 桥、h u b s 、主机和打印机等； 代理( a g e n t ) ：s n m p 代理是被管理设备上的一个网络管理软件模块， s n m p 代理拥有本地的相关管理信息，并将它们转换成与s n m p 兼容 的格式； 网络管理系统( n e t w o r km a n a g e m e n ts y s t e m ，n m s ) ：n m s 运行应用程 序以实现监控被管理设备，此外，n m s 还为网络管理提供了大量的处 理程序和必须的存储资源： 图1s n m p 协议管理模型 在s n m p 协议中，与被管设备相关的一个重要部分是管理信息库m m ( m a n a g e m e n ti n f o r m a t i o nb a s e ) 。m i b 是层次化组织的管理信息集合，网络管 理系统n m s 通过读取m i b 中对象的值来进行网络监控，m i b 中的每个管理对 象通过对象标识符o i d 唯一区分。 利用s n m p 协议能够对被监视的各个网络端口进出的数据包和字节数进行 采集统计，在s n m p 的m i b 中，有多个组用于统计网元的流量信息，如i n t e r f a c e 组即是统计了网络接口的流量信息( 接收的t c p 包数目、发送的t c p 包数目 等) ，网络管理系统可以定期p o l l 轮询网元的接口流量信息，将这些信息作为 1 1 画 一 单 。l 一 一 北京邮电大学硕：l ：研究生毕业论文基于n e f f l o w 的流量统计分析系统设计与实现 网管软件的输入数据。 但是用s n m p 协议采集到的流量信息是很粗糙的，它不但包含了网络层的 业务流量信息，还包含了链路层的数据帧包头、出错后重新传输的数据包等流 量信息，并且s n m p 协议无法区分网络层数据流量中各种不同类型业务在总流 量总的分布比例情况，也无法对迸出的流量进行流向分析。 2 j j 基于i t m o n 的方法 为了解决s n m p 协议在日益扩大的分布式网络中所面临的局限性，i n t e m e t 工程任务组i e t f 于1 9 9 1 年公布了r m o n ( r e m o t em o n i t o r i n g ，远程监控) m m ，r m o nm i b 的目的在于使s n m p 更为有效、更为积极主动地监控远程设 备，提高传送管理信息的有效性、减少管理站的负担，满足监控网络性能的目 的。 r m o n 实现了对异构环境的一致的远程管理，为通过端口远程监控网段提 供了合适的解决方案。作为，r f 定义的m i b ，r m o n 是对s n m p 的扩展，定 义了标准功能以及在基于s n m p 管理站和远程监控者之间的接口，主要实现对 一个网段乃至整个网络的数据流量监控功能。 r m o n 监视器有两种方法收集数据：一种是通过专用的r m o n 探测器 ( p r o b e ) ，网管站直接从探测器获得网络信息并控制网络资源，这种方式可以 获得r m o nm i b 的全部信息：另外一种方法是将r m o n 代理直接植入网络设 备( 路由器、交换机等) ，使它们成为带有r o m np r o b e 功能的网络设备，网 管站用s n m p 协议与其交互数据信息： r m o nm i b 将网络监控扩展到物理层，使独立地收集设备数据成为可能， 内置的监控工具提供了不占用宝贵网络资源( 带宽) 而对整个流量进行有限的 分析能力。 在r m o nm m 的基础上产生的r m o ni i 标准能将对网络的监控提升到协 议栈的应用层所以除了能监控网络通信和容量外，r m o ni i 还提供了有关各 种应用所使用网络带宽的信息，这是在客户机服务器环境下进行故障排除的重 要因素。 r m o n 在网络中查找物理故障，r m o n1 1 进行的则是更高层次的观察，它 监控网络实际的使用模式。r m o np r o b e 观察的是一个路由器流向另一个路由 器的数据包。而r m o ni i 则深入到内部，它观察的是哪一个服务器发送数据包， 哪一个用户预定要接受这一个数据包，这一个数据包表示何种的应用，r m o n 的监控层如下图2 所示： 北京邮电大学硕士研究生毕业论文 基于n c t n o w 的流量统计分析系统_ i 显计与实现 o s jm o d e m o n i t o r e d 蛳 - r m o n2 - r m o n1 一 图2p j 4 0 n 监控层 利用r m o n 对网络进行流量和流向管理可以部分弥补s n m p 协议的技术局 限性：r m o n 对流量数据的更深层次的观察( 挖掘) 使的网络管理系统可以得 到更为有用、更为细致的输入数据，如可以对业务流量进行统计。就可以使网 管程序知晓每个应用业务对流量带宽的占用情况，这对计费、故障排除、攻击 防范等都是很有意义的。 2 3 4 基于n e t n o w 的方法 n e t f l o w 是c i s c o 公司提出的网络数据包交换技术，同时可用来记录网络流 量信息。n e t f l o w 的特点是其流量统计基于口流，口流包含了丰富的信息，非 常适合网络性能的监视和分析，下面我们将详细介绍n e t f l o w ； 2 4n e t f l o w 基本原理 2 4 1n e t h o w 概述 n e t f l o w 是一种数据交换方式，其提供了高效通用的流量统计功能，n e t f l o w 对流量的统计基于流( f l o w ) ，而不是传统的基于数据包或字节的方法，利用 n e t f l o w 收集到的理流信息，可以帮助进行网络规划、网络管理和流量计费等。 n e t f l o w 有两个核心的组件：( 1 ) n e t f l o w 缓存，存储口流信息，和( 2 ) n c t f l o w 的数据导出或传输机制，n e t f l o w 利用此机制将数据发送到网络管理采 集器。 n c t f l o w 导出数据包的格式有五种，按先后次序分别是v 1 、v 5 、v 7 、v 8 和v 9 ，n e t f l o w v 9 是一种灵活和可扩展的导出格式，不同于以往的v 1 、v 5 、 v 7 和v 8 固定的导出格式，v 9 允许从路由器导出任意的流量性能信息，这种 灵活性是通过模版t e m p l a t e 来实现的，模版定义了导出数据的格式，采集器接 收模版，并对后继的数据包按其相应的模版进行分析。 一一一一一一一一 北京邮电大学硕士研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 i n t e r n e t 工程任务组i e t f 的1 p f i xw g 正在根据n e t f l o wv 9 制定口流导出 的通用标准，i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 定义了i p 流输出的体系结构， 此结构用于有选择地对坤流进行监控，和从路由器导出统计出的口流信息， 详情可参阅【2 】。 2 4 2n e t f i o w 流 一个流是在一个给定的源和目标之间的单向的一组数据包，源和目标都通 过网络层的坤地址和传输层的端口来定义，更为明确地说，一个流由以下七个 关键字段来标识： 源口地址； 目标口地址： 源端口号； 目标端口号； 第三层协议； t o s ； 输入的逻辑端口( i f i n d e x ) ： 所有具有相同的源目标i p 地址、源目标端口、协议和服务类型的数据包 都被分组在同个流中，并在此流中对数据包和字节进行统计计数，所有的流 都存放在网络设备的n e t f l o w 缓存( n e t f l o wc a c h e ) 中。 在伊f 没有指定个流的具体定义，而只是说明一个流是所有通过一个 网络节点并具备某些共同属性的所有数据包的集合，因此可以根据数据包头( 如 协议类型、t o s 或目标地址的一部分) 、数据包本身( 如数据包的大小) 和数据 包处理的结果( 如在路由器中数据包的输出端口) 来定义一个流，这个定义就 不同与上述n e t f l o w 流的定义，i p f i x 的流定义提供了灵活性和可扩展性，让 路由器可以报告各种网管程序需要的不同粒度的流量信息，而上述n e t f l o w 流 的定义是固定的，不过n e t f i o wv 9 输出版本采用了模版，提供了输出信息格式 的灵活性。 2 4 3n e t f i o w 缓存c a c h e n e t f i o w 缓存是存储m 流的内存区域，当路由器处理一个口流的第一个数 据包时，n e t f l o w 会在缓存中创建一个新的口流的条目，该条目包含了关于这 个流的各种统计信息，如流中包含的数据包数目、流中的所有字节数等，也包 1 4 北京邮电大学硕士研究生毕业论文 基于n c 羽o w 的流量统计分析系统设计与实现 _ p _ _ _ - - _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ - _ _ - - - _ _ _ _ _ _ _ 一 一 含了这个流的属性信息，如源耳口地址等，这些信息都将用于流导出时报告 给采集器c o l l e c t o r 。 当后继的数据包到达，n e t f l o w 检查新到达的数据包的属性是否满足缓存中 已有流的定义，如果满足，则对缓存中的流条目进行计数，包括更新流的数据 包数目、字节数等。 n e t f l o w 流缓存的管理是一个关键的部分，n c t f l o w 缓存会定期地更新，并 将过期的流记录( f l o wr e c o r d ) 按导出格式输出给采集器，n e t f l o w 缓存过期 的规则包括： n 如果流记录在一段时间内没有被更新，则此口流过期并从缓存移出； 长时间存在的流( 如超过3 0 分钟) 将被认为过期，并从缓存移出； 3 ) 当缓存满时，使用启发式( h e u r i s t i c s ) 算法加速缓存中流的过期； 对于到达字节流结束( f i n ) 或被重置( r s t ) 的t c p 连接，对应的流 记录将过期； 过期的流记录将被组合在一起，封装如流输出包，然后发送给n e t f l o w 采 集器：对于v 5 和v 9 的输出格式，一个n e t f l o w 输出包可包含多达3 0 条流记 录。 2 4 4n e t f i o w 数据导出 n e t f l o w 输出包通过u d p 协议发送给采集器每个n e t f l o w 的输出包都包 含包头和多个流记录；包头包含了序列号、流记录个数和发送数据包时的系统 时间s y s u p t i m e 等信息，而流记录则包含了诸如口地址、端口等i p 流信息，下 图是n e t f l o wv 1 5 7 8 的输出包格式： i ph e a d e r u d ph e a d e r n e t f i o wh e a d e r f l o wr e c o r d f l o wr e c , o r d f l o wr e c o r d 图3n e t f l o wv 1 5 7 8 的输出包格式 北京邮电大学硕士研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 下图是n e t f l o w v 9 的输出包格式，v 9 不同与以前的固定格式的输出版本， v 9 采用了模版来描述数据的类型信息，而用d a t af l o w s e t 来包含真正的流数 据，这让灵活的输出流信息和以后对流格式的扩展成为可能，详细的信息可参 h p a 。 - ki t t e m p l a t e d a t ad a m t e m p l a t e d a t a a de rf l o w s e tf l o w s e tf l o w s e tf i o w s e tf i o w s e t 2 4 5n e t f i o w 聚合 图4n e t fl o wv 9 的输出包格式 在一个同时交换大量流的核心路由器上，如果其多个接口都激活了 n e t f l o w ，则导出数据量将非常大，为了能显著地减少导出数据量和提高 n e t f l o w 的伸缩性，作为c i s c o1 0 s 软件增强特性，n e t f l o w 聚合用以将导出数 据进行聚合；1 1 种基于路由器的n e t f l o w 聚合方案使在数据被导出到数据采集 器前先在路由器上进行汇总，所以可使传输n e t f l o w 导出数据的带宽下降，并 降低对数据采集设备的要求。基于路由器的聚合可以在n e t f l o w 导出版本8 和 9 中使用。 n e t f l o w 聚合通过维护一些额外的n e t f l o w 缓存来实现，这些缓存具有不同 的字段的组合，用以决定哪些常规的流被聚合在一起，这些额外的缓存称为聚 合缓存( a g g r e g a t i o nc a c h e ) 。一个从主缓存中过期的流，将被加入到各个激活 的聚合缓存中。在每个活动的聚合缓存中运行的老化程序和在主缓存中的运行 的老化程序是一致的，下图显示了一个聚合的例子： n 酬：i o w 主缓存 f l o we n l r l e e r o w r o w2 令圈哦 ”流记最过期 2 ) 缓存满 图5n e t f l o w 聚合缓存示例 送往采集量 叵囝哪 你可以为每个不同的聚合方案配置其缓存的大小、缓存老化程序的超时参 数、导出目标的邛地址和导出目标的u d p 端口。一个在主缓存中过期的流， 此流中的信息将被提取出来用以更新相应的聚合缓存中的流。每个聚合缓存拥 1 6 北京邮电大学硕士研究生毕业论文基于n c t f l o w 的流量统计分析系统设计与实现 有不同的字段组合，用以决定哪些数据流将被组合在一起。默认的聚合缓存大 小是4 0 。 2 4 6n e t f i o w 的应用 2 a 6 i 网络监控( n e t w o r km o n i t o r i n g ) 通过分析网络管理采集器从支持n e t f l o w 的设备中采集到的流量数据，即 流的数据，就可以让我们了解每个路由器或交换机在一个给定时间内的流量信 息，包括接受的数据包数等，也可以让我们了解网络设备的每个物理接口的流 量细节，通过这些信息，我们就可以了解整个网络在某个时刻的运行状态 2 4 6 2 应用监控( a p p l i c a t i o nm o n i t o r i n g ) 利用n e t f l o w 的流数据中的端口信息，我们可以得到网络中每个应用的详 细流量信息，据此我们可以了解每个应用的网络使用情况，为资源不足的应用 分配更多的带宽；或是当网络拥塞时，侦测出对网络带宽影响较大的应用，并 限制其资源使用。 2 4 6 3 用户监控( u s e r m o n i t o r i n g ) 利用n e t f l o w 流数据中的源和目标地址字段，我们可以得到一个用户使用 网络和应用程序的详细情况，利用此信息。网络管理员就可以更有效地计划和 分配网络资源，同时也可以让管理员检测潜在的安全和策略的侵犯。 2 4 6 4 网络规划( n e t w o r k p l a n n i n g ) 采集并分析一段比较长的时间内的网络的流量情况，可以让我们跟踪和预 测网络的增长情况，并据此来升级网络，对于网络中的数据流量大的瓶颈部分， 可增加网络设备、链路来提高网络的性能；而对于网络中带宽始终有空闲的部 分，可以减少其使用的网络设备来降低网络运营的成本。 n e t f l o w 可以实时地识别并分类d d o s 攻击、病毒和蠕虫。网络行为的变 1 7 北京邮电大学硕t 研究生毕业论文 基于n e t f i o w 的流量统计分析系统设计与实现 化会在n e t f l o w 采集的数据中实时地反映出来，同时，n e t f l o w 的数据也为分 析网络历史安全事件提供了依据。 2 4 6 6 记账( a c c o u n t i n g b i l l i n g ) 通过分析流数据，我们可以得到一个用户的以下的流量信息： 1 1 该用户流入、流出的总的字节数； 2 1 该用户每个应用流入、流出的字节数； 3 、该用户流入、流出的总的数据包数； 钔该用户每个应用流入、流出的数据包数； 有了以上这些信息，我们可以按每日使用时间、带宽使用情况、应用使用 情况和服务类型来对用户进行准确的计费； 2 5 本章总结 本章在介绍了流量统计的一些常用方法之后，说明了n e t f l o w 的基本原理， 包括n e t f l o w 流的概念、存储流的n e t f l o w 缓存和n e t f l o w 数据导出机制，同 时介绍了为减少数据量而采取的聚合方法，最后说明了n e t f l o w 的几种典型的 应用，接下来我们将讨论n e t f l o w 流量统计系统的功能需求。 北京邮电大学硕士研究生毕业论文基于n e t f i o w 的流量统计分析系统设计与实现 第三章n e t f l o w 流量统计系统的功能分析 在介绍完n e t f l o w 的基本原理后，我们将在本章详细讨论n e t f l o w 流量统 计系统的功能需求，讨论系统应该完成哪些功能，怎样提供对异常流量的检测， 以即时准确地发现网络中出现的不正常状况；怎样对纷繁复杂的流量信息加以 整理、组合，以将这些信息以条理清晰的方式传达给用户： 由于网络中攻击和病毒的侵扰，使得网络的性能和带宽受到影响，利用 n e t f l o w ，分析流的数据，为我们提供发现网络异常流量的机会： 同时，n e t f l o w 提供了网络中流量的信息，与其他的流量统计方法相比， n e t f l o w 的优点在于其能够提供多个视角的流量信息，我们既可以了解网络粗 粒度的流量信息，如一个子两的数据流入流出情况，也可以了解细粒度的流量 信息，如某一个路由器的某一个物理端口的流入流出情况，n e t f l o w 的这些特 性满足了对网络不同方面了解的需要： 3 1 网络异常流量检测 网络中由于攻击和病毒( 如d o s d d o s 攻击) 而产生的异常流量，挤占了用 户正常的带宽，对网络性能造成了影响，更有甚者，会导致带宽的耗尽致使网 络瘫痪，因此实时地发现这些异常流量，并采取相应的处理措施变得十分必要。 网络中常见的异常流量包括以下几种： 1 1 拒绝服务攻击( d o s ) d o s 攻击使用大量的数据流量攻击网络设备和其接入的服务器，使网络设 备和服务器的性能下降、占用大量的带宽、消耗系统的资源，影响其它正常的 用户流量，导致网络服务的不可用，最终导致整个网络的瘫痪： d o s 可利用t c t 协议的缺陷，通过s y n 打开t c p 连接，占用系统资源， 使合法用户被排斥而不能建立正常的t c p 连接，通常攻击者通过伪造源口地 址向同一个目标口地址发出大量的t c t 连接请求进行攻击。 2 ) 分布式拒绝服务攻击( d d o s ) d d o s 攻击是d o s 攻击的变种，它将d o s 攻击分布化，d d o s 攻击可在同一 时间段内，协调多台主机上的进程对同一目标发起d o s 攻击，从而导致目标因 负载过重而崩溃。 3 ) 蠕虫病毒流量( w o r m ) 蠕虫病毒，如红色代码，冲击波，震荡波等，不仅会对感染的主机产生影 响，而且这些病毒会主动地扫描网络并主动向其它主机传播，造成系统资源和 1 9 北京邮电大学硕j ：研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 网络带宽大量被占用。 在此系统中，应该能实现对这些攻击病毒产生的异常流量的快速、准确的 识别，当发现异常流量时，按预先定义的要求上报给网络管理员或其他网管系 统； 3 2 网络流量统计 3 2 1 网络流量的视角 因为n e t f l o w 流数据包含了多粒度的网络流量，通过它既能获得粗粒度 ( c o a r s e g r a i n e d ) 的流量信息( 如某个接口的输入包数) ，也可以获得细粒度 ( f i n e g r a i n e d ) 的流量信息( 如源为5 9 6 4 2 0 9 1 7 7 ，目的为5 9 6 4 2 0 9 1 0 9 ，协 议为t c p 的包数) ，因此有必要将流量的信息按其统计的粒度划分成几个不同 的视角，由底层到高层包括： 1 、流量视角； 2 ) 源目的视角： 3 1 会话视角； 4 ) 应用视角； 网络流量的四个视角如下图所示 应用视角 会话视角 源f l 的视角 流量视角 图6 网络流量的视角 此外，我们在其上统计流量的对象也有不同的粒度大小，从d , n 大包括： 1 1 一个网络设备的一个物理接口； 一个网络设备( 路由器或交换机) ； 3 ) 一个子网： 钔一个自治区域： 流量统计对象如下图所示： 2 0 北京邮电大学硕士研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 图7 网络流量统计对象的不同粒度 结合网络流量的不同视角和网络流量统计对象的不同类型，我们得知在每 种类型的统计对象上我们都可以运行上述的四种视角，在下文中，我们约定用 “统计对象”来代表白治系统、子网、路由器交换机和物理接口中的一种； 统计的流量，都是在一定时间范围内指定的，这个时间范围可以包括： 1 1 某一个小时内； 某一天内； 3 ) 某一周内； 4 ) 某一个月内； 5 ) 某一个季度内； 6 ) 某一年内； 每种流量的统计，都是基于这些不同的视角、时间段和统计对象进行的， 下面我们重点介绍四种不同的流量视角，这些视角是流量统计系统必须实现的 基本功能； 3 2 1 1 流量枧角( t r a f f i cv i e w ) 流量视角并不关注数据从何处来，到何处去，数据属于那个应用，而只关 注通过一个统计对象的数据量大小，数据传输的速率( 流入流出) ，此视角属 于比较底层的视图，为网络管理员了解网络的运行状况提供的参考，但是此视 图并不能提供关于流量数据从什么地方产生，目的地是何处，并且属于何种应 用的信息； 流量视角具体关注的内容包括统计在在某个时间段内某个统计对象的： 1 1 流入、流出的数据包数； 2 ) 流入、流出的总字节数； 3 ) 最大、最小和平均的流入、流出字节速率； 北京邮电大学硕士研究生毕业论文基于n e t f l o w 的流量统计分析系统设计与实现 有了这些信息，网络管理员可以直观地了解到统计对象在不同时刻的繁忙 状况，为其提供对网络运行状态的总体印象； 3 2 1 2源，目的视角( s o u r c e d e s t i n a t i o nv i e w ) 网络中的流量总是从一个源端发往一个目的端，有时了解网络流量产生的 源和目的是非常重要的，如网络计费需要知道每个主机产生了多少网络流量并 据此进行收费，又如在网络收到攻击而产生大量的流量阻塞网络时，为了找到 可能的攻击者，需要发现大量的口包从哪个主机发出，源目的视角即是提供 如此的功能： 在实现此视角时，一般提供按源和目的的流量排名，下图f 注2 2 为根据源 端和目标端产生流量大小进行的排名： 图8 根据源端和目的端的流量排名 3 2 1 3会话视角( s e s s i o nv i e w ) 会话视角提供了某个源和某个目的端的一次会话过程的所有信息，包括会 话的应用、使用的端口、使用的协议和产生的流量大小； 在两个网络节点的两个应用程序交换数据的过程中，数据不是一次传输到 对方的，双方的数据通信由许多次的会