（计算机应用技术专业论文）网络流量测量系统ntop的分析与研究.pdf

摘要 摘要 随着互联网规模不断扩大和网络应用的多元化发展，对网络性能的监测和运 行管理的要求日益增加，因此，研究网络流量特征，对网络管理、规划和发展都 有重要意义。其中，网络流量测量是网络测量技术的一种，对网络流量进行监测 和分析是研究网络流量特征，获取网络状况的有效方法。 本文首先从网络流量测量的背景及研究现状着手分析，阐述了流量测量的意 义，接着对网络测量技术及指标体系进行了深入研究。重点阐述了利用n e t f l o w 和s n m p 协议以及l i b p c a p 库函数进行流量监测的方法，并结合网络流量分析理 论，对网络流量监测系统在开发实现过程中的算法进行了详细论述。随后讨论了 为流量测量系统加入网络安全功能的体系结构，最后对基于设备和软件的流量采 集技术进行了总结。 通过对上述网络流量测量理论的分析研究，论文对网络流量监测系统n t o p 进行了分析与研究，并给出了未来其在网络安全功能方面的改进。论文全面论述 了该系统的设计目标和系统实现的总体框架。详细阐述了组成系统的数据包捕获 模块、数据包分析模块、w e b 界面显示和网络安全模块的设计和实现。在数据 包捕获方面利用l i n u x 平台中的数据包捕获库，采用基于多模式的流量采集机 制，实现了网络流量的获取；在数据包分析方面，采用数据包萃取分析技术和基 于流的抽样分析方法实现了数据包的分析；给出了该系统流量数据及根据统计信 息对原系统进行安全功能的设计思路。在系统实现方面，描述了系统开发的运行 环境，给出了系统的部署方式；根据流程圈给出了相关函数的分析结果；并描述 了系统实现的功能。接着详细阐述了系统实现过程中采用的关键技术。 最后，对本文所作的工作进行简要总结和展望。 关键词：n t o p ；流量测量；l i b p c a p ；哈希算法；网络安全 a b a t t a c t t h e a n a l y s i sa n dr e s e a r c ho nn e t w o r k t r a f f i c m e a s u r e m e n ts y s t e mb a s e do nn t o p a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e t se x p a n s i o na n dd i v e r s i f i c a t i o n ，n e t w o r k p e r f o r m a n c em o n i t o r i n ga n dm a n a g e m e n ti ss t r o n g l yr e q u i r e d i ti sv e r yi m p o r t a n tt o u n d e r s t a n dn e t w o r kb e h a v i o r sd u et on e t w o r kt r a f f i cm a n a g e m e n t ，n e t w o r kp l a n n i n g a n dd e v e l o p m e n t t h en e t w o r kt r a f f i cm e s u r e m e n tt e c h n o l o g yi so n ew a yo fn e t w o r k m e a s u r e m e n t ，a n dm o n i t o r i n ga n da n a l y z i n gn e t w o r kt r a f f i ci sa ne f f e c t i v em e t h o dt o r e s e a r c h i n gt h et r a f f i cc h a r a c t e r i s t i c sa n dg e t t i n gn e t w o r k s t a t u s f i r s t l y ，r e s e a r c hb a c k g r o u n do f n e t w o r kt r a f f i cm e a s u r e m e n t i sa n a l y z e d ，a n dt h e s i g n i f i c a n c eo ft r a f f i cm e a s u r e m e n ti se x p a t i a t e d t h e n ，t h en e t w o r km e a s u r e m e n t s t e c h n o l o g ya n di n d i c a t o rs y s t e ma r ed e e p l ys t u d i e d ；b yu s i n gt h et h e o r yo fn e t w o r k f l o wa n a l y s i s ，t h em e t h o do ff l o wa n a l y s i ss u c ha sn e t f l o w , s n m pa n dl i b p c a pi s e x p a t i a t e d i na d d i t i o n ，t h et r a f f i c ec o l l e c t i o nt e c h n o l o g yi sa n a l y z e di nf u r t h e rd e t a i l i n t h ee n d ，d i f f e r e n tt y p e so ft r a f f i ca r ed i s c u s s e d ，t h es t r u c t u r eo ft r a f f i cc o l l e c t i o ni s a n a l y z e da n dt h et e c h n o l o g i e so ff l o wc a p t u r i n gb a s e do nd e v i c e sa n ds o r w a r e sa r e s u r n m i z e da n dc o m p a r e di np e r e l l e l b a s e do nt h et h e o r yo ft r a f f i cm e a s u r e m e n tm e n t i o n e da b o v e ，an e t w o r kt r a f f i c m o n i t o r i n gs y s t e mb a s e do l ll i n u x ( n t o p ) i sa n a l y z e da n d r e s e a r c h e d t h ed e s i g na i m a n df i a m c w o ko ft h i ss y s t e ma r et h o r o u g h l yd i s c u s s e d t h ed a t ap a c k e tc a p t u r i n g m o d u l e ，p a c k e ta n a l y z i n gm o d e l ，w e bp r e s e n t a t i o nm o d u l e a n dn e t w o r k s e c u r i t y m o d u l e ，c o m p o s e do ft h es y s t e m ，a r ed e t a i l e d l ye x p i r a t e d i n d a t ap a c k e tc a p t u r i n g l i b r a r yu n d e rl i n u xa n dt h ef r a m e w o r ko ft r a f f i c ec o l l e c t i o nb a s e do nm u l t i m o d e i n d a t ap a c k e ta n a l y s i sa s p e c t ，t h er e a l i z a t i o ni si m p l e m e n t e db ym a k i n gu s eo ft h ed a t a a n a l y s i sb a s e do nt r a f f i cs a m p l i n g ；i nt h ec o u r s eo fi m p l e m e n t a t i o n ，t h ed e v e l o p m e n t a n df r a m i n ge n v i r o n m e n to ft h i ss y s t e mi sd e s c r i b e da n dt h es y s t e md e p l o y m e n ti s t t a b a t r a c t i n t r o d u c e d ；a c c o r d i n g t o t h e s y s t e m f l o wc h a r t s ，t h er e l a t e df u n c t i o n sa r e p r e s e n t e d t h ei m p l e m e n t a t i o n o ft h e s y s t e m s f u c t i o n si sd e s c r i b e d t h ek e y t e c h n o l o g i e sa d o p t e db yt h es y s t e ma r es t u d i e d f i n a l l y , o u rw o r k si ss u m m a r i z e da n ds o m ei d e a sa n dp i e c e so fa d v i c ea r e b r o u g h tf o r w a r d sf o r t h ef u t u r ew o r k k e y w o r d s ：n t o p ；t r a f f i ct e a s u r e m e n t ；l i b p c a p ；h a s ha r i t h m e t i c ；n e t w o r ks e c u r i t y i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 篡黧塞霎? 篓k 纽a i 以、烈一z入 学位论文作者签名：之2 盐指导教师签名：茎2 型 2 口谚年多月g 日 年月日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经 发表或撰写过的研究成果。也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名：幺。生卜 知8 年石月g 自 第一章引言 第一章引言 随着i n t e m e t 重要性的日益提高和网络结构的日益复杂，越来越有必要对网 络的整体拓扑结构和网络行为进行深入的了解、分析，以利于发现网络瓶颈，优 化网络配置，并进一步发现网络中可能存在的潜在危险。为此，需要对大规模网 络结构进行动态描述，并根据网络流量的变化分析网络的性能，为加强网络管理、 提高网络利用率、防范大规模网络攻击提供技术平台。人们在实时计算机系统中 的资源管理方面己经做了许多工作，这样的系统通常包括通过一个或多个计算机 网络和许多实时应用程序连接起来的大量的计算机。这些程序的服务质量对于整 个计算机系统的性能而言是至关重要的。为应用程序维持合适的服务质量需要资 源管理中间件对计算机资源进行管理，这些计算机资源包括计算资源和网络资 源。其中，计算资源是实现诸如计算机，c p u 时间，内存等在内的一些计算机 性能的应用程序，这些直接关系到某个应用的服务质量；而网络资源则提供了个 体计算机和其它计算机之间彼此互联的方式，比如网络连接，接口，带宽等等。 1 1 网络流量测量背景及研究现状 国外在网络流量测量方面起步较早，自从互联网开始兴起时就己开始，有许 多科研机构、大学、学术团体和企业组织了网络测量的研究。自从美国国家科学 基金会n s f 在二十世纪八十年代中期确立它的网络计划以来，高质量的访问因 特网对教学、科研以及日常的生活都起着越来越重要的作用。但这些年来，因特 网变得越来越复杂，即使是经验丰富的网络工程师对数据传输服务的路径、可靠 性和性能等也只能有一个非常模糊的认识。没有准确的i n t e m e t 性能方面的数据， 以及收集和分析这些数据的有效工具，教育、科研机构，以及其他需要这些性能 数据的用户或组织，就很难对网络的建立、管理和应用等作出正确决策。 为了解决诸如此类的问题，i n t e r n e t 工程任务组i e t f ( i n t e r n e te n g i n e e r i n g t a s k f o r c e ) 1 1 专门成立了一个i p p m ( i pp e r f o r m a n c em e t r i c s ) 1 1 工作组，专门负责 发展一套用于衡量i n t e r n e t 数据传输服务的质量、性能、可靠性等方面的度量标 准。同时许多组织、团体、机构或公司纷纷建立了它们的测量项目。 1 第一章引言 近些年来，许多大型研究项目组和研究人员在网络测量领域己经开发出了 很多测量系统。美国在1 9 9 2 年开始着手i n t e r n e t 特征的研究。其中比较著名的 项目包括u cb e r k e l e y 的科学家们对i n t e m e t 开展的两次长达三个月的大规模 测量，其改进平台n i m i 2 】已经广泛设置于许多国家，产生了非常深远的影响3 1 。 i e p m ( i n t e m e te n d t o e n dp e r f o r m a n c em e a s u r e m e n t ，i n t e m e t 端到端性能测量) 主要来监视i n t e m e t 上的端到端性能【4 1 ；i p m a ( i n t e m e tp e r f o r m a n c em e a s u r e m e n t a n da n a l y s i s ，i n t e m e t 性能测量和分析) 主要研究局域网和广域网环境中的网络 性能和网络协议。 m o a to f n l a n r ( m e a s u r e m e n t & o p e r a t i o n sa n a l y s i st e a mo f n a t i o n a l l a b o r a t o r yf o ra p p l i e dn e t w o r kr e s e a r c h ) 5 1 ：主要研究高性能网络的行为特征， 并开发了一个网络测量平台。测量平台研究核心主要由两个项目组成：被动测量 分析项目组p m a ( p a s s i v em e a s u r e m e n ta n da n a l y s i sp r o j e c t ) 1 6 1 和主动测量测量项 目组a m p ( a c t i v em e a s u r e m e n tp r o j e c t ) t 7 1 。p m a 在测量点被动捕获数据包，分 析数据包头得到负载信息；a m p 项目的目的是为了增强参与站点和用户对高性 能网络运行情况的理解，帮助网络用户和服务提供商分析问题。a m p 项目使用 的测量工具有p i n g ，t r a c e r o u t e 8 1 等，测量包括：端到端的r t t 9 1 ，包丢失、拓 扑以及吞吐量等性能指标。 s u r v e y o r 是一个能够在i n t e m e t 路径上测量单向延迟，包丢失和路由信息的 测量体系结构【1 0 】；其他项目还包括n l a n r l l ，和s k i t t e r ( c a i d a ) t 12 1 。除美国外， 其他国家也展开了对i n t e m e t 的大规模测量和研究，如：加拿大的t r i u m f 网络 监视( 主要目的是对国家i n t e m e t 路径上的丢包情况和路由特征进行测量) 和新西 兰的w a n d ( w a i k a t oa p p l i e dn e t w o r kd y n a m i c ) w l t s ( w a i k a t oi n t e m e tt r a f f i c s t o r a g e ) ( 主要目的是创建用于统计分析和创建模拟模型的i n t e m e t 流量模型) 等。 欧洲于1 9 9 5 年也展开了对i n t e m e t 的测量，其中p p n c g ( 粒子物理网络协作组) 是在这方面做得较为成功的一个组织。 i n t e m e t 2m e a s u r e m e n tw o r k i n gg r o u p b 3 ：正在开发一个i n t e m e n t 2 的分布测 量平台。该平台将用来分析端到端的网络性能，研究q o s 性能特征等。并采用 n e t f l o w ，m r t g ，s n m p 等技术提供每天，每周，每月及每年的流量和性能 分析报告。 4 第一章引言 国内清华大学提出了大规模互联网络性能监控模型l i p m ( l a r g e s c a l e i n t e r n e tp e r f o r m a n c em o n i t o r m o d e l ) t “1 ，借鉴了i s o ( t h ei n t e r n a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 的层次结构思想，将整个模型分为数据采集、数 据管理、数据分析、数据表示四个层次，融汇了t m n ( t e l e c o m m u n i c a t i o n m a n a g e m e n tn e t w o r k ) 在对象管理方面的方法，易于实现和维护。西安交通大学 提出了互联网应用性能测量系统n a p m ( n e t w o r k a p p l i c a t i o n p e r f o r m a n c e m e a s u r e m e n t ) 15 1 ，提出了应用探针和区域探针的分布式体系结构。 随着网络性能测试的研究与发展，许多公司、组织或团体等开发出大量的网 络性能测试方面的工具，其中应用或电子商务方面的有c o m p u w a r ee c o s c o p e o p t i m a la p p l i c a t i o ne x p e r t ，c l e v e r t o o l sw e b b o y 等；带宽吞吐量方面的有b i n g ， c l i n k ， n e t p e r f ,n e a i m e r ，p a t h c h a r ，p c h a r ，t r e n o ，t t c pa n dn t t c p 等；延 迟方面0 7 的有p i n g ，f p i n g ，t r a c e p i n g 等；连接的利用率方面的有i p t r a f , l i b p c a p 等。 1 2 网络流量测量的意义 通过对业务流量数据的监测，可以获取网络性能特征参数，并由此建立准确 的流量模型，能够指导网络管理员及时排除问题，改善网络运行状况。因而研究 网络流量测量技术具有以下几个方面意义： 1 ) 网络体系架构的需要 从网络体系架构来说，网络流量是一切研究的基础。所有对网络的应用和网 络本身的行为特点的研究都可以通过对网络流量的研究来获得。网络的行为特征 可以通过其承载的流量的动态特性来反映，所以有针对性地监测网络中流量的各 种参数( 如p a c k e ti n t e r a r r i v a l , p a c k e tl e n g t h ，p a c k e tl o s sr a t e , p a c k e td e l a y ，e t c ) 1 8 】，就 能从中分析和研究网络的运行特征。通过分析和研究网络上所运载的流量特性， 有可能提供一条有效的探索网络内部运行机制的途径。 2 1 网络协议部署的需要 根据监测的流量分布，可以配置路由器的路由协议、负载均衡策略、实施流 量工程、进行业务与协议的科学部署。而流量工程在传输业务时，能够优化资源 利用率，提高应用性能。网络传输的流量与网络路由策略密切相关。流量测量还 e 第一章引言 可以显示链路权重的改变对流量的影响。 3 ) 网络性能监控的需要 网络流量反映了网络( 物理链路) 的运行状态，是判别网络( 物理链路) 运行是 否正常的关键数据。在网络中，如果网络所接收的流量超过其实际运载能力，就 会引起网络性能下降。吞吐量是表征网络性能的重要标志。然而在实际的网络中， 如果对网络流量控制得不好或发生网络拥塞，将会导致网络吞吐量下降，网络性 能降低。通过流量测量不仅能反映网络设备( 如路由器、交换机等) 工作是否正常， 而且能反映出整个网络运行的资源瓶颈，这样管理人员就可以根据网络的运行状 态及时采取故障补救措旌和进行相关的业务部署，提高网络的性能。 网络安全的需要 随着i n t e m e t 的应用领域和应用规模的快速增长，通过网络传播计算机病毒 的种类越来越多，传播速度更快，感染面积更广，全球的信息安全受到了普遍而 严重的威胁。例如网络蠕虫病毒，其传播速度快、传播面积广、破坏性强，大量 占用路由器和交换机的带宽，导致网络阻塞甚至瘫痪。因而对网络进行流量监测 分析，可以建立网络流量基准，通过连接会话数的跟踪，源目的地址对的分析， t c p 流的分析，能够及时发现网络中的异常流量，进行实时告警，保障网络安全。 根据网络流量在网络运行各个环节中的关键地位，对网络流量进行研究，同 时采取一定的方法，科学地测量和分析流量特征成为一项艰巨而有意义的工作。 1 3 论文的组织结构 第一章，引言。首先阐述了研究网络测量的背景及研究现状，并从四个方面 说明了研究网络流量测量技术的意义。 第二章，网络流量采集技术的研究。首先介绍网络流量类型，分析了流量采 集系统的基本结构：分析了不同的流量采集方式：基于s n m p 的流量采集，基 于s n i f f e r 的流量采集，基于n e t f l o w 的流量采集和基于s f l o w 1 川的流量采集；并 分析了各自的优缺点，为提出基于多模式的流量采集方法提供了理论支持。 第三章，详细阐述了基于l i n u x 的网络流量监测系统n t o p 的设计。包括系 统的设计目标、原则及整体架构；重点阐述了该系统中数据包捕获模块、数据包 分析模块，数据库模块和w e b 界面显示模块的详细设计。 6 第一章引言 第四章，网络流量监测系统n t o p 的功能实现。阐述了n t o p 的运行环境和部 署方式；给出了系统的流程图和主要的函数体：将系统实现的功能以图形化方式 呈现出来。对系统实现的关键技术进行了描述。 第五章，阐述了对n t o p 在网络安全功能的改进以及未来的工作。 第六章，最后对本文所做工作进行简要总结和展望。 第二章网络流量监测技术 第二章网络流量监测技术 要真实了解网络的运行情况，发现网络运行中存在的问题，必须对网络中的 流量状况有一个全面了解。面对复杂多变的规模庞大的网络环境，这就需要一个 能够适应不同场合和快速分析处理数据的流量监测系统；而如何采集异构环境下 的网络流量是系统实现的关键所在。下面我们重点讨论网络流量采集技术，并对 不同的采集技术各自的优缺点分析比较，为设计基于多模式的流量采集技术提供 理论依据。 2 1 网络流量分类 如今国外很多知名的公司或学校，已经大规模开展了对网络流量的分析研究 和应用【2 0 1 。运用这些技术，运营商可以科学地估算出各种业务在网络总流量中所 占的比重和在各条链路上的分布，能够科学地预测链路流量和业务流量的变化规 律，从而客观地评价各类用户的上网特性。同时可预测当上网用户增多的情况下 对网络可能造成的影响，用以指导网络建设，合理规划网络资源分布 2 1 i 。 以下根据网络流量包含的信息内容对网络流量进行分类，同时对当前技术成 熟的流量采集工具进行描述。以期对本文的网络流量监测系统的设计有一个指 导性作用。 1 网络节点端口流量 网络节点端口流量指网络节点设备端口流入和流出数据包的信息统计。它 包括数据包的个数、字节数、包大小分布、丢包数等非常多的统计信息。在网络 上，网络监听效果最好的地方是在网关、路由器、防火墙一类的设备处，通常由 网络管理员来操作。使用最方便的是在一个以太网中的任何一台上网的主机上， 它可以在不同的操作平台上进行监听。目前有许多能实现监听功能的优秀软件： 1 ) s n i f f i t ：由l a w r e n c eb e r k e l e y 实验室开发，运行于s o l a r i s 、s g i 和l i n u x 等平 台。可以选择源、目标地址或地址集合，还可选择监听的端口、协议和网络 接口等。 2 ) n e t x r a y ：在w i n d o w s 9 x 和w i n d o w s n t 上，n e t x r a y 是一个功能强大、使 r 第二章网络流量监测技术 用方便的协议分析和网络监控工具。它是一个优秀的软件，能监控多个网段， 斌且允许多监控实例存在，同时还能捕捉所需要对饿任何类型的报文。使用 n e t x r a y 还可以设置许多过滤条件，而且其操作界面也比较漂亮。 3 ) t c p d u m p ：t c p d u m p 2 2 1 是网络管理员的强大监听工具。它是从应用程序中读 入网络上有关的大量分组信息，与指定准则进行匹配来过滤这些分组信息。 但是u n i x 平台上的监听软件，界面都不是很友好，操作性不强。 4 ) 监视节点端l z l 一的典型工具是m u l t ir o u t e rt r a f f i cg r a p h e r ( m r t g l 2 3 1 ) 它， 是一款监测网络连接上网络流量加载情况的软件，它通过生成包含p n g 图形 的h t m l 页面来呈现出实时的网络流量状况。m r t g 可以工作在大多数的 u n i x 和w i n d o w s n t 平台上，它是用p e r l 语言编写的源代码。m r t g 利用一 个完全用p e r l 语言编写的极便携的s n m p 2 4 1 实现机制来进行工作，且不用安 装任何额外的s n m p 数据包，而且他还能够读取最新的s n m p v 26 4 位计数 器。另外，m r t g 也能以周期( 最近7 天、最近5 周、最近1 2 个月) 为单位 来建立一种直观的流量表达方式，这是因为m r t g 可以保留来则路由器的所 有数据情况的日志，这个日志能够自动整理以便其不会因时间的推移而日益 臃肿，但它仍可以保存最近两年的所有流量数据的相关情况。因此，我们能 够监测2 0 0 个甚至更多网络链路的使用情况。另外其他厂商的网管工具也提 供监视网络节点端口流量的功能。如h p 公司的o r i e n v i e w 平台，a g i l e n t 平 台的f i r e h u n t e r 等。可以考虑用这些工具的强大分析功能与m r t g 结合起来 使用。 2 端到端的p 流量 端到端的i p 流量指的是在网络层从一个源地址到一个目的地址的i p 包统计 信息；通过对其分析，可以了解到网络中的用户都访问了哪些目的网络，是网 络分析、规划、设计和优化的重要依据。采集端到端口流量的典型工具包括 s n i f f e 、n e t f l o w 和流量探针等，根据其不同特点，它们分别适用于不同范围的流 量采集。 3 业务层流量 业务层流量除了包含端到端口流量的信息之外，还包含了第四层( t c p 层) 的端口信息。显而易见，它包含了应用服务的种类信息，利用这些信息可以做更 9 第二章 网络流量监测技术 详细的分析。s n i f f e r ，n e t f l o w 和流量探针等工具也实现了这个层次的流量信息 采集。 4 完整的用户业务数据流量 完整的用户业务流量对于安全、性能等方面的分析非常有效2 5 1 。例如，捕获 黑客的来访数据包可以制止某些犯罪行为或得到重要证据：由于捕获完整的用户 业务数据需要超强的硬盘存储速度和容量，而利用s n i f f e r 和流量探针等实现短 时间内数据包的捕获和跟踪。n i k s u n ( 猎信) 都只能公司在这个方面却有自己独 到之处，其n e t d e t e c t o r 产品能提供长时间的完整的用户业务流量采集。 通过上述对网络流量分类的了解，可以在本文拟设计的网络流量监测系统中 充分全面地考虑系统可扩展性，使得设计的系统能够适应不同的网络环境，采集 到不同类别的数据流量，使得系统的可用性大大增强。 2 2 流量采集的体系结构 流量采集系统一般分为三个模块：监听模块、读取模块、控制模块。流量监 听模块是流量测量体系的核心部分，它通常是要设置在测量点上根据系统相关配 置来记录网络上的活动。在数据存储之前，它可以对监听到的数据进行聚类，变 形等进一步处理。监听模块需要计量流量数据的属性如字节数、包数，并且根据 其他属性例如源地址，目的地址确定的计量实体进行分类。计量实体可以是主机、 子网，甚至是一组子网，它的粒度由监听模块的配置决定。流量的数据信息存储 在监听模块的流量表中，流量表是一个流量数据记录的数组。 读取模块可以根据网络的实际状况，采取任何合适的方式采集数据，例如可 以通过下载整张流量表等。读取模块允许读取流量属性值的一个子集，而不需要 读出所有的流量数据记录。读取模块可以从多个监听模块中采集数据，而且这些 采集之间不需要同步。读取模块将数据传送给分析模块。 控制模块负责配置监听模块和控制读取模块的流量采集，包括： ( 1 ) 流的确定，如哪些流量被记录，它们如何聚类以及采集哪些数据； ( 2 ) 监听模块的控制参数，如流量表的大小 ( 3 ) 抽样率，通常每个包都被监测，但是在一些情况下必须抽样监测。 读取模块在从每个监听模块读取采集数据前，需要确定以下几点： 1 0 第二章网络流量监测技术 ( 1 ) 监听模块的唯一的d ( 2 ) 采集的间隔 ( 3 ) 需要采集哪些流量记录 ( 4 ) 需要采集流量记录的属性值( 所有属性，或者仅仅是一部分) 强调一点：一旦流量数据被监听模块采集后，就可以用于分析模块。但是， 分析模块的细节不属于流量测量体系。 2 3 流量采集技术研究 传统的方法是使用s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o l ，简单网络 管理协议) 进行流量采集，从开启了s n m p 服务的网络设备的流量计数器( t r a f f i c c o u n t e r s 读取流量信息。较为普遍的用于入侵检测和协议分析的包嗅探法( p a c k e t s n i f f e r ) 也被广泛使用。而n e t f l o w 技术正迅速发展起来，n e t f l o w 版本9 己经作 为i e t f 的标准之一向外发布。越来越多的厂商都使自己的设备支持n e t f l o w 。 而s f l o w 技术( r f c 3 1 7 6 ) 是一种”统计采样技术”，可提供完整的第2 层到第7 层、 全网络范围内的流量信息。 s n m p 为基于t c p i p 的网络环境提供了一种基本的网络管理工具。协议的 细节性描述可见r f c1 1 5 7 。尽管s n m p 被广泛应用于网络监测，但是他仍旧滞 后于快速进化的计算机网络的发展速度。 2 3 1 基于s n i f f e r 的流量采集 在n t o p 系统实现的平台l i n u x 一9 0 3 上，l i b p c a p 2 6 1 是通过p a c k e ts o c k e t 2 6 j 实现的。p a c k e ts o c k e t 是被设计为用来在设备驱动层( o s i l a y e r 2 ) 即数据链路 层收发原始数据包，它能让用户在物理层上在用户空间实现协议模块。在l i n u x 内核吲吲网络包处理流程中，p a c k e ts o c k e t 的实现是处于网卡驱动程序和t c p i p 协议栈处理代码之间。p a c k e ts o c k e t 是通过如下的形式调用s o c k e t 函数来获得的： s o c k e t ( p fp a c k e t ，s o c kr a w ，h t o n s ( e t h - p a l l ) ) 第一个参数表示建立的是p a c k e t 协议簇，这个协议簇使应用程序能够从网 卡接收和通过网卡发送数据，这样就绕过了传统的t c 协议栈的处理。第二 第二章网络流每监测技术 个参数指出了选择的协议簇中使用的s o c k e t 的类型。对于p a c k e t 协议簇，有两 种类型可以使用：s o c kd g r a m 和s o c kr a w 。s o c kd g r a m 是将处理链 路层包头的任务留给了内核，而s o c kr a w 可以让应用程序直接处理链路层包 头。最后一个参数表示接受所有协议的包。 l i b p c a p 的过滤功能是对p a c k e ts o c k e t 设置过滤选项来获得的。p a c k e ts o c k e t 的包过滤功能在l i n u x 内核中的实现被称为l p f ( l i n u xp a c k c tf i l t e r ) 。它在整个 l i n u x 网络包处理流程中所处的位置如下图2 1 所示 幽2 1 l i b p c a p 网络包处理流程 可以看到l p f 所处的位置是协议簇处理阶段，在这里的原因是希望包过滤能尽 可能早进行，因为越早将不需要的包丢弃，无谓的开销也就越少，系统的整体效 率也就越高。为了使过滤的实现尽可能的高效灵活，l p f 采用的是b p f e 2 川过滤模 型。 2 3 2 基于s n m p 的流量采集 简单网络管理协议s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) t 3 0 】，是由互 联网工程任务组定义的一套网络管理协议，它提供了一种远程管理所有支持 s n m p 协议的网络设备、监视网络状态、从网络设备中收集网络管理信息的方 第二章网络流晕监测技术 法s n m p 己成为网络管理信息交换事实上的工业标准，几乎所有厂商的产品都 兼容s n m p 标准例如h po p e n v i e w ，s l j nn e t m a n a g e r ，c i s c ow o r k s2 0 0 0 以及m m n e t v i e w 等。在管理信息库方面，现在己经定义了几种通用的标准管 理信息库，这些数据库中包括了必须在网络设备中支持的特殊对象，所以这几种 m i b 可以支持s n m p 。使用最广泛、最通用的m i b 是m m i i 。 虽然通过s n m p 协议从路由器的m m 信息库中获取口流量数据技术相当成 熟并且易于实现，但它存在以下几点不足： 1 ) 流量数据可靠性差，由于路由器是基于口地址进行流量统计，但主机的p 地址很容易被篡改、盗用，这就使得流量数据的可靠性得不到保证。 2 ) 基于s n m p 协议安全性差，使得非法用户可以得到在网络中传递的网管信 息，对网络设备进行非法操作。 3 ) 从路由器采集流量数据，会占用路由器的处理时间，流量数据必须定时采集， 否则会造成数据丢失，而频繁地传送流量数据又会造成网络的拥塞。 2 3 2 基于n e t f l o w 的流量采集 n e t f l o w 3 1 1 是由c i s c o 公司的d a r r e n k e r r 和b a r r y b r u i n s 3 2 1 在1 9 9 6 年开发的 一套网络流量监测技术，目前已内建在大部分c i s c o 路由器上，j u n i p e r ，e x t r e m e ， 港湾网络等网络设备供货商也支持n e t f l o w 技术，它已逐渐成为业界认可的标准。 n e t f l o w 本身是一套网络流量统计协议，其主要原理是根据网络数据包传输 时，连续相邻的数据包通常是向目的地口地址相同位置传送的特性，配合c a c h e 快取机制，当网络管理者开启路由器或交换机接口的n e t f l o w 功能时，设备会在 接收数据包时分析该数据包的包头信息来获取流量资料，并将所接收的数据包流 量信息汇聚成一条一条的流( f l o w ) ，在n e t f l o w 协议中f l o w 是被定义为两端点间 单一方向连续的数据流，这意味着每一个网络的连接都会被分别记录成两条 f l o w 数据，其中一条记录从客户端连到服务器端，另外一条记录则反映从服务 器端连到客户端的信息。网络设备通过以下字段来区分每一条f l o w ：源，地址 ( s o u r c e i pa d d r e s s ) ，源端口号( s o u r c ep o r tn u m b e r ) 、目的口地址( d e s t i n a t i o ni p a d d r e s s ) 、目的端口号( d e s t i n a t i o n p o r t n u m b e r ) 、协议种类( p r o t o c o l t y p e ) 、服务种 类( t y p e o f s e r v i c e ) 及路由器输入接i ( m u t e r i n p u t i n t e r f a c e ) ；任何时间当设备接收 13 第一二章网络流量监测技术 到新的数据包时，会检测这七个字段来判断这个数据包是否属于任何已记录的 f l o w 。如果存在，则将新收集到的数据包的相关流量信息整合到对应的f l o w 记 录中；如果找不到数据包对应的f l o w 记录，便产生一个新的f l o w 记录来储存相 关的流量信息。由于设备内高速缓存的空间有限，无法无限制地容纳持续增加的 f l o w 记录，所以n c t f l o w 协议也定义了终结f l o w 记录的机制，来维护网络设备 中储存f l o w 信息的空间。 当数据包内字段f l a g 显示传输协议中传输完成的讯息如t c pf i n 时、流量 停止超过1 5 秒、流量持续传送超过3 0 分钟，上述任何一种情况成立，路由器就 会通过u d p 数据包将终止的f l o w 纪录汇出到使用者事先指定的n e t f l o w 数据收 集设备。 采用n e t f l o w 存在一些缺点： 1 ) 对设备本身存在一定负载压力( c p u 负载、内存负载等) ； 2 ) 分析范围有限，不涉及砰以外协议，不能将数据流与设备本身或者端口等结 合起来分析( 无法定位问题所在) 等； 3 ) 不能提供实时的数据流分析； 4 ) 采用硬件模块支撑分析的设备，其分析模块较为昂贵，且受平台限制。鉴于 以上缺点，n e t f l o w 不适应在高速网络核心层分析海量的实时数据。 2 3 3 基于s f l o w 的流量采集 s f l o w 3 3 1 技术独特之处在于它能够在整个网络中，以连续实时的方式监视每 一个端口，但不需要镜像监视端口，对整个网络性能的影响非常小。s f l o w 的完 整实现一般由两部分构成：s f l o wa g e n t 和s f l o wr e c e i v e r , s f l o wa g e n t 一般嵌入 网络设备数据报文，( 交换机或路由器) a s i c 芯片中，通过一种采样机制采集网 络中的经过特定的编码后发给s f l o wr e c e i v e r ；s f l o wr e c e i v e r 收到a g e n t 发来的 数据后，经过处理即可对网络流量和数据进行分析统计。 2 4 几种流量采集技术的比较 s n i f f e r ：嗅探法是一种常用的网络技术，通过h c t b 或者在交换机的镜像端 口设置数据采集点，来捕获数据报文的，这种方式采集的信息最全面，可以完全 1 4 第：章网络流量临测技术 复制网络中的数据报文。但是s n i f f e r 技术的应用也受到了一定的限制，大多数 厂商的设备不支持跨v l a n 或者跨模块镜像数据，因此可能需要在多个网段安 装装探针，在部署上比较复杂，大型的网络v l a n 数量很多，一般都不可能实 现全部v l a n 的监控。流量很大的网络中采用端口镜像对网络设备的性能也会 造成一定的影响，而且对所有数据报文都进行采集在吞吐量很大的网络中也是难 以实现的。 s n m p ：是一种主