（计算机应用技术专业论文）校园网流量监测分析系统的研究与应用.pdf

辽宁科技人学硕十论文摘要 摘要 网络技术的迅猛发展特别是基于i n t e r n e t 应用的不断涌现，使网络从信息基础 设施逐步演变成人类社会的基础设施。由于i n t e r n e t 发展的高度异构性和变化性， 基于其上的应用与网络本身也面临着诸多挑战与种种矛盾。总体上来说，当前 i n t e r n e t 仍然只是一个可用的网络。造成这种局面尽管与最初i n t e r n e t 的设计理念 不无关系，但最根本原因在于我们对网络的运行特征与内在本质知之甚少，最终导 致不能对网络进行有效利用。 网络流量特征研究和分析是深入理解网络内在本质、了解网络运行状况的根本 方法和手段，是网络性能提列、优化网络设计和实施流量工程的重要途径。本文对 校园网的网络流量特征进行了一定的研究与探讨，同时开发出了网络流量监测分析 系统。 论文的主要工作如下： 1 研究了网络流量模型建立的方法。对当今主流的三种流量模型建立方法做了 一定的阐述，同时对马尔可夫流量模型、回归流量模型也做了详细的研究。 2 针对校园网络这个特殊的网络应用环境，设计并实现了校园网流量监测、分 析系统。在系统中使用网络监听、m i b 库等技术来获取网络数据源，使用m y s q l 作为 流量数据的存储载体，同时使用r r d t o o l 等技术来图形化显示网络流量特征走势。 3 通过设置两层超时机制区别对待不同特性的流，以尽可能较早发现和淘汰已 经结束的流。 4 在流量分析子系统中，通过建立a r m a 模型，预测出短时间内的各个端口的 各种流量值以及流量一般特征的变化，最终推测网络是否处于异常状态下。 关键词：流量监测，流量分析，m l b ，n e t f l o w ，流，a r m a 模型 辽宁科技大学硕十论文 摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g i e s ，e s p e c i a l l yt h ec o n t i n u o u s e m e r g e n c eo fn 州a p p l i c a t i o n sb a s e do ni n t e m e t ；t h en e t w o r ko n c ea c t i n g a sa n i n f o r m a t i o ni n f r a s t r u c t u r eh a sb e e nb e c o m i n gt h ei n f r a s t r u c t u r eo ft h ew h o l es o c i e t y i t s i r t h o m o g e n e o u s ，v a r i a t i o nd e v e l o p m e n tr e s u l t si nt h es i t u a t i o nt h a tn e t w o r ka p p l i c a t i o n s a n dt h en e t w o r ki t s e l fc o n f r o n t e dw i t hm a n yc h a l l e n g e sa n dv a r i o u sc o n t r a d i c t i o n s g e n e r a l l ys p e a k i n g ，i n t e r n e ti sj u s tan e t w o r ku s a b l ea tp r e s e n t a l t h o u g ht h i ss i t u a t i o ni s i n d e e dc a u s e db yt h ei n i t i a ld e s i g ns p i r i to fi n t e r n e tt os o m ee x t a n t ，t h ee x a c tr e a s o ni s t h a tw ek n o wl i t t l ea b o u tt h ec h a r a c t e r i s t i c sa n dt h ee s s e n c eo ft h eo p e r a t i o no fn e t w o r k t h i sp r e v e n t su sf r o mu s i n gn e t w o r ks c i e n t i f i c a l l ya n de f f e c t i v e l y t h es t u d yo ft h ec h a r a c t e r i s t i c so fn e t w o r kt r a f f i ca n dt h ep a s s i v em e a s u r e m e n to f n e t w o r kt r a f f i ca r eb a s i cm e t h o d sa n dw a y st od e e p l yu n d e r s t a n dt h ee s s e n c eo fn e t w o r k ， a n dt oc o m p r e h e n dt h eo p e r a t i o no fn e t w o r k t h i sp a p e rd i ds o m er e s e a r c h e so nt h e c h a r a c t e r i s t i c so fc a m p u sn e t w o r k ，a n dd e v e l o p e dan e t w o r km o n i t o r i n ga n da n a l y z i n g s y s t e m t h em a j o r 、o r k so f t h i sd i s s e r t a t i o na sf o l l o w s ： 1 d i ds o m er e s e a r c h e so nt h eb u i l d i n gm e t h o d so f n e t w o r kt r a f f i cm o d e l t h ep a p e r a n a l y z e dt h em o s tt h r e ep o p u l a rb u i l d i n gm e t h o d so fn e t w o r kt r a f f i cm o d e la n dm a r k o v a t r a f f i cm o d e la n dr e g r e s s i o nt r a f f i cm o d e l 2 d e s i g na n di m p l e m e n tc a m p u sn e t w o r km o n i t o r i n g ，a n a l y z i n gs y s t e md u et ot h e s p e c i a la p p l i c a t i o ne n v i r o n m e n to fc a m p u sn e t w o r k u s i n gn e t w o r km o n i t o r i n g ，m i b t e c h n o l o g i e st oc o l l e c tn e t w o r kd a t as o u r c ea n du s i n gm y s q l d a t a b a s et os t o r et r a f f i cd a t a a n df i n a l l yu s i n gt h er r d t o o lt od i s p l a yt h ec h a r a c t e r i s t i c so f n e t w o r kt r a f f i c 3 u s i n gd o u b l ei a y e rt i m e o u ts t r a t e g yt od i s t i n g u i s hd i f f e r e n tf l o wi no r d e rt of i n d a n dd i eo u tt h ee x p i r e df l o we a r l y 4 i nt r a f f i ca n a l y z i n gs u bs y s t e m ，b yb u i l d i n ga r m am o d e lt op r e d i c te a c hp o r t s t r a f f i cd a t aa n dt h ev a r i a t i o no ft h et r a f f i cc h a r a c t e r i z ea n df m a l l yi n f e rw h e t h e rn e t w o r k i sa ta b n o r m a ls t a t e k e yw o r d s ：t r a f f i cm o n i t o r i n g ，t r a f f i ca n a l y z i n g , m i b ，n e t f l o w ，f l o w ，a r m am o d e l 1 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得辽宁科技大学或其它教育机构的学位或证书而使用过的材料，与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 签名：墨丛旦 日期：迦z ! ：! z 关于论文使用授权的说明 本人完全了解辽宁科技大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅：学校 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手 段保存论文。 ( 保密的论文在解密后应遵守此规定) 煦量丛慨塑生， 辽宁科技人学硕士论文第章绪论 第一章绪论 1 1 背景 以i n t e m e t 为代表的信息网络是现代信息社会最重要的基础设施之一，它已渗透 到社会生活的各个领域，成为国家进步和社会发展的基本需求，是未来知识经济的 基础载体和支撑环境。近几年，i n t e m e l j i n t r a n e t 音g 署和应用的迅猛发展。使企业和个 人用户的计算模式有了重大转变，这一转变导致了对网络带宽、性能、可预测的服 务质量、多媒体以及网络安全都提出了更高的要求，为了适应i n t e m e t i n t r a n e t 这种不 断发展的要求，我们需要监测和记录网络中各种资源的使用和利用情况，以便更好 的了解和管理网络，由此，l p 网络的测量技术日益得到人们的关注。对网络流量进 行测量是监测、掌握、分析网络运行状况以及预测网络发展趋势的有效于段。目前， 网络测量的方法和技术多种多样，并日趋成熟和完善，但任何一种技术都不可能涵 盖网络测量的方方面面，满足用户的所有要求，因此需要根据具体应用选择合适的 测量方法，制定具体的测量方案，有时需要把多种网络测量技术结合起来，以最大 限度的满足用户的需求。 1 2 网络流量测量的内容 i n t e m e t 的迅猛发展，需要我们更好的了解和管理网络，网络的复杂性、业务类 型的多样性以及变化随机性都对网络的监测和管理提出了很高的要求，网络流量测 量主要集中在以下四个方面： 1 、性能监测与分析 丰要是通过i c m p u d p 等协议，监测网络端到端的时延、抖动、丢包率等特性， 了解网络的可达性、利用率以及网络负荷等。 2 、网络拓扑探测与可视化 主要是通过主动发送i c m p 包或u d p 包，对网络进行探测，以得到这一网络的大 致拓扑结构，并通过一定的工具，用图形化的形式反映出来。 3 、网络的“流”特征分析 第幸绪论 丰要是对网络“流”的特性进行测量和分析，以掌握网络的流量特性，如协议 的使用情况，应用的使用情况，用户的行为特征等。 4 、网络路由测量 网络的健壮性和稳定性很大程度上依赖于网络路由的有效和稳定。分析现实网 络的路由情况，对下一代网络软、硬件的研究和路由策略的制订，都有非常重要的 意义。 1 3l p 网络测量的分类 1 3 1 硬件v 6 软件 流量测量技术首要的分类方法是划分为基于硬件和基于软件的两类。基于硬件 的流量测量通常采用硬件测量设备，称为分析仪，它是一种为特定日的设计的用于 收集和分析流量数据的硬件设备。基于硬件的流量测量效率很高，专用性强，但是 存在价格昂贵、与网络接口类型和测试目标协议相关、对使用人员的要求较高的缺 点。硬件测量技术的一种典型例子是h u k e 公司的o p t i v i e w 链路分析仪 f l u k e l 。它是 基于专用集成电路( a s i c ) 实现的流量分析仪，提供o s i 参考模型全部七层的实时流 量监测。可以在千兆以太网链路上进行实时的流量分析，能够实现交换式以太网链 路的分布式流量分析，具有全双工在线流量分析能力，并且可以通过浏览器或t e l n e t 进行设置。该分析仪是目前在千兆以太网领域进行流量测量使用比较普遍的硬件测 量工具。基于软件的流量测量一般通过修改安装于主机上的操作系统的网络接口模 块，使之具有捕获数据包的功能，以实现流量信息的收集和分析。基于软件的流量 测量具有价格便宜，实现灵活，可扩展性强的优点，1 ： _ 是其性能要低于基于硬件的 测量技术。软件测量技术的典型例了是u n i x 下的t c p d u m p 软件，它是基于b e r k e l e y 包过滤器( b p f ) 实现的t c p i p 数据包捕获工具。t c p d u m p 可以将网络中传送的数据包 的包头完全截获下来进行分析。它支持针对网络层、协议、主机和端口的过滤，并 提供与、或、非等逻辑语句实现信息过滤，是目前应用最广泛的软件流量测量工具。 t c p d u m p 在w i n d o w s 操作系统下的变形应用是w i n d u m p ，其功能和使用方法与 t c p d u m p 类似。另一个应用比较普及的流量测量软件是s n i f f e r p r o 。 s n i f f e r p r o 是一 辽宁科技火学硕+ 论文第一章绪论 个功能十分强大的流量测量软件，它能够抓取网络上的所有数据包，可自定义过滤 器，并将收集的数据包分析后转化为图表和报告形式输出，可以很方便地了解网络 状况。 1 3 2 主动v s 被动 流量测量技术的另一种分类方法是按照测量工具是否向被测网络中发送数据进 行划分，分为被动测量和丰动测量两种。 1 3 2 1 被动测量 被动测量只记录可在观测点观察到的数据，而观测点本身不产牛任何数据送入 被测网络中。被动测量是大多数测量工具采用的方法，例如t c p d u m p 和s n i 仃e r p m 等 工具。这种方式可以有效地获取网络中的流量信息，而不会因为测量动作对被测网 络产生影响。被动测量是在网络中的一点收集流量信息，如使用路由器或交互机收 集数据或者一个独立的设备被动地监测网络链路的流量。被动测量可以完全取消附 加流量和h e i s e n b e r g 效应，这些优点使人们更愿意使用被动测量技术。而有些测度 使用被动测量获得相当闲难：如决定分组所经过的路由。但被动测量的优点使得决 定测量之前应该首先考虑被动测量。如果关心的不是完整的i n t e m e t 路由，而是a s 之间的路由，那么能监测两个对等b g p 之间的流量，因为流量中包含全部的a s 之间 的路由信息。被动测量技术遇到的另一个重要问题是目前提出的要求确保隐私和安 全问题。网络流量是采用大小不一的报文传送，收集到的数据可以进行各种流量分 析，如：流量中各种应用的成分、报文的长度分布、报文到达时间、性能和路径长度 等，对这些流量行为的了解能帮助设计下一代互联网设备和体系结构。网络管理员 最感兴趣的被动测量流量是流量的流矩阵，即：有多少流量从一个网络流向另一个 网络的表格，这个信息能有助于优化设计决定。不同的流量粒度矩阵有不同的用处， a s 粒度流量矩阵有助于优化拓扑结构；一个公司或大学网络管理者为了了解各部门 之间流量交换的情况，可以建立系或工作组粒度的流矩阵：国家粒度的流量矩阵有 助于了解各国的开放策略和国际商业前景，美国是世界i m e m e t 流量主要中转国，7 1 的其它国家之间的国际流量经过美国。同时，被动测量还有许多其它应用，包括： i ：宁科技人学硕士论文第一章绪论 识别、刻画和跟踪网页缓冲和代理的优化配置；网络体系结构的安全危害；拥塞控 制算法的有效性；流量增长是由于增加了用户还是每个用户流量的增加；流行协议 和应用使用的变化；新的技术和 办议f 如：组播和i p v 6 ) 的渗透力和影响。以上的被 动测量应用是流量行为研究的丰要内容。有时为了能够从被动收集的数据中提取某 些参数可能需要借助于主动测量。另外，被动测量是应该有尽可能低的丢失率，否 则测量的数据将难以进行精确估计。但随着流量速率的增加，保证不丢失数据变得 越来越困难，一种可行的解决方法是使用网络流量抽样技术，下面将着重讨论被动 测量中抽样技术。随着吉比特以太网的出现和高速网络技术的发展，直接对网络流 量进行全分组测量相当困难，另外，大规模流量数据库的维护、数据分析也相当用 难。在这种情况下，将统计抽样的方法引入流量测量具有十分重要的意义，使用抽 样的方法，不是收集流量的所有报文，而只是选择部分报文。在1 9 9 3 v - ，c l a f f y 进 行n s f n e t 丰干测量时，首次使用网络流量统计抽样技术，研究使用经典的事件和 时间驱动静态抽样方法来减少采集的报文数。j a c kd r o b i s z 等人认为这种静态流量抽 样方法可能会产牛不精确的流量统计资料，考虑了网络流量自相似的特点，对c l a f f y 的静态抽样方法加以改进，发展了一种自适应的抽样方法，这种方法能更好地进行 网络管理及对测量的流量特性进行评估。一种常用的抽样方法是使用固定时间间隔 的抽样：周期抽样。周期抽样简单，但是这种方法具有两方面问题：( 1 ) 如果被测量 的统计量本身具有周期行为，那么周期抽样将可能只能测量到周期行为的一部分。 ( 2 ) 周期抽样的测量行为可能会干扰被测量的对象。另外一种较合理的抽样方法是 “随机附加抽样”：样本之间是相互独立的，抽样间隔是通过一个函数g ( t ) 随机产 生。这种样本抽样的效果取决于分布函数o ( 0 。随机附加抽样具有重要优点，一般 而言，它避免了同步的影响，样本的统计量可以得到个无偏估计。但随机附加抽样 也有一些缺点。首先，由于抽样不是按照固定间隔产生，而傅立叶变换技术是假设 样本间隔固定，所以抽样样本难以进行频域分析。其次，如果g o ) 不是一个指数分 布，样本仍然可能会具有某些可预见性。可以证明，如果g ( t ) 是具有比率x 的指数 分布：g ( 0 = i e x p ( 1 一 ，t ) ，新样本的到达是不可预见的，即样本是无偏的。泊松抽 样不易引起同步，它能精确地进行周期行为的测量，且当新的样本出现时，泊松抽 样的方法不易被预先控制。由于泊松抽样的方法具有如此多的优点，r f c 2 3 3 0 推荐 辽宁科技人学硕十论文第一章绪论 使用泊松抽样的方法进行i n t e r n e t 的流量测量。 1 3 2 2 主动测量 丰动测量则需要发出测量数据包，通过测量数据包在网络中的处理和响应结果 获知网络的流量状态信息，意味着测量过程中产牛新的网络流量。这些流量也许是 为了引起网络部件的特殊响应( 如：t r a c e r o u t e ) ，也许是为了查看网络为流量提供服 务类型的性能( 如：t r e n o ) 。主动测量给网络增加了潜在的荷载负担，特别是如果没 有仔细设计使得该方法产生的流量数最小，那么附加的流量会扰乱网络，歪曲分析 结果。如：为了测量在i p 网络云中瓶颈链路的带宽，定期地向测试路径发送巨大的 下c i d 流量，那么由此产牛的附加流量可能会产牛h e i s e n b e r g 效应，而拥塞通过网络 云到达这点的路径，并且测量的吞吐量低于瓶颈链路的带宽。另外，主动测量至少 要多个网络部件某种形式的参与。如：p i n g 用于估计主机a 到主机b 的r t t 需要主机 响应i c m pe c h o 请求信息。有几种形式的合作己经广泛应用在i n t e m e t 上，如：响 应i c m p 请求和匿名f t p 服务器允许主机a 和服务器之间进行吞吐量测量，可以将这 种合作定义为被动合作。另一种合作方式是主动合作，如果要测量a 至b 路由的对称 性，从b 到a 和从a 至t j b 同样需要进行路由测量，需要b 也要同样主动参加测量。跟踪 和可视化i n t e m e t 拓扑结构是主动测量最主要的应用，c a i d a 最近开发的s k i t t e r 动态 测量工具可用于动态发现和绘制全球i n t e m e t 拓扑。同时主动测量技术可以探测网络 的特定现象，如发现许多i n t e m e t 端至端的延迟分布具有重尾特征。i n t e m e t 的健壮性 和可靠性很大程度取决于i s p 网络有效可靠的路由，i n t e m e t 路由行为的分析直接影 响下一代网络硬件、软件和操作政策。主动测量在其它领域的应用还有：评估i p 地址 空间的利用率，路由的不对称性和不稳定性，按网络地址前缀长度的流量分布，b g p 路由表空间使用效率，单播和组播路由不一致的程度等。主动测量方式是为了弥补 被动测量不能主动探测网络的动态变化的不足而产生的。主动测量具有响应速度 快、适应性强的优点，但是会增加网络的负载，使用时需要注意测量的频度。 1 3 3 在线v e t 离线 按照测量工具对测量结果进行分析的方式进行划分，可以分为在线测量和离线 辽宁科技大学硕十论文第博绪论 测量两种类型。在线测量工具不仅可以实时收集网络流量数据，还可以立即对收集 的数据进行分析，并实时输出分析结果。这对测量工具的能力有很高的要求，一般 只有硬件测量工具才能做到。近年随着个人计算机处理能力的增强，很多软件测量 工具也能做到一定程度的实时分析，例女n s n i f f e r p r o 等。离线测量工具只能将收集到 的流量数据保存下来，在需要的时候进行离线分析。这种方式实现比较简单，流量 数据的收集和分析工作相对独立，有利于进行灵活的结果分析。例如我们可以利用 t c p d u m p s e 具记录下网络中的流量信息，在适当的时候利用保存下来的数据进行各 种分析工作。 1 3 4 局域v s 广域 从流量测量面向的区域对象来看，我们可以将流量测量分为局域测量和广域测 量。局域测量针对局域网进行流量测量，广域测量的目标是广域网络。局域测量的 实现通常比较简单，因为局域网络一般都由一个统一的管理机构进行管理，并且构 建局域网的基础技术一般都比较单一，例如采用以太网技术。因此在局域网中简单 地部署测量设备即可实现流量测量。广域网络的环境比较复杂，其中既包含了各种 不同的基础技术，例如以太网、a t m 、帧中继等，也有可能由不同的机构进行管理， 因此广域测量比较复杂。其复杂性丰要体现在两方面：一方面是收集流量数据比较复 杂，不仅需要考虑获得测量数据的安全性和有效性，还要考虑观测点分布的合理性； 另一方面是流量数据的分析比较复杂，其关键在于如何获得广域网的全局流量信息， 而不仅仅是局部的状况。 1 3 5 单点v s 多点 按测量点的分布可分为：单点测量、多点测量。大部分的网络测量都采用分布 式多点测量。如：n i m i ，r i p e ，n l a n r a m p ，p m a ，s k i t t e r ，i e p m 等都是分布式多点测 量。单点测量在非合作的情形下能发挥巨大的作用，如美国朗讯科技公司b e l l 实验 室的单点测量项目一i n t c m e tm a p p i n g 。 辽宁科技大学硕士论文第章绪论 1 3 6 合作v s 非合作 按与被测网络的关系可分为：合作测量、非合作测量。合作测量对网络运营者 来说能够掌握网络的运行状况、找出瓶颈、业务分布情况等以便有效地管理网络、 充分利用网络资源。非合作测量是指被测网络不愿意被别人测量，测量目的是窥探 对方网络的情况，这在军事上有非常重要的意义。 1 4 网络流量测量与分析的意义 在竞争日益激烈的商业环境中，在获取最大经济利润的驱动下，企业需要最大 限度的节约成本，为用户提供最优质的服务，而随着i n t e m e t 与i n t r a n e t 的飞速发展， 网络日益成为节约成本，增加收入的有效资源。对网络的流量进行测量和分析，掌 握网络流量的分布情况和增长趋势，从而合理规划和利用网络资源，无论对供应商 还是研究人员都具有重要意义。 1 网络规划与优化 通过监测、记录和分析网络的流量，了解不同自治域之间、不同网络之间的流 量分布情况，以及流量的增长趋势，能够优化网络结构，改善网络运行，为如何更 好的规划网络提供依据。例如，如何进行路由设计和负载均担设计，是否需要扩容 链路，需要和谁达成p e e r ，从而以最小的成本换取最大的网络性能、吞吐量利可靠 性。 2 网络应用状况监测与分析 了解网络的应用状况，这对研究者、网络运营商和服务供应商都很重要。通过 网络应用监测，可以了解网络上各种协议( 女h w w w ，p o p 3 ，f l p 等) 以及各种应用的使 用情况，研究者可以据此研究新的协议，网络运营商可以据此更好地规划网络，服 务供应商也可以不断丰富服务内容，提高服务质量，以满足不断增长的用户需求。 比如，网络管理者可以通过h po p e n v i e w 等工具察看某一网段的负荷情况，当某一 网段的负荷过重时，就可以决定在此网段采用更高速的介质或将这一网段划为两个 网段。但是，网络管理者不能够知道哪些应用导致了流量的增长。如果流量的增长 只是因为更多的人在w w w 上浏览，那么在这一网段增加一个代理服务器比把这一网 第章绪论 段一分为二二更好一些。 3 网络用户行为监测与分析 这对于网络运营商来说非常重要，通过监测访问网络的用户的行为，可以了解 到： 某一段时间有多少用户在访问我的网络 访问我的网络最多的用户是哪些 这些用户停留了多长时间 他们来自什么地方 他们到过我的网络的哪些部分 通过这些信息，网络运营商可以更好的为用户提供服务，从而获得更大的收益。 4 网络用户行为监测与分析 通过了解网络上的详细流量情况，尤其是起始地址、终止地址、端口号、流的 起止时间等，可能发现有没有人在扫描网络，或是否在对网络或网络中的某个用户 进行攻击，以便更快的采取措施，更好的保护网络。 5 基于应用的计费 固定租费的形式无论是对网络运营商和服务提供商，还是对一般用户来说，都 不是一个好的选择，随着v o i p ，多媒体视频，数据仓储，客户关系管理，呼叫中心， 物流供给，人力资源管理等各种网络应用的不断增加，固定租费的形式已经不能满 足资费的需要。采取固定租费形式的很大原因就是网络提供者不能够统计全部用户 的准确流量，而通过流量测量与分析，网络运营商则可以采用更为灵活的计费方式， 而且，在许多情况下，网络运营商和应用服务提供商( a s p s ) 可以通过合作为用户提 供更加合理的基于应用的计费方案，比如：基于用户使用网络的时间，基于用户占 用的带宽和流量，基于用户的业务类型和服务质量等。 1 5 流量数据采集分析的现状 在被动测量中用到的采集技术，主要有以下几大类： ( 1 ) s n m p 在已有的网络管理手段中，一类符理思路是基于s n m p n 络箭理协议( s i m p l e 辽宁科技人学硕十论文第、章绪论 n e t w o r km a n a g e m e n tp r o t o c 0 1 ) ，利用s n m p 代理得到各节点的统计信息，对网络状 况进行判断和权衡。 目前，世界上使用最广泛的网管协议是基于t c p i p 协议的s n m p ，该协议简单、 易于实现且具有良好的可扩充性，是工业界事实上的网毹协议标准。在1 9 9 0 年确定 了s n m p 的第一版，r f c l l 5 7 ，到1 9 9 3 年为止，又有一些新的关于s n m p 的r f c 发表， 在1 9 9 6 年确定了r f c l 9 0 5 等作为s n m p 第二版( s n m pv 2 ) ，增加了安全性等在内的一 些功能，该版本在现有设备中的使用最为广泛。1 9 9 9 年，在s n m p 第三版s n m p v 3 ( r f c 2 5 7 1 ) 中，描述了s n m p 网络管理框架的架构，使得协议更加简单，提升了安全 性以及访问控制功能，更便于有s n m p 前两个版本的设备互相访问。在数据获取方 面，s n m p 协议管理进程和代理进程之间的通信可以有两种方式。一种是管理进程 向代理进程发出请求，询问一个具体的参数值( 例如：你产牛了多少个不可达的i c m p 端口) 。另外一种方式是代理进程主动向管理进程报告有某些重要的事件发生( 例如： 一个连接掉线了) 。获取的数据局限于网络设备所固有的管理信息库( m m 库) ，它是 所有代理进程包含的、并且能够被管理进程进行查询和设置的信息的集合。而且显 然，通过m i b 库得到的流量信息数据是统计数据。s n m p 的丰要缺点在于只有统计 信息，没有详细到每个数据包的内容，也没有相似到每个数据流的信息；而且由于 需要轮询，导致公共网中负载增加。显然只能用于从宏观的角度查看网络的整体性 能和状况，不能进一步分析可能的原因和特点。同时这也是它的优点对管理人 员很方便。 ( 2 ) 操作系统底层功能 利用计算机操作系统底层功能实现的网络检测：这种方法中有多个流行的抓包 库可以用于实现，立n l i b n e t ，l i b p c a p ，w i n p c a p ，b p f _ 7 用于u n i x 和w i n d o w s 下的网络数 据包的捕获。而这些抓包库使网络开发人员能够忽略网络底层细节的实现，从而专 注于程序本身具体功能的设计与开发。u n i x 则是通过l i b p c a p 库直接与内核交互，实 现网络截取。l i b p c a p 是u n i x 或l i n u x 从内核捕获网络数据包的必备工具，它是独立 于系统的a p i 接口，为底层网络监控提供了一个可移植的框架，可用于网络统计收 集、安全监控、网络调试等应用。已有的许多工具如s n o r t ，t c p d u m p 等的实现都是基 于l i b p c a p 抓包库。b s dp a c k e t f i l t e r ( b p f ) 截取数据包的机制可以说是各系统中最棒 辽宁科技人学硕士论文第、幸绪论 的截获方式，很多开源嗅探工具就是基于这个机制开发的。它提供了在数据链路层 的原始接口，可以捕获网络上的所有数据包。b p f 的包过滤器表现为一个特别的字 符设备，如d e v f b p f o f d e v t b p f l ，它的过滤机制使得网号驱动在把从网络截取的数据 提交给系统之前，先拷贝一份给b p f ，由b p f 决定是否符合规则，不符合则丢弃， 符合则存放到内存指定区，等待处理。当然，b p f 对网卡驱动交给系统协议栈的数 据包不做任何干涉。w i n p c a p 是w i n 3 2 平台下的数据包捕获及网络分析的基础构架， 包括一个内核级别的包过滤器以及一个独立于系统的函数库。它的包过滤器使得 w i n d o w s 9 5 ，w i n d o w s 9 8 ，w i n d o w s m e ，w i n d o w s n t ，w i n d o w s 2 0 0 0 ，w i n d o w s x p 以及 w i n d o w s 2 0 0 3 u u 在网卡上捕获利发送数据，并把捕获的数据包过滤以及保存在缓冲 中。这种采集技术的缺点是网络设备和主机处理设备承受大量的负载，在菜些拓扑 情况下还造成网络瓶颈的产生。得到的是大量的原始数据，需要进一步的处理才能 用于网路状况及特性的分析。另一方面，这也同时是它的优点，具有每个数据包的 详细信息，能分析到应用层的内容。 ( 3 ) n e t f l o w c i s c o 路由和交换平台中的n e t f l o w 服务可提供内置在快速、最优年w c e f 交换路 径之中的网络数据流统计功能。n e t f l o w 服务可利用网络中数据流创造价值，并可在 最大限度减小对路由器交换机性能的影响的前提下提供详细的数据流统计信息。特 别是作为其交换功能的部分，它能够为企业提供网络的容量规划、趋势分析以及 数据优先级等方面的信息，这些统计信息包括用户、协议、端口和服务类型等。 n e t f l o w 交换可以部署在网络中的任何位置，作为对现有寻径基础设施的扩展。 n e t f l o w 还可对访问列表进行有效的处理，进而实现数据包过滤和安全性服务。 n e t f l o w 数据可被用于多种多样的用途，如网络管理与规划、企业财务、基于利用率 的计费以及针对市场营销目的的数据仓库和数据采集等。 n e t f l o w 的工作原理主要是：n e t f l o w 先记录下初始化i p 包的数据，如i p 协议类 型、服务种类( t o s ) 、接口标识等，然后，为了更有效对数据进行匹配和计数，n e t f l o w 让随后的数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务，如 安全性过滤、q o s 策略、流量策划等。实时数据被存储在n e t f l o w 的缓存中，通过读 取的操作指令就可以重新找回。根据传输u d p 数据包格式的不同，n e t f l o w 有 址宁科技人学硕+ 论文第一章绪论 v 1 v 5 v 7 v 8 和v 9 五个版本，除去少部分内容的不同，基本上包含了从链路层、网 络层、传输层进行分析所需要的所有的信息，如输入输出接口索引号、源目的p 地 址、源目的端口，数据流开始的时间等。采用n e t f l o w 采集技术，第一可以充分利 用己有的网络资源为我们提供足够多的信息，其二减少了在高速大容量网络状况下 数据采集对网络设备的要求。它是介于s n m p 和操作系统底层抓包之间，即利用了 网络设备的计算资源，又能自己_ 丰动计算得到需要的信息。n e t f l o w 技术作为一种 较为新兴的技术，是随着c i s c o 的路由设备应用才开发出来的，现在一些大型的运营 网络开始采用该技术为网络管理提供支持，o h i m e m e t 2 ，h p 利c a i d a 把它用于网络 流量分析和数据收集。因此它可以作为网络长期分析的基础。而在短期分析时需要 考虑到每个数据包的相应特征，因此需要采用操作系统底层的方法来获取数据。 1 6 研究进展 在采集技术方面，s n m p 协议是目前应用最广泛的网管协议，而且也己经发展 到了第三版。它的数据获取由网络设备来完成，但缺点是只能获得统计信息，不能 针对i p 地址以及端口等信息进一步分析。而最为常用的能获得最详细信息的方法是 采用操作系统底层提供的功能，即基于l i b p c a p ，w i n p c a p , b p f 抓包库等，获取每个数 据包的详尽信息，显然的是往j ：丰产牛网络瓶颈或者造成大量的采集流量，影响正常 的网络运行。n e t f l o w 技术由网络设备来采集数据，提供了足够多的信息，并且减少 了在高速大容量网络状况下数据采集对网络设备的要求。由于支持n e t f l o w 技术的设 备厂商越来越多，应用的范围也更加广泛，如在i n t e m e t 2 中也采用了n e t f l o w 从骨干 网上采集数据的采集模式。基于n e t f l o w 的网络数据分析还处于大家都在进行的阶 段，也有了各种各样的结论。 在网络流量特性分析方面，已有的研究着重对关键链路的流量进行监视，提供 各种统计时间的统计图表，如一天( 基本时长为5 分钟) 、一周( 基本时长为3 0 分钟) 、 一月( 基本时长为2 j , 时) 等。通过统计图表来判断网络的运行状况。显然该类手段过 于粗糙，不能判断如总流量不变，数据包数增加等蠕虫病毒的情况。因此可以考虑 在采集代价增加不大的情况下更细一步的研究，如研究长期数据流的特性以及短期 数据包所反映的特性。另一类的研究注重于对网络流量分形特性的研究，如自相似 辽宁科技大学硕士论文第一傅绪论 性、多重分形等特性，缺少与实际网络配合的分析与结论，不能根据网络流量的显 式特征的变化来推断分形特性的改变。本文研究的内容是使用监听技术并使用l i n u x 环境下l i b p c a p 库构建基于n e t f l o w 技术的长期分析网络状况的参数系。其主要任务 是如何基于n e t f l o w ) ) 网络监听技术来构造一个反映整个网络状况的采集系统，以及 基于此分析得到的特性参数，是否反映了网络流量的某些特征或其变化。 1 7 论文的研究工作 当前网络数据采集理论的研究已经相当成熟，同时也有相关的技术实现，例如 在包捕获上有l i b p c a p $ 1 j w i n p c a p 开源函数库。因此，本文的着眼点在于立足于己有 殚论成果基础上，运用当今先进的开源技术实现高质量的网络流量分析系统。该流 量分析系统实现的关键技术有以下几点： 1 研究了流量的采集体系结构，对目前的各种数据采集方式分类并且分析了它们的 特点，得出流量采集系统必须综合各种采集方式，使它们瓦相补充。 2 对“流”的超时时间选择策略进行了一定的研究，使用双层自适应超时策略来设 定“流”的超时时间。 3 使用m y s q l 数据库来存储从数据采集模块中采集到的数据供分析模块进行统计 分析，查询。 4 使用r r d t o o l 技术来实现校园网流量的特征分析以及图形化显示等功能。 5 通过各种流量模型的分析对比，得出在短时间流量预测时采用a r m a 模型的结论。 6 通过和s n o r t 系统的结合以提高系统对异常流量的检测效果。 1 8 论文的章节安排 文章的剩余部分内容安排如下： 第二章论述本论文相关的理论与技术。 第三章网络流量模型的建立。 第四章校园网流量监测分析系统的设计与实现。 第五章结论。 辽宁科技大学硕士论文第一j 章_ 十| = | 天理论与技术 2 1 网络流量理论 2 1 1 网络流量定义 第二章相关理论与技术 网络流量指单位时间内网络中的通信量，是衡量网络运行负荷和状态的重要参 数。进行网络流量管理和控制，是保证网络高效运行、合理地分配网络资源、避免 拥塞和拥塞恢复的有效方法。分组交换网络中的流量管理功能分别位于o r 模型的几 个相关层次中，目的各不相同。数据链路层中的流量符理表现为“流量控制”功能， 一般用“滑动窗口”方法来实现，用于匹配链路两端发送方和接收方的传输速率； 网络层的流量符理表现为“拥塞控制”的功能；传输层流量管理也采用“窗口控制” 的方法，不同之处在于控制的是联网丰机之间的传输流量，避免网络拥塞也是其目 的之一。 2 1 2 网络与网络流 一个通信网络可以用有向带权图来表示，如下图2 1 所示，节点表示路由器或交 换机等网络设备或者子网，有向边表示链路。链路容量可以用边的权值来表示。 辽宁科技大学硕士论文第。章棚荚理论与技术 v 4v 5 图2 1 通讯网络的拓扑结构图 流量管理的理论基础是网络流理论。在广义网络中传送的信息、物质或者能量， 都可以统一视为某种“流”的形式，即网络流。具体到通信网络，网络流指的是信 息流。即时流量反映了该时刻网络中的通信率和网络负荷情况，链路容量表示最大 可以通行网络流的大小。通信网络的流量情况是实时变化的，不仅与某时间段内的 用户请求量有关，而且与路由选择关系非常密切，有时还会受到一些异常情况( 如地 震、故障) 的影响而产生波动或剧变。 需要注意的是，实际应用中存在双向链路的情形。双向链路在拓扑上可以用两 条方向相反的单向链路来表示，这两条链路中的流量是相关的，其和应不大于原双 向链路的容量。 2 ，3 流( f l o w ) 的基本概念 在网络技术中，至少在三个领域用到了“流”( n o w ) 的概念：首先，在资源预约 类协议( 比如r s v p ) 中，“流”用来描述网络流量；其次，在交换技术中，“流”被 看作交换的一个单元；最后，“流”是网络测量与分析中的个重要概念。作为网 络采集测量与统计分析中的“流”，包含以下要素： 4 江宁科技大学硕十论文第一章丰h 美理论与技术 1 方向性。首先，可以把“流”定义为单向的或双向的。面向连接的t c p 流一般是 双向的，从a 至i j b 的流量会引起从b 到a 的流量，至少有确认流。但是，现在网络多 媒体应用一般都是单向的，比如实时音频流或视频流通常采用u d p ，不必对方进行 确认。单向“流”数据利双向“流”数据都很重要，单向数据对路由问题、网络流 量特征的分析等都非常重要，而双向数据对于协议、应用的使用情况的分析更为重 要。从单向数据到双向数据都是可能，所以在网络测量中，一般把“流”定义为单 向的，也就是说从a 至i j b 的流和从b 到a 的“流”被看作两个“流”。 2 端点特性。定义一个“流”，最重要的是要说明流对应的端点( 流的起点和终点) 的 情况和协议使用情况。对于n t ) v 4 ，定义一个流一般需要以下几个方面：( 1 ) 源i p 地址： ( 2 ) 目的i p 地址；( 3 ) 源的端口号；( 4 ) 目的的端e i 号：( 5 ) 协议类型；( 6