（计算机应用技术专业论文）基于实测的网络流量模型与应用.pdf

摘要 随着i n t e r n e t 迅猛发展，网络规模e t 趋庞大，网络拓扑结构渐趋复杂，越来越需要一 种新的网络规划和设计手段来提高网络设计的客观性和设计结果的可靠性。网络流量模型 是网络性能分析、网络协议设计、网络规划等的基础。本文根据实际测量的网络流量数据， 利用统计学的方法，建立了一个时间相关的流量模型。 本文首先设计实现了一个网络流量采集系统。系统利用s n m p 从网络设备的m m 库 采集流量信息，并存储到历史数据库。根据采集的网络流量数据，本文建立了一个基于实 测的网络流量模型。模型首先考虑一天中的时刻、星期几等因素对网络流量的影响，利用 双因素方差分析( a n o v a ) ，描述了网络流量中的周期性特征。接着论文对网络流量中除 去周期性特征的分量进行时间相关性分析，并建立了二次自回归模型( a r ( 2 ) ) ，进一步完 善了这个模型。通过实测数据分析，建立的模型有很高的精度。最后，论文介绍了网络流 量模型的应用和分析。利用这个模型，对主干网链路未来一段时间的流量变化趋势进行了 预测，为网络的维护提供了依据。并且，论文还把流量模型和流量采集系统综合起来，设 计了一个网络流量非正常情况检测算法。 关键词：流量模型，s n m p ，方差分析，残差，自相关模型，流量预测 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o f i n t e r a c t ，t h en e t w o r k h a sal a r g e rs i z ea n dm o r e c o m p l e xt o p o l o g y w en e e dan e wm e t h o df o rd e s i g n i n gn e t w o r ki no r d e rt oi n c r e a s et h eo b j e c t i v i t yo f l a y o u ta n d n e t w o r kr e l i a b i l i t y n e t w o r kt r a f f i cm o d e li st h eb a s i so fn e t w o r kp e r f o r m a n c ee v a l u a t i o n ， n e t w o r kp r o t o c o ld e s i g na n dn e t w o r kd e s i g n b a s e do nt r a f f i cd a t ac o l l e c t e df r o mt h en e t w o r k ， t h i sp a p e r p r o p o s e sa t r a f f i cm o d e lc o r r e l a t i v et ot i m es e r i a lu s i n gt h es t a t i s t i c a li n f o r m a t i o n i nt h i s p a p e rw ef i r s td e s i g na n di m p l e m e n tan e t w o r kt r a f f i c d a t ac o l l e c t i n gs y s t e m u s i n g s n m pt h i ss y s t e mq u e r i e st h em 田v a r i a b l e sa te a c hn e t w o r kd e v i c et og e tt h et r a 伍cd a t a t h e s y s t e mp r o c e s s e st h ec o l l e c t e dd a t aa n ds a v e st h e mt oh i s t o r yd a t a b a b e a n dt h e nb a s e do nt h e n e t w o r km e a s u r e m e n tat r a f f i cm o d e li s p r o p o s e d f i r s t l yw ec o n s i d e r t h ei n f l u e n c e so f t i m e o f - d a y , d a y o f - w e e k w i t ht h ea n a l y s i s o fv a r i a n c e ( a n o v a ) as t a t i s t i c a lm o d e li s c o n s t r u c t e dt od e s c r i b et h ep e r i o d i cc h a r a c t e r i z a t i o no fn e t w o r kt r a 位c b u tt h ev a r i a b i l i t yo f t r a f f i cd a t ac m m o tb ep e r f e c te x p l a i n e db yt h ep e r i o d i cc h a r a c t e r i z a t i o n w jf i n dt h a tt h e r e s i d u a l st h a ta r en o t e x p l a i n e db y t h es t a t i s t i c a lm o d e lc o n t a i n s i g n i f i c a n t t i m e - s e r i a l d e p e n d e n c i e s t h e nw e c h a r a c t e r i z et h ea u t o c o r r e l a t i o n so fr e s i d u a l sb y u s i n ga r ( 2 ) m o d e l ，a n d r e f i n et h et r a 历cm o d e l t h ee x p e r i m e n to fn e t w o r km e a s u r e m e n ts h o w st h a tt h et r a 伍cm o d e l h a s h i g h e rp r e c i s i o n t h a ti sd e f i n e d s t r i c t l y f i n a l l yw e d e s c r i b et h e a p p l i c a t i o no f t r a f f i cm o d e l i n t h i sp a p e r w ea p p l yt h et r a m cm o d e lt op r e d i c tt h et r a f f i co ft r u n kl i n ki no n rc a m p u sn e t w o r k t h e f o r e c a s t i n gt r a f f i cg i v e s ar e f e r e n c ef o rn e t w o r k m a n a g e m e n t a s e c o n d a p p l i c a t i o no f t r a f f i c m o d e li st od e t e c tn e t w o r ka b n o r m a lb e h a v i o r t h r o u 曲a p p l y i n gt h et r a f f i cm o d e lt on e t w o r k t r a f f i cd a t ac o l l e c t i n gs y s t e m w e p r e s e n ta l la l g o r i t h mf o rn e t w o r ka b n o r m a lb e h a v i o rd e t e c t i o n i nt h i sp a p e r k e y w o r d s ：t r a f f i cm o d e l ，s n m p , a n o v a ，r e s i d u a l s ，a rm o d e l ，t r a f f i cp r e d i c t i o n 第一章绪论 第一章绪论 互联网的迅速发展，推动了社会信息化进程，奠定了新经济时代信息基础设施， i n t e r n e t 正在改变我们的生活、娱乐工作和学习方式网络决定我们的生存方式，网络 的质量直接影响了社会生活和经济生活的方方面面。随着远程教学在大学的不断开展， 网络正在成为我们学习必不可少的工具。 随着i n t e m e t 迅猛发展，网络规模日趋庞大，网络拓扑结构渐趋复杂，越来越需要 一种新的网络规划和设计手段来提高网络设计的客观性和设计结果的可靠性。降低网 络建设的投资风险。流量模型是网络性能分析和通信网络规划设计的基础，精确的流 量模型对设计高性能网络协议、高效网络拓扑结构、业务量预测、网络规划、拥塞控 制与流量均衡等都有重要的意义。 本章从网络管理的现状入手，简单介绍了网络流量对网络管理的作用和网络流量 模型的研究及应用，并介绍了网络流量的采集，提出了论文的背景和研究内容。 1 1 网络管理 1 1 1 网络管理的发展 在网络发展早期，网络规模非常小，网络管理很简单，管理停留在使用i c m p 和p i n g 的基础上。通常一个或几个系统管理员采用一些临时措旋来完成初期的网络管理工作。随 着网络规模的增大，网络管理者需要知道有关计算机网络的大量信息以进行有效的管理。 为了帮助网络管理者完成这些工作，逐渐出现了网络管理的概念。根据进行网络管理的系 统的能力，网络管理过程通常包括数据收集、数据处理，然后提交给管理者，用于在网络 操作中使用，可能还包括分析数据并提供解决方案，自动处理网络故障等功能。网络管理 系统不仅仅只是完成常规任务，作为发现问题的辅助手段，它可以持续监视网络，产生网 络信息曰志并利用这些信息日志研究和分析网络。 通常，一个计算机网络由许多不同厂家的设备构成，要有效的管理这样一个网络系统， 就要求各个网络设备提供统一的管理接口，即遵循标准的网络管理协议。为了建立一个统 一的公共规范，i n t e m e t 工程任务组( i e t f ) 介入并制定网络管理标准。8 0 年代末，s n m p 被采纳作为一个短期的网络管理解决方案；由于s n m p 的简单性，i n t e m e t 时代得到了蓬 第一章绪论 勃的发展，1 9 9 2 年发布了s n m p v 2 ，以增强s n m p 的安全性等功能，网络管理也进入了标 准化的阶段。 针对网络管理的需求，许多厂商开发了自己的网络管理产品，并有一些产品形成了一 定的规模，占有了大部分的市场。它们采用了标准的网络管理协议，提供了通用的解决方 案，形成了一个网络管理系统平台。目前比较流行的网络管理平台有：s u nn e t m a n a g e r ， h p o p e n v i e w ，m mn e t v i e w ，c i s c o w o r k s 等。 1 1 2 网络管理的功能 i s o 定义了失效管理、配置管理、安全管理、性能管理和计费管理五大网络管理功能 域。 失效管理： 失效管理也称作故障管理，是对计算机网络中的问题或故障进行定位的过程。它包含 发现问题、分离问题，修复问题( 如果有可能) 三个步骤。使用失效管理技术，网络管理 者可以更快的定位和解决问题。 配置管理： 配置管理最主要的作用是它可以增强网络管理者对网络配置的控制。配置管理的目的 是通过定义、收集、管理和使用配置信息，以及对网络资源配置的控制来最佳地维持网络 环境所提供的服务质量。 安全管理： 安全管理是控制对计算机网络中的信息的访问的过程。结合使用用户认证、访问控制、 数据传输、存储的保密与完整性机制，以保障网络管理系统本身的安全。维护系统日志， 使系统的使用和网络对象的修改有据可查。控制对网络资源的访问。 性能管理： 性能管理主要是采集、分析网络对象的性能数据监测网络对象的性能，对网络线路 质量进行分析。同时，统计网络运行状态信息，对网络的使用发展做出评测、估计，为网 络进一步规划与调整提供依据。 计费管理： 计费管理的主要作用是：网络管理者能测量和报告基于个人或团体用户的计费信息， 分配资源并计算用户通过网络传输数据的费用。 塑二兰笪堡 1 。2 网络流量模型和网络管理 网络流量反映了计算机网络的使用情况，通过对网络流量进行统计分析，可以得到正 常情况的流量特征。建立网络流量模型对于网络管理有重要的意义。 1 2 1 网络规划 利用网络流量模型可以对流量趋势进行预测，得到未来一段时间内的流量分布情况。 从长期出发，流量趋势可以作为依掘，更好的规划网络，改善网络的运行。根据流量趋势 图，可以解决有关网络流量的几个问题： f 1 ) 在未来某一个时刻，主干网某个接口的网络流量是多少。 f 2 ) 在什么时候网络流量会超过一个指定的闽值。 f 3 ) 网络捌塞最有可能出现在一天中的那个时刻。 这些问题都对网络的规划有着重要的指导作用。 1 2 2 非正常情况检测 在现在的网络管理系统中，失效管理主要利用网络管理员根据自己的经验设定阈值来 完成，当一个或多个变量超过闽值，就产生报警。正常的网络流量随时间变化很大，对流 量设定一个闽值很不完善，也就是说过小的阈值会导致频繁的错误报警，而过大的阈值可 能当出现问题但不产生报警。一些网络管理产品试图通过设定多个阈值，例如：一天中不 同的时刻设定不同的阈值，来解决这个问题，但是这又大大增加了网络管理员的负担。 利用网络流量模型，可以解决多阈值问题。通过网络模型提取的网络流量特征，可以 对网络的任何时刻提供一个网络流量的参考值，可以把参考值作为阈值进行故障检测。我 们可以把网络流量模型应用到流量的实时采集系统中，对实时监测的流量进行分析，从而 及时发现网络中的问题。 1 3 网络流量的采集 从目前的研究和实现来看，网络流量采集主要有两种方法：一是网络侦听，二是直接 读取m 对象的流量信息。 网络侦听是一种在线数据包过滤统计方法，主要是利用像n a i s n i f f e r 等这样的工具， 3 墅二墅垒一 通过把网卡设置成混杂模式，在网络中侦晰所有数掘包。这种方法只适合对某一个指定的 接口进行侦听。 第二种方法是基于s n m pm i b ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o lm a n a g e m e n t i n f o m l a t i o nb a s e ，简称s n m pm i b ) 的采集方法。利用s n m p 协议通过遍历的方式采集网 络中各个网络设备的m i b 库，把需要的参数存放到数据库中，进行流量的统计。 我们这里采用了利用s n m p 直接从路由器、交换机上读取网络流量参数的方法。从 2 0 0 2 年1 0 月开始我们就利用设计的网络流量采集系统，对南开大学泰达学院的校园网进 行流量统计，作为数据分析的基础。 1 4 课题背景和论文工作 1 4 1 论文研究工作 论文主要对泰达学院网络中的一些接口接收和发送数据的情况建立流量模型。模型的 建立不在使用传统的排队论的方式，丽是根据实际的测量数据，利用统计学的方法进 亍建 模。考虑影响网络使用的时间因素：一天中的时刻、星期几的影响、月份以及节假日等， 根据测试的历史数据采用统计方法建立流量模型。同时考虑到网络通信中的时间相关性， 利用二次回归模型对流量模型进行优化。然后把建立的模型应用于实际测试的数据，对模 型进行评价。 最后本文还对网络模型的应用进行了研究。利用提出的模型，可以对未来的正常流量 进行预测，检测网络中的非正常情况。 1 4 2 网络环境 泰达学院具有良好的网络环境：于兆以太网作为主干网，基本上计算机直接通过交换 机接入校园网，共有网络设备1 5 0 台以上。校园网通过光纤接入教育网和天津市互联网， 通过电信的1 0 m 带宽接入中国公众网。因此，有丰富的网络数据可以采集和分析。泰达学 院网络结构如图1 i 所示。泰达学院校园网的总体结构采用了一个层次化的设计方式，网 络中的交换机分为三个层次，分别是主干网核心交换机、连接各个建筑区域的分布层交换 机和向本地网段提供用户接入的用户接入层交换机。图1 1 的泰达学院网络结构图中只给 出了核心层交换机之间的连接关系。 4 第一章绪论 图i 1 泰达学院网络结构图 s 塑= 里塑里墨篓塑差垫查塑堕窒一 第二章流量采集相关技术的研究 程序语言是软件系统的载体，数据库技术是系统管理信息的支撑，访问网络设备也需 要标准的支持。本章主要介绍了流量采集系统涉及到的相关技术，首先着重介绍了访问网 络设备的简单网络管理协议( s n m p ) ，随后有介绍了j a v a 语言的网络管理包j d m k 和进 行数据库访问的j d b c 技术。 2 1 简单网络管理协议( s n m p ) 简单网络管理协议是一套网络管理协议，该协议基于简单网关监视协议( s g m p ： s i m p l eg a t e w a y m o n i t o rp r o t o c 0 1 ) 。利用s n m p ，一个管理工作站可以远程管理所有支持 这种协议的网络设备，包括监视网络状态、修改网络设备配置、接收网络事件警告等。虽 然s n m p 开始是面向基于口的网络管理，但作为一个工业标准也被成功用于电话网络管 理。 2 1 1s n m p 的起源 1 9 8 6 年管理i n t e r n e t 网策略方向的i n t e r n e t 体系结构委员会l a b ( i n t e r a c ta r c h i t e c t u r e b o a r d ) 领导了工程任务组i e t f ( i n t e r n e t e n g i n e e r i n g t a s kf o r c e ) 分短期和长期任务开发 管理的i n t e m e t 框架结构，i e t f 分成三个组：第一组负责管理主干网的日常操作，他们重 点开发了个管理信息库m i b ( m a n a g e m e n ti n f o r m a t i o nb a s e ) ，第二组负责开发了一个 成为s n m p 的前身即s g m p ( s i m p l eg a t e w a ym o n i t o r i n gp r o t o c 0 1 ) ，后来s g m p 作为s n m p 协议的基础，重点制定了简单网络管理协议。第三组在i s o 的c m i s c m i p 基础上，按照 o s i 的网络管理策略，在t c p i p 上开发了c m o t ( c o m m o nm a n a g e m e n ti n f o r m a t i o n s e r v i c e sa n dp r o t o c o lo v e r t c p i p ) 为将来的网络管理原型提供一个可实现的框架。 s n m p 成为首先在i n t e r n e t 上实现的一种网络管理标准。为此，s n m p 的结构有三个 目标：网络管理功能尽量简化；网络管理协议容易扩充；网络管理结构尽可能独立，与网 络设备无关。s n m p 在1 9 9 0 年正式作为一种可以实施的标准协议，现在，几乎所有的路 由器、交换机等网络设各都支持s n m p 。 6 弗一章流量采集相关技术的研究 2 1 2 网络管理的体系结构 要了解s n m p ，必须先介绍s m l 以及m l b ，因为它们是s n m p 的基础。 s m i 是管理信息结构( s t r u c t u r eo f m a n a g e m e n ti n f o r m a t i o n ) 的英文所写。简单的说， s m i 定义了语法和编码的方法。s m i 实际上是a s n 1 ( a s n 1 是i s o 制定的国际标准， 目的是准确有效的描述通信协议的数据) 和b e r ( b a s i ce n c o d i n gr u l e s ，一种数据编码 标准) 的一个子集。s m i 晚明了如何在m i b 中定义被管对象m o ( m a n a g e d o b j e c t ) 、m o 可以拥有的数据类型和m o 的命名方法。 管理信息库m i b ( m a n a g e m e n t i n f o r m a t i o nb a s e ) 是对于通过网络管理协议可以访问 信息的精确定义。使用一个层次型、结构化的形式，m i b 定义了一个设备可获得的网络 管理信息，网络管理站就是通过读取m m 中对象的值来进行网络监控。管理信息的最基 本元素是被管理对象m o ，它的名称、实现状态、访问级别、数据类型以及代表的物理意 义等都在m i b 中用s m i 定义。每个m i b 对象都有一个名称来标识。在s m i 中，这个名 称以对象标识符o l d ( o b j e c ti d e n t i f i e r ) 来表示。对象标识符相互关联，共同构成一个分 层树型结构，如图2 1 所示。该树是由一个根及与之相连接的许多被标记的节点组成。每 个节点由一个非负整数值和一个简短的文本描述所标识。在这个分层结构里，一个对象的 标识符是由从根出发到对象所在节点的途中经过的一个数字标识序列组成。在图2 1 中， i n t e m e t 对象的标识符就是1 3 6 1 。对象标识符的命名有专门的机构负责，其中每一个r 分 支”都被标记中所示的管理组织所管理。 最初定义了s n m p 管理信息库的第一个版本m b i ，目前已经被m i b i i 所取代， m i b i i 保留了m i b - i 的对象标识符。在m i b - 1 i 中主要定义了1 1 个组的对象，这些组及 涵盖的主要内容分别是： 1 s y s t e m ：关于系统的总体信息； 2 i n t e r f a c e ：关于网络设备上每个特定接口的数据 3 a t ( a d d r e s s t r a n s l a t i o n ) ：描述i n t e r n e t 到s u b n e t 的地址映射； 4 i p ：关于系统中i p 的实现和运行信息； 5 i c m p ：包含了关于实体i c m p 信息的对象； 6 t o p ：关于系统中t c p 实现和运行信息： 7 u d p ：关于系统中u d p 实现和运行信息： 8 e g p ：关于系统中e g p 实现和运行信息： 笙三量鎏曼蒌塞塑苎丝查塑堕塑一 9 c m o t ：由于历史原因而存在，该组没有包含内容 1 0 t r a n s m i s s i o n ：给出关于位于系统接口之f 的特定媒体的信息。 1 1 s n m p ：给出了进入和离j i ：实体的s n m p 错误和包的信息。 图2 1 网络管理的a s n 1 树 在简单介绍了s m l 和m m 之后，我们来了解一下s n m p 的工作原理。s n m p 定义了 一个网络管理的体系框架，这个框架包括：网络管理工作站n m s ( n e t w o r km a n a g e m e n t s t a t i o n ) ，分布在网络管理对象( 设备) 上的代理( a g e n t ) ，描述被管理对象状态的管理 信息库m m 以及代理和管理站间通信协议s n m p ，如图2 2 所示。 r f c l l 5 7 中描述了s n m p 中所用的代理管理站模型。一个s n m p 代理是这样的一个 软件，它能够回答来自s n m p 管理站如网络管理系统的关于m m 中定义信息的各种查询， 一个可以提供m i b 信息给管理站的网络设备都有一个s n m p 代理。代理对来自网络管理 工作站的信息请求和动作请求进行应答，从而管理站就可以获得关于设备的信息；可以修 改、增加或者删除设备的表项：可以设置闽值等等。同时，被管理设备中的代理可以在任 何时候向网络管理工作站报告错误情况，例如阈值越界等，这是基于中断的方式，在s n m p 中，被称为t r a p ( 陷阱) 。 8 第二章流量采集相关技术的研究 设备 图2 , 2s n m p 原理图 代理a g e n t 和网络管理工作站通过标准消息通信，简单网络管理协议s n m p 就是为 此定义的应用协议。s n m p 定义了网管工作站( n m s ) 与网管代理之间的异步请求和响 应通信的规则。包括理解s n m p 操作、s n m p 消息的格式以及如何在应用程序和被管设 备之间通信、交换信息。 s n m p 使用u d p 作为传输层协议，u d p 使用无连接的服务，因此s n m p 不需要依靠 在代理和管理站之间保持连接来传输消息。在s n m p v l 中定义了五中消息类型：( 1 ) g e t r e q u e s t ：( 2 ) g e t r e s p o n s e ；( 3 ) g e t n e x t r e q u e s t ；( 4 ) s e t r e q u e s t ：( 5 ) t r a p 。 管理站使用g e t r e q u e s t 从拥有代理的网络设备中检索信息，s n m p 代理以 g e t r e p o n s e 消息响应g e t r e q u e s t 消息。g e t - r e q u e s t 和g e t - n e x t _ r e q u e s t 组合起来使用 可以获得一个表中的对象。g e t r e q u e s t 取回一个特定对象；而使用g e t n e x t - r e q u e s t 则 请求表中的下一个对象。使用s e t r e q u e s t 可以对个设备中的参数进行远程配置。s n m p 陷阱( t r a p ) 是s n m p 代理发送给工作站的非请求消息，这些消息通知管理站发生了 个特定的事件。 s n m p 也有一些安全机制，s n m p v l 和s n m p v 2 的安全措施是在团体成员中用口令 来鉴别身份。位于网络设备中的s n m p 代理可以要求s n m p 管理站和每个消息起发送 9 粥一节搋鱼米粜利犬玟不1 1 3 1 ，l 个特殊的口令，s n m p 代理然后将认证管理站是否被授权访问m i b 信息。这个口令被 成为s n m p 团体字符串。s n m p 通过m l b 视图和访问模式的组合实现了访问控制。m i b 视图是m 毋的子集( 这个子集不需要属于m i b 的同一个子树) 。访问模式包括两种：只 读( r e a d 。o n l y ) 和读写( r e a d w r i t e ) 。一个团体同一个m i b 视图和一种访问模式 联系起来，也就是说，不同的团体对应不同的访问级别，从而实现了访问控制。为了增强 s n m p 的安全性，在s n m p v 3 中采用了鉴别和数据加密的方法。 s n m p 代理和管理站之间按照s n m p 消息的形式交换消息，每一个消息包括个指 明s n m p 版本的版本号，一个用于安全性的团体名字，以及5 种协议数据单元( p d u ) 中的一种，图2 3 描述了这种结构。限于篇幅在这里不在介绍s n m pp d u 的细节，具体 内容请见参考文献【4 】。 2 1 3s n m p 与流量采集 s n w i p 协议可以用于采集网络流量数据。一方面在网络设备支持的m i b 中，有一些 和网络流量相关的参数。例如在m i b 的i n t e r f a c e 组中的i f l n o e t e t s ，i f o u t o c t e t s ，分别表 示了接口接收和发送的字节数。 另一方面，s n m p 协议已经成为业界的统一标准，得到了广泛的支持，流量采集系统 1 0 第一章流量采集相关技术的研究 将s n m p 作为了数据传输方式。 2 2j d m k j d m k ( j a v ad y n a m i cm a n a g e m e n tk i t ) 是一个基于j a v a 技术的解决方案，用于创 建管理智能并将其分布到网络资源中。它允许创建基于j a v a 的“智能代理”，这些“智 能代理”的智能足以跟得上网络的动态变化。通过将管理智能植入设备中，代理可以独立 于管理器来执行任务。其结果是：更快和更有效地解决问题、降低网络流量、减少人工干 预，并更有效地管理网络。 j d m k 是j a v a 系列的一个部分，建立在j m x ( j a v am a n a g e m e n te x t e n s i o n s ) 架构之 上，并与该架构兼容。j m x 是通过j c p ( j a v ac o m m u n i t y p r o c e s s ，是制定j a v a 标准的机 构，由业界厂商所组成) 过程推动的一个业界标准。 j d m k 具有很多的特点： 动态：j d m k 允许开发人员即时向其管理的资源中增加新服务； 协议独立性：j d m k 并不限制用户仅使用某一种协议，而是为用户提供了支持 s n m p 、h t t p 、r m i 等多种协议的灵活性； 建立在j m x 标准之上； 创建的“智能”代理不必接受管理器的指令，即可自行执行命令。 j d m k 是一个j a v a 开发包，其主要功能是： ( 1 ) s n m p 的存取： j a v ad y n a m i c m a n a g e m e n tk i t 完全支持s n m pv l 和v 2 ，并实施了s n m p v 3 的 很多内容。一个代理可以对来自任一版s n m p 的多个请求做出响应。 ( 2 ) 简化了设备、智能代理与远程管理器的设计与开发： j m x 结构使管理系统的各个部分实现了标准化。设备、代理和管理器这三个层次 是分开的，其互动活动通过a p i 来定义。这使得进行模块化开发和对各个层次 进行单独开发和实施成为可能。另外，对组件的再利用也是可能的：为某一个j m x 代理开发的服务可以在所有j m x 代理中使用。在所有这三个层次上，模块化都 意味着可以快速实施简单的设计，然后在需要时添加额外功能。 ( 3 ) 通过协议独立性和s n m p 兼容性实现的部署灵活性： m b e a n ( m a n a g e d b e a n ，在j m x 中m b e a n 代表一个被管理的瓷源实例) 、代理和 辩：帝流量采浆卡f 关技术的 i j f 管理器的设计对代理用来与外部应用程序进行通讯的协议没有任何依赖性。同 m b e a n s 的所有交互都必须山m b e a n 服务器处理，从而必须由j m x 的a p i 定 义。由于m b e a i l s 和代理都是独立于协议的，所以可以通过任意多个协议同时访 问它们。连接器服务器和协议适配器可以处理多个连接，这样，对于某个代理将 要响应的每个协议，该代理都只需要使用其中的一个连接 在流量采集系统中，只是利用j d m k 的s n m p 工具套件，有关j m x 和j d m k 洋细的 资料请参阅参考文献 6 和参考文献 7 】。 2 3j a v a 语言的j d b c j a v a 是s u n t m 公司推出的面向对象编程语言。j a v a 语言具有简单、面向对象、分布 式、健壮、结构中立、可移植性、高性能、多线程和动态等特点。限于篇幅，这里只介绍 用于进行数据库连接的j d b c 。 j d b c ( j a v ad a t a b a s ec o n n e c t i v i t y ) 是s u n 公司开发的j a v a 语言数据库应用程序开 发接口。从j d k l 1 发布开始，j d b c a p i ( a p p l i c a t i o n p r o g r a m i n t e r f a c e ，简称a p i ) 成为 j a v a 语言的标准部件。类似m i c r o s o f t t m 公司的o d b c ，它是一种用来在数据库管理系统 ( d b m s ) 中存取数据的标准应用程序接口。j d b c 给数据库应用开发人员、数据库前台 工具开发人员提供了一种标准的应用程序设计接口，使开发人员可以用纯j a v a 语言编写 完整的数据库应用程序。通过j d b ca p i ，应用程序可以存取多种不同数据库管理系统 ( d b m s ) 中的数据，而不论每个d b m s 使用了何种数据存储格式和编程接口。简单的 说，j d b c 主要包括 ( 1 ) 同一个数据库建立连接： ( 2 ) 向数据库发送s q l 语句； ( 3 ) 处理数据库返回的结果； ( 4 ) 关闭数据库的连接。 j d b c a p i 中有两层接口：应用程序层，开发人员用a p i 通过s q l 调用数据库和取得 结果；驱动程序层，处理与具体驱动程序版本的所有通信。每个j d b c 应用程序( 或小程 序) 至少要有一个j d b c 驱动程序，而每个驱动程序是针对一种d b m s 的。j d b c 的总体 结构如图2 4 所示。 第二章流量采集相关技术的研究 f j a v aa p p l e t j a v a a p p l i c a t i o n i j d b c l j d b cd r i v e rm a n a g e r 图2 4j d b c 的总体结构如图 从图2 4 中可以看到完成一个基于j d b c 的应用需要一组层次结构的软件产品，包括 j d b ca p i ，j d b cd r i v e r m a n a g e r 和针对某一特定数据库的d r i v e r 。j d b ca p i 是一系列抽 象的接口，它使得应用程序能够进行数据库连接，执行s q l 语句，并且得到返回结果。 j d b cd r i v e rm a n a g e r 是j d b c 管理层，负责建立应用程序与d r i v e r 之间的联系，它能够 根据应用程序中所提供的信息自动选择不同的d r i v e r ，j a v ad r i v e r a p i 是面向驱动程序开 发商的编程接口，支持着j d b cd r i v e r m a n a g e r 和数据库d r i v e r 的通信。用户应用程序与 某一个数据库系统之间的最终连接是靠d r i v e r 来完成的。特定的d r i v e r 与特定的数据库 建立联系，并将应用程序中的相关s q l 语句转换成那个数据库管理系统所能理解的形式， 以完成对数据库的操作，并将结果返回给应用程序。 第三章流量采蝮系统的啦计和实现 第三章流量采集系统的设计和实现 网络流量数据采集系统利用s n m p 力、议从交换机、路由器等网络设备上提取网络流量 数据，根据用户指定的时间( 例如：5 分钟，1 0 分钟等) 对这些数据进行整理、统计， 最后把网络流量信息存储到历史数据库中。 本章主要介绍了网络流量采集系统的设计和实现。 3 1 采集变量的选取 在m i b 库的众多变量中，系统选用了接口组( i n t e r f a c e ) 的变量来采集网络流量信息， 采集的接口组参数如下： i f l n o c t e t s ：接口接收的字节数，指该接口接收的总字节数计数器。 i f o u t o c t e t s ：接口发送的字节数，指该接口发送的总字节数计数器。 i f o p e r s t a t u s ：接口的状态，指接口是否正常运行。 i f s p e e d ：接口当前收发数据库的带宽。 通过这些参数可以计算带宽利用率和数据传输速率( b p s ) ： 接口带宽利用率：u = m a x ( a i f l n o c t e t s ，a i f o u t o c t e t s ) + 8 1 a t b i n d w i d t h + 1 0 0 接口接收字节的速率：毛= 归z o c t e t s + 8 ，出 就口发送字节的速率：l 。，= a i f o u t o c t e t s + 8 ，出 由于网络环境中的网络设备以交换机( 包括三层交换机) 为主而交换机接口不对p 及以上协议进行分析，所以m i b 库中口以及上层协议的相关变量对于交换机没有什么实 际的意义。系统利用接口组的这几个变量就可以统计网络中各个线路的流量状况。 3 2 流量采集系统基本设计概念和处理流程 网络流量采集系统利用s n m p 协议从交换机、路由器等网络设备上提取网络流量数据， 获取整个网络的流量分布情况。系统对这些数据进行整理、统计，并存储到数据库中，向 用户提供流量的历史趋势图。整个系统的结构图如图3 1 所示。 1 4 矩三章流量采集系统的i 5 计和实现 幽3 1 流量采集系统结构图 整个系统由后台数掘库，数据提取，客户端三部分组成： 后台数据库：数据中心，设备的实时流量数据、历史数据，设备的基本信息都存储到 数据库中。 数据提取：利用轮询的方式访问各个网络设备，通过s n m p 协议提取接口组中选取参 数的变量值。负责维护需要采集流量的设备列表，把从设备中获取的流量数据存储到数据 库，并且把这些数据按用户设定的要求整理到历史数据库中去。用户可以在这个部分配鼍 需要整理的历史数据库，设备轮询的时间间隔等内容。 客户端：通过提取数据库中的数据，计算被监测网络设备各个端口的流量趋势并进行 显示。 3 3 基于s n m p 的流量采集系统的实现 整个系统用j a v a 应用程序( a p p l i c a t i o n ) 实现，程序与具体的操作系统无关，可移植 性好。客户端程序实现比较简单，接下来只简单的描述一下数据提取部分的实现。 数据提取利用轮询的方式从各个网络设备中利用s n m p 提取端1 3 的流量数据，为了保 证在最短的时间内完成对各个设备的访问，采用j a v a 的多线程技术并发执行轮询操作。如 果采用单线程进行处理，系统发出s n m p 请求到设备返回结果这段时间内只能等待，导致 轮询一遍全部设备所需要的时问大大增加，所以系统为每个需要访问的设备创建一个线 程，并发的对这些设备进行流量数据的采集。 第三章流量采集系统的设计和实现 数据提取模块添加一个没备并对其进行流量采集的数据处理流程如图3 2 。 添加一个要髓视的 设备或特殊接u 制。扩操p 线程结柬 成功对设蔷韧 始化? 是 视设? 、至+ l 线程聂 土! 提取设备的流 量数据 接理数据并 且保存到数 据库 线程睡眠直判 下次应 寰轮询设 备 图3 2 流量采集采集系统数据处理流程图 利用j a v a 语言面向对象的特点，系统对各个功能模块进行了抽象和封装，创建了相应 的类。模块中的主要类及其关系图如图3 3 所示，主要类实现功能如下： 1 、m a i f r a m e 类： 提供用户界面，通过界面提供的接口用户可以对设备进行增删改等操作。此类也是 一个线程管理类，管理对设备进行监视和端口监视线程的链表，控制线程的启动和 停止等。 2 、s w i t c h 类： 是对一个网络设备的抽象，其对象实例代表一个网络设备，可以通过s n m p 从实际 的设备中获取流量数据。 3 、d b c o n n 类： 数据库访问类，完成对数据库的操作。 4 、h i s t o r y t h r e a d 类： 历史数据整理线程，把实时流量数据整理到历史数据库。 望黧靴 一创视一 一对 第三争流量采集系统的世汁和实现 5 、d b l l i s t o r y 类： 历史数据库操作类。 6 、m o n t h r e a d 类： 设备监视线程，定期的对设备进行轮询。对刚络中每一个需要采集的设备都对应一 个此类的实例，实现对设备的并发访问。 图3 3 流量采集系统主要类之间的关系图 限于篇幅，各个类的具体实现将不再详细描述。 流量采集系统的编译环境是j a v a t m2s d k ，s t a n d a r de d i t i o nv 1 3 ，数据库系统是 m y s q l 数据库。 3 4 流量采集系统的性能分析 流量采集系统在泰达学院校园网环境中进行测试，可以同时对网络中的中5 0 多台交 换机( 大约2 5 0 0 多个接口) 进行数据采集，采集的频率最小可以到1 0 秒。根据用用户的 设置，采集的数据可以按1 0 分，3 0 分，6 0 分等间隔整理到历史数据库。系统从2 0 0 2 年 1 0 月开始一直对泰达学院的校园网流量进行采集，运行良好。 数据提取管理站通过轮询的方式查询网络设备的流量数据，查询的频率是一个需要考 虑的问题。查询的时间间隔太大，流量采集系统不会观察到网络流量的细微变化；但是如 果时问间隔太小由采集流量信息引起的网络流量就会增大，又增加7 l g 络的负担。流量采 集的频率和网络的规模，网络带宽以及查询的数据量大小等因素都有很大的关系。下面就 l ， 第二章流量采集系统的设计和实现 根据在泰达学院校园网中测试的一些数据，对系统查询设备所需要的时问和数据量的大小 进行说明。 3 4 1 查询网络设各需要的时间 下面表3 1 显示的是处理一个网络设备所需时问的测试结果，由于需要获取设备所有 接口的流量信息，所以随着设备接口数