信息流量监控技术及其应用.pdf

第3 0 卷第4 期 2 0 1 1 年8 月 飞行器测控学报 J 伽m a Io fS p a c e c r a f t1 T & CT e c h n o l o 留 V 0 1 3 0N o 4 A u g 2 0 1 1 信息流量监控技术及其应用 范斐1 ，赵辉1 ，闫旭1 ，陈 略2 ( 1 北京跟踪与通信技术研究所北京1 0 0 0 9 4 ；2 北京航天飞行控制中心北京1 0 0 0 9 4 ) 摘要：针对试验信息系统在流量监控方面的迫切需求，提出了一种信息流监视分析系统的设计方法。首先对现 有信息流量监视技术及信息流量控制技术进行了介绍，然后对信息流监视分析系统的主要特点、总体设计、应用层 协议、系统功能及系统接入方式进行了详细设计。初步试用情况表明，该系统能实时监视各种应用协议在网络中 的传输情况和应用分布情况，能及时发现并报告网络拥塞情况和违规报文，保障实时任务数据的可靠传输。 关键词：流量监视；流量控制；信息流监视分析系统；网络拥塞；违规报文 中图分类号：T P 3 9 l文献标识码：A文章编号：1 6 7 4 5 6 2 0 ( 2 0 1 1 ) 0 4 一0 0 8 2 一0 4 I n f o r m a t i o nT r a f f i cM o n i t o r i n ga n dC o n t r o lT e c h n o l o g y a n dI t sA p p li c a t i o n F A NF e i l ，Z H A 0H u i l ，Y A NX u l ，C H E NL t i e 2 ( 1 B e 巧i n gI n s t i t u t eo fT r a c k i n ga n dT e l e c o m m u n i c a t i o n sT e c h n o l o g y ，B e 的i n g1 0 0 0 9 4 I 2 B e 订i n gA e r o s p a c ec o n t r o lC e n t e r ，B e 酊i n g1 0 0 0 9 4 ) A b s t r a c t ：T om e e tt h eu r g e n tr e q u i r e m e n t so fe x p e r i m e n t a t i o na n dc o m m u n i c a t i o ns y s t e mf o ri n f o r m a t i o nt r a f f i cc o n t r o I ，ad e s i g nm e t h o di sp r o p o s e di nt h i sp a p e rf o ri n f o r m a t i o nt r a f f i cm o n i t o r i n ga n dc o n t r o ls y s t e m F o l l o w i n gi n t r o d u c t i o no fs t a t u sq u oo ft h ep r e s e n tt e c h n o l o g yo fi n f o r m a t i o nt r a f f i cm o n i t o r i n ga n di n f o r m a t i o nt r a “i cc o n t r o l ， t h ep a p e rp r e s e n t sad e s i g ns o l u t i o nf o ri n f o r m a t i o nt r a f f i cm o n i t o r i n ga n dc o n t r o li nas p e c i a In e t w o r kd e s i g n e df o r r e a l t i m em i s s i o n sa n dt h es o l u t i o ne n c o m p a s s e st h em a i nc h a r a c t e r i s t i c s ，s y s t e ml e v e li d e a ，a p p l i c a t i o nl a y e rp r o t o c o l s ，s y s t e mf u n c t i o n sa n ds y s t e ma c c e s sm o d e s T r i a lo p e r a t i o nt od a t es h o w st h a tt h es y s t e mi sc a p a b l eo fr e a l t i m e m o n i t o r i n go ft r a n s m i s s i o na n da p p l i c a t i o nd i s t r i b u t i o no fv a r i o u sa p p l i c a t i o np r o t o c o l si nt h en e t w o r k ，d i s c o v e r i n g a n dr e p o r t i r l gi nat i m e l ym a 肌e rn e t w o r kc o n g e s t i o na n di l l e g a lp a c k a g e sa n dt oe n s u r er e l i a b l et r a n s m i s s i o no fr e a l t i m em i s s i o nd a t a K e y w o r d s ：T r a f f i cM o n i t o r i n g ；T r a f f i cC o n t f o I ；I n f o r m a t i o nT r a f f i cM o n i t o r i n ga n dc o n t r o lS y s t e m ；N e t w o r kC 0 n g e s t i o n ；I l l e g a lP a c k a g e s O 引言 随着I n t e r n e t 的发展，网络规模与技术也在不 断扩大和发展，各种网络服务层出不穷，用户已不满 足于进行单纯的数据传输，而是要求享受更多种类 型的信息传输和信息共享服务，这就导致了网络流 量不断增大，网络行为也变得越来越复杂 1 。由于 采用I P 技术体制，试验信息系统将逐步成为一个相 对开放的系统，多任务交替进行、参试单位多、网络 庞大复杂，各种各样的业务和信息都在一个公共平 台上运行，为避免出现网络拥塞、状态混乱等问题， 保证系统性能以及系统有序运转，需要一套行之有 效的信息流监视分析与控制手段，这不仅需要在网 络层对信息流量进行粗粒度的监控，而且需要在更 高层( 如应用层) 对信息流进行细粒度的监视分析， 以实现在业务层进行细粒度的信息流控制。 1 信息流量监视技术 ( 1 ) S N M P R M O N 技术 基于简单网络管理协议( S N M P ) 技术的流量分 析是通过S N M P 协议访问内置在网络设备的管理 对象信息库( M I B ) 去获取网络流量信息。主要表现 收稿日期：2 0 1 0 一1 1 2 6 ；修回日期：2 0 1 1 0 1 1 9 第一作者简介：范斐( 1 9 8 5 一) ，士，硕士研究生。助理工程师，研究方向为计算机应用；E - m a i l ：f e i f a n l l l 6 y a h 0 0 c o m c n 万方数据 第4 期范斐，等：信息流量监控技术及其应用 8 3 在：设备端口流量和I P 数据包、I C M P 数据包、T C P 数据包、U D P 数据包和S N M P 数据包的流量 2 。 R M O N ( R e m o t eM o n i t o r i n g ) 是为了监视远程 网络的设备而提出的，管理站通过访问远程的 R M O N 代理获取监视信息。R M O N 实际上是 S N M P 协议在网络远程监视方面的扩展，提供了比 M I BI I 更丰富全面的网络监视和控制信息 2 。 ( 2 ) N e t S t r e a m 技术 N e t s t r e a m 是华为公司基于“流”概念定义的一 种用于路由器( 交换机) 输出网络流量的统计数据的 方法。路由器对通过的I P 数据包进行统计和分析， 并上报给网流采集器，网流采集器把搜集的数据包及 统计数据传送到网流分析器，经合并处理后存人数据 库并进一步分析处理。应用N e t S t r e 锄，可以对网络 中的业务流量情况进行统计和分析，在网络的接入 层、汇聚层、核心层上，都可以部署N e t S t r e a m 。N e t s t r e a m 通过接口索引、源I P 地址、目的I P 地址、源端 口号、目的端口号、协议号和服务类型( 磷) 组成的7 元组确定一个N e t S t r e a m 流，设备根据7 元组信息对 过往的数据包进行N e t s t r e a m 统计【3 。 ( 3 ) N e t F l o w 技术 N e t F l o w 协议由C i s c o 公司开发，是一种实现 网络层高性能交换的技术。N e t F l o w 以流为数据统 计的采集单位，核心是对数据流进行组织与管理，最 终得到按照某种汇聚方法统计的数据，数据中包括 源I P 、目的I P 、源端口、目的端口、传输协议、数据包 数量和字节数等字段，这些字段就是网络流量统计 分析的重要依据。N e t F l o w 技术通过对原始数据进 行抽样和过滤，记录下I P 数据包的特征，通过分析 数据包主要的7 个属性来快速的区分网络中传送的 各种不同类型业务的数据流。对区分出的每个数据 流，N e t F l o w 可以进行单独跟踪和准确计量，记录其 传送方向和目的地等流向特性，统计其起始和结束 时间、服务类型、包含的数据包数量和字节数量等流 量信息。N e t F l o w 可以定期输出采集到的数据流量 和流向信息的原始记录，也可以对原始记录进行自 动汇聚后输出统计结果 4 。 2 信息流量控制技术 ( 1 ) 应用控制网关A C G 目前市场上也有采用应用控制网关( A C G ) 进 行网络流量控制的技术。A C G 串接( 旁路) 在链路 中，能感知、识别网络中各种应用协议和流量。它是 基于应用、用户2 个维度进行交叉组合的流量分析， 目前可识别3o o o 多种应用协议，并提供用户自定 义应用协议的接口。A C G 部署在主干网、园区网出 口或核心交换机上，由A C GM a n a g e r 统一管理、进 行联动。采用A C G 旁路机制，处理延迟不超过 1m s ，对链路流量控制及传输无大的影响。 ( 2 ) S n i f f e r 技术 捕获在网络中传输的数据信息就称为S n i f f i n g ( 窃听) 。S n i f f e r 是一种能将本地网卡状态设成p r o m i s c u o u s ( 混杂) 状态的软件，当网卡处于这种“混 杂”方式时，该网卡具备“广播地址”，它对接收到的 每一帧都产生一个硬件中断，以便提醒操作系统处 理流经该物理媒体上的每一个报文包。S n i f f e r 工 作在网络环境中的底层，它会拦截所有正在网络上 传送的数据，并且通过相应的软件处理，可以实时分 析这些数据的内容，进而分析所处的网络状态和整 体布局引。 ( 3 ) 路由器上的流量控制技术 由于网络流量的突发性，不得不对一些数据包 进行丢弃。通常采用在路由器端保留空间来缓存数 据流，但是这并不能完全避免数据包的丢弃，当队列 占满时仍不得不对数据包进行丢弃。路由器端的拥 塞控制策略主要解决2 个问题：队列管理问题，路 由器端通常用丢弃数据包的方式来维护队列长度， 这样可以降低延迟、提高吞吐量，此外还可以保证对 突发流量的适应性；排队问题，即队列调度问题， 队列调度算法确定下一时刻传送哪些数据包，从而 决定各个流的带宽分配问题 5 。 3 信息流量监控技术在试验信息系统 中的应用 信息流量监控分为基于网络层的流量监控和基 于应用层的流量监控。网络层的流量监控只能获得 网络中报文个数、流量大小、数据包目的地址等信 息，其控制力度小，适用于局部范围的流量分析及调 控。前面介绍的信息流量监控技术( 如S N M P R M ( ) N 技术、N e t S t r e a m 技术、N e t F l o w 技术等) 都 是基于网络层的流量监控技术。而基于应用层的流 量监控则是从应用层的角度对数据流进行比较、判 断，并加以分析统计，使整个网络中应用情况一目了 然，其控制力度大，适用于全局性决策及控制。 本文基于应用层流量监控设计了一套信息流监 视分析系统，下面分别从系统的主要特点、总体设 万方数据 飞行器测控学报第3 0 卷 计、应用层协议、系统功能及系统接入方式5 个方面 进行设计。 3 1主要特点 信息流监视分析系统的主要特点是：跨专业实 现业务层报文的细粒度分析，对网络报文进行应用 层分析，区分各专业及具体业务的信息种类，并进行 流量统计；对应用业务流的具体内容进行更细粒度 的统计分析和合规性检查；进行信息流合规性判定、 应用层解析、取证记录、告警通知和事后分析工作； 由于能分析到应用层，对广播、组播报文进行应用层 数据内容分析，更精确地获得网络信息传输情况；对 网络中各种应用的分布情况进行分析统计，实现精 细分析。 3 2总体设计 基于网络报文内容分析的信息流监视分析系 统，接于通信核心交换机，以旁路方式实时采集本监 视点进出的各专业业务流信息；专业运管系统将各 专业采用的应用协议、信息种类和信息源、目的等信 息发送到综合运管，综合运管系统根据这些信息生 成信息流监视分析规则；信息流监视分析系统根据 接收综合运管设置的监视分析规则对各专业业务流 进行解析，并进行基于内容的统计分析，将统计分析 结果定时发送给综合运管，对判定为违规的信息流 或流量超出阈值等情况进行报警，实时通知综合运 管系统，并对违规业务流内容进行记录、分析和取 证；综合运管信息流统计分析结果和报警信息，通知 相关专业运管和相关业务系统，对违规流进行相应 控制( 如禁断、降低优先级等) ；信息流监测设备负责 对所有的数据信息原始包进行记录和存储，以用于 事后分析。 信息流监视分析系统与综合运管和专业运管的 信息关系如图2 所示。 3 3 应用层协议 试验信息主要包括指挥信息、测控信息、测发信 息、试验文书、管理信息( 运行管理、安全管理信息) 、 事后处理的试验数据以及气象信息等。其中应用层 协议主要包括：基于远程数据交换协议( R D X P ) 的 测发、测控的实时任务数据流；基于远程传输协议 ( R T P ) 的视频、语音数据流；基于文件交换协议 ( F E P ) 的试验文书传输数据流；基于S N M P 协议的 运行管理信息流；基于公共协议的信息流等。 3 4 系统功能 信息流监视分析系统实现对信息流在应用层的 图2 信息流监视分析系统与运管的信息关系 F 嘻2 I l l f o m 吼t i 蚰叫a t i 伽0 ft r a 腼c 删痢t 耐嚷a 硼锄I y s i s 母咖a l l d q 期限t i 加m 跚瞄铲撇t 监视、分析功能，功能结构如图3 所示。 信息流监视分析系统 自定义行为l行为报警日志管理统计报表 数据管理 I - L上 _ L- L- L- L _ L- Lj _ 生统 策行违报报 报 违日日日成计数数 略为规警警 警 规 上上 统报据据 配识校 策对类 报定在上 计 表存转 置别验 略象别管 制 询 报报 导储 储 _ _ 表出 图3 信息流监视分析系统功能结构 F 嘻3F 哪c t i o 眦Is t m c t u 他0 ft 陀f f i cm i t 嘶n ga n da n a l y s i ss y s t e m 主要功能如下： 自定义行为：策略配置即监视分析策略；行为识 别即根据监视分析策略识别网络数据报文；违规校 验即对识别的网络报文进行合规性检查。 行为报警：报警策略即定义报警策略；报警对象 即定义报警对象；报警类别即定义报警类别；违规报 警即对违规情况进行报警，并上报综合运管系统。 日志管理：日志定制即定义日志记录、保存策 略；日志查询即组合式日志查询；日志上报即定义日 志上报内容，并将日志上报综合运管系统。 报表统计：生成统计报表即定义统计报表内容、 种类，根据统计查询、生成统计报表；统计报表导出 万方数据 第4 期范斐，等：信息流量监控技术及其应用 即将统计报表以P D F 、W O R D 、H T M L 等格式 导出。 数据管理：数据存储即定义原始数据报文本地 存储策略，并执行；数据转储即定义本地存储的数据 向外部存储系统转移数据的策略，并执行。 3 5 系统接入方式 信息流监视分析设备采用接入核心交换机镜像 端口的方式，通过交换机的镜像端口获取流经核心 交换机的所有网络报文，主要有以下几种方式。 ( 1 ) 直接接入交换机镜像端口 交换机端口镜像一般采用N ：1 、N ：2 和N ： 3 ，即N 个端口镜像到1 个端口、2 个端口和3 个端 口。C i s c o 的7 系列端口镜像可以做到N ：3 ，镜像 能力为1 0 个千兆端口镜像到1 个万兆端口，其性能 仅受5 的影响，如果采用交换机自带的环路镜像， 镜像端口仅受交换机端口数的限制，交换机性能不 会受到额外影响。 ( 2 ) T a p 设备分流 1 ) 对于镜像端口紧张情况，可在交换机镜像端 口接入T a p 设备，如图4 所示，通过T a p 设备将数 据流发送给相关设备。1 个T a p 设备最多可以分出 4 个流，一般情况应小于3 个。 主十网 核心交换机 图4T a p 接入方式1 n g 4T a pa c o e 鼹M 0 d e1 2 ) 也可将T a p 设备串接到网络中，一个端口保 持原有网络连接，一个端口将信息流导向相关设备， 如图5 所示。 3 6 系统效能分析 该信息流监视分析系统在试验信息系统的某站 点进行了测试安装及初期试用。初步试用情况表 明，该系统性能稳定，实时性和可靠性强，能满足试 验信息系统在流量监视方面的基本需求。该信息流 监视分析系统能在应用层对网络报文进行协议分析 和合规性检查，实时监视各种应用协议在网络中的 主1 二网 图5 T a p 接入方式2 F i 蛋5T a pa c 嘴sM o d e2 传输情况和应用分布情况，并能及时发现、报告网络 拥塞情况和违规报文，保障实时任务数据的可靠传 输，有效提高试验信息网的工作效率。 4 结束语 本文设计的信息流监视分析系统将流量监视技 术与试验信息系统特点相结合，为流量监控在试验 信息系统中的实际应用进行了初步探索，提供了有 益的理论和方法依据。 参考文献 1 壬一飞网络流量测量与控制策略的研究 D 曲阜：曲阜师 范大学，2 0 0 9 ( W a n gY i f e i R e s e a r c ho nN e t w o r kT r a f f i c M e a s u r e m e n ta n dc o n t r o ls t r a t e g y D Q u f u ：Q u f uN o 咖a l U n i v e r s i t y ，2 0 0 9 ) 2 米淑云I P 网络流量监控系统的设计与实现 D 北京：北京 邮电大学，2 0 0 9 ( M is h u y u n D e s i g na n dA p p l i c a t i o no fI P N e t w o r kT m f f i cM o n i