一种网络流量监控系统的设计方案.doc

一种网络流量监控系统的设计方案1 引言随着武警部队指挥信息网的建设，网络结构日趋复杂，各种网络业务也迅猛发展，对网络的可靠性与可用性的依赖程度也越来越高，微小的网络流量变化都可能对网络关键应用造成重大的影响。因此，网络的流量分析尤显重要，直接分析网络实时流量，将具有非常重要的意义。它可以直接指导网络管理员分析网络应用、规划流量；对网络以及网络所承载的各类业务进行及时、准确地流量和流向分析，进而挖掘网络资源潜力；提供立即的安全审计，病毒预警等功能；并为网络规划、优化调整和业务发展提供基础依据。网络监控的基本手段是简单网络管理协议（SNMP），它很好地满足了网元性能监控需要，但在流量方面，只能提供粗糙、简略的流量统计资料。网络探针（sniffer）或是类似的监听工具可以弥补SNMP的缺陷，但它的问题是数据庞大，对CPU、内存等资源消耗过大，难以适应高速网络的要求。Cisco公司于1996年开发的NetFlow技术，现在有很多路由器支持，它利用路由器上提供高层的IP流量统计信息，其特性是通常基于软件架构，对主机间流量的描述精确性接近100%，但问题是当数据包流量很大时，可能会给采集器带来负担。sFlow（RFC 3176）是基于标准的最新网络导出协议，能够解决当前网络管理人员面临的很多问题。可以将sFlow技术嵌入到网络路由器和交换机ASIC芯片中。与使用镜像端口、探针和旁路监测技术的传统网络监视解决方案相比，sFlow能够明显地降低实施费用，同时可以使面向每一个端口的全网络监视解决方案成为可能，其不足是对网络传输流的描述不如NetFlow精确。本方案采用NetFlow与MRTG相结合的方式，构建一个多层次的网络流量监控系统。2 系统结构及功能基于Web方式的网络流量监控系统结构如图2.1所示。按功能分为三层：设备层、数据处理层、Web管理层，用户可以通过Web进行网络信息查询和管理。该网络流量监控系统支持以图形方式或数据表提供实时数据流分析。在数据源上，系统支持通过设定数据流特征，在海量数据中实时滤取特定数据流，数据特征可以是：1、流出或流入指定设备端口的数据。2、源或目的IP地址指定的数据（IP地址、地址范围或网段）。3、IP包内高层协议指定的数据。4、TCP / UDP / RIP / OSPF等等。5、指定高层协议端口的数据。6、Telnet / Http / ICMP / Smtp / Ftp /NetBIOS / SMB等等。7、指定数据包大小的数据。8、在数据的图形输出上，系统支持按时间展开数据流，或按TopN排序方式展示各数据分量的即时比特流、帧流量。9、在数据的表格输出方式上支持将某时刻原始数据进行全面展示，允许在原始数据基础上进行排序、归类、过滤等分析操作。10、系统保留所有原始数据以供事后分析，避免了异常事件转瞬即逝的困境，可以进行“数据回放”分析。SNMP AGENTMIB设备层NetFlow Cisco数据处理层定期采集数据过滤数据归并Web管理层网络状态流量分析业务统计内部IP地址异常报警图形绘制TXT或Oracle数据库图2.1 网络流量监控系统模型该系统支持事件的预警处理，通过事前定义数据滤取规则，即时数据门限，在指定的时间段中，系统不断地实时监测原始数据流，分析数据流，一旦数据门限被触发，系统将提出事件告警，以明确的信息一方面进行屏幕提示，另一方面将警示信息用邮件发送到引发事件的数据源处或网络管理员处。3 系统设计与实现网络流量监控系统分两部分监测网络，并将监测数据送到监控器进行处理和图形显示（如图3.1所示）：1、 利用MRTG工具监测内网服务器的流量。2、 利用内部、边界路由器的NetFlow技术，实现内、外网流量监控。图3.1 网络流量监控过程3.1 MRTG在流量监测中的应用MRTG（Multi Router Traffic Grapher）是一个跨平台的监控网络链路流量负载的工具软件，它利用SNMP协议从设备取得流量统计数据。MRTG利用的是UDP协议的161端口，该端口被设备代理监听，等待接受管理者进程发送的管理信息查询请求消息。MRTG通过MIB管理信息库取回被监视设备的输入或输出流量值信息（如图2.1）。经计算后写入内部的日志文件，并生成反映流量情况的GIF / PNG曲线图及包含流量图的HTML页面。由于MRTG可以监控任意支持SNMP的网络设备，因此使用该工具可以方便地查明设备和网络的性能问题，另外MRTG还可监视主要服务器CPU、DNS、IIS6.0的工作情况.根据日志或图表，还可以帮助进行预测网络。可以预测网络使用的峰值，从而避免网络饱和可能带来的低性能。另外，还可以用来判定使用率高的时间。知道了这一点，就可以把大量数据传送任务安排在避开高峰时刻的时间里。通过数据分析还可以得到网络应用的重要信息，若发现某端口输出量长时间偏高，可能是局域网内建有共享文件或FTP下载。若输入量偏高，则可配合NetFlow监测软件进一步分析，单纯MRTG信息在网络流量增加时不能对网络异常情况准确定位，因此在核心交换机或路由器出口可以使用NetFlow进行监测。3.2 用NetFlow收集网络应用情况和TopN统计NetFlow是Cisco为实现统计流量而开发的功能，现在已经有很多路由器支持。它可以捕获网络设备中经过的每一个IP数据包，进行解包、显示和分析各种网络数据流信息，并定期以UDP数据包的形式发送给流量分析监测器。要在支持NetFlow的路由器或交换机上实现NetFlow，首先要在路由器端设置启用NetFlow，如路由器命令cisco: ip flow export 。这样路由器就会向监测器的2355端口发送UDP包了。在监测器端需要启动一个NetFlow的收集程序，可使用flow-tool程序组，其中包含数种用来收集及统计信息的程序。在NetFlow流量信息捕捉并存储下来之后，便可根据其格式及所要统计的项目进行统计分析。以一天或10分钟为单位统计即时的流量，可针对网段、协议、流入/ 流出的IP网段进行合计或TopN统计，统计结果记录到Oracle数据库中，由Web页面提供可视化的分析结果。针对NetFlow监控数据可以实现自动报警、处理机制，将NetFlow监控软件设置在核心交换机的出口上，可以统计IP、TCP协议通信流量，主机TopN统计结果，可以将排在前几位IP主机先进行隔离，同时观察主机的通信端口来判断是否中病毒或在使用BT下载等占用带宽的服务，可采用E-MAIL方式通知用户，按照具体情况进行杀毒或限制其网络传输速度。4 系统技术指标参数1、 流量统计包括：网络流量统计（流量总数） 、网络利用率 、广播包流量、广播包占有率 、指定包长的数据包数量及占有率 、以柱状图、饼图、和表格显示当前流量最高的TopN IP地址、广播包流量及广播包占有率、最高的TopN IP地址。2、 协议分析包括：（1）二层的协议分布：IP、IPX 、ARP 、NetBEUI协议的字节数、数据包数、及所占百分比数及产生这些流量的对应MAC地址及占的