整理H3C网络流量分析解决方案

1、方案背景随着网络的应用越来越广泛,规模也随之日渐增长,网络中承载的业务也越来越丰富.企业需要及时的了解到网络中承载的业务,及时的掌握网络流量特征,以便使网络带宽配置最优化,及时解决网络性能问题.目前企业在治理网络当中普遍遭遇到了如下的问题：1、 网络的可视性：网络利用率如何什么样的程序在网络中运行主要用户有哪些网络中是否产生异常流量有没有长期的趋势数据用作网络带宽规划2、 应用的可视性：当前网内有哪些应用分别产生了多少流量网络中应用使用的模式是什么企业内部重要应用执行状况如何3、 用户使用网络模式的可视性：哪些用户产生的流量最多哪些效劳器接收的流量最多哪些会话产生了流量分别使用了哪些应用从这些

2、企业治理网络中所经常遇到的问题来看,需要有一种解决方案能让网络治理人员及时了解到详细的网络使用情形,使网络治理人员及时洞察网络运行状况、及时了解网内应用的执行情况.为了应对企业网络治理中的这些问题,于是,H3c公司的NTA(NetworkTrafficAnalysis)解决方案应运而生！所谓的工欲善其事,必先利其器,NTA解决方案可以帮助网络治理人员了解企业内部网络之运行状况,及时发现并解决网络中的性能瓶颈问题、网络异常现象,也能方便用户进行网络优化、网络设备投资、网络带宽优化等的参考,并方便网络治理员及时解决网络异常问题.NetStream技术介绍在理解NetworkTrafficAnaly

3、sis念,它们是该解决方案的根底.解决方案之前,首先需要了解NetStream的一些根本概“流概念NetStream的流定义为：由源到目的方向的一系列单向的数据包.NetStream流是通过7元组来标识的,即通过接口索引、源IP地址、目的IP地址、源端口号、目的端口号、协议号和ToS组成的七元组确定一个NetStream流,设备根据七元组信息对过往的数据包进行NetStream统计.卜图中就包括四条流:从ClientA到WWWServe防向通信时产生的流;从WWWServedClientA方向通信时产生的流；从ClientB至UFTPServer方向通信时产生的流；从FTPServer到Cli

4、entB方向通信时产生的流；图1网络中流的举例说明从上例中可以很容易地理解,流是单向的,同时流也是基于协议的.形象地说,通过NetStream流可以记录下来网络中whowhat、whenwhere、how.NetStream技术NetStream是H3c公司基于“流的概念,定义了一种用于路由器/交换机输出网络流量的统计数据的方法,路由器/交换机对通过其的IP数据包进行统计和分析,并上报给网流采集器,网流采集器把搜集的数据包及统计数据传送到网流分析器,经合并处理后存入数据库,并进行进一步的分析处理.NetStream技术可利用网络中数据流创造价值,并可在最大限度减小对路由器/交换机性能影响的前提

5、下提供详细的数据流统计信息.NTA解决方案介绍NTAK统组成NetworkTrafficAnalysis解决方案包括：网流采样设备(NetTrafficExporter)、网流流采集设备(NetTrafficCollector)、数据分析处理设备(NetTrafficProcessor),三个设备之间的关系如下列图所示：图2NetworkTrafficAnalyze各组成局部的关系NTE负责流量的采集和发送,NTC设备负责收集和存储NTE发来的流量统计数据信息；NTP从数据库中获取收集到的数据,经分析加工后以直观的图表、报表等方式为网络规划、网络优化、网络监控、流量趋势分析、异常检测等提供直接

6、的数据依据.1) NetTrafficExporter提供NetStream技术接口的网络设备H3c公司的路由器和交换机及华为公司的路由器,负责对设备各个端口进出的网络报文进行流分类统计,然后打包输出.2) NetTrafficCollectorNTC可以采集多个NTE设备输出的数据,对数据进行过滤和聚合,并将数据存储在数据库中供分析处理.3) NetTrafficProcessorNTP是一个网络流量的分析工具,对采集来的流量数据进行分析处理.为便于网络治理人员的操作,采用基于亚3彤式访问,提供直观的、图形化的治理界面,所有数据输出都以友好的形式直接在Web页面中显示.NTE设备功能作为支持

7、NetStream的网络设备,首先需要翻开网络设备的侦听端口,然后配置将NetStream日志要发送到哪个IP的哪个端口即NTC设备的监听端口.这样,设备就会把NetStream日志以UDPM的形式发往NTC而NTCW可从侦听端口源源不断的接收NetStream日志.NTC设备功能NetStream日志被NTC备采集到之后,将会做聚合处理,这样可减少最终存入数据库的的数据量,并提升了分析的效率；同时,NTC设备也会对存入数据库的数据作进一步的统计处理,以便快速产生各类分析报表.NT啾备功能NTP寸NTC生成的所有数据进行分析,对数据进行二次聚合、统计分析,分析的结果以非常直观的图表、表格等形式

8、展示给用户,通过这些分析结果,用户可以监控网络使用状况、应用使用状况、用户网络访问行为,并可监控到流量异常状况以便用户进一步做分析.报表功能用户可根据统计分析的需求,自定义报表生成规那么,由报表引擎生成报表,并将统计分析的结果以饼图、曲线图、统计信息表格等直观的形态展示出来.当前实现的报表功能列表和简要说明如下：功能类别功能工程功能说明配置功能设备接口自动识别对指定的设备设备IP地址、团体字,自动发现其各种接口设备物理端口的流量统计对指定的设备的物理端口流量通过SNMFPT式进行统计接口组设置对自动发现的接口按组进行分类,并按组进行统计设置应用聚合策略设置统计实时性系统参数设置设置TopN的N

9、值大小,数据保存时间,以及磁盘使用方面的信息应用治理设置修改预先定义好的网络应用的端口号和协议号,以及新增未知网络应用的端口号和协议号分析功能设备接口流量统计显示设备各个接口的流量值和接口的带宽占用率基于接口的流量分布指定设备、接口和时间段,显示其流量在这段时间的趋势图基于接口的应用分布指定设备、接口和时间段,显示其各种应用TopN流量在一段时间的趋势图和比例基于接口的源IPTopN指定设备、接口和时间段,显示其流量排名靠前的TopN源IP地址以及流量值和占用流量的比例基于接口的目的IPTopN指定设备、接口和时间段,显示其流量排名靠前的TopN目的IP地址以及流量值和占用流量的比例基于接口的

10、会话TopN指定设备、接口和时间段,显示其流量排名靠前的TopN源和目的IP会话以及流量值和占用流量的比例基于接口的应用相关TopN源IP和目的IP列表指定设备、接口,在应用流量趋势图中,查看指定应用的TopN源IP地址和TopN目的IP地址基于接口的TopN源IP相关的应用TopN列表和会话TopN目的IP列表指定设备、接口,在源IPTopN列表中,查看指定源IP地址的应用TopN排名和会话TopN的目的IP地址基于接口的TopN目的IP相关的应用TopN列表和会话TopN源IP列表指定设备、接口,在目的IPTopN列表中,查看指定目的IP地址的应用TopN排名和会话TopN的源IP地址基于

11、接口的TopN会话相关的应用明细指定设备、接口,在会话TopN列表中,查看其会话的应用明细列表一流量值和所占比例支持周期报表提供网流周期性每小时、每日、每周、每月状态的综合报表,提供直观的网流状态展示.支持即时报表提供网流当前状态最近一小时的综合报表,提供准实时的网络流量展示.报表展示目前对于NetStreamV5日志,NTP提供以下统计分析报表:1、流量统计报表-给出一段时间内入出流量的趋势图,以及按入出流量统计总流量、最大速率、最小速率、平均速率,并给出流量明细信息：图3流量统计报表2、应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图.图4应用统计报表3、应用明细报表-给出应用统

12、计报表中某个应用的明细信息,包含该应用的趋势、使用该应用源节点以及目的节点应用统计报表-给出一段时间内流入、流出的各种应用以及趋势图.图5应用明细报表以饼图的形4、来源统计报表-给出一段时间内,作为源IP的各个节点产生的流量的信息.式展示,并给出产生流量最多的节点：图6来源统计报表top图7来源明细报表以饼6、目的统计报表-给出一段时间内,作为目的IP的各个节点接收的流量的统计信息.图的形式展示,并给出接收流量最多的节点top图8目的统计报表7、目的明细报表-给出目的统计报表中某个节点的明细信息.并给出与目的节点通信的目的节点以及与目的点通信的top应用图9目的明细报表TOP列表8、会话统计报

13、表-给出会话节点流量TOP分布图,以及会话节点流量图10会话统计报表9、会话明细报表一一给出会话统计报表中,某对IP之间在一段时间内产生的流量的趋势,并给出这对IP之间通信所使用的应用图ii会话明细报表DIG采集设备针对一些不支持NetStream技术的网络设备,H3c公司还提供了一种DIG采集设备,只要网络设备支持端口镜像,DIG采集设备能直接从镜像端口收集网络流量信息,并形成DIG日志提供给NTC/NTRS行流量分析.DIG日志DIG日志又称为探针日志,是由探针型采集器即XLogDIG日志探针组件直接从交换机的镜像端口、共享式HU豉分流器中采集用户上网信息,并对访问网络的数据包进行分类统计

14、而生成的日志记录.目前,DIG日志的版本是1.0,DIG1.0日志记录包含以下内容:开始时间结束时间源IP地址目的IP地址源端口号目的端口号协议类型目前区分TCRUDPICMP三种协议输入包个数输出包个数输入字节数输出字节数DIG采集设备DIG日志采集器所需要做的工作是把流经设备端口的数据报文中,根据DIG日志的数据格式对数据报文进行过滤和统计,最终形成DIG日志输出.DIG采集器有以下几种方式对网络设备端口的数据报文进行采集：1、从镜像端口采集对于支持镜像端口的交换机、路由器设备,可以将镜像端口直接同DIG日志探针组件的采集网卡相连,实现数据采集.此类采集方式,需要设置设备镜像端口,保证镜像

15、端口和采集网卡的类型匹配、带宽匹配.2、 分流器采集在设备不支持镜像端口的情况下,为了不影响设备性能,比拟专业的采集方案是采用分流器,从设备端口接收网络数据报文.此方案通常应用于光纤链路,价格高昂.3、 共享式HU琳集对于不支持端口镜像的设备,且需要监控的端口带宽小于100M的情况下,可以使用共享式HUB现对端口数据的采集.但这种方式很容易引起网络单点故障,不推荐使用.DIG日志探针组件对采集到的原始网络报文进行实时处理,需要对报文进行过滤处理,也就是说根据过滤规那么,要过滤掉一些不希望继续处理的报文；然后可进行聚合处理,即根据预置聚合条件将多条报文聚合成一条,这样就减少了后续处理以及归档的日

16、志数据量.聚合之后,DIG日志探针组件将会形成DIG日志,并将DIG日志发送给NTC/NTPS行处理.NTA解决方案的典型组网利用NetStream日志,NTA提供了一种网络监测、分析的方式,直接从支持NetStream功能的路由器和交换机中收集流量信息,可以灵活启动不同层面接入层、会聚层、核心层的网络设备进行NetStream流量日志收集,并将收集的内容以NetStream格式的日志输出给NTC/NTP设备进行分析.用户使用NTA的分析功能,可以做网络使用状况监控、用户行为追踪、异常流量检测等,并且基于功能丰富的报表,用户可以做网络规划方面的决策.NetStream日志可以开启在路由器中、会

17、聚层/核心层交换机中.图12NTA解决方案典型组网NTA的应用场景NetStream技术定义了一种路由器/交换机向治理系统输出流量数据的方法,通过采集和分析流量数据,并将流量数据与治理限制台中的其他网络和应用性能指标建立关系,对网络运行状态进行治理.NetStream技术的IP网络流量数据报文中包含许多有价值的流量统计数据,这些流信息充分揭示了有关网络使用的“4W问题：Who谁IP使用了网络?What:网络流量的类型是什么?When在什么时间使用网络,使用了多长时间?Where!：网络流量流向何处?利用NTA网流分析系统对这些数据进行统计分析,就能从中提取出网络流量特征,从而为网络治理员提供一

18、张丰富而详尽的网络利用视图.网络优化通过NTA解决方案,可以使网络治理员及时掌握网络负载状况,网内应用资源使用情况,尽早发现网络结构的不合理,或是网络性能瓶颈,尽快作出网络优化方面的决断,使网络带宽分配最优化,为用户提供高品质的网络效劳,并且防止了网络带宽和效劳器瓶颈问题.图13网络优化的应用场景网络规划参考利用NetStream流日志以及NTA长期监控网络带宽而形成的各类趋势报表,有助于网络治理员跟踪和预测网络链路流量的增长,从而能有效的规划网络升级例如,增加路由效劳、端口或使用更高带宽的接口.图14网络规划参考应用场景1.1 WANf量监测对于一个企业来说,WAN?宽通常是有PM的,如果W

19、AN1路上的流量增大,通常企业的做法就是进行投资以升级WAN1路,但是如果企业能掌握WANf量的特征,制定相应的策略比方QoS和针对源或目的IP地址作流限制,就能使WAN?宽得到最合理最充分的使用,防止进行不必要的升级投资,而NTA解决方案所提供的分析结果能够使网络治理员洞察WAN链路的流量特征、承载的应用、用户使用状况,从而针对是否应投资升级带宽快速的作出快速响应！图15WAN流量监测应用场景1.2 网络流量异常监测网络治理员都希望在网络性能忽然下降的时候找到“真凶所在,并迅速解决问题.利用NTA解决方案提供的某段时间内的流量、应用趋势分析,可非常直观的看到网络流量是否有忽然增长或忽然下降的现象,并进一步分析出是哪些用户产生了最多的流量、使