netflow系统建设方案.doc

珠海市网佳科技有限公司NetFlow分析系统系统方案珠海市网佳科技有限公司版本：编制人： 审核人： 审批人：日期： 日期： 日期：版本修订历史记录：版本日期修改内容作者目录1.引言41.1背景：41.2名词解析：41.3参考资料：52.系统概述52.1系统目标52.2需求概述62.3用户类型63.总体设计63.1总体功能模块结构描述63.2总体软件实现架构描述63.2.1 软件层次结构63.2.2 软件模块结构83.2.3 软件实现技术结构83.3关键流程描述103.4总体数据结构描述114系统功能模块设计114.1 系统中心114.1.2用户基础信息修改114.1.3 密码修改124.1.4技术支持124.1.5版本信息124.1.6IP地址控制124.2告警管理124.2.1告警规则124.2.2告警记录124.3系统管理134.3.1 AS信息库134.3.2 协议信息库134.3.3 IP地址库134.3.4 IP分组134.3.5 路由器信息134.3.6 路由器分组134.3.7 用户管理144.4报表管理144.4.1 流量报表144.4.2 来源报表144.4.3 目的报表144.4.4 应用报表154.5系统首页154.5.1 网络视图154.5.2 接口视图164.5.3 AS视图165系统方案设计175.1 网络实施方案175.2 网络端设备配置方案181. 引言1.1 背景：随着企业信息化网络的不断发展，企业的网络规模在扩大，企业的业务在激增，企业网络管理面临着越来越大的挑战。企业为了满足业务需求，网络接口带宽速率经历了十兆、百兆、千兆、和万兆的过程，如果仅靠传统的手段对流经网络设备的海量数据都进行统计分析已成为不可能，通过何种手段才能监控企业的网络流量，并加以分析，才能达到优化网络，优化业务的效果。因此设计一个为企业分析网络承载力和业务应用的复杂关系提供依据和分析结果的系统，是网络管理的重要内容。系统展现的网络状态数据为网络的运行和维护提供了重要信息；这些数据还可为网络的资源分布、容量规划、服务质量分析、错误监测与隔离、安全管理等等提供重要依据。1.2 名词解析：NetFlow简介：Netflow流量统计技术是Cisco公司提出的一项网络数据流统计标准1，得到了主流厂商如Juniper、Extreme等的支持。利用netflow技术可以监测网络上的IP流（IP flow）信息。采集到的netflow流量信息可以帮助进行网络规划，网络管理，流量计费和病毒检测等等。其体系架构如下显示图1 Netflow的架构其中流量数据导出部分一般在网络设备上配置实现。根据需求，可以选择不同的netflow导出格式，V1、V5、V6、V7、V8和V9。目前用的最多是V5格式。Netflow设备把采集到的网络流量信息数据按照流记录（Flow records）放到缓存中，满足导出条件后再进行导出。这里的流记录（Flow records）被定义为“一段时间内网络的某个观测点所通过的一系列分组（packets）。从观测点的角度看，所有同属于一个特定流记录的分组具有一些共同属性，这些特性是由分组中所包含的数据信息和对这些分组的处理方式来决定的”。NetFlow收集网络端到端的流量的格式如下：Source 192.1.134.7 |format 2| aggregation callrecord|Period 15| starttime 881972378| endtime 881973278| Flows 59709| missed 0| records 23451.3 参考资料：1. 现代软件工程科学出版社2. 软件工程清华大学出版社3. 珠海市网佳科技有限公司数据库设计规范4. 珠海市网佳科技有限公司Java项目开发规范5. 珠海市网佳科技有限公司Netflow流量的归类分析6. 珠海市网佳科技有限公司各类流量采集方法研究2.系统概述2.1系统目标Who:到底是谁(用户)或者应用在使用网络带宽？What：什么样的业务和应用占据了企业的大部分带宽？到底是什么样的网络协议在网络中运行？When：在什么样的时段，企业的业务是处于最高峰的？整个网络是否能承载现有的业务？Where：如果网络出现问题，到底是哪里出现了问题？什么样的业务受到的危害最大？ 通过上面“4W”问题，为企业分析网络承载力和业务应用的复杂关系提供依据和分析结果的一个系统。系统展现的网络状态数据为网络的运行和维护提供了重要信息；这些数据还可为网络的资源分布、容量规划、服务质量分析、错误监测与隔离、安全管理等等提供重要依据。2.2需求概述此系统提供系统管理，系统中心，告警管理，系统主页，报表管理五大功能。2.3用户类型角色名称角色描述系统管理员管理员可能拥有有系统操作的的所有权限，包括所有用户的建立。普通用户主要是可以查看系统的除需设置的功能。系统管理员与普通用户是1:N关系。3.总体设计3.1总体功能模块结构描述3.2总体软件实现架构描述3.2.1 软件层次结构图 1netflow系统管理功能架构根据图中所示，系统功能架构从下至上分成五大块，数据采集层、数据配置层、数据处理层、功能应用层、安全管理层，多层次之间共同协作，交叉而又相对独立的完成各自的功能，各种功能模块可以紧密集成、无缝连接。1.数据采集层：不间断接收来自路由器的网络数据包，并且对接收到的数据进行预处理和存储到数据库中。2.数据配置层:该层次主要根据接口系统提供的性能、告警定义，结合自身的特点，对系统的基本参数和性能、故障参数进行配置定义，使其系统能够根据所定义参数完成告警呈现和正常运行。3.数据处理层:该层次主要完成对接收到的数据进行深层次统计分析处理，为故障管理模块、统计报表模块等提供最终数据。4.功能应用层:该层次是用户和系统重要的交互手段，通过该层次提供的模块，可以对系统进行可视化操作，包括系统参数配置，故障查看，报表生成等。5.安全管理层:该层次通过多种手段为系统提供高安全可靠性，包括：限制访问系统IP地址，登录用户进行管理，数据加密传输等。3.2.2 软件模块结构系统提供系统管理，系统中心，告警管理，系统主页，报表管理五大功能模块，其总体结构如下图所示3.2.3 软件实现技术结构1. 表现层：主要功能是做页面的展现，使用到的技术包括HTML、JSP、XML+XSLT、AJAX、Struts Validation Framework，Struts Tag Library，Custom Tag Library。2. 控制层：该层的主要功能是调用业务层的逻辑代码、做参数验证、其它事件的处理功能。主要针对着Struts Action，还使用到Spring Web提供的相应功能，比如Listener、Filter；Spring Plugin，使用该Plugin来初始化Hibernate、DAOBean、ServiceBean；Struts Exception Framework来对异常做统一的处理；WINGO Object Conveter来做对象之间的转换，该转换器组件提供了两个功能，一个是自动地做ActionForm与表单提交的特殊数据的转换，比如Date型对象，一个是做POJO与ActionForm之间的转换。3. 业务层：该层主要是处理业务逻辑并调用持久层相应的功能。主要是使用到Custom Business Logic，这部分是根据需要要求程序员必须实现的功能；Spring Transaction，使用到了Spring对事务的管理功能，使用了该框架，程序员不再需要主动地去处理这些事务，而只需要按照编码新的编码规范去编码即可。Spring AOP，该部分使用了AOP的思想，主要是做权限控制与日志的编写；SPRING IOC，该部分主要是做使用SPRING的IOC容器来做持久对象，业务有对象的注入工作，有效地解决了hard code的问题。4. 持久层：主部分主要是与数据库打交道，使用了hibernate来做数据的持久化操作；使用Spring DAO提供的DAO基础功能；使用SPRING CORE来简化程序的编码；使用JDBC来做底层的数据库操作，JDBC技术主要是工作流使用的，和做一个复杂的统计查询分析所要用到的。5. 数据层：使用Ms sql2000来做为数据库服务器，整个系统不再使用Trigger，存储过程可以适当使用。如果是必须要使用到trigger的功能，将使用hibernate 3的事件来处理。这样做的好处是降低应用程序对数据库平台的依赖性。系统软件内部的技术实现：系统是采用J2EE架构的B/S系统，总体技术框架是采用目前主流的Struts + Spring + Hibernate这种架构。总体实现技术结构图如下：使用Struts的原因是Struts目前已经是主流的J2EE WEB层框架，现在绝大部分的开发工具都支持Struts的开发，并提供了GUI开发界面，代码生成等功能，这个对于快速构建J2EE应用程序有着非常重要的作用。Struts是一个MVC思想的一个实现，有效地帮助开发人员更好地将展现与业务逻辑分离，这对于构建一个清晰架构的应用程序有着非常重要的作用，较大地提高了应用系统的可维护性与可读性。使用Spring的原因是Spring提供了IOC容器与AOP。使用IOC容器，能更好地解决接口与实现的耦合问题，接口与实现在程序当中不再需要做hard code。AOP是目前已经开始流行的一种面向切面编程的思想，使用Spring AOP，可以在程序执行前或执行后做某种操作，比如，权限控制、写日志等。还有一种重要的原因就是Spring对Hibernate有着非常好的支持，有一它，我们不再关心Session的问题，不再关心事务的问题，因为，所有这些Spring已经帮我们实现得差不多了。使用Hibernate的原因是hibernate是一种轻量级的持久层框架，是目前最流行的持久层解决方案，它是封装了JDBC，简化了80%以上的数据库操作。虽然使用该持久层会牺牲10%的性能（官方数据)，但是，如果加上Cache的功能并对应用程序做调优后，性能将会提高30-50%以上。这相对于直接使用JDBC，更加有吸引力。3.3关键流程描述如下图所示，展现了基本的数据流关系：1) 管理员配置好路由器对网络流的采集。2) 配置系统中基础数据及告警规则。3) 采集机接收网络流数据包前拆包分析，把无用的包过滤并压缩Netflow流。4) 采集机向目的数据库发送导入处理过的原始数据，再通过数据库系统进对数据再进行统计分析，形成前台展现的数据。5) 管理员通过Netflow系统可查看到相应报表信息。3.4总体数据结构描述如下图所示，展现了基本对象关系：具体表结构可查看数据字典文件.4系统功能模块设计4.1 系统中心功能描述：该功能模块主要是用户基本信息修改（如密码，和用户名，联系电话，联系Email等），以及系统帮助（如操作手册或系统版本系统）。此处是公共模块，所有用户都可以使用查看。4.1.2用户基础信息修改此处提供每个登录用户修改其自己相关信息，如：登录名，联系电话，联系Email，密码，性别，移动电话，办公电话。4.1.3 密码修改此处主要方便用户快速更改密码。4.1.4技术支持 当管理员需要技术支持时即可从此页面上查看到相关的联系信息。4.1.5版本信息记录了系统的版本，和操作手册（下载）等到相关的信息。 4.1.6IP地址控制 主要是用于区分那个IP地址段的IP地址可登录到此系统，禁止那些IP地址登录本系统。4.2告警管理功能描述:此功能模块主要是告警定义和告警记录两个功能，所有告警信息均会记录到此。4.2.1告警规则管理员设置规则，采集回来的基础数据会在此配置数据并，对于越限的数据会存放到实时告表当中。4.2.2告警记录告警记录查询，采集回来的数据会告警规则进行匹配，如果符合匹配规则则记录到告警表，并且根据匹配规则定义的时间，次数等到来做限制只把符合条件的告警显示。4.3系统管理功能描述：系统管理主要是基础参数配置，把采集回来数据进行分类入库，否则数据不会存入数据库。4.3.1 AS信息库自治域系统信息库，为统计企业内部IP地址对AS访问流量，应用提供基础信息。4.3.2 协议信息库协议信息库，主要是记录了基础协议类型以及应用（协议+端口）信息，为后面展现应用统计时做基础配置。4.3.3 IP地址库IP地址库，是记录IP地址与域名之间的联系，是为了方便用后面展现可统计流量去向。4.3.4 IP分组以部门基础来做分组，主要是记录了部门信息及问门下的员工分配使用的IP地址信息记录。4.3.5 路由器信息主要是采集路由器的信息记录，主要包括一些路由器IP地址，路由器名字，路由器描述等。4.3.6 路由器分组路由器分组，主要是为了方便区分不同路由器之间关系。基本上是分组名和分组描述等。4.3.7 用户管理系统用户管理，主要是管理本系统所有使用者，为权限限制操作。主要是记录用户名，登录名，性别，联系信息等。4.4报表管理功能描述：报表管理，根据路由器和IP分组，来源，目的，流量，应用来展现路由器或IP分组的流量统计信息，。 4.4.1 流量报表根据路由器接口或IP分组统计，从容量，速度，使用率，应用四个方面进行流量统计。4.4.2 来源报表以企业内的IP地址为单位，分路由器端口或IP分组来统计IP地址的流量。4.4.3 目的报表以企业内的IP地址访问的目的IP地址为单位，分路由器端口或IP分组来统计IP地址的流量。4.4.4 应用报表统计企业内的访问的目的IP地址+端口来匹配应用，再根据应用来统计流量。 4.5系统首页功能描述：登录本系统后首先看到的页面，主要是展现了系统采集网络的大体情况，包括网络视图，接口视图，AS视图。4.5.1 网络视图 提供接口流速度的排名，使用率排名，IP分组的速度排名，使用率排名以及基于使用率的各个路由器饼图，曲线图情况。4.5.2 接口视图展现路由器及IP分组的流入流量，流出流理，告警基本情况。4.5.3 AS视图 展现以每个路由器访问AS流量情况及最新一小时的原始数据链接。5系统方案设计5.1 网络实施方案最简单的网络方案示意图：核心 Network支持 NetFlowTrafficCollector(windows，linux)UDP NetFlow包应用界面PE包的导出 大约 1500 字节 一般来说包含30流左右网络架构复杂一点的网络方案示意图：上图是一个网络实施方案的示意图。 说明：该种方式对特定客户或特定端口流进行分析。 AB客户可以理解为不同的网络末梢，网络上的P和PE路由器可以是普通的路由器。 “web发布分析服务器和采集服务器和数据库服务器”分别代表不同的应用程序，这些程序可以安装在同一机器上或者是多台机器上，主要是看网络需要采集的netflow流量大小。 WEB应用服务器是用户操作的平台。实施时将特定客户上连PE设备Netflow流指向采集服务器，采集器将采集到的数据进行分析、过滤后，传输到数据库中，最后由WEB发布服务器对其统一呈现。该种方式支持10000Flow/s，通过分析客户的数据流或对客户特定IP地址段筛选，得到客户流量流向数据，当分析流超过10000Flow/s需要扩展时，只需要增加集成采集器的服务器即可，可线性对系统进行扩展。5.2 网络端设备配置方案以下举例说明如何在设备上配置netflow的采集 Router:GE11/2开启和关