（计算机应用技术专业论文）网络性能管理系统的研究与实现.pdf

中文摘要 随着国内网络应用的发展，结构越来越复杂和规模越束越大的网络系统 需要网络管理软件来保证系统的正常运作，网络管理的质量会直接影响网络 的运行质量，管理好一个网络与网络的建设同等重要。本文结合武汉和中信 息公司开发的网络性能管理系统针对下面几个问题进行了探讨： ( 1 ) 根据网络管理的目的，给出了网络性能管理系统的定义。结合和中 网络性能管理系统的实际需求，讨论了系统的网络部署方式、软件总体结构、 功能模型。 ( 2 ) 讨论了目前主流的网络管理协议s n m p 、n e t f l o w ，s f l o w 的基本原 理、适用范围及它们各自的优缺点，特别介绍了n e t f i o w 数据格式和免费的 网络性能管理工具。 ( 3 ) 探讨了和中网络性能管理系统的需求，主要说明了基于n e t f l o w 、 s f l o w 采集系统的需实现的众多功能，特别介绍了n e t f l o w 流的存储格式 x f l o w 、系统中区域的概念及海量数据的分类汇总和多维度捧序的问题。 ( 4 ) 根据系统的需求，说明了n e t f l o w 采集程序f l o w d 的基本设计思想及 主要流程；s f l o w 采集程序的s f l o w d 的设计；海量数据分类汇总和多维度排 序引擎f l o w m i n i n g 的基本设计思想。另外，特别介绍了系统的开发环境和 t d d 开发模式。 ( 5 ) 在第六章中，就系统中三个主要难点问题的设计和实现进行详细的 介绍。详细介绍了主流内存数据库b e r k e l e yd b 的原理和编程接口及如何利 用b e r k e l e yd b 解决了海量数据快速存储的问题；详细讨论了n e t f l o wv 9 的 复杂的输出格式及解析n e t f l o w v 9 信息过程中使用的关键数据结构h a s h 8 ： 最后，运用多种高效的数据结构和算法( j u d ya r r a y z y 、排序树哈希红黑树 b e r k e l e yd b ) 和有效的时间调度实现了海量数据的分类汇总和多维度的排 序的功能。根据文中的测试数据说明达到了系统的要求。 关键字：n e t f l o w ，s f l o w ，b e r k e l e yd b a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ed o m e s t i cn e t w o r ka p p l i c a t i o n , t h en e t w o r k s y s t e mw h o s es t r u c t u r eb e c o m e sm o r ea n dm o r ec o m p l e xa n ds c a l em o r ea n d m o r eb i gn e e d sn e t w o r km a n a g e m e n ts o f t w a r et og u a r a n t e et h es y s t e m sn o r m a l l y t r a n s p o r t t h eq u a l i t yo ft h en e t w o r km a n a g e m e n tc a nd i r e c t l ya f f e c tt h e n e t w o r k st r a n s p o r t ，t h ec o n s t r u c t i o ni sa si m p o r t a n ta sm a n a g e m e n tt on e t w o r k t h i st h e s i sd i s c u s s e dt h e f o l l o w i n g s e v e r a l q u e s t i o n sc o m b i n i n g w i t h n p m s ( n e t w o r kp e r f o r m a n c em a n a g e m e n ts y s t e m ) w h i c hw a sd e v e l o p e db y w u h a no r i z o n ei n f o r m a t i o nt e c h n o l o g yc o l t d 1 a c c o r d i n gt ot h eg o a lo ft h en e t w o r km a n a g e m e n t ，p r o d u c e d t h ed e f i n i t i o n o ft h en p m s w i t ht h er e q u i r e m e n t so fn p m s ，t h et h e s i sd i s c u s s e dt h en e t w o r k d e p l o y m e n tw a y o ft h es y s t e m ，t h eo v e r a l ls o f t w a r es t r u c t u r e ，t h ef u n c t i o nm o d e l a n di n t r o d u c e dv a r i o u sf u n c t i o n s 2 d i s c u s s e dt h eb a s i cp r i n c i p l e , t h ea p p l i c a b l es c o p ea n dt h er e s p e c t i v eg o o d a n db a dp o i n t so ft h em a i n s t r e a mn e t w o r km a n a g e m e n tp r o t o c o la tp r e s e n t e s p e c i a l l y ，i n t r o d u c e dt h ed a t af o r m a to fn e t f l o wa n df r e en e t w o r kp e r f o r m a n c e m a n a g e m e n tt o o l s 3 d i s c u s s e dt h er e q u i r e m e n t so fn p m s ，m a i n l ye x p l a i n e dt h em u l t i t u d i n o u s f u n c t i o n st h a tm u s tb er e a l i z e dw h i c hb a s e do nt h eg a t h e r i n gs y s t e mo fn e t f l o w , s n o w e s p e c i a l l y ，i n t r o d u c e dx f l o ww h i c hi st h es t o r a g ef o r mo f t h en e t h o w , t h e d e f i n i t i o no ft h ea r e ai nt h es y s t e m ，t h e p r o b l e mo fs u m m a r i z i n ga n d m u l t i d i m e n s i o n a ls o r t i n go ft h em a s s i v es t o r e dt r a f f i c 4 ，a c c o r d i n gt ot h es y s t e mr e q u i r e m e n t s ，e x p l a i n e dt h eb a s i cd e s i g nt h o u g h t a n dt h em a i nf l o wo ff l o w dw h i c hi sap r o g r a m m eu s e dt oc o l l e c tn e t h o w ；t h e d e s i g no fs h o w dw h i c hi sa n o t h e rp r o g r a m m eu s e dt oc o l l e c ts h o w , e x p l a i n e d t h eb a s i cd e s i g nt h o u g h to ff l o w m i n i n gf o rs u m m a r i z i n ga n dm u l t i d i m e n s i o n a l s o r t i n go ft h es t o r e dt r a f f i c m o r e o v e r , i n t r o d u c e dt h ed e v e l o p m e n te n v i r o n m e n t o ft h es y s t e ma n dt h ed e v e l o p m e n tm o d l eo ft d d 5 i nt h el a s tc h a p t e r , i n t r o d u c e dt h ed e s i g na n dr e a l i z a t i o no ft h r e em a i n l y d i f f i c u l tp r o b l e m si nd e t a i l u s i n gb e r k e l e yd bt os o l v et h ef a s ts t o r eo ft h e m a s s i v et r a f f i c ；d i s c u s s e dt h ec o m p l e xo u t p u tf o r mo fn e t f l o wv 9a n dt h em a i n i i d a t as t m c t u 庀i nt h er e a l i z a t i o n i n 岫l a s t 。r e a l i z e dt h ef u n c t i o no fs u m m a r i z i n g a n dm u l t i d i m e n s i o n a ls o r t i n go fl km a s s i v es t o r e at r a f f i cb yu s i n gh i g h l y e f f e c t i v ed a t as t r u c t u r ea n de f f e c t i v ct i m ed i s p a t c h k e yw o r d ：n e t f l o w ，s f l o w ，b e r k e l e y d b i i i 独创性。声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得武汉理工大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意 关于论文使用授权的说明 本人完全了解武汉理i 大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅： 学校可以公布论文的全部内容，可以采用影印、缩印或其他复制 手段保存论文 ( 保密的论文在解密后应遵守此规定) 研尧生签名：骂址导师签名：主蔓基曼重 日期寥6 r 一弓0 武汉理工大学硕七学位论文 1 1 课题研究背景 第1 章引言 随着国内网络应用的发展，越来越多的企业认识到，除了要依靠网络设 备本身和网络架构的可靠性之外，网络管理是一个关键环节，结构越来越复 杂和规模越来越大的网络系统需要网络管理软件来保证系统的正常运作，网 络管理的质量会直接影响网络的运行质量，管理好一个网络与网络的建设同 等重要。网络管理已经是保证计算机网络，特别是大型计算机网络正常运行 的关键因素。有一个合适的网络系统软件来监控管理网络，就可实时查看全 网的状态，检测网络性能可能出现的瓶颈，并运行自动处理或告警显示，以 保证网络高效、可靠地运转。网络管理软件已成为网络必不可少的一部分。 这是网络管理软件需求的直接动力。 【1 】随着电信、互联网和电子商务的发展、企业信息化、政府电子政务、 企业应用( e r p c r m 等) 、金融、保险和证券等行业带动网络的大规模需求 和普及，这必将对网管软件带来巨大需求。根据i d c 调查，2 0 0 1 年中国网络 管理软件市场( 只包括软件许可证和维护费用) 的规模为5 2 8 0 万美元，而到 2 0 0 6 年将达到2 6 8 3 0 万美元，2 0 0 1 到2 0 0 6 的年平均增长率将达到3 8 4 。 国际标准化组织( i s o ) 定义的网络管理有五大功能：故障管理、配置 管理、性能管理、安全管理、计费管理，即通常所说的f c a p s 。对网络管理 软件产品功能的不同，又可细分为五类，即网络故障管理软件、网络配置管 理软件、网络性能管理软件、网络安全管理软件、网络计费管理软件。 我国现阶段网络管理水平和世界先进国家相比还有较大差距，特别是在 利用网络管理系统产生效益方面和国外差距更大。在网络管理发展的三个阶 段( 网络可运行阶段、网络可管理阶段和网络增效益阶段) 中，世界先进国 家基本上已到达网络增效益阶段，而我国总体还处于网络可运行阶段。随着 国内用于对网络管理软件的认识加深和企业应用的普及，对应网络管理软件 的发展也产生了楣应的趋势：1 2 j 从侧重设备管理到侧重业务管理 武汉理工大学硕士学位论文 早期的网络管理软件，着重点在于网络设备的监控和管理，而现在的趋 势是用户不再将设备的管理看作网络管理的本意，而是考虑如何管理网络来 使之满足企业业务系统的需求，设备的管理变成了更加靠近后台的任务。 从侧重故障管理到侧重性能管理 在网络管理软件发展的初期，故障管理是罔管软件的重要功能，用户使 用这个功能来保证网络的联通时间。随着网络技术的发展和企业应用对网络 性能要求的进一步提高，性能管理变得越来越重要。用户需要良好的性能管 理软件来保证e r p 、c r m 等高性能要求企业应用的正常运行。 更加侧重系统的安全性 另外一个趋势是网络系统的安全性越来越重要毋庸置疑，大家已经认 识到了数据和网络安全的重要，因此网络管理软件也相应的更加侧重于系统 安全性的保证。典型的例子是网络授权管理和网络使用记录管理等产品。 更加侧重系统的互操作性 目前，大量的数据网络来自不同的厂商和不同的技术规范，网络管理软 件常常运行在这些复杂的异构网络之上，因此网络管理软件是否能够满足不 同系统的互操作性需求，显得愈发重要。 1 2 课题来源 针对目前国内网络性能管理系统绝大多数侧重在网络设备和链路的故障 管理方面，缺乏适用的网络性能管理系统，武汉和中信息科技有限责任公司 开发具有自主知识版权的国产化的网络性能管理系统产品，对于网络性能管 理、系统性能管理和应用系统管理提供相应的解决方案和完整的、可扩展的 管理平台，并针对运营商、企业和融合网络提供不同的套件系统。 和中公司网络性能管理系统所管理的侧重点是解决用户实际业务的运行 问题，以确保业务运行为第一要素，通过强大的监控、预警、分析、规划等 功能提供给用户强大的网络管理手段，增强用户的业务系统运营效率。 2 武汉理工大学硕士学位论文 1 3 课题研究内容 ( 1 ) 课题研究目标 武汉和中网络性能管理系统通过对网络系统实时的监测和管理，提供了 对网络系统全方位和深入的性能分析、准确的网络故障定位和主动性的网络 性能测量功能。通过网络性能管理系统的监控，网络管理员能够准确了解到 整个网络运行的深层次信息，可以迅速找到严重影响网络效率的根源，并能 够预先发现网络运行瓶颈，从而能大大提高网络运行的可用性和效率。 ( 2 ) 课题研究内容 a 国内外网络性能管理系统现状的研究 b 熟悉l i n u x 开发平台及c 编程、s h e l l 编程、t d d ( t e s td r i v e n d e v e l o p m e n t ) 开发模式 c 网络管理协议n e t f l o w 、s f l o w 、s n m p 的研究 d 内存式数据库b e r k e l e yd b 的研究 e 特殊数据结构j u d y a n a y 和哈希红黑树的研究 武汉和中网络性能管理系统的设计和实现 ( 3 ) 课题拟解决的关键问题 a 对高数据率n e t f l o w 、s f l o w 流的无丢失准确接收和存储 b n e t f l o wv 9 的接收和存储 c 海量数据的存储 d 分“区域”的数据汇总和t o p n 模型的建立 3 武汉理工大学硕士学位论文 第2 章网络性能管理系统体系结构与功能介绍 2 1 系统定义及体系结构 2 1 1 网络性能管理系统产品描述及定义 p 】现有r r 系统中的网络系统、主机系统和应用系统是相对独立的三个层 面，网络性能管理系统对这三个系统层面的特点分别作不同重点的性能检测 和管理，并统一到一个相互关联的、端对端的、完整的管理平台框架中。 冈 图2 - 1 各平台之间的关系 网络性能管理系统通过对网络系统、主机系统和应用系统的监测和管理， 提供了网络和应用系统的实时监测和性能分析、全方位的分析报告、s l a 服 务质量管理、故障诊断、容量规划等功能和服务。 2 1 2 网络性能管理系统产品体系结构 武汉和中网络性能管理系统产品由中心服务软件p e r f o r m a n c em a n a g e r 和远端硬件探针系统r t p r o b e 组成。 4 1 p e r f o r m a n c em a l l a g c r 是位于网络管理中心的一套强大的网络性能管理 4 武汉理工大学硕士学位论文 软件，它通过基于f l o w 的流协议、s i q m p 简单网络管理协议、s y s l o g 系统日 志以及和中公司专有的高级性能监测协议o p t 等方式从远端的网络设备、服 务器、应用系统以及硬件探针r t p r o b c 等获得全方位的实时网络信息元数据， 提供全面的实时性能分析、故障定位、端对端的服务质量管理和容量规划等 功能。 远端硬件探针系统r t p r o b e 是一个硬件的流量分析设备，它通过交换机 端口s p a n m i r r o r 方式或者通过t a p 方式监听主要骨干链路的双向流量，并及 时的转换成基于f l o w 的流协议发送到中心p e r f o r m a n c em a n a g e r 。此外， r t p r o b e 还主动的动态监测预定的关键服务或者协议，采用高级性能监测协 议o p t 方式将更深层次的分析信息实时传送到网络中心p e r f o r m a n c e m a n a g e r 。r t p r o b e 具有百兆和干兆两种型号，分别监测百兆和干兆主要链路， 用于不支持f l o w 协议的网络节点的信息采集和监测。 p e r f o n r a m c cm a n a g e 图2 - 2 体系结构图 5 s t a r c h 武汉理工大学硕士学位论文 2 1 2 网络性能管理系统产品软件结构 网络性能管理系统软件体系结构是一个灵活的多层体系，包括“信息收集 与分析”、“信息汇总和合并”、“信息呈现”等。 “信息收集与分析”是从各种网络、主机和应用中通过n e t f l o w 、s f l o w 、 s i q m p 、s y s l o g 或o p t 等获得整个网络全方位的实时信息元。 “信息汇总和合并”是将各种元素的信息元进行有效的分类、合并，转换 为统一的性能管理数据。 “信息呈现”是实时的、多角度的呈现网络性能管理的各个管理层面的需 求 2 2 系统功能描述 2 2 1 网络性能管理系统产品功能模型 网络性能管理系统包括如下子系统模块： a 信息采集 b 信息分类汇总及排序 c - 网络性能实时监测 d 系统性能实时监测 e 应用性能实时监测 f s l a ( s e r v i c el e v e la g r e e m e n t ) 服务质量管理 g 故障预警 h d o s 攻击定位 i 病毒扫描向导 j 统计分析报告 k 网络容量趋势分析 1 系统管理与维护 在实际应用系统中，这十二个子系统分布在不同的层次中： 信息采集、信息信息分类汇总及排序分布在操作层； 网络性能实时监测、系统性能实时监测、应用性能实时监测、s l a 服务 6 武汉理工大学硕士学位论文 质量管理、系统管理与维护分布在管理层； 故障预警、d o s 攻击定位，病毒扫描向导、统计分析报告、网络容量趋 势分析分析在统计分析层。 具体如下表所示： 表2 - 1 ： 网络性能管理系统功能分布 应用系统统计分析 故障预警、d o s 攻击定位、病毒扫描向导、 层 统计分析报告、网络容量趋势分析分析 管理层 网络性能实时监测、系统性能实时监测、 系 应用性能实时监测、s l a 服务质量管理、统 系统管理与维护 维 操作层 信息采集、信息分类汇总及排序 护 、 系统平台 数据库管 网络 理 操作系统 硬件平台 2 2 2 网络性能管理系统产品功能介绍 ( 1 ) 信息采集 信息采集是从已有的网络设备、服务器、应用系统或者硬件p r o b e 中通 过各种协议获取全面的网络信息。 主要的信息采集协议有： n e t f l o w 、s f i o w 、n f l o w 、s n m p 、s y s l o g 、o p t ( 2 ) 信息分类汇总及排序 信息分类汇总及排序在操作层面起一个承上启下的作用，是将采集过的 各种网管原始信息进行有效的合并、分类，转化为统一的数据格式存放到数 据库中。信息分类汇总及排序后的信息能够全面地表达网络管理中各个元素 的各项指标，并能够很方便的扩充今后的功能。 ( 3 ) 网络性能实时监测 7 武汉理工大学硕士学位论文 网络性能实时监测主要是对网络设备如路由器、交换机、防火墙等和重 要的骨干链路的各项指标做实时的监测和分析，并将所监测的网络元素组合 成面向网络业务的分组、以适应网络管理细分的需求。 网络设备：c p u 利用率，内存利用率，s e s s i o n 利用率，路由表，交换表， 端口利用率。 骨干链路：实时带宽，报转发率，协议分布率，源地址，目的地址 ( 4 ) 系统性能实时监测 系统性能实时监测主要是对各类服务器如p c 服务器、小型机等的各项 性能指标做实时的监测和分析。1 5 1 服务器设备：c p u 利用率，内存利用率，磁盘利用率，网络利用率 服务器网络服务：主要服务协议利用率，并发连接数，源地址 ( 5 ) 应用性能实时监测 应用性能实时监测主要是对关键的网络服务实时监测( 如d n s 、d h c p 、 w i n s 、l d a p 、a c t i v ed i r e c t o r y 、h ，r r p 、f i t ) ，对于应用系统的关键性能 指标做实时分析。 ( 6 ) s l a 服务质量管理 s l a 服务质量管理主要是面向特定业务的端到端的性能测量和管理，如 v o i p 、v c 、e r p 、c r m 、v o d 等主要业务系统，提供完整的全程服务质量 监控，能迅速定位引起服务质量下降的原因，提供解决问题的建议。 f 7 ) 故障预警 故障预警是在性能实时监测的过程中，通过发现主要网络的拥塞或者服 务的响应变慢，找出影响这些问题的故障点，及时的提供预警信息并提供响 应的解决方案建议。 ( 8 ) d o s 攻击定位 d o s 攻击定位是通过分析网络用户的正常使用行为，在网络发生大规模 的拥塞和性能下降时，通过系统的灵活设计迅速定位发生问题的d o s 攻击的 源头，如具体到哪个网段、哪个网络设备、哪个i p 、哪个v l a n 、哪个物理 端口、何种攻击方式等详细信息，便于网络管理员迅速解决问题。1 6 】 ( 9 ) 病毒扫描向导 病毒扫描向导提供一个强大的在线工具用于主动搜索和报告易引发感染 8 武汉理工大学硕七学位论文 的网络病毒所使用的协议和端口的实时活动情况，提供一个实时的扫描分析 报告。 ( 1 0 ) 统计分析报告 统计分析报告提供一个全面的网络性能分析报告，能过在一个界面呈现 实时和历史的分析，并可以设定客户化的报告内容。 它可以提供对主机、协议、端口、v l a n 、子网、会话汇总及分布情况 等实时报告，也能够提供时间粒度可自定义，如1 小时、6 小时、天、周、 月报告等。 它还可以提供对源、目的、协议、服务、会话各个子网的t o p n 报告。 ( 1 1 ) 网络容量趋势分析 网络容量趋势分析通过对历史数据的分析和整理，对哪些链路或服务长 期超载运行、哪些没有达到正常的运行效率、哪些存在闲置带宽或容量等提 供一个方便的视图，以用于网络扩容或调整规划。 ( 1 2 ) 系统管理与维护 提供对系统的分级管理功能，并对主要的服务进程和数据库进行实时的 监测，提供完整的维护手册和自我修复能力。 9 武汉理工大学硕士学位论文 第3 章网络管理相关技术和协议 在第二章我们介绍了网络性能管理系统的众多功能，但实现这些功能的 基础就是我们利用现有的网管技术和协议采集来的网络元数据其中，最主 要和用得最多的协议包括$ n m p 协议、n e t f l o w 协议和s f l o w 协议。在这里， 会给大家详细介绍这几个协议，特别是n e t f i o w 协议，还会介绍采集来的元 数据的内涵。 3 1 简单网络管理协议s n m p 3 1 1 简单网络管理协议s n m p 简介 简单网络管理协议( s n m p ) 是目前t c p i p 网络中应用最为广泛的网络 管理协议。1 9 9 0 年5 月，r f c l l 5 7 定义了s n m p ( s i m p l en e t w o r km a n a g e m e n t p r o t o c 0 1 ) 的第一版本s n m p v l 。r f c l l 5 7 和另一个关于管理信息的文件 r f c l l 5 5 一起，提供了一种监控和管理计算机网络的系统方法。因此，s n m p 得到了广泛的应用，并成了网络管理的事实上的标准。川 s n m p 在9 0 年代初得到了迅猛发展，同事也暴露了明显的不足，如，难 以实现大量的数据传输，缺少身份验证( a u t h e n t i c a t i o n ) 和加密( p r i v a c y ) 机制。因此，1 9 9 3 年发布了s n m p v 2 ，具有以下特点： a 支持分布式网络管理 b 扩展了数据类型 c 可以实现大量数据的同时传输，提高了效率和性能 d 丰富了故障处理能力 e 增加了集合处理功能 f 加强了数据定义语言 3 1 2 简单网络管理协议s n m p 工作原理 s n m p 的网络管理模型包括以下关键元素：管理站、代理者、管理信息 库、网络管理协议。管理站一般是一个分立的设备，也可以利用共享系统实 1 0 武汉理工大学硕士学位论文 现。管理站被作为网络管理员与网络管理系统的接口。 s n m p 中另一个重要元素是代理者。装备了s n m p 的平台，如主机、网 桥、路由器及集线器均可作为代理者工作。代理者对来自管理站的信息请求 和动作请求进行应答，并随机地为管理站报告一些重要的意外事件。 s n m p 规定了5 种协议数据单元p d u ( 也就是s n m p 报文) ，用来在管 理站和代理者之间的交换。【8 1 g e t r e q u e s t 操作：从代理进程处提取一个或多个参数值g c t n e x t r e q u e s t 操作：从代理进程处提取紧跟当前参数值的下一个参数值。s e t r e q u e s t 操作： 设置代理进程的一个或多个参数值。g e t r e s p o n s e 操作：返回的一个或多个参 数值。这个操作是由代理进程发出的，它是前面三种操作的响应操作。t r a p 操作：代理进程主动发出的报文，通知管理进程有某些事情发生。 下图描述了s n m p 的这5 种报文操作。 s n m p 管理站 s n m p 代理者 图3 - 1s n m p 的协议环境 武汉理工大学硕士学位论文 前面的3 种操作是由管理进程向代理进程发出的，后面的2 个操作是代 理进程发给管理进程的，为了简化起见，前面3 个操作今后叫做g c t 、g e t n e x t 和s c t 操作。图4 描述了s n m p 的这5 种报文操作请注意，在代理进程端 是用熟知端口1 6 1 来接收g c t 或s e t 报文，而在管理进程端是用熟知端口1 6 2 来接收t r a p 报文。 a g e n t 将收集的网络数据信息存储于管理信息库( m a n a g e m e n t i n f o r m a t i o nb a s em i b ) ，管理站可以通过上面的g e t r e q u e s t 和g e t n e x t r e q u e s t 操作获取m i b 中的信息。通过它不仅可以采集网络流量系信息，还可以采集 设备的信息，如，c p u 利用率、磁盘空间利用率、设备温度等。 由于s n m p 协议本身的限制，报警信息只能局限于变化的大小。从安全 角度讲，这种信息对于防止入侵和采取防范手段来说，是远远不够的。因此， 基于s n m p 的流量采集方法多用于网络性能分析、对整个进行“概要”监测， 鉴于其不能进行端到端的流量检测，它不适合用于网络异常数据流的检测。 3 2 基于n e t f l o w 的数据流采集 3 2 1n e t f l o w 定义 n e t f l o w 是c i s c o 公司提出的网络数据包交换技术，它同时可用来记录 网络流信息。一个网络流是从它的源到目的端的单向的一系列数据包，它使 用源和目的端的口地址和端口号来标识。更明确的说，一条流以以下七个关 键字来标识：1 9 1 a 源口地址 b 目的m 地址 c 源端口号 d 目的端口号 e 第3 层协议类型( t c p 、u d p 等) 服务类型( t o s ) g 入逻辑接口标识符( i f l n d e x ) 3 2 2n e t f l o w 原理 n e t f l o w 先记录下初始化口包的数据，如i p 协议类型、服务种类( t o s ) 、 武汉理工大学硕士学位论文 接1 3 标识等，然后，为了更有效对数据进行匹配和计数，n e t f l o w 让随后的 数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务，如安 全性过滤、q o s 策略，流量策划等。实时数据被存储在n e t f l o w 的缓存中， 通过读取的操作指令就可以重新找回。 n c t f l o w 的运行可分解为以下几个关键功能单元，包括： m l c a c h e 缓存空间 n e t f l o wc a c h e 是所有活跃f l o w 统计信息的存储位置，所有具备相同关 键字段的数据包都将在该c a c h e 相应表项中进行数据累计，如数据包数量、 字节数等。除了被称之为m a i nc a c h e 的上述缓存之外，部分支持a g g r e g a t i o n 机制的网元设备还需提供相应的聚合缓存( a g g r e g a t i o nc a c h e ) ，展终的输出报 文将包含该聚合缓存的汇总结果，从而能够有效降低n e t f i o w 澹量对网络带 宽的占用。下图形象地说明了这种机制： n e t f t o wm a i nc a c h e f b we n t r i e s f l o w l f l o w 2 r w 3 r o we “p lr e d c a c h e f u n - t i m e re x p i r e d f l o we x p i r e d c a c h e f u i i t i m e re x p i r e d g g r e 9c a c h e c a c h ef u l l t i m e re x p r e d _ 可畸i 。“1 - 。h e 咖r 图3 - 2n e t f l o w 缓存机制的实现 可配置的c a c h e 维护机制 一般情况下c a c h e 空间的占用是与所监控的f l o w 数量呈正比的，但是 当链路中充斥着大量的短连接s e s s i o n 时，f l o w 表项数量可能会因为没有得 1 3 武汉理工大学硕士学位论文 到及时释放而过多占用有限的c a c h e 空间。为此，n e t f l o w 提供了一种非常 复杂、高效的算法以快速定位个数据包在该c a c h e 中的位置或判断是否应 新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时 释放老的表项以容纳新建f l o w 信息。 c a c h e 表项t i m e d o u t 操作可由以下几项因素进行驱动： a 该表项已经空闲了指定的时间长度( i n a c t i v et i m e r ，缺省1 5s e c o n d s ) ； b 长连接会话强制超时( a c t i v et i m e r ，缺省3 0m i n u t e s ) ； c 缓存空间耗尽所触发的强制超时； d t c pf i n r s t 触发的超时。 规范的导出报文格式 n e t f l o w 采用了主动式数据推送机制，当c a c h e 表项超时后，网元设备 中的n e t f l o wa g e n t 将通过规范的报文格式将超时表项数据送往指定主机( 须 事前指定口地址、协议和端口) 。虽然n e t f l o w 在设计中可以接受任何传输 层协议作为承载协议，但在一般实现中通常采用u d p 作为缺省选择，我们平 时所看到的各种f l o w 协议版本主要描述了这种报文导出格式的定义。 n e t f l o w 的封装格式分为1 个h e a d e r 和若干个r e c o r d ： a h e a d e r ：主要包括版本号、序列号、后续r e c o r d 数量、系统启动时间等； b r e c o r d ：提供对每个f l o w 的详细数据记录。 n e t f l o w 技术具有很高的可移植性，它不需要对网络设备和网络作任何 修改，支持坤及口层之上的绝大部分封装协议。但是，它不支持a t ml a n 与v l a n 。n e t f l o w 可捕获的数据包类型如下： a i p 到球的数据包 b i p 到m p l s 的数据包 c f r a m er e l a y 终端数据包 d a t m 终端数据包 1 1 1 】在非抽样模式下，n e t f l o w 为经过该设备的每个包都进行记录，因此， 流信息的传输也会消耗掉一定的资源，大约占经过该路由器总流量的1 5 。 3 2 3n e t f l o w 版本演进 在n e t f l o w 技术的演进过程中，思科公司一共开发出了5 个主要的实用 版本，即：【1 2 l 1 4 武汉理工大学硕士学位论文 n e t f l o wv 1 ，为n e t f l o w 技术的第一个实用版本。支持l o s1 1 1 ，1 1 2 ， 1 1 - 3 和1 2 0 ，但在如今的实际网络环境中已经不建议使用。 n e t f l o wv 5 ，增加了对数据流b g pa s 信息的支持，是当前主要的实际 应用版本。支持i o s1 1 1 c a 和1 2 0 及其后续l o s 版本。 n e t f l o wv 7 ，思科c a t a l y s t 交换机设备支持的一个n e t f l o w 版本，需要 利用交换机的m l s 或c e f 处理引擎。 n e t f i o w v 8 ，增加了网络设备对n e t f l o w 统计数据进行自动汇聚的功能 ( 共支持1 1 种数据汇聚模式) ，可以大大降低对数据输出的带宽需求。支持 i o s l 2 0 ( 3 ) t ，1 2 0 ( 3 ) s ，1 2 1 及其后续i o s 版本。 n e t f l o wv 9 ，一种全新的灵活和可扩展的n e t f l o w 数据输出格式，采用 了基于模板( t e m p l a t e ) 的统计数据输出。方便添加需要输出的数据域和支 持多种n e t f l o w 新功能，如m u l t i c a s en e t f l o w ，m p l sa w a r en e t f l o w ，b g p n e x th o pv 9 ，n e t f l o wf o ri p v 6 等支持i o s l 2 0 ( 2 4 ) s 和1 2 3 t 及其后续l o s 版本。思科公司的n e t f l o wv 9 还被i e t f 组织列入标准。 3 2 4n e t f l o w 数据格式 n e t f l o w 信息以u d p 包形式发送出来，每个n e t f l o w 包由包头和若干个 流记录组成。包头包含版本号、记录数、设备启动时间等组成；流记录包括 源i p 地址、目的l p 地址、协议类型等。下表是典型的包输出格式： 表3 - 1 ：典型的n e t f l o w 输出包格式 i p 头 u d p 头 n e t f l o w 头 流记录1 流记录2 流记录n 在现实中，n e t f l o wv 5 被普遍地使用，下面就详细地说明了n e t f l o wv 5 1 5 武汉理工大学硕士学位论文 包头和流记录中各个字段的含义： 表3 - 2 ：n c f f l o w 版本5 头格式 字节内容描述 0 1v e r s l o nn e t f l o w 导出格式的版本号 2 8c o u n t 包中导出的流数目( 1 3o ) 4 - 7 s y s u p t i m e 从路由器启动以来的当前时间，以毫秒为单位 8 1 1u n l x - s e c s 从0 0 0 0u t c1 9 7 0 开始的秒数 1 2 1 5u n i x n s e c s 从0 0 0 0u t c1 9 7 0 开始的剩余纳秒时间 1 6 1 9 f l o w - s e q u e n c e所有能看到的流的顺序计数器 2 1 e n g i n e _ t y p e f l o w 交换设备的类型 2 2 e n g i n e _ i df l o w 交换设备的插槽号 2 0 - 2 4r e s e r v e d 未使用的字节( o ) 表3 - 3 ：n e t f l o w 版本5 的流记录格式 字节内容 描述 0 8s r c a d d r 源口地址 4 - 7d s t a d d r 目的i p 地址 8 1 1 n e x t h o p 下一跳的路由器 地址 1 2 1 3 i n p u t 输入接口的s n m p 索引 1 和1 5 o u t p u t输出接口的s n m p 索引 1 6 1 9d p k t s 流中的报文总数 2 0 ，2 3d o c t e t s在流的报文中第3 层字节总数 2 4 2 7f i r s t 流开始处的s y s u p t i m e 2 8 0 1l a s t 流中最后一个报文被接收时的s y s u p t i m e 3 2 ，3 3 s r c t ) o r t t c p u d p 源端口号或等价值 3 4 3 5 d s t p o r t t c p u d p 目的端口号或等价值 3 6 p a d l未使用的字节( 0 ) 3 7 t c pf l a g st c p 标记的累积o r 3 8 p r o ti p 协议类型( 例如，6 = t c p , 1 7 = u d p ) 3 9t o s服务的i p 类型 1 6 武汉理【大学硕士学位论文 4 ( 卜4 1s f a s源的a s ，原来的或对等的 4 2 4 3d s ta s 目的a s ，原来的或对等的 4 4 s r cm a s k源地址i ；i f 缀的掩码位 4 5d s tm a s k 目的地址前缀的掩码位 4 6 4 7 p a d 2未使用的字节( o ) 虽然n e t f l o wv 5 是现在运用最广泛的网络管理协议，但也有自己的缺 点：缺乏灵活性。于是，c i s c o 公司推出了n e t f l o wv 9 , 一种全新的灵活和可 扩展的n e t f l o w 数据输出格式，采用了基于模板( t e m p l a t e ) 的统计数据输 出。由于在具体的实现中我们会讨论n e t f l o wv 9 的接收( 主要是解析) ，那 时会讨论n e t f l o wv 9 的数据格式，这里就不讨论它了。 3 2 5n e t f l o w 适用范围 n e t f l o w 服务可利用网络中数据流创造价值，并可在最大限度减小对路 由器交换机性能的影响的前提下提供详细的数据流统计信息。【1 3 】特别是作为 其交换功能的一部分，它能够为企业提供网络的容量规划、趋势分析以及数 据优先级等方面的信息，这些统计信息包括用户、协议、端口和服务类型等， 可以用来为企业网络管理与分析提供依据，为网络管理员合理规划企业的网 络结构、均衡网络负载和优化网络性能提供参