（计算机应用技术专业论文）基于ipfix可扩展流信息生成系统的研究与实现.pdf

， 毒 北京i t l l jr l j , 人学硕十研究生学位论文 独创性( 或创新性) 声明 亩f 1 ：i i l l il l ii i i iii iii ii ii ii y 17 5 8 5 7 7 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被 查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、 缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此 规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：盏! ! ：! ：! f r 期：) 尘厶2 ，f ：幽 北京邮电人学硕：i j 研究生学位论文声明 l i 一 摘要 摘要 随着i p 网络带宽的持续提升和所承载流量的急剧增长，网络流 量监测的难度和复杂度也越来越高，传统的基于准确实时的i p 网络 流量监控技术已经不能满足要求。为了保障并提高现有网络的服务 质量，建立高可用性的i p 网络，一方面必须了解网络所承载业务的 使用强度、频度、流量等行为模型，发现网络新应用的发展趋势； 另一方面需要对网络流量进行更好的特征分析，并监控异常流量和 网络攻击行为，提高网络安全性。 本课题来源于基于数据流回放和标注的数据集生成技术研究 项目，论述了基于i p f i x 协议实现可扩展流信息生成系统的研究和 实现。解决了目前基于流的网络流量测量存在的丢包严重，应用层 信息缺失，生成流信息比较固定等一些问题。 论文首先介绍了网络流量测量及i p f i x 的相关概念。然后阐述 了可扩展流信息生成系统的系统结构，分别对数据包捕获、数据包 解析、数据流信息生成、数据流信息导出存储及数据流解析五个模 块进行了介绍。随后详细描述了可扩展流信息生成模块具体设计。 进而介绍了可扩展流信息生成模块的各子功能模块，分别对子功能 模块的功能、使用意义、具体实现等进行了必要的叙述。文章还对 系统功能测试的情况进行了说明，测试结果表明该系统可以达到预 期设计目的。 最后，文章对研究工作进行了总结，并且对将来的工作进行了 展望。 关键词：网络流量测量；i p f i x ；可扩展流信息；插件；标注存储 北京邮电人学硕l ：研究生学位论文摘要 h 与 基 ， m o n i t o r i n g b e c o m e h i g h e r a n dh i g h e r ，a n dt h et r a d i t i o n a la c c u r a t e r e a l - t i m ei p - b a s e dn e t w o r kt r a f f i cm o n i t o r i n gt e c h n o l o g yc a nn ol o n g e r m e e tt h er e q u i r e m e n t s i no r d e rt op r o t e c ta n de n h a n c et h eq u a l i t yo f s e r v i c eo fe x i s t i n gn e t w o r k st oe s t a b l i s hh i g ha v a i l a b l ei pn e t w o r k ，w e m u s tu n d e r s t a n dt h eb e h a v i o r a lm o d e l ss u c ha su s ei n t e n s i t y , f r e q u e n c y , f l o wo ft h en e t w o r kb e a r e rs e r v i c e s ，a n dt h e nf i n dt h en e wi n t e r n e t a p p l i c a t i o nd e v e l o p m e n t t r e n d s o nt h eo t h e rh a n dw es h o u l d d i a g n o s t i c a l l ya n a l y s et h en e t w o r kt r a f f i c a n dm o n i t o rt h ea b n o r m a l t r a f f i ca n da t t a c k so fn e t w o r kt oi m p r o v et h en e t w o r k s e c u r i t y t h i st h e s i si sb a s e do np r o j e c tt h a ti sd a t as e tg e n e r a t i o nt e c h n o l o g y r e s e a r c hb a s e do nd a t af l o wp a y b a c ka n da n n o t a t i o n c r i t i c a lt e c h n o l o g y a n di m p l e m e n t a t i o no fe x t e n s i v ef l o wi n f o r m a t i o ne x p o r ts y s t e mb a s e d o nt h ei p f i x p r o t o c o la r ed i s c u s s e di nt h et h e s i s m a n yp r o b l e m ss u c ha s f l o w - b a s e dn e t w o r kt r a f f i c m o n i t o r i n gp a c k e tl o s s ，a p p l i c a t i o nl a y e r i n f o r m a t i o nm i s sa n df l o wf o r m a tf i x e da r er e s o l v e di nt h et h e s i s t h ef i r s tp a r to ft h et h e s i si se x o r d i u m i nt h es e c o n dp a r to ft h e t h e s i st h ea u t h o ri n t r o d u c e st h eb a s i cc o n c e p t so fn e t w o r km e a s u r e m e n t a n di p f i x i nt h et h i r dp a r t ，t h ea u t h o rd e s c r i b e st h es y s t e ms t r u c t u r eo f t h ee x t e n s i v ef l o we x p o r ts y s t e ma n dr e s p e c t i v e l yi n t r o d u c e si t sf o u r m o d u l e sw h i c ha r ed a t ap a c k e tc a p t u r em o d u l e ，p a c k e tp a r s i n gm o d u l e ， d a t af l o wg e n e r a t i o nm o d u l e ，f l o we x p o r tm o d u l ea n df l o wp a r s i n g m o d u l e f l o wg e n e r a t i o nm o d u l ei sd e t a i l e di nt h ef o u r t hp a r ti n c l u d i n g t h e s p e c i f i cd e s i g n a n d i m p l e m e n t a t i o n o ft h em o d u l e t h ef l o w i i i 北京邮电人学硕i ：研究生学位论文a b s t r a c r g e n e r a t i o nm o d u l ei sc o m p o s e do fv a r i o u ss u b - f u n c t i o nm o d u l e s t h e f u n c t i o n ，u s a g ea n di m p l e m e n t a t i o no fe a c h s u b f u n c t i o nm o d u l ea r e d i s c u s s e di nt h ef i f t hp a r t t h ea u t h o ra l s od e s c r i b e st h ef u n c t i o n a lt e s to f t h es y s t e ma n dt h er e s u l to ft e s ts h o w st h a tt h es y s t e mc a na c h i e v et h e d e s i r e dp u r p o s e c o n c l u s i o na n dp r o s p e c to fr e s e a r c ha r eg i v e ni nt h e e n d k e yw o r d s ：n e t w o r kt r a f f i cm e a s u r e m e n t ；i p f i x ；e x t e n s i v ef l o w i n f o r m a t i o n ；p l u g i n ；a n n o t a t i o ns t o r a g e i v 北京邮电人学硕十研究生学位论文目录 目录 第一章绪论1 1 1 引言1 1 - 2 研究目标和研究内容2 1 3 本论文目的和内容划分3 第二章相关技术。4 2 1 网络流量测量概述4 2 1 1 网络流量测量的背景及意义4 2 1 2 网络测量技术分类6 2 1 3 常用的网络流量测量方法7 ：z 2i p f i x 9 2 2 1i p f i x 体系结构9 2 2 2i p f i x 协议模型1 0 2 2 3i p f i x 数据包格式1 2 2 l 。1 0 2 - 3 本章小结1 8 第三章系统结构1 9 3 1 系统概述1 9 3 2 系统各模块介绍1 9 3 2 1 数据包捕获模块。1 9 3 2 2 数据包解析模块。2 2 3 2 3 数据流信息生成模块。2 3 3 2 4 数据流信息导出存储模块2 6 3 2 5 数据流解析模块2 7 3 3 本章小结。2 7 第四章可扩展流信息生成模块详细设计2 8 4 1 主要数据结构描述2 8 4 2 模块详细设计。3 0 4 2 1 插件技术一3 0 4 2 2p l u g i n s 涉及的数据结构3 1 4 2 3p l u g i n s 调用3 2 4 3 本章小结3 5 第五章可扩展流信息生成模块功能实现。3 7 5 1 原始包标注存储模块3 7 5 1 1 模块功能介绍3 7 v 北京邮电人学硕f ：研究生学位论文目录 5 1 2 模块使用意义3 7 5 1 3 模块具体实现。3 7 5 2 应用层信息解析功能模块。3 8 5 2 1 模块功能介绍3 8 5 2 2 模块使用意义。3 9 5 2 3 模块具体实现。3 9 5 3i p 包分片判断功能模块4 2 5 3 1 模块功能介绍4 2 5 3 2 模块使用意义4 2 5 4 本章小结4 3 第六章系统测试4 4 6 1 测试方法一4 4 6 2 测试项目及结果。4 4 6 2 1 基本流生成模块测试4 4 6 2 2 扩展流生成模块测试4 5 6 3 测试结果分析。4 8 第七章总结与展望4 9 7 1 完成的主要工作总结一4 9 7 2 对未来研究方向的展望4 9 参考文献。5 1 致谢。5 5 攻读学位期间发表的学术论文目录5 7 ，t 北京邮电人学硕士研究生学位论文第一章绪论 1 1 引言 第一章绪论弟一早珀t 匕 自2 0 世纪9 0 年代以来，随着自身技术的不断进步，以t c p i p 协议为核心 协议的互联网( i n t e m e t ) 在全球范围内以前所未有的速度迅速普及。直至今日 互联网已经成为现代社会中最重要的信息基础设施，深深地渗透到人类社会的政 治、经济、文化、军事和生活等各个领域，成为推动社会进步和经济发展的重要 因素。 近年来，计算机数量不断增加，网络出口带宽迅猛增长，用户上网的接入 方式由单一的拨号发展为x d s l 、c a b l em o d e m 、局域网、无线接入等多种接入 方式并存，i p 网络承载的应用也趋于复杂化，除了电子邮件( e m a i l ) 、文件传输 ( f r p ) 、远程登录( t e l n e t ) 、w w w 浏览( h 1 r p ) 等网络传统四大应用流量， 已越来越多地承载p 2 p 、v o d 及v o i p 等新应用流量，甚至在些i s p 网络，如 法国电信、美国s p r i n t 的骨干网，这些新应用流量已超过传统应用流量l l ，2 3 l 。 网络规模扩大，异构性和复杂性不断提高，网络应用不断增加，使得网络 日益普及。但人们对网络性能等并不感到满意。在我国第十六次中国互联网统计 调查的数据中仅3 6 7 的网络用户对当前互联网性能感到满意，大多数网络用户 对网络性能感觉一般和不太满意1 4 1 。当前网络需要满足高可靠性、高性能的服务 需要，除了需要设计高效网络协议，开发高性能网络设备，通过流量工程实现网 络负载合理分布与保证关键业务性能至关重要。因此需要定量地了解各层次协议 的网络流量和业务流的使用分布、增长趋势等特征指标，建立精确的网络流量模 型与业务流流量、性能模型，发现影响或者限制网络性能的关键【5 l 。流量测量是 获得网络与业务行为特征的直接手段，在协议设计、网络规划、异常监测、流量 工程与性能提升等方面都得到大量应用。 此外，由于负载均衡器1 6 j 等网络设备不断研制并投入商用，新的网络协议 【7 l 和网络业务的出现，以及由网络路由设置等网络配置造成的网络变动，网络流 量特征是不断变化的l 引。根据统计，i n t e r n e t 上的主要协议和使用模式几年甚至 几个月就发生巨大的变化1 9 , 1 0 j ，网络动态变化造成了网络管理和优化、网络扩容、 网络行为模型化等网络运维活动和研究的困难，传统的数学模型已经很难适用现 代的高速数据通信网分析，高速i p 网络和电话网的特性有本质的差别。高速i p 网流量有自己的特征，例如流量模型、协议分布、包丢失率、包延迟、故障分布 等，都不能用传统的电话网数学模型来描述，相关理论远远落后于工程技术的发 展1 1 1 , 1 2 】。因此研究高速i p 网络流量测量技术，开展高速i p 网络流量的监测活动， 北京邮电人学硕i 二研究生学位论文 第一章绪论 对i p 网络的发展具有重要意义。 网络流量测量是分析、掌握网络行为的基础，是通过收集数据或报文踪迹， 以定量地分析不同的网络应用在网络中的活动规律的技术。通过定量测量并分析 网络，我们可以理解网络流量与网络特征，探讨网络行为和运行规律；通过测量 建立起网络性能基线，有效地进行网络监测，合理地分配网络资源，迅速定位网 络故障；了解网络端到端、整体甚至局部性能细节，为规划、设计网络提供科学 依据【1 3 , 1 4 】。 网络流量状况是网络中的重要信息，利用流量测量获得的数据，我们可以实 现负载监测、性能分析、网络纠错、网络优化、业务质量监视、用户流量计费、 入侵检测等目标。 目前，对于网络流量的测量均以“数据流”为基本粒度。“数据流”被定义 为一系列通过网络中某一观察点的具有相同属性的数据报文的集合。这罩所说的 数据报文属性可以指代报文报头的某些域( 如地址、端口、协议类型) ，也可以 是数据流的特有属性( 如方向、m p l s 标签) 或者是监测点的环境属性( 如出口 类型) 1 1 5 , 1 6 l 。 基于数据流的网络流量测量已经比较成熟，但仍存在着一些问题： 1 、网络流量测量过程中的性能问题。网络流量测量过程中包括数据包的捕获、 解析、分流、导出等，这其中使用的数据结构等严重影响测量过程的性能。 而且，随着网络流量的增大，丢包问题严重，极大的限制了对流量的精准测 量。 2 、应用层信息缺失问题。一般的网络测量工具只提供对t c p 舢d 朋p 等报头的 解析，不能有效区分不同的应用流量。 3 、导出的流信息项过于单一，不能定制扩展。 本论文设计的基于i p f i x 可扩展流信息生成系统就是针对上述问题而设计 的。 1 2 研究目标和研究内容 本课题研究的目标和内容是： 1 、研究可扩展流信息生成系统的关键技术，设计可扩展流信息生成系统整体 框架，并进行各模块具体设计。 2 、研究现有数据包捕获方式基础上，设计系统的数据包捕获模块，达到减少 丢包率的目的，以便为数据包的解析分析提供更多的数据量，为网络监控、网络 测量提供更准确的信息。 3 、实现可扩展流信息的生成，可以按用户自定义地生成带有包存储位置、应 用层信息、包分片信息等扩展字段的流记录。 2 、 北京邮电人学硕l ：研究生学位论文 第一章绪论 4 、完成原始包的标注存储以及相应流信息的存储。 在本论文中，除介绍了可扩展流信息生成系统的整体设计思路和其用到的关 键技术，还对核心模块的实现进行了详细描述以及基本测试。 1 3 本论文目的和内容划分 本文涉及的课题希望能解决网络流量测量过程中存在的一些问题，提高数据 包的捕获率，可以按用户自定义的模板生成并导出流信息，可以实现原始包和流 信息的标注存储，并进一步对包的应用层信息进行解析等一系列扩展功能。 本文的内容是基于i p f i x 可扩展流信息生成系统的研究与实现，全文共分为 七章。 第一章为整个项目的综述，简要地介绍了课题背景和研究意义，同时介绍了 论文研究的目标和内容； 第二章介绍了本课题涉及的相关技术。从流的概念入手，一方面介绍网络测 量的背景及意义、相关技术、常用测量方法，另一方面介绍了本课题所涉及的 i p f i x 协议，介绍了i p f i x 的体系架构、协议模型，并详细描述了i p f i x 数据包 的格式，便于对以后章节的理解。 第三章阐述了可扩展流信息生成系统的系统结构，并分别对它的五个模块 ( 数据包捕获模块、数据包解析模块、数据流信息生成模块、数据流信息导出存 储模块、数据流解析模块) 进行了简要介绍。 第四章详细介绍了可扩展流信息生成模块，包括模块具体设计及实现。 第五章介绍了可扩展流信息生成模块的各子功能模块。分别对子功能模块的 功能、使用意义、具体实现等进行了必要的叙述。 第六章介绍了对模块功能测试工作。 第七章对整个工作进行了总结并对将来该项目的研究方向进行了展望。 3 北京邮电人学硕l 研究生学位论文第二章相关技术 2 1 网络流量测量概述 第二章相关技术 弟一早个日大坟小 2 1 1 网络流量测量的背景及意义 k c c l a f f v 在文章中描述了流( f l o w ) 的模型：“一个f l o w 是活动的，就是 指可以在一个定义好的时限内( t i m e o u t ) 所观察到的满足一定条件的一组数据 包”。f l o w 是单向的，它最少可以只由一个数据包组成。流量( t r a f f i c ) 在逻辑 上等价于呼叫或者连接。而流指的是两个节点之间数据包的单向序列( 也就是说， 对每一个连接会话都有两个流，从服务器到客户端的和从客户端到服务器的) ， 用起止时间分隔开，可以用下面7 个关键域进行标训1 7 1 ：源i p 地址，目的i p 地 址、源端口、目的端口、协议类型、服务类型、路由器输入接口等。无任什么时 候路由器收到数据包，都要查找这7 个域，然后再做出决定：如果该数据包属于 已经存在的“流”，则相应流的流量值增加：否则，将创建一个新的流。与“流” 相关的属性值( 如源目的地址、包数、字节数等) 反映了在起止时间内发生的 事件。一个流的起止时间是固定的，终止时问随着流的延续而增长。通常我们关 心的流记录分类依据由一个五元组( 即源地址、目的地址、源端口、目的端口和 协议类型) 所组成。 2 1 1 1 网络流量与网络体系结构 从网络体系架构来说，网络流量是一切研究的基础。所有对网络的应用和网 络本身的行为特点的研究都可以通过对网络流量的研究来获得。网络的行为特征 往往可以通过其承载的流量的动态特性来反映，所以有针对性地检测网络中流量 的各种参数( 如p a c k e ti n t e r - a r r i v a l ，p a c k e tl e n g t h ，p a c k e tl o s sr a t e ，p a c k e td e l a y ， e t c ) ，就能从中分析和研究网络的运行特征。通过分析和研究网络上所运载的流 量特性，有可能提供一条有效的探索网络内部运行机制的途径。 由于网络流量在网络体系结构中的地位，越来越多的研究者转向网络流量的 研究，流量理论也越来越受到重视，网络领域的十大研究热点，其中就包括网络 流量的测量和分析。 2 1 1 2 网络流量与网络性能 网络流量能直接反映网络性能的好坏。在网络中，如果网络所接受的流量超 过它实际的运载能力，就会引起网络性能的下降。吞吐量是表征网络性能的重要 标志。一个理想的网络应该接受所有提供的流量，直到它的最大吞吐量限额。然 4 ， f 北京邮电大学硕上研究生学位论文第二章相关技术 而在实际的网络中，如果对网络流量控制得不好或发生网络拥塞，将会导致网络 吞吐量下降，网络性能降低。 网络流量监测的主要目的对网络数据进行连续的采集以监测网络的流量。获 得网络流量数据后对其进行统计和计算，从而得到网络及其主要成分的性能指 标，定期形成性能报表，并维护网络流量数据库或同志存储网络及其主要成分的 性能的历史数据，网络管理员根据当前的和历史的数据就可对网络及其主要成分 的性能进行性能管理，通过数据分析获得性能的变化趋势，分析制约网络性能的 瓶颈问题。此外，在网络性能异常的情况下网络流量监测系统还可向网络管理者 进行告警，使故障及时得到处理。 2 1 1 3 网络流量与网络安全 随着i n t e m e t 的应用领域和应用规模的快速增长，通过网络传播计算机病毒 的种类越来越多，传播速度更快，感染面积更广，全球的信息安全受到了普遍而 严重的威胁。安全问题己经成为严重制约网络发展特别是商业应用的主要问题， 并直接威胁着国家和社会的安全【1 8 】f 1 9 】。网络蠕虫病毒，其传播速度快、传播面 积广、破坏性强，大量占用路由器和交换机的带宽，导致网络阻塞甚至瘫痪。蠕 虫病毒主要有以下特征：利用操作系统的漏洞主动传播，并且可以在局域网或者 广域网内以多种方式传播，一般来说，都有很多变种，从而使杀毒软件难以有效 的主动防范。迄今为止，用户只有不断升级杀病毒软件的版本、下载相应的补丁 包才能有效清除网络蠕虫病毒。但是，往往在用户升级杀病毒软件的版本之前， 网络已经遭受病毒攻击而瘫痪，使得用户无法升级自己的杀病毒软件的版本，从 而阻止病毒的传播。 这种网络蠕虫病毒的攻击方式，除了造成网络大量的流量之外，也会消耗大 量的系统资源。其实，通过适当的网络管理与防火墙管理软件，可以在网络蠕虫 病毒进行入侵时所涌入的异常网络流量或异于平时的系统资源使用量时，通过所 预先设定的监测阀值，在整个系统刚出现异常时，即刻通知系统管理人员或者自 动采取有效的动作，阻止病毒的有效传播。而且流量监控系统可以监视整个网络 的资源使用状态，再与防火墙、入侵检测与网络管理等整合在一起，就可以形成 一道严密的防护网，可以主动的防御各种网络蠕虫病毒的恶意入侵或是人为因素 所引起的异常情况。 另外，各种攻击手段层出不穷，计算机网络的保密性，完整性，可用性受到 了严峻考验。针对目前危害甚大的拒绝服务( d o s ) 和分布式拒绝服务( d d o s ) 攻击，通过连接会话数的跟踪，源目的地址对的分析，t c p 流的分析，能够及时 发现网络中的异常流量和异常连接，检测和定位网络潜在的安全问题和攻击行 为，保障网络安全。 5 北京邮电大学硕 ：研究生学位论文第二章相关技术 2 1 2 网络测量技术分类 2 1 2 1 主动测量技术 主动测量技术是由a m p ( 主动测量项目组) 机构提出的网络流量测量方法。 这种流量测量技术是在互联网系统中，利用向网络中发送数据包、分析数据包并 利用分析结果来分析互联网的行为特征。由于主动测量技术会产生附加的网络流 量，因此利用这些流量可以测量网络并提供给其他用户各项参数，例如丢包率和 环路时延等。在主动测量过程中，我们可以设计测量流量，以一定的方式产生并 发送到网络中，如泊松分布、独立分布、马尔科夫链等等。 数据包的环路时延测量是运用类似p i n g 的程序方法，根据不同的数据包设 计发送方式，每隔一个时间段进行一次。该测量方法对每台被测主机发送i c m p 响应包，然后等待i c m p 的回应包，记录每个站点的测量延迟。发现或者珍断一 个站点故障的最好方法之一就是查看环路时延图标的变化状况，这些变化表明了 路由或者配置上的变化所引起两个站点间环路时延的改变情况。 主动测量意味着网络流量测量过程中将产生新的网络业务流量。主动测量给 网络增加了流量载荷负担，特别是如果没有详细设计使得该测量方法产生的网络 流量最小，那么该网络流量会严重干扰网络，使测量结果产生很大的误差。如： 为了测量在i p 网络中瓶颈链路的带宽，而周期性地向被测路径发送大量的t c p 流量，那么由此产生的流量可能会产生h e i s e n b e r g 效应，而使得通过该网络到达 这点的路径拥塞，导致测量所得的吞吐量低于瓶颈链路的实际带宽。 跟踪和可视化互联网拓扑结构也是主动测量方法最主要的应用之一，由 c a i d a 开发的动态测量工具s k i t t e r 可用于动态发现和绘制全球互联网拓扑结构。 同时主动测量技术还能够发现网络的一些特别规律，例如发现互联网端到端的时 延分布具有重尾现象。主动测量方法应用在其他领域的范围很广，例如：估计i p 地址的使用率，路由的不稳定性和不对称性，按网络地址前缀长度的流量分布， 边界网关协议路由表空间使用效率。 2 1 2 2 被动测量技术 被动测量是在网络中的某些节点收集网络流量信息，如利用交换机或路由器 采集数据或者使用一个专用的网络设备监测网络的流量信息。被动测量能够完全 避免附加流量和h e i s e n b e r g 效应，这些优点使我们更愿意采用被动测量技术。但 是某些测量指标利用被动测量很难获得：如判断数据包所经过的路由等。然而被 动测量的这些优点使得我们在开始流量测量之前应该优先考虑被动测量方式。如 果我们所关心的不是整个互联网的路由，而是自治域之间的路由，这样就能够监 测两个对等边界网关协议之问的网络流量，因为这些流量中包含所有的自治域之 6 北京邮电人学硕l ：研究生学位论文第二章相关技术 间的路由信息。被动测量方式遇到的另一个重要问题是当前提出的要求确保安全 和隐私问题。 网络流量测量是发送大小不同的报文，收集到的数据可以对网络进行各种流 量分析，如：网络流量中各种应用的数据、报文发送和到达时间、报文的大小分 布和路径长度等，利用这些网络流量行为的分析结果可以帮助我们设计下一代互 联网设备和体系结构。 另外，被动测量还有很多其它的应用，例如：识别、刻画和跟踪网页缓冲； 流行协议和应用使用的变化；拥塞控制算法的有效性；网络体系结构的安全危害； 流量增长是由于每个用户流量的增加还是增加了用户；新的技术和协议( 如：组 播和i p v 6 ) 的渗透力和影响。以上的被动测量应用是互联网流量行为研究的主 要内容。 有时为了需要从所收集的数据信息中提取某些参数我们需要借助于主动测 量方式。并且，被动测量方式是应该保持尽可能小的丢失率，否则测量的数据很 难对网络性能做出精确的估计。但随着网络流量传输速率的不断地加快，保证不 丢失数据变得越来越困难，一方面通过各种研究方法尽一步减少丢包率，一方面 对网络流量抽样技术做进一步的研究与应用。 2 1 3 常用的网络流量测量方法 2 1 3 1r m o n 远程监控( r m o n ) 是一个标准监控规范，它可以使各种网络监控器和控制 台系统之间交换网络监控数据。r m o n 监视器可以用两种方法收集数据：一种 是通过专用的r m o n 探测器( p r o b e ) ，网管工作站直接从探测器获取管理信息 并控制网络资源，这种方式可以获取r m o nm i b 的全部信息；另一种方法是将 r m o n 代理直接植入网络设备( 路由器、交换机、h u b 等) 使它们成为带r m o n p r o b e 功能的网络设施，网管工作站用s n m p 的基本命令与其交换数据信息，收 集网络管理信息，但这种方式受设备资源限制，一般不能获取r m o nm i b 的所 有数据，大多数只收集四个组的信息。 r m o nm i b 由一组统计数据、分析数据和诊断数据组成，不同于标准m i b 仅提供被管对象大量的关于端口的原始数据，它提供的是一个网段的统计数据和 计算结果。r m o nm i b 对网段数据的采集和控制通过控制表和数据表完成。 r m o nm i b 按功能分成九个组，每个组都有自己的控制表和数据表。其中，控 制表可读写，数据表只读。控制表用于描述数据表所存放数据的格式，配置的时 候，由管理站设置数据收集的要求，存入控制表。开始工作以后，r m o n 监控 端根据控制表的配置，把收集到的数据存入数据表。r m o n 在监控元素的9 个 r m o n 组中传递信息，各个组通过提供不同的数据以满足网络监控的需要。每 7 北京邮电大学硕 ：研究生学位论文第二章相关技术 个组都是可选项。目前大部分r m o na g e n t 只支持统计、历史、告警、事件四 个组。 2 1 3 2s n m p s n m p 的内核思想是在每个网络节点上存放一个管理信息库( m i b ) ，由节 点上的代理( a g e n t ) 负责维护，管理站( m a n a g e r ) 通过应用层协议对这些信息 库进行管理。其设计本着简单性( s i m p l i c i t y ) 和扩展性( e x t e n s i b i l i t y ) 的原则。 简单性则是通过信息类型的限制、请求响应机制而取得；扩展性主要是通过将 管理信息模型与协议、被管理对象的详细规定( m l b ) 分离而实现。s n m p 标准 主要由三部分组成：简单网络管理协议( s n m p ) ；管理信息结构( s t r u c t u r eo f m a n a g e m e n ti n f o r m a t i o n ，简称s m i ) 和管理信息库( m a n a g e m e n ti n f o r m a t i o nb a s e ， 简称m i b ) 。 s n m p 主要涉及通信报文的操作处理，协议规定m a n a g e r 如何与a g e n t 通信， 定义了它们之间交换报文的格式和含义，以及每种报文该怎样处理等等。管理信 息结构( s m i ) 和管理信息库( m i b ) 两个协议是关于管理信息的标准，它们规 定了被管理的网络对象的定义格式，m i b 库中都包含哪些对象，以及如何访问 这些对象等等。 2 1 3 3n e t f l o w n e t f l o w 是c i s c o 公司最早提出的一种测量技术并申请专利，目前其他厂商 的路由和交换平台中也内置有n e t f l o w 服务，该服务提供对快速、最优和c e f 交换路径之中的网络数据流量进行统计功能，统计信息可包括用户、协议、端口 和服务类型等。n e t f l o w 的核心是利用了流( h o w ) 的概念，经常被用于以下几 方面：1 、流量分析和监控；2 、根据流量进行计费；3 、实现网络加速；4 、用 于网络安全性分析。 n e t f l o w 的工作原理是首先记录下初始化i p 包的数据，如i p 协议类型、服 务种类( t o s ) 、接口标识等，然后，为了更有效地对数据进行匹配和计数，n e t f l o w 让随后的数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务， 如安全性过滤、q o s 策略、流量策划等。实时数据被存储在n e t f l o w 的缓存中， 通过读取的操作指令就可以重新找回。 2 1 3 4s f l o w s f l o w ( r f c 3 1 7 6 ) 1 2 0 】是一种监测通过交换机和路由器网络流量的技术。特 别是，它为监测网络流量定义了在s f l o w 代理中实现的取样机制，系统主要由一 个植入交换机或路由器的s f l o w 代理( a g e n t ) 和一个中心采集器组成。由交换 8 北京邮电人学硕：t 研究生学位论文第二章相关技术 机或路由器本身从网络中采集原始数据，然后把数据交给a g e n t 编码成特定格式 的数据包，最后由中心采集器接收这些数据包并解码成相应数据。 s f l o w 使用两种独立的采样方法来获取数据：针对交换数据流的基于数据包 的统计采样方法和基于时间的针对网络接口统计数据采样( 类似r m o n 的轮 询) 。s f l o w 还能使用不同的采样率对整个交换机或仅对其中一些端口实施监视。 s f l o w 监测系统的架构和所使用抽样技术的设计是为了高速交换和路由网络提供 持续站点范围或者网络范围内的流量监控。 2 1 3 5 网络流量测量方法小结 目前这几种用于流量测量的方法，s n m p ( s i m p l en e t w o r km a n a g e m e n t p r o t o c 0 1 ) 和r m o n 方法通过统计数据来获取流量信息，但是它只能提供粗粒度 的流量信息，不能满足深入分析的要求；通过采集流经链路的报文( p a c k e t ) 来 进行流量测量，报文是网络中最小的传输单元，最初网络行为研究主要集中在数 据报文层次上，它能够提供广泛的分析和应用，但由于研究相对平等地分析每个 报文，从而导致对报文间关系及其更高层次信息分析的缺失；流级别的测量，针 对流的网络行为研究在很多方面弥补了报文层次的不足，它既能提供详细的流量 信息，又具备一定的可扩展性，因而受到了广泛的关注。 目前流量级别的网络流量测量方法普遍是基于n e t f l o w 和s f l o w 两种流格 式，生成流信息格式过于固定，不利用扩展。为了达到流信息格式更好地扩展以 及使各种流格式趋于标准化，提出了i p f i x 流信息格式，它通过模板对流信息进 行定义和导出，可以进行很好的扩展以满足企业内部等个性化需求。而且，基于 i p f i x 进行网络流量测量也可以进一步与报文级别的流量测量进一步结合起来， 对包进行更深入分析，以“数据流 粒度为网络流量测量提供更多的有用信息。 吉比特以太网的出现和高速网络技术的发展使直接对网络流量进行全面测 量变得极为困难，所以研究减少网络丢包率及网络流量抽样也成了网络流量测量 的重点问题。 2 2i p f i x i p f i x 是i pf l o wi n f o r m a t i o ne x p o r t ( i p 流信息输出) 的缩写，它是以c i s c o n e t f l o wv 9 为基础，可使i p 流量统计信息从导出设备( 路由器或交换机) 及时 地传送到采集站的标准。至于i p f i x 的体系结构、协议规范、信息模型以及可 适用性尚处于草案提交阶段，它使得网络中流量统计信息的格式趋于标准化。该 协议可工作于任何厂商的路由器和管理系统平台之上，并用于输出基于路由器的 流量统计信息。 2 2 1i p f i x 体系结构 9 北京邮电人学硕i j 研究生学位论文第二章相关技术 i p f i x 提供了一种将传输流输出到网络报告应用中的标准方法路由器或交 换机等( i p f i xd e v i c e ) 传出流记录，包括经过设备的每个数据包的源和目的地 址、源和目的端口、三层协议类型、服务类型字节和输入逻辑接口。i p f i x 兼容 流采集和报告引擎负责采集和处理输出的流记录。网络管理员调用流报告来了解 网络的传输流情况。1 2 1 j 2 2 2i p f i x 协议模型 i p f i x 消息由定长的消息头和多个集合( s e t ) 组成，s e t 有三种类型：模板 集、数据集、可选模板集，包总的长度小于等于6 4 k 字节。i p f i x 消息分类： 在新创造模板的情况下，如果有具有数据集的i p f i x 消息准备输出，而且有发 送空间，模板集和可选模板集将和数据集一块输出，而且要被尽快输出。 如果相关的模板记录己经被定义，而且己经被传到收集进程，则i p f i x 消息 只包括完整数据集。大多数的i p f i x 消息采用此种格式。 如果采用u d p 作为传输协议模板集和可选模板集必须被周期性地发送，则 i p f i x 消息只包含模板和可选模板集，以确保当接收到相关的流数据记录时，收 集进程有正确的模板记录和可选模板记录。 2 2 3 i p f i x 数据包格式1 2 2 l i p f i x 数据包由定长的m e s s a g eh e a d e r 和多个s e t 组成，s e t 的个数大于等于 北京邮电人学硕f ：研究生学位论文第二章相关技术 2 ) i p f i x 消息完全由数据集组成。在模板集被定义并被传输到收集端后，大 部分i p f i x 消息只包括数据集信息。 m e s s a g e h e a d e r + + l d a t a l is e ti 卜一+ + + + ld a t alid a t a1 is e t1 is e ti + 一一一+ + 一+ 图2 - 3i p f i x 消息格式举例2 3 ) i p f i x 消息完全由模板集和可扩展模板集组成。 m e s s a g et e m p l a t et e m p i a t elio p t i o n si h e a d e rs e ts e ti it e m p l a t ei i