（计算机应用技术专业论文）ip网络流量测量技术研究与实现.pdf

瑾两络流量测懿技米研究与实理 摘要 以i n t e r n e t 为代表的i p 网络正在逐渐成为人类杜会通信的基础设施。隈络规 模不断扩大，异捣豫程度不叛增燕，带舞裁倍增长，网络疆益复杂，有必要对 弼络的拓扑结构和网络行为进行深入的了解、分析，这需要对网络进行正确、 高效地溺量，获取有效、可靠的数据，对瓣络性能进行评估，猷采取镭对褴的 措施。 本文对l p 网络流量涌爨及其稻关技术遴行分耩与研究，对基予流的 i p 网络性能测量技术进行探讨。论文的主要疋作包括： 实现了基于s n m p 协议的网络鼷的拓扑发现。利用网络路由搜索算法 和相关协议来获取网络中路由设备的路由信息，然后刹用获得的路由信息 构造港丽络据羚窝。并将已发现的拓扑结构应孺子分稚式网络流量测蹙系 统的网络探针的部署。 实现了一个基于。n 辨的分蠢式弼络流量测鬃系统。全谣分析探讨了该系统的 体系结构，系统流稷和实现过程。在测案方式方面是基予主动测爨和被动测量 两种方法实现豹；在流量的采集方匿，该系统将流量的采集工作分散到各个采 集点上进行，通过分布式的布置探针，和集中式监控管理功能，实时地控制和 警琏流量采集、处瑾等备部分的运行情况，提供了图形亿的用户按口；并将收集 的备种历史数据和实时数据在其中以图形豹方式直观地晟示出来。 该系统在采用大黧关系数据库对流鼙数据进行存储和管理的同时，采用分布 式计算技术，很好的实现了逻辑业务层与数据层的分离，从而有较好的扩展性 帮可移植性。采用数据包压缩方法，减小了测擞过程中存储的数据量，并般可 比较准确地用来分析网络流量特征。运用动态连接库技术，系统在运行时，减 少了系统文件的大小和对内存空闻的需求，提高系统运行的效率。该系统采用 分布式的架构，对于大规模嗣络流量的监测与分析提供了个很好的支持平台。 关键词：拓扑发现，。n e t 框架，分布式系统，主动测量，被动测量 西北大学信息科学与技术学院硕士研究生论文 口网络流量测盘技术研究与实现 a b s t r a c t i pn e t w o r k s ，i n t e m e t 在so n eo ft h e i rr e p r e s e n t 毫t i o n s ，a r eb e e o m i n gb a s i c c o m m u n i c a t i o nf a c i l i t i e so fo u rs o c i e t y a st h es c a l eo fi pn e t w o r ke x p a n d s c o n t i n u o u s l y ， n e t w o r kb a n d w i d t hi n c r e a s e si nd o t l b l e姐di t ss t n l c t u r e b e c o m e sm o r e a n dm o f ei n h o m o g e n e o u sa n dc o m p l e x ，i ti sn e c e s s 制yf o r t o p o l o g ys t r u c t u r ea n dn e t w o r kb e h a v i o rt ob eu n d e r s t o o da n da n a l y z e df o r t h ei n t e r n e t ，c o r r e c ta n de f 兜c t i v em e a s 诖f e m e 蘸ti sv e r yi m p o r t a n tf o ri n t e 扭e t ， g e t t i n ga v a i l a b l ea n dr e l i a b l ed a t ae v a l u a t en e t w o r kc a p a b i l i t y ，t a k es o m e p e r t i n e n tm e a s u r e 1 1 1 i st h e s i sf i r s t l ya l l a l y s e s 姐dr c s e a r c h e s 口n e 时0 r km e a s u r e m e n t 姐di t s r e l a t e dt e c h n o l o 垂e s ，a n dt h e nd 主s c u s s c spn e t w o r kp e r f o r m a n c em e a s u f e m e 嫩b a s e d o nn e t w o r kf l o w t h eh i a i na c 拉e v e m 锄t sa r ed e s c r i b e da sf o l l o w s ： t l l i st l l e s i sr e a l i z e sn e t w o r kl a y e rt o p o l o g yd i s c o v e r yb a s e do ns n m p p f o o e o l s u s i n gb o t hn e t w o 矗u t es e a r c h i n ga l g o n t h ma n dc o r r e l a t i o n p r o t o c o l sg e tr o u t ei n f b 咖a t i o nf o mr o u t ed e v i c e si n i pn e t w o r k ，b yr o u t e i n f o 糟涮睦o nc 雒m 威e 鳓i c 畦n e w o 斑t o p o l o g yc h a 氆8 p p l y i n gd i s e o v e r e d t o p 0 1 0 9 yf r 啪e w o r kt o d i s t r i b u t e dn e t w o r kt r a f f i cm e a s u r e m e n td e p l o y n e t w o r kp r o b e 1 k s 也e s i s 托a l k e sad i s 妊i b u t c dn a 黼cm e a s u r c m c l l ts y s t 锄b a s c do nd o tn e t 赶l dm l l yd i s c u s s e st h ei n f r a s t r u c t i l r e ，8 y s t e mn o w p r o c e s sa j l di m p l e m e n to f 搬i ss y s t e mi nd e t a i l s 豫i ss y s t e mi sb a s c do na c t i v em e a s w e m c n ta n dp 鹅s i v c m e a s u r 锄锐t i nt r a 简ca c q u i s i t i o nr e 印e c t ，i t sw o r ks c a t t e r st oe a c hg a l h 鲥n gp o i n t ， a t 也es a m e 鲑m ei tc o n 毪o l sa n d 融赫a g c s 也er 嘲i n gc i 砌珊s t a n c e so fe v e f y p a r to f 订a 憾ca c q u i s i t i o na n dd i s p o s a li i lr e a l 越m ew a y t h es y s t 啪c a np r o v i d e 脚h i c a l u s c r 主i l t e r f a c et os h o wt h el l i s 涮c a ld 越8 粕dr e a l t i m ed a t ai n 谢t i v e l yb y 掣雌嫩c s m o d e 。 t h es y s t e mu s e sr e l 8 t i o n a ld a l a b a s em a n a g e m e n ts y s t e mf o rs t o r a g ea n d n l a n a g e m e n to fn e t w o r kf l o wd a t a m 矗k i n gu s eo fd i s t r i b u t e dc o m p u t i n g e n v i r o n m e n t ， t h e s y s t e ms e p a r a t e sb u s i n e s s l a y e r f r o md a t a l a y e r c o m m 。n d a b l y h h si lh a sp f e f e r a b l ee x t e 珏s 主b i l i t ya n dp o r t 曲i l i t y 。d a t ap a c k e t 疆毙大学信息科学与技术学院硕士研究生论文h 口网络流量测量技术研究与实现 c o m p a c tm e a n sr e d u c es a v e dd a t ab u l k sa n dc o r r e c t l ya i l a l y z en e t w o r kt r a m c c h a r a c t e r si nm e a s u r i n gp r o c e s s ，d y n 锄l i cl i l l l ( a b l el i b r a r yt e c h n o l o g y ，w h e n t h i ss y s t e mi s m n n i n g ，r e d u c i n gt h es i z eo fs y s t e mf i l e sa i l dm e m o r ys p a c e d e m a n d i n e n h a n c i n gs ”t e mr u n n i n ge f f i c i e n c y t h es y s t e m ，e m p l o y i n ga d i s t r i b u t e da r c h i t e c t u r e ， g i v e saq u i t ew e l ls u p p o r t i n gp l a t f o 珊 f o rt h e m e a s u r ea n da n a l y s i so f1 a r g e s c a l en e t w o r kt r a m c k e y w o r d s ：t o p o l o g yd i s c o v e r y n e tf r a m e w o r k ，d i s t “b u t e ds y s t e m ， a c t i v em e a s u r e m e n t ，p a s s i v em e a s u r e m e n t 西北大学信息科学与技术学院硕士研究生论文 i i i 西北大学学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期 间论文工作的知识产权单位属于西北大学。学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本 学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存和汇编本学位论文。同时，本人保证，毕业后结合学位论 文研究课题再撰写的文章一律注明作者单位为西北大学。 保密论文待解密后适用本声明。 学位论文作者签名：垂至鱼! 指导教师签名： 伽年月伊兹f 月自 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究程果。据我所知，除了文中特别加以标注和致谢的地方外，本 论文不包含其他人已经发表或撰写过的研究成果，也不包含为获得西北大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：互丑厅、 侧年月心日 m 网络流量测量技术研究与实现 第一章引言 隧着触e m e t 熏要性的基藏提高和嗣络结构的习益复杂，越来越有必要对翔络 的整体拓季卜结构和网络行为进彳予深入的了解、分析，以嗣予发现网络瓶颈，优化 网络配置，并避一步发现隧络中哥能存在的潜在煞险。为j 毙，需要对大规模瞬瞎 结构进行动态描述，并根据网络流量豹变化分析网络的性能，为加强网络管理、 提商翔络利用率、防范大娩模潮络攻击提供技术平台。 l 。li p 网络测量的背景 h l t e m e t 是在建立于2 0 世纪6 0 年代末的a r p a n e t ( 美国国防部高级研究计 划蜀网络) 的慕确上发展起来的，在刚开始的十几年中它主要服务予科研教育部 门。1 9 8 0 年t c p ，衅协议正式闯世，荚圜d a i 乏p a ( 国防部高级研究计划局) 为推 广t c p ，m ，以极低的价格傲社会各券试用，并资助b b n 公司将其置于当时流 行的b s d ( b e 瓜e l e ys o 矾吼r cd i s 扛i b u t i o n s ) u 】m x 中，加之不同网络之间互联互 通的迫切需要，促使t c p 臻的迅速酱及( 目前主要采用礤v 4 版本) 。到9 0 年代 初期，在c 礤斟( 位予瑞士的欧洲粒予物理实验室) 工作的物理学家t i l l l b e m e r s l e e 发明了w o r l dw i d ew e b ，使用越文本标记语言口y p e r - t e x tm 被u p l a i l g u a g e ，h t m l ) ，使在网页中包含超文本连接成为可能，因而使得普通用户可 以通过浏览器自由地访问网络上的信息，从两促使了h l t e r n e t 的巨大发展。到目 前为止，除了传统的浏览、聊天、网络新闻、电子邮件等业务外，新的业务类 型不断涌现，如远程教育、网上银行、在线交易、网络广告、网上视频服务、 m 电话、短信服务、网上人才服务、网络游戏等等。i n t e m e t 虽然在我国发展较 晚，但近年来一直处于高速发展之中。报告显示0 1 ，截至2 0 0 5 年6 胃3 0 霸， 我国网民总数已经达到1 0 3 0 0 万，半年增加了9 0 0 万人，和上年同期相比增长 1 8 4 。其中宽带上嘲的人数域长迅猛，首次超过了网民豹一半，达到5 3 0 0 万 蘸j 大学信患科学与技术学院琰士研究生论文 网络流量测辙技术研究与实现 人，增长率为2 3 8 ，这也是宽带用户首次超过了拨号上网用户人数。鞫前， 我国网民数和宽带上网人数均仅次子美国，位居世晁第二。互联网已经发展成 为我国影响最广、增长最快、市场潜力最大的产业之一，正在以超出人们想象 的深度和广度迅速的发展。 随着网络应用范围的迅速扩大和应用程度的深入，网络用户越来越多， h l t e m e t 变得越来越庞大，越来越复杂，一些特殊的应用，比如视频会议、p 电 话、远程教育等对当今的城e m e t 提出特殊的服务质量要求等等，这些都对网络 的设计、管理和应用提出严峻的挑战。耍设计、管理和利用好网络，必须要求 有效地获取性能特征方面的准确数据。而网络性能测量技术是准确而有效地获 取性能特征的唯一手段。然而网络的异构性、复杂性造成了网络测试与测量的 困难，因此网络铡爨、测试、监控与管理技术成为人们急待解决的难题。 现有的网络鼗测系统大都基于s m 伸( s i m p l en e t w o r km a n a g e m e n t p r o t o c 0 1 ) 。1 。s n 】p 由管理站( m a i l a g e m e n ts t a t i o n ) 和管理代理( m a l l a g 锄e n ca g e n l ) 两类实体组成。管理代理分布在路出器、交换机等关键节点上，管理本地的 m m ( m a n a g e m e n t h l f o r n l a t i o nb a s e ) 并啊应管理站的命令。管理站通过查询各个 管理代理的m 璎来获取整个网络的状态信息，因为管理站集中收集各个管理代 理的网络信息，在大型网络中容易导致管理站的性能和带宽过载瑚。在收集过程 中，网络信息会形成额夕 的网络流量。当鼹络监铡进程甓耍更多鲍网络信患和采 用更高的收集频率对，这部分额外的流爨对网络的冲击会更加明显，可能会严重 影响路由器的吞吐鬃和带宽利用率。 大型网络中的监测系统可以设计成三层结构“1 。中心管理站( c e n 仃a lm a n a g 啪 负责统计和分析整个网络瓣状态僖息，分散在网终中驰各个监控节点 ( m o l l i t o n gn o d e ) 完成本地网络信息的监控和管理。在中心管理站与监撺节点 之闻设置一魃收集节点( a g 孽e g 繇n gn 。d e ) 蛳，每个收集节点受责查谒和收集一 部分监控节点的信息，并把这些信息发送到中心管理站。收集节点只负责收集邻 近节点的信息，从焉有望减少流量和带宽濮耗；中心管理站只需要处理收集节点 辑托大学信息科学与技术学貌颈士研究生论文2 球网络流量测量技术研究与实现 发送过来酌信息，从而也可减轻性能负担。当网络发生变化对，只需增加和变更 部分收集站就能保持对全网的监测能力，因此三层监控结构具有很好的可扩展 性。 l 。2i p 网络测量的意义 分析当前瑾网络测量技术的研究现状，为了解决网络流量猛速的发展，研 究m 网络测量有以下几个方箍意义： ( 1 ) i p 网络性能监控的需要 网络测量为网络开通后提供性能捡验、考核指标的手段，为网络工程提供 验收依据，为网络运营提供寅时或阶段性性能监控工具；通过测量可进行网络 诊断，如发现网络瓶颈节点或链路，确定镜像服务器的位置，有效配置资源， 为网络规划、改造、及时解决性能闽题提供参考和依据( 如，若检测到w c b s e r v e r 处于拥塞状态，可以使用负载均衡策略来进行处理：发现网络瓶颈，通过扩容 予以解决等) ，通过网络流( f l o w ) 的测量可提供计费依撼薅等。实测的数据更具 有真实性、代表性，更能反映网络的真实状况。 p 网络服务质鬃的提高依赖于从应用层、传翰层、鼹络层，甚至链踌层、 物理层的菇同努力，用户往往关心应用层面的q o s ，但各层的q o s 机制驻相交 镄、影响，相互作用，其策略、参数配置都必须以网络、臀户、应用的实际特 征( 属性) 、运行规律( 如业务量特征，用户行为模式，控制机制对流量的影响等) 为巍接依据，而这些数握主要靠测量获得。 ( 2 ) 礤网络安全评估、入侵检测与防护的需要 网级荧念是罱户秘l s p ( h t 锄e ts 湃e r c ep r o v i d e r ) ，a s p ( a p p l i c a t 沁s e f 哦c e p r o v i d e r ) 考虑的首要问题之一，借助予端口扫描等手段对网络进行脆弱性分 柝( v u h e r 3 b i l i 母a n a l y s 淘，熊锼网管人员及时蠢漂於缺，合理配置防火壤及网 络参数，制定相应的安全策略，在入侵还没有发生前尽嚣杜绝它。然而，没有 绝对的安全篷垒( 极窍可能从内部攻酸) ，捡测嬲络是否被健方探测、识别探测 西北大学信息科学与技术学貌颈研究生论文 p 网络流量测量技术研究与实现 者身铨和探测意图( 繇入侵检测，溉i o n d 咖蛀咖是蹈络安全领域弱另一个黧 要闯题，入侵检测实际上是网络测量与及钡4 量斗争的过程。 网络入侵一般是由予：系统固有的安全漏洞；合法工具的滥用( 如p a c k 吼 s i l i f r ，r p o r t s c a n 等) ；不正确的系统维护措施：低效的系统设计和检测能力。 对网络入侵的防范措施，可利用网络测量的各种手段进行：分析用户、操 作系统、路由器、数据库，判断有无入侵活动( 基于主机) ：对分组实时监控， 进行分组分析，接获分缎首都藏内容，进行分橱判叛是否受到攻击( 基于网络) 。 而这些都建立在对网络长期观禊4 所获得的正常行为、异索行为及其动态变化模 式的基础上。此外，为了定位攻击源需要进行反向跟踪( 母t r a c e b a c k ) 。所卷 这些都离不开网络测量的支持。 ( 3 】研究网络新技术的需要 网络测量为q o s 控制技术如：资源预约协议( r s v p ) 的接入控制、拥塞控制 技术提供了定量选释参数的依据。实验测量和行为规律分析也可以对协议的设 计提供参考。以蘸t c p 拥塞控制技米所采龌的参数往往是根据箍单豹推理或缝 理论的演算得到的，通过测量和行为指橼的分析可以使选择的参数更适应实际 网络的运行规律。又如为实现q o s 而采取的流量整形机制，首先需要按派元组 ( 源p 地址、目的口地址、源端口号、目的端口号、协议类型) 对业务流进行分 类，这就涉及到捕获分组头的问题，即被动测薰。 新一代的网络设备，如路由器在硬件体系结构上仍然采用硬件转发模式和 交换网络结构，在关键的p 转发和业务漉程处理土采用了可编程的、专为臻 网络设计的网络处理器技术，替代了原来的a s i c 技术，透过软件来控制处理 流稷。对于一些复杂的标准的操作( 如路由表查找算法、q o s 的拥塞控制算法等) 则采用硬件协处理器来提高处理性能。实现软件业务灵活性和高性能硬件转发 的有机结合。由于其有了业务灵活性，因此可以把近些年发展起来的m p l s 搜 术、v p n 技术、q o s 技术、流量工程技术、可控组播技术、用户管理技术等诸 多技术融合进来，成为拥有业务灵活能力的高性能网络设备，基于网络测量掌 醛北大学信惠科学与技术学院硕士研究生论文 4 m 网络流擞测量技术研究与实现 握腰瘸络及其业务特征可以使这些新技本达到最佳翡运用，使设备工 笮农最佳 状态。 ( 4 ) 网络管理的有力於充 计算机潮络的曩太发展，促进了瓣络管理研究的发展，从箍j | f | | 激了对网络 测量的需求。过去的集中戎两络管理缺乏伸缩饿、灵活经，滩以适应弼络规模 和复杂憔的飞速发展，分奄式网络管理成为个重要的研究方囱。这髓技术包 括：使弼分布式处理技术( 鲡基于c o r b a 、慕予w e b ) 的嗣络簧瑗：基于移动代 理g 证o b i l ea g e n t ) 的瓣络管瑗；豢予主动瓣( a c i v en e 撕。韵的网络管理； t i n a 订e l e c o m i n f o 眦a t i o n n e 坩o r ka r c 醯e c 啮e 、等。弼络管理技术促进了瓣络测 量技术豹簪 究，研究网络测蟹的体系绪构、枫瑗、方法时，可以借鉴网管的体 系结构及相关技术。反过来( 蘑实上) 嘲络溺量又是网络管理的基础，满予网管 基磷性的研究范畴，也是现有网络管理技本的强有力的蓊充。 1 3 王p 网络测量研究现状及难点 国外在网络测量方面起步较早，自从互联网开始兴起时就己开始，有许多 科研机构、大学、学术团体和企业组织了网络测量的研究。 自从美阐国家科学基金会n s f 在二十世纪八十年代中期确立它的网络计划 以来，离质鼙的访问因特网对教学、科研班及日常的生活都起蓑越来越重要的 作用。但这些年来，因特嘲变得越来越复杂，即使是经验丰富的网络正穰师对 数姑传输服务的路径、可靠性和性能等也只能霄一个非常模糊的认识。没有准 确的i n t e m e t 性能方面的数据，以及收集和分析这些数据的有效工具，教育、科 研机构，以及其能需要这些性能数据的用户或组织，就很难对网络的建立、管 理和应用等作出正确决策。 为了解决诸如此类的问题，h l t 锄e t 工程任务组腰t f ( i n t 锄默e n 癍n e 碰n g 协kf o r c e ) 专门成立了一个坤p m ( mp e r f o r n l a n c em e 啊c s ) 3 工作组，专门负责 发展一套用于衡量h l t e r n e t 数据传输服务的质量、性能、w 靠性等方面的度爨标 嚣j e 大学信息科学肇技术学院硬士研究生论文 5 口网络流量测量技术研究与实现 准。同时许多组织、团体、机构或公司纷纷建立了它们的测量项目。 近些年来，许多大型研究项目组和研究人员在网络测量领域已经开发出了 很多测量系统。美国在1 9 9 2 年开始着手h l t e r i l e t 特征的研究。其中比较著名的 项网包括u cb e r k e l e y 的科学家们对i n t 哪e t 开展的两次长达三个月的大规模 测量，其改进平台n d m 已经广泛设置子许多国家，产生了非常深远的影响n 嬲。 i e p m ( h l t e m e te n d t o e n dp e r f o r n l a l l c em e a s u f e m e n t ，i n t e m e t 端到端性能测量) 主 要来监视王n t e m e t 上的端到端性能“；弹m a ( h l t e m e tp e r f o n a n c em e a s u r e m e m a n da n a l y s i s ，i f l t e m e t 性能颡4 堂和分析) 主要研究局域网和广域网环境中的湖络 性能和网络协议。 m o a to fn l a n r 似e a s 擞饿锄t o p e r a t i o n sa n a l y s i sk 锄o fn a t i o n a l l a b o r a t o r yf o r a p p l i e d n 脚o r k r e s e a r c h ) “”：主要研究高性能网络的行为特征， 并开发了一个网络测爨平台。测量平台研究核心主要由两个项目组成：被动测量 分析项目组p m a 口a s s i v em e a s 。e m e n ta n da n a l y s i sp r o j e c t ) 和主动测量测量项 目缝趟衄( a c t i v em e a s u f e i n e n tp r o i e c t ) 。p m a 在测量点被动攘获数据包，分辑 数据包头得到负载信息；御衄项目的目的是为了增强参与站点和用户对高性能 踺络运行情况的理解，帮助隧终雨户和服务提供巍分析闻题。a m p 项目使飕翦 测量工具有p i n g ，t r a c e r o u i e 等，测量包括：端到端的r 1 阿，包丢失、拓扑以及吞 吐量等性能指标。 s u r v e y o r 是一个能够在i n t e m e t 路径上测量单向延迟，包丢失和路由信息的 测量体系结构“ 其德项目还包括n i 。a n r “6 1 朗s 蛾位c a d a ) “”。除美晷外， 其他豳家也展开了对妇e m e t 的大规模测量和研究，如：加拿大的t 耻删网 终监榄( 主要目的是慰国家h e 糟e t 路径上的丢惫情况和路囊特征进行测量) 和新 西兰的w 射m 憾k a l oa p p l i e dn e 似o r kd y n a m i c ) w n s ( w a i k a t oi n t e m e tt r a 历c s t o r a g e ) ( 主要曩的是创建用于统计分柝秘创建模拟模型豹k t e m e t 流星模型) 等。 欧洲于1 9 9 5 年也展开了对i n t e m e t 的测量。其中p p n c g ( 粒子物理网络协作组) 是在这方瑟傲锝较为成功豹一个组织。 瑟托大学信意科学与技术学院硕士研究生论文6 口孵络流量测量技术研究与实现 吼e m e t 2m e 嬲u r e m 吼tw j r k i n gg r o u p ”：正在开发一个i n t 锄e n t 2 的分布式 测量平台。该平台将用来分析端到端的网络性能，研究q o s 性能特征等。并采 用n c t f l o w ，m r t g ，s n m p 等技术提供每天，每周，每月及每年的流量和性能 分析报告。 圈内清华大学提出了大规模互联鼹络性能监控模型u p m ( l a 端es c a l e k t e m e tp e r f o f i n a n c em o n j t o rm o d e l ) ，借鉴了i s o ( 弧eh l t e m a 畦0 n a l 0 r g a n i z a t i o n 矗xs t 姐d a r d i z a t i o n ) 豹层次结构思想，将整个模型分为数据采集、数 据管理、数据分析、数据表示四个层次，融汇了t m n ( t e l e c o m m u n i e a t i o 建 m a n a g e m e n t n e 脚o r k ) 在对象管理方谣的方法，易于实现和维护。殛安交通大学 提出了互联网应用性能测量系统n 艘m 衅e 哺o r ka p p l i c 烈i o np e r f o 玎n a n c e m e a s u r e m e n t ) ，提出了应用探针和区域搽针豹分布式体系结构“”。 随着网络性能测试的研究与发袋，谗多公司、组织或强体等- 开发出大量的 鼹络性能测试方嚣的王昊，其中应用或电子襄务方蘧豹有c o m p u w i r e e s c o p e ， o p t i m 8 la p p l i c a t i o ne x p e r t ，c l e v e 哟o l sw 曲b o y 等；带宽吞吐量方匿豹有b i n 舀 c l i l l k ，n e 瓣瞒n e t t i 】蕾p 如c h 嫣p c h 瓯甜e n o ，l f c p 勰d | l 铷p 等；延遴方瑟“1 的有 p i n 舀即i n g ，i h c 印遮g 等；连接的利粥率方匿豹有母秘& 乞i b p c a p 等。 蛩弼络测爨中的一些难点蠲题8 ”： ( 1 ) 摇扑准确度。单点测量因为测量能力有限，搜集的信息不全面；分布式 多点测量，尤其是多点主动测量，利惩多个探测点取到的数据，能够综合出大规 模的网络数据帮单点得不到的交叉路由信息，可以提嵩测量的准确度。 2 ) 网络额外负荷。由于h t e m e t 是一个不断交亿的庞大两络，网络测量要其 奄一定的实对性，并且要尽量降低这种大规模测量新带来豹额外网络负载，与探 测点艴数匿和探测豹周期有关。 ( 3 ) 易于维护的测量体系结构。随着时闯的推移，网络测量将不断扩袋、升级， 所以，在设计实施之初簧充分考虑铡爨体系的可扩展性、可裁减性及兼容性。可 扩展的测爨策略允许雳户在溺量范围扩大或减小的情况下，只傲简单配鬣就能 西北大学信息科学岛技术学院硕士研究生论文7 口网络流囊测登技术研究与实现 保证整个系统正常运行。 ( 4 ) 系统容错性。保证系统具有良好的容错性，系统运杼中断后能够从断点处 继续执行，丽不必对已测量过豹探溺医标重复送弦测量。 ( 5 ) 测量结果可视化。在测罴结果的可视化阶段，由于数据规模的原因，如何 在全西 嚣客观地显示库中懿数据的蔫提下保证鬟有良好的视觉效果，是一个主 要问题。在逻辑连接图中，由予在攘扑图中，点、线数爨多且分布位置不确定， 在绘制过程中会出现点线重叠、主次不分的“熬麻”现象，因此需要提高数据分 柝和图的生成速度。 1 4 论文的结构 本论文分为五章，主要内容如下： 第一章：介绍了登鄹络溺爨研究背景、意义、现状班及测量的难点。 第二牵：讨论了基予流的球网络流最采集方法，采集方法的比较，采集数据的 粒度控制以及p 瓣络性能测量标准。 第三章：介绍了拓扑发现豹几种方法，慕于s 棚旧协议的网络层拓扑发现的方 法，利用霹络路由搜索算法帮相关协议来获取网络中路由设备的路由僖息，然 后利用获得的路由信怠构造出网络拓扑图。 第霜章：论述了基于n 】疆的分布式网络流量溺薰系统的设计目标。系统开发技 术和开发环境，系统的设计与实现，系统实现中的关键技术研究。 第五章：论文的主要贡献和下步的王作。 嚣北大学信怠科学与技术学院硕士研究生论文 8 口网络流量测量技术研究与实现 第二章基于流的i p 网络性能测量研究 2 1 基于流的i p 网络流量测量的意义 网络流量：单位时间流过菜段网络或者某台机器的数据的多少。基于流的 网络的流量就是单位时间流过某段网络或者某台机器的菜条网络濂的数据的多 少。所谓流是被人为定义为被蹴测的数据包组。 鼹络流量测量的意义：网终的流量特性是湖络设计和性能分橱中赝必须考 虑的个重要因素，在网路协议设计、性能优化和网络设备研究等方面起了至 关耋要舱作用。具体袭现如下： ( 1 ) 可使网络管理更有效： ( 2 ) 可用予网络容量的援划和改进网终的设计； ( 3 ) 可用于衡量一个网络的性能； ( 4 ) 可用于诞实网终的服务废量和耀户黪网络程用壤况； ( 5 ) 可用来得到带宽的利用信息； 6 ) 可质于进行网络性能的黢测； ( 7 ) 可用于记费系统中记费； ( 8 ) 可焉予流量模型研究联仿真； ( 9 ) 可用于新的协议和算法的研究和开发； 基于流豹网络浚罴溯量除j ，具有普通豹露络流量测量的意义外，还9 2 够提 供每条具体网络流的流量数据的优点，能够为每条网络流的网络服务提供相应 豹濂量数据从露使该湖络漉的服务得到改善。 流量指标主要分为单个流( f l o w ) 流量指标和汇聚流的流量指标。在p 网络中 一般使用协议、源坤地址、尽标p 地垃、派端口号( p o n ) 以及霾的螭口号五元组 来定义数据流。单个流流量指标体现端到端流量性能，主要包括：连接起始时间、 连接结束时阁、连接持续时闻、发送数据包速率、发送数据包大小分布、服务 嚣镌大学信息科学与技术学院硕士研究生论文9 球网络流量测量技术研究与实现 类型、源目的a s 等，r f c 2 7 2 2 定义了流的属性集合。单个流流量指标主要用于 设计实现离效应用、理解用户行为和实现多种方式计费。汇聚流流量测量不需 要了解单个流的性质，主要测量多个漩叠加质在链路上表现的总体性质。汇聚 流流量指标包括：链踌路径流量时间分布、扔议分布等。汇聚漉流量指标主要用 于网络的规划设计、接入控制、路由策略、流量均衡、a s 之阅流量等。 由于h 蛀e m e t 网络的异构性，要怼口刚终进行存效的测量，需要设计的滚l 量系 统具有可扩鼹性、通用性、可靠性，避免较强的针对性和局限性。 2 。2i p 网络测量方法和工具 网络测量的分类标准有多种。根据测量的方式，分为主动铡量和被动测薰； 根撼溅量点的多少，分为单点浏蹙与多熹浏薰；根据被溺量者知情与否，分为协 作式测量与非协侔式测量；根据；舞| | 鲞所采用豹协议，分为基于b g p 协议的测羹、 基于丁c p i p 协议豹溺璧以及基予s 嗍p 协议的测量；根据测是的内容。分为拓扑测 霪与性能测量。 檄据对i p 网络性能涌鬟方式的不同，最常觅的测量方法有两类：主动测量 和被动测囊。这两种方法的作用和特点不同，可以檑互作为补充。 2 2 1 主动测量方法 主动测量是在选定的测量点上利用测量工具商目的地主动注入网络，并根 据测量数据流的传送情况来分析网络的性能。主动测最的优点是对测量过程的 可控性比较高，灵活、机动，易于进行端到端的性能测量；缺点是注入的测量 流量会改变网络本身的运行情况，使得测量的结果与实际情况存在一定的偏差， 而且测量流量还会增加网络负担。主动测量在性能参数的测量中应用十分广泛， 嗣前大多数测量系统都涉及到主动测量。要对一个网络进行主动测量，需要一 个测量系统，这种主动测量系统一般包括以下四个部分：测量节点( 探针) 、 中心服务器、中心数据库和分析服务器。有中心服务器对测量节点进彳亍控制， 由测量节点执行测量任务，测量数据由中心数据库保存，数据分板则由分攒服 话北大学信息科学与技术学院硕士研究生论文l o 坤网络流量测薰技术研究与实现 务器完成。 到目翦为止，人们所傲的大多数项毽都涉及到主动测量。比如，美国的 n 蹦i f n a 蛙o n a l 酗t e m e tm s u 碍m 船tl n 妇s 扫1 l c 项目托”，稠用p 妇舀t r ：a c e 啦e ， m 协a c e 等工具进孳亍主动测量；j 嗵仔( a c t i v cm e 豁u r e m e n 圭p r o 辨哺) 矮嚣，采用p 融g 进行双向测量，澳4 量r 1 盯、丢镪零和据季卜。截止剩2 0 0 0 年6 月，运行主动测爨 簸视器的源站点有1 1 6 个( 美国1 1 4 个，新谣兰、挪威各1 个) ，被溪l 量的目的站点 约饔1 3 3 4 0 个。其匿的是为了增强参与站点秘用户对寒性能鄹络运行情况的理 解，帮助网络黑户移提供商分析闽题：s u r v e y o r 。o 起一个建立在全球参与站点主 的测最平台，部分由辩s f 支持。s l l 】n e y o r 测量瓢t e 黼e t 的路径糗能，包括单向延时、 损耗、路出测鬃等，并磷究相应豹分析方法与工具。设有5 5 个监凋点，在1 8 8 3 条路经上述彳亍荦向辩延测量；依托予u c s 到s d s e ( u n i v o r s 泠o fc a l i f o 嘶a ，s a n d i e g o ，s u p e r c o m p u t e rc e n t e r ) 的磷究部门c a i d a 2 “( c o o p c r a t i v ea s s o c i a t i o nf o r 抽把m e td a t aa n a l 粥i s ) ，开展阏络测量、分析、可税佬工具豹研发，维护全球嚣特 网平台的健壮性和可扩放性，受到n s 擎( n a t i o n a ls c i e n c e u n d a t i o n ) 、 d 剐抻a f e n s ea d v 髓c e d 廷e s e a r c hp f o j e c t sa g c n c y ) 、i s p ( 融t e r n e ts e r v i e e p r o v i d e f s ) 和硬件供应商的资勃，研究对象包括i n t e m e t 拓扑结构、随络负载、网 络挂能、网终潞由，监测正异常活动，关注带宽估计，负载刻画，长期趋势识剐， 以进行流薰工穗设计、能力计划、安全迹象检测，等等。加拿大强家研究机构使 焉p 醚s c r i p t 跟踪对惚珏秘畦f 感趣的节点。每1 0 分钟梭测一次丢包率，每天l j 芟 集4 次打a c 硪数据并生成网络可视化图，参见矾p ：w 删姒u m c a ；欧洲的 p p n c g ( p a 峨c l ep h y s i c sn e m o 瓜c o o r d i n a t i n g 酾u p ) 琐目，j | 矗褫全欧洲某魑粒子 物理研究所的网络端到瀑性熊，劳加以优化，参见 h t 肇：，i c 蠡髓o n r 1 a c 堪却p n c 醇i t l e h 缸t 1 1 在主动测鬣项目中，测量的范阐比被动测 量大褥多，可大到全球。 2 2 2 被动测量方法 被动式测燕方法的含义是记豢和分析网络的流量。这种方法不会给璃络增加 嚣托大学信息辩学与技术学院硕士研究生论文 球网络流量测量技术研究与实现 额鲐的受搀( da c c o 瀚t i n 舀n e t 壬w 等由互连设备执行的溺量是令铡步 ) 。暴然被 动式测量方法具有主动式测量方法无可比拟的优点，然而对于某贱行为指标， 被动式测量方法却无能为力。如：完整豹路由测鳖。被动式测量方法的另一缺点 是可能会涉及隐私和安全问题。由于h l t e m e t 上大多数数据传输是不加密的，因 此通过技动式测量设鍪是可以获取除性能状态之外的敏感数据的。这一闻题可 以通过采用t c p d p r i v 域其它类似的程序来缓解，t c p d p r i v 可以删除或搅乱( 可配置) 截获豹数据镪中的菜犊数据，细吴钵的传输信息。 被动测量是指在链路或设备( 如路由器，交换机等) 上利用测量设备对网络进 行盗测，两不需要产生多余流量的溺鳖方法。被动测量的优点在于理论上它不 产斑多余流量，不会增加网络负担；其缺点在于被动测量基本上是基于对单个 设备的箍测，缀难对稠络端到端的性能进行分析，并且可能实对采集的数据量 过大，另外还存在用户数据泄漏等安全性和隐私问题。但是被动测量非常适合 用来进行流薰测量。 在被动测量方式中，记录网络活动的探针被接入到网络中，在大多数情况 下搽针接到网络节点之滴的连接上，汇总和记录那条连接上业务流量的信息。 目前开展的被动测量项目有：受美国国家科学基金会n s f 资助的美国应用网络 研究国家实验室( n l a n r ) 的测爨项目孙似p a s s i v em e a s u r e m e ma n da n a l y s i s ) ， 旨在为高级网络( 如v b n s ，a b l i e n e ) 提供协作性的服务支持。它采用o c3 m o n 数 据搜集系统，包括专门的祝群系统、装有f o r ea t mc a r d s 和o p t i c a ls p l m e r s ( 分 光器) ，采集a r i m 的数据流，使用c o r a 瓜f 根据一定的规则集进行数据采集， 并可使用p e r l 等语言对数据进行分析，参见h 唧：，f m o a t n l a n r t l e 蛔e r k c r l e y u m v e r s i t y 和m m 共同开发的s p a n d ( s h a r e dp 髂s i v en e 柳o r kp e r f o 衄a n c e d i s c o v e 叻项目，它逶过对捕捉到的u d m c p 分组进行分析得到连接带宽、丢包 率等性能等等。被动测量主要在一个特殊点观察网络的行为，不增加和修改透 过溺络的数据负载，霸此对弼络豹行为没有影响。这种方法能够达到对观察点 网络彳亍为的理解