（通信与信息系统专业论文）基于xscale的分布式网络测量探针的研究与实现.pdf

捅姜 因特网已经渗透到社会生活的各个角落，人们充分享受着i n t e r n e t 技术带来的 快捷与便利。在网络运行中，系统运营商和维护商都迫切需要一款合适的仪表， 辅助监测网络状况，定位网络故障。本文正是在这种背景下讨论了分布式网络测 量的基本结构，研制了分布式网络测量探针基础平台，为网络测量提供了良好的 基础。 本文首先详细介绍了测量探针硬件平台的设计，着重研究了x s c a l e 处理器最 小系统的设计及高速信号的p c b 布线方法，并成功实现，保障了探针平台的稳定 运行。其次设计了探针的底层软件平台，针对探针特点，开发出了专用的引导程 序，并采用开源的嵌入式l i n u x 操作系统和c r a m f s 文件系统，完成了底层软件平 台的构建。 本文还研究了测量探针数据管理技术，提出了基于嵌入式数据库s q i i t e 构建 探针上层软件平台的方案。这种全新的软件架构，为大规模的数据存储和管理提 供有力的工具。在此基础之上，完成了数据库在探针平台上的移植工作以及数据 存储和查询模块的开发，解决了网络测量应用程序和数据库之间的数据传送问题。 论文还对s q l i t e 的性能做了研究和分析。经过系统调试和运行，结果证明该测量 探针的设计方案切实可行。 最后，总结全文并提出值得进一步研究的问题。 关键词：d n m a i 探针x s c a l e 嵌入式l i n u xs q l i t e a b s t r a c t t h ei n t e m e th a sa l r e a d yp e n e t r a t e de a c hc o r n e ri nt h es o c i e t y , p e o p l ew e l le n j o y t h es p e e d i n e s sa n dc o n v e n i e n c eb r o u g h tb yt h ei n t e m e tt e c h n o l o g y w h e nn e t w o r ki s r u n n i n g ，i n t e r n e ts e r v i c 宅塔p r o v i d e r a n dv i n d i c a t o r u r g e n t l y n e e dan e t w o r k m e a s u r e m e n td e v i c et om o n i t o rt h en e t w o r ks t a t ea n dl o c a t et h ep o s i t i o no fn e t w o r k e r r o r i nt h i si n s t a n c e ，t h i sp a p e rd i s c u s s e sd n m a i ( d i s t r i b u t e dn e t w o r km e a s u r e m e n t a n da n a l y s i si n f r a s t r u c t u r e ) ，d e v e l o p sap l a t f o r mo fd n m a im e a s u r e m e n tp r o b e ，a n d p r o v i d e ss t e a d yf o u n d a t i o nf o rn e t w o r km e a s u r e m e n t a tf i r s t ，t h ep a p e rp r e s e n t st h ed e s i g no fh a r d w a r ep l a t f o r mi nd e t a i l ，p a r t i c u l a r l y d e s c r i b e sh a r d w a r ed e s i g nm e t h o do ft h em i n i m a ls y s t e ma b o u tp x a 2 5 5a n dt h ep c b l a y o u to fh i g hs p e e ds i g n a l t h es u c c e s s f u ld e s i g nm a k e st h ep r o b er u ns t e a d i l y t h e n t h eb a s i cp r o b es o f t w a r ep l a t f o r mi sa l s oi n t r o d u c e di nt h i sp a p e r a c c o r d i n gt oi t s c h a r a c t e r i s t i cas p e c i a lb o o t l o a d e ri sd e v e l o p e d ，t h ee m b e d d e dl i n u xo p e r a t i n gs y s t e m a n dc r a m f sf i l es y s t e ma r ea l s oa p p l i e d ，c o n s e q u e n t l yt h es o f t w a r ep l a t f o r mi s c o n s t r u c t e d t h et e c h n o l o g yo f d a t am a n a g e ri sr e s e a r c h e d ，a n dt h ec o n s t r u c t i o no ft h ep r o b e s a p p l i c a t i o ns o f t w a r ep l a t f o r mb a s e do ne m b e d d e dd a t a b a s es q l i t ei sa l s op r o p o s e d t h ed a t a b a s eh a sb e e np o r t e dt ot h ep r o b ea n dt h ed e v e l o p m e n to ft h ed a t as t o r a g ea n d q u e r ym o d u l e si sa c h i e v e d ，w h i c hs o l v e st h ed a t at r a n s m i s s i o nb e t w e e nn e t w o r k m e a s u r e m e n ta p p l i c a t i o ns o f t w a r ea n dd a t a b a s e t h ep e r f o r m a n c eo fs q l i t ei sa l s o r e s e a r c h e da n da n a l y z e d t h ee x p e r i m e n t sh a v es h o w nt h a ti ti sf e a s i b l ea n dw o r k s p e r f e c t f i n a l l y , t h ew h o l ep a p e r i ss u m m a r i z e da n ds o m ep r o b l e m st h a tw o r t hc o n s i d e r i n g a r ep o i n t e do u t k e y w o r d ：d n m a i p r o b ex s c a l ee m b e d d e dl i n u x s q l i t e 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 缉 日期塑丝! ! ! f 第一章绪论 第一章绪论 近年来，随着软件技术的发展，通信网络、计算机网络与有线电视网络逐渐 融合，使得p 技术获得了并将得到更为普遍的应用。i n t e r n e t 的飞速发展迫切需 要提高它的性能，人们需要良好的服务质量( q u a l i t yo f s e r v i c e ，q o s ) 、充分的 安全保证，i s p ( i n t e m e ts e r v i c e sp r o v i d e r ) 也需要加强对i n t e r n e t 的管理。同时 口网络技术的研究与发展需要了解网络的运行规律以及验证协议、算法、策略机 制的性能，这就使得系统研究p 网络测量这一基础课题成为必然而迫切的需求。 而且，随着i n t e r n e t 重要性的日益提高和网络结构的日益复杂，越来越有必要对 网络的整体拓扑结构和网络性能进行精确的测量和估计。各种新测量技术、新处 理器的出现又为网络测量提供了更好的方法。本论文研究了分布式网络测量系统 中测量探针的关键技术及实现方法。 1 1 论文的研究背景 随着网络规模的高速发展，以及语音和视频等实时业务和多媒体应用的普及， 互联网的控制机制和行为特征越来越复杂和难以理解。因此，为了更深入地认识、 了解互联网，提高网络服务质量，对网络结构进行更好的规划，需要对网络进行 多方面功能的测量。 同时，随着i n t e m e t 呈爆炸性地增长，无论是互联网服务提供商，还是网络 用户，都经常会遇到网络拥塞和服务质量低等一系列问题，加强网络管理和改善 网络的运行情况已成为当务之急。因此，网络测量与分析一直为人们所关注。为 解决这一问题，人们需要建立一个稳健的网络测量体系。网络测量算法研究和网 络测量仪器研究是建立该测量体系的基础。 网络测量是指通过收集数据或分组的踪迹，以分析不同的网络应用在网络中 的分组活动情况的技术，它是对网络进行有效管理的前提。网络测量近年来获得 了广泛的关注，在测量方法和测量体系结构方面上取得了一定的成果，具有特定 功能的测量工具【1 】也应运而生。 在2 0 世纪9 0 年代初期就有人开始研究因特网的测量。在国外，互联网性能 监测已经非常发达。1 9 9 5 年美国科学基金会( n s f ) 系统地进行了因特网通信量 的较大规模测量。1 9 9 6 年初，美国应用网络研究国家实验室( n i ，a n r ) 在n s f 支持下召开了有关因特网统计与分析的研讨会i s m a t 2 】后，依托于美国加州大学 圣地亚哥分校超级计算中心的因特网数据分析合作组织( c a i d a ) 【3 】，对网络测 量的相关理论和方法展开了系统性研究。i e t f 也成立了专门的工作组i p p m 来制 定网络的运行参数【4 j 。从此之后开始有许多网络服务提供商和大学里的网络研 2 基于x s c a l e 的分布式网络测量探针的研究与实现 究机构相继成立了一些网络性能测试工程，并形成了自己的测量平台。 这些测量平台或项目包括：美国国家应用网络研究实验室n l a n r 开发的网 络分析基础结构n a i ( n e t w o r k a n a l y s i si n f i - a s t r u c t u r e ) 1 5 j 、美国国家科学基金n s f 和d a r p a 资助的国家i n t e r n e t 测量基础框架( n 蹦i ，n a t i o n a li n t e r n e tm e a s u r e m e n t i n f r a s t r u c t u r e ) 【6 】、i n t e r n c t 数据分析合作组织( c a i d a ) 提出并实现的s k i t t e r 和 c o r a l r e e f f 7 1 、w i s c o n s i n m a d i s o n 大学的p a u lb a r f o r d 提出的g i m i ( g l o b a li n t e m e t m e a s u r e m e n ti n l 臣a s t r u c t u r e ) i s 】、s u r v e y o r 项目例、r i p e r i s ( r e s e a r c hi p e u r o p e r o u t i n gi n f o r m a t i o ns e r v i c e ) 项引1 0 】等等。 在国内，西安交通大学提出了互联网应用性能测量系统n a p m ( n e t w o r k a p p l i c a t i o np e r f o r m a n c em e a s u r e m e n t ) 1 1 】，提出了应用探针和区域探针的分布式 体系结构。清华大学提出了大规模互联网络性能监控模型l i p m ( l a r g es c a l e i n t e r n e tp e r f o r m a n c em o n i t o rm o d e l ) 0 2 ，借鉴了i s o ( t h ei n t e r n a t i o n a lo r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ) 的层次结构思想，融入了t m n ( t e l e c o m m u n i c a t i o nm a n a g e m e n t n e t w o r k ) 在对象管理方面的方法，易于实现和维护。 目前这些测量框架有以下不足之处：缺乏面向应用需求的测量与分析方案的 定制系统；分析方法不足且比较零散，没有系统化地加入到体系结构中；测量的 项目主要限于时延、丢弃率、吞吐率等性能指标，没有考虑其它应用需求，如入 侵检测，脆弱性度量等。 目前，国内还尚未具备网络测试仪器的核心技术，主要产品基本都由国外公 司研发，许多公司推出商业化的测量产品，如a g i l e n t 的f r a m e s c o p e3 5 0 【l 引，f l u k e 的网络测试仪s u p e r a g e n t 1 4 】，s p i r e n t 公司的s m a r t b i t s 6 0 0 0 1 5 】，a n r i t s u 的i pn e t w o r k a n a l y z e r t l 6 】等。国内一些科研院所对网络性能测试的研究，主要还停留在网络性 能测试方法的讨论和研究，均未形成产品。目前市场上现有的便携式网络测试仪 器只关心物理层连通和往返性能测试，不具备网络性能分析等高级测量方面的功 能。 在这种情形下，西安电子科技大学网络测量研究室提出一种分布式网络测量 与分析基础架构( d i s t r i b u t e dn e t w o r km e a s u r e m e n ta n da n a l y s i si n f r a s t r u c t u r e ， d n m a i ) 1 8 】，模型采用层次化模型，强调了根据用户需求定制测量与分析方案的 能力，注重模块化、可扩展设计，并完善了分析方法和应用场景，可灵活组织单 点或分布式测量。本论文的网络测量探针基于d n m a i 模型，而且既能够作为分 布式网络测量探针使用，也能单独完成一定的网络测量任务。 1 2 研究的主要意义 口网络规模和用户数目的不断扩大，给其运营、维护和管理提出更高的要求。 第一章绪论 同时，掌握p 网络的运行规律，对网络设备和协议的研究发展也具有重要意义。 因此，本项目的网络测量探针的研制成功，具有重大意义。 网络测量体系结构的完善，以及与之配套的网络测量探针将成功运用于以下 几个方面： ( 1 ) 网络测量是现有网络管理技术的有力补充 如通过网络测量建立网络的业务模型( s e r v i c em o d e l s ) 管理网络，也可提供 对s l a ( s e r v i c el e v e la g r e e n a e n t ，服务等级协议) 的管理。又如通过测量发现并 改正病态路由，对网络选路制定策略，在网络破坏后自组织网络资源等。检测网 络是否被他方探测、识别探测者身份和探测意图( 即入侵探测，i n t r u s i o nd e t e c t i o n ) 是网络安全管理领域的重要问题之一，实际上是网络测量( 探测) 与反测量( 探 测) 的斗争过程。 ( 2 ) i p 网络的优化和性能监控 网络测量为网络开通后提供性能检验、考核指标的手段，也为网络规划建设 提供设计依据和借鉴；为网络运营提供实时、阶段性的性能监控工具；通过测量 可进行网络诊断，如发现网络瓶颈节点或链路，为网络改造、及时解决问题提供 有力的工具；通过网络流( f l o w ) 的测量可提供计费依据。实测的数据更具有真 实性、代表性，更能反映网络的真实情况。 ( 3 ) 获得大量实测数据 根据测量收集的数据还可应用于许多问题的研究，如通过测量数据可以研究 网络的业务模型，这对于建立网络的数学模型、研究网络性能和稳健性、网络流 量工程( t r a f f i ce n g i n e e r i n g ) 及网络仿真具有重要意义。 ( 4 ) i p 网络安全评估、入侵检测与防护 网络测量探针借助于端口扫描等手段对d 网络进行脆弱性分析( v u l n e r a b i l i t y a n a l y s i s ) ，能使网管人员及时查漏补缺，合理配置防火墙及网络参数，制定相应 的安全策略，在入侵还没有发生前尽量杜绝它。 ( 5 ) 新业务对网络影响的评估 网络测量为q o s 控制技术如资源预约协议( r s v p ) 的接入控制、拥塞控制 技术提供了定量选择参数的依据。实验测量和行为规律分析也可以对协议的设计 提供参考。为判断现有城域网上各种新的增值业务( 如m p l sv p n 、v o l p 、m u l f i c a s t 等) 的服务质量，通常需要采集针对应用层的一些指标( 如延时、会话建立数 成功数等) 。运营商计划在骨干网及城域网上开放新业务之前，也十分有必要在网 上以发送模拟测试包的方式，检验该业务对网络带来的冲击和影响，并验证现有 网络的服务质量是否符合业务开放的需求。 伴随飞速增加的带宽、实时和多媒体应用的普及、几乎持续地以指数规律增 长的规模，i n t e r n e t 的控制机制和行为特征也日趋复杂和难以理解。为了认识和理 4 基于x s c a l e 的分布式网络测量探针的研究与实现 解现代网络的行为特征和性能表现、保证和提高现有网络的服务质量、推动因特 网和信息基础结构的健康发展，有必要建立一套完整的网络测量体系。更进一步 讲，测量工具的出现也是大势所趋，以使网络用户和网络运营商对网络测量有一 个较为全面和深入的认识。 本项目的研究就是为了提供一个便携的网络性能测试工具，使其能够分析当 前i n t e m e t 的基本特性，直接为口网络的规划、运营管理、网络安全、设备的开 发和网络的发展提供支持。这主要体现在：一方面，它能解决网络实际运营过程 中存在的问题，快速排除故障。另一方面，通过长期监控，能够建立网络运行的 性能基准，对网络的优化提供重要的借鉴。 本项目的研发过程，走的是一条自主研发的道路，从测量体系架构，方案论 证、设计，到最终的实现完全依靠自主力量，本项目的研制成功，将使我国拥有 具有自主知识产权的网络测试仪表，为我国互联网络的运营、管理和维护提供强 有力的测量工具。 1 3 论文的研究内容 为项目所作主要贡献及论文完成的内容主要有以下方面： 1 详细分析了分布式网络测量系统中测量探针的功能要求，改进了原有嵌入 式网络性能测量仪的系统实现方案。 2 解决了原有网络测试仪需购买核心电路板的方案，自主设计了网络测量探 针的硬件平台，完成了原理图设计和p c b 布线工作。 4 完成了测量探针开发平台的硬件联合调试工作。 5 完成了基于x s c a l e 处理器的b o o t l o a d e r 和嵌入式l i n u x 操作系统的移植， 文件系统的构建，以及主要设备驱动的开发。 6 提出并构建了基于s q l i t e 数据库的网络测量探针的数据管理软件平台。 1 4 论文的组织结构 论文主要章节组织如下： 第一章介绍了课题的研究背景、国内外研究现状，研究意义，以及论文的研 究内容和主要工作； 第二章分析了分布式网络测量基础架构，针对该测量体系对网络性能测量探 针的功能要求，提出基本设计方案； 第三章研究了分布式网络测量探针的硬件设计与实现以及实现的关键技术， 详细给出了基于x s c a l e 处理器的系统硬件设计与实现；。 第四章叙述了分布式网络测量探针底层软件平台的组成，给出了启动引导程 第一章绪论 序设计、操作系统移植和主要设备驱动程序开发的详细过程； 第五章研究了s q l i t e 数据库在测量探针上的开发技术，在移植到平台的基础 上，提出了基于数据库的探针数据管理软件平台的基本架构，并给出了应用实例 与性能分析； 第六章在总结全文的基础上，提出了关于分布式网络测量探针值得进一步研 究的问题。 第二章分布式网络测量及测量探针的设计要求 7 第二章分布式网络测量及测量探针的设计要求 为进行大规模网络测量与分析，需要系统化地构架网络测量体系。谣安电子 科技大学网络测量研究室提出一种分布式网络测量与分析基础架构( d i s t r i b u t e d n e t w o r km e a s u r e m e n ta n da n a l y s i si n f r a s t r u c t u r e ，d 卜m 嗄a i ) ，采用了层次化的模型 和模块化的设计，易于扩展。与现有测量框架相比，d n m a i 强调了根据用户需 求定制测量与分析方案的能力，完善了分析方法和应用场景，可灵活组织单点或 分布式多点测量。在分布式网络测量体系中，网络探针是网络数据采集、网络数 据存储、测量网络性能指标的关键部件。本论文所设计的分布式网络性能测量探 针正是要作为分布式网络测量探针使用，来完成网络测量任务。本章首先分析分 布式网络测量架构，进而给出探针的初步设计方案。 2 1 网络测量概述 网络测量是指遵照一定的方法和技术，利用软件包或硬件工具来测试表征网 络性能的指标，获取网络拓扑结构、节点属性、业务量特征等一系列活动的总和。 网络测量可以借鉴物理学中测量物理量的方法。 网络测量包含以下三个要素f l7 j ： 测量对象t 被测量的节点或链路，测量节点、链路或网络的具体特征，如链 路的时延、吞吐率、丢包率，路由器的路由效率、时延、丢包率，w e b 服务器的 应答延迟、吞吐率、系统容量、最大稳定连接数等等； 测量环境：包括测量点的选取、测量时间的确定、测量设备、通信网络类型 等等； 测量方法：针对某一具体的网络行为指标，应选取合适的测量方法，测量方 法至少应满足：首先，稳健性被测网络的动态变化，不会使测量方法失效； 其次，可重复性同样的网络条件，多次测量结果应一致；再次，准确性 测量结果应能反映网络的真实情况，应有一定的可信度。 随着网络测量体系结构的不断完善，网络测量算法与工具的不断创新，产生 了许多网络测量技术分类，按不同的划分方式，有不同的分类。如按测量点的多 少划分，可将网络测量技术分为单点测量和多点测量。 所有这些测量技术必须满足结果重现性和连续性。所谓结果重现性是指在相 同的网络环境下( 相同的网络设施和负载) 不同的时刻采用该测量方法进行测量， 具有一致的测量结果。所谓连续性是指当网络环境具有微小的变动，采用该测量 方法得到的测量结果不应该有很大的变化。 基于x s c f l e 的分布式网络测量探针的研究与实现 2 2 分布式网络测量和分析基本架构 2 2 1 分布式网络测量的功能面层次结构 从功能面上看d n m a i 是一个数据工程，根据应用需求定制测量方案( 数据 采集) 、数据管理方案、数据分析与可视化方梨1 8 。1 9 1 ，图2 1 给出了d n m a i 功能 面层次图。下面简要描述： ( 1 ) 数据采集：包括主动探测、被动监控和设备网管数据的采集。对性能指 标( 如单向时延，瓶颈带宽，可用带宽，丢包率等) 的测量主要采用主动探测方 法( 如p i n g ，t r a c e r o u t e 等) ，主动探测易于控制，这里要根据测试要求定制探测 分组序列( 协议类型、分组序号、发送间隔、分组大小等) 。对业务量的测量主要 靠被动监控，通过关键设备的配置或分组捕获软件( 如t e p d u m p ) 来捕获数据包。 被动监控可以根据测试需求定制数据采集的粒度和需要监控的信息，以减轻网络 的开销。对于性能数据( 如吞吐量) 的获取可以访问设备的网管信息，但这需要 一定的权限。有的测量需要主动探测和网管数据的结合( 如拓扑发现) 。这些都可 以根据测量与分析的需求进行定制。 ( 2 ) 数据管理：对于主动探测得到的原始数据返回性能分析服务器之前需要 进行压缩以减轻网络负荷，为防止数据伪造除进行认证外还需加密。对于被动监 控得到的业务量数据在传向数据库前需要进行预处理，去掉冗余信息。主控站的 数据库服务器根据数据的类型采取相应的数据存贮、维护和检索策略。 ( 3 ) 数据分析：根据应用需求首先应研究如何定义行为指标，分析其包含的 因素，包括测量与分析方法、误差来源、测量单位、测量环境等。对于网络的整 体行为应从三个角度进行分析：( a ) 网络角度。通过在相应的节点及链路处设置 探针或从被管理节点的网管代理收集业务量数据和网管信息，同时发送探测分组 进行测试，对网络内部特征进行推算等方法捕获网络的总体和局部行为，如拓扑 结构、链路、端到端行为、协议应用情况和业务量的特征等。( b ) 用户角度。通 过采集用户数据，分析用户行为特征。i s p 能利用得到的信息来优化自己的网络， i c p 则可用来构建网络服务( 内容) 及合理设置镜像站点。大多数网络应用是由 用户驱动的，网络中的连接、会话呼叫到达过程，都与用户行为紧密相关，用户 开始上网的时间、网上逗留时间、因拥塞而改变访问网址或服务都对网络行为造 成影响。( c ) 从服务角度出发，将服务器系统和通信网络作为一个整体建模，考 查w e b 或e - m a i l 等服务系统的性能，分析模型参数对网络服务性能的影响。从用 户端或服务器端均可通过监测或主动探测考查服务系统性能。通过监测捕获的业 务数据可评估服务器的q o s ，发掘影响q o s 的深层原因，如不同的队列管理机制 和丢弃策略( w f q ，e d f ，s p 等) 对性能的影响( 而不是仅仅从端到端测量时延、 第二章分布式网络测量及测量探针的设计要求 丢包等参数来分析) 。此时注重考查的是应用级的行为( a p p l i c a t i o n - l e v e l b e h a v i o r ) ， 有许多不同网络级的指标和特征参数，强调对服务水平和服务等级协议( s e r v i c e l e v e l a g r e e m e n t ) 的考核。 图21d n m a i 功能面层次图 ( 4 ) 数据表示：采用图形用户界面g u i ，以直方图、二维、三维坐标曲线 扇形图、报表、矢量图、实物连接图等形式，直观形象的表示测量与分析结果。 222 分布式网络测量基础架构的构成模块 d n m a i 的框架及模块如图22 所示，它由主控站、监控站和测量探针三级结 构组成”。主控站负责接收测量与分析请求，并发出测量与分析指令，实现测量 与分析任务的调度以及结果的输出，并负责整个系统的管理。其中测量与分析请 求服务代理负责接收用户的测量与分析请求。在主控站，对测量和分析结果的存 贮、访问与维护，大部分采用数据库完成( 便于数据共享) 其它些采用文件方 式存贮( 考虑到灵活性，盘】探测软件配置参数的存放) 。测量、分析与结果输出方 案定制中心能根据用广的需求自动定制测量内容，选择测量探针和数据分析万法 并给出合适的输出结果，使用户能轻松获得所需功能。数据分析器实现探测结果 的分析、关联与表示。通信模块负责与监控站的控制和数据信息的传递。 监控站根据主控站的指令给待测主机( 用户) 或监控点发放测量探针软件， 以及进行探针软件的配置、升级，并管理探针和主控站的通信，在数据存贮以前， 对数据作必要的预处理( 包括压缩数据和加密) 等。探针配置模块根据方案定制 中心设定的参数对测量探针进行配置。探针包含两个模块，一个模块负责和监控 站通信，包括探测软件的调用、属性配置、状态监控、升级、探测结果封装等； 另一个模块执行探测任务。硬件测量探针是专n 殳计的性能测量仪器，只要与监 控站的通信接口符合d n m a i 的规定，即可随时根据需要增加。 l o 基于x s c a l e 的分布式网络测量探针的研究与实现 图2 2d n m a i 站点分布与模块图 本文设计的分布式网络测量探针就是专门的硬件探针，同时通过在该硬件平 台上扩展相应的软件，还可使其具有监控站的部分功能，可以直接与主控站配合， 完成网络测量任务。 2 2 3 分布式网络测量基本方法 网络测量是要对网络的状态进行测量。但是，网络状态并没有具体的定义。 事实上，网络状态是一个很抽象的变化量。由于网络终端以及网络的中间节点不 可能相互了解各自的准确性能以及当前的状态，所以网络的状态是一个隐藏的变 量。网络终端要想知道网络的当前状态，只有通过衡量发送和接收数据流的效果 来进行评估。这些数据流可以被认为是测量它们所经路径状态的检测数据包，但 是通过它们所得到的信息是不完全的并且误差也很大。因此，采用测量数据包进 行网络测量是很必要的。 网络测量的方法和技术按照测量的方式可分为两种【1 7 】：主动测量、被动测量。 主动测量可以引起网络部件的特殊响应，也可以用于观测网络的性能。主动测量 给网络增加潜在的荷载负担，特别是如果没有仔细设计使得该方法产生的流量最 小，那么附加的流量会扰乱网络，影响分析结果。被动测量需要在网络中的一点 收集流量信息，如使用路由器或交换机收集数据或者使用一个独立的设备被动地 监测通过被测量网络链路的流量。 按测量点的分布分为：单点测量、多点测量。大部分的网络测量都是分布式 的多点测量。如：n i m i 、r i p e 、n l a n ra m p 、p m a 、s k i t t e r 、i e p m 等都是分 布式多点测量。 按与被测网络的关系分为：合作测量、非合作测量。合作测量对网络运营者 来说，可以掌握网络的运行状况，找出瓶颈，业务分布情况等，以便有效的管理 网络、充分利用网络资源。非合作测量是指被测网络不乐意被别人测量，测量的 第二章分布式网络测量及测量探针的设计要求 1 1 目的是想了解对方网络的情况，这在军事上有非常重要的意义。 网络测量还可以分为单程测试和环回测试两种。单程测试是指探测分组在网 络的源端进入网络，在目的端输出，根据输出参数来评价网络性能。环回测试是 指探测分组在网络一端进入网络，到达目的端后转发回源端输出，根据输出参数 来评估网络性能。 网络测量的精度主要受测量方法或算法的影响，测量点的选择也很重要。多 点同时测量时，收发端的时钟不同步成为主要的误差来源之一。 对于非合作测量，由于网管的干预使得测量( 或探测) 的难度大大增加，防 火墙的安装、网络安全机制的应用、被探测方采取各种防探测的方法等等，这些 情况在测量时都应该考虑到。 本文所设计的网络测量探针也是考虑了以上因素，目前采取了主动测量的一些 工具来进行网络测试，如测量包丢失率、带宽等。并且提供了p i n g ，t r a c e r o u t e 等 工具。 2 2 4 分布式网络测量基本指标 参与制订网络测量技术指标的组织或机构有：i n t e r n e t 工程任务组( i n t e m e t e n g i n e e r i n gt a s kf o r c e ，i e t f ) 的i p p m ( i pp e r f o r m a n c em e t r i c s ) ，b m w g ( b e n c h m a r k i n gm e t h o d o l o g yw o r k i n gg r o u p ) ，r m o n m i b ( r e m o t em o n i t o r i n g m i b ) ，t 1 a 1 3 ，i t u ts g l 2 、s g l 3 等，此外i e t f 的p s a m p ( p a c k e ts a m p l i n g ) 和i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 也定义了有关的度量。在r f c 2 3 3 0 中给出 了p 性能指标框梨4 1 。该框架指出，测量的标准必须遵守以下定义标准： ( 1 ) 测量标准必须是具体和严格定义的； ( 2 ) 对该指标的测量方法必须是可重复的； ( 3 ) 测量标准必须是无偏的； ( 4 ) 测量指标必须具有区分性； ( 5 ) 测量指标对用户和运营商了解网络的性能必须是有用的。 p 网络是由节点、链路，运行于其上的协议以及各种应用组成，这里按照测 量对象可以将测量指标分为以下几类： ( 1 ) 节点性能测量指标，包括吞吐量、转发率、丢弃数、丢弃率、节点处理 时延。 ( 2 ) 链路性能测量指标，包括带宽、信道利用率、带宽利用率、链路的帧传 输延时等。 ( 3 ) 端到端测量指标，包括瓶颈带宽、可用带宽、时延、时延抖动、大批量 传输容量、分组丢弃率等。 1 2 基于x s c a l e 的分布式网络测量探针的研究与实现 ( 4 ) 网络测量指标，包括网络吞吐量、网络分组丢弃率、网络互连通性等。 ( 5 ) 网络协议测试，包括一致性测试、互操作测试、性能测试、稳健性测试。 ( 6 ) 网络应用测量指标，针对于网络应用的性能测试，主要用于特定的应用， 如w e b 应用，评价指标包括应答延迟、平均应答延迟、吞吐率、系统容量、系统 带宽、最大稳定连接数等。 在这些测量指标中，还有不少部分只是草案，应用级的基本还没有形成。所 以，对于网络性能测量的研究，还有很重要的意义，可以为网络性能指标的建立 和标准测试方法的制定提供理论依据。 2 3 分布式网络测量探针的设计要求 从整个分布式测量架构可以看出，测量探针最基本的功能就是完成网络性能 参数的测量。性能参数测量过程中，往往需要探针进行高速率的发送分组或者高 速捕获分组并进行统计分析，同时，在数据量比较大的情况下，最好具备数据管 理软件( 如数据库) 。 2 3 1 分布式网络测量探针基本功能 针对分布式网络测量基础架构的特点，网络测量探针必须具备以下特征： ( 1 ) 探针的主处理器必须具有较强的处理能力和处理速度； ( 2 ) 探针的网络接口必须具有较高的吞吐能力，以完成高速的网络数据包捕 获和数据流产生； ( 3 ) 探针要能够对测量结果数据的进行存储和管理，并且要有统计和分析功 能； ( 4 ) 探针要有简便操作的人机接口和较低的功耗。 分布式网络性能测量探针的开发是要将各种测量算法融合到我们设计的硬件 平台上，完成相应的测量功能。分布式网络测量探针对硬件的要求如下： ( 1 ) c p u 的处理速度能很好的满足1 0 1 0 0 m 网络处理速度的要求，同时有 1 g b i t 网络扩展的可行性； ( 2 ) 具有e t h e r n e t 网络接口； ( 3 ) 测量数据能够暂时性的存储在测量仪中； ( 4 ) 良好的用户接口，包括l c d 、触摸屏等等； 在测量内容上，探针应具备下面的测试功能： ( 1 ) 流量监测与分析： ( 2 ) 时延及时延抖动测试； ( 3 ) 瓶颈带宽和可用带宽测试； 第二章分布式网络测量及测量探针的设计要求 1 3 ( 4 ) 能实现远程控制，可分布式协同工作。 2 3 2 测量探针的初步实现思路 实现上节所述探针的设计要求和功能，可考虑利用通用p c 机( 台式或移动) 来实现，但是通用机有着固有的缺点：首先，体积与功耗较大，庞大的体积使得 进行分布式网络测量极为困难；其次，性能问题，通用机的网络接口不是专为网 络测量设计的，这就使得在网络处理性能方面存在着无法逾越的瓶颈，而且硬件 结构不能随着需求的变化而改变。最后，成本问题，通用机的很多其它功能基本 不需要用到，会造成资源浪费，从而增加了应用成本。 为此，探针的设计方案最终采用了嵌入式系统来实现。嵌入式系统是指以应 用为核心，以计算机技术为基础，软硬件可裁剪，适应应用系统对功能、可靠性、 成本、体积和功耗严格要求的专用计算机系统。从定义看，这与探针的设计要求 非常吻合，采用嵌入式系统的设计概念，我们可以针对系统要求设计专用的计算 机系统，以满足探针对功能、成本、体积和功耗等要求。从实际应用角度看，嵌 入式系统的设计技术已经相当成熟，合理的软硬件设计完全能够达到分布式网络 测量探针的测量要求。 嵌入式应用系统的设计包含硬件系统设计和软件系统设计两个部分，并且这 两部分是密不可分的，嵌入式应用系统的设计经常需要在硬件和软件的设计之间 进行权衡与折衷。根据嵌入式系统的工程设计方法，嵌入式系统的设计可以划分 七个阶段【2 0 】，如图2 3 所示。 第第第 一 二 三 阶阶阶 第第第 五 六七 阶阶阶 图2 3 嵌入式系统设计的各个阶段 前三个阶段主要确定要解决的问题及需要完成的目标，即需求分析阶段；第四 阶段主要解决如何在给定的约束条件下完成用户需求；后三个阶段主要解决如何 在所选择的硬件和软件基础上进行整个软、硬件系统的协调实现。 本章主要介绍了分布式网络测量的基本架构以及测量探针的初步实现思路，在 1 4 基于x s c a l e 的分布式网络测量探针的研究与实现 第三章和第四章中，将对测量探针的软、硬件的设计实现方案做详细的阐述。 第三章分布式网络测量探针的硬件设计与实现 1 5 第三章分布式网络测量探针的硬件设计与实现 探针系统的开发必须将硬件、软件、人力资源等集中起来，并进行适当的组 合以实现目标应用对功能和性能的需求。整个开发阶段可分为：需求分析阶段( 探 针功能定位和要求) 、制定可行性方案( 硬件平台的选择，存在问题及解决方法) 、 硬件设计( 元件选型，原理图设计，p c b 设计等) 、调试、底层软件开发以及上 层应用软件开发等阶段。本章主要讨论分布式网络测量探针的硬件设计技术和实 现，软件平台的构建将在第四章中详细阐述。 3 1 分布式网络测量探针的实现方案及关键技术 3 1 1 软硬件功能划分原则 根据分布式网络测量探针所需完成的功能和需求，我们首先对系统设计行了 软硬件功能的划分，在软硬件划分的问题上，遵循了以下原则： 1 性能原则。 ? 2 性价比原则。 3 资源利用率原则。 三个原则之间不是相互独立的，而是互相影响的，当具体实施的时候要同时 考虑这几个原则，从而做出最优的选择。 3 1 2 测量探针的实现方案 依据3 1 1 小节所述原则，我们制定了如图3 1 所示的实现方案。系统采用分 层结构设计，操作系统层屏蔽了上层测量软件对底层硬件的依赖关系，有助于加 快系统软件的开发。 整个系统分为三层，自底向上依次为： ( 1 ) 分布式网络测量探针硬件平台，包括a r m 微处理器，网络接口，u s b 接口，人机接口( 包括t f t 液晶屏和触摸屏) ，存储系统等； ( 2 ) 操作系统，主要是嵌入式l i n u x 操作系统和主要的设备驱动程序； ( 3 ) 分布式网络测量应用程序，这是和平台无关的应用程序，可单独开发。 在硬件平台设计中，采用了a r m 高性能r i s c 微处理器，重点解决网络接口 吞吐量、分组数据捕获分析处理能力和人机接口控制问题。操作系统层包括嵌入 式l i n u x 操作系统、设备驱动程序和优化的t c p i p 协议栈。对t c p i p 协议栈的 优化主要根据硬件平台功能简化分组数据校验和的计算，根据r i s c 微处理器的 特点优化一些程序数据处理的方法等等。协议栈向上层提供标准的s o c k e t 编程接 基于x s c 柚e 的分布式网络测量探针的研究! ，实现 口，因此网络测量应用程序的开发不受硬件平台的影响。 图31 分布式网络测量探针的软硬件实现方案 313 分布式网络测量探针的关键技术 ( 1 ) 数据存储管理系统：网络捕获大量数据包，需要存储并加以管理，因此 需要使用套有效的数据管理系统。p c 机上的数据库是比较成熟的技术，囡此， 可采用小型的轻量嵌入式数据库来解决这一问题。 ( 2 ) 同步问题。时钟同步始终是某些性能指标测量的前提，如端到端时延。 端到端时延是网络性能的重要指标。目前有两种同步机制：软件同步算法町以减 小这种时间不同步所引起的测量误差，但是精度有待提高：硬件同步：g p s ( g l o b a l p o s i t i o n i n gs y s t e m ) 同步和内部同步。g p s 同步具有精度高的优点，可以达到1 岍， 而且可以实现远距离同步。内部同步使用同轴线将两台测试仪直接相连，m 内部 时钟触发测试仪之间的时间同步。 ( 3 ) 数据统计