（计算机应用技术专业论文）基于ntp和http的网络测量.pdf

摘要 基于n t p 和h t t p 的网络测量 摘要 随着计算机网络技术的迅猛发展，网络测量变得越来越重要。网 络测量一方面有助于了解网络的运行情况，另一方面为网络行为的描 述及控制提供了必要的前提。本文基于n t p 及h t t p 协议做了两方面 的网络测量工作。 首先，作为时间同步时间源的时间服务器的准确程度直接影响着 时钟同步的精度和稳定性。本论文在详细分析n t p 协议的基础上，开 发了n t p 服务器测量软件，并应用于c e r n e t 范围的时间服务器的 测量。对采集的数据进行了统计和分析，绘出了c e r n e t 范围内n t p 服务器的时问精度的分布情况图，为c e r n e t 建立精确、安全的时间 同步服务提供了很好的分析结果。 其次，网站的速度和稳定性是衡量网站质量的重要因素，也是影 响人们使用互联网的关键问题。本文使用自主开发的网站r t t 测量软 件对常用的网站进行了r t t 测量。通过对采集的数据进行统计和分析， 绘出了表征网站速度和稳定性的r t t - 时间曲线，并据此提出了用于定 量描述网站稳定性的网站稳定性指数的概念，同时给出了计算网站稳 定性指数的算法。 北京化工大学硕士学位论文 关键词：n t p 服务器； c e r n e t ；测量：r t t ；网站；稳定性 摘要 n e t w o r km e a s u r e m e n tb a s e do n n t p a n dh t t p a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o f c o m p u t e rn e t w o r k ，t h e n e t w o r k m e a s u r e m e n tt e c h n o l o g yb e c o m e sm o r ea n dm o r ei m p o r t a n t n e t w o r k m e a s u r e m e n ti sn o to n l yh e l p f u lt oh a v ea na c q u a i n t a n c ew i t ht h er u n n i n go f n e t w o r k ，b u ta l s oh e l p f u lt op r o v i d et h en e c e s s a r yp r e c o n d i t i o nf o rd e s c r i p t i o n a n dc o n t r o lo fn e t w o r kb e h a v i o r s t w oa s p e c t so fw o r ka r ef i n i s h e db a s e do n n t pa n dh t t p f i r s t l y , a st h es o u r c eo fs y n c h r o n i z a t i o nt i m e ，t h ea c c u r a c yo fn t p s e r v e r sd i r e c t l ya f f e c t st h ep r e c i s i o na n ds t a b i l i z a t i o no f c l o c ks y n c h r o n i z a t i o n b a s e do na n a l y s i so fn t pi nd e t a i l ，t h en t ps e r v e r sm e a s u r e m e n ts o f t w a r ei s d e v e l o p e d ，a n da p p l i e dt ot h em e a s u r e m e n to fn t ps e r v e r si nc e r n e t b y a n a l y s i sa n ds t a t i s t i c so fd a t ag a i n e d ，t h ep r e c i s i o nd i s t r i b u t i o nc h a r to fn t p s e r v e r si nc e r n e ti sd r a w na n dv e r yg o o dr e s u l to fa n a l y s i si sp r o v i d e df o r c o n s t r u c t i n ga c c u r a t ea n ds e c u r et i m es y n c h r o n i z a t i o ns e r v i c ei nc e r n e t s e c o n d l y , s p e e da n ds t a b i l i t yo fw e b s i t e sa r et h ei m p o r t a n tf a c t o r so f w e b s i t e sq u a l i t ya n dk e y so fu s eo fi n t e r n e t w i t ht h ew e b s i t e sr t t m e a s u r e m e n ts o f t w a r eb ys e l fd e v e l o p e d ，t h er t to fw e b s i t e sa r em e a s u r e d b ya n a l y s i sa n d s t a t i s t i c so fd a t ag a i n e d ，t h ec l a r v e so fr t t - t i m ea r ed r a w nt o i i i 北京化工大学硕士学位论文 s h o wt h es p e e da n ds t a b i l i t yo f w e b s i t e s ，t h en e t w o r ks t a b i l i t yi n d e xi sd e f i n e d t od e s c r i b en e t w o r ks t a b i l i t yq u a n t i t a t i v e l y , a n dt h ea l g o r i t h mo fn e t w o r k s t a b i l i t yi n d e xi sg i v e na sw e l l k e yw o r d s ：n t ps e r v e rc e r n e t m e a s u r e m e n t ；r t t ；w e b s i t e ； s t a b i l i t y 北京化工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者签名：日期： 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文的 规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京 化工大学。学校有权保留并向国家有关部门或机构送交论文的复印件 和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学 位论文。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名：，岁虿蝉 e t , 辫i ： 冶兰乏拉 导师签名：蹙焉。 日期：二2 ；呈l 一 第一章网络测量概述 第一章网络测量概述 1 1 论文研究的目的及意义 随着i n t e r n e t 使用的日益普及和i n t e m e t 结构的日益复杂，网络拥塞和服务质量 低等系列问题不断涌现出来。越来越有必要对网络的整体拓扑结构、网络行为和网络 运行质量进行深入的了解、分析，以便于发现网络瓶颈，优化网络配置，提高网络资 源利用率，并进一步发现及消除网络中可能存在的潜在危险，构建更为安全可靠的互 联网。 为此，需要对大规模网络结构进行动态描述，并根据网络流量的变化分析网络 的性能，为加强网络管理、提高网络利用率、防范大规模网络攻击提供技术支持平台。 而i n t e r n e t 测量与分析则是收集网络运行参数、分析网络运行性能的重要手段，也是 进行高性能协议设计、设备研发、网络规划与建设、高性能应用开发的重要基础，更 是对网络结构及运行情况进行数学描述及网络行为控制的重要前提。因此，i n t e r n e t 的测量与分析不仅成为学术界，而且成为企业界和国家政府部门普遍关心的重要问题 之一。i n t e r n e t 测量的对象主要包括链路或端到端的时间延迟、带宽、丢包率、吞吐 量、突发频率和网络拓扑，并开展网络可靠性、稳定性、可达性等方面的分析。 本文先以n t p ( n e t w o r kt i m ep r o t o c o l ，网络时间协议) 为基础，对c e r n e t ( c h i n ae d u c a t i o na n dr e s e a r c hn e t w o r k ，中国教育科研网) 中的n t ps e r v e r s 进行了 测量和分析，并对c e r n e t 中n t ps e r v e r s 的时间精度进行了统计及研究，提供了很 好的偏差分析结果，对构建c e r n e t 中时间同步系统具有重要意义。然后，本文以 h t t p ( h y p e r t e x tt r a n s f e rp r o t o c o l ，超文本传输协议) 为基础，对各大常用网站的r 1 盯 ( r o u n d - t r i p t i m e ，往返时延) 进行了测量，分析了网站的运行规律，并给出了网站 稳定性的评价标准及计算方法，对构建高效稳定的互联网提供了很好的参考依据。 1 2 网络测量技术概述 1 2 1 网络测量技术的定义 网络测量技术是指遵照一定的方法和技术，利用软件和硬件工具来测试或验证 表征网络性能的指标的一系列活动的总和，可以借鉴物理学中测量物理量的方法。网 络测量包含以下3 个要素。( 1 ) 测量对象：被测量的节点或链路，测量节点、链路或 网络的特征，如链路的时延、带宽、丢包率，路由器的路由效率、时延、丢包率， 北京化工大学硕士学位论文 w e b 服务器的应答延迟、吞吐率、系统容量、最大稳定链接数等；( 2 ) 测量环境：包 括测量点的选取、测量时间的确定、测量设备、通信链路的类型等；( 3 ) 测量方法： 针对某一具体的网络行为指标，选取合适的测量方法，测量方法应满足稳健性被 测网络的轻微变化不会使测量方法失效；可重复性同样的网络条件，多次测量结 果应一致；准确性测量结果应能反映网络的真实情况。 1 2 2 网络测量技术的分类 网络测量的分类标准有多种。根据测量的方式，分为主动测量和被动测量；根 据测量点的多少，分为单点测量与多点测量；根据被测量者知情与否，分为协作式测 量与非协作式测量；根据测量所采用的协议，分为基于b g p 协议的测量、基于t c p i p 协议的测量以及基于s n m p 协议的测量；根据测量的内容，分为拓扑测量与性能测量。 在主动测量方式中，通过向网络中发送数据，观察结果和发送数据所需时间来 研究网络的行为。主动测量向网络中发送实际的业务量，利用这些业务量测量反映网 络提供给其他用户的服务的参数，包括i m 和丢包率。到目前为止，人们所做的大 多数项目都涉及到主动测量。比如，美国的n i m i 1 i ( n a t i o n a li n t e r n e tm e a s u r e m e n t i n f r a s t r u c t u r e ) 项目，利用p i n g ，t r a c e r o u t e r ，m t r a c e 等工具进行主动测量；a m p ( a c t i v e m e a s u r e m e n tp r o g r a m ) 项目，采用p i n g 进行双向测量，测量r 1 陌、丢包率和拓扑。到 了2 0 0 0 年6 月，运行主动测量监视器的源站点有1 1 6 个( 美国1 1 4 个，新西兰、挪威 各1 个) ，被测量的目的站点约有1 33 4 0 个。其目的是为了增强参与站点和用户对高 性能网络运行情况的理解，帮助网络用户和提供商分析问题；s u r v e y o r 是一个建立在 全球参与站点上的测量平台，部分由n s f 支持。s u r v e y o r 测量i n t e m e t 的路径性能， 包括单向延时、损耗、路由测量等，并研究相应的分析方法与工具。设有5 5 个监测 点，在18 8 3 条路经上进行单向时延测量；依托于u c s d s d s c ( u n i v e r s i t yo f c a l i f o r n i a ，s a nd i e g o ，s u p e r c o m p u t e rc e n t e r ) 的研究部门c a i d a ( c o o p e r a t i v e a s s o c i a t i o nf o ri n t e r n e td a t aa n a l y s i s ) ，开展网络测量、分析、可视化工具的研发，维 护全球因特网平台的健壮性和可扩放性，受到n s f ( n a t i o n a ls c i e n c ef o u n d a t i o n ) 、 d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 、i s p ( i n t e m e ts e r v i c ep r o v i d e r s ) 和 硬件供应商的资助，研究对象包括i n t e m e t 拓扑结构、网络负载、网络性能、网络路 由，监测正，异常活动，关注带宽估计，负载刻画，长期趋势识别，以进行流量工程 设计、能力计划、安全迹象检测等等。加拿大国家研究机构使用p e r l s c r i p t 跟踪对 t r i u m f 感兴趣的节点。每l o 分钟检测一次丢包率，每天收集4 次t r a c e r t 数据并生 成网络可视化图；欧洲的p p n c g ( p a r t i c l ep h y s i c sn e t w o r kc o o r d i n a t i n gg r o u p ) 项目， 监视全欧洲某些粒子物理研究所的网络端到端性能，并加以优化，在主动测量项目中， 2 第一章网络测量概述 测量的范围比被动测量大得多，可大到全球。但如此庞大的测量体系，有可能造成较 大的网络负荷，且难以统一配置和管理。 在被动测量方式中，记录网络活动的探针被接入到网络中，在大多数情况下探 针接到网络节点之间的连接上，汇总和记录那条连接上业务流量的信息。目前开展的 被动测量项目有：受美国国家科学基金会n s f 资助的美国应用网络研究国家实验室 ( n l a n r ) 的测量项目p m a ( p a s s i v em e a s u r e m e n ta n da n a l y s i s ) ，旨在为高级网络( 如 v b n s ，a b l i e n e ) 提供协作性的服务支持。它采用o c3 m o n 数据搜集系统，包括专门 的群机系统、装有f o r ea t mc a r d s 和o p t i c a ls p l i t t e r s ( 分光器) ，采集a t m 的数据流， 使用c o r a l r e e f 根据一定的规则集进行数据采集，并可使用p e r l 等语言对数据进行分 析；b e r k e r l e yu n i v e r s i t y 和i b m 共同开发的s p a n d ( s h a r e dp a s s i v e n e t w o r k p e r f o r m a n c ed i s c o v e r y ) 项目，它通过对捕捉到的u d p t c p 分组进行分析得到连接带 宽、丢包率等性能等等。被动测量主要在一个特殊点观察网络的行为，不增加和修改 通过网络的数据负载，因此对网络的行为没有影响。这种方法能够达到对观察点网络 行为的详尽理解，但难以获得对网络的整体理解，或者对网络的端到端行为的理解。 被动测量经常用于测量业务量的特征。同时不难看出，被动测量的前提是协作，否则 无法在测量点安装必要的软、硬件设备，其测量范围由此而受限。 从测量点的数量来讲，网络测量分为单点和多点测量。在研究初期，许多工作 都属于单点测量，但因为测量能力有限。搜集的信息不全面，分布式多点测量应运而 生，尤其是多点主动测量，利用多个探测点得到的数据，能够综合出大规模的网络数 据和单点所得不到的交叉路由信息。单点测试的典型例子是贝尔实验室的i n t e m e t m a p p i n g 项目，这是一个非合作测量。该项目成功地描述了科索沃战争期间南斯拉夫 和科索沃两个网络的拓扑变化情况，这表明在口网络测量中，单点非合作测量具有 相当强的网络探测能力。这也是网络测量在军事领域中应用的典范【2 j 。 在拓扑测量方面，多数项目显示的是逻辑拓扑关系图。随着测量范围的扩大， 整张图规模结构也随之扩大，这时，人们往往希望与实际地域位置相对应，也就是具 有地理信息的拓扑图。s k i t e r ( c a i d a ) 针对从几个源点到成千上万个目标点收集到的路 径信息进行拓扑结构和性能属性的可视化，并且开展了a s 的地理信息图方面的研 究。 在性能测量方面，相关项目开展得较多，测量内容包括吞吐量、延迟、丢包率， 并作网络可靠性、稳定性、可达性等方面的分析。这一方面是为了对一个特定网络进 行维护管理，保障服务质量，如p p n g g 和t r i u m f 项目；另一方面是为了预报网络 性能，如n a p k i n sn e t w o r kw e a t h e rs e i 甜3 】每隔一定的时间间隔，周期性地监视、动 态地预报( 各种网络及计算资源) 网络性能。收集某一时刻的数据，通过数值模型预测 下一时段的t c p i p 端到端的吞吐量、延迟，主要用于广域网上的大规模计算的调度， 在元计算软件平台上开发服务质量保证。更深入的分析，如异常检测，尚在研究之中。 3 北京化工大学硕士学位论文 1 2 3 网络测量技术的体系结构 网络测量的体系结构从层次上说，是一个数据工程。从高层到低层依次为数据 表示、数据分析、数据管理、数据采集。 ( 1 ) 数据采集数据采集是关键，包括主动测量采集、被动测量采集。利用主动测 量易于控制的优点，合理地设置测量分组；同时也利用被动测量不影响系统性能的优 点，适当选择测量探针的位置( 包括考虑通过测试点的业务) 。数据采集着重考虑以下 几个问题：一是数据采集时，尽量照顾到各种性能指标；二是提供一个向第二层统一 的访问接口；三是数据采集的粒度要在满足所测指标的需求的前提下，尽量减轻网络 的开销；四是采样间隔的选择，这应视具体情况而定。 ( 2 ) 数据管理由于测量得到的数据是非常庞大的，需要合适的数据存贮方法、维 护、检索策略。为便于分析，还需要将数据格式化。考虑到数据共享，一般运用数据 库技术，同时考虑到灵活性，也采用文件存贮方式。在数据存贮以前，作必要的预处 理，以压缩存贮量。 ( 3 ) 数据分析数据分析需要研究如何定义每个行为指标，分析其包含的因素，如 算法、误差来源、测量单位等，还要考虑测量环境、测量方法、测量工具的影响。将 所有这些影响因素量化描述，即对应一个指标。由基本的性能指标能组合出新的指标， 还可定义反映网络整体性能的综合指标。在测量得到原始数据后，首先对某一指标的 大量样本采用统计学的方法进行分析，得出均值、方差等基本统计量：其次由一些数 学模型( 如时间序列预测、回归分析、判断预测、小波分析等) 做出性能趋势预测；进 而采用数据挖掘( d a t am i n i n g ) 技术进行关联分析，得出网络本质的行为规律。经过这 些步骤，通过归纳、综合、分析、演绎对每一个指标给出合理的定义和分析算法。 ( 4 ) 数据表示数据表示即直观形象地表示出测量结果，发挥艺术想象力，可借鉴 网管软件采用的方法，也可征求网管人员和用户的意见。采用图形用户界面g u i ，以 直方图、二维、三维坐标曲线，扇形图，报表等形式。对网络测量体系结构的研究可 以借鉴权威的国际组织，如i s o ，i n 卜- t ，i e t f ，i e e e ，n m f ，r a c e 等及著名网 络测量团体的研究成果主动测量中收发端点、被动测量中数据收集探针的配置，应 根据实际需要来决定，合理的配置对测量的效率、测量的广度和深度影响较大。 1 2 4 网络测量技术的技术路线与难点问题分析 常用技术路线如下： o ) i p 拓扑测量。主要测量方法分为两类：基于s n m p 协议、基于i c m p 协议。 前者主要通过访问m i b 库进行拓扑关系的获取，由于权限的关系，适合于在具有管 4 第一章网络测量概述 辖权的网络范围内进行测量，所以难以推广应用。后者通过t r a c e r 实现，可用于 i n t e m e t 上的大规模网络测量，但当网络上安装有防火墙软件时，则无法进行测量。 过程如下：首先得到网络i p 地址分段，然后利用路由追踪技术得到一个数据包从源 i p 地址到目的i p 地址所经历的所有路由器的i p 地址，对某一网络的所有i p 地址进行 路由追踪，就会得到该网络所有的路由器的i p 地址及互联关系。路由追踪技术是基 于下面的原理来实现的：首先以t r l _ l 向目的i p 地址的一个不可达端口f 通常是1 0 0 0 0 以上的端口) 发一个u d p 包，这个包在经过第1 个路由器以后，将被路由器丢弃，同 时路由器将向源主机发送一个i c m p 包通知该包丢失，通过解开这个i c m p 包，就可 以得到该路由器的i p 地址。然后，我们再以t t l = 2 向目的i p 地址发u d p 包，重复 上面的操作，直到返回的i c m p 包的类型为目的端口不可达，表明已经到达了目的主 机，这样就得到从本机到目的主机所经过的路由器i p 地址。目前，所有的路由器都 支持这种实现方式。根据由数据搜集模块得到的路径总表，可以直接生成反映逻辑连 接关系的路由i p 拓扑图，结合各i p 所在的地理位置，可以生成城市覆盖拓扑图。 ( 2 ) a s 拓扑测量。总的来说，生成a s 级拓扑图的方法可归结为基于b g p 路由 信息的a s 图、基于t r a c e r o u t e 的a s 图以及基于某些特性采用拓扑生成器合成 ( s y n t h e s i z i n g ) 的a s 级拓扑图三判4 1 。其中，第一种方法较为普遍。该方法有被动测量 和主动测量两种测量方式可供选择。前者在关键路由节点获取b g p 数据包，再采用 有限状态自动机技术，对捕获的b g pu p d a t e 报文进行处理；后者自备一台路由器，运 行b g p 协议，通过与i s p 协商，与相应的路由器建立b g p 对等连接，只接收路由更 新报文，不转发用户数据，这需要对等双方对相应路由器的正确配置。在大量测量数 据的基础上，生成a s 拓扑连接图。通过a s 拓扑连接图，可以直观地了解各a s 连接 关系，分析出哪些a s 起重要作用，不仅可以为新a s 的接入提供指导，而且还可以 为将来信息战中的计算机攻防提供指导依据。 ( 3 ) 基于t c p i p 协议的网络性能测量与分析。为了考察网络的稳定性、可达性、 可靠性及网络服务质量，需周期性、连续测量的性能参数包括丢包率、r 1 阿、流量、 路径的平均跳数等；在此基础上，以时间为主线分析各路径上各项指标的动态变化， 以空间为主线统计分析某一时刻整个网络的整体态势，如处于不同量级时延的节点总 体数量分布等，分析端到端路由变化( 或跳数的路由变化) 等【5 】。其他分析还包括，对 探测得到的数据进行数据挖掘( d a t am i n i n g ) ，或者利用已有的模型( p e t r i 网、自相似性、 排队论) 研究其自相似特征。由于对网络性能测量的实时性要求较高，所以探测频率往 往很大，但必须保证不要由此对网络造成较大的额外负荷。同时注意隐藏探测踪迹。 ( 4 ) 网络运行态势综合分析。基于多个监测点，在不同时段收集的测量数据，生 成被测网络的综合态势战略图，真正实现“运筹帷幄而决胜于千里之外。该图除了 具有不同层面属性的即时播放功能以外，还可以通过颜色标注、声音提示等进行流量 异常、故障报警，为防范大规模网络攻击提供预警手段，同时，从网络攻击的角度， 5 北京化工大学硕上学位论文 研究发展具有隐蔽性、高效的分布式网络侦察测量方法。另外，进行综合分析，为用 户提供q o s 指数、病态路由报告，为改正病态路由、制定网络路由策略、进行网络破 坏后的网络资源自组织等提供第一手依据。 ( 5 ) n 量与分析结果的可视化。网络测量与分析结果的可视化是一个关键环节。 通过研究，采用图形用户界面g u i 、电子地图的任意缩放、拖动、电子地图的多层表 示法、直方图、二维、三维坐标曲线、扇形图、表格、报表、二维平面图形、三维立 体图形【6 】等种种手段，结合g i s 技术，对态势图进行层次化、可拖动、交互式分级显 示，直观、形象地表示出测量分析结果。折衷点在于，既要全面而客观地显示库中的 数据，又要具有良好的视觉效果。 ( 6 ) 网络行为建模、网络仿真、网络趋势预测。网络拓扑发现和测量已经成为研 究网络行为学的主要方法，网络行为的测量是整个网络行为学研究的基础【7 j 。网络行 为的建模分析可采用排队论、p e t r i 网、马尔可夫链、p o i s s o n 过程等理论。由于i n t e r n e t 环境的复杂性、多变性、异构性，网络行为的建模分析和仿真分析变得步履维艰。 ( 7 ) n 络测量的体系结构。随着时间的推移，网络测量将不断扩展升级，所以在 设计实施之初，就要充分考虑测量体系的可扩展性、可裁剪性及兼容性、容错性。 存在以下一些难点问题： ( 1 ) 拓扑准确度。单点测量因为测量能力有限，搜集的信息不全面；分布式多点 测量，尤其是多点主动测量，利用多个探测点得到的数据，能够综合出大规模的网络 数据和单点得不到的交叉路由信息，可以提高测量的准确度。 ( 2 ) 网络额外负荷。由于i n t e r n e t 是一个不断变化的庞大网络，网络测量要具有一 定的实时性，并且要尽量降低这种大规模测量所带来的额外网络负载。与探测点的数 目和探测的周期有关。 ( 3 ) 地理信息的全面、自动提取。传统的网管软件，在网址地理信息方面通常采 用手工方式加以标注，这对于大规模的广域网来说是难以实现的；另一方面，目前大 多数网络测量项目中所显示的也只有逻辑连接关系图，无法提供更切合实际的重要信 息。在逻辑连接图的基础上，通过获取和分析m 的登记信息和域名信息等构建地理 分布图。地理信息的全面、自动提取具有一定的难度。地理信息的采集可通过w h o i s 信息库查询、域名反解析、特征字匹配等技术提高其精确度。 ( 4 ) 易于维护的测量体系结构。随着时间的推移，网络测量将不断扩展、升级， 所以，在设计实施之初就要充分考虑测量体系的可扩展性、可裁减性及兼容性。可扩 展的测量策略允许用户在测量范围扩大或减小的情况下，只做简单配置就能保证整个 系统正常运行。 ( 5 ) 系统容错性。保证系统具有良好的容错性，系统运行中断后能够从断点处继 续执行，而不必对已测量过的探测目标重复进行测量。 ( 6 ) 隐藏探测踪迹。由于对网络性能测量的实时性要求较高，所以探测频率往往 6 第一章网络测量概述 很大，为了不被误认为是网络入侵，注意隐藏探测踪迹，采用随机算法选择探测顺序 可以很好地解决这个问题。 ( 7 ) 测量结果可视化。在测量结果的可视化阶段，由于数据规模的原因，如何在 全面而客观地显示库中的数据的前提下保证具有良好的视觉效果，是一个主要问题。 在逻辑连接图中，由于在拓扑图中，点、线数量多且分布位置不确定，在绘制过程中 会出现点线重叠、主次不分的“麻团”现象，因此需要提高数据分析和图的生成速度。 ( 8 ) 网络建模与趋势预测。 1 2 5 网络测量的关键技术 ( 1 ) 端到端时延模型 网络端到端的时延是各段链路传输( t r a n s m i s s i o n ) 、处理( p r o c e s s i n g ) 、排队 ( q u e u i n g ) 、传播( p r o p a g a t i o n ) 时延的总和。网络的随机性以及网络传输控制机制等使得 时延模型难以建立，但在确定性的近似下，可以建立时延的解析式，而且通过确定性 时延模型建立的测量工具得到的结果和实测数据基本吻合。 若定义n 为路径的跳数，d i 为链路i 的传播时延，b i 为链路i 的带宽，s k 为分组 k 的大小，t i k 为分组k 完全到达链路i 的时刻，则分组k 到达链路n 的时刻为【s 】： = + b , + d i + m a x ( o ，搿一d i - 彳) ( 1 - 1 ) i = 0 ( 2 ) 测量过程中“噪声分组的过滤 采用主动测量时，难免受到“噪声分组的影响，所谓“噪声”分组指夹杂在探 测分组当中，或处于探测分组之前、之后对测量结果造成影响的业务分组。例如采用 分组对( p a c k e tp a i r ) 或多分组( m u l t i p a c k e t ) 技术测量链路的瓶颈带宽时，难以保 证探测分组在瓶颈链路处彼此相邻排队，可能会在中间插有其他分组，导致时间扩展 ( 瓶颈带宽低估) ，或经过瓶颈链路后在第一个分组前插入其他分组，导致时间压缩( 瓶 颈带宽高估) 。使得时间压缩和时间扩展的分组就是测量过程中的“噪声 ，消除这 个噪声可采用的方法有：( a ) 求均值，但是由于“噪声 的随机性，该方法会造成较 大误差；( b ) 在带宽估计的分布值中，选择密度最大的点，如采用直方图统计技术，但 是事先不知道带宽的分布情况，直方图的条( b i n ) 的宽度不好给；( c ) 采用在统计学中 使用的非参数估计方法一核密度( k e r n e l d e n s i t y ) 估计算法【9 】。 定义核函数k ( t ) 产k d l k ( t ) d t = 1 ( 1 - 2 ) ，咖 7 北京化工大学硕上学位论文 在任一点的密度为 d ( x ) = ( 1 挖) k ( ( x - x ，) ( c 宰x ) ) 0 - 3 ) c 是核宽度比，n 是c * x 内的点数( h = c x 是核宽度，n 是宽度h 内的点数) ，x i 是测量得到的 第i 个带宽值。核函数可选为： 即，2 曩 m 4 ， 对于发端两分组的间隔不是足够小的时候，密度估计函数会失效，为此引入一 个收发带宽比的参数，即收端和发送带宽s ( x ) 的比： p ( x ) = 1 一【l n ( x ) 1 n ( s ( x ) ) 】( 1 5 ) 假如两个采样点( 接收带宽) 有相同的发送带宽，贝j j p ( x ) 偏重于接收带宽较小的那 一个，为了解决这个问题，定义接收带宽比 厂( 工) = 【i n ( x ) 一l n ( x m i 。) 1 n ( x 。) 一l n ( x 。i 。) 】 ( 1 6 ) 这样过滤函数为 厂( 功= a 丰【j ( 曲d ( x ) 。】+ 6 幸p ( x ) + c 宰，( x ) ( 1 - 7 ) 使f ( x ) 为最大值的x 为瓶颈链路带宽，问题在于如何选取最佳的过滤函数的系数 a ，b ，c 的值。 ( 3 ) 测试点选择的最优化理论 被动测量通常要访问路由器的数据，如果逐一访问每个路由器，会对网络造成 很大的开销。实验证明：在局域网的一台c i s c 0 4 0 0 0 系列路由器上，进行g e t n e x t 查询， 在轮询期间使得路由器的吞吐率下降( 1 5 2 0 ) 。在获得完整流量信息的前提下，如 何选择路由器的数目及位置使得测量信息的传送给网络造成的额外负载最少，从图论 的观点看，问题归结为如何在一张图中获得最优的点覆盖( v e r t e xc o v e r ) 。即给定一个 网络g = ，e ) ，求节点集的一个子集s ，使得在这些节点上用s n m p 代理监控网络流 足以推算出g 中每条链路的利用率。可以证明，点覆盖问题是n p 完全的。点覆盖的问 题可采用迭代和遗传算法来求解。对于有向图，利用节点流守恒定律( f l o w c o n v e r s a t i o nl a w ) ，为进一步减少子集中的节点数，提出“弱点覆盖( w e a kv e r t e x c o v e r ) 的概念【1 0 1 。如果加上链路代价( c o s t ) 和探测时间参数，则该问题变成多约束 条件的优化问题。 ( 4 ) 业务模型分析 以前的业务模型一般是基于泊松过程或贝努利过程，难以适应现在的网络业务情形 、 11 - 1 2 。研究表明，l a n ，w a n ，v 】r 视频，w e b ，公共信道信令( c c s s s 7 ) 等业务具 8 第一章网络测量概述 有自相似性( s e l f - s i m i l a r i t y ) 或长范围相关性( l o n gr a n g ed e p e n d e n c e ) 。网络业务自相 似性用h u r s t 参数来描述，估计h u r s t 参数普通的方法( 女【l w h i t t l e 估值器) 有些问题，因为 人们对网络的使用受生活规律的影响具有某种周期性，而基于小波分析估计h u r s t 参数 可以克服周期性趋势的影响【1 3 】，笔者对此做了验证，给原始数据加上周期性的正弦干 扰、方波干扰，小波估计法仍能正确地估计出h u r s t 参数。还可通过测量研究业务流 ( f l o w ) 的特征、网络的存活性( s u r v i v a b i l i t y ) 、比较w 曲服务器系统的性能等。 ( 5 ) 时钟偏移影响的消除 网络测量的精度主要受测量方法或算法的影响，非合作测量还受网管的干预、网 络安全机制、被探测方采取防探测的方法等因素的影响。多点合作进行端到端测量时， 收发端时钟不同步成为误差来源之一。v e r np a x s o n 利用在一对节点之间进行正向、反 向时延测量来确定收发时钟的误差，包括相对偏移( r e l a t i v eo f f s e t ) 和频差( s k e w ) 。后 来又有人采用线性回归算法( l i n e a rr e g r e s s i o na l g o r i t h m ) 、分段最小算法( p i e c e w i s e m i n i m u ma l g o r i t h m ) 来消除时钟的不同步的影响，s u eb m o o n 等提出了基于线性规划 的算法( l i n e a rp r o g r a m m i n g ) ，测量和仿真表明线性规划算法与其他算法相比，快速、 稳定且易实现【1 4 1 。此外还有其他许多问题，如网络测量和分析中的抽样问题( 建议采 用增量随机抽样，如p o i s s i o n 抽样等) 、统计方法的应用等。 1 3 网络测量的应用 网络测量可应用于网络技术的各个方面。研究网络行为学( 关于互联网运行规律能 科学) 有3 种方法：一是模型分析，即采用数学方法建立网络模型，如由排队论建立的 模型、p e t r i 网、有限状态机( f s m ) 、流体流( f l u i df l o w ) 模型、m m p p ( m a r k o vm o d u l a t e p o i s s i o np r o c e s s ) 模型以及近年来建立的自相似( s e l f - s i m i l a r i t y ) t 1 5 】模型等：二是仿真模 拟，即通过建立实际网络的模型，处理模拟发生的事件，分析数据获得均值、分布等 特征，仿真能提供暂态和稳态的行为，比分析方法灵活。三是测量分析，在不完全了 解待测网络的拓扑、配置、协议的情况下，通过采集网络数据可获得网络的性能。 i n t e m e t 环境的复杂性使得模型分析和仿真模拟的应用受到限制，网络测量成为研究网 络行为主要的可行途径。 网络测量是现有网络管理技术的有力补充。如通过网络测量建立网络的业务模型 ( s e r v i c em o d e l s ) 管理网络【1 6 j ，也可提供对s l a ( s e r v i c el e v e la g r e e m e n t ，服务等级协议? 的管理【1 7 1 。又如通过测量发现并改正病态路由，对网络选路制定策略，在网络破坏后 的网络资源自组织等。检测网络是否被他方探测、识别探测者身份和探测意图( 即入侵 探测，i n t r u s i o nd e t e c t i o n ) 的网络安全管理领域的重要问题之一，实际上是网络测量( 探 测) 与反测量( 探测) 的斗争过程。 网络测量为网络开通后提供性能检验、考核指标的手段，也为网络规划建设提供 9 北京化工大学硕士学位论文 设计依据和借鉴；为网络运营提供实时、阶段性性能监控工具；通过测量可进行网络 诊断，如发现网络瓶颈节点或链路，为网络改造、及时解决问题提供有力的工具；通 过网络流( f l o w ) 的测量可提供计费依据实测的数据更具有真实性、代表性，更能反 映网络的真实情况。 网络测量为服务质量控制技术如e m b a c ( e n d t o e n dm e a s u r eb a s e dc o n n e c t i o n a d m i s s i o nc o n t r 0 1 ) 机制提供基础，实验测量和模型分析也可对协议的设计提供参考。 以前t c p 拥塞控制技术所采用的参数往往是根据简单的推理或纯理论的演算得到的， 通过测量和行为指标的分析可以使选择的参数更适应实际网络的运行规律。又如为实 现q o s 而采取的通信量处理机制，首先需要按五元组( 源、目i p 地址，两端口地址，i p 协议) 对业务流进行分类，这就涉及到捕获分组头的问题，即被动测量。 根据测量收集的数据还可应用于许多问题的研究，如通过测量数据可以研究网络 的业务模型，这对于建立网络的数学模型、研究网络性能和稳健性、网络流量工程 ( t r a f f i ce n g i n e e r i n g ) 及网络仿真具有重要意义。 1 4 网络测量的研究现状 国外对网络测量已经和正在进行着大量的研究。美国应用网络研究国家实验室 n l a n r ( n a t i o n a ll a b o r a t o r yo f a p p l i e dn e t w o r kr e s e a r c h ) 的测量和运营分析小组 m o a t ( m e a s u r e m e n ta n do p e r a t i o na n a l y s i st e a m ) 开发了网络分析基础结构 n a i ( n e t w o r ka n a l y s i si n f r a s t r u c t u r e ) 博】，目的是建立一个测量体系结构，通过原始数 据的收集和发布，分析测量结果，并进行可视化，为h p c ( h i g hp e r f o r m a n c ec o n n e c t i o n ， 如v b n s 和a b i l e n e 网络) 团体的工程和研究服务。它收集网络数据的方法包括：被动收 集分组头；主动测量；收集路由和网管数据。目前的研究包括：a m p ( a c t i v e m e a s u r e m e n tp r o j e c t ) ；p m a ( p a s s i v em e a s u r e m e n t a n a l y s i s ，开发出了o c x 的监视器， o c x m o n ) 。另外对测量结果还进行了可视化( 软件c i c h l i d ) 。 美国国家科学基金n s f 和d a r p a 资助了国家i n t e r n e t i 贝t j 量基础结构( n a t i o n a l i n t e m e tm e a s u r e m e n ti n f r a s t r u c t u r e ，简称n i m i ) t 憎】项目，其目标是要建立一个全球化的、 分布式的、大规模的i n t 钮- n e t 测量结构，已经设计出了轻负载、可升级、可动态配置、 具有安全验证的测量探针( n e t w o r kp r o b ed a e m o n ，简称n p d ) ，测量各种性能参数。 n i m i 项目分3 个阶段：m a r k i ，m a r k l i ，m a r k l i i ，逐渐迈向智能化。 由斯坦福线性加速器中，i l , ( s t a n d f o r dl i n e a r a c c e l e r a t o rc e n t e r ，简称s l a c ) 发起的 为h e n p ( h i g he n e r g yn u c l e a ra n dp a r t i e l ep h y s i c s ) 团体开发的端到端性能监控 p i n g e r ( p i n ge n d