（计算机系统结构专业论文）ip接入网的报文平衡测度研究.pdf

i p 接入网的报文平衡测度研究 摘要 i p 接入网的报文平衡测度研究 杨艳，丁伟东南大学 网络带宽和网络用户的不断增加，对网络管理和网络监测提出了越来越高的要求，而网 络测度对网络管理和监测具有重要意义。网络测度研究存在两大难点：一是定义有意义的测 度，二是如何在实际环境中使用测度，后者义包括测度的获得( 包括测度参数的获取和测度 的计算两个阶段) 和相应测度正常范围的边界值的确定这两个方面。 接入网作为一种特殊的网络，如果仍然沿用一般网络通用的方法或者借助于通用的测 度，很难充分有效地挖掘其网络特征或者反映网络状况，而且从实时性和性能的角度来看， 已有的一些测度或者方法在高速网络下变得越米越不适用。本论文在现有测度的基础之上， 针对接入网的特点，从双向报文数量关系的角度出发，提出了面向接入网的报文平衡测度模 型，并对相关参数的获取方式进行了深入的讨论，提出了具体可操作的解决方法，使得该测 度模型可以方便有效地运用于实际网络环境。最后在此基础上设计和实现了基于s n m p 平台 的接入网报文平衡性监测系统。 论文首先从接入网自身的特点出发，以i p 报文投递方向为切入点，分别提出了面向t c p 连接和面向i p 接入网的报文平衡测度。这两个测度处丁不同的网络层次，前者基丁状态， 由于需要维系t c p 连接的信息，所以难以实时计算，但它带有更多的语义信息，便于分析和 建模，而后者建模困难，但它是无状态的，很容易实时获取，适用于高速网络环境。通过对 t c p 协议机制的分析，本文建立起了两者之间的关联，通过映射使得对后者的研究运用既具 有理论支持，又保持了实时陛好的优点。 论文在第三章主要讨论了使接入网的报文平衡测度走向实用的关键性问题，主要包括 测度参数的采集方式、时间粒度的选取和闽值的设置等。论文从模型的有效性、对网络性能 的影响以及s n m p 采集平台的约束等多个角度进行分析，通过综合比较来选取相对最优的时 间粒度。文中对测度阈值的讨论分为了静态闽值和动态阈值两个部分。在静态阈值的部分通 过借鉴医学测度的研究方法，为接入网的报文平衡测度确定了三级的“健康”范围的参考区 间，从而将测度的取值区间分成了“红”、“黄”和“绿”三个区间，并以此对接入网的进出 报文平衡性进行评估和监测。在对动态阈值进行讨论的部分，对几种可能的方法进行了分析 和实测评估之后，选用了基丁自适应过滤法的动态闽值调整方案，提出了相应的改进并介绍 了在此基础上对接入网的报文平衡性进行异常判定的算法。 随后，论文在第四章完成了一个将上述报文平衡测度的所有讨论结果在s n m p 平台上的 实现，包括系统的结构设计、各个功能模块的设计和实现流程以及实现的关键细节等内容和 对测试环节和测试结果的介绍。 最后是研究总结和对后续的研究及系统的改进工作进行的展望。 【关键词】网络管理网络监测测度接入网报文平衡性 l p 接入网的报文平衡测度研究 a b s t r a c t ap a c k e tq u a n t i t a t i v eb a l a n c es t u d yo ni pa c c e s sn e t w o r k y a n gy a h ，d i n gw e is o u t h e a s tu n i v e r s i t y w i t hr a p i dg r o w t ho fi n t e r n e tb a n d w i d t ha n dt h en u m b e ro fu s e r s ，t h e r ei sah i g h e rd e m a n d o nn e t w o r km a n a g e m e n ta n dd e t e c t i o n ，w h i l en e t w o r km e t r i c sh a v es i g n i f i c a n ti m p o r t a n c ei nt h i s f i e l d t h es t u d yo nn e t w o r km e t r i c sf a c e st w od i f f i c u l t i e s ：o n ei st od e f i n em e a n i n g f u lm e t r i c s ，t h e o t h e ri st ou s et h e mi nn e t w o r k ，a n dt h el a t t e ri n c l u d e st w oa s p e c t sa sw e l l ：t oo b t a i nt h em e t r i c s ( i n c l u d i n gt h eo b t a i n m e n to fv a r i a b l e sa n dt h ec a l c u l a t i o no fm e t r i c s ) a n dt os e tt h et h r e s h o l d f o ra c c e s sn e t w o r k ，w h i c hi sap e c u l i a rk i n do fn e t w o r k ，g e n e r i cm e t h o d sa n dm e t r i c sa r en o t e f f e c t i v ea n dh a r dt oe x p l o r ei t sp a r t i c u l a r i t y ；m o r e o v e r , t h en e t w o r kt r a f f i ci sg r o w i n g ，m a k i n g t h ee x i s t i n gm e t r i c sa n dm e t h o d si n a p p r o p r i a t ei n h i g hs p e e dn e t w o r k t h i sp a p e rg i v e s q u a n t i t a t i v eb a l a n c em e t r i c so fb i d i r e c t i o n a lp a c k e t sf o rb o t ht c pc o n n e c t i o na n di pa c c e s s n e t w o r kb a s e do nt h ed i r e c t i o no fp a c k e td e l i v e r y , p r o v i d e sd e e pd i s c u s s i o na n df e a s i b l es o l u t i o n s ， m a k i n gt h em e t r i cc o n v e n i e n ta n du s e f u li nr e a ln e t w o r ke n v i r o n m e n t f i n a l l y , ab a l a n c ed e t e c t i o n s y s t e mb a s e do ns n m pp l a t f o r mi sd e s i g n e da n di m p l e m e n t e d t h i sp a p e rb e g i n sw i t ht h ep a r t i c u l a r i t yo fa c c e s sn e t w o r k ，a n dd e f i n e sq u a n t i t a t i v eb a l a n c e m e t r i c so fb i d i r e c t i o n a lp a c k e t sf o rb o t ht c pc o n n e c t i o na n di pa c c e s sn e t w o r kb a s e do nt h e d i r e c t i o no fp a c k e td e l i v e r y t h et w om e t r i c sb e l o n gt od i f f e r e n tn e t w o r kl a y e r s ：t c pl a y e r o r i e n t e dm e t r i c sc a r r ym o r es e m a n t e m ea n da r ee a s yf o ra n a l y s i s ，b u tt h e yh a v ep o o rr e a lt i m e p e r f o r m a n c es i n c em a i n t a i n i n gt h es t a t eo ft c pf l o w si sn e e d e d ；i pl a y e ro r i e n t e dm e t r i c sa r ee a s y t oc a l c u l a t e ，h a v e g o o dr e a l t i m ep e r f o r m a n c ea n da r es u i t a b l ef o r h i g h s p e e d n e t w o r k m e a s u r e m e n t b yt h ea n a l y s i so ft c pp r o t o c o ls p e c i f i c a t i o n ，h o wt om a pt h ef o r m e rt ot h el a t t e ri s d i s c u s s e d ，m a k i n gt h em e t r i cw i t hb o t ha c a d e m i cs u p p o r ta n dg o o dr e a l t i m ep e r f o r m a n c e i nt h et h i r dc h a p t e r , t h ek e yi s s u e st op u tt h ep a c k e tq u a n t i t a t i v eb a l a n c em e t r i cf o ra c c e s s n e t w o r ki n t op r a c t i c a lu s ea r ed i s c u s s e d ，i n c l u d i n gt h ed a t ac o l l e c t i n gm e t h o d ，t h et h r e s h o l da n d t h et i m eb i nt oc a l c u l a t ei t t h e h e a l t h r a n g eo ft h em e t r i ci sg i v e nb yr e f e r r i n gt ot h em e t h o di n t h er e s e a r c hf i e l do f m e d i c a lm e t r i c s t h u st w ol i n e s 一“r e dl i n e ”a n d “y e l l o wl i n e ”a r ee s t a b l i s h e d a st h es t a t i ct h r e s h o l dt oe v a l u a t ea n dw a t c ht h es t a t eo fb i d i r e c t i o n a lp a c k e tq u a n t i t a t i v eb a l a n c e a f t e rt h ea n a l y s i sa n dd a t ae v a l u a t i o n ，t h ea d a p t i v ef i l t e r i n gm e t h o di ss e l e c t e do u to fo t h e r m e t h o d st oc h a n g et h et h r e s h o l dd y n a m i c a l l y , s o m ei m p r o v e m e n ti sm a d ea n dt h ea n o m a l y d e t e c t i o nm e t h o di si n t r o d u c e do nt h a tb a s e a f t e rt h es y n t h e t i c a l a n a l y s i sf r o mm u l t i p l e p e r s p e c t i v e s ，i n l u d i n gt h e m o d e le f f e c t i v e n e s s ，t h ee f r e c to nn e t w o r kp e r f o r m a n c ea n dt h e r e s t r i c t i o no fs n m pd a t ac o l l e c t i n gp l a t f o r m ，ap r o p e rt i m eb i ni sg i v e n t h ef o u r t h c h a p t e r f o c u s e so nt h e s y s t e md e s i g n a n di m p l e m e n t a t i o n t h es y s t e m a r c h i t e c t u r ei si n t r o d u c e df i r s t ，f o ll o w e db yt h em o d u l e sd e s i g na n di m p l e m e n t a t i o na n do t h e rk e y d e t a i l s t h e nt h et e s to ft h es y s t e mi si n t r o d u c e d ，i n d i c a t i n gt h a tt h es y s t e mh a sa c c o m p l i s h e dt h e e x p e c t a t i o ni nf u n c t i o n f i n a l l y , as u m m a r yi sg i v e na n dt h ee x p e c t a t i o no ff u t u r ew o r ki sp r o p o s e da sw e l l k e yw o r d s n e t w o r km a n a g e m e n t , n e t w o r kd e t e c t i o n ，m e t r i c ，a c c e s s sn e t w o r k , p a c k e t q u a n t i t a t i v eb a l a n c e i i 东南大，学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相二一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 垒部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名： 幺刍磁尘导师签名： 7 叮， 乡 厶1 、 日期：伽g ，辛f2 第一章绪论 1 1 引言 第一章绪论 自世界上第一个分组交换网a r p a n e t 诞生至今，计算机网络已经经历了蓬勃发展的几十 年，其规模几乎遍及到世界上所有的国家和地区，影响深入到全球的各行各业，网络传输的 数据流量也从b i t 级发展到今天的g i g a b y t e 级。与此同时，我国的t c p i p 互联网也经历了 长足的发展，据中国互联网络信息中，c , , ( c n n i c ) 最新发布的我国互联网现状调查报告显示， 截至2 0 0 7 年1 2 月3 1 日，我国网民总人数达到了2 1 亿，居世界第二位。 互联网技术的发展，一方面推动了社会的进步，促进了科学研究和商业经济的发展，另 一方面，日益增多的用户，不断上涨的流量，对网络的管理和维护提出了严峻的考验。如何 识别网络中不同用户的行为以及他们的意图，如何从海茸的流鼙信息中提取有用的信息以了 解网络的运行状况，如何识别和防范网络攻击，如何改善网络的质量和服务水平，这些都是 摆在网络科研工作者面前的课题。而网络测量是了解和解决这些问题的一个至关重要的起点 和途径，因为只有通过测量才能感知网络，才能进一步完成对其的管理和监控。 网络测度是网络测量的表现形式。而目前对互联网测度的研究还不够完善和不成体系， 许多已有的测度或者难以获取相关的参数，或者难以在实际环境中实时计算得到，或者即使 得到也难以用来评估网络状况。网络测度的研究包括两个方面：一是如何定义合适的有意义 的网络测度，二是如何在实际网络环境中使用这些测度。而后者义至少包括两点需要解决： 一个是测度的获得过程( 包括测度参数的获取和测度的计算两个阶段) ，另一个是相应测度 正常范围的边界值的确定。 本论文正是以网络管理和监测为背景，以接入网为对象，从双向报文数量关系出发，定 义接入网的报文平衡测度并建立起相应的模型，针对上述的两个难点进行了细致的研究并给 出了相应的解决方案，使之可以方便有效地应用丁实际网络环境。本文最后基于理论研究的 结果和s n m p 的支持设计并实现了一个报文平衡性监测系统。 1 2 研究背景 1 2 1 互联网的测量和测度 要对互联网进行有效的管理和监测，使得网络为用户提供更优质的服务，我们需要了解 网络的运行环境、网络应用和服务的实际t 作状况。而网络测量是对网络行为进行特征化、 对各项指标进行量化并充分理解与正确认识互联网的最基本的手段，是理解网络行为的最有 效的工具。它提供对网络性能和功能的改善可量化的依据，从而为掌握网络运行的客观规律 的研究提供系统的概念和方法。 按照测量的方式，可以把网络测量分为主动测最和被动测量【3 1 0 ( 1 ) 主动测量：在网络 上布置测试平台，主动发送测量流量，并根据测鼍数据流的传送情况来分析网络的性能。如 发i c m p 包或u d p 包。主动测量的优点是灵活性好，对测量过程的可控性比较高，易于进行端 到端的测量。缺点是由于需要向网络发送流量，会增加网络负担，对网络性能产生影响。大 量的流量可能会在瓶颈处产生拥塞，从而使测量值偏离实际值，有系统误差，展p h e i s e n b e r g 第一章绪论 效应。( 2 ) 被动测量：利用一定的软、硬件，被动地监测记录网络上的数据情况。被动测量 的优点是一般不会增加额外的网络流量。但是被动测量主要用于单点监测，难以进行端至端 的行为分析。被动测量中实时采集的数据量可能过人而难以进行存储或实时处理，并且可能 会存在片j 户数据泄漏等安全性和隐私问题。被动测簧的主要应用是包监听。随着网络带宽的 不断增加，网络业务流量呈现多样性，主动测量无法有效地感知复杂网络的行为特征。冈此， 被动测量成为人规模高速网络测量的研究重点。 网络测度是网络测量的表现形式。i e t f 的l p 性能测度( i p p m ) 7 1 2 作组1 2 l 在f r c 2 3 3 0 中给 出了网络测度的定义：“在运作的i n t e r n e t 中，有一些关于i n t e m e t 性能和可靠性的参量，这些 参量的值是我们所希望知道的，当这样一个参鼍被详细说明以后，这个参量就可以称之为一 个测度”。网络测度的定义必须遵循下面的规则： ( 1 ) 测度必须具体，定义明确； ( 2 ) 一个测度的测鼍方法应该是可重入的，如果在同样的条件下进行多次测量，那 么相同的测量方法应该获得相同的测量结果； ( 3 ) 对于使用相同实现技术的网络云而言，测度不应当表现出偏差； ( 4 ) 对于使用不同实现技术的网络云而言，测度应当是可理解的并且是有差别的； ( 5 ) 测度必须有助于用户和服务提供商理解他们所体验或者提供的服务的性能； ( 6 ) 测度应当避免引入主观的性能目标。 网络测度对于网络管理和监测而言有着至关重要的意义。首先，网络状况本身很难直接 表现出来，需要用网络测度来刻画，网络测度的研究使得对网络状况的认识不再停留在感性 的层面上，还可以进一步做定量分析。其次，标准化l ：作具有其重要性和必然性，而测度的 定义使得标准化工作成为可能，获得的基准测度能够帮助网络管理员了解本网络相比其它网 络在性能等各个方面的差异，从而改善网络的质量和服务水平。 1 2 2 基于测度的网络管理和监测 由于互联网是一个复杂系统，冈此互联网的测度也可以从许多不同的角度去考虑，由于 本文的研究是基于网络层和传输层的，因此将相应的测度分别称为i p 层测度和传输层测度。 因为在i n t e r n e t 中，t c p 流量在网络流量中占绝对优势1 5j ，9 0 以上的d o s 攻击也是使用的 t c p l 6 j ，所以本文对于传输层主要考虑t c p 沏j 度。测度的测量方法和它所处的协议层次密切相 关。网络管理和监测通常都是基于这些测度的。 i p 层的测度是基于报文的。i t u ts g l 3 _ - i z 作组在建议y 1 5 4 0 中定义了i p 包传输时延、 时延变化、误差率、丢失率、虚假率、吞吐量和可用性等测度，i e t f 的i p p m ：l 作组定义了可 连接性测度( r f c 2 6 7 8 ) 【、单向延迟测度( r f c 2 6 7 9 ) f 3 】、单向分组丢失测度( r f c 2 6 8 0 ) 1 9 1 、 往返延迟测度( r f c 2 6 8 1 ) 1 1 0 , 这些都是i p 层的测度。这些测度对于了解网络状况，进行有效 的网络管理和监测是有意义的：可连接性测度定义了网络中某个主机对之间是否是可达的， 主机之间相互可达是通信的基础，当主机对之间不可达时，可能意味着物理链路问题或者路 由问题；单向延迟测度定义了从源主机开始发送报文到目的主机接收到完整的报文之间的时 延，这个测度的最小值反映了在不考虑等待队列导致的延迟的情况下，仅仅考虑信号的传输 时间和数据包的传输时间而带来的延迟，它反映了无负载条件下的网络特征，这个测度从一 定程度上反映了网络的拥塞状况，对实时性应用有着重要的意义；单向分组丢失测度定义了 从源主机发送给目的主机的报文的丢失情况，当这个值大到一定程度的时候，即使某个主机 2 第一章绪论 对之间是可连接的，我们也不能依赖这样的网络服务。 t c p 层测度是基于数据流【1 2 】的。 1 3 通过实际测量对数据流的流长分布进行了研究； 1 1 揭示了流速和流持续时间的相关性； 1 4 对t c p 的会话k 度进行了研究，指出9 0 的t c p 会话 长度不超过l o k b ； 1 5 提出了多个t c p 层的测度来对网络异常情况进行检测。总体来看，从 数据流的角度来分析协议行为和用户行为对网络传输的影响，其相应的研究成果可以用于网 络管理和监测，在带宽控制、服务质量、网络安全监测、流量测量和预测等方面提供有意义 的指导。 大部分面向连接( t c p 层) 的测度都是基于状态的，由于需要维系所有连接的信息，所 以很难实时计算，但它带有更多的语义信息，更易丁分析和建模；而i p 层的测度建模困难， 但它是无状态的，很容易实时获取，在实时性要求较高的场合具有显著的优势。正是冈为处 于不同网络层次的测度都各有其缺陷，所以测度的研究往往不能取得预期的效果。从目前测 度研究的现状来看，很少有文献对从测度的提出到测度的应用进行系统而全面的介绍，所以 已有的测度或者难以测量得到，或者实时性欠佳而难以直接应用于实际网络环境，或者难以 对网络状况进行有效地评估和监测，尤其是在网络安全领域来抵抗s y n 攻击的一些机制，比 如s y nc a c h e 【l 引，s y n d e f e n d e r i l7 1 , s y np r o x y i n g i i a l 等，都是基于状态的，需要维系t c p 连接 的信息，这大人降低了端到端的t c p 性能并且很难应用丁大规模网络环境。 需要说明的一点是，虽然对数据流的维护通常需要比较大的开销，实时性比较差，但也 有相应的解决思路，比如n e t f l o w 技术，它借助硬件实现和抽样技术，硬件增加了成本，抽 样降低了精度，但都在可接受的范围内，所以获得了比较广泛的应用。 1 2 3 难点问题 目前测度研究的难点在于找到合适的测度，这个测度既能方便地实时获取，又能从特定 的角度反映出网络运行的状况。这个问题可以l 闩结为两点：一是定义测度，二二是解决测度实 用化过程中遇到的问题。从具体操作上来看，后者义体现在两个方面：( 1 ) 测度的获得过程 ( 包括了测度参数的获取和测度的计算两个阶段) 。测度的定义包含相应的参数，这些参数 必须是可以通过一定的方法获得的，而且这个获取的方法应当尽可能简单易行；测度的计算 不应当引入太人的复杂性，并且在高速网络环境下，测度的计算需要较高的实时性。( 2 ) 利 用测度有效地进行网络监测。通常情况下，网络监测是基于测度的阂值基线的，所以对网络 进行监测可以理解成为相应的测度确定正常范围的边界值。这一边界值的确定必须是有依据 和可行的，而要定义合理的边界值来有效地进行网络管理和监测是困难的。 1 3 论文工作概述 论文主要同绕上述测度研究的难点展开。针对第一个难点，本文从接入网进出报文平衡 性的角度，分别提出了面向连接和面向接入网络的报文平衡测度，根据两者的特点，建立起 它们之间的联系，将基于连接的报文平衡测度的性质和数量关系转化为基于接入网络的报文 平衡测度的性质和数量关系。之后针对测度研究的第二个难点，讨论了测度的获取和测度的 阈值设置等问题。测度的获取主要讨论了测度数据的采集方式和测度计算的时间粒度的选 取，测度的阈值设置主要讨论了静态阈值和动态闽值的设置方法。首先借鉴医学测度领域的 研究方法探讨了测度在正常情况下的阂值范围，以此作为静态的阈值，然后详细讨论了阈值 的自适应动态调整方法，从而使得该测度模型可以方便有效地运用于实际网络环境。最后， 3 第一章绪论 基于s n m p 实现了可以对该测度进行实际测量和计算的系统，并投入实际使用。 需要强调的一点是，本文的目的并不是为网络定义多个测度，而是侧重于探讨如何定义 实用的测度，关注的并不是测度研究的厂度，而是侧重丁测度研究的深度，侧重于单个测度 研究的完备性和实用性。所以，尽管本文只定义了一个测度，但这个测度揭示了接入网不同 于其他网络的特点，对- 丁这个测度的研究是比较深入和完备的。对这个测度的关键问题的研 究使得该测度模型可以克服传统测度研究的两大难点，而直接有效地应用于实际网络环境， 并很好地评估网络状况。 1 4 论文的选题和研究内容 1 4 1 论文的选题和目标 接入网是一类比较常见的网络，很多校园网和园区网都可以归入接入网的范畴，而对 接入网络的管理和监测还存在着很多的不足。首先，对接入网的管理仍然沿用一般网络通用 的方法或者借助于通用的测度，而这些方法和测度很难充分有效地挖掘其网络特征或者反映 网络状况；其次，很多的接入网出于成本考虑，并不在网络管理和监测软件上做多少投资， 使得接入网的管理和监测依赖人1 ：的成分比较多，而臼动化程度不足；再次，网络的迅速发 展使得带宽不断增加，已有的一些测度或者方法在高速网络下变得越米越不适用，冈为它们 或者很难在大量数据中及时获得所需的数据并进行分析处理，或者会给网络带来额外的负担 而造成网络性能的严重下降。所以针对接入网的网络管理和监测具有实用的意义。 接入网这类网络没有穿透型流量，所有流量都是本网络用户的行为结果。从字节( b p s ) 的角度来看网络的进出流量是不平衡的1 19 1 ，但从报文( p p s ) 的角度来看结论却有所不同【l5 1 ， 而由于所有的流量都走一个接口，所以对这个网络报文平衡性的监测就可以简化为对这个接 口的监测，从而使得从进出报文数量关系的角度为接入网定义测度并进行监测变得可行。因 此，本论文以接入网作为研究的目标网络，针对接入网的特征，以接入网的进出报文的平衡 性为切入点，在测度框架的约束下定义合理有效的测度，并对测度实用化问题进行详细的探 讨。 论文的目标是要克服测度运用的两大难点，针对接入网的报文平衡测度模型，给出解 决这两个难点的思路和具体方案，从而使得该测度模型可以走向实用。最终的实现系统可以 适用于高速网络环境，对接入网的管理和监测具有实用意义。 1 4 2 论文的研究内容 根据1 4 1 中的研究目标，本论文主要针对以卜研究内容展开： 接入网报文平衡测度模型的建立。 首先从接入网进出报文的平衡性状况出发，分别以进、出报文数量为参数，定义 基于t c p 连接的报文平衡测度和基于接入网的报文平衡测度，分析两者之间的关联， 并探讨测度的性质。 阈值的设置。 阈值包括静态阈值和动态闽值，两者各有优劣。静态阈值通过配置可以直接进行 4 第一章绪论 应用，但不能充分适应网络动态变化的特性，本论文在对现有的预测方法进行研究的 基础上，提出了改进的白适应预测和调整方法，以更好地反映网络特征和监测网络状 况，并在异常出现的时候进行日志记录。 时间粒度的选取。 在接入网报文平衡测度模型中，时间粒度其实是一个隐含的参数。时间粒度不能 取得过大，否则可能使得一段时间的异常被抵消而无法察觉以致产生漏报，时间粒度 取得太小会导致来不及完成一次报文的交互而产生误报。所以选取合适的时间粒度来 对测度进行计算，直接影响到该报文平衡测度模型的准确性，影响到网络管理和监测 的效果。本论文提出了几种不同的时间粒皮的选取方法，每一种方法体现了一个不同 的角度，时间粒度的确定使该模型最终得以走向实用。 基于s n i p 的系统实现 基于接入网的报文平衡测度的模型主要以进出接入网的报文数为参数，由于这些 参数都可以通过s n m pm i b 获取，而且路由器等网络设备基本都提供这样一种数据采集 方法，相比其他的数据采集方法而言，它的开销比较小，对网络的影响也不大。系统 按照指定的时间粒度从s n m pm i b 采集所需的数据，进行接入网进出报文平衡性的测量， 并根据网络的实际情况动态调整接入网报文平衡测度的正常阈值范同，显示网络的平 衡健康性状况并在出现异常的时候进行日忐记录。借助该系统，可以迅速方便地发现 网络的突发流量和异常流量，也有助于对网络架构和用户行为的认识和理解，对网络 管理和监测具有积极的意义。 1 4 3 论文的研究方法 1 4 3 1 研究的方法和工具 论文的研究主要是基于统计分析的方法。从统计分析方法本身来看，它发展到现在已经 比较成熟，市面上已经有很多先进的统计分析软件，只要有了一定规模的数据，就可以很方 便地从分散的数据中得出集中的信息，并揭示其中的冈果关系、时序关系、以及关联关系等， 而且使用统计分析方法可以避免以偏概全，以点代面，冈此准确性强，结论相对可靠；从本 论文研究的条件来看，我们可以从省网边界采集剑省内接入网的流量信息，在没有现成的模 式可以套用的情况下，需要从大量数据中发掘有用信息，而借助于计算机的分析处理能力和 统计分析软件的强大力量，可以比较有效地完成论文的研究工作。 1 4 3 2 测度研究的数据来源 论文用于进行测度研究的数据主要有两个来源： ( 1 ) t r a c e l l 2 0 1 ：来源于w i d e 主干网的跨太平洋的l o m b p s 链路，收集于2 0 0 5 年 1 月7 日，持续时间为2 4 小时。该t r a c e 主要用于第二二章中获得t c p 连接不 同方向的报文比范围。 ( 2 ) t r a c e 2 来源于一个高速网络测鼍系统w a t c h e r l 2 ，该系统运行于c e r n e t 的 一个省网边界，收集于为2 0 0 5 年1 1 月l o 日，持续时间为2 4 小时。该t r a c e 是采用被动测量技术，在省网到地区主干的边界路由器上进行采集并存储的。 所有进出省网的报文都会经过该边界，采集过程中没有采用抽样技术。所有 5 第一章绪论 的报文头都被完整地采集下来并存储，这组数据经过局部经处理后已在 型：卫- j 卫星：旦亟型：堡旦网站公布。采用这组数据的主要原因是我们能够获得其中 所有接入网的构成信息。经统计，该省网内的接入网有8 4 个，每个接入网分 配到的i p 地址块都是由一个或多个连续的c 类地址块构成的，每个连续的c 类地址块包含大丁1 的整数个c 聚类。该t r a c e 除了作为获得t c p 连接不同 方向的报文比范闱的一个数据来源，还作为模型分析和应用的实例数据。 采用这两组数据源的原冈是因为它们在地区、带宽等方面都有显著的差异，能使最后得 到的结论更有说服力，也更容易被接受。 1 5 论文组织结构 本论文的组织结构安排如下： 第一章是绪论部分，首先介绍了网络测量的基本概念和方法，然后介绍了当前网络测 度在网络管理和监测中的应用和不足，在此基础上提出了面向接入网的报文平衡测度研究， 最后介绍了论文的研究目标、研究内容和本论文的组织结构。 第二章介绍了接入网的报文平衡测度模型，分别提出了面向连接和面向接入网的测度， 讨论了它们的性质以及两者之间的关联。 第三章对模型实现的关键性问题进行了分析。首先介绍了测度变量的采集方法。在测 度计算的时间粒度选取问题上，从多个角度来对时间粒度进行比较和选择，并作出综合的评 估。在测度模型阈值这个问题上，首先借鉴医学测度的研究方法，给出了静态阈值，然后提 出了以检测网络异常为目标，确定接入网的报文平衡测度的动态阈值，介绍了儿种常用的方 法，从中进行比较选取并作出了相应的改进。 第四章介绍了基于s n m p 平台的接入网报文平衡性监测系统( p b m s ) 的设计和实现。首 先介绍系统的总体结构设计，然后介绍各个功能模块的设计和实现，主要包括数据采集模块、 测度计算模块、阈值调整模块和异常判定模块等，最后对系统进行了测试和验证。 论文最后作出总结，并对未来工作进行了展望。 6 第二章接入网报文平衡测度模型 第二章接入网报文平衡测度模型 2 1t c p 连接中不同方向的报文比分析 考虑一次完整的t c p 连接，它包括3 个阶段：建立连接、传送数据和断开连接。在t c p 连接建立时，需要三次握手，连接发起方发送出去的报文数为2 ，接收到的报文数为1 ；在 进行数据传送时，t c p 使用一种被称为滑动窗口协议的的流量控制方法，该协议允许发送方 在停止发送并等待确认前可以连续发送多个分组，t c p 协议的这种实现机制隐含了发送报文 和应答报文是存在一定约束关系的；断开连接时需要四次握手，连接双方发送和接收到的报 文数均为2 。由上述分析可以推断，连接双方发送的报文数是存在一定比例关系的。设t c p 连接的双方分别为x 和y ，我们假设x 和y 的发送报文比r r 。， 口，b 】，对应的误差为口， 这时称r x y 陋，b 】在误差范围口内成立。当口足够小时，我们可以近似认为 r x _ j ， 口，b 】成立。 不失一般性，设在一次完整的t c p 连接中，从x 到y 的报文数不小于y 到x 的报文数， 则有尺x _ r 【1 ， 】( 1 o ，x ( f ) 1 亡，d o ) o 。 在只考虑t c p 流量的情况下，接入网所有的流量是由多个t c p 连接构成的。当t 充分大 时，可视为每个连接都是完整的，设f 时间内的连接数为n ，则有丸o ) = 以( z i ) ， ，= l ( ，) = ( ，f ) ， l = l 口丑删( 1 i ) 九( 1 i ) 6 彳锄，( 1 i ) ， 吮胴以( 疗) = 以o ) 6 九朋) ，故由x ( r ) = 粤县= i = 1i = 1j = i 九，【f ) 坩 f = l n f = l 九m ( t o 九埘( t o a x ( f ) b ，因为d ( ，) 关于x ( ，) 的增函数，所以d ( ，) 的取值区间为【竺兰，竺兰】o 口+ lb + l 基于2 1 节中( 2 - 2 ) 式的讨论，取a = 0 4 ，b = 2 5 ，对应的误差范围在5 内，则r 时间 段内接入网的报文平衡测度d ( f ) 【- 0 4 3 ，0 4 3 】。而在网络的实际流量中，还存在一小部分 的u d p 流量，这部分流量虽然影响不大，但是可以考虑用一个大于l 的系数来修正它带米的 影响，由于t c p 在总流量中占到9 0 以1 - _ 5 1 ，所以这个系数可以取为i 0 9 ，从而将d ( ，) 可 能的取值范围扩大为卜0 4 8 ，0 4 8 】。 考察d ( r ) 的值可以对网络进出报文的情况有一个定性的认识：( 1 ) d ( r ) = 0 表示该段 时间内网络的进出报文数相当；( 2 ) d ( f ) 【0 , 0 4 8 】表示该段时间内进入网络的报文数要多 于从该网络出去的报文数，且d ( f ) 的值与右端点值越接近，两者相差越大；( 3 ) l o 第二章接入网报文甲衡测度模型 d ( ，) - 0 4 8 ，o 】表示该段时间内从该网络出去的报文数多丁进入该网络的报文数，且和左 端点越接近，两者相差越大；( 4 ) 当d ( r ) 萑【_ 0 4 8 ，0 4 8 】，即d o ) 的值落在该区间之外，这 表示该段时间内接入网报文的进出情况存在异常，这种异常可能是因为一个时间段内有大量 突发的u d p 流，也有可能是链路出了故障，甚至网络的安全性受到了威胁( 比如外部对于内 网的i ) d o s 攻击会导致进入网络的报文数急剧增加，此时d ( f ) 的值可能就会落在该区间范围 之外) ，所以对于接入网报文平衡测度的统计分析可以为网络管理员更高效地进行网络管理、 理解用户行为、诊断安全攻击提供一些启示性的信息，从而有利丁尽早地采取措施来解决网 络问题或者优化网络性能。从这个意义上而言，报文平衡测度可以视为衡量网络结构、用户 行为和运行状况的参考指标之一。 对单个接入网络而言，报文平衡测度从一定程度上反映了网络的状况以及用户的行为， 如网络内部有大量的服务器存在而导致出去的报文数明显多于进入的报文数( 反映了特殊的 内部网络架构，此时x ( ，) o ) 。基于这个简单的事实， 我们对t r a c e 2 ( 省网到地区主干一天的报文) 的数据进行了统计分析，从中可以大致看出， 虽然不同时间段内报文进出的绝对数量可能变化很大，但大部分接入网进出报文数的比例关 系波动并不非常剧烈。图2 3 给出了t r a c e 2 中的某个接入网在一个时间片段下的进出报文 数的示意图。 苗 y 盆 q 芑 名 e 芑 。m e 唰 x1 0 4 图2 - 3t r a c e 2 中某个接入网在9 小时内( 以3 0 0 秒为时间粒度) 的进出报文数统计图 2 3 其他因素的考虑 在实际网络环境中，可能还需要考虑以下这些冈素： 对于一个特定的接入网而言，当d 的值长时间稳定在一个范围内，这是它网络架 构的一个体现。d 的值从一个侧面反映了该网络内服务器和用户行为的相互关系， 第二章接入网报文平衡测度模型 这是相对稳定的因素。 对某些网络而言，进出网络的流量的优先级可能是不一样的，当流晕到达高峰期 而因为带宽、缓存和c p u 处理能力有限的原冈不得不丢包时，根据d 所表现的报 文进出平衡性以及事先约定的服务质量等级，可以选择性地丢弃某个方向低优先 级的报文。 接入网的规模问题。如果接入网的规模太大，少量节点的流量异常会被掩盖掉， 无法引发较大差异的出现，所以上述模型要用于异常检测，对丁中小型的网络规 模是合适的，如校园网或者更小一点的接入网。 当d 的值出现较大幅度的波动时，表示网络出现了某些异常，使得进出报文数已 经趋于不平衡的状态，这时可以对网络的流量分布进行更细致的监测，突发流量 的出现是可能的，需要采用合理的主动队列管理技术，另外的可能性是受到了安 全攻击，需要更为有效的安全检测模块。 2 4 本章小结 本章分析了面向t c p 连接的测度和面向i p 网络层的测度的优点和缺点，然后从接入网 的特点出发，以i p 报文投递方向为背景，分别提出了面向t c p 连接和面向i p 接入网的报 文平衡测度。通过对t c p 协议机制的分析，给出了前者取值范围的计算公式并讨论了将其 映射到后者的方法，从而将这两种测度的优点结合起来。 1 2 第三章模型实现的关键性问题 第三章模型实现的关键性问题 3 - 1 模型实现的关键问题描述 根据前面的介绍，测度运用的困难性主要体现在两个方面：一个是定义有意义的测度， 对本学位论文所研究的报文平衡测度而言，这部分的一r = 作在第二章中已完成；另一个是使测 度可以应用于实际网络环境，这将在本章中进行讨论。 使测度应用于实际网络环境需要解决两个方面的问题：一是计算测度的参数的获取和 测度值的计算，二是相应测度正常范围的边界值的确定。这两个问题解决了，测度才可以真 正走向实用。接入网的报文平衡测度是以进出接入网的报文数量为参数的，而这两个参数的 采集和测度的计算又与时间粒度相关。所以，接入网报文平衡测度模型实现的关键性问题有 三个：( 1 ) 测度参数的采集方式；( 2