（计算机系统结构专业论文）高速多链路逻辑信道环境下的自适应抽样流测量系统.pdf

摘要 摘要 高速多链路逻辑信道环境下的自适应抽样流测量系统 徐加羚，龚俭 东南大学计算机科学与工程学院 随着计算机网络技术的飞速发展，网络主干传输性能的不断提高和网络互联环境的日益 复杂化对网络测量技术的研究，特别是被动网络测量技术的研究提出了新的挑战。在大规模 高速网络环境下，复杂多样的链路和信道组织方式，巨大的网络流量传输量以及流量在传输 行为和内容上的复杂性对网络测量系统的扩展性、测量性能和功能等提出了更高的要求。许 多用于早期低速单链路网络环境下测量的测量系统在功能和性能上均已无法有效用于当前 高速网络主干传输环境下的测量任务。因此如何在大规模高速网络环境中有效的进行网络测 量是当前国内外网络测量研究的一个重要研究内容。 论文以高速网络被动测量为研究背景，对高速大规模网络中的多链路逻辑信道环境下进 行有效的网络流信息被动测量技术进行了研究。通过分析多链路逻辑信道网络环境特征以及 传统被动流信息测量系统的局限性，论文提出适用于高速网络多链路逻辑信道环境的被动抽 样自调节测量系统的系统模型设计，并对自适应流信息抽样和多路数据归并算法进行了研究 分析，最终设计和实现用于高速网络多链路逻辑信道网络环境下基于抽样自调节的i p 流信 息被动测量系统。 论文首先从对多链路逻辑信道网络测量环境特点进行了分析，提出了与多链路逻辑信道 测量环境相适应的被动流信息测量的数据流模型，并在此基础上提出了适用于被动自调节抽 样流信息测量系统的总体结构设计。在测量系统的系统结构的设计中，论文对测量系统内各 功能部分的功能进行定义并各功能部分间的组织关系进行了分析说明。 接着在白适应抽样链路流信息测量的设计中，论文提出了自调节报文抽样和流抽样相结 合的自调节抽样流测量的总体结构设计，采用报文抽样和流抽样分别控制测量的c p u 资源 和内存资源的消耗。设计中，论文提出了基于动态报文计数的报文流速计算和基于阀值检测 趋势触发的报文抽样比自适应调节算法以根据报文流速自动调节报文抽样比和基于抽样一 保持流抽样算法思想改进算法和基于概率分布的流抽样控制模型与用抽样点同步抽样的模 型参数快速计算算法相结合的自适应流抽样调节算法。在对经过自适应抽样流信息测量中抽 样估算和误差分析的讨论中，论文提出了对自调节抽样流信息测量中报文总数和字节总数两 个流基本属性的估算值和误差方差计算公式和算法实现。 随后，论文提出了用于多链路逻辑信道下多路链路流信息归并和综合功能实现的具体算 法。在对多路流信息归并算法的探讨中，论文提出多哈希索引表轮换策略来实现混合到达的 多路流信息按时间片归并功能和基于哈希索引表与链表相结合的数据结构实现信道流记录 的快速查询策略。在信道流信息综合策略的讨论中，论文从概率统计和误差分析原理角度对 信道流信息中的报文总数，字节总数属性统计值的估算以及总的估算误差的综合进行了推 算，提出了相应的综合算法策略与算法实现 在最后，论文介绍了用于实际网络主干流测量的测量系统的原型实现并对系统设计中的 算法和原型系统进行了相关测试。测试结果表明论文提出的用于多链路逻辑信道环境测量的 自适应抽样流测量系统的设计达到了预期的功能和性能要求。 【关键词】网络管理，被动测量，自适应抽样，n e t f l o w ，多链路逻辑信道 a b s t r a c t a b s t r a c t a d a p t i v es a m p l i n gb a s e dn e t w o r kt r a f f i c em e a s u r e m e n ts y s t e m f o rh i g h - s p e e dm u l i t - - l i n kl o g i c a lc h a n n e le n v i r o n m e n t x u ，j i a l i n g g o n gj i a n s c h o o lo f c o m p u t e rs c i e n c ea n de n g i n e e r i n g ，s o u t h e a s tu n i v e r s i t y w i t i it h eh i g l l - s p e e dd e v e l o p i n go fc o m p u t e rn e t w o r kt e c h n o l o g y , t h er e s e a r c ho nn e t w o r k t r a f f i cm e a s u r e m e n te s p e c i a l l yt h ep a s s i v em e a s u r e m e n tm e e t st h en e wc h a l l e n g e sl a i db yt h e i n c r e a s i n gt r a n s p o r tc a p a b i l i t y a n dc o m p l e xn e t w o r ki n t e r c o n n e c t i o ni nm o d e mn e t w o r k b a c k b o n e sp r a c t i c a ld e p l o y i n g w h i l em a n ym e a s u r e m e n ts y s t e m sd e v e l o p e df o re a r l yl o ws p e e d n e t w o r ke n v i r o n m e n ta r cn o tf i tf o rt o d a y sm e a s u r e m e n tn e e dt od e t e c tm o r ei n t r i c a t et r a f f i c b e h a v i o ru n d e rm o r ec o m p l i c a t e dn e t w o r kl i n ki n t e m o n n e c t i o na n dh u g et r a n s p o r tt r a f f i cv o l u m e s oh o wt od ot r a f f i cm e a s u r e m e n te f f i c i e n t l yu n d e rt h el a r g e - s c a l eh i g hs p e e db a c k b o n e sh a s b e c o m eah o tr e s e a r c ht o p i cf o ra l lt h er e s e a r c h e r si nt h i sf i e l d t a k i n gs a m p l i n gb a s e dp a s s i v em e a s u r e m e n tf o rh i g h s p e e dn e t w o r ka st h e r e s e a r c h b a c k g r o u n d t h i sp a p e re a r l yo u tr e s e a r c ho nt h ee f f i c i e n tw a yt od oa d a p t i v es a m p l i n gb a s e d m e a s u r i n gu n d e rh i g hs p e e dm u l t i l i n kl o g i c a lc h a n n e le n v i r o n m e n t o nt h ea n a l y z i n go f t h i sk i n d o f n e t w o r ke n v i r o n m e n t sc h a r a c t e r sa n dt h ed r a w b a c ko f t r a d i t i o n a lm e a s u r e m e n ts y s t e m s d e s i g n 。 t h i sp a p e rp r o p o s e san o v e ld e s i g no fa d a p t i v es a m p l i n gb a s e dp a s s i v em e a s u r e m e n ts y s t e mf o r t h em u l t i l i n kl o g i c a lc h a n n e l b a s e do nt h ea n a l y s i so fm u l t i - l i n kl o g i c a ll i n k sc h a r a c t e r s ，t h i sp a p e rf i r s t l yi n t r o d u c e sa d a t af l o wm o d e lo fp a s s i v em e a s u r e m e n tf i tf o rm u l t i 1 i n k1 0 9 i c a lc h a n n e l sm e a s u r e m e n t a n d f u r t h e r , t h i sp a p e rg i v e so u tt h em e a s u r e m e n ts y s t e m sf r a m e w o r kd e s i g n , t h ed e t a i l e dd e f i n i t i o n s o fa l lf u n c t i o n so f t h ef r a m e w o r ka n dt h ed e s c r i p t i o no f t h eo r g a n i z a t i o no f t h e m t h e nt h i sp a p e rr e p r e s e n t sad e s i g no fn e t w o r kf l o wm e a s u r e m e n to fl i n ki r a f n c ，w h i c h c o m b i n e sa d a p t i v ep a c k e ts a m p l i n ga n da d a p t i v ef l o ws a m p l i n gt oc o n t r o lt h ec o n s n n f 】i p t i o no f c p ua n dm e m o r yr e s o u r c e si n d i v i d u a l l y i nt h ed e s i g n i n go f a d a p t i v ep a c k e ts a m p l i n g , t h i sp a p e r i n v e n t sad y n a m i cp a c k e tc o u n t i n gb a s e da l g o r i t h mt oc o m p u t i n gp a c k e tt r a n s p o r ts p e e da n da t h r e s h o l d - d e t e c t i n gb a s e da l g o r i t h mt oc o n t r o lt h es a m p l er a t ea d a p t i n g a n dt h e nt h i sp a p e rg i v e s o u ta ni m p r o v e dp a c k e ts a m p l e h o l db a s e da l g o r i t h mt oc o n t r o lf l o ws a m p l i n gb yp a c k e tr a n d o m s a m p l i n ga n da s t a t i s t i cm o d e lo ft h es a m p l i n gc o n t r 0 1 i nt h ed i s c u s s i o no ff l o wp r o p e r t i e s e s t i m a t i o na n de r r o ra n a l y s i s , t h i sp a p e ri n t r o d u c e sa l la l g o r i t h mt oe s t i m a t et h eo r i g i n a lp a c k e t s u ma n db y t e ss u mi naf l o wr e c o r da n dc a l c u l a t et h ee s t i m a t ee r r o r f i n a l l y , t h i sp a p e rd e s c r i b e san e t w o r kf l o wm e a s u r e m e n ts y s t e mi m p l e m e n tb a s e do nt h e a r c h i t e c t u r ep r o p o s e di nt h i sp a p e r s y s t e m a t i c a lt e s t sh a db e e nc o n d u c t e do nt h i sp r o t o t y p et o e v a l u a t et h ep e r f o r m a n c ea n dt h ee f f i c i e n c yo ft h ea d a p t i n ga l g o r i t h m s a ss h o w nb yt h et e s t r e s u l t s ，t h ed e s i g no ft h en e t w o r kf l o wm e a s u r e m e n ts y s t e mf o rt h eh i g h - s p e e dm u l t i l i n kl o g i c a l c h a n n e lh a sa c h i e v e dt h ee x p e c t e dt a r g e t so ni t sf u n c t i o na n dp e r f o r m a n c e 【k e yw o r d 】n e t w o r km a n a g e m e n t , p a s s i v em e a s u r e m e n t , a d a p t i v es a m p l i n g , n e t f l o w , m u l t i l i n kl o g i c a lc h a n n e l i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何负献均 己在论文中作了明确的说明并表示了谢意。 研究生签名：幺坌缢 日期：墨丝呈：1 6 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密沦文外，允许沦 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：碰垒旌导师签名： 夕 致会一日期：扣t t o 第一章绪论 第一章绪论 1 1 引言 从上个世纪6 0 年代末美国国防部资助建立了互联网( i n t e m e t ) 的前身世界上第一 个分组交换网a r 队n e 卜至今的短短几十年中，互联网的发展日新月异。互联网无论在 网络结构还是应用规模上都已经发生了巨大的变化每天，i m e m e t 的规模都在扩大，新 的成员网不断加入成为i n t e m e t 的一部分；每天，i n t e m e t 的数据传输总量都在不断增加，各 种不同类型和不同速率的网络传输设备被添加到i n t e m e t 中。i n t e m e t 已经成为民众日常社会 生产和社会生活中不可或缺的信息基础设施，同时i n t e m e t 的发展也是人类文明发展的内容 之一。 在i n t e v f n e t 的迅速发展和人们对网络应用和网络性能的要求不断提高的同时，互联网作 为一项复杂的系统工程需要各种工程技术和科学理论研究工作的相互合作，网络互联技术也 已逐渐发展成为一项内涵广泛的综合性新兴科学。在对网络互联技术的研究中，网络测量技 术是网络互联技术的基础研究内容之一。网络测龟研究是指研究如何利用工程方法和数据工 具来获得被测对象网络系统的相关信息来了解其运行状况。测量实践所获得的实际网络信息 能够被广泛地用于网络管理实践工作和网络理论研究中，为网络行为和用户行为分析，网络 流量规划，流量计费以及网络服务质量( q o s ) 保障等应用和研究提供宝贵的实测数据。因 此网络测量研究对于网络互联中的其他技术的研究工作有着非常重要的实际意义 随着当前高速网络互联技术的不断发展，如何在大规模高速网络环境中有效的进行网络 测龟是当前网络测量研究的一个重要研究内容。在大规模高速网络环境下，复杂多样的链路 和信道组织方式，巨大的网络流量传输量以及流量在传输行为和内容上的复杂性对网络测量 系统的扩展性、测量性能和功能等提出了更高的要求。 论文工作针对高速网络环境给网络测量带来的新的要求和挑战，结合c e r n e t 华东北 地区网主干环境的特点和测量需求，对高速网络环境下的被动流测量系统设计实现中的系统 结构模型，抽样调节，多路数据归并，结果误差分析和修正等具体测量研究问题展开研究， 作为对高速网络环境下有效测量方法研究的有益探索。 1 2 论文研究背景 1 2 1 网络测量技术研究 网络测量的定义与发展 网络测量是一项研究如何应用工程方法和数学工具定量量测和描述网络系统的技术，是 网络管理和网络行为研究的支撑基础。网络测量所获得的网络系统信息能够为网络流量行 为，用户行为分析，网络流量规划。网络计费以及网络服务质量q o s 保障等高层网络应用 和理论的研究提供直接的数据。 网络测量研究的开始可以追溯到1 9 6 8 年i n t e m e t 的前身a r p a r n e t 建立之时。在1 9 6 8 年8 月美国国防远景研究规划局( d a r p a ) 筹建a r p a r n e t 项目的初期，a r p a r n e t 最 早期设计者之一l e o n a r dk l e i n r o c k 和他的研究小组已经在加州大学洛杉矶分校( u c l a ) 着 手建立世界上第一个网络测量系统。由于k l e i n r o c k 早期在报文交换理论研究工作上取得的 成绩和他对报文交换网络的分析、设计和测量研究的关注。由他在u c l a 建立的网络测量 中心n m c ( n e t w o r km e a s u r e m e n tc e n t e r ) 也成为了a r p a r n e t 的第一个节点j 。 今天，随着i n t e m e t 的壮大，对网络测量的需要变得更为紧迫，来自全球各地的研究人 6 第一章绪论 员组成了各种从事网络测量研究工作的组织和团体。其中有比较著名的国际化标准组织 i e t f ( i n t e m e t e n g i n e e r t a s k f o r c e ) 下属的三个从事网络测晕标准化工作组( p s a m p ，r i f m 和i p f i x ) 。和位于美国加州大学圣地亚哥分校( u c s d ) 商性能技术中心的 c a i d a ( c o o p e r a t i v ea s s o c i a t i o no fi n t e r n e td a t aa n a l y s i s ) 组织。此外，除了s i g c o m m 和 i n f o c o m m 这些核心的国际研究会议开始越来越多的关注网络测餐研究的发展，还出现了 以网络测茸为主题的国际性会议交流，最著名的有p a m ( p a s s i v ea n d a c t i v e m e a s u r e m e n t ) 和i m c ( i n t e m c tm e a s u r e m e n tc o n f e r c f l c ) 。 网络测量分类：主动测量和被动测量 网络测鼋技术发展到今天，新的网络测量技术和测量思想层出不穷，然而根据测量手段 的不同，目前的测鼍方式主要可以分为主动测量和被动测量两类。 主动测量是指通过向网络中主动注入报文数据后根据所注入报文在网络中传输状况来 测试被测网络的相应测度指标。当前，主动测晕的设计思想主要有两类：通过注入数据引起 的网络组成部件的特殊响应来分析网络的状况，例如t r a c e r o u t e 程序通过发送特定生命期 ( 1 v r l ) 的报文引起路由器发出i c m p 超时回应来测量报文传输路径( p a t h ) 信息；或通过 注入报文数据在被测网络中进行传输的传输行为来分析网络的传输特性。例如p c h a r ， p a t h c h a r 和p a t h r a l e l 2 l 中用报文的火车模型1 h mm o d e l ) 测鼋端至端传输路径中的瓶颈带宽。 主动测量的设计思想使得该类测量方式主要是用于网络端至端性能的测嚣需要，如端至 端传输的带宽( 可用带宽和瓶颈带宽) ，路径的不对称性，传输的延迟和抖动等特性。 另一方面，主动测蕈给被测网络带来额外的荷载负担，从而改变实际网络的传输行为。 如果没有小心地设计使得该方法产生的流量数最小，那么附加的流晕会扰乱网络，歪曲分析 结果。例如1 p e r f 1 进行带宽测肇时会占用被测网络9 0 以上的带宽资源。此外主动测景 的算法往往建立在对实际网络环境的简化抽象基础上而在实际过程很容易受到网络旁路流 量( c r o s st r a f f i c ) 的影响，因此主动测量方式在高速商负载网络环境中的测试结果与真实结 果的偏差往往很大。 此外，主动测晕需要网络中多个网络组成邦件的参与也限制了它在高速网络测量中的应 用。主动测量必须依赖网络被测路径两端的端节点以及中间路由节点的参与才能完成。而在 大规模网络中，由于网络拓扑的复杂性以及网络传输服务提供商对各自网络的独立封闭管 理，主动测量往往难以得到网络中间节点的支持而产生歪曲的测量结果。同样，参与协调的 端节点间的合作测量也受到地域的影响。 不同于主动测蕈方式，被动测量通过被动监听被测网络中原有的业务流量内容来分析被 测网络特征。由于被动测量的直接数据源是网络原有业务流量数据，被动测量不会影响原有 网络的正常传输行为。此外，被动测量可以从网络应用流量中提供主动测量所无法提供的流 量内容信息用以分析网络流鼍行为和用户应用行为，并且在协同测量中，被动测量可以通过 对网络多个边界节点的协同测馕而获得关于整个被测网络的端至端信息，而不仅仅是主动测 量所提供的指定路径的端至端特性。目前，国内外有i p l h p ”。c o r a l r e e f l ，s c a m p i 5 j ，p e r m e l 6 1 和w a t c h p q 系统等被动测每系统。 被动测量和主动测餐在网络技术发展的不同阶段具有不同的实用意义。在网络发展的早 期网络带宽的极其有限，网络流量内容和行为特性单一，因此早期网络测晕的主要任务是测 量有限的网络可用带宽资源以指导对带宽资源的合理使用和分配，加上窄带传输环境中流量 成分的单一无法为被动测量提供足够丰富的信息，因此早期的网络测餐研究中，主动测量的 研究比较活跃而被动测蹙的使用并不广泛。随着近年来网络带宽和网络应用的飞速增长，网 络流龟行为取代带宽限制成为是网络应用的主要影响因素。网络滥用，病毒蠕虫和网络攻击 等引起的网络流量异常成为造成网络瘫痪的主要原因。而这些流量行为的变化无法通过主动 7 第一章绪论 测晕方式来有效感知。因此网络流量测量在高速网络环境下对网络计费，网络服务质量保障， 网络规划起着越来越重要的指导作用，网络被动测量技术的研究重新成为高速网络环境f 的 测鼙研究的焦点。此外而主动测量也可作为破动测量的辅助测量手段为被动测量提供被测网 络的相关信息。 1 2 2 被动抽样流信息测量研究 高速网络被动测量存在的问题 根据当前的网络测最研究需要，虽然网络被动测鼍所具有的诸多优点使其成为当前丈规 模高速主干网络测量的主要手段，但是网络被动测量系统在处理网络流量的同时也不可避免 的会受到输入数据对系统本身的影响。近年来网络技术的飞速发展，高速主干网络的传输能 力不断增加和传输的网络业务流量的快速增长给已有网络破动测量技术和测量系统的设计 带来了巨大的冲击主要表现为： 网络带宽容量和实际网络应用流量的高速增长。网络传输能力和网络中实际业务流量的 不断增加使得基于全流采集的传统被动测量方式变得越来越难以实施。全流量采集是指在被 动测壤中测餐系统将被观测网络信道上的全部漉晕数据作为分析和处理的数据对象。然而在 高速网络环境中。海晕的网络应用流量给被动测量系统的流量处理和存储都带来了极大的困 难。以c e r n e t 联网单位瓤目，大多数大学和研究机构的校园网和园区网建设中千兆电缆 和光纤以太网络交换传输技术已在普及。目前，c e r n e t 主干中1 0 g p o s 和1 0 g e 光纤传输 信道已开始投入运行。与此同时，目前采用通用计算机架构硬件平台软件方式实现的的被动 测量系统仅能支持千兆链路下的测量需要。即使采用d a g ”域n e t w o r kp r o c e s s o r l s l 硬件支 持。基于通用计算机架构的软件测量测量系统仍受限于总线带宽、c p u 处理能力以及内存 速度和容量局限而无法支持1 0 g e 或o c 1 9 2 网络环境下的全流量采集测量。此外，海量数 据输入的同时带来了测量结果信息量的增长，这对测量结果信息的定义、处理、传输、表达 和分析提出了新的要求。 网络业务流量的流量行为和成分的复杂化和多变性。网络流量背后所反映的用户应用类 型在很大程度上影响着网络流量的流量特征。随着高速主干网络中网络应用了类型和总体用 户群的扩大，在流量传输容量不断增长的同时，网络的行为和成分也变得越来越复杂化和多 变。一方面，复杂多变的流量行为( 如网络蠕虫爆发、大规模网络扫描以及d d o s 攻击等网 络滥用或p 2 p 文件共享的应用) 对网络测量系统自身的鲁棒性提出了更苛刻的要求。而在 另一方面，流量成分的复杂性也对测量结果信息的描述能力提出了更多的需求。 网络信道组织方式更为多样化。随着新的更高传输能力的网络传输和路由设备的出现， 主干网络需要跟着网络流量的快速增长不断升级。在网络升级中，网络运营商出于保护原有 设备投资而常常采用各种信道扩展方式用多条链路来传输路信道数据来增加原 有传输网的接入容量。然而传统单机模式的被动测量系统无法依靠单台服务器处理多条链路 的流量。因此网络信道新出现的组织方式对测最器的可扩展性也提出了新的挑战。 根据上述高速网络的发展趋势及其对现有被动网络测量的影响，当前，网络被动测量研 究的主要任务是设计适用于高速网络测量需要合理的测量数据量处理策略，测量信息的描述 层次以及测量系统的系统结构 测量信息的抽象：报文信息与流信息 网络被动测量的主要目的是采集和处理网络流量数据为网络分析提供数据参考，其任务 的实质是对网络摄文数据的加工和抽象。加工是指测量系统的数据处理中的所涉及的计算工 作，抽象是指处理前后信息对象的变换。被动测量和网络分析的整个研究过程就是一个从网 8 第一章绪论 络最基本数据对象报文信息到研究t 作的对象的特征信息的抽象过稃。 在这个过程中，根据网络流量分析和网络研究的常规需求，根据抽象层次的从低到高通 常有抽象数据对象有报文信息( p a c k e t ) ，流信息( f l o w ) 。链路信道( l i n k c h a n n e l ) 信息 以及全网( n e t w o r k ) 信息。其中报文是网络传输的原始信息；流是指具有相同特性的报文 集合，流信息则是指该报文集合所表现出的特征；链路信息和全网信息是指在网络研究中根 据网络分析的需要把特定链路和网络作为研究对象的整体。 早期的网络测量主要任务只是简单的采集并输出报文中的传输协议信息( 也称为报文信 息，只是实际常采取丢弃报文中的部分或全部数据荷载以减少数据量) ，例如采用原始套接 字方式r a ws o c k e t 或l i b p c a p 库来采集和存储网络上的报文信息，而由网络分析程序根据 具体研究需要直接处理网络测量得到的报文信息数据。后来随着网络速度的攀升，直接以报 文信息作为测每输出无论在产生的数据量和后端分析中处理茸上都是困难的。因此现在这类 测量系统的单独使用变得越来越少。另一方面，在网络测簟和网络数据分析的整个过程中， 由于链路信息和全网信息与网络研究的具体目的相关而不具备通用性，因此也不适合作为通 用测母系统的数据抽象对象形式。因此出于压缩数据鼍的同时尽量保持测量结果对各种研 究需要的普遍适用性的双重考虑，目前主要的被动测量系统大多选择以流作为系统的输出数 据对象。 由于流的定义建立在对报文属性特征的抽象上，因此在实际网络研究中根据所关注的报 文属性特征的各异，存在着各类不同的流定义。广义上，报文信息中的任何属性都可以用于 流的定义，例如源宿地址，协议类型，源宿端口，报文传输的路由a s 信息，r r l ，i p 流标 示字段和数据荷载中特定偏移位置处的字段值以及他们的组合属性都可以用于定义流。然而 过于随意的流定义则不具备普遍适用性。i e f t 下属的网络实时流测量工作组r t f m ( r e a l t i m ef l o wm e a s u r e m e n t ) 于1 9 9 9 年在测量系统体系结构标准化建议中提出最早的流定义的 建议：流是两个端节点间( e n d p o i n t ) 的双向报文的集合p j l 2 。即由通信双方的地址对信息 定义一个流。但在测量系统体系结构的实际实现中，出于对网络计费的需要以及流数据量输 出量规模的考虑( r t f m 采用s n m p 方式输出) ，r t f m 小组使用流组( f l o wo r o u p ) 的概念 来代替流。流组是指两个网络地址段之间的报文。它是基于流的更高层次的信息聚合。由于 聚合后的流组信息提供的数据量有限，因此缺乏广泛的适用性和灵活性。 在2 0 0 4 年i e l l f 下属的i p 流信息输出工作小组i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 针 对i p 流信息输出需求描述和i p 流信息输出候选协议评测i p f l x 分别提出相应的r f c 标准 1 0 l l “l 和针对i p 流信息输出体系结构，信息模型，协议规格的多个r f c 草案1 1 2 1 1 ”j f l 4 。在i p f i x 的标准纯建议中对流的定义为：流是在特定时间段内经过网络观测点的一组报文；属于同一 流的报文共享一组公共属性i l ，这些属性可以为报文头部的传输信息域，报文自身的属性 ( 如m p l s 标签的数量) 或对报文的处理信息( 如f 一跳路由地址) 。 i p f i x 对i p 流的定义比r t f m 的定义更符合网络研究对测量信息抽象的多样性要求。 而在实际测量和网络研究工作中，不存在这样可适用于所有研究需要的流的现实定义。因此 i p f i x 在考察了现实中各类流定义的适用性和使用广泛性和比较评估了几个重要的流信息 测鼍系统的基础上，建议网络测量系统以i p 报文传输信息中的源宿i p 地址，传输层协议类 型以及传输层源宿端口号属性组成的五元组来定义流，即以一定时间内通讯双方的i p 地址， 对应端口和所适用的传输层协议来标示一个流。该定义也是目前为大多数测量研究所接受并 支持的对流的现实定义。 因此在本论文后面如没有特殊说明，所指的流均是指符合i p f i x 提出的关于i p 流的现 实定义的流。 常用数据量压缩方法：抽样和聚类 9 第一章绪论 在高速网络环境中，网络被动流信息测量中以链路速度实时生成流鼍报告，需要消耗大 量的带宽来传输测量结果以及还需要大量的资源来存储和处理流信息等困难成为设计有效 的数据鼍压缩策珞的动机。候选的压缩策略包括聚合( a g 掣e g 越i o n ) 和抽样( s a m p l i n g ) 。聚合是 指根据报文属性的一定范围区问来合并数据：抽样是指从数据中随机抽取代表性子集。在这 两类技术中，抽样技术能使测营结果信息获得最细粒度的细节。而聚合虽然可提供已知网络 行为的报告来更好的来理解这些行为，但是聚合往往会在信息聚合中隐蔽了细节信息从而导 致无法发现未知网络行为例。虽然抽样测量以降低部分结果精度为代价，但却可极大降低 网络流量对测量系统造成的负载压力，同时能在一定程度上减轻网络滥用产生的短流风暴对 测量系统资源的消耗。因而当全流鼋采集越来越变得不可行的情况下，抽样被动测量已经成 为高速网络测量研究的主要趋势和研究热点之一 近年来，国内外流量测量组织提出了多种实用抽样算法和基于抽样方式的测量器系统设 计。其中国际标准化组织l e t f 下属的报文抽样p s a m p ( p a c k d s a m p l i n g ) 工作组已提交了 报文抽样测量相关的测量器系统结构，抽样方式和报文抽样输出交换格式等多个r f c 草案 f 1 8 j l l 9 | 2 0 j 【2 1 1 综上所述，随着网络技术和应用的发展，大规模高速网络主干中复杂多变的高速网络流 量以及多样化的链路环境对网络测量提出了新的问题。为了适应新的网络测量环境，基于抽 样方式的流信息抽样逐渐成为被动测量技术研究的新的发展方向。 1 2 3 已有的流信息测量系统：n e t r a m e t 和n e t f l o w 在网络技术发展的早期，单机计算机硬件处理能力足以应付低速网络流量监测的处理需 要。因此网络测量系统的研究和实现基本上以基于单机的处理模式为主。其中互联网国际 标准化组织i e t f 的r t f m ( r e a lt i m e f l o wm e a s u r e m e n t ) 工作组就基于单机处理模式的测 量系统的体系结构的设计制定大量r f c 标准化建议。继r t f m 之后，i p f i x ( i p f l o w i n f o r m a t i o ne x p o r t ) 工作组从l p 流测量系统的流信息数据交换角度也提出了大量r f c 标准 化建议。这些标准化建议在很大程度上影响了目前已有测量系统的系统结构设计。其中 n e w a m e t 和n e t f l o w 是最具备代表性的两个测量系统实现 n e t r a m e t 流测量系统 n e t r a m e t 是在r t f 讣“i 工作组提出的r f c 标准背景下开发完成的早期流测量系统。它由 曾任r t f m 工作组主席的新西兰奥克兰大学n e v i lb r o w n l e e 主持开发的。由于n e t r a m e t 的 体系结构遵循r t f m 工作组提出的r f c 标准建议，在功能上基本覆盖了网络管理的日常需 求并以s n m pm i b 方式作为输出接口，这与传统s n m p 网管软件能很好结合，因此成为目 前是基于软件实现投入实际使用最广泛的流信息测量系统。 ? 。1 备洳卜 _ = ：= 一a a 即n a l y 鲥s i s 彻 图i in e t r a m e t 系统结构示 1 0 第一章绪论 n e t r a m e t 测晕系统结构按照r t f m 工作组提出的r f c2 7 2 2 设计。图1 i 所示为n e t r a m e t 的总体系统设计结果。其中m a n a g e r 是系统的控制模块，协调罄个系统的运行，丽m e t e r , m e t e rr e a d e r 和a n a l y s i sa p p l i c a t i o n 建议中的测量系统的测量功能模块。 报文头部信息 m e t e rr e a d e r 图1 2m e t e r 功能逻辑结构示意 m e t e r 是n e t r a m e t 测量的主要部件，其内部逻辑结构如图1 2 所示。报文协议头部信息 到达m e t e r 后进入报文处理器。报文处理器从报文头部信息中抽取报文的特征信息( 源宿i p 地址，t c p u d p 协议类型和源宿端口五元组) 作为该报文的匹配i d 送到报文匹配引擎处进 行规则匹配处理。报文匹配引擎中维护了当前的n e t r a m e t 的匹配规则。匹配规则通过对报 文传输信息五元组空间的描述定义了n e t r a m e t 系统中的流概念。报文匹配引擎的主要任务 是根据当前匹配规则定义对到达的报文以“流组”进行分类和聚合。当报文未与报文匹配引 擎中的任何流定义规则匹配则被报文处理器忽略，否则报文匹配引擎返回该报文所匹配的流 的l d 标示来触发报文处理器将去更新测量器中维护的流信息表结构。流信息表是用于维护 流信息的数据结构，它通过检索索引来接受来自报文处理器的更新信息和采集索引接受来自 m e t e rr e a d e r 的数据访问请求。 对n e t r a m e t 的系统结构的分析中可以发现，它的设计代表了基于单机处理方式的测量 器设计上的成熟： n e t r a m e t 的框架中充分考虑到测蕈器系统所需的所须的功能定义。 n e t r a m e t 采用串行化的数据处理流程简要合理，可适用于从单任务系统( d o s ) 到 多任务系统( u n i x ) 各类系统环境下的部署和实现。 n e t r a m e t 在实现中定义了完备的流信息模型，报文匹配规则语言及匹配规则框架和 s n m p m i b 接口规范。 虽然n e t r a m e t 的设计代表了早期被动网络测量系统设计思想，但由于n e t r a m e t 的设计 构想主要针对早期低速网络环境，随着近年来网络环境的不断变化在则难以再适用于新出现 的高速网络环境。其不足主要表现为以下几个方面： 基于单机串行处理模式的系统设计不适用于多链路信道环境下的流量测量任务。 为网络计费服务的流组聚合和流统计属性构想无法服务于高速网络流量研究对数据 第一章绪论 需求的多样性。 缺乏对抽样流测量的支持。 基于s n m pm i b 的数据交换方式不适合高速数据输出需要。 综合n e t r a m e t 设计的优缺点，n e f f a m e t 在对早期网络和网管需求考虑上的完备性导致 了其在高速网络环境下可扩展性的缺乏。n e t r a m e t 设计上对针对早期网络环境和网络管理 特点所采用的某些具体实现机制已经成为局限其适用性的主要限制。但n e t r a m e t 中合理的 测量功能的定义、划分和功能之阀关系设计。仍然对高速网络环境f 的测量系统的设计有着 重要的指导意义。 n e t f i o w 流测量系统 c i s c o 公司基于其硬件路由器产品的n e t f i o w i 6 1 流信息输出功能是目前主要的高速网络 环境下的硬件流测最系统。c i s c on e t f l o w 主要用于i p 流信息的稷l 量。其系统实现由于和 c i s c o 硬件产品相关且属于其专有。而数据交换格式的提出和修正遵循i p f i x 工作组的规范 指导，因此也成为了i p f i x 评测中的推荐协议i i “目前，以其标准的开放性而被业界厂商 广泛支持，其兼容协议形式在各家硬件路由器产品多有实现。此外，不少软件测量系统也以 n e t f l o w 数据交换格式或兼容格式作为数据输出格式。 s a m p l e d n e t f i o w 的系统大致如图1 3 u “所示。n e t f i o w 功能实现路由器的硬件接口板。 在n e t f l o w 的实现中，报文数据从报文转发硬件根据抽样比( i n ) 随机抽取报文头部信息 后送入硬件小容量缓冲( s m a l lb u f f e r ) n e t f i o w 处理器( p r o c e s s o r ) 从缓冲中取得抽样报 圉 图1 3s a m p l e dn e t f l o w 系统结构图 文头部信息后更新d r a m 中的n e t h o w 缓存( n e t f i o w f l o w c a c h e ) 中，当缓存中流记录满 足n e t f l o w 的淘汰策略( 流终结，超时或缓存空间不足) 被送往n e t f l o w 处理器( p r o c e s s o r ) 生成为流记录信息后通过网络输出给后端用于数据收集和分析的服务器( d a t ac o l l e c t i o na n d 第一章绪论 a n a l y s i ss e r v e r ) 。图中带箭头的虚线表示n e t f l o w 中的数据流。 在设计中，n e t f l o w 还采用了降低系统内存和处理器消耗的流结束策略。当n e t f i o w 系 统中流记录满足下列情况之一时将被视为流已经中止并被淘汰出缓存区：( 1 ) 当收到表示 t c p 会