（信息与通信工程专业论文）自组织多媒体覆盖网络研究.pdf

摘要 覆盖网络是重叠在现有网络上的虚拟网络，由分布在i n t e m e t 上的一些覆盖节点和它 们之间的逻辑链路组成。它实现方便，不需要大规模改变现有网络架构就可以提供更高的 服务质量。s p i n e s 是源代码开放的通用覆盖网络，采用逐跳传输协议和实时恢复协议能够 很好的改善实时传输的时延、抖动和丢包率等特性，支持对q o s 有较高要求的实时多媒 体业务，可以用于进行网络协议的开发和测试，提供用户需要的应用服务，但其动态性较 差。而p 2 p 覆盖网络的d h t 技术具有动态的自组织功能。 因此，本文主要研究如何将s p i n e s 与p 2 p 网络d h t 技术相结合，构建基于s p i n e s 覆 盖网络的既具有s p i n e s 网络逐跳传输，实时恢复优点，并具有动态性自组织功能的新型多 媒体覆盖网络s m o n ( s e l f - o r g a n i z a t i o nm u l t i m e d i ao v e r l a y - n e t w o r k ) 。本文首先分析了 s p i n e s 覆盖网络的软件架构、主要协议及其优缺点，d h t 技术的主要内容及其优缺点，并 在此基础上分析了s p i n e s 网络与d h t 技术结合的可行性。然后对s m o n 网络的设计思路 及具体设计方案进行了阐述：通过加入d h t 技术提高网络的动态性，加入动态冗余副本 管理机制d r m ( ( d y n a m i cr e d u n d a n tm a n a g e m e n t ) 、改进的漫步机制e r w ( e n h a n c e dr a n d o m w a l k s ) 增加s m o n 覆盖网络的健壮性和可扩展性，描述了s m o n 覆盖网络工作的具体 过程。最后通过n s 2 仿真工具搭建s m o n 网络仿真平台，并将s m o n 网络与s p i n e s 网络 在动态性、资源服务效率与负载平衡进行仿真分析。经理论分析及仿真结果说明该结构能 够适应动态变化的网络拓扑，可以随着节点的加入离开进行路由更新，与原s p i n e s 网络相 比产生的开销不是很大，具有较好的自组织性能。 关键词：自组织覆盖网络，d h t 技术，动态冗余机制，改进的漫步机制 a b s t r a c t o v e r l a yn e t w o r ki sav i r t u a ln e t w o r kw h i c hc o n s t r u c t sau s e rl e v e lg r a p ho nt o po fa n e x i s t i n gn e t w o r k i n gi n f r a s t r u c t u r es u c ha s t h ei n t e m e t ，i ti sau s e r - l e v e lt o p o l o g yb u i l tb y s e l e c t i n gas u b s e to f t h en o d e si nt h eu n d e r l y i n gn e t w o r ka n dc o n n e c t i n gt h e mb yv i r t u a ll i n k s i t c a ne a s i l yb ee m p l o y e da n dp r o v i d em u c hb e t t e rq u a l i t yo fs e r v i c ew i t h o u tr e q u i r i n gc h a n g e so f s t a n d a r d sa n dw i t h o u tt h er i s k sa s s o c i a t e dw i t he x p e r i m e n t a t i o no na l lo p e r a t i o n mn e t w o r k i n f r a s t r u c t u r e s p i n e si sa no p e ns o u r c eo v e d a yn e t w o r ks y s t e mt h a ta l l o w se a s yd e p l o y m e n t a n dt e s t i n go fo v e r l a yp r o t o c o l s ，w h i c he m p l o y sh o p - b y - h o pr e l i a b i l i t yt e c h n i q u e sc o n s i d e r a b l y r e d u c e st h ea v e r a g el a t e n c ya n dj i t t e ro fr e l i a b l ec o m m u n i c a t i o n i ts u p p o r t sr e a l - t i m e m u l t i - m e d i as e r v i c ew h i c hr e q u i r e sg o o dq o s ，a n dc a nb ee a s i l ya p p l i e dt od e v e l o p m e n ta n dt e s t o fn e t w o r kp r o t o c o l ，b u tl e s sd y n a m i c p 2 po v e r l a yn e t w o r kw i md y n a m i cs e l f - o r g a n i z a t i o n f u n c t i o n s ，i t sd y n a m i cb e a e n t h i st h e s i sf o c u so nt h ei n c o r p o r a t i o no fs p i n e sa n dd h tt e c h n o l o g y ，t ob u i l dt h e n e wm u l t i m e d i an e t w o r ks m o n ( s e l f - o r g a n i z a t i o nm u l t i m e d i ao v e r l a yn e t w o r k ) b a s e do n b o t ht h eh o p - b y - h o pn e t w o r kt r a n s m i s s i o na n dr e a l t i m et or e s t o r ew i t hs p i n e sa n dd y n a m i c s e l f - o r g a n i z i n gf e a t u r eo fd h tt e c h n o l o g y t h i st h e s i sf i r s ta n a l y z e st h es p i n e sn e t w o r k s o f t w a r ea r c h i t e c t u r e ，a n di t sm a i na d v a n t a g e sa n dd i s a d v a n t a g e s ，d h tt e c h n o l o g ym a i n e l e m e n t sa n di t sa d v a n t a g e sa n dd i s a d v a n t a g e s ，o nt h i sb a s i st h i st h e s i sa n a l y s i st h ef e a s i b i l i t yo f c o m b i n i n gs p i n e sn e t w o r ka n d t h ed h t t e c h n o l o g y a n dt h e nd e s c r i b e ds m o n n e t w o r ko nt h e d e s i g ni d e a sa n dt h es p e c i f i cd e s i g n b yj o i n i n gt h ed h tt e c h n o l o g yt oe n h a n c et h ed y n a m i c ， a d d i n g ac o p yo ft h ed y n a m i cr e d u n d a n c ym a n a g e m e n td r m ( d y n a m i cr e d u n d a n t m a n a g e m e n t ) ，w a l k i n gm e c h a n i s me r w ( e n h a n c e dr a n d o mw a l k s ) t oi n c r e a s er o b u s t n e s sa n d s c a l a b i l i t y , d e s c r i b e st h en e t w o r ks p e c i f i cw o r kp r o c e s s f i n a l l y , u s e dn s 2s i m u l a t i o nt o o l st o b u i l ds m o nn e t w o r ks i m u l a t i o np l a t f o r m ，a n dp e r f o r m a n c ec o m p a r i s o na b o u ts m o n n e t w o r k a n dt h es p i n e sn e t w o r ki nt h ed y n a m i c ，r e s o u r c ee f f i c i e n c ya n dl o a db a l a n c i n g b yt h e o r e t i c a l a n a l y s i sa n ds i m u l a t i o nr e s u l t ss h o w st h a tt h es t r u c t u r eb ea b l et oa d a p tt ot h ed y n a m i cc h a n g e s i nn e t w o r kt o p o l o g y , w i t ha c c e s s i o na n dl e f to ft h en o d e sf o rr o u t i n gu p d a t e ，c o m p a r e dw i t ht h e o r i g i n a ls p i n e sn e t w o r kh a v en o ts p e n d i n g al o tb u s i n e s s ，a n dh a sg o o ds e l g o r g a n i z e d p e r f o r m a n c e k e yw o r d s ：s e l f - o r g a n i z a t i o no v e r l a y n e t w o r k ；d h t ；d y n a m i cr e d u n d a n tm a n a g e m e n t ； e n h a n c e dr a n d o m 胎l k s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：f 曩维 签字日期：如 f年7 多月严日 学位论文版权使用授权书 本学位论文作者完全了解逝姿态堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝姿盘堂可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 彳曩梳 导师签名： 签字日期：少g 年7 声月j 2 一日 签字日期：a 舻j1 月泸 乒簪 致谢 转眼间，两年半的研究生生涯即将结束，感慨万千，在这段时间里，我得到了许多老 师、同学、朋友和亲人的帮助和支持，在学术和生活方面都获得了提高。借此机会向他们 表示衷心的感谢。 衷心感谢我的导师赵问道老师两年来对我的悉心关怀和指导! 赵问道老师广闻博学， 具有很强的开创性思想。从论文开题至今，赵老师给予我许多悉心的指导，本文能够顺利 完成和赵老师的支持和指导是分不开的。他的严谨作风和敬业精神将让我在今后的工作中 受益匪浅。从他身上不仅学到了许多专业知识，更学到了做学问的方法和做事的道理。 感谢我的妻子纪盛玲，在我上学期间独自承担了照顾幼女，操持家务的重担，没有她 的付出，我也无法安心学习! 感谢同实验室的兄弟姐妹：应必娣，蔡锐清，华能威，刘奇! 谢谢你们对我的支持、 关心和帮助! 何浩 2 0 0 8 年1 1 月于玉泉 1 1 课题的选题及研究意义 1 绪论 随着i n t e m e t 大规模的部署，要想改变i n t e m e t 的原有的网络协议，使其提供新的服务 变得特别困难。为解决这一难题，诞生了覆盖在现有网络上的虚拟网络，它实现方便，不 需要大规模改变现有网络架构就能提供更可靠、容错性更好的应用服务，并可以方便地针 对特定应用提供在现有网络层基础结构中难以提供的新业务。s p i n e s 覆盖网络 2 】采用逐跳 传输和实时恢复协议，使用存储转发的方式在覆盖链路上进行逐跳的拥塞控制和丢包恢 复，实现了可靠传输。逐跳传输比端到端传输具有较小的传输时延，减少了覆盖路由的开 销，提高了链路的吞吐量。而实时恢复协议则进一步改善了实时传输的时廷、丢包率和吞 吐量等特性，可以支持对q o s 有较高要求的实时多媒体业务，如v o l p 、视频会议等。可 见，s p i n e s 覆盖网络可以提供较好的多媒体业务，但其灵活性和可扩展性较差，缺少自组 织功能，为解决s p i n e s 覆盖网络本身存在的不足，并利用其较好的多媒体服务特性，本文 通过引入分布式哈希表d h t ( d i s t r i b u t e dh a s ht a b l e ) 技术来有效地解决以上问题。 d h t 是在覆盖网络中使用一个足够大的标识符i d ( i d e n t i f i e r ) 空间，系统中的所有 节点和数据( 这里的数据可能是文件、索引或地址信息等) 均具有唯一的i d 标志。每个 节点和数据的d 是通过散列函数得到的，印n o d ei d = h a s h ( n o d e ) ；d a t ai d - h a s h ( d a t a ) 。 这样，系统中所有节点就通过n o d ei d 映射到了d 空间，将i d 空间分割成若干个子空间， 每个节点负责一个子空间；数据保存在负责d a t ai d 所在的子空间的节点上。系统中的每 个节点需要按照一定的策略维护其它部分节点的信息表( 即路由表) 以便进行查找、定位 和路由。d h t 通常为上层应用提供p u t ( d a t ai d ，d a t a ) 和g e t ( d a t ai d ) 两个最基本的接 口，前者将数据存到相应的节点上，后者从相应的节点上取出d a t a i d 所对应的数据。 d h t 技术仅是提供了一种对资源管理的较好的方法，但本身并不会提供高质量的多 0 1 1 课题的选题及研究意义 1 绪论 随着i n t e m e t 大规模的部署，要想改变i n t e m e t 的原有的网络协议，使其提供新的服务 变得特别困难。为解决这一难题，诞生了覆盖在现有网络上的虚拟网络，它实现方便，不 需要大规模改变现有网络架构就能提供更可靠、容错性更好的应用服务，并可以方便地针 对特定应用提供在现有网络层基础结构中难以提供的新业务。s p i n e s 覆盖网络 2 】采用逐跳 传输和实时恢复协议，使用存储转发的方式在覆盖链路上进行逐跳的拥塞控制和丢包恢 复，实现了可靠传输。逐跳传输比端到端传输具有较小的传输时延，减少了覆盖路由的开 销，提高了链路的吞吐量。而实时恢复协议则进一步改善了实时传输的时廷、丢包率和吞 吐量等特性，可以支持对q o s 有较高要求的实时多媒体业务，如v o l p 、视频会议等。可 见，s p i n e s 覆盖网络可以提供较好的多媒体业务，但其灵活性和可扩展性较差，缺少自组 织功能，为解决s p i n e s 覆盖网络本身存在的不足，并利用其较好的多媒体服务特性，本文 通过引入分布式哈希表d h t ( d i s t r i b u t e dh a s ht a b l e ) 技术来有效地解决以上问题。 d h t 是在覆盖网络中使用一个足够大的标识符i d ( i d e n t i f i e r ) 空间，系统中的所有 节点和数据( 这里的数据可能是文件、索引或地址信息等) 均具有唯一的i d 标志。每个 节点和数据的d 是通过散列函数得到的，印n o d ei d = h a s h ( n o d e ) ；d a t ai d - h a s h ( d a t a ) 。 这样，系统中所有节点就通过n o d ei d 映射到了d 空间，将i d 空间分割成若干个子空间， 每个节点负责一个子空间；数据保存在负责d a t ai d 所在的子空间的节点上。系统中的每 个节点需要按照一定的策略维护其它部分节点的信息表( 即路由表) 以便进行查找、定位 和路由。d h t 通常为上层应用提供p u t ( d a t ai d ，d a t a ) 和g e t ( d a t ai d ) 两个最基本的接 口，前者将数据存到相应的节点上，后者从相应的节点上取出d a t a i d 所对应的数据。 d h t 技术仅是提供了一种对资源管理的较好的方法，但本身并不会提供高质量的多 0 媒体服务。将这两种技术相结合，并在其中引入自组织管理的机制，就可形成一个功能完 善，具备自组织功能的多媒体覆盖网络( s e l f - o r g a n i z a t i o nm u l t i - m e d i ao v e r l a yn e t w o r k ) s m o n 。 1 2 国内外研究现状 1 2 1 覆盖网络研究现状 国内外学术界已经对覆盖网络及d h t 技术做了大量的研究，覆盖网络的研究主要集 中在网络平台、网络拓扑、安全、路由、多播、虚拟链路技术等几个方面。q o s 问题是覆 盖网络研究的关键问题之一。目前网络研究主要通过两个途径提高q o s ，一个是节点控制； 另一个是整网或局部网络控制。节点控制在单节点或单链路完成，主要控制业务对单节点 共享资源的占用，包括共享的链路、缓存区、处理器资源。节点控制主要的策略包括：业 务流整形、业务调度、节点缓冲区管理。整网或局部网络控制通常通过对路由与信令的控 制达到对业务流或业务连接在网络中传输的直接控制，因路由直接关系到网络性能，所以 q o s 路由成为解决q o s 问题的一项关键技术。 国内外对覆盖网的路由问题的研究，大部分研究都是针对特定应用的。a k a r o u t i n g 1 】 是内容分送网络系统a k a m a i 的路由解决方案，它包括m a p m a k e r 和g u i d e 两个组件， m a p m a k e r 探测i n t e m e t 的全局“距离”，并为每个a k a m a i 数据中心和内容节点之间建议 三条较佳路由路径，而g u i d e 则比较这三条路径，从中选择一条最佳的路径。文献【2 】提出 了一种基于最大收益的d n s 内容路由算法，该算法采用名字解析服务器与网关分别获取 内容服务器负载信息和网络路由信息生成网络收益，根据最大网络收益算法选取最佳的内 容服务器。文献 3 】 4 】则是针对覆盖多播网络的路由研究，提出了均衡度分配( b a l a n c e d d e g r e e a l l o c a t i o n ，b d a ) 的路由方案能够有效均衡网络负载并减小端到端时廷。文献 1 6 也是对覆盖网络多播的路由研究，文中提出了一种启发式路由算法来解决覆盖网络多播中 的“最小直径、剩余均衡、度数受限的生成树( m i n i m u md i a m e t e r ， r e s i d u a l - b a l a n c e d ， 1 d e g r e e l i m i t e ds p a n n i n gt r e e ，m d r b d l ) 问题。文献 6 】 7 】【8 是对p 2 p 文件共享系统的路 由研究，文献 9 】利用相容哈希表来完成文件的查找和路由，文献 7 则进一步将数据分类 以减少路由查询的消息量，文献 8 】研究了如何利用路由表中的冗余信息来获得更高的路由 效率。文献 1 0 】研究了如何在覆盖网络内部节点和外部节点之间实现路由，提出了 n a t r o n 的网络架构并在该架构上设计了一种启发式算法来选择路由路径。 文献 1 1 1 2 1 1 3 介绍了服务路径和应用的相关工作，在n i n j a 1 1 项目中，服务路径被 定义为一系列应用层服务提供者和连接者。n i n j a 项目主要关注具体的、特定的实例和服 务路径提供者上的协议传输问题。随着多种服务代理的出现，它没能解决资源服务路径问 题。c a n s 1 2 框架中主要讲述了在互联网上的自适应服务分发及其组成，在不同资源条 件下，沿不同服务分发路径，它具有高度动态的q o s 适应性。然而，在每个服务分发路 径上，参与分享的服务器都假定是固定的。 在文献 1 3 】中，它呈现了一个程序框架，来组建获得媒体数据的网络服务。在文献 1 4 】 中，整体路径和媒体服务选择技术适用于动态分布式环境，然而，它试图把这种模式用在 c s 通信模型中。可能是因为，它没能考虑多媒体代理服务和服务代理的映射问题而导致 这种模式的可行性较差。 在路由算法方面，在文献 1 5 1 6 1 7 d g 没有哪个算法考虑路由和代理映射双重任务。 而且，覆盖网使用类似连接状态的方法来进行路由寻址；而在应用层多播路由中【1 5 1 1 6 ， 主要使用基于距离矢量的路由寻址方法。本文不选择这种基于距离矢量的路由寻址方法是 因为服务路径寻址问题的不同特性。在变化的网络容量和带宽需求的情况下，每个服务路 径需求都围绕着不同的媒体服务，这不可能产生一种单独在网络中进行估计和广播的距离 机制。 覆盖网络的多路径研究是为了最大化网络信道信息传输的质量，可以寻找最好的中继 节点( 链路) ，而不依赖于一个中心化的服务器或对全网络的认识。不用布置一个新的下 2 层基础结构或更新当前的路由器，就可以完成上面的工作，其作法就是建立一个多路径的 p 2 p 覆盖网络。 覆盖网络的多路径研究正在引起越来越广泛的关注，在文献d 8 q 提出了用多路径代 替单路径来改进链路功能，从而提高覆盖网络q o s 性能的方法。在文献 1 9 中提出了提高 多路径覆盖网络吞吐量的方法。在文献 2 0 中对多路径的相关性进行了分析并提出了提高 网络q o s 应注意的几个问题，尤其针对网络s n r ( s i g n a lt on o i s er a t i o ) 的的提高提出 了优化的方法。在文献 2 1 】中，提出了使用t a r o m 方法根据物理链路的丢失率上限来寻 找丢失率在0 至及上限间的可靠路径，为多路径选择最优路径。在文献 2 2 】中提出了如何 使用多网络路径，利用合成带宽寻找最好的路径，从而提高媒体流可靠性的方法。在文献 2 3 d p 提出了通过环形探寻路径找到最佳路径，并用r o n 和p l a n e t 作实验平台对这种 方法进行了验证。在文献 2 4 中对路径相关性中的链路容量进行了分析，并提出了一个分 布式的方法来解决相关性链路容量限制条件下如何提高路径q o s 性能的方法。另外还有 一些相应的文献对多路径条件下获得最优的网络性能，保证覆盖网络q o s 进行了研究。 但在现在的研究中，往往仅是针对多路径网络性能中的某个方面进行研究，如在网络 吞吐量方面、链路容量扩展的方法、路径的延迟性方面等，而缺少综合考虑在动态变化的 网络环境下，多约束条件下确保多路径覆盖网络q o s 性能的路由方法。 1 2 2d h t 技术研究现状 国内外对d h t 技术的结构及其搜索定位技术及与之相关的索引调整技术进行了大量 的研究。比如c h o r d 4 9 采用环形的结构，p a s t r y 5 0 采用路由表的结构，c a n 5 1 采用d 维的笛卡尔空间的结构方法，而k a d e r n l i a 5 2 采用二叉树的结构方法。现在对d h t 技术 研究的动向主要是采用混合拓扑的结构方法，增强d h t 技术的稳定性和资源定位的快速 性。比如流行很广的s k y p e 软件系统就是在网络的边缘节点采用集中式的网络结构，而在 超级节点之间采用分布式的网络结构。这就使得s k y p e 即能快速地定位使用者，并且具有 气 较好的稳定性 1 3 本文的研究内容及组织结构 本文重点研究如何构成具有自组织功能的多媒体覆盖网络s m o n 。通过应用结构化 p 2 p 的核心技术分布式哈希表( d h t ) - 9s p i n e s 覆盖网络相结合，提出了支持网络动态变 化的自组织多媒体覆盖网络，并在此结构的基础上采用动态的冗余副本技术( d r m ) 及 改进的漫步机制( e r w ) 提高网络的动态性及可扩展性，形成既具有s p i n e s 网络较好支 持多媒体业务的优点，又具有d h t 技术的动态性的新的覆盖网络s m o n 。文中重点是自 组织结构的实现过程，并对其性能进行了仿真分析，详细介绍了s m o n 构成的原理、方 法及过程，并对s m o n 网络的动态性、消息传送时的累积分布、负载平衡等性能参数进 行仿真，结果表明s m o n 网络能够较好的适应动态变化的网络环境，能够很好地支持逐 跳可靠传输和实时业务传输，提供了较好的路由性能。 本文篇章结构如下： 第一章介绍了本文研究的主要方向及现在国内外的研究现状。 g - , 分析所使用的覆盖网络平台s p i n e s 的层次和软件结构，讲述了其主要协议及其 实现的主要功能，分析了s p i n e s 的优缺点；对d h t 技术进行分析，研究双方的工作过程 及改进方法，得到将其整合是可行的结论。 第三章提出了s m o n 自组织多媒体覆盖网络的实现方案，阐述其原理和具体实现方 法。重点提出了针对s p i n e s 网络与d h t 技术结合的具体定义形式和为确保效率的动态冗 余方案以及改进的漫步机制的具体实现方法。理论分析表明这个结构具有自组织特性，增 强了原s p i n e s 网络的健壮性和可扩展性。 第四章针对第三章的理论分析，以n s 2 作为仿真工具，构建基于s p i n e s 覆盖网络的 s m o n 网络仿真平台，并对其进行仿真分析。主要是将本文构建的s m o n 覆盖网络与原 4 s p i n e s 网络进行负载平衡及其动态性、资源服务效率的仿真对比分析，从实验结果验证 s m o n 网络比之原网络具有较大的改进。 第五章对全文进行了总结，并对覆盖网络技术的未来研究提出了展望。 2s p i n e s 覆盖网络及d h t 技术 本章分析了覆盖网络平台s p i n e s 的层次和软件结构，讲述了其主要协议及其实现的主 要功能，分析了s p i n e s 的优缺点；并对d h t 技术进行分析，研究双方的工作过程及改进 方法，得出两种技术整合是完全可行的结论。 2 1 覆盖网络 2 1 1 覆盖网络基本情况 覆盖网络是由一系列分布于h l t e m e t 各自治系统内部的覆盖服务节点以及连接它们的 逻辑链路所组成的虚拟网络，它能有效地利用h l t e m e t 给终端用户提供更为可靠的服务。 覆盖节点通常具有路由、数据处理和数据保存等功能，而逻辑链路( 即覆盖链路) 通常对应 底层的一条或多条物理路径。图2 1 就是一个覆盖网络的例子。 图2 1 覆盖网络示意图 6 - 覆盖网络大致可以分为两大类：基于终端主机的覆盖网络和基于固定节点的覆盖网 在基于终端主机的覆盖网络中，终端主机只是逻辑上相连( 在网络层) ，没有得到i s p 的任何支持。它要求终端主机同时和其它多个终端相连。著名的p 2 p 文件共享系统g n u t e l l a 2 5 】和基于终端主机的i n t e m e t 多播 2 6 都是属于这类网络。有两个问题限制了这类网络的 应用：终端节点的低接入带宽和较大的“最后一英里”传输延迟 2 7 】。此外，由于终端节点 随时可能被打开或者关闭，所以这类覆盖网络是动态变化的，不能提供非常可靠的服务。 基于固定节点的覆盖网络使用一系列分布于i n t e m e t 上的固定节点来实现覆盖服务， 它通常由第三方服务提供商来维护，第三方服务提供商通过和i s p 签订服务等级协议 ( s e r v i c el e v e la g r e e m e n t ，s l a ) 使覆盖服务节点之间的覆盖链路的q o s 得到一定的保证， 内容分送网络( c d n ) 就属于这类覆盖网络。这类覆盖网络的优点是能够提供可靠的服务， 缺点是由于覆盖服务节点在搭建覆盖网的时候就已经固定下来了，增加或减少服务节点比 较麻烦，所以网络灵活性比较差。 覆盖网络技术具有以下优势： ( 1 ) 不需要大规模改变现有网络架构就能提供更为可靠、容错性更好的服务。有了覆 盖网络，即使网络层出现错误，应用系统也可以凭借覆盖网络快速找到替代路由，并可以 根据应用服务的不同服务质量要求来寻找相应的最优路径。 ( 2 ) 可以方便地通过针对特定应用的覆盖网络提供在现有网络基础结构中难以提供的 新业务，如应用层多对多的可靠多播，而不需要改变现有网络架构，实现起来也是很方便。 ( 3 ) 通过采用能更好地利用网络资源信息的算法来提高现有i n t e m e t 已有的业务性能， 如v o i p 的语音质量。 2 1 2 覆盖网络需求分析 文件共享系统 如果在一台计算机上需要远程的另一台机器上的文件，有的需要下载，有的要求远程 访问，可以采取远程登录，f t p 连接等方式实现，但必须自行用程序解决设计或系统异构 问题，通常只能一对一地进行，常常要求有直接的物理连接，这远不能满足如科技资源共 享、地理系统等大型系统的需要。在因特网上时兴一时的b s 结构，要求将信息集中在服 务器上，将需要分布的信息组织成网页在网上分布供大家共享，但受限制太多，规模较小， 而且还有前面提及的很多问题，因而，这类大型应用要求能从b s 模式前进一步，建立一 种虚拟网络，将需要共享文件的节点组织起来，又能分散在网络各机器中，因此必须解决 彼此间异构、通信规模、网上搜索查找等方面的问题，希望能有一个类似一台机器上的目 录结构，将虚拟网络变成一台大机器，这样才真正解决了大规模文件共享的问题。这样一 类覆盖网络规模不容易确定，一般常有突发的加入或退出，规模不断扩大变化等问题。对 文件查找有按目录、关键字、按一内容查找等不同。 电子政务系统 目前电子政务系统一般要求通信对象有明确目标、具体内容、及时更新，从各局部下 一级系统调集数据，应用有分层有等级，物理可以无分层无等级，但逻辑上应当有分层有 等级。文件有主动提供、搜索发现；定时交互、突发要求；批量与单件；组合与拆卸等不 同方式。在办公自动化、工作流、审批业务等方面要求有协同工作、更快速交互功能。对 数据的操作，例如上下级工作流( 例如市级工作由市级工作流控制，如果工作涉及或转区 一级，成为区的工作，要接区系统工作流) 有传递、转发、配合等方面问题。通常与其它 一些系统有复杂联系，例如与g i s 系统、与邮电通信系统等联系紧密。例如政府财政、税 收、教育等纵向系统；行业间横向系统将分别需要构成覆盖网络，网络纵横交错，每一节 点都可能和许多网络发生联系。数据类型繁多，这些数据来源、去向清楚，功能明确，划 分较细，结构差别很大。在处理数据共享时，对时间的要求不是主要问题，数据结构、意 r 义、处理、内容方面的异构问题被突显出来，必需要解决功能整合、数据整合的问题。数 据库和许多非纯文本文件涉及更细粒度的内部数据的共享问题。特别强调数据安全性、完 整性与一致性问题、关注并发操作问题等。需要考虑远程驱动与分布处理的问题，不论是 加入一个系统或是多个系统，都必须关注网上发来的要求，如果另一节点要求提供某一数 据，如果是自己节点有的，应当设法提取出来，放到指定位置供对方取用；如果是需要自 己节点运行某一预先准备好的程序，对信息进行处理与加工的，应当触发程序加工生成数 据提交给所需要节点。要求应当标明自己的身份，需求原因或用途( 类别) ，指明所需要的 数据内容、结构、意义。有些内容要按预先准备的规范解释，收到消息的节点要尽量满足 其格式要求。 因此，目前要建立一个高效率的电子政务系统一方面需要适度分布，( 与文件共享系 统不同，节点加入退出一般有策划，有控制，且节点高度自治) ，另一方面需要有效解决 服务规模与异构、并行等问题，要特别关注安全性问题，在具体设计时还要考虑数据整合 问题，一般需要有分层中央控制与建设的体系结构。 多媒体组播系统 例如大型m p 3 多播系统，大型影视、动画播送系统等对信息质量有较高要求，对网 络延迟、通信可靠性、传播质量等有较高要求，节点加入，与退出变化很大，即使是在一 次活动中的加入或退出也很频繁，要求优良的高保真特性，通常在任一瞬间由一方发送， 多方接收，也可能是多方( 多个多媒体网站) 发送多方接收，如果在个别站点流量过大时， 则需要分散流量，均衡负载。作为虚拟网络需要特别考虑联通特性，路由选择，流量控制 等方面问题，还存在版权等待解决的问题。 多媒体应用系统 如网络会议系统，网络教学系统等多媒体应用系统，对信息质量有较高要求，对带宽 延迟与通信可靠性有较高要求。节点加入、退出变化很大，但是以( 这一次和另一次之间) q 整体加入或退出，在一次活动中的中间加入或退出的并不频繁。网络会议与网络教学要防 止恶意攻击，要求高保真特性，需要质量控制，通常在任一瞬问只有一方发送，多方接收， 在个别站点流量过大的需要分散流量、均衡负载。作为虚拟网络需要特别考虑联通特性， 路由选择，流量控制，与会者同步与沟通，容错性，通信效率( 例如考虑网络层解码的难 题) 等方面问题。 2 1 3 覆盖网络需求总结 根据以上分析可以发现实际应用需求是丰富多彩的，各自所需功能与性能都有微妙的 不同，有些业务涉及服务与消费，有些业务则无法区分服务与消费，还有些可能涉及多重 服务与消费；有些除对网络有要求外，还要求中间支持；有些对通信质量有较高要求；有 些需要考虑安全性或易扩展特性等等。但规纳起来，总的都要求可扩展性，负载平衡，高 效率与动态性能，这也是本文需要解决的具体问题。 2 2s p i n e s 覆盖网络 s p i n e s 是由约翰霍普金斯大学的分布式网络实验室所开发的通用覆盖网络系统，是 源代码公开的，可以用来进行覆盖网络协议的测试和开发。s p i n e s 提供了两级的层次结构， 用户程序要连接到最近的覆盖节点，这个覆盖节点通过覆盖网络发送或转发数据到目的地 址。s p i n e s 运行于用户层，不需要改变基础设施和核心接入，并且在u d p 顶部被封装成 包。其分为两级的好处是可以限制覆盖网络的规模，以减少交换流控信息的数据量。覆盖 节点既是服务器，用于连接各种各样的应用，同时也是路由器，用于节点之间传输数据包。 由于s p i n e s 这样的等级结构，使得应用既可以位于覆盖节点处，也可以连接到与节点相连 的其它机器上。图2 2 是一个s p i n e s 覆盖网络的例子。 图2 2 s p i n e s 覆盖网络 为了使应用连接到一个s p i n e s 节点，s p i n e s 建立一个函数库s p i n e s l i b ，这个函数库可 以实现在应用和所选的覆盖节点之间使用u d p 或t c p 进行通信。为了方便用户编写s p i n e s 覆盖网络的应用程序，s p i n e s 提供了一套类似于u n i xs o c k e t 的用户编程接口( a p i ) ，可 以用于单播和多播通信，因此任意的网络应用程序可以很方便的应用s p i n e s 覆盖网络进行 通信，例如，当前的v o i p 应用，视频会议和视频点播。每个s p i n e s 的网络用户程序也由 i p 地址和端口号来标识，s p i n e s 节点根据唯一的口地址区分出连接它的不同用户，并且 为每一个用户分配一个i d 号码，s p i n e s 称为虚拟端口。根据i p 地址和虚拟端口，s p i n e s 就可以为用户提供类似于u d p 和t c p 通信。类似于s o c k e t 函数，s p i n e ss o c k e t 函数也返 回一个描述符，使用这个描述符就可以进行数据的接收和发送。同样，s p i n e s _ s e n d t o ( ) 和 s e n d t 0 0 ，s p i n e s r e c v f r o m 0 和r e c v f r o m ( ) 都是类似的功能，并且具有同样的函数参数，另外 s p i n e s 用户可以使用类似于b i n d 函数的s p i n e s _ _ b i n d 函数来绑定端口，这也为网络部署提 供了条件。其中虚拟端口是在覆盖节点内部定义的，只是为了方便标识数据传输的方向， 和实际传输的端口没有关系。s p i n e s 还可以提供类似于口多播的多播服务。 2 2 1s p i n e s 的软件架构 每一个覆盖节点上运行一个s p i n e s 的软件d a e m o n ，就成了一个s p i n e s 节点。这个 d a e m o n 通过会话层和用户进行通信。图2 3 所示即为s p i n e s 的软件架构，主要可以分为 三层：覆盖链路层，覆盖节点层和会话层。覆盖链路层建立在口网络的u d p 连接的基础 上，实现了四种虚拟链路：不可靠数据链路、可靠数据链路、实时数据链路和控制链路， 节点之间就通过虚拟链路建立连接和发送数据。覆盖节点层主要实现应用层数据的路由转 发、链路资源和拓扑管理等功能。会话层为覆盖网络上的应用提供应用程序接口。 覆盖节点负责和邻居节点保持连接，通过虚拟链路前向传输数据包或将信息传送给它 自己的客户。一个数据前向转发器( d a t af o r w o r d e r ) 会解析消息头，然后把它传向下一 个链路或传给d a e m o n 接口。为了实现不同的前向数据传输机制，d a t af o r w o r d e r 允许可 靠会话和尽力而为会话，实时链路，可靠链路或不可靠链路之间的任意结合使用。而邻居 节点之间则使用不可靠h e l l o 包定期相互发送p i n g 消息来检测节点之间的连接情况。s p i n e s 的h e l l o 协议负责在相邻d a e m o n 之间创建、销毁、检测虚拟链路和测量链路的延时特性。 图2 3 s p i n e s 的软件结构 s p i n e s 会话层为用户应用提供了应用程序接1 3 每一个用户连接到d a e m o n 上都有一 个会话，如果用户要求和其他的用户进行端到端通信，d a e m o n 就会初始化端到端可靠会 话模块，这个模块管理端到端的可靠性，输入输出次序和两个终端应用之间的端到端拥塞 控制和流拥塞控制。默认情况下不考虑覆盖节点之间链路的类型，用户和他们所连接的 d a e m o n 之间是利用t c p 可靠连接的。当然，用户也可以要求和他们的d a e m o n 之间进行 尽力而为的通信，在这种情况下，数据包是通过u d p 传输的，但是，控制信息仍然是通 过可靠t c p 进行传输的。用户和d a e m o n 之间的可靠连接会根据会话请求机制缓存需要传 输的包或关闭连接。s p i n e s 可以根据链路的拥塞情况调节发送窗1 2 1 的大小或者减缓发送端 的发送速率和接收端的接收速率进行流量控制和拥塞控制，降低包的丢失率，保证端到端 的可靠通信。 2 2 2s p i n e s 的主要协议及实现的功能 1 ) 逐跳传输协议 s p i n e s 采用逐跳传输，其实质就是在覆盖链路上进行可靠传输，实现逐跳的拥塞控制 和丢包恢复。使用存储转发的方式，让丢包在哪一跳丢失，就在哪一跳恢复，这样就不需 要从发送端重传，在网络状况较差时可以较好的改进传输性能。一般来说，一条采用逐跳 传输的覆盖链路的时延比需要经过多条链路的端到端传输的时延要小的多，因此可以让覆 盖网络节点来检测丢包和执行重发。而且，由于比端到端传输具有更小的时延，链路的拥 塞控制可以更快的增大发送窗1 3 来提高吞吐量。 图2 4 链状拓扑 本文使用如图2 4 所示的链状覆盖网络拓扑来说明逐跳传输的优点。例如要在节点a 和f 之间实现逐跳传输，设每相邻节点间链路的时廷为1 0 毫秒，其中在链路c - d 上会发 生丢包。那么当节点c 和d 检测到丢包时，节点c 会重传丢包，这个丢包恢复过程大概 需要3 0 毫秒而且，由于丢包恢复的很快，乱