（计算机应用技术专业论文）基于混合发现机制的层次化p2p模型.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 当前主流p 2 p 网络存在着可扩展性不高，效率低下以及对电信主干网负载太大等问题， 已经严重阻碍了p 2 p 的应用和发展。目前最新的技术是基于d h t 的结构化的定位模型， 这种技术在一定程度上解决了这些问题，但其只能提供精确的查询使它很难转化成实用系 统。 本文在分析以上网络优缺点的基础上，提出了种基于混合发现机制的层次化p 2 p 模 型h i e r a r c h i c a l h y b r i dp e e r - t o p e e rn e t w o r k ( h h p 2 p n ) ，并对模型的设计原理、实现方式进 行了详细的描述。模型的设计思想是对非结构化p 2 p 网络模型进行进一步扩展，在其中融 合结构化网络并引入分层的概念，以此来增强非结构化p 2 p 网络的可扩展性；为了消除模 型中结构化网络和非结构化网络的差异，提出了关键值匹配算法，保证网络的透明性；同 时，模型中引入了查询缓冲机制，提高了查询的效率。 仿真实验中，将h h p 2 p n 和原c h o r d 网络就路由跳数、路由时延等性能指标进行比较， 同时，比较了几种常见的查询缓冲机制对模型性能的影响，并得出结论：h h p 2 p n 在路由 跳数上较原c h o r d 稍差，而路由时延明显优于c h o r d ；不同的缓存管理机制对模型性能也 会有一定的影响。 关键词：p 2 p ，层次化，分布式哈希表，c h o r d ，拓扑 南京邮电大学硕士研究生学位论文a b s t r a c t a b s t r a c t l o we x p a n d a b i l i t ya n do v e r w e i g h to ft e l e c o mb a c k b o n ei nm a i np 2 pn e t w o r km o d e lh a v e b e e nh a m p e r i n gt h ei m p l e m e n t a t i o nd e v e l o p m e n to fp 2 ps y s t e m ad h t b a s e d s t r u c t u r e d m o d e lh a sb e c o m et h en e w e s tt e c h n o l o g yi np 2 ps y s t e mr e c e n t l y ，i ts o l v e dp a r to ft h ep r o b l e m s i ns o m ed e g r e e h o w e v e r ，d h ti sd i f f i c u l tt oi m p l e m e n td u et oi t sl i m i t a t i o no f o f f e r i n ge x a c t q u e r yo n l y b ya n a l y z i n gt h ef o r m e rp 2 pm o d e l s ，t h i sp a p e rp u t sf o r w a r dah y b r i d d i s c o v e r i n g m e c h a n i s mb a s e dh i e r a r c h i c a l p 2 p n e t w o r k ：h i e r a r c h i c a l h y b r i d p e e r - t o p e e r a c h i e v et h ed e s t i n a t i o n ，t h ep a p e ri n t r o d u c es t r u c t u r e dp 2 pm o d e la n dt h ec o n c e p to fl a y e r ；a n e wk e ym a t c h i n ga l g o r i t h mi s p r o p o s e dt o e l i m i n a t et h ed i f f e r e n c eo f s t r u c t u r e dp 2 pn e t w o r ka n dg u a r a n t e et h et r a n s p a r e n c eo fn e t w o r k ；a tt h es a m et i m e ，a q u e r y c a c h em e c h a n i s mi sa l s op r o p o s e di nt h en e w m o d e l i nt h es i m u l a t i o n ，c o m p a r et h er o u t i n g t oi n c r e a s et h eq u e r ye f f i c i e n c y 。 ，m u t i n gl a t e n c yb e t w e e nh h p 2 p na n dc h o r d ， a n da l s o c o m p a r es o m ec o m m o nc a c h em e c h a n i s m st o f i n dh o wt h e ye f f e c tt h en e t w o r k p e r f o r m a n c e ，0 1 1 1 c o n c l u s i o n sa r e h h p 2 p np e r f o r m a n c ei sl i r l ew o r s et h a nc h o r do nr o u t i n g s t e p s ，h o w e v e r ，h h p 2 p ni sm u c hb e t t e rt h a nc h o r do nr o u t i n gl a t e n c y ；a n dd i f f e r e n tc a c h e m e c h a n i s m sh a v ed i f f e r e n te f f e c to nm o d e l sp e r f o r m a n c e k e yw o r d s ：p e e r - t o p e e lh i e r a r c h i c a l ，d h t , c h o r d ，t o p o l o g y i l = 吣一 恤 m= 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：汪 日期：j 互龃 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：j 率导师签名： 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 研究背景 第一章绪论 二十一世纪是信息的时代，是网络的时代。过去的二十年见证了因特网的发展，随着 计算机通信技术的飞速发展，越来越多的个人计算机接入i n t e m e t ，从而导致i n t e r n e t 规模不 断扩大，i n t e r n e t 入网的主机数、上网的人数都在飞速增长。图1 1 给出的是从1 9 9 1 年n 2 0 0 5 年i n t e m e t 入网主机数的增长曲线1 1 。 1 ，9 11 9 ，z1 ，j1 9 9 41 了，51 9 9 61 ，譬71 9 ，d1 9 9 92 0 0 02 0 0 12 0 0 22 0 0 32 0 0 42 0 0 5 图1 1 1 9 9 1 年至1 j 2 0 0 5 年i n t e r n e t 主机数增长曲线( 单位：百万) 与此同时，连入i n t e r n e t 的设备也越来越多样化，大到大型机、p c 机，小到手机并b p d a 这种手持终端设备。然而这些设备以及计算单元并没有得到充分的利用，如果能够将这些 设备以及计算单元的处理器计算能力、磁盘存储能力以及网络带宽等资源进行充分利用将 会有效缓解目前互联网所面临的一些问题。正是在这种环境下，p e e r t o p e e r ( p 2 p ) 技术出 现了。 p 2 p 技术的出现为分布式计算技术甚至为整个互联网的发展提供了新的契机。过去的 十年也见证了p 2 p 系统的迅猛发展。p 2 p 系统开辟- j i n t e m e t 应用的一个新时代，如雨后春笋 般，各种新型应用层出不穷，吸引了千百万的用户的青睐。因此研究p 2 p 系统的关键技术， 改善p 2 p 系统的性能，成为一个重要的研究课题。 埘 姗 m 狮 瑚 伽 伽 o 南京邮电大学硕士研究生学位论文 第一章绪论 1 2p 2 p 系统概述 1 2 1p 2 p 系统的定义 p 2 p ，中文翻译为对等网络或者点对点技术，目前，在学术界，对于p 2 p 并没有一个统 一的定义。下面是几个比较权威的定义： 定义1 【1 8 】：p 2 p 是这样- - 季d p 网络，它允许一组计算机用户用一种同样的程序彼此互连， 实现共享磁盘上文件的目的。 定义2 t 1 8 】：p 2 p 是一种运行于个人计算机上的应用程序，它通过互联网连接与其他用户 共享文件。p 2 p 网络通过连接彼此的计算机实现资源共享，而没有一个统一的服务器。 定义3 t 4 6 l ：p 2 p 是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源( 处 理能力、存储能力、网络连接能力、打印机等) ，这些共享资源需要由网络提供服务和内 容，能被其它域节点( p e e r ) 直接访问而无需经过中间实体。在此网络中的参与者既是资源 ( 服务和内容) 提供者( s e r v e r ) ，又是资源( 服务和内容) 获取者( c l i e n t ) 。 上述3 种定义虽然不同，却都反应了p 2 p 网络的共同点：打破了传统的c l i e n t s e r v e r 模式，在网络中的每个节点的地位都是相等的。每个节点既充当服务器，为其他节点提供 服务，同时也享用其他节点提供的服务。p 2 p 与c s 模式的对比如下图所示： 客户s t 图1 2c l i e n t s e r v e r 模式 2 南京邮电大学硕士研究生学位论文 第一章绪论 图1 3p e e r - t o - p e e r 模式 事实上，p 2 p 并不是一个新的概念，它可以说是互联网整体架构的基础。互联网最基 本的协议t c p i p 并没有客户机和服务器的概念，所有的设备都是通讯的平等的一端。在 十几年前，所有的互联网上的系统都同时具有服务器和客户机的功能。然而，由于受早期 计算机性能、资源等因素的限制，随着互联网规模的迅速扩大，大多数连接到互联网上的 普通用户并没有能力提供网络服务，从而逐渐形成了以少数服务器为中心的c l i e n t s e r v e r 架构。w w w 的风靡，正是这一应用潮流的体现。在c l i e n t s e r v e r 架构下，对客户机的资 源要求非常少，因而可以使用户以非常低廉的成本方便地连接互联网，推动了互联网的快 速普及。 但是，随着互联网与人们生活的联系日益紧密和深入，人们需要更直接、更广泛的信 息交流。普通用户希望能够更全面地参与到互联网的信息交互中，而计算机和网络性能的 提升也使其具有了实现的可能性。在这种背景下，p 2 p 再一次受到了广泛的关注。 1 2 2p 2 p 技术的特点 在当前的c l i e n t s e r v e r 模式下，大部分的信息都集中在服务器上，服务器通常具有很强 的计算能力和网络连接能力。用户通过客户端软件与服务器端连接，然后进行w e b 浏览、 文件传输、文件检索等应用。因此，c s 模式也带来了许多问题，如服务器端负载过重、 网络拥护等。而在p 2 p 网络中，各对等体之间地位是平等的，个对等体不仅可以享受别 的对等体的资源，同时也可以充当服务器，为别的对等体提供资源。 相对与c s 模式，p 2 p 模式在数据的发布、互动、即时和成本方面都有着巨大的优势， 南京邮电大学硕士研究生学位论文 第一章绪论 缺点是数据的安全性和管理控制方面比较欠缺。 p 2 p 技术的特点主要体现在以下几点【1 8 】： 1 、非中心化( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在所有节点上，信息的传输 和服务的实现都直接在节点之间进行，可以无需中间环节和服务器的介入，避免了可能的 瓶颈。p 2 p 的非中心化的特点，带来了其在可扩展性、健壮性等方面的优势。 2 、可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的 资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。整个体系是全分布的， 不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 3 、健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个节点之 间进行的，部分节点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一般在部分节点失 效时能够自动调整整体拓扑，保持其它节点的连通性。p 2 p 网络通常都是以自组织的方式 建立起来的，并允许节点自由地加入和离开。p 2 p 网络还能够根据网络带宽、节点数、负 载等变化不断地做自适应式的调整。 4 、高性能价格比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发展， 个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用p 2 p 架构 可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节点 上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。通过利用 网络中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 5 、隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个 集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决i n t e m e t 隐私 问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络实体之中。在 传统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器节点。而在p 2 p 中，所 有参与者都可以提供中继转发的功能，因而大大提高了匿名通讯的灵活性和可靠性，能够 为用户提供更好的隐私保护。 6 、负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统 c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点，更好的实现 了整个网络的负载均衡。 1 2 3p 2 p 的系统的分类与发展 p 2 p 系统的分类有多种不同的标准，这里我们选取分散度和网络结构【3 1 【4 】作为我们的分 4 南京邮电大学硕士研究生学位论文第一章绪论 类标准。因为它恰当地反映- j p 2 p 系统的本质特征的归类。表1 1 表示t p 2 p 系统的分类。 表1 1p 2 p 系统分类 非结构化网络松散结构化网络结构化网络 混合分散 n a p s t e r 完全分散g n u t e l l af r e e n e t c h o r d ，c a n ，t a p e s t r y ，p a s t r y 部分分散 k a z a a ，m o r p h e u s 分散度的含义：p 2 p 系统中节点间在进行资源搜索时对于一个或多个服务器的依赖程 度。它有三种情况： a 完全分散：网络中所有节点处于相同地位，每个节点既是服务器也是客户端。网络 中没有中心服务器，这种节点可以称之为“s e r v e n t s ( s e r v e r s + c l i e e n t s ) 。 b 部分分散：网络中有一些可称之为中心节点的节点充当目录服务器，以改善网络的 性能。 c 混合分散：网络中有一个不可替代的节点作为中央服务器，提供集中式的目录服务， 而系统内其余的节点，具有彼此等同的功能。 网络结构是从网络拓扑结构的角度来看系统，它表示p 2 p 系统的覆盖网络结构是受某 种机制约束还是完全动态的、即时的。前者为结构化，后者为非结构化。非结构化p 2 p 系 统中节点连接任意其他节点构成网络，数据放置与网络拓扑无关；系统中每一个节点只负 责管理自己的数据文件，从而它的网络拓扑是一个随机连接图，不能保证一定可以找到目 标节点。结构化p 2 p 系统的网络有某种预定的结构如环或者网格，系统中每一个数据文件 所放置的位置由特定的协议确定，并提供了文件标识i d 年f l 文件存贮位置之间的映射关系， 从而保证具有有效路由，并能够保证最终找到目标节点。 结构化系统采用分布式哈希表( d i s t r i b u t e dh a s ht a b l e ，简称d h t ) 技术构造，其本质是 完全分散构造。因此，我们仅对非结构化系统区分分散度情况。当前的系统6 7 c h o r d l 5 】、 c a n t l 9 1 、p a s t r y 2 0 和t a p e s t r y t 2 1 1 是结构化p 2 p 系统。而非结构化根据分散度区分为以下三种 系统：n a p s t e r 是混合分散的非结构化p 2 p 系统，g n u t e l l a t 2 2 】、f r e e n e t 2 3 1 是完全分散的非结构 化p 2 p 系统，而k a z z a 2 4 矛1 m o r p h e u s 2 5 1 是部分分散的非结构化p 2 p 系统。 南京邮电大学硕士研究生学位论文 第一章绪论 1 3 国内外研究现状 1 3 1 国外研究和应用现状 1 3 1 1p 2 p 网络拓扑结构的研究 网络拓扑( t o p o l o g y ) 结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关 系，节点之间的拓扑结构决定了系统的类型，它是一个重要的衡量指标。目前，互联网络 中广泛使用集中式、层次式等拓扑结构，这是九十年代所建立的集中式的网络应用带来的 结果。网络系统是完全的集中式的系统，很多w e b 应用都是运行在集中式的服务器系统上。 集中式拓扑结构系统目前面临着过量存储负载、单点失效、网络瓶颈、d o s 攻击等一些难 以解决的问题。 传统的c l i e n t s e r v e r 模式大多是集中式的拓扑结构，而p 2 p 系统的拓扑结构为非集中 式即分布式，p 2 p 系统在构造分布式拓扑结构的过程中，需要解决系统中所包含的大量节 点如何命名、组织以及节点的加入离开方式、出错恢复等问题。根据拓扑结构这个衡量标 准可以将p 2 p 拓扑结构分为4 种形式【2 l ： a 中心化拓扑( c e n t r a l i z e dt o p o l o g y ) ； b 全分布式非结构化拓扑( d e c e n t r a l i z e du n s t r u c t u r e dt o p o l o g y ) ； c 半分布式拓扑( p a r t i a l l yd e c e n t r a l i z e dt o p o l o g y ) ； d 全分布式结构化拓扑( d e c e n t r a l i z e ds t r u c t u r e dt o p o l o g y ，也称作d h t 网络) 。 中心化拓扑的系统中，所有共享资源的目录信息全部保存在一群高性能的计算机上， 最大的优点是维护简单、发现效率高。由于资源的发现依赖中心化的目录系统，发现算法 灵活高效并能够实现复杂查询。最大的问题与传统c l i e n t s e r v e r 结构类似，容易造成单点 故障，访问的“热点”现象和法律等相关问题，这是第一代p 2 p 网络采用的结构模式，经 典案例就是著名的m p 3 共享软件n a p s t e r 。 全分布式非结构化网络在采用了随机图的组织方式，节点度数服从“p o w e rl a w 【1 2 】【1 3 】【1 4 】 规律，从而能够较快发现目的节点，面对网络的动态变化体现了较好的容错能力，因此具 有较好的可用性。同时可以支持复杂查询，如带有规则表达式的多关键词查询，模糊查询 等。缺点是发现的准确性和可扩展性。最典型的案例是g n u t e l l a l 2 2 1 。 半分布式结构( 也称作h y b r i ds t r u c t u r e ) 吸取了中心化结构和全分布式非结构化拓扑的 优点，选择性能较高( 处理、存储、带宽等方面性能) 的节点作为中心点( s u p e r n o d e s ，h u b s ) ， 6 南京邮电大学硕士研究生学位论文第一章绪论 在各个中心点上存储了系统中其他节点的信息，发现算法仅在中心点之间转发，中心点再 将查询请求转发给适当的叶子节点。半分布式结构也是一个层次式结构，中心点之间构成 一个高速转发层，中心点和所负责的普通节点构成若干层次。最典型的案例就是k a z a a 2 4 j 。 全分布式结构化拓扑体现在采用分布式散列表( d h t ) 技术的网络，这是最新的研究成 果。分布式散列表( d i s t r i b u t eh a s ht a b l e ) 实际上是一个由广域范围大量节点共同维护的巨 大散列表。散列表被分割成不连续的块，每个节点被分配给一个属于自己的散列块，并成 为这个散列块的管理者。d h t 的节点具有动态性和数量巨大的特点，因此非中心化和原子 白组织成为两个设计的重要目标。通过加密散列函数，一个对象的名字或关键词被映射为 1 2 8 位或1 6 0 位的散列值。d h t 类结构能够自适应节点的动态加入退出，有着良好的可扩 展性、鲁棒性、节点i d 分配的均匀性和自组织能力。由于重叠网络采用了确定性拓扑结 构，d h t 可以提供精确的发现。只要目的节点存在于网络中d h t 总能发现它，发现的准 确性得到了保证，最经典的案例有：麻省理工学院的c h o r d 【5 】、加州大学伯可利分校的 c a n t l 9 1 和t a p e s t r y l 2 ，和微软亚洲研究院的p a s t r y 2 0 1 等。 在实际应用中，每种拓扑结构的p 2 p 网络都有其优缺点，表1 2 从可扩展性、可靠性、 可维护性、发现算法的效率、复杂查询等方面比较了这四种拓扑结构的综合性能2 6 1 。 表1 2 四种拓扑结构综合性能比较 全分布式非结全分布式结构 一 中心化拓扑 半分布式 构化拓扑化拓扑 可扩展性差差好 中 可靠性差好好 中 可维护性最好最好好 由 发现算法效率最高 中高中 复杂查询支持支持不支持支持 1 3 1 2p 2 p 网络应用现状 目前，p 2 p 技术是一个研究热点，无论国外还是国内，科研机构、大学、研究所、企 业等都很重视p 2 p 技术的研究。 国外开展p 2 p 研究的学术团体主要包括p 2 p 工作组( p 2 p w g ) 、全球网格论坛( g l o b a l g r i df o r u m ，g g f ) 。p 2 p 工作组成立的主要目的是希望加速p 2 p 计算基础设施的建立和相 应的标准化工作。p 2 p w g 成立之后，对p 2 p 计算中的术语进行了统一，也形成相关的草 7 南京邮电大学硕士研究生学位论文 第一章绪论 案，但是在标准化工作方面工作进展缓慢。目前p 2 p w g 已经和g g f 合并，由该论坛管理 p 2 p 计算相关的工作。g g f 负责网格计算和p 2 p 计算等相关的标准化工作。 国外的很多大公司也很关注p 2 p 技术的发展，m i c r o s o f t 公司、s u n 公司和i n t e l 公司在 这方面的投入较大。m i c r o s o f t 公司成立了p a s t r y 项目组，主要负责p 2 p 计算技术的研究和 开发工作。目前m i c r o s o f t 公司已经发布了基于p a s t r y 的软件包s i m p a s t r y v i s p a s t r y 。r i c e 大学也在p a s t r y 的基础之上发布了f r e e p a s t r y 软件包。 2 0 0 0 年8 月，i n t e l 公司宣布成立p 2 p 工作组，正式开展p 2 p 的研究。工作组成立以 后，积极与应用开发商合作，开发p 2 p 应用平台。2 0 0 2 年i n t e l 发布了n e t 基础架构之上 的a c c e l e r a t o rk i t ( p 2 p 加速工具包) 和p 2 p 安全a p i 软件包，从而使得微软n e t 开发人 员能够迅速地建立p 2 p 安全w e b 应用程序。 s u n 公司以j a v a 技术为背景，开展了j x t a 项目。j x t a 是基于j a v a 的开源p 2 p 平台， 任何个人和组织均可以加入该项目。因此，该项目不仅吸引了大批p 2 p 研究人员和开发人 员，而且已经发布了基于j x t a 的即时聊天软件包。j x t a 定义了一组核心业务：认证、 资源发现和管理。在安全方面，j x t a 加入了加密软件包，允许使用该加密包进行数据加 密，从而保证消息的隐私、可认证性和完整性。在j x t a 核心之上，还定义了包括内容管 理、信息搜索以及服务管理在内的各种其它可选j x t a 服务。在核心服务和可选服务基础 上，用户可以开发各种j x t a 平台上的p 2 p 应用。 1 3 2 国内研究和应用现状 1 3 2 1 学术机构的研发【2 6 1 1 、北京大学一m a z e 【2 7 】文件共享系统 m a z e 是北京大学网络实验室开发的一个中心控制与域连接相融合的域计算文件共享 系统，在结构上类似n a p s t e r ，域计算搜索方法类似于g n u t e l l a 。网络上的一台计算机，不 论是在内网还是外网，可以通过安装运行m a z e 的客户端软件自由加入和退出m a z e 系统。 每个节点可以将自己的一个或多个目录下的文件共享给系统的其他成员，也可以分享其他 成员的资源。m a z e 支持基于关键字的资源检索，也可以通过好友关系直接获得。和一些商 业的域计算系统不同，m a z e 是一个以科研为目的开发的并且得到广泛应用的系统。由于它 的控制功能集中在可控制的节点上，使得m a z e 能够收集到整个系统运行中各个环节的大 量信息，为进一步开展域计算系统研究积累了宝贵数据。 2 、清华大学g r a n a r y 2 8 】广域存储服务 r 南京邮电大学硕士研究生学位论文第一章绪论 g r a n a r y 是清华大学自主开发的域计算存储服务系统。所谓域计算存储服务系统是指： 存储服务的提供者在互联网中部署一定数量的存储服务器，为用户提供数据存储服务，确 保数据的可靠性、可用性、安全性和访问效率；存储服务的使用者按照所存储数据的容量 和质量付费。与已有系统相比，g r a n a r y 具有的显著特性为面向对象的数据存储和访问方 式。 g r a n a r y 以“对象 ( o b j e c t ) 格式存储数据。对象的概念与面向对象程序设计( o o p ) 中 的对象概念类似，即由一系列用户自定义的属性( a t t r i b u t e ) 组成。基于此，g r a n a r y 进一步 支持属性级的数据查询。这种访问特性对于提供公共存储服务的存储系统是非常有用的。 因为存储系统的提供者必须同时提供很多方便且实用的上层应用，才能推广其系统的使 用。面向对象的数据存储和查询可以极大地简化上层应用的编码实现。上层应用的开发者 可以直接将其面向对象应用程序中的对象数据存储至g r a n a r y 中，随后通过查询的方式直 接获取数据，而不需要额外地进行应用程序与存储系统间的数据转换。另外，g r a n a r y 设 计了专门的节点信息收集算法p e e r w i n d o w 和结构化覆盖网路由协议t o u r i s t 。与已有算法 和协议相比，它们具有更好的自适应性，即可以在当前的网络环境下自动优化，取得最佳 效率。 3 、华中科技大学- - a n y s e e 视频组播系统 a n y s e e 是华中科大设计研发的视频直播系统。它采用了一对多的服务模式，支持部分 n a t 和防火墙的穿越，提高了视频直播系统的可扩展性；同时，它利用近播原则、分域调 度的思想，使用l a n d m a r k 路标算法直接建树的方式构建应用层上的组播树，克服了e s m 等一对多模式系统由联接图来构造和维护带来的负载影响。 1 3 2 2 企业研发产品 目前国内企业研发的商业软件主要有以下几款【1 0 】： 1 、广州数联软件技术有限公司- - p o c o p o c o 是中国最大的p 2 p 用户分享平台，是有流量控制力的、无中心服务器的第三代 p 2 p 资源交换平台，也是世界范围内少有的盈利的p 2 p 平台。目前已经形成了2 6 0 0 万海 量用户，平均在5 8 5 万，在线峰值突破7 1 万，并且全部是宽带用户的用户群。成为中国 地区第一的p 2 p 分享平台。 2 、深圳市点石软件有限公司- - o p o p 又称为o p e n e x tm e d i ad e s k t o p ，一个网络娱乐内容平台，n a p s t e r 的后继者，它可 9 南京邮电大学硕士研究生学位论文 第一章绪论 以最直接的方式找到您想要的音乐、影视、软件、游戏、图片、书籍以及各种文档，随时 在线共享文件。o p 整合了i n t e m e te x p l o r e r 、w i n d o w sm e d i ap l a y e r 、r e a l o n ep l a y e r 和 a c d s e e ，是国内的网络娱乐内容平台。 3 、基于p 2 p 的在线电视直播- - p p l i v e p p l i v e 是一款用于互联网上大规模视频直播的共享软件。它使用网状模型，有效解决 了当前网络视频点播服务的带宽和负载有限问题，实现用户越多，播放越流畅的特性，整 体服务质量大大提高。 1 4 研究内容 从前文描述的几种p 2 p 系统的介绍可以看出，各种系统都有自己的优缺点。 全分布式非结构化的网络具有丰富的网络资源、容错性和鲁棒性好、支持复杂的查询、 容易管理等优点，但同时它也有节点的查找和定位比较复杂、网络的可扩展性不好等致命 缺点。 基于d h t 的资源定位方法是目前研究的热点，它的优点很明显：由于d h t 各节点并不 需要维护整个网络的信息，只在节点中存储其邻居的路由信息，因此较少的路由就可以有 效地实现到达目标节点。然而，d h t 模型中由于没有考虑实际物理拓扑的情况，逻辑空间 上相邻的接点，在物理拓扑上可能相距很远，从而造成查询延迟很大；而且d h t 模型没有 考虑节点的异构性，这对系统的稳定性有很大程度的影响；同时，现有d h t 算法由于采用 分布式散列函数，所以只适合于精确的查找，因此它很难支持基于语义的查找及复杂的查 找。 本文结合基于d h t 的c h o r d 和采用扩散方式定位的g n u t e l l a 网络的特点，充分利用 这两种网络的优点，同时引入分层的概念，采用混合发现机制，提出了一种基于混合发现 机制的层次化的p 2 p 资源定位模型h i e r a r c h i c a l - h y b r i dp e e r - t o p e e rn e t w o r k ( h h p 2 p n ) 。 该模型逻辑上分为三层。在模型底层，大量节点聚集成一个一个的域组，每个域组都 是一个g n u t e l l a 网络，每个域组都有至少一个中心节点( l e a d e rn o d e ) ，这些域就形成了模 型的底层网络，即第0 层。而在各个域组之间，用基于d h t 的方式组织各个中心节点，形 成一个覆盖网( o v e r l a y ) ，即第l 层。在覆盖网上，逻辑上存在一个管理节点( a d m i n i s t r a t o r n o d e ) ，管理整个网络的运行，可称之为第2 层( l a y e r2 ) 。只有在底层子网查询失败时，才 由中心节点将查询请求发送到第1 层覆盖网上进行域组间的资源定位；同时，在第l 层各个 中心节点上，引入查询缓冲机制，利用了资源查询请求的时间、空间局部性，提高了查询 l o 南京邮电大学硕士研究生学位论文第一章绪论 的效率，减少了查询的跳数。 模型的发现算法采用混合发现机制，即在底层网络采用改进的泛洪算法：“最大聚集 度优先 的算法，在第1 层网络采用基于d h t 的c h o r d 的发现算法。 模型考虑了网络的可扩展性、节点的异构性和资源查询以及备份的本地化。该模型不 仅可以实现高效的查询，而且网络的可扩展性也有很大的提高。 模型的设计目的： 1 ) h h p 2 p n 模型融合了结构化的p 2 p 网络，能有效地解决非结构化g n u t e l l a 网络的可 扩展性问题。 2 ) 针对c h o r d 所存在的没有考虑节点异构性的问题和i n t e r n e t 主干网超负载的问题， 提出了一套切实可行的p 2 p 网络方案。 3 ) 在模型中加入相应的管理机制，增加了网络的可管理性，在一定程度上解决 p 2 p 网络管理混乱的问题。 1 5 论文的组织和安排 本文讨论了p 2 p 网络资源定位的方法和模型，根据研究过程所涉及的内容和系统仿真 的步骤，本文主要分为以下几个部分： 第一章：介绍p 2 p 系统的概念、p 2 p 技术的研究背景、发展以及国内外研究和应用的 状况。 第二章：本章作为技术背景，分别讨论了目前主流的几种p 2 p 网络资源定位模型，重 点介绍了分布式非结构化网络资源定位模型g n u t e l l a 和基于d h t 的资源定位模型c h o r d 的原理、实现的关键技术；最后对影响p 2 p 网络发展的几个因素进行了讨论。 第三章：本章详细描述了一个基于混合发现机制的层次化的p 2 p 的网络模型h h p 2 p n 的设计原理和实现方式，包括该模型的基本概念、模型的逻辑拓扑、域组的运行机制、节 点加入和离开策略、路由策略以及模型查询缓存机制等等。 第四章：h h p 2 p n 系统的仿真与性能分析，并根据实验结果得出结论。 第五章：总结与展望，本章对论文的内容进行了总结，并展望了今后需要进一步完善 和开展的工作。 南京邮电大学硕士研究生学位论文第二章p 2 p 网络资源定位模型 第二章p 2 p 网络资源定位模型 从开始研究p 2 p 至今，已经出现了多种p 2 p 的网络模型。本章按照时间顺序详细介绍 了这些典型的p 2 p 系统的设计原理和特点。分别是：集中式网络资源定位模型、分布式非 结构化网络资源定位模型、混合式资源定位模型以及基于d h t 的资源定位模型。本章重 点介绍了分布式非结构化网络资源定位模型的代表g n u t e l l a 网络以及基于d h t 的c h o r d 网络。最后对影响p 2 p 网络发展的几个因素进行了讨论。 2 1 集中式网络资源定位模型 在这种系统中，使用专门的中央索引节点作为目录服务器，在这些节点上保留了在p 2 p 系统中可得到的活动节点信息和其上的共享资源的目录信息。文件本身是分散存贮在各个 节点上的，实际的文件传输也是在域节点之间进行，目录服务器仅仅起到中介作用，为节 点提供发布和查询文件索引服务，是文件索引的集散地，即在请求服务节点和提供服务节 点之间进行匹配。其中最典型的一个代表就是n a p s t e r 系统。 n a p s t e r 是第一个公众使用的p 2 p 系统，正因为n a p s t e r 的兴起和成功推广以及广泛使用， 才使人们开始重视p 2 p 系统。n a p s t e r 是一个音乐文件共享系统，该系统由运行客户端软件 的注册用户和一个维护中心目录的服务器构成。其中服务器包含： ( 1 ) 所有网络上文件的原数据m e t a d a t a ( 文件名、产生的时间等等) 的索引； ( 2 ) 注册用户的连接信息表( i p 地址，连接速度等等) ； ( 3 ) 文件列表包含每个用户拥有和在网络上共享的文件。 每个客户端在启动时，连接到中心服务器，然后给中心数据库发送一个它所维护的文 件列表。当服务器从用户接收到一个查询的时候，他在索引中查找匹配的文件，返回拥有 这个文件的用户列表。然后用户和拥有这个文件的实体建立直接的连接，并且下载文件。 n a p s t e r 的中，t l , 数据库负责储存网络上可用文件列表和这些可用文件的拥有者，而实际的文 件则存储在客户端。n a p s t e r 的系统结构如图2 1 。 集中式的定位模型最大优点是目录索引和定位信息维护简单，资源发现效率高并且支 持复杂的部分关键字查询。当然，它存在的问题也比较多： 1 ) 中央服务器的瘫痪容易导致整个网络的崩馈，可靠性和安全性较低。 2 ) 随着网络规模的扩大，对中央索引服务器进行维护和更新的费用将急剧增加，所 需成本过高。 1 2 南京邮电大学硕士研究生学位论文第二章p 2 p 网络资源定位模型 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷，并因此被攻击为非纯粹意 义上的p 2 p 网络模型。对小型网络而言，集中目录式模型在管理和控制方面占一定 优势。但鉴于其存在的种种缺陷，该模型并不适合大型网络应用。 图2 。1n a p s t e r 系统结构图 2 2 分布式非结构化网络资源定位模型 和集中式网络模型不一样，在分布式非结构化的网络模型中，不仅文件传输是分布式 的，资源发现也是分布式的。这种网络模型又称为纯p 2 p 网络模型。它把资源的定位信息 分布到各个节点上，采用了随机图的组织方式，取消了集中的中央服务器，每个用户随机 接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑覆盖的网络。域节 点之间的内容查询和内容共享都是直接通过相邻节点广播接力传递，同时每个节点还会记 录搜索轨迹，以防止搜索环路的产生。这种模型的典型代表是g n u t e l l a 2 2 】。下面详细介绍 g n u t e l l a 的网络模型的协议、设计原理和资源定位方法。 2 2 1g n u t e l l a 网络协议体系结构2 】 在g n u t e l l a 分布式网络模型中，每一个联网计算机既是客户机同时又是服务器，因此 被称为域机( s e r v e n t ) ，通过与相邻域机之间的连接遍历整个网络，g n u t e l l a 网络协议定义 了网络中这些域机间通信的方式，是工作于t c p 协议之上的应用层协议。该协议包括在域 机间通信描述符集( 服务原语集) 和相应的通信规则集。域机间通信描述符集见表2 1 。 南京邮电大学硕士研究生学位论文第二章p 2 p 网络资源定位模型 表2 1g n u t e l l a 协议通信描述符 描述符描述 用于在g n u t e l l a 网络中主动发现域机。一个收到p i n g 描述符的域机会向发送方响 p i n g 应一个或多个p o n g 描述符。 用于对p i n g 响应的描述符。它包括一个相连的g n u t e u a 域机的地址和有关该节点 p o n g 能提供给网络共享的信息。 是搜索g n u t e l l a 分布式网络的主要机制，一个收到q u e r y 描述符的域机，如果其本 q u e r y 地共享信息与q u e r y 搜索的内容匹配，将会响应一个q u e r y h i t ，给q u e r y 的发起者。 用于对q u e r y 响应的描述符。它包括匹配q u e r y 搜索数据的域机i p 地址及端口号、 q u e r y h i t 传输速度及结果集、域机标识等。 p u s h 提供一种机制允许一台处于防火墙后的域机向g n u t e l l a 网络提供基于文件的数据。： 一台新域机通过与当前处于g n u t e l l a 网络中的另外一台活动域机建立一个连接将自己 接入网络。初始状态下，g n u t e l l a 网络中一台活动域机地址的获得，通常的做法是通过访 问某特殊站点提供的“主机缓存服务 ( h o s tc a c h es e r v i c e s ) 机制来得到。一旦获得该地址， 新域机将与之建立一个t c p i p 连接，并发送一个a s c i i 编码的g n u t e l l a 连接请求： g n u t e l l a c o n n e c t r 岫 其中， 被定义为当前g n u t e l l a 的版本a s c i i 字串，比如当前 版本为0 4 ，贝j j 为“o 4 或“l x 3 0 l x 2 e l x 3 4 ”。 若活动域机希望接受该连接请求，则必须响应以下字串： g n u t e l l ao k l n n 注意：任何其它的响应都代表活动域机不希望接受该连接。 一旦该新域机成功地连接到g n u t e l l a 网络，它就可以使用g n u t e l l a 协议描述符与其它 域机进行通信。每一个g n u t e l l a 协议描述符在使用时，都必须加上一个前导头( d