（计算机科学与技术专业论文）基于复制技术的非结构化对等网资源发现机制研究.pdf

摘要对等网络( p 2 p ) 技术近年来得到快速的发展。随着p 2 p 系统规模和应用范围不断扩大，高效的资源发现机制成为p 2 p 系统的关键技术。本文主要研究非结构化p 2 p系统中资源发现机制。本文分析了基于洪泛请求、集中目录式索引、分布目录式索引的资源发现机制，比较了非结构化p 2 p 系统资源发现机制中全复制、分块复制、基于e r a s u r e 编码的复制技术。针对现有资源发现机制中复制技术引起的数据占用存储空间大且不适用于层次式网络结构的问题，提出了基于本地索引信息复制技术的资源发现机制。索引信息复制技术用复制资源对象的索引信息表来代替复制资源对象本身，使资源占用的存储空间减少且适用于层次式p 2 p 网络结构。采用索引信息复制技术的资源发现机制，借鉴层次式p 2 p 网络模型，建立管理节点，创建本地资源对象索引信息表管理本地资源，改进集中目录式资源发现机制响应时间长和可扩展性差的问题，提高资源发现效率。本文设计并实现了基于本地索引信息复制技术的资源发现系统，进行了系统测试和仿真实验，结果表明：基于本地索引信息技术的资源发现机制有效地缩短了p 2 p 系统资源发现的查找响应时间且更适用于大规模p 2 p 网络。关键词：非结构化p 2 p 系统：复制技术；索引信息；资源发现；查找响应时间分类号：t p 3 9 3 0 9a b s t r a c tp e e r - t o - p e e r ( p 2 p ) t e c h n o l o g yh a sg r o w nr a p i d l yi nr e c e n ty e a r s w i t ht h es c a l ea n dt h es c o p eo fa p p l i c a t i o no fp 2 ps y s t e me x p a n d i n g , h i g h l y - e f f i c i e n tr e s o u r c ed i s c o v e r ym e c h a n i s mb e c o m e st h ek e yt e c h n o l o g yo fp 2 ps y s t e m t h i sp a p e rd o e ss o m er e s e a r c ho nr e s o u r c ed i s c o v e r ym e c h a n i s mo fu n s t r u c t u r e dp 2 ps y s t e m t h i sp a p e ra n a l y z e sr e s o u r c ed i s c o v e r ym e c h a n i s mb a s e do nt h ef l o o d i n gr e q u e s t ,c e n t r a l i z e dd i r e c t o r ys e r v i c ea n dd i s t r i b u t i o nd i r e c t o r ys e r v i c e ，c o m p a r e sr e p l i c a t i o ns u c ha sf u l l r e p l i c a t i o n ，s u b - b l o c kr e p l i c a t i o na n de r a s u r ec o d i n gr e p l i c a t i o no fu n s t r u c t u r e dp 2 ps y s t e mr e s o u r c ed i s c o v e r ym e c h a n i s m f o c u s e do nt h ep r o b l e mt h a tt h ed a t ar e l a t e dt or e p l i c a t i o nt e c h n o l o g yo fe x i s t i n gd i s c o v e r ym e c h a n i s mn o to n l yo c c u p i e sl a r g es t o r a g es p a c e ，b u ta l s oi n a p p l i c a b l ef o rh i e r a r c h i c a ls t r u c t u r e , t h i sp a p e rp u tf o r w a r dar e s o u r c ed i s c o v e r ym e c h a n i s mb a s e do nt h el o c a li n d e xi n f o r m a t i o nr e p l i c a t i o nt e c h n o l o g y i n d e xi n f o r m a t i o nr e p l i c a t i o nt e c h n o l o g ym a k e su s eo fc o p y i n gi n d e xi n f o r m a t i o nt a b l ei n s t e a do fc o p y i n gt h er e s o u r c eo b j e c ti t s e l f ；s ot h a tr e s o u r c ec a nr e d u c et h es t o r a g es p a c eo c c u p i e db yd a t aa n d c a nb ea p p l i e dt ot h eh i e r a r c h i c a lp 2 pn e t w o r k s m a k i n gu s eo fr e s o u r c ed i s c o v e r ym e c h a n i s mo fi n d e xi n f o r m a t i o nr e p l i c a t i o nt e c h n o l o g y , b e n e f i tf r o mh i e r a r c h i c a lp 2 pn e t w o r km o d e l ，s e t t i n gu pm a n a g e m e n tp e e r , c r e a t i n gr e s o u r c eo b j e c ti n d e xi n f o r m a t i o nt a b l et om a n a g el o c a lr e s o u r c e ，i tc a ns o l v et h ep r o b l e mt h a te x i s t i n gr e s o u r c ed i s c o v e r ym e c h a n i s ml o n gr e s p o n s et i m ea n di m p r o v e st h ee f f i c i e n c yo fr e s o u r c ed i s c o v e r y t h i sp a p e rd e s i g n sa n di m p l e m e n t sr e s o u r c ed i s c o v e r ys y s t e mb a s e do nt h el o c a li n d e xi n f o r m a t i o nr e p l i c a t i o nt e c h n o l o g y , c o n d u c t ss y s t e mt e s t i n ga n ds i m u l a t i o ne x p e r i m e n t t h er e s u l t ss h o wt h a t ：r e s o u r c ed i s c o v e r ym e c h a n i s mb a s e do ni n d e xi n f o r m a t i o nt e c h n o l o g yr e d u c e st h el e n g t ho fs e a r c hr e s p o n s et i m ei np 2 ps y s t e ma n di tc a nb em o r ea p p l i c a b l et ol a r g e s c a l ep 2 pn e t w o r k k e y w o r d s ：u n s t r u c t u r e dp 2 ps y s t e m ；r e p l i c a t i o nt e c h n o l o g y ；i n d e xi n f o r m a t i o n ；r e s o u r c ed i s c o v e r y ；r e s p o n s et i m ec l a s s n o ：t p 3 9 3 0 9独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：签字同期：年月日学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名：闻畚签字日期：a 叼年易月，7 日一名：孑啾幻签字吼抄7 年力月夕日致谢本论文的工作是在我的导师于双元副教授的悉心指导下完成的，于老师严谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来于老师对我的关心和指导。于老师悉心指导我们完成了实验室的科研工作，在学习上和生活上都给予了我很大的关心和帮助，在此向于双元老师表示衷心的谢意。在实验室工作及撰写论文期间，胡雨时、李书杰等同学对我论文中研究工作给予了热情帮助，在此向他们表达我的感激之情。还要感谢杨磊等同学对我论文进行了校正工作。另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。1 1 研究背景与意义1 绪论对等( p e e r - t o p e m , p 2 p ) 技术是近年来兴起的一种重要网络技术。与传统c s ( c l i c n t s m , i c e ) 模式不同，p 2 p 系统中各节点是地位平等的对等体，通过直接交互方式使用网络中的资源对象。目前p 2 p 技术已在文件交换，分布式计算，搜索，信息共享，协同工作，即时通信，网络游戏等等方面得到了广泛的应用，还有一些公司在开发基于p 2 p 的平台。但是，无论何种应用，都是以很好解决网内资源的迅速准确定位问题为前提。因此，在p 2 p 网络中资源发现是极其重要的。p 2 p 网络的资源存在形式决定了p 2 p 资源发现和现有的技术有很大不同。p 2 p资源具有极大的分散性，资源分布在许多的节点上；p 2 p 网络中的节点可以自由的加入或退出，使p 2 p 网络的资源处于不断变化中。这些都增加了资源发现的难度。研究p 2 p 资源发现不仅有助于迅速准确的定位资源，对于分布式存储方面的问题解决也有着重要的意义。目前互联网上大量资源闲置，没有被充分利用。p 2 p 资源发现可以帮助客户更方便的找到各种资源，提高资源的利用率，充分实现资源共享。所以，研究p 2 p 技术既有重要的学术价值也有广阔的应用前景。1 2 本文的研究内容本文的主要研究内容如下：1 ) 分析现有的几种资源发现机制，如基于洪泛的、基于集中目录式索引的和基于分布目录式索引的资源发现机制，为改进非结构化p 2 p 系统中的资源发现机制奠定了理论基础。2 ) 介绍非结构化p 2 p 系统中的复制技术，分析研究现有的全复制、分块复制、基于e l a s u l e 编码的复制技术。针对三种复制技术占用存储空间大不适用层次式网络结构的不足，提出索引信息复制技术。在此基础上提出基于本地索引信息复制技术的资源发现机制。3 ) 利用j x t a 编程技术，重点设计和实现非结构化p 2 p 系统中基于本地索引信息复制技术的资源发现系统。并通过测试验证此机制的可行性。4 ) 模拟p 2 p 环境，仿真实验验证该机制在查询响应时问和可扩展性的提高。1 3 本文的组织结构本文的组织结构如下：第l 章介绍了课题的学术意义和现实意义及p 2 p 研究国内外现状。第2 章介绍了p 2 p 技术和p 2 p 的开发平台j x t a 。第3 章介绍 p 2 p 系统中现有的资源发现机制，对三种资源发现机制存在的缺点和不足进行了比较深入的分析：介绍了非结构化p 2 p 系统中的三种复制技术，比较了三种复制技术的优缺点，提出了占用存储空间少且适用层次式p 2 p 系统的索引信息复制技术；在此研究基础上设计了基于本地索引信息复制技术的资源发现机制。第4 章是论文的核心部分，在非结构化p 2 p 系统中引入本地索引信息复制技术，详细介绍了非结构化p 2 p 系统中基于本地索引信息复制技术的资源发现机制的设计和实现。第5 章测试系统的可行性，仿真实验验证系统性能的提高。第6 章总结了论文工作，指出了下一步的工作方向。22p 2 p 技术与j x t a 平台为了掌握p 2 p 体系结构从而进一步研究p 2 p 系统的资源发现机制，提高资源发现性能，本章介绍p 2 p 技术和p 2 p 技术的开发平台j x t a 。2 1p 2 p 技术概述早期的互联网应用方式有很多体现了p 2 p 的思想，例如t e l n e t 、u s e n e t 等，只是随着i n t e r n e t 的流行，b s 和c s 结构开始成为互联网的主流。当互联网发展到现在，互联网数据呈爆炸性的发展，p 2 p 的应用变得越来越多。p 2 p 是英文“p e e r - t o p e e r 的缩写，称为对等网络或点对点技术。p 2 p 是一种网络模型，在这种网络模型下每台主机处于相同的地位，它们具有相同的责任与能力，每台主机被称为一个对等点( p e e r ) 。严格地说，p 2 p 并不是个全新的概念，p 2 p 是互联网整体构架的基础。p 2 p 打破了传统的c s 模式，在网络中每个节点的地位都是相同的。每个节点既充当服务器为其它节点提供服务，同时也充当客户机享用其它节点提供的服务。简单地说，p 2 p 直接将网络中的节点联系起来，通过互联网直接交互信息。p 2 p使得网络上的沟通更容易、更直接地共享和交互。p 2 p 中的所有节点都是对等的，所有的资源对象都存在于节点上，与其它网络模型相比，p 2 p 具有以下特点【l 】：1 ) 分散化网络中的资源和服务分散在所有的节点上，信息的传输和服务的实现都直接在节点之间进行，可以无需中间环节和服务器的介入，避免了可能出现的瓶颈。即使是在混合p 2 p 中，虽然在查找资源、定位服务或安全检查等环节需要集中式服务器的参与，但主要的信息交换最终仍然在节点之间直接完成。这样就大大降低了对集中式服务器的资源和性能的要求。分散化是p 2 p 的基本特点，由此带来了其在可扩展性、健壮性等方面的优势。2 ) 可扩展性在p 2 p 网络中随着用户的加入，不仅服务的需求增加了，系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。即使在诸如n a p s t e r 等混合型构架中，由于大部分处理直接在节点之间进行，大大减少了对服务器的依赖，因而能够方便地扩展到数百万以上的用户。对于纯p 2 p 来说，整个系统是全分布的，不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。3 ) 健壮性在互联网上随时可能出现异常情况，网络中断、网络拥塞、节点失效等各种异常事件都会给系统的稳定性和服务持续性带来影响。而p 2 p 构架则天生具有耐攻击、高容错的优点。由于服务是分散在各个节点之间进行的，部分节点或者网络遭到破坏对其它部分的影响很小。而且p 2 p 模型一般在部分节点失效时能够自动调整整体拓扑，保持其它节点的连通性。事实上，p 2 p 网络通常都是以自组织的方式建立起来的，并允许节点自由地加入和离开。一些p 2 p 模型还能够根据网络带宽、节点数、负载等变化不断地做自适应式的调整。4 1 隐私性随着互联网地普及和计算存储能力飞速增长，收集隐私信息变得越来越容易。隐私的保护作为网络安全性的一个方面越来越被大家所关注。在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个集中环节，用户的隐私信息被窃取和泄露的可能性大大缩小。5 ) 高性能性能优势是p 2 p 被广泛关注的一个重要原因。在目前的互联网上，这些普通用户拥有的节点只是以客户机的方式连接到网络中，仅仅作为信息和服务的消费者，游离于互联网的边缘。对于这些边际节点的能力来说，存在极大地浪费。采用p 2 p构架可以有效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有节点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。2 2p 2 p 系统分类目前已有的p 2 p 系统种类繁多，从不同的角度对它们进行分类。目前，主要存在两种分类方法：按照分散度和耦合度分类【2 】，如图2 1 所示。图2 - 1p 2 p 系统分类f i g u r e2 - 1c l a s s i f i c a t i o no fp 2 ps y s t e m分散度是指p 2 p 系统的拓扑集中程度。按照分散度，p 2 p 系统可以分为集中式、全分布式和混合分布式三类【3 】o 耦合度是用来衡量p 2 p 系统的拓扑构造过程中时受4某种机制严格控制还是非确定性的。根据耦合度，p 2 p 系统可以分为结构化p 2 p 系统和非结构化p 2 p 系统两大类【4 】。本文主要从耦合度角度去介绍p 2 p 系统。2 2 1非结构化p 2 p 系统这种系统所形成的网络是随机的，即网络中节点之间的连接是随机的、任意的，网络中共享资源的存储位黄和整个网络的拓扑结构之间没有任何关系。非结构化p 2 p 系统中没有提供资源标识i d 至i j 资源所在位置的映射关系，因而不能在确定步数内定位到资源。非结构化p 2 p 系统的代表有n a p s t e r 【5 1 、基于g n u t e u a t 6 】协议的系统、k a z a a t7 】等。发展至今可以划分为三个阶段：1 ) 集中目录式p 2 p 系统第一个阶段是以n a p s t e r t 5 】为代表的集中目录式系统。n a p s t e r 【5 】采用了集中式非结构化拓扑，使用专门的索引服务器来存放系统中各节点共享的资源对象的索引信息。新节点加入时，都需要到索引服务器上注册所共享的资源对象的索引信息。请求查找资源时，发起查询的节点直接将查询请求提供到索引服务器，索引服务器返回保存了相关资源对象的节点列表。发起查询的节点从节点列表中选择某一节点，从该节点上直接下载需要的文件。图2 2 给出了一个集中式p 2 p 网络图。n a p s t e r 的缺点：( 1 ) 单点失效：如果存放索引的服务器崩溃，整个p 2 p 系统就会停止工作。( 2 ) 扩展性：集中式p 2 p 网络的扩展性较低，当较大规模的对等节点同时在线发出查询请求时，n a p s t e r 的集中索引服务器将难以承担沉重的查询负载。( 3 ) 经济成本过高，中心服务器投资大。图2 - 2 集中式p 2 p 网络结构图f i g u r e2 - 2c e n t r a l i z e dp 2 pn e t w o r k2 ) 全分布式p 2 p 系统第二阶段是以g n u t e l l a 6 l 为代表的全分布式p 2 p 系统。g n u t e l l a 6 1 没有中央索引服务器，每个节点都是对等的，没有客户机和服务器的区别。新节点加入时，通过一些“外带 方法获得已经在g n u t e l l a 系统的几个节点，然后通过这几个节点得到g n u t e l l a 系统中更多的节点列表，从中选择几个作为邻居。各个节点上的资源对象只保存在本地，不发布到其它节点上，g n u t e l l a 采用受限t t l 的洪泛机制【8 l进行资源的查询定位，每个节点接收到查询请求时广播给其所有的邻居节点，同时t t l 减l ，直到t t l 的值为0 。如果节点发现本地存在符合要求的资源对象，该节点则沿路径反向传播查询命中消息到发出资源请求的节点。全分布式p 2 p 网络结构见图2 3 。g n u t e l l a 系统优点：系统维护简单，采用全部分布式结构，具有良好的容错能力，资源命中率通常较高。g n u t e l l a 系统缺点：洪泛产生的消息过多。随着网络节点增多，网络规模不断扩大，通过洪泛方法将造成网络流量急剧增加，导致资源过载使网络失效。因此，网络的扩展性不是很好。n 阳e l v图2 - 3 全分布式p 2 p 网络结构图f i g u r e2 - 3f u l l yd i s t r i b u t e dp 2 pn e t w o r k3 ) 混合分布式p 2 p 系统第三阶段是以k a z a a 为代表的混合式分布系统。它结合了前两种p 2 p 系统的优点，并引入超级节点( s u p * p e 砷和普通节点的概, 念1 9 1 。每个超级节点存放所有普通节点的索引信息。任何来自普通节点的请求都会通过与其相连的超级节点进行转发，而洪泛仅在超级节点形成的覆盖网络中进行。当一个普通节点发出查询请求时，它首先与某一超级节点建立连接，然后向这个超级节点传送它所拥有资源的数据索引。这样就允许超级节点维护了一个关于所有隶属于它的普通节点文件的数据库，包括了其从属的普通节点的文件标识和对应的i p 地址。于是，每个超级节点就形成了一个局部的类似- 于n a p s t e r r b 心文件目录服务器的中心节点。这种结构使得系统在保持了非结构化系统简单性的同时，提高了可扩展性。在网络中进行查询时，首先用户所在的普通节点将会把用户制定的关键字发送给其对应的超级节点。超级节点将在本地目录数据库中查找相关资源，若成功6找到，则返回文件的原数据，包括文件所在节点的口地址。若不能找到，则向与之存在t c p 连接的其它超级节点广播这个查询消息。收到这个消息的超级节点做本地数据库查询，如果能找到，则向提交请求的普通节点返回查询结果，否则继续广播查询信息。用户节点从接收到的返回结果中选择最合适的表项进行下载。混合分布式p 2 p 网络结构如图2 4 所示。s ；冀：”op e e r图2 _ 4 混合分布式p 2 p 网络结构图f i g u r e2 - 4h y b r i dp 2 pn e t w o r k2 2 2 结构化p 2 p 系统和非结构化p 2 p 系统相比，结构化p 2 p 系统的拓扑结构以及共享文件在网络中的存储位置都能得到有效的控制。结构化p 2 p 系统是一种采用全分布式的消息传递机制和根据关键字进行的查找定位服务，目前的主流方法是采用分布式哈希表( d i s t r i b u t e dh a s ht a b l e ，简称d h t ) 技术，这也是目前扩展性最好的p 2 p 路由方式之一。结构化p 2 p 均采用分布式哈希表d h t 作为主要的存储算法，典型代表有c h o r d 1 0 1 、t a p e s t r y i1 、p a s t r y 1 羽、c a n t1 3 1 等。这种模式的优点体现在：1 ) 查找效率高、速度快：由于d h t 采用了确定性拓扑结构，可以提供精确、快速的资源发现，只要目的节点存在于网络中，d h t 总能发现它。2 1 具有良好的扩展性：由于d h t 各节点并不需要维护整个网络的信息，只在节点中存储其临近的后继节点信息，因此较少的路由信息就可以有效地到达目的节点，同时又取消了洪泛算法。有效地减少了节点信息的发送数量，从而增强了p 2 p 网络的扩展性。3 ) 避免了单点失效问题：出于冗余度及延时的考虑，大部分d h t 总是在节点的虚拟标识与关键字最接近的节点上复制备份冗余信息，这样就避免了单一节点失效的问题。这种模式的缺点：71 ) 网络维护代价高：d h t 网络结构最大的问题就是d h t 的维护机制较为复杂，尤其是节点频繁加入和退出造成网络波动大，极大地增加d h t 维护代价。2 ) 仅支持关键词匹配查询，无法支持内容、语义等复杂查询。3 ) 各个节点具有相同能力，不适合大规模网络部署。2 2 3p 2 p 系统比较综上所述，与结构化p 2 p 相比，本文选择非结构化p 2 p 作为研究对象更具有一般代表性，主要原因是：1 _ ) 非结构化p 2 p 系统资源发现实际应用更广。非结构化p 2 p 系统具有自治性强和鲁棒性强的优点，非常适合互联网环境下大规模的动态资源环境。目前，非结构化p 2 p 资源发现在互联网上的应用最多，对网络带宽产生的影响最大。2 ) 非结构化p 2 p 系统更适合于节点动态性强的环境。3 1 非结构化p 2 p 系统支持模糊匹配查询。非结构化p 2 p 系统可以很方便地支持文件名关键字的模糊匹配查询。非结构化p 2 p 系统更容易发现被频繁请求的资源。结构化p 2 p 系统公平对待不同资源，定位频繁请求的和很少被请求的资源所需查询步数相近。表2 1 结构化p 2 p 系统与非结构化p 2 p 系统比较t a b l e2 1s t r u c t u r e dp 2 pv s u n s t r u c t u r e dp 2 p特点结构化p 2 p 系统非结构化p 2 p 系统资源定位确定步数不确定步数可扩展性好较差构建网络开销大小关键字定位精确匹配模糊匹配一自治性低局鲁棒性低高非结构化p 2 p 系统与结构化p 2 p 系统各有优缺点，适用环境各有不同。除非特别说明，本文所指的p 2 p 系统一般是指非结构化p 2 p 系统。表2 1 总结了结构化p 2 p与非结构化p 2 p 系统的优缺点。2 3j x t a 平台研究p 2 p 技术蕴含巨大的技术潜力和商业价值，国内外很多研究机构和大学都投入至u p 2 p 的研究中。国内的北京大学网络实验室开发了一个中心控制与对等连接相融合的对等计算文件共享系统m a z e 。清华大学自主开发的对等计算存储服务系统g r a n a r y 。从国外公司对p 2 p 的支持程度来看，m i c r o s o f t 公司、s u n 公司和i n t e l 公司投入最大。尤其是s u n 公司在2 0 0 0 年开发的p 2 p 平台j x t a ，对p 2 p 发展有很大意义和推动作用。2 3 1j x t a 概述j x t a 1 4 】是由s u n 的首席科学家兼c e ob i l lj o v 提出来的。j x t a 提供了p 2 p 网络应用的核心技术，旨在为p 2 p 应用建立一个通用的开发平台。并且这个平台以与操作系统无关、语言无关、为p 2 p 应用程序提供服务和基础设施为目标。j x t a 技术主要包括一个独立于编程语言、系统平台和网络平台的协议集。这个协议集说明了p 2 p 应用的最基本的需求。它提供了p 2 p 应用所需要的核心功能。j x t a 由三层组成i l5 1 ，如图2 5 所示。第一层是j x t a 核心层，它包含了服务所需要的核心功能；第二层是服务层，它提供了访问j x t a 协议的接口；第三层是应用层，它使用服务来访问j x t a 网络和j x t a 提供的功能。这样的设计和一个标准的操作系统比较相似，标准的操作系统包括核心操作系统、服务和应用程序。lj x t a 应用 工it a 罂务层彳卜ii弋夕lj x t a 心层图2 5 t a 的层次结构f i g u r e2 - 5 a r c h i t e c t u r eo fj x t a各层的说明如下所示： 核心层( j x t ac o r e ) ：这一层封装了最根本的东西，包括p e e r 、对等组、p e e r 发现、p e e r 通信、p e e r 监视和相关的安全原语。服务层( j x t as e r v i c e s ) ：这一层包括对于p 2 p 网络不是必需的、但很通用的功能，如查找、共享、索引、代码缓存和内容缓存的机制。 应用层( j x t a a p p l i c a t i o n ) ：这一层包括了应用j x t a 服务开发出来的完整9的p 2 p 应用程序，例如m y j x t a 、j x t a c a d 等应用程序。2 3 2j x t a 核心概念为了更好的对p 2 p 网络进行抽象和建模，j x t a 技术中定义了一些独有的概念，包括对等点、对等组、通告、消息、管道等。下面，对这些概念做一些简单的介绍【1 4 1 15 1 。1 1 对等点( p e e r )p 2 p 中的虚拟实体，可以为任何计算设备和软件代理。一台独立的计算机可以驻留多个j x t a 程序，每个程序都是一个对等体，同时也是一个虚拟设备。对等体一般是通过网络相互通信的，因此一个j x t a 团体通常存在多种不同类型的计算机，其中一些也运行了多个j x t a 对等体。一个独立的j x t a 对等体也可能是一个跨越多台计算机的分布式程序。2 ) 对等组( p e e r g r o u p )具有相关兴趣或相近功能的对等点组合。j x t a 中没有定义这些组是什么，也没有定义这些组为什么存在。原因是j x t a 框架支持对等组的创建和组成员资格的定义，但只能由互相协作的成员来定义组、加入组，以及退出组。对等组有很多作用，包括定义一组服务和资源、提供一个安全区域、建立区域、创建一个监控环境等。j x t a 平台定义了两种对等组： 网络对等组( n e t p e e r g r o u p ) ：对等体在登陆j x t a 网络后，加入的默认的对等组通常称为w o d d p e e r g r o u p 。n e t p e e r g r o u p - - 般由负责对等体所在网络的管理员进行配置。n e t p e e r g r o u p 对等组定义了对等体操作的初始范围和该对等体提供的默认服务。 用户对等组：用户能用他们自己定制的服务和成员资格策略创建新的对等组。通过克隆和扩展n e t p e e r g r o u p 对等组的服务或创建新的服务，就可以创建用户对等组服务。所有的用户对等组都是n e t p e e r g r o u p 对等组的子集。3 ) 对等体端点( e n d p o i n t )p 2 p 中的虚拟地址，任何一个对等体可以使用其端点服务。对等体端点是可以发送和接收网络消息的网络传输地址的逻辑抽象。一个p e e r 可以有多个端点，这样可以通过不同的协议来与其它p e e r 通信。端点不一定要是物理地址，它可以允许物理地址发生变化。端点的一个简单例子就是一个口地址加上一个端口。通过使用这些值，可以打开一个流并且与目标p e e r 通信。1 04 1 管道( p i p e )虚拟通路，与端点绑定，并实现物理路由的映射。管道服务是j x t a 最强最有利的服务之一。管道被定义为单向的，因而有输入管道和输出管道。管道是虚拟的，一个管道的端点可以绑定到多个对等点。一个传播的管道可以将一个输出管道与多个输入管道相连，这样任何一个发向输出管道的消息将被发向所有与之相连的输入管道。管道是j x t a 最基本、最重要的特性，它提供了一个很好的方案，使得对等体在大多数网络情况下都可以通信，而不用去管防火墙或者其它障碍。5 ) 消息( m e s s a g e )通信内容载体，j x t a 中任何的通信都是用消息，以数据报形式存在。通过管道传递的信息就是消息。消息定义了一个可传递各种数据( 包括文本、代码等) 的封装。此外，消息还可能包含着一个名为s e c t i o n s 的唯一的随机数，每一部分都有一个相关联的m i m e 类型，而且可以保持任何格式的数据。j x t a 消息使用二进制的格式来更高效的传输二进制和x m l 数据。j x t a 二进制消息格式是由一系列元素组成的。每种元素都有一个名称和一个m i m e 类型，并且包含图2 - 6j x t a 消息格式f i g u r e2 - 6m e s s a g ef o r m a to f j x t a6 ) 通告( a d v e r t i s e m e n t s )也称为广告，用于发布和发现任何j x t a 资源。一个通告就是以x m l 文档形势存在且与语言无关的元数据结构，它用来描述j x t a 消息、对等点、对等组或者服务等所有j x t a 网络资源。通告由一系列元素组成，每个元素包含它的数据或更多的元素。j x t a 核心规定和标准化了以下一些通告类型： p e e ra d v e r t i s e m e n t 对等体通告 p c e r g r o u pa d v e r t i s e m e n t 对等组通告 m o d u l e c l a s sa d v e r t i s e m e n t 模式类通告 m o d u l e l m p la d v e r t i s e m e n t 模块规范通告 p i p ea d v e r t i s e m e n t 管道通告 r e n & z z v o u sa d v e r t i s e m e n t 汇聚通告通告是最常用协议信息交换文档。每个通告都有其生命周期，因此必须在过期之前重新发布。服务和对等体可以通过组合或扩展已有的类型定义自己的通告类型。2 3 3j x t a 中的核心协议与标准协议j x t a 协议由6 个特定的、普及型的p 2 p 网络计算而设计的协议构成。使用j x t a协议，对等体就可以自动加入动态对等组，这一过程独立于它们在网络中的物理位置，而且不需要集中管理的基础设施。j x t a 协议提供了一种虚拟的网络表层，以隐藏位于底层的复杂的网络拓扑结构。对等体使用j x t a 协议去动态的通告和发现来自其它对等体的网络资源。对等体构成并加入对等组，这样就产生了特殊的关系。它们互相发送消息来进行协作。j x t a 协议允许对等体在无需理解或管理复杂的底层拓扑网络结构的情况下进行通信。这6 个j x t a 协议合作完成了对等体之间的路由、发现、组织、监控和通信。这6 个协议分为两樊1 2 】【1 3 】：核心协议和标准服务协议。l1 核心协议( c o r ep r o t o c o ls p e c i f i c a t i o n )j x t a 被设计为只有少许必须的组件和行为的一个小型系统。j x t a 核心协议规范中定义了所有实现都需要的最小限度的功能。核心规范定义了一个通用的通信层，该层使得对等体可以相互作用。j x t a 的两个核心协议分别是： 对等体端点协议( p e e re n d p o i n tp r o t o c o l ，p e p ) ：该协议为对等体提供了一种机制来发现用于向另一对等体发送消息的路由。如果对等体a 想向对等体c 发送一条消息，而且在a 和c 之间不存在直接通路，那么对等体a 需要去发现能将该消息发送给c 的中间对等体。p e p 决定了路由信息。如果由于通路上的某一链接不能正常工作而导致网络的拓扑结构发生改变，使得c 的通路不再可用，那么对等体a 可以使用p e p 去发现其它对等体能够使用的路由来构造一条到c 的通路。 对等体解析器协议( p e e rr e s o l v e rp r o t o c o l ，p r p ) ：该协议为对等体提供了一种机制，使之可向一个或多个对等体发送查询并接收针对该查询的一个或多个响应。p r p 实现了一个查询响应协议。通过包含在消息主体内唯一的i d 可以将响应消息与查询相匹配。当p r p 发现了一个对等体时，可以向该对等体发送一个查询。1 2北基窑强占生亟主坐位让奎2 拄生当基! 垩鱼核心协议为对等体提供了在j x t a 网络中进行连接、路由、发送和接收消息所需的最小限度的功能( 如图2 7 所示hl _ l # _抓圈2 - 7j x t a 协议f i g u r e 2 - 7 p r o t o c o l o f j x t a2 1 标准服务协议( s t a n d a r ds e r v i c e sp r o t o c o ls p e c i f i c a t i o n )j x t a 可能需要实现许多协议，这些协议不是核心协议规范的一部分，而是标准服务协议规范的一部分，为了使一个j x t a 实现能够与其它实现进行互操作，必须实现某些标准服务协议。因为标准服务铷议是可选的，所以不需要实现所有这些协议。标准服务规范详述了4 个标准服务协议：对等体发现协议( p e e rd i s c o v e r yp r o t o c o l ，p d p ) ：该协议为对等体提供了一种机制来通告自己的资源和发现其它对等体的资源。所有的对等体资源都是用通告来描述和发布的。通告是与程序设计语言无关的用来描述网络资源的元数据结构，用) 叫l 文档表示。 汇聚协议( r e n d e z v o u sp r o t o c o l ，g y p ) ：该协议为对等体提供了预定传播服务的机制。在对等体内部，对等体可以成为汇聚对等体或对汇聚对等体进行监听的对等体。r v p 允许对等体向服务的所有监听者发送消息。其它协议可以使用r v p 实现高效地传播信息。对等体信息协议( p e e ri n f o r m a t i o np r o t o c o l ，p i p ) ：该协议为对等体提供了一种机制来获取其它对等体的状态和监视其它对等体信息，如状态、正常运行时问、流量负荷等。管道绑定协议( p i p eb i n d i n gp r o t o c o l ，p b p ) ：该协议为对等体提供了一种机制与一个或多个对等体建立虚拟通信信道或管道。对等体可使用p b p 去绑定连接的终端借道端点) 。2 4 本章小结本章第一节简单描述了p 2 p 技术。重点介绍了p 2 p 的分类，包括以耦合度区分的结构化p 2 p 与非结构化p 2 p 系统，以及根据分散度区分的集中式、分布式、混合式p 2 p 系统。非结构化p 2 p 系统具有应用广泛、适用动态性强的网络、支持模糊匹配、更容易发现频繁请求的资源等特点，本文选择非结构化p 2 p 系统作为研究对象。本章的第二节介绍了p 2 p 开发平台j x t a 。j x t a 为资源发现系统的实现提供了良好的平台。1 43 非结构化p 2 p 系统资源发现机制的研究本章的主要任务是对p 2 p 系统资源发现机制和p 2 p 系统中的复制技术的研究。在分析各种p 2 p 资源发现机制的基础上，将索引信息复制技术引入至u p 2 p 资源发现机制中，给出了改进后的l i i r t 资源发现算法。3 1p 2 p 资源发现机制目前p 2 p 技术应用越来越广泛，如何快速准确地发现系统中的资源成为重要研究问题。目前已有的资源发现机制有基于洪泛请求查询、集中目录式索引、分布式目录式索引【1 6 】【17 】的资源发现机制。3 1 1基于洪泛请求的资源发现机制基于洪泛机制的资源发现机制主要应用于全分布式p 2 p 网络和混合p 2 p 网络。洪泛请求式( f l o o d i n gr e q u e s t ) 通过广播方式来进行资源定位。某个节点要定位某一资源，首先将请求信息传播到所有相邻的节点中，这些节点再向它自己的邻居节点传播请求，直到找到所需要的资源或者达到预先确定的层次为止。每跳查找消息都带有全局唯一的标识符，防止同样的查找消息进行多次响应。用户可以基于查找结果，选择合适的文件进行下载并可以与每个资源对象的所有节点建立连接。如图3 1 所示，节点a 向所有的邻居节点b 、c 、d 、e 、g 发送查询请求，然后它的各个邻居继续向自己的邻居发送同样的请求，直到找到所需要的资源或者达到预定层次为止。为了限制洪泛产生的消息个数，每个消息中附加个t t l ( t i m e t o l i v e ) 字段。t t l 表明一个查询应该传播的跳数。消息每经过一个节点，t t l 的数量减少1 。当t t l 为0 时，搜索过程终止。洪泛发现机制如下图3 1 所示。洪泛机制的优点有：1 ) 节点覆盖率高：在洪泛机制中，随着跳数增加，节点个数按指数增加的，能够搜索到9 5 的节点。2 ) 容错性好：单一对等体的失败，仅使自身的资源不被别的对等体访问，而不会造成其它影响。3 ) 实现比较简单：采用类似广播或多播方式很容易实现消息的分布式传递，同时新节点加入和离开实现也简单，不需要特定机制解决。4 ) 健壮性好：不存在中央服务器，所以不存在单点失效问题。1 55 ) 传播速度快：以广播形式传播消息的速度比较快，而且很快能得到响应。这种发现机制难以克服的缺点在于扩展性不足，从而限制了该机制的应用。主要表现在：1 ) 容易产生网络风暴：随着网络规模增加，消息数量指数增长，容易造成网络拥塞。这也是洪泛发现机制最主要的缺点。2 ) 网络主机数量有限：如果主机数量过于庞大，造成网络信息拥塞，将使整个网络处于瘫痪状态，无法正常工作。3 ) 能力优点的对等体造成瓶颈：计算能力、网络代管较低的对等体，使p 2 p网络的总体响应时间和资源利用率恶化。图3 - 1 洪泛发现机制f i g u r e3 - 1f l o o d i n gd i s c o v e r ym e c h a n i s m3 1 2 基于集中目录式索引的资源发现机制在集中目录式索引机制发现模型中，一台或多台有特殊用途的服务器为对等点提供目录服务。对等点向目录服务注册关于自身的信息( 名称、地址、资源和元数据) ，并根据目录服务器进行查询，使用目录服务来定位其它对等点，因而它的查询属于c s 模式。当对等体资源变化时，比如资源增加、删除等，索引目录服务器将收到更新信息，并据此修改；但是此类系统中数据存储仍是分布的，信息资源的传输也是点对点的，不需要服务器介入。图3