（计算机应用技术专业论文）p2p网络资源发现及基于jxta平台的系统设计.pdf

摘要 与传统的客户端服务器( c l i e n t s e r v e r ) 模式相比，对等网络( p e e r t o p e e r ) 技术在有效利用网络上大量闲置的信息资源、存储空间、处理器周期等资源， 避免服务器带来的瓶颈问题，降低服务器成本等多方面有着明显的优势，因 此p 2 p 技术蕴涵着巨大的商业和技术价值。另外，j x t a 是s u n 公司推出的 开放性对等网络研究项目，其主要目的是致力于从所有的p 2 p 系统中分离 出系统通用的需求，从而建立一整套泛型p 2 p 基础协议，整合p 2 p 应用， 标准化p 2 p 服务，所以对p 2 p 网络资源发现及基于j x t a 平台的系统设计 进行研究具有一定的理论意义和现实意义。 本论文的主要研究和实现工作如下： 1 ) 对p 2 p 技术进行分析，根据不同的特征，对p 2 p 网络进行了分类， 并总结了p 2 p 网络中面临的问题。 2 ) 对p 2 p 网络中的资源发现进行了总结，指出了各种模型的不足，在 此基础上设计了一种新的基于m u l t i a g e n t 与分布式缓存的资源发现策略， 此策略不仅可以快速的找到资源，减少网络阻塞，而且有效的改善了网络的 扩展性和健壮性；然后对分布式缓存的更新给出了解决策略。 3 ) 在对j x t a 平台研究的基础上，引入一种基于此平台的p 2 p 系统设 计架构模型来高效的开发p 2 p 系统，此模型减少了模块间的关联，具有良 好的通用性和复用性，接着对此模型中的重要问题，如资源发现机制、点对 点通信、安全问题给出了相应的解决策略。 4 ) 在提出的模型基础之上，设计并实现了一个p p i m 系统，该系统具 有良好的扩展性与健壮性，从而验证了此模型的可行性、高效性及实用性。 本论文不仅对p 2 p 的技术与应用进行了分析研究，而且在使用j x t a 平 台设计p 2 p 系统方面做了一些探索。 关键字：p 2 p ，资源发现，j x t a ，移动代理，蚂蚁算法 a b s t r a c t c o m p a r e dw i t ht h e t r a d i t i o n a lc l i e n t s e r v e rm o d e l ，t h ep e e r - t o - p e e r n e t w o r kt e c h n o l o g yb o a s t sg r e a ta d v a n t a g e si nm a n ya s p e c t s ，s u c ha si nt h e e f f e c t i v eu s eo fal a r g en u m b e ro fi d l ei n f o r m a t i o nr e s o u r c e s ，s t o r a g es p a c e ， p r o c e s s o rc y c l e s ，a n do t h e r so nt h en e t w o r k ，i na v o i d i n gt h eb o t t l e n e c kb r o u g h t b yt h es e r v e r , i nr e d u c i n gt h ec o s to ft h es e r v e r , a n ds oo n s op 2 pt e c h n o l o g y c o n t e n t st r e m e n d o u s c o m m e r c i a la n dt e c h n i c a l v a l u e a d d i t i o n a l l y , j x t a l a u n c h e db ys u nc o m p a n yi sa ne x o t e r i cp 2 pr e s e a r c hp r o je c t ，a n di t sm a i n p u r p o s ei st os e p a r a t et h eg e n e r a lr e q u i r e m e n tf r o ma l lo ft h ep 2 ps y s t e m s ，s oa 8 t oe s t a b l i s hac o m p l e t es e to fg e n e r i cp 2 pb a s i cp r o t o c o l s ，w h i c ha t t e m p tt o a g g r e g a t ep 2 pa p p l i c a t i o na n ds t a n d a r d i z ep 2 ps e r v i c e s t h e r e f o r e ，t h i ss t u d yo n t h ed i s c o v e r i n gt h ep 2 pn e t w o r kr e s o u r c e sa n dd e s i g n i n gt h es y s t e mb a s e do n t h ej x t ap l a t f o r mh a sm u c ht h e o r e t i c a la n dp r a c t i c a ls i g n i f i c a n c e t h em a i nr e s e a r c ha n di m p l e m e n t a t i o nw o r k so ft h i st h e s i sa r ea st h e f o l l o w i n g ： 1 ) t h i st h e s i sa n a l y z e st h ep 2 pt e c h n o l o g y ，i na c c o r d a n c ew i t hd i f f e r e n t c h a r a c t e r i s t i c s ，c l a s s i f i e st h ep 2 pn e t w o r k ，a n ds u m m a r i z e st h ec o m i n gi s s u e so f p 2 pn e t w o r k 2 ) t h i st h e s i ss u m su pt h er e s o u r c ed i s c o v e r yo fp 2 pn e t w o r k ，a n dp o i n t s o u tt h ed e f i c i e n c yo fa l lk i n d so fm o d e l s o nt h i sb a s i s ，an o v e lr e s o u r c e d i s c o v e r ys t r a t e g yb a s e do nt h em u l t i a g e n ta n dd i s t r i b u t e dc a c h e st e c h n o l o g yi s p r e s e n t e d t h es t r a t e g yc a nq u i c k l ya c q u i r er e s o u r c e s ，r e d u c en e t w o r kt r a f f i c g r e a t l y ，a n da l s oc a ni m p r o v et h es c a l a b i l i t ya n dr o b u s t n e s so ft h en e t w o r k a n d t h e nt h i st h e s i sg i v e ss o l v i n gs t r a t e g i e st ot h eu p d a t i n go fd i s t r i b u t e dc a c h e s 3 ) o nt h eb a s i so fj x t ap l a t f o r mr e s e a r c h ，ap 2 ps o f t - w a r ea r c h i t e c t u r e m o d e li si n t r o d u c e d ，w h i c hi sb a s e do nt h i sp l a t f o r mt od e v e l o pp 2 ps y s t e m e f f e c t i v e l ya n dr e d u c e st h ec o r r e l a t i o nb e t w e e nt h em o d u l e s ，w i t hu n i v e r s a l i t y a n dr e u s a b i l i t y a n dt h e nt h i st h e s i sg i v e sc o r r e s p o n d i n gs o l v i n gs t r a t e g i e st o t h ei m p o r t a n ti s s u e so ft h i sm o d e l ，s u c ha sr e s o u r c ed i s c o v e r ym e c h a n i s m ，t h e p e e r - t o p e e ra n ds e c u r i t yp r o b l e mo fc o m m u n i c a t i o n 4 ) b a s e do nt h el a u n c h e dm o d e l ，t h et h e s i sd e s i g n sa n di m p l e m e n t sap p i m s y s t e mw h i c hd e m o n s t r a t e st h ef e a s i b i l i t y ，e f f i c i e n c ya n dp r a c t i c a b i l i t yo ft h i s m o d e l ，w i t hs e a l a b i l i t ya n dr o b u s t n e s s t h i st h e s i sn o to n l ya n a l y z e st h ep 2 pt e c h n o l o g i e sa n da p p l i c a t i o n s ，b u t a l s oe x p l o r e st h ed e s i g no fp 2 ps y s t e mb yu s i n gj x t a p l a t f o r m k e y w o r d s ：p 2 p , r e s o u r c ed i s c o v e r y , j x t a ，m o b i l e - a g e n t ，a n ta l g o r i t h m 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构 的学位或涯书丽使用过的材料。与我一同工作的同志对本研究所散的任何贡献均 已在论文中作了明确的说臻并表示了谢意。 研究生签名：! 堑釜尽期 窆：盈。 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部内容， 可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名气! 垒 垒导师签名： 武汉理工大学硕士学位论文 第1 章绪论 互联网( i n t e r n e t ) 自出现以来就一直以日新月异的速度发展着，进入上世 纪九十年代，互联网更是步入了一个高速发展的阶段，这既体现在应用的多 样性上，也体现在应用的不断扩展上。最近几年，以文件交换为初始目的的 对等网络( p 2 p ) ，成为了互联网上的一个应用热点。p 2 p 是互联网的一种应 用模式，其思想是指网络上的任何设备都可以平等地直接进行连接并进行协 作。从基础技术角度看，p 2 p 不是新技术，而是新的应用技术模式【1 1 。 1 1 研究背景 p 2 p 是p e e r - t o p e e r 的缩写，p 2 p 网络就是由一个个对等点组成的网络 结构，对等点间按照对等网络有关协议互相通信。 p 2 p 网络模型使计算机系统之间可以直接共享信息和计算资源，而不必 通过服务器中转。与传统的c s 模型相比，它消除了客户机与服务器的差别， 有效利用网络上大量闲置的信息资源、存储空间、处理器周期等资源，在避 免服务器带来的瓶颈问题，降低服务器成本等方面有明显的优势【2 1 。目前p 2 p 技术在文件共享与交换、对等计算、协同工作、即时通讯、搜索引擎、流媒 体播放、网络游戏等诸多方面得到了广泛和深入地研究，并出现了一些成果 和产品，体现出巨大的商业和技术上的发展潜力。 但是在当前商业背景驱动下，众多p 2 p 系统各自为政，形成了一个个 p 2 p 的孤岛，这样和p 2 p 设计的分布式共享的初衷相背离了。所以s u n 公司 提出，只有互通才能真正发挥出p 2 p 的优势，就好像即时通讯i m ( i n s t a n t m e s s a g i n g ) ，互连的人越多，越有价值。所以s u n 决定出面发布一个平台， 使所有p 2 p 系统都能连接起来，这样伟大的j x t a 平台诞生了【3 1 。 在p 2 p 的各个应用领域中，i m 是发展最迅猛的，i m 是一种以网络及其 他有线、无线网络为基础的实时通信方式，通过通讯系统建立网络虚拟社区， 为用户提供实时有效的沟通手段。由于即时通讯拥有实时性、跨平台性、成 本低、效率高等诸多优势，这使得它在短时间内跃居为几个重要的互联网应 用之一，并已经成为互联网上最普及的交流方式【4 1 。据市场研究公司i d c 预 武汉理工大学硕士学位论文 测，到2 0 0 8 年，全世界将有超过5 0 6 亿的个人用户使用i m 产品；另一 家市场研究公司r a d i c a t ig r o u p 也预言，到2 0 0 8 年年底，i m 将拥有7 8 0 0 万个企业用户【5 1 。 1 2 研究意义 当前，互联网上的各种服务，不论采用b s 模式还是采用c i s 模式，都 是以网络服务器为中心的。网络用户向服务器发送请求，然后从服务器得到 相应的回应信息，用户之间的交流都高度依赖于网络服务器，无法直接交流 信息。随着i n t e r n e t 的日益发展和普及，它在某种程度上开始制约着i n t e m e t 的发展【6 j 。 而对等网络与传统的c s 网络应用模式相比，网络中每个节点的地位都 是平等的( 称为对等点p e e r ) ，既充当服务器，为其他节点提供服务，同时也 充当客户机，享用其它节点提供的服务，这样为有效均衡负载、充分利用带 宽并挖掘计算机空闲的计算能力提供了可能，但同时众多p 2 p 系统彼此孤 立，形成一个个p 2 p 孤岛，不利于p 2 p 应用间信息的交流。而s u n 公司推 出的j x t a 平台，由于具有互操作性、平台无关性、普遍性和安全性等特点， 正好就成为了将p 2 p 应用孤岛连在一起的最佳选择，所以，对p 2 p 网络资 源发现及基于j x t a 平台的系统设计进行研究具有深刻的理论意义和一定的 现实意义。 1 3 国内外研究动态 1 3 1 国外研究动态 在国外很多大型公司、著名高校及研究机构都积极参与到p 2 p 的研究及 开发中，p 2 p 取得了快速的发展，出现了很多的理论、算法及应用软件。p 2 p 的具体技术包括分布式搜索、文件传输、协作文档编辑、软件测试、计算周 期共享、分布式存储与协作交换的记录和审计。根据可利用资源的不同，较 为成熟的p 2 p 应用可以分为两个大类：一是运算群组，一是数据传输【7 1 。 运算群组实际上是将网络上闲置的c p u 资源集合起来，进行较大的运 算，比如s e t i h o m e t 引。各处闲置的c p u 资源和需求用户都需要有一个中 2 武汉理工大学硕士学位论文 央调度，运算群组的调度首先将大的运算任务分解成若干个小任务，再分配 给各处的c p u 进行运算。数据传输的应用范围比较广，比如文件交换、资 源共享和即时通讯等。从技术难度角度来看也比利用闲散计算能力要低的 多，大致可分为以下四类：第一类采取中心化拓扑结构，比如著名的m p 3 共享软件n a p s t e r 9 】；第二类采取完全分布式非结构化拓扑结构，比如 g n u t e l l a 1 0 】；第三类采取完全分布式结构化拓扑结构，比如t a p e s t r y ， c h o r d 1 l 】，c a n 1 2 】和p a s t r y ；第四类采取混合式拓扑结构，比如k a z a a 1 3 1 。 1 3 2 国内研究动态 和国外相比，国内从事这方面研究比较晚。但是最近几年国内也开始认 识到p 2 p 的研究价值，许多高校和研究机构也加入到了p 2 p 领域的研究和 开发，比较著名的有以下几个 学校机构研发的产品主要有【1 4 】： 1 ) 北京大学一一m a z e m a z e 是北京大学网络实验室开发的一个中心控制与对等连接相融合的 对等计算文件共享系统，在结构上类似n a p s t e r ，对等计算搜索方法类似于 g n u t e l l a 。 2 ) 清华大学一一g r a n a r y g r a n a r y 是清华大学自主研发的对等计算存储服务系统。它以对象格式 存储数据。另外，g r a n a r y 设计了专门的节点信息收集算法p e e r w i n d o w 的 结构化覆盖网络路由协议t o u r i s t 。 3 ) 华中科技大学一- - a n y s e e a n y s e e 是华中科大设计研发的视频直播系统。它采用了一对多的服务 模式，支持部分n a t 和防火墙的穿越，提高了视频直播系统的可扩展性； 同时，它利用近播原则、分域调度的思想，使用l a n d m a r k 路标算法直接建 树的方式构建应用层上的多播树，克服e s m 等一对多模式系统由联接图的 构造和维护带来的负载影响。 企业研发的产品主要有【i 习： 1 ) 广州数联软件技术有限公司一- - p o e o p o c o 是中国最大的p 2 p 用户分享平台，是有安全、流量控制力的， 无中心服务器的第三代p 2 p 资源交换平台，也是世界范围内少有的盈利的 3 武汉理工大学硕士学位论文 p 2 p 平台。 2 ) 深圳市点石软件有限公司一一o p o p 又称为o p e n e x tm e d i ad e s k t o p ，一个网络娱乐内容平台，n a p s t e r 的后继者，它可以最直接的方式找到您想要的音乐、影视、软件、游戏、图 片、书籍以及各种文档，随时在线共享文件容量数以亿计。十万影视、百万 音乐、千万图片一。 3 ) 基于p 2 p 的在线电视直播一一p p “v e p p l i v e 是一款用于互联网上大规模视频直播的共享软件。它使用网状 模型，有效的解决了当前网络视频点播服务的带宽和负载有限问题，实现了 用户越多，播放越流畅的特性，整体服务质量大大提高1 1 4 本文的主要工作 本文的具体研究工作可体现在以下几个方面： 1 ) 依据不同的特性，对p 2 p 网络类型进行了分类，得出了各种类型的 特点；分析了p 2 p 网络的四种资源发现模型，指出了各种模型的优缺点，接 着对p 2 p 网络面临的问题进行了总结。 2 ) 设计了一种新颖的基于m u l t i a g e n t 与分布式缓存的资源发现策略， 静态a g e n t 可以维护本地的资源信息，m o b i l ea g e n t 可以通过在网络中的迁 移来完成资源的发现，分布式缓存可以提供一种高效的搜索方式，a g e n t s 彼 此间的协作是通过蚂蚁系统中的信息素和本地启发式信息来完成；接着对其 中的分布式缓存的一致性问题给出了解决策略。 3 ) 对s u n 公司提出的开源j x t a 项目进行了深入的分析，其中主要包 括其设计特点、体系架构、基本要素和六个基本协议。 4 ) 引入一种基于j x t a 平台的p 2 p 系统设计架构模型来高效的开发p 2 p 系统，大致抽象为三层：j x t a 基础层、服务层和业务逻辑层，其中业务逻 辑层依照m v c 模式进行设计。另外，关于模型中的一些重要问题，如资源 发现机制、点对点通信和安全问题给出了相应的解决方案。 5 1 按照提出的架构模型，设计并实现了一个简单的p 2 p 应用系统，从 而验证了此模型的可行性和实用性。 4 武汉理工大学硕士学位论文 1 5 本文的组织结构 第1 章绪论部分首先提出了论文的研究背景及意义，论述了p 2 p 技术在 国内外的研究动态和论文所做的主要工作与组织结构。 第2 章论述了p 2 p 的定义、特点，重点分析了p 2 p 的分类及p 2 p 四种 资源发现模型，最后总结了p 2 p 网络面临的问题。 第3 章对s u n 公司的开源j x t a 项目进行了深入的研究，对j x t a 定 义、设计特点、体系架构、基本要素和关键协议进行了分析。 第4 章设计了一种新的基于m u l t i a g e n t 与分布式缓存的资源发现策略， 此策略不仅可以快速的找到资源，减少网络阻塞，而且有效的改善了网络的 扩展性和健壮性，接着对分布式缓存的更新给出了相应的解决策略。 第5 章在对j x t a 平台研究的基础上，引入一种基于此平台的p 2 p 系统 设计架构模型来高效的开发p 2 p 系统，并对此模型中的重要问题，如资源发 现机制、点对点通信、安全问题给出了相应的解决策略。 第6 章在前面提出的架构模型之上，设计并实现了一个简单的p 2 p 即时 通讯系统p p i m ，主要包括系统总体结构设计、系统功能模块设计、系统作 业流程和系统部分功能模块的实现。 第7 章对全文的研究工作进行了总结，并对未来的工作进行了展望。 5 武汉理工大学硕士学位论文 第2 章p 2 p 技术概述 p 2 p ( p e e r - t o p e e r ) 并非一种全新的技术，互联网最基本的协议t c p i p 并没有客户机和服务器的概念，所有的设备都是通讯的平等的一端。2 0 多 年前出现的u s e n e t 、f i d o n e t 以及局域网中的文件共享都是p 2 p 系统。 由于受早期计算机性能、资源等因素的限制，随着互联网规模的迅速扩大， 大多数连接到互联网上的普通用户并没有能力提供网络服务，从而逐步形成 了以少数服务器为中心的c s 模式。但是，随着互联网跟人们生活的联系日 益紧密和深入，人们需要更直接、更广泛的信息交流，而计算机和网络性能 的提升也促进了p 2 p 的发展。 2 1p 2 p 的定义及其特点 2 1 1p 2 p 的定义 p 2 p 是“p e e r - t o p e e r 刀的缩写，p e e r 在英语里有“( 地位、能力等) 同等 者一、“同事一和“伙伴一等意义。因此，p 2 p 也就可以理解为“伙伴对伙伴” 的意思，通常我们称为对等网。 i n t e l 将p 2 p 定义为“通过系统间的直接交换所达成的计算机资源与信 息的共享一，这些资源与服务包括信息交换、处理器时钟、缓存和磁盘空间 等。r o k ut e c h n o l o g i e s 公司将p 2 p 定义成。使个人与个人之间直接通信成 为可能且更便捷的网络结构一【1 6 】。 i b m 则给p 2 p 赋予更广阔的定义，把它看成是由若干互联协作的计算 机构成的系统并具备若干特性【1 7 l 。 i b m 为p 2 p 下了如下定义：p 2 p 系统由若干互联协作的计算机构成， 且至少具有如下特征之一【l8 】：系统依存于边缘化( 非中央式服务器) 设备 的主动协作，每个成员直接从其他成员而不是从服务器的参与中受益；系统 中成员同时扮演服务器与客户机的角色；系统应用的用户能够意识到彼此的 存在，构成一个虚拟或实际的群体。 6 武汉理工大学硕士学位论文 2 1 2p 2 p 的特点 从p 2 p 的定义我们可以看出，p 2 p 技术的提出是技术发展的必然，与 其它网络模型相比，p 2 p 具有以下特点【1 7 】【1 9 】： 1 ) 分散化 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直 接在节点之间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。 即使是在混合p 2 p 中，虽然在查找资源、定位服务或安全检测等环节需要 集中式服务器的参与，但主要的信息交换最终仍然在节点之间直接完成。这 种策略降低了对集中式服务器的资源和性能要求。 2 ) 可扩展性 p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资 源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。即使在诸 如b t 等混合型架构中，由于大部分处理直接在节点之间进行，大大减少了 对服务器的依赖，因而能够方便地扩展到数百万个以上的用户。而对于纯 p 2 p 来说，整个体系是全分布的，不存在瓶颈，理论上其可扩展性几乎可以 认为是无限的。 3 ) 健壮性 p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个节点 之间进行的，部分节点或网络遭到破坏对其它部分的影响很小。而且p 2 p 模 型一般在部分节点失效时能够自动调整整体拓扑，保持其它节点的连通性。 事实上，p 2 p 网络通常都是以自组织的方式建立起来的，并允许节点自由地 加入和离开。一些p 2 p 模型还能够根据网络带宽、节点数、负载等变化不 断地做自适应式的调整。 4 ) 隐私保护 p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过集中环 节，用户的隐私信息被窃听和泄漏的可能性减小。此外，目前解决i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的 网络实体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中 继服务器节点。而在p 2 p 中，所有参与者都可以提供中继转发的功能，因 而提高了匿名通讯的灵活性和可靠性，能够为用户提供更好的隐私保护。 7 武汉理工大学硕士学位论文 5 ) 高性能 性能优势是p 2 p 被广泛关注的一个重要原因。采用p 2 p 架构可以有 效地利用互联网中散布的大量普通节点，将计算任务或存储资料分布到所有 节点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储 的目的。这与当前高性能计算机中普遍采用的分布式计算的思想是一致的。 但通过利用网络中的大量闲置资源，可以用更低的成本提供更高的计算和存 储能力。 6 ) 负载均衡 p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统 c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多个节点， 所以，更好的实现了整个网络的负载均衡。 2 2p 2 p 的分类 2 2 1 按照网络结构分类 根据是否有中央服务器，可将p 2 p 网络分为混合式、分散式和有超级 节点的p 2 p 网络。 1 ) 混合式p 2 p 网络的中央服务器只是索引服务器，与c s 模式中的服 务器不同，p 2 p 网络中的索引服务器只记录内容的索引和节点的必要信息， 辅助节点之间建立连接，而内容本身存储在节点上，内容的传送只在节点之 间进行，不通过服务器。如n a p s t e r 、b t 、e d o n k e y 、e m u l e 。特性：易于管 理、易于发现网络节点、搜索速度较快。但是，存在单点失效问题，一旦中 央服务器出现故障，整个网络将陷于瘫痪。 2 ) 分散式p 2 p 网络没有服务器，通过基于p 2 p 协议的客户端软件搜索 网络中存在的对等节点，节点之间可以直接建立连接，每个节点都是完全平 等的，如c m u t e l l a 。特性：没有单点失效问题，任何一个节点退出网络或出 现故障，都不会造成显著影响。但是，不易管理，不易发现网络中的全部节 点，搜索相对较慢或者算法比较复杂。 3 ) 有超级节点的p 2 p 网络中，有着高网速和高性能的计算机被自动设 置为超级节点。超级节点作为其它用户的索引服务器。随着节点的频繁加入 和退出，超级节点有着很大的动态性，如f a s t t r a c k 。有超级节点的p 2 p 网 8 武汉理工大学硕士学位论文 络结合了前两者的优点，但是也有新的问题，如怎样管理超级节点。 2 2 2 按照内容与网络拓扑结构的关系分类 根据网络中存储的内容与网络拓扑结构是否相关，可将p 2 p 网络分为 结构化、非结构化和松散结构化的p 2 p 网络。 1 ) 在结构化网络中，文件的位置与网络拓扑紧密相关。网络的拓扑结 构受到严格控制，文件或者指向文件的指针位于指定位置，文件i d 与文件 存储位置通过分布式路由表进行映射，如c a n 、t a p e s t r y 2 0 】、c h o r d 、p a s t r y 。 特性：进行查询时，不需要发送大量查询报文，可扩展性好。但是，有节点 频繁加入和退出时，网络结构难于维护。 2 ) 在非结构化网络中，文件的位置与网络拓扑没有关系，如n a p s t e r 、 e d o n k e y 、b t 。特性：节点的频繁加入和退出，对网络影响不大。但是，进 行查询时，需要发送大量查询报文，而且查询结果不一定全面。 3 ) 在松散结构化网络中，文件的位置与网络拓扑的关系介于结构化与 非结构化之间。文件的位置受路由表的影响，但不完全确定，如f r e e n e t 。 松散结构化网络在网络结构的维护和查询性能方面介于前二者之间。 2 2 3 按照对等节点之间数据传送方式分类 在p 2 p 网络中，对等节点之间的数据传送方式有两种：点对点方式和 多点多元方式【2 l 】。 1 ) 在点对点的传送方式中，内容只在两个节点之间传送，一方发送， 另一方接收，如n a p s t e r 。特性：速率受到收发双方链路速率限制，而且， 网络中通常是下载节点多，上传节点少。但是，这种方式中，数据是按顺序 传送的，对于某些文件类型，如音频、视频文件，已下载部分都是可用的。 2 ) 多点多元的传送方式多应用在文件共享中，文件内容被分成若干部 分，一个文件可以从多个节点下载，同时，已下载的部分也能被其它节点下 载。最后再拼成整个文件，如b t 、e d o n k e y 、e m u l e 。特性：虽然单个节点 的下载速率可能不高，但是，多个节点的下载速率相加就会很高，同一个文 件参与共享的节点数越多，下载速率越高。同时，这种方式更能体现“共享 精神，只要下载，就要向其它节点提供上传。但是，由于文件是分块传送的， 9 武汉理工大学硕士学位论文 下载未完成时，已下载部分可能完全不能用。有时，由于拥有完整文件的节 点全部退出网络，导致其余正在下载的节点永远无法完成下载，出现“死链一。 2 2 4 按照应用分类 目前，已有多种网络服务都采用了p 2 p 技术，主要有如下应用： 1 ) 即时通讯，两个或多个用户可以用其进行快速、直接的交流，易于 同非计算机终端设备进行通信，而且它不依赖设备即可辨别用户【2 2 1 ，如i c q 、 s k y p e 。 2 ) 文件共享，下载和上传文件不通过中央服务器，或者中央服务器只 起辅助作用。这是目前p 2 p 技术在网络中最广泛的应用，如n a p s t e r 、b t 、 e d o n k e y 、国内的o p e n e x t 、百度下吧、r e a l l i n k 等也提供了文件共享功能。 3 ) 协同工作，使用p 2 p 技术，可以建立一个安全的企业级协同工作平 台，提供互动的供求信息，帮助用户进行经销渠道维护、售后服务等，如 g r o o v e 、国内的k d t 。 4 ) 对等计算，可联接上万台p c ，利用它们的空闲时间进行协同计算， 完成超计算量的工作，如d i s t r i b u t e n e t 、s e t i h o m e 。 5 ) 信息搜索，用来在p 2 p 网中完成信息检索。一旦形成p 2 p 专用网， 其上的数据搜索与现在互联网中数据存在中央服务器的情况有所不同，必须 要考虑动态地将当前p 2 p 网络中各个p e e r 的内容进行收集，并且要有效地 向用户传递。此类应用软件有i n f r a s e a r c h 、p o i n t e r a 。 6 ) 分布式存储，用于在网络上将存储对象分散化存放，而不像现在存 放于专用服务器。这样减轻了服务器负担，增加了数据的可靠性和传输速率。 此类应用软件有f a r s i t e 、o c e a ns t o r e 。 7 ) 游戏，许多网络游戏均是p 2 p 方式的，尤其是那些多人对弈游戏。 2 3p 2 p 网络资源发现模型 资源发现问题是p 2 p 网络中的核心问题之一，也是p 2 p 网络研究的热 点。在p 2 p 系统中，资源发现模型可以分为四种：集中式索引，分布式非 结构化，分布式结构化和混合式。以下对p 2 p 网络的四种资源发现模型及 其优缺点进行了总结。 1 0 武汉理工夫学硕士学位论文 2 3 1 集中式索引资源发现模型 集中式索引的资源发现模型中，有一台专门的服务器负责提供旦录索粤l 和资源搜索服务。所有p 2 p 节点的资源信息都集中存储在这台服务器上， 每个节点需要查询帮搜索资源时，就向该服务器发送搜索请求。服务器根据 请求，查询箱录索号l ，再将结果返回请求节点。这个模型最典型的代表就是 n a p s t e t 。n a p s t e r 系统是一个音乐文件交换系统，该系统由运行客户端软件 的注册用户和一个维护中心目录的服务器构成。其中服务器包禽： 重) 所有耀络上文件酶原数据m e t a d a t a ( 文件名，产生的对润等的索雩l ； 芍注船用户的连接信息表( i p 地址，连接速度等 ； 3 ) 文件列表包含每个用户拥有的和在网络上共享的文件。 每个客户端在启动时，连接剜中心服务器，然后给中心数据库发送一个 它所维护豹文赣判表。警服务器从属户接收到一个查询豹时候，它奁索季 串 查找匹配的文件，返回拥有这个文件的用户列表。然艏用户和拥有这个文件 的实体建立崴接的连接，并且下载文件。n a p s t e t 的中心数据库负责储存网 络上可雳文件列袭和这些可用文件鹩拥有者，丽实际艇文件刹存储在客户 端。n a p s t c r 的结构如图2 1 所示。 r e g i s t e r ( s e r v e r x 。m p 3 7 d o w n l o a d x m p 3 窝2 董n a p s t c 誉集巾式索萼l 发堍模型 集中式索号l 发现模型最大优点是蹬录索辱l 和搜索信息维护赞单，资源发 现效率高并且支持复杂的部分关键字查询。但存在的问题也比较多： l j l 中央服务器容易成为整个黼络的瓶颈，可靠健和安全性较低； 2 随着耀终规模的扩大，对孛央索季l 服务器进行维护_ 程更薪熬费舞将 武汉理工大学硕士学位论文 急剧增加，所需成本过高； 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷，并因此被攻 击为非纯粹意义上的p 2 p 网络模型。对小型网络而言，集中式索引模型在 管理和控制方面占有一定优势。但鉴于其存在的种种缺陷，该模型并不适合 大型网络应用。 2 3 2 分布式非结构化资源发现模型 分布式非结构化资源发现模型也称为纯p 2 p 资源发现模型。它把资源 的搜索信息分布到各个节点上，采用了随机图的组织，取消了集中的中央服 务器，每个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连 接构成一个逻辑覆盖的网络。对等节点之间的内容查询和内容共享都是直接 通过相邻节点广播接力传递，同时每个节点还会记录搜索轨迹，以防止搜索 环路的产生。这种模型的典型代表是g n u t e l l a ，它采用了基于完全随机图的 洪泛( f 1 0 0 d i n g ) 【1 5 l 【2 3 1 发现和随机转发( r a n d o mw a l k e r ) 1 5 】机制。为了控制搜索 信息的传输，通过t t l ( t i m e t o l i v e ) 的减值来实现。 g n u t e l l a 的系统结构如图2 2 所示。 图2 - 2g n u t e l l a 的系统结构 1 2 武汉理工大学硕士学位论文 g n u t e l l a 是一个完全分布的结构，因此没有中心网络协作活动，用户彼 此直接通过软件应用连接，既作为客户端也作为服务器。g n u t e l l a 进行资源 搜索的步骤如下： 1 ) 一个用户加入到g n u t d l a 网络：通过发送一个p i n g 消息给和它相 连的任何节点，和它相连的节点发送回来一个p o n g 消息来标识它的存在， 并广播这个p i n g 消息给它的邻居； 2 ) 搜索文件：在无结构的g n u t e l l a 系统中节点并不知道文件可能存放 在什么位置，所以采用随机查询的方法。要查询的节点随机的给任何一个节 点发送一个q u e r y 消息。每个g n u t e l l a 节点转发收到的q u e r y 消息给所 有邻居。为了限制消息广播至整个网络，每个消息的头部保存t t l 域，每 一跳t t l 域值被减少，直到这个域值达到0 ，消息被丢弃。一旦找到目标 节点，该节点会发送一个q u o r y h i t 应答消息，应答消息会沿着开始请求路 径的反方向返回； 3 ) 下载文件：一旦节点收到q u o r y h i t 消息，表明目标文件在一个特 定的节点被找到，在源节点和目标节点之间建立一条直接的连接，初始化一 个直接脱离网络的下载。 完全分布式的网络模型也存在很多弊端，主要表现在以下方面： 1 ) 搜索请求要经过整个网络或者至少是一个很大的范围才能得到结 果，正因为如此，消耗很多网络带宽，而且有时需要花费很长时间才能返回 结果； 2 ) 随着网络规模的扩大，通过扩散方式搜索资源的方法将造成网络流 量急剧增加，从而导致网络拥塞，最终使得网络被分片，使得查询访问只能 在网络很小的一部分进行。因此，网络的可扩展性较差，不适用于大型网络； 3 ) 安全性不高，易遭受恶意攻击，如攻击者发送垃圾查询信息，造成 网络拥塞等。 2 3 3 分布式结构化资源发现模型 集中式索引的发现模型虽然实现简单，管理方便，但存在中心节点，容 易出现单点失效和网络瓶颈等问题。分布式非结构化的发现模型多采用泛洪 算法进行资源查找，大量的网络带宽被消耗，可扩展性较差，不适用于大规 模的网络。为解决对p 2 p 网络资源快速搜索的问题，提出了结构化p 2 p 模 1 3 武汉理工大学硕士学位论文 式，它是一种采用纯分布式的消息传递机制和根据关键字进行查找的定位服 务，目前的主流方法是采用分布式哈希表( d h t ) 技术。 什么是d h t 呢? d h t 是d i s t r i b u t e dh a s ht a b l e 的简称，即分布式哈 希表【2 4 1 ，它是在p 2 p 网络应用层和网络路由层之间加入单独的d h t 层来进 行p 2 p 网络资源发现和查询的，如图2 3 所示。 峰v c n tn 。t i f i c a t i 。n n e t w o r ks t o r a g eo t h e r a p p l i c a t i o n - p p l 圳。n j 1 d h t d h t l a y 1r 汀。，j ，t l 、c w u r - lj h t c p i p 图2 3d h t 技术概念图 基于d h t 的资源发现模型，采用哈希函数加速了查询速度和安全性， 管理和使用都很方便，此外，d h t 算法不会像洪泛算法那样占用太多的网 络带宽。因此，基于d h t 的发现模型比前面的几种资源发现模型要好的多。 在d h t 中，资源的名字都是由哈希函数根据输入数据产生，不必再编 码成位置或路由链路，形成一个统一的基于内容的命名层，增加了寻找对象 的灵活性。因此，d h t 是一个好的共享下层设施。由于d h t 是一个均衡 的体系结构，可以提供多种选择用于考虑在哪些节点间存放对象和用哪一条 路径寻找存放的对象来确保应用层的安全。基于d h t 基础结构是自组和自 治的，所以不需要事先的额外操作，降低了执行，维护和管理代价，使用d h t 技术使一个实体并不知道它要保存什么样的数据，因此所有的实体必须能够 自愿的提供计算机资源，网络带宽，并且能够接受任何类型的数据。d h t 的 可扩展性很强，它可以很好的适应互联网规模的工作流量，支持大规模的上 层应用【2 5 1 。 当前，d h t 技术正受到研究者们的密切关注，是p 2 p 资源发现模型 研究的热点。采用d h t 技术的典型发现模型有加州大学伯克利分校的 1 4 武汉理工大学硕士学位论文 c a n 模型和t a p e s t r y 模型，麻省理工学院的c h o r d 模型，还有微软公司 的p a s t r y 模型。 另外，基于d h t 的发现模型面临的主要问题有： 1 ) d h t 方法只支持精确的关键字查询，不支持模糊查询和部分关键字 查询； 2 ) d h t 方法使资源的本地存储特性消息，本地相同目录下两个相关的 文件可能被哈希到距离很远的两个节点上； 3 ) d h t 方法将所有节点同等对待，不能吻合系统中节点的异构性； 4 ) d h t 的维护机制较为复杂，尤其是结点频繁加入、退出造成的网络 波动( c h u m ) 会极大增加d h t 的维护代价。 2 3 4 混合式资源发现模型