（信号与信息处理专业论文）基于p2p的文件共享系统的研究.pdf

基于p 2 p 的文件共享系统的研究 摘要 本文主要研究了p 2 p 新型网络技术并自行设计了一种基于此的 网络结构模型d r e m 。重点研究了p e e r 接入过程，s u p e r n o d e 群的负载平衡问题，以及最终的下载机制。 本文简要回顾了p 2 p 计算的概念、发展过程和特点；介绍了p 2 p 计算当前的研究现状，分析了p 2 p 计算的核心技术。并在此基础上提 出了一个基于p 2 p ( p e e rt op e e r ) 架构的集中分布对象定位模型 d r e a m ，该模型继承了p 2 p 网络本身强大的可扩展性及容错特性，它 将对象定位信息分别集中在s e r v e r 和归属s n 上，克服了传统对象定 位机制中集中式对等网络的瓶颈缺点和分布式对等网络的消息流量 大的缺点，比混合式对等网络的查询效率又有明显的提高。并重点介 绍了d r e a m 系统中与状态维护和管理密切相关的几个模块a 接入 模块、r 注册模块以及s t 状态转换模块的功能和涉及的算法。 在d r e a m 系统中，作者主要致力于负载平衡和下载机制的研 究。在负载平衡方面，本文分析了网络服务器集群系统与s n 群的异 同点，并介绍了网络服务器集群系统负载平衡的几类基本的算法。鉴 于网络集群系统的负载平衡与s n 负载平衡有着一定程度的相似性， 故而通过对集群系统负载平衡算法的研究，结合d r e a m 系统s n 群 的特点，采用动态负反馈负载均衡算法结合加权轮叫调度算法来实现 s n 负载平衡：根据动态反馈回来的负载信息来调整s n 的权值，进 一步避免s n 群的负载不平衡。s n 群的负载平衡主要从性能和物理 距离两个方面来考虑。性能包括s n 本机的性能和网络性能，在本文 中是分别通过c p u 利用率，内存利用率和已建连接数来体现的。其 中，已建连接数与集群系统中有很大的不同，在d r e a m 系统中是指 该s n 已经服务的p e e r 的数量，而在传统集群系统中是指已建连接数。 另外，集群系统对于物理距离因素的解决办法对于d r e a m 系统是不 能继承的，因为集群系统是直接利用系统中的服务器的响应时间来体 现，而在d r e a m 系统中是由p e e r 端测定的s n 的响应时间体现的。 对于下载机制，本文首先介绍了已经被广泛使用的b t 下载的 发展现状和技术优势，分析了b t 下载的原理和相关协议。结合 i l d r e a m 系统本身的结构特点，分析与b t 下载具有的异同点，合理 的继承b t 下载的优点和相应的协议，提出一种适合于本系统的效率 和复杂度折中的下载算法。本算法中每个下载p e e r 在所获得的提供 者列表中随机选择提供者进行连接，每当连接成功一个提供者，便成 为该提供者p e e r 集合中的一员。提供者p e e r 担负起一定量的b t 中 的服务器的职责，负责本提供者集合中的p e e r 的互可见性。下载p e e r 可与一个或多个提供者建立连接形成下载p e e r 的集合。 关键字：对等网络超级节点负载平衡下载机制b t l r e s e a r c ho nap 2 p b a s e df i l e s h a r i n gs y s t e m a b s t r a c t t h i sp a p e rd o e sm o s tr e s e a r c ho np 2 pb a s e dn e t w o r kt e c h n o l o g y , a n dd e s i g n san e wn e t w o r ks t r u c t u r em o d e l d r e a m t h e e m p h a s i so f t h i s p a p e ri sp l a c e do nt h ep e e rr e g i s t r a t i o n ，s u p e rn o d eg r o u pl o a d b a l a n c ea n dt h ed o w n l o a ds t r a t e g y t h i sp a p e rb r i e f l yr e v i e w st h ec o n c e p t d e v e l o p m e n tp r o g r e s sa n d t h em a i nc h a r a c t e r i s t i c so fp 2 pc o m p u t i n ga tf i r s t ，i n t r o d u c e st h ec u r r e n t s i t u a t i o no fp 2 p c o m p u t i n g r e s e a r c ha n dt h e n a n a l y z e s t h ek e y t e c h r g q u e s o fp 2 p c o m p u t i n g g r o u n d e do nt h er e s e r s c hm e n t i o n e da b o v e ，am o d e lo fc e n t r a l i z e d a n dd i s t r i b u t e do b j e c t sl o c a t i o nb a s e do np 2 pn e t w o r k d i 也a m i s p r e s e n t e d ，w h i c hi n h e r i t st h em a g n i f i c e n tf e a t u r e s ，s c a l a b i l i t ya n df a u l t t o l e r a n c eo fp 2 pn e t w o r k t h em o d e ls p r e a d st h ei n f o r m a t i o no fo b j e c t s l o c a t i o no ns e r v e ra n ds u p e rn o d e d i s c a r d st h eb o t t l en e c kf l a wo f c e n t r a l i z e dp 2 pn e t w o r ka n dt h a to fl a r g ea m o u n to fm e s s a g e si n d i s t r i b u t e dp 2 pn e t w o r ka n dh a sh i g h e re 伍c i e n c yt h a nt h eh y b r i dp 2 p n e t w o r k a n dt h e e m p h a s i s i s p l a c e d o nt h ef u n c t i o nm o d u l e sa n d a l g o r i t h m sc l o s e l y r e l a t e dt os t a t e m a n a g e m e n ta n dm a i n t e n a n c e i n d r e a m s y s t e m ，r e g i s t r a t i o nm o d u l e ，a c c e s s m o d u l ea n ds t a t e t r a n s i t i o nm o d u l e i nd r e a m w ef o c u so nt h er e s e a r c ho nl o a db a n l a c ea n dd o w n l o a d s t r a t e g y a s f o rl o a db a l a n c et h i s p a p e ra n a l y z e st h e s i m i l a r i t i e sa n d d i f f e r e n c e sb e t w e e nn e t w o r ks e r v e rc l u s t e ra n ds u p e rn o d eg r o u p ，a n d t h e ni n t r o d u c e ss e v e r a lb a s i c1 0 a db a l a n t ea l g o r i t h mi nn e t w o r ks e r v e r c l u s t e r 晒e r e a st h e r ea r ec e r t a i ns i m i l a r i t i e sb e t w e e nn e t w o r ks e r v e r c l u s t e ra n ds u p e rn o d eg r o u p ，t h ec h a r a c t e r i s t i c so f s u p e rn o d eg r o u p c o m b i n e dw i t ht h er e s e a r c ho nt h ea l g o r i t h m so fn e t w o r ks e r v e rc l u s t e r r e s u l ti nt h e a d o p t i o n o fd y n a m i cm i n u sf e e d b a c kl o a db a l a n c e a l g o r i t h ma n dw e i g h t e dr o u n d r o b i ns c h e d u l i n ga l g o r i t h mt o r e a l i z e t h es u p e rn o d e g r o u pl o a db a l a n c e ：a d j u s t i n gt h ew e i g h to fs u p e rn o d e b a s e do nt h el o a di n f o r m a t i o nf r o m d y n a m i cf e e d b a c k , f o rf u r t h e r a v o i d a n c eo fs u p e rn o d eg r o u pl o a di m b a l a n c e t h ep r o b l e mo fs n g r o u p l o a db a l a n c ei ss e t t l e df r o mt h e a s p e c t s o fp e r f o r m a n c ea n d d i s t a n c e p e r f o r m a n c ei n c l u d e sl o c a l p e r f o h i q a n c e a n dn e t w o r k p e r f o r m a n c e ，w h i c h a r e r e p r e s e n t e db y c p u e f f i c i e n c y , m e m o r y e f f i c i e n c ya n d l i n ks e t - u p a m o n gt h e m ，l i n ks e t - u pi sd i f f e r e n tf r o mt h a t i nn e t w o r ks e v e rc l u s t e r , i nd r e a m i ti st h en u m b e ro fp e e r sn o tt h a to f l i n k s w h a t sm o r e t h es o l u t i o no fd i s t a n c ei nn e t w o r ks e r v e rc l u s t e r c a n tb ei n h e f i t e di nd r e a mb e c a u s et h er e s p o n s et i m eb e t w e e np e e r a n ds e r v e ri sd i f f e r e n tf o r mt h a tb e t w e e np e e ra n ds n i nd r e a m i ti s p e e rw h ot e s tt h er e s p o n s et i m ei t s e l d o w n l o a d s t r a t e g yi sa l s oa ni m p o r t a n tp o i n ti np 2 ps y s t e m r e s e a r c h t h i sp a d e rf i r s t l yi n t r o d u c e st h ec u r r e n td e v e l o p m e n ts i t u a t i o na n dt h e a d v a n t a g e so fbt a n a l y z e st h es i m i l a r i t i e sa n dd i f f e r e n c e sb e t w e e nb t a n dd r e a m c o m b i n gt h ec h a r a c t e r i s t i c so fd r e a m a n d t h e ni n h e r i t t h ea d v a n t a g e sa n dr e l a t e dp r o t o c o l sa n dp r e s e n t sat r a d e o f fa l g o r i t h m b e t w e e n e f f i c i e n c ya n dc o m p l e x i t y s u i t a b l et od r e a m i nt h i sa 1 9 0 r i t h m e a c hd o w n l o a dp e e rs e l e c t sp r o v i d e rf r o mt h ep r o v i d e rl i s tr a n d o m l ya n d t h e ns e n d st h el i n kr e q u e s t o n c es u c c e s s f u l l ye s t a b l i s h i n gal i n kw i t h s o m ep r o v i d e r ，t h ed o w n l o a dp e e rb e c o m e so n em e m b e ro ft h ep r o v i d e r s e t t h ep r o v i d e rs h o u l d e r ss o m et a s k so ft h et r a c k e ri nb t i n f o r m i n gt h e p e e ri ni t ss e tf o rt h ev i s i b i l i t yb e t w e e nt h e m t h ed o w n l o a dp e e rc a ns e t u p l i n k sw i t ho n eo rm o r e p r o v i d e r sf o r m i n g i t so w nd o w n l o a ds e t k e yw o r d s ：p 2 p , s u p e rn o d e ，l o a db a l a n c e ，d o w n l o a d s t r a t e g y , b i t l b r r e n t v 独创性声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：盛i 盛龛日期：理! 垂曼耳主! 旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文 本人签名： 导师签名：i 信钎 i 印义 丝丛垂捆曼地 盘上。坠：坚 基于p 2 p 的文件共享系统的研究 1 , 1 前言 第一章p 2 p 简介 对等网络( p 2 p ) 技术是目前国际计算机网络技术领域研究的一个热点，被 财富杂志誉为将改变互联网未来的四大新技术之一，目前微软、s u n 、i b m 等很多著名的企业和公司都投入到对p 2 p 技术的研究之中。 p 2 p 计算并非一种全新的技术，在2 0 世纪7 0 年代就已出现，其典型代表是 u s e n e t 和f i d o n e t 两个分散、分布的信息交换系统，真正的p 2 p 技术的大规模 应用起源于文件交换软件n a p s t e r 。虽然“客户服务器”模型是目前互联网上占统 治地位的计算模型，但从某种意义来说，p 2 p 计算可以说是一种向传统互联网技 术的回归，体现了互联网的本质，因为互联网最初的设计目标就是让网络上的计 算视互福之汹可以直接通信而不需要中介。 1 2 p 2 p 技术概述 p 2 p 是p e e r t o p e e r 的缩写，p e e r t o p e e r 即对等计算或对等网络。目前，业 界对p 2 p 的定义还没有一个标准的说法，i n t e l 将p 2 p 技术定义为“通过系统问的 直接交换达成计算机资源与信息的共享 ，这些资源与服务包括信息交换、处理 器时钟、缓存和磁盘空间等。i b m 则对p 2 p 赋予了更广阔的定义，把它看成是 由若干互联协作的计算机构成的系统并具备如下若干特性之一：系统依存于边缘 化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员而不是从服务 器的参与中受益：系统中成员同时扮演服务器与客户端的角色；系统应用的用户 能够意识到彼此的存在而构成一个虚拟或实际的群体。 简单地说，p 2 p 技术是一种用于不同p c 用户之间、不经过中继设备直接交 换数据或服务的技术，其网络通信方式如图卜1 所示。它打破了传统的 c l i e n t s e r v e r 模式，在对等网络中，每个节点的地位都是相同的，具备客户端和 服务器双重特性，可以同时作为服务使用者和服务提供者。由于p 2 p 技术的飞 速发展，互联网的存储模式将由目前的“内容位于中心”模式转变为“内容位于边 缘”模式，改变i n t e m e t 现在的以大网站为中心的状态，重返“非中心化”，将权力 交还给用户。 基于p 2 p 的文件共享系统的研究 r i 丽i l 、。，。，、 r 丽焉万1 鬻避弼p | k 。- 。- - j 图卜1p 2 p 网络通信方式 与c s 模式的比较： c s 模式是以往几十年来最流行的网络结构。所有的功能和信息都集中在 中央服务器上，而客户端都通过直接与中央服务器相连来传送和接收信息所有的 控制流和数据流的传输都要经过中央服务器。c s 模式的主要优点在于它的简 单性。由于所有的信息都集中在一个地方所以这种系统易于管理并且没有数据 一致性的问题。而且集中式服务器只有一个主机需要防护，因此它具有一定的安 全性和可靠性。它的缺点在于由于所有的信息都存在于服务器上，一旦服务器出 现问题，那么所有连接于其上的客户端都将受到影响。同时服务器性能的好坏也 将对这个网络的运行造成直接的影响，在这种情况下，服务器将成为瓶颈。另外， 随着服务的客户数目增多，服务器端所需占用的资源也随之增加，从而最终制约 了客户端数目的增长。 与c s 模式相比，p 2 p 计算具有分布性、可扩展性、匿名性、自组织性、用 户透明性、容错性、协作性等特点。从技术应用上，具有3 大优势： ( 1 ) 可扩展性好。正是由于分布式计算的这种低代价、非集中式的特性使得 他能够支持大规模的网络应用，为成千上万的用户同时提供服务。 ( 2 ) 由于p 2 p 分散式的结构，可以有效地减少用于建设集中式网络需要的 一些固定设备的开销。 0 ) 可以有效地整合分散资源，相互协作，共同为一些大型应用服务【2 。随 着大规模计算、存储资源的高获得性和低开销以及网络日益增长的连通性，都使 p 2 p 计算模式有希望获得更多的广泛应用。 1 3 发展历史 p 2 p 计算并非一种全新的技术。虽然p 2 p 这个术语是现在才发明的，但 p 2 p 本身的基本技术的存在时间却至少和u s e n e t 、f i d o n e t 这两种非常成功 基于p 2 p 的文件共享系统的研究 的分布式对等网络技术一样长，甚至更长些。关键在于在最初的p 2 p 应用出现 时，许多使用该技术的人们甚至不会使用计算机。 事实上，p 2 p 技术的兴起，是互联网技术走的一个有意思的回头路。早期的 互联网应用方式中，有很多都体现了p 2 p 的思想，例如t e l n e t 、u s e n e t 等。但 是，随着万维网( w w w ) 应用方式的推行，c l i e n t s e r v e r 的结构开始成为了互 联网中的主流。然而，随着新的p 2 p 应用技术的开发，这一“古老”的思想开 始焕发出新的光彩。 p 2 p 应用最初出现时和现在并不相同。事实上可以认为它是若干不同技术 以及流行趋势的产物。下面是两个导致p 2 p 技术发展最重要的趋势： 首先是某些新技术与软件工程结合，形成了一种将工作分散的趋势。p 2 p 计 算正是这种分散工作趋势的自然结果。 其次，从工程的角度看来，在企业应用集成等因素的驱动下，过去十年渐渐 形成一种从集中的单机系统转向分布式系统的趋势。在集中式的应用中进行控制 是相对容易的，这一点在一定程度上抑制了分布式潮流的发展。然而随着互联网 的发展，以及b 2 b 商务交易方式的日益流行，全面的分布式计算也就成为一种 商业需求。 对功能强大的网络计算机的需求以及昂贵的带宽开销，是对这种趋势影响最 大的两个因素。为了提高效率，p 2 p 计算由许多互相连接的同位体( p e e r ) 组成。 这两种趋势导致了p 2 p 应用技术研究的迅速发展。 除了技术方面之外的社会因素也是一个重要原因。毫无疑问，人们现在对 p 2 p 计算技术的热切关注起源于n a p s t e r ，s c o u r ，g n u t e l l a ，以及这些家族的其他 成员产品。这些产品提供了所谓的”k i l l e r a p p s ”功能，能够将p 2 p 技术中的一 部分下放到客户端用户的手中。正是这种第一手的体验，使得人们越来越关注 p 2 p 技术的强大功能。 让p 2 p 思想深入人心的是美国的n a p s t e r 公司。这个公司成立于1 9 9 9 年， 它提供的服务是让网民们交流m p 3 文件。但是，在n a p s t e r 的服务器上没有一首 歌曲，它只是提供了一个软件，利用这个软件音乐迷可以在自己的硬盘上共享音 乐文件，搜索和下载其他使用了n a p s t e r 服务的用户共享的音乐文件。n a p s t e r 在短时间里吸引了几千万用户。最终，它被五大唱片商以侵犯版权的罪名告上法 庭。但是，n a p s t e r 的技术，让人们看到了p 2 p 思想在互联网上应用的巨大潜力。 1 4 研究现状 p 2 p 计算已成为当今科学研究和产品开发的热点。目前，关于p 2 p 系统的 研究可大致的分成4 大类，分别为：内容共享( c o n t e n ts h a r i n g ) 、分布式计算 基于p 2 p 的文件共享系统的研究 ( d i s t r i b u t e dc o m p u t i n g ) 、通信与协作( c o m m u n i c a t i o na n dc o l l a b o r a t i o n ) 以及p 2 p 系统平台( p l a t f o r m ) 的设计。 1 4 1 内容共享 内容存储和共事是p 2 p 技术应用最为成功的领域之一。内容共享系统中的 计算机之间可以直接交换和共享自身的资源，这里的资源包括存储的文件、数据 以及存储空间等。内容共享又可以分成数据文件共享与数据存储共享2 大类。 ( 1 ) 数据文件共享 可以说文件交换的需求直接引发了p 2 p 技术热潮。这些文件包括音频、视 频、图像等多种文件形式。n a p s t e r , g n u t e l l a 以及f r e e n e t 是3 种典型的文件共 享系统。 n a p s t e r 还是一种不完全的p 2 p 系统。在n a p s t e r 中，需要一组中央服务器 来保存系统中所有共享文件的索引。每一个用户都与其中的一个服务器相连，并 且通过这个服务器传送查询请求。 g n u t e l l a 中没有集中的服务器，系统中的每一个用户都与自己的一组邻居 用户结点通过端对端连接，构成一个逻辑覆盖的网络。查询文件时，用户向自己 所有的邻居结点发送查询数据包。 f r e e n e t 系统中的每个结点都有一个i d 序列号，每一个文件也有一个通过 s h a1 哈希函数映射得来的i d 序列号。文件查询时，用户将查询请求，转发给 拥有与文件i d 最相近的1 d 的那个用户结点，直到找到所需的文件。 ( 2 ) 数据存储共享 存储共享是利用整个网络中闲散的内存和磁盘空间，将大型的计算工作分 散到多台计算机上共同完成，这样可以有效地增加数据的可靠性和传输速度。 o c e a n s t o r e 是其中比较突出的系统。o e e a n s t o r e 旨在实现能提供全球分布式的、 持续稳定的数据存储。在o c e a n s t o r e 系统中，用户计算机上的每一个文件都被 分配一个全球惟一标识( o ui d ) ，然后由软件将文件分割成许多微小的片断，进 行加密，存储在全球i s p 拥有的众多w e b 服务器中。o c e a n s t o r e 对文件片断进 行加密，使得只有在用户端才能看到文件的明文，服务器上看到的只是加了密的 密文，有效地保证了文件的安全性。 1 4 2 分布式计算 分布式计算是利用整个网络上的计算机的闲置中央处理器、内存以及磁盘空 间等，进行大规模的运算。 基于p 2 p 的文件共享系统的研究 其典型代表是s e t i h o m e 系统。 s e ti h o m e ( s e a r c hf o re x t r a t e r r e r t i a li n t e l l i g e n c e ) 旨在利用连入i n t e r n e t 的成千上万台计算机的闲置能力搜寻地外文明的巨大试验。他可以将连入 i n t e m e t 的计算机在闲置时的处理运算能力整合起来，形成一个巨大的虚拟机， 并且通过这个虚拟机对由巨型a r e c i b o 望远镜收集的来自外太空的无线电磁波 数据进行分析。他是目前最大的，运行时间最长的p 2 p 系统。s e ti h o me 系 统由2 部分组成：数据库服务器及客户端。他们运行在不同的操作系统上。数据 库通常非常庞大而稳定，可以允许超过3 0 0 万的用户注册；客户端软件类似于 屏幕保护程序，当用户计算机闲置时开始工作，当用户返回时，交还计算资源。 1 4 3 通信与协作 p 2 p 协同应用的目标是允许用户间在应用层上协同工作。这种应用的范围 很广，包括即时通信、聊天、在线游戏等。比较典型的有g r o o v e 系统，o i c q ，i c q 聊天软件，y a h o om e s s e n g e r 以及些游戏软件等。g r o o v e 系统主要针对i n t e m e t ， i n t r a n e t 的用户，同时也能为移动设备如p d a 和移动电话上的用户提供服务。 他的设计目标是能够使用户间直接通信而不需要依赖于服务器。在g r o o v e 体系 结构中，g r o o v e 层介于应用逻辑层和命令执行层之间，命令消息在g r o o v e 层被 转化成x m l 对象，然后被存储和排序，这样可以使连接中断时，消息被重新发 出。g r o o v e 中的用户是在一个称之为共享空n ( s h a r e ds p a c e ) 的实时环境中进行 直接通信的，系统中的用户需要身份认证，数据在磁盘上和通信线路上都要被加 密。 1 4 4p 2 p 系统平台 随着一些中间件，如j a v a 虚拟机、网络浏览器和服务器的出现，应用对于 操作系统环境的依赖越来越少。将来的系统有可能更多地依赖于平台来对用户和 服务进行管理。p 2 p 平台可以支持基本的p 2 p 模块功能，包括命名、查询、通 信、安全以及资源整合等，他们对于操作系统的依赖较小。j x t a 和1 n e t 是2 个有代表性的p 2 p 平台。 j x t a 项目是由s u n 公司研发的，旨在提供一个开放式、能够支持多种类型 的分布式应用的平台。由于通信、安全、性能等方面的原因，j x t a 系统将所有 的对等体分成若干个小组，这些对等组( p e e r g r o u p ) 是j x t a 体系结构的核心。 每一个对等体可以同时加入多个对等组。j x t a 为对等体的查询、组成员管理提 供核心协议，同时利用称之为p i p e s 的异步单向通信信道来发送和接受消息。 基于p 2 p 的文件共享系统的研究 j x t a 中的数据都是以x m l 格式进行交换的。1 ne tm ys e r v i c e 和1 ne t 平 台的设计目的是能够使用户利用现存的一些标准，如x m l ，u d d i ，s o a p ，w s d l 等访问i n t e m e t 上的众多的资源和服务。1 ne t 采用一种新的程序语言c 拌编写， 其设计是集中围绕分布式服务的非集中性和非模块性进行的。 1 5 关键技术 1 5 1 内容存储 p 2 p 系统使用户间可以彼此共享资源。为了提高这种访阀成功率，即提高资 源的可获得性，很多p 2 p 系统都采取了复制和缓存技术。复制( r e p l i c a t i o n ) 是将 文件复制保存在离请求发起用户距离较近的用户结点中：缓存( c a c h i n g ) 有多种 不同的策略。复制和缓存都可以减少查询文件所需经过路径长度，从而减少用户 问的消息传输数量，降低通信延迟。同时，当系统中的一个用户出现问题时，保 存在其他用户上的冗余信息能够使系统正常运行。 1 5 2 内容查询 p 2 p 系统中，一个用户要共享另一个用户计算机上的资源。不论是文件、存 储空间或是计算资源，一个关键的问题是要找到资源所在的目的主机，因此，内 容的查询是很多p 2 p 系统的核心。从目前的研究现状来看，主要存在3 种有关 内容查询的算法【2 ： ( 1 ) 集中索引算法( c e n t r a li n d e x )以n a p s t e r 系统为代表。在n a p s t e r 系统 中，用户都与一个中央服务器相连接，中央服务器上保存了共享文件的索引。由 中央服务器对收到的用户请求进行匹配查找，直到找到保存了所需文件的目的 用户。然后，由发起请求的用户与目的用户直接进行文件交换。这种算法的不足 在于依赖个集中式的结构，将会影响系统的可扩展性。 ( 2 ) 洪水消息算法( f l o o d e dr e q u e s ts )代表系统为g n u t e l l a 。每一个用户消 息都将被广播给与该用户直接相连的若干其他用户，这些用户收到消息后，也同 样地将消息广播给各自连接的用户，以此类推，直到请求被应答，消息的t t l 值减少为0 或超过了最大的广播次数( 通常在5 和9 之间) 。这种算法存在的不 足在于需要较大的网络带宽，因此也会影响可扩展性。 ( 3 ) 文件路由算法( d o c u m e n tr o u t i n g )代表系统为f r e e n e t 。算法的特点是 采用基于哈希函数的映射。系统中的每个用户都有一个随机的i d 序列号；系统 中的每一个文件也有一个i d 序列号，这个序列号是根据文件的内容和他的名 基于p 2 p 的文件共享系统的研究 字经过哈希函数映射得来的。文件发布时，每一个用户都把文件转发到拥有与 文件的i d 最相近的i d 值的用户上去，直到最接近文件i d 的用户就是该用户 本身。转发过程中每经过的一个用户都将保持该文件的副本。索取文件时，每个 用户都将请求消息转发给一个拥有与所需文件i d 最相近的i d 的用户，直到文 件或文件的一个拷贝被发现为止。t a p e s t r y ，p a s t r y ，c h o r d ，c a n 都是采用这种方 法的p 2 p 系统。这种算法的优势在于可扩展性较好，不足在于他可能导致整个 网络分裂成若干彼此不相连的子网络，形成所谓的孤岛，他的查询也要比洪水消 息算法等麻烦些。 1 5 3 内容传输 消息的传输过程中，对于互联网上众多的计算机，p 2 p 应用比其他应用要更 多考虑那些低端p c 的互联，因为他们不具备服务器那样强的联网能力；同时对 于以往的p 2 p 应用技术，现在的硬件环境已经更为复杂，因此，p 2 p 必须提供在 现有硬件逻辑和底层通信协议上的端到端定位( 寻址) 和握手技术，建立稳定的 连接。具体涉及的技术有口地址解析、n at 路由及防火墙等。此外，应用层j 上，如果2 个用户通过互联网建立连接，那么一方的信息就必须为另一方所识 别，所以p 2 p 系统还需要包含关于数据描述和交换的协议，如x m l ，s o a p ， u d d i 等。 1 5 4 系统安全 由于p 2 p 网络的开放性、用户发布消息的匿名性以及a dh o c 的连接方式， 使得p 2 p 系统也存在许多安全隐患。例如，在采用复制技术的p 2 p 系统中，恶 意用户可以无限制地产生恶意文件在网上传播。c m u t e l l a 系统中的恶意用户就可 以产生v b sg n u t e l l a 蠕虫病毒，并通过自我复制，广播到系统中的多个结点中用 于共享。对于存在的这些安全问题，很多p 2 p 系统中都采取了身份认证、数字 签名、加密算法、防火墙等技术来保障用户和系统的安全。例如在p 2 p 平台l n e t 中。每个用户都需要拥有一个p a s s p o r t 账号，系统就是通过这个账号对用户进行 认证。 1 6 本文重点 p 2 p 机制有着良好的资源利用率，灵活性，低成本性等诸多优点，让我们看 到了它发展的广阔前景。现有的成形网络如j x t a ，g n u t e l l a ，m o r p h o u s 等 基于p 2 p 的文件共享系统的研究 都对其特性进行了很好的利用，但鉴于目前还没有关于p 2 p 的标准化组织，所 以仍然有很多探索的空间。 本课题在研究p 2 p 技术的发展现状以及其相应的关键技术的基础上，研制 开发了一套文件共享系统- - d r e a m ( d i s t r i b u t e d r e s o u r c ee n t i t ya c c e s sm o d e t ) 。 这是一个大系统，涉及的内容算法非常多：接入、管理、通信等等。在大家的团 结协作下，自定了系统的框架模型以及通信机制，实现了对文本、音频、视频等 格式的文件共享。本文研究的重点是p e e r 接入机制，负载均衡算法和下载算法。 这些算法的应用都对应着一个或几个设计模块，实现了部分核心设计功能，有效 地保证和提高了系统的质量。 第一章绪论部分介绍了p 2 p 技术的概况，简单回顾了p 2 p 的发展历史，介 绍了p 2 p 的发展现状，关键技术和相应的算法；第二章首先对现有的p 2 p 组网 模式做了介绍，提出了d r e a m 框架模型，这是本课题的基础，之后基于d r e a m 的框架模型，建立p e e r 的接入机制；第三章详细讨论了集群负载均衡原理及在 d r e a m 系统中的应用；第四章介绍了下载模块的主要算法和设计。 基于p 2 p 的文件共享系统的研究 第二章d r e a m 系统的状态信息管理 本节首先介绍目前主要的p 2 p 结构模式，并分析了它们各自的优缺点。在 此基础上，建立了我们自己的系统- - d r e a m ( d i s t r i b u t e d r e s o u r c ee n t i t y a c c e s sm o d e l 见2 2 ) 。为了使d r e a m 系统能够正常的工作，使得全网的p e e r 能够满足文件共享的需求，就必须很好的维护和管理d r e a m 系统的状态信息。 之后的部分就详细的介绍了与状态维护和管理密切相关的几个模块：a 接入模 块、s n 超级节点模块以及s t 状态转换模块的功能和工作流程。 2 1 主要的p 2 p 模式结构分析 p 2 p 模式的变化经历了集中式、分布式和混合式3 个阶段。p 2 p 技术起源于 文件交换技术，在p 2 p 的发展过程中，文件交换技术的演变最具代表性，下面 我们就以典型的p 2 p 文件交换软件为例来研究p 2 p 模式的几种主要形式。 ( 1 ) 集中式对等网络 n a p s t e r 提供的m p 3 下载服务就是最早的p 2 p 实践( 工作原理见图2 - 1 ) 。 它并不提供m p 3 音乐资源，只是提供动态刷新的m p 3 目录服务。音乐资源散布 在全球互联网上的用户手中，借助n a p s t e r 几乎可以找到任何一首歌曲，这是一 种集中式对等网络模式。 集中式p 2 p 模式由一个中心服务器来负责记录共享信息以及反馈对这些信 息的查询；每一个对等实体要对它所需共享的信息以及进行的通信负责，根据需 要下载它所需要的其他对等实体上的信息。这种形式具有中心化的特点，但是它 不同于传统意义上的c l i e n t s e r v e r 模式。因为传统意义上的c l i e n t s e r v e r 模式采 用的是一种垄断的手段，所有资料都存放在服务器上，客户机只能被动地从服务 器上读取信息，并且客户机之间不具有交互能力；而集中式p 2 p 模式则是所有 网上提供的资料都存放在提供该资料的客户机上，服务器上只保留索引信息，此 外服务器与对等实体以及对等实体之间都具有交互能力。 集中目录式p 2 p 模型还存在很多问题，主要表现为： 中央服务器的瘫痪容易导致整个网络的崩溃，可靠性和安全性较低； 随着网络规模的扩大，中央目录服务器维护和更新的费用将急剧增加，所 需成本过高； 中央服务器的存在引起共享资源在版权问题上的纠纷，这也是直接导致 n a p s t e r 破产的原因； 基于p 2 p 的文件共享系统的研究 缺乏有效的强制共享机制，资源可用性差。 n a p s t e r t c ? l l l 黔。n 邺 0 一r 娜群 df t l od o w n l o a d 图2 1n a p s t e r s - 作原理图 集中式p 2 p 可提供中心服务器目录检索、管理服务和标准的点到点通信， 具有高效的检索和低效的交换服务的特点。集中式p 2 p 对小型网络而言在管理 和控制方面占有一定的优势，但对大型网络并不适合。 ( 2 ) 分布式对等网络 n a p s t e r 因为中央服务器的存在引起的版权纠纷导致了它的破产，以g n u t e l l a 和e d o n k e y 或e m u l e 为代表的后来者们吸取了n a p s t e r 失败的教训，将n a p s t e r 的理念推进一步。当用户p c 安装这些软件后，就会立即变成一台能够提供完接 目录和文件服务的服务器，并会自动搜寻其他同类服务器，从而联成一台由无数 p c 组成的网络超级服务器。与n a p s t e r 网络不同，它不存在中枢目录服务器，或 者说把所有机器都变成了服务器，这就是第二代p 2 p 分布式p 2 p 。 0 坤时q 嗍 娜4 u 日r y h l t d 翻咖i 镰d 图2 - 2o n u t e l l a 的工作原理圈 在分布式p 2 p 中，对等机通过与楣邻对等机之间的连接遍历整个网络体系。 每个对等机在功能上都是相似的，并没有专门的服务器，而对等机必须依靠它们 所在的分布网络来查找文件和定位其他对等机。 基十p 2 p 的文件共享系统的研究 以g n u t e l l a 网络为例( 工作原理见图2 2 ) ，一台新对等机首先通过访问某 特殊站点提供的“主机缓存服务”( h o s tc a c h es e r v i c e s ) 机制来得到一台活动对 等机地址，通过与它建立一个连接将自己接入g n u t e l l a 网络；接着，该新对等机 主动探查网络中的其它对等机，找到与之相邻的对等机节点，在进行文件查找时， 该对等机首先向与之相邻的所有活动对等点发送一个查询描述符q u e r y ，在其他 对等机接收到该查询描述符后，检查本地是否有符合查询请求的文件内容，如果 有，则按查询描述符的发送路径返回一个查询响应描述符q u e r y h i t ，无论本地是 否存在符合查询请求的文件内容，其他对等机都