（计算机应用技术专业论文）bittorrent对等网文件共享系统关键技术研究.pdfVIP

b i t t o r r e n t 对等网文件共享系统关键技术研究 摘要 因特网( i n t e r n e t ) 技术的发展日新月异，向全球用户展现出了一系列具有 创造性的分布式应用成果。对等网( p e e r - t o 一忍f 厂，p 2 p ) 文件共享系统，作为通 过协作定位和分布共享文件的工具，已成为占据i n t e m e t 网络流量最多的新型网 络应用。p 2 p 文件共享系统中的信息定位在过去几年吸引了很多注意，并出现 大量的研究成果；而目前文件分布已经开始成为了近来非常活跃的研究课 题b i t t o r r e n t 是当今i n t e m e t 上非常流行的基于p 2 p 技术的文件分布工具，它能够快 速、有效地在i n t e m e t 的网络结点上分布大的文件，而不会给源服务器带来负载。 本文针对b i t t o r r e n t 对等网文件共享系统的服务能力、激励机制、和覆盖网拓扑结构 等p 2 p 文件共享系统的关键问题展开了研究。这些问题的研究有助于提高p 2 p 文件共 享系统的性能、稳定性、和可扩展性。本文的主要研究内容和贡献如下： ( 1 ) b i t t o r r e n t 对等网文件共享系统服务能力的研究：利用n 叉树的结构模型分 析了b i t t o r r e n t 系统的文件分布性能，进一步研究了b i t t o r r e n t 系统的文件可获得性和 文件共享效力，并提出了一个优化的邻居结点选择策略。 b i t t o r r e n t 作为当今i n t e m e t 上最为流行的p 2 p 协作文件共享分布系统，已经得到 了广泛的关注。很多研究证实b i t t o r r e n t 系统有非常好的性能，然而其服务能力并没 有得到充分地研究。本文利用n 叉树的结构模型分析了b i t t o r r e n t 系统的文件分布性 能，证实b i t t o r r e n t 系统有非常好的性能支持大规模的下载结点同时下载共享文件， 并指出文件被分割的块数和结点的并发上载连接数对系统文件分布性能的影响。 同时通过模型分析研究了b i t t o r r e n t 系统的文件可获得性，发现当文件块在系统均匀 分布时，文件可获得性最高，并证实最少文件块选择策略有利于提高系统的文件 可获得性。进一步研究发现b i t t o r r e n t 系统具有非常好的文件共享效力。此外，针 对b i t t o r r e n t 系统邻居结点随机选择策略的缺点，提出了一个优化的邻居结点选择策 略：服务器t r a c k e r 为结点优先选择与其具有相近文件块数的结点作为其邻居结点。 模拟实验验证了本文的模型分析结果，并且显示了优化的邻居结点选择策略能充分 地利用系统服务资源，有效地提高系统的服务性能。 ( 2 ) b i t t o r r e n t 对等网文件共享系统激励机制的研究：通过一个具有两类不同结 点的流体数学模型研究 b i t t o r r e n t 系统的激励机制，提出了严格基于结点贡献量分 配种子带宽的种子带宽分配策略。 l 上海交通大学博：上= 学位论文 结点间的协作是p 2 p 文件共享系统不可缺少的条件，然而没有一个有效的激励 机制，在个体参与结点间实现协作是非常困难的。b i t t o r r e n t 作为一个协作的p 2 p 文 件分布工具，不可避免地要面对结点不愿协作的“搭便车”问题，因此b i t t o r r e n t 有 专门的激励机制去防止搭便车行为并提高结点间的协作，然而其阻止搭便车行为 的能力并没有得到充分地研究。本文构建了一个具有两类不同结点的流体数学模 型去研究搭便车行为对b i t t o r r e n t 系统的影响。通过此模型分析，发现b i t t o r r e n t 的激 励机制在无种子系统中能成功地阻止搭便车行为；然而，在具有较多种子的系统 中，b i t t o r r e n t 的激励机制并不能有效地阻止搭便车行为。这是因为b i t t o r r e n t 没有为 种子提供有效的激励机制，便车者可以从种子获得大量的服务资源。因此，本文提 出了严格基于结点贡献量分配种子带宽的种子带宽分配策略。模拟实验证实了本 文的分析和发现，并显示出种子带宽分配策略不但能阻d ：b i t t o r r e n t 系统的搭便车行 为，而且能十分有效地提高系统贡献结点的性能。 ( 3 ) b i t t o r r e n t 对等网文件共享系统覆盖网拓扑结构的研究：提出了基于邻 近结点聚类的b i t t o r r e n t 文件共享系统一c b t ( c l u s t e r e db i t t o r r e n t ) ，构建了层次 化b i t t o r r e n t 文件共享机制，并采用结点加入算法和超级结点选择算法去构建 此c b t 系统。 在大规模的b i t t o r r e n t 系统中，中央服务器t r a c k e r 要不断地为大量动态地加入和 离开的结点更新状态信息，这会给t r a c k e r 服务器带来很大的负载。此外结点随机选 择连接结点传输数据，使得结点有可能连接到与其拓扑距离较远、网络时延较长的 结点，增加了网络带宽的损耗，并降低了文件传输的性能。为了提高b i t t o r r e n t 对等 网系统的共享文件下载性能，本文提出了基于邻近结点聚类的b i t t o r r e n t 文件共享系 统( c l u s t e r e d b i t t o r r e n t ，简称c b t ) ，此系统通过将邻近的结点聚合成结点簇，同 一结点簇中结点优先建立共享连接，从而构建了层次化b i t t o r r e n t 文件共享机制。同 时提出了结点加入算法和超级结点选择算法去构建c b t 系统通过基于马尔可夫链 的流体数学模型分析了该系统的性能，证明了c b t 系统比原b i t t o r r e n t 系统具有更好 的文件共享性能。模拟实验证实了理论分析结果，并显示该系统有效地降低了中央 服务器t r a c k e r 的负载，提高了系统可扩展性和稳定性。 关键词：对等网络，b i t t o r r e n t ，文件分布，服务能力，流体数学模型，激励机制， 搭便车行为，聚类，邻近性 一h 一 r e s e a r c ho nk e yt e c h n i q u eo fb i t t o r r e n t l i k ep e e r 。t o p e e r f i l es h a r i n gs y s t e m s a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r a c t ，l o t so fn e wn e t w o r ka p p l i c a t i o ns y s t e m sa p p e a r a sa l le f f i c i e n tc o n t e n tl o c a l i z a t i o na n dd i s t r i b u t i o nt o o l ，p e e r - t o - - p e e r ( p 2 p ) f i l es h a r i n gs y s - t e r n sh a v eo c c u p i e dam a j o r i t 、，o fi n t e r a c tt r a f f i c s w h e r e a sc o n t e n tl o c a l i z a t i o nh a sr a i s e da 1 0 to fa a e n f i o ni nt h el a s tf e wy e a r s c o n t e n tr e p l i c a t i o nh a ss t a r t e dt ob et h es u b j e c to fa c t i v e r e s e a r c hr e c e n t l y b i t t o r r e n ti sav e r yp o p u l a ra n ds c a l a b l ef i l ed i s t r i b u t i o ns y s t e mb a s e d o np 2 pp a r a d i g m i th a sb e e ns u c c e s s f u la td i s t r i b u t i n gl a r g ef i l e sq u i c k l ya n de f f i c i e n t l y w i t h o u to v e r w h e l m i n gt h ec a p a c i t yo ft h eo r i g i ns e r v e r t h i sd i s s e r t a t i o nf o c u s e so nt h er e s e a r c ho fk e y t e c h n i q u eo fb i t t o r r e n t - l i k ep 2 p f i l es h a r i n gs y s t e m s s u c ha ss e r v i c ec a p a c i t y , i n c e n d v em e c h a n i s ma n do v e r l a yt o p o l o g y o u rr e s e a r c hi sb e n e f i c i a lt ot h ei m p r o v e m e n t s o ft h ep e r f o r m a n c e ，s t a b i l i t ) ，a n ds c a l a b i l i t yo fp 2 pf i l es h a r i n gs y s t e m s t h ec o n t e n t sa n d c o n t r i b u t i o n so ft h i sd i s s e r t a t i o na r ea sf o l l o w s ： ( 1 ) r e s e a r c ho ns e r v i c ec a p a c i t yo fb i t t o r r e n t - l i k ep 2 pf i l es h a r i n gs y s t e m s ：t h ef i l e d i s t r i b u t i o np e r f o r m a n c eo fb i t t o r r e n t - l i k es y s t e m si sa n a l y z e dt h r o u g ha l la r c h i t e c t u r e m o d e lb a s e do np a r a l l e lt r e e n a l s ot h ef i l ea v a i l a b i l i t ya n de f f e c t i v e n e s so ff i l es h a r i n gi n b i t t o r r e n t - l i k es y s t e m si ss t u d i e d m o r e o v e r , a l lo p t i m i z e dn e i g h b o rs e l e c t i o ns t r a t e g yi s p r o p o s e di nt h i sd i s s e r t a t i o n a sav e r yp o p u l a ra n ds c a l a b l ep 2 pf i l es h a r i n gs y s t e m ，b i t t o r r e n th a sa t t r a c t e dal o t o fi n t e r e s tl a t e l y m a n ym e a s u r e m e n tr e s e a r c h e sh a v ev e r i f i e dt h a tt h eb i t t o r r e n ts y s t e m p e r f o r m sw e l l h o w e v e r t h es e r v i c ec a p a c i t yo fb i t t o r r e n ti ss t i l ln o tf u l l ys t u d i e d i nt h i s d i s s e r t a t i o n , a l la r c h i t e c t u r em o d e lb a s e do np a r a l l e l 皑i se m p l o y e dt oa n a l y z et h ef i l e d i s t r i b u t i o np e r f o r m a n c eo fb i t t o r r e n t - l i k es y s t e m s w i t ht h i sm o d e l ，w ev a l i d a t et h a tt h e b i t t o r r e n ts y s t e mh a sv e r yg o o dp r o p e r t i e st os u p p o r tal a r g en u m b e ro fd o w n l o a d e r s ，a n d s h e d sl i g h to nt h ee f f e c to ft h en u m b e ro ff i l ep i e c e sa n dc o n c u r r e n tu p l o a d i n gc o n n e c t i o n s o fap e e ro nt h ef i l ed i s t r i b u t i o np e r f o r m a n c e b e s i d e s ，w ep r e s e n tam a t h e m a t i c a lm o d e lf o r p r e d i c t i n gt h ef i l ea v a i l a b i l i t yi nb i t t o r r e n t - l i k es y s t e m s i t i so b s e r v e do n l yw h e nt h ep i e c e s a r ed i s t r i b u t e da se v e n l ya sp o s s i b l ea c r o s st h es y s t e mc a nt h ef i l ea v a i l a b i l i t yb em a x i m i z e d a l s oi ti sv a l i d a t e dt h a tt h er a r e s tf i r s tp o l i c yi sb e n e f i c i a lt ot h ef i l ea v a i l a b i l i t y f u r t h e r , w e m 上海交通人学博士学位论文 f i n db i t t o r r e n ti sv e r ye f f i c i e n ti ns h a r i n gf i l e s m o r e o v e r , a no p t i m i z e dn e i g h b o rs e l e c t i o n s t r a t e g yi sp r o p o s e dt oo v e r c o m et h ed r a w b a c k s o fr a n d o mn e i g h b o rs e l e c t i o ni nb i t t o r r e n t s y s t e m s ：t h a ti s ，t r a c k e r s e r v e rs e l e c t st h ep e e r st h a th a v et h ec l o s en u m b e ro ff i l ep i e c e st oa p e e ra si t sn e i g h b o r s s i m u l a t i o nr e s u l t sv e r i f yo u ra n a l y s i sa n df i n d i n g s ，a n ds h o w t h a tt h e n e i g h b o rs e l e c t i o ns t r a t e g yc a n f u r t h e ri n c r e a s et h en e t w o r kb a n d w i d t hu s a g e ，a n di m p r o v e t h ep e r f o r m a n c eo ft h es y s t e me f f e c t i v e l y ( 2 ) r e s e a r c ho ni n c e n t i v em e c h a n i s mo fb i t t o r r e n t - l i k ep 2 p f i l es h a r i n gs y s t e m s ：af l u i d m o d e lw i t ht w od i f f e r e n tc l a s s e so fp e e r si sd e v e l o p e dt os t u d yt h ei n c e n t i v em e c h a n i s mo f b i t t o r r e n t - l i k es y s t e m s ，a n das e e db a n d w i d t ha l l o c a t i o ns t r a t e g yi sp r o p o s e dw h i c hi sb a s e d s t r i c t l yo nt h ec o n t r i b u t i o no fp e e r s c o o p e r a t i o ni se s s e n t i a lt oap 2 p f i l es h a r i n gs y s t e m h o w e v e r , i ti sd i f f i c u l tt op r o m o t e c o o p e r a t i o na m o n g a l li n d i v i d u a lp a r t i c i p a n t sw i t h o u ta ne f f e c t i v ei n c e n t i v em e c h a n i s m a s ac o l l a b o r a t i v ep 2 pf i l ed i s t r i b u t i o nt o o l ，b i t t o r r e n ti n e v i t a b l yc o n f r o n t st h ep r o b l e mo ff r e e - r i d i n g ，s ob i t t o r r e n tb u i l ti n c e n t i v em e c h a n i s m st or e d u c ef r e e - r i d i n ga n di n c r e a s eu s e r c o o p e r a t i o n h o w e v e lt h ec a p a b i l i t yo fb i t t o r r e n to np r e v e n t i n gf r e e r i d i n gi ss t i l ln o tf u l l y s t u d i e d t h i sd i s s e r t a t i o nd e v e l o p saf l u i dm o d e lw i t ht w od i f f e r e n tc l a s s e so f p e e r st oc a p t u r e t h ee f f e c to ff l e e r i d i n go nb i t t o r r e n t l i k es y s t e m s w i t ht h em o d e l ，w ef i n dt h a tb i t t o r r e n t s i n c e n t i v em e c h a n i s mi ss u c c e s s f u lt op r e v e n tf r e e r i d i n gi nas y s t e mw i t h o u ts e e d s ，b u tm a y n o ts u c c e e di np r o d u c i n gad i s i n c e n t i v ef o rf r e e - t i d i n gi nas y s t e mw i t hah i g hn u m b e ro f s e e d s t h er e a s o ni st h a tb i t t o r r e n td o e sn o tp r o v i d ea ne f f e c t i v em e c h a n i s mf o rs e e d st o g u a r da g a i n s tf r e e - r i d i n g t h e r e f o r e ，as e e db a n d w i d t h a l l o c a t i o ns t r a t e g yb a s e ds t r i c t l yo n c o n t r i b u t i o no fp e e r si sp r o p o s e d s i m u l a t i o nr e s u l t sv a l i d a t eo u ra n a l y s i s ，a n ds h o wt h a t t h i sa l l o c a t i o ns t r a t e g yn o to n l yp e n a l i z e sf r e e r i d i n gb u ta l s oi m p r o v e st h ep e r f o r m a n c eo f c o n t r i b u t o r se f f e c t i v e l y ( 3 ) r e s e a r c ho no v e r l a yt o p o l o g yo fb i t t o r r e n t - l i k ep 2 p f i l es h a r i n gs y s t e m s ：ah i e r - a r c h i c a la r c h i t e c t u r e ，c a l l e dc b t ( c l u s t e r e db i t t o r r e n t ) s y s t e m ，i sp r e s e n t e di nt h i sd i s s e r t a - t i o n ，w h i c hg r o u p sp e e r si n t oc l u s t e r sa c c o r d i n g t ot h e i rp r o x i m i t yi nt h eu n d e r l y i n go v e r l a y n e t w o r k t h ep e e rj o i n i n ga l g o r i t h ma n ds u p e r - p e e rs e l e c t i o na l g o r i t h mi sp r o p o s e dt ob u i l d s u c hac b t s y s t e m i nal a r g e s c a l eb i t t o r r e n t - l i k ep 2 pf i l es h a r i n gs y s t e m t h et r a c ks e r v e rc o u l db eo v e r - l o a d e dt ou p d a t et h es t a t ei n f o r m a t i o no fc o n s t a n t l ya r r i v i n ga n dl e a v i n gp e e r s m o r e o v e r , t h er a n d o mc o n n e c t i o n sa m o n gp e e r si nt h eo v e r l a yn e t w o r km a k ei tp o s s i b l ef o ru n f a v o r a b l y d i s t a n tp e e r st oc o n n e c t , r e s u l t i n gi nal o n gd e l a yo ff i l et r a n s m i s s i o na n dd e b a s i n gt h en e t - w o r kb a n d w i d t hu s a g e i nt h i sd i s s e r t a t i o n ，ac b t ( c l u s t e r e db i t t o r r e n t ) s y s t e mi s 一一 英文摘要 t oi m p r o v et h ef i l es h a r i n gp e r f o r m a n c eo fb i t t o r r e n ts y s t e m s ，i nw h i c h p e e r sa leg r o u p e d i n t oc l u s t e r sa c c o r d i n gt ot h e i ru n d e r l y i n gp r o x i m i t y , a n dp e e r sp r i 嘶t ye x c h a n g ef i l ew i t h p e e r si nt h es a m ec l u s t e r t ob u i l ds u c hac b ts y s t e m ，w ep r e s e n tt w oa l g o r i t h m s ：t h ep e e r j o i n i n ga l g o r i t h ma n ds u p e r - p e e rs e l e c t i o na l g o r i t h m af l u i dm o d e li sd e v e l o p e dt oc o m p a r e t h ep e r f o r m a n c eo ft h ep r o p o s e dc b t s y s t e mw i t ha no r i g i n a lb i t t o r r e n ts y s t e m w i t ht h i s m o d e l ，w ef i n dt h a tc b ts y s t e mq u i t ee f f e c t i v e l yi m p r o v e st h ep e r f o r m a n c eo ft h es y s t e m s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tc b t s y s t e ma c h i e v e sb e t t e rs c a l a b i l i t ya n de f f i c i e n c y w h i l er e t a i n i n gt h er o b u s t n e s sa n di n c e n t i v e so ft h eo r i g i n a lb i t t o r r e n tp a r a d i g m k e yw o r d s ：p e e r - t o - p e e r , b i t t o r r e n t 。f i l ed i s t r i b u t i o n ，s e r v i c ec a p a c i t y , f l u i dm o d e l ， i n c e n t i v em e c h a n i s m ，f r e e r i d i n g ，c l u s t e r e d , p r o x i m i t y a w a l 一v 一 上海交通大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何他个人或集体 已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本文完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 上海交通大学学位论文版权使用授权书 本学位论文作者完全了解上海交通大学有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 ( 保密的论文在解密后应遵守此规定) 学位论文作者签名：镳吧 日期：啦年丘月豆日 指导教师签名 日期：地立年月toe t 第一章绪论 1 。1 对等网络概述 近年来，对等网络( p e e r - t o 一心p r ，简称p 2 p ) 迅速成为计算机界关注的焦点，并 被看作影响因特网( i n t e r n e d 未来的重要科技之一。目前p 2 p 技术在文件共享、分 布式计算、基于i n t e m e t 通信等多个领域中的应用已经取得了很大的成功。p 2 p 应用系 统由于方便、快捷和开销少的特点受到了数以千万网络用户的欢迎。根据几大网络 运营商统计，p 2 p 应用占据了i n t e r n e t 整个流量的5 0 。而p 2 p 应用提供的及时通讯技 术也在逐步取代传统的通讯服务，从而引发了电信服务商、电信设备商和网络营运 商的新一轮的业务整合 p 2 p 技术不但在产业界迅速发展，在学术界也同样受到科研工作者的高度关 注。p 2 p 技术的研究工作已经在全球很多知名科研机构中迅速展开1 1 1 2 0 0 0 年起， 在s i g c o m m 、胂o c o m 、i c d c s 、i p d p s 、u s e n i x 和h a t o s 等系统结构和分布 式计算方向的国际顶级学术会议上不断出现关于p 2 p 技术的重要研究成果。并且学术 界专门举办了针对p 2 p 技术的学术会议i p t p s ，其已经成为影响p 2 p 技术研究方向的 风向标。 p 2 p 技术揭开了i n t e m e t 发展的新时代的序幕，为i n t e r n e t 带来新的生命，是构 建智能化、个性化的i n t e r n e t 的开端因此，研究p 2 p 技术、构造p 2 p 应用、以及提 升p 2 p 系统的性能，已经成为网络技术研究的一个重要课题。 1 1 1 对等网络技术背景 计算机的处理能力的增强和价格的降低使得计算机得以广泛普及。然而，计算 机的使用效率极低，如何有效利用这些计算资源成为了一个热点问题。利用快速发 展的网络技术将各种计算资源整合到一起，从而实现高性能的分布计算和资源的高 效利用，自然而然地成为研究者们关注的问题。伴随着计算机性能及其网络速度的 快速增长，p 2 p 应用作为新型的大规模分布式应用迅速发展起来，并很快取代w e b 成 为i n t e m e t 上占用带宽最多的应用系统。 p 2 p 起源于最初的联网通信方式，如在建筑物内p c 通过局域网互联，不同建筑 物间通过m 0 d e m 远程拨号互联。其中建立在t c p i p 协议之上的通信模式构成了今日 互联网的基础，所以从基础技术角度看，p 2 p 不是新技术，而是新的应用技术模式。 l 上海交通大学博j t 学位论文 现在互联网是以服务器( s e r v e r ) ，客户机( c l i e n t ) 结构的应用模式为主的，这 样的应用必须在网络内设置一个服务器，信息通过服务器才可以传递。信息或是先 集中上传到服务器保存，然后再分别下载( 如网站) ，或是信息按服务器上专有规则 ( 软件) 处理后才可在网络上传递流动( 如邮件) 。但是如果利用p 2 p 系统软件，普通 的个人电脑就可以不通过服务器直接与另一个拥有同样的p 2 p 系统软件的个人电脑形 成互联，双方共享资源，协同完成某种行动。而拥有同一p 2 p 软件的设备和用户，可 以形成一个为其自己所有的在互联网上的p 2 p 专用网。 互联网的服务器客户机模式要在互联网上设置拥有强大处理能力和大带宽的高 性能计算机，配合高档的服务器软件，再将大量的数据集中存放在上面，并且要安 装多样化的服务软件，在集中处理数据的同时可以对互联网上其它个人电脑进行服 务，提供或接收数据，提供处理能力及其它应用。对于一台与服务器联机并接受服 务的个人电脑来说，这台个人电脑就是客户机，其性能可以相对弱小。这类网络应 用模型有着一个明显的缺点就是：随着服务的客户数目的增多，服务端所需要占用 的资源也随之增加，显而易见最终制约了客户机数目的增长。 而p 2 p 技术的特征就是弱化了服务器的作用，甚至取消服务器。它的核心思想 是，所有参与系统的结点处于完全对等的地位，没有客户机和服务器之分，也可以 说每个结点既是客户机，也是服务器；既向别人提供服务，也享受来自别人的服 务。p 2 r t i 算带来的好处首先是经济性：不需要功能强大的服务器进行集中的运算， 而是把闲置的运算能力加以利用；另一个好处就是社区性：可以组建一个专门的环 境，在这个环境内不仅可以共享资源、共同合作，而且安全性好、效率高。 服务器，客户机模式造成互联网络上的集中，无论信息资源还是成本资源均向同 一方向集中，这样的模式符合一对多、强对弱的社会关系形式，如政府对个人、对 企业，大企业对小企业，学校对学生，企业对职工等等关系。而p 2 p 方式将导致信息 数量、成本资源都向互联网各点均匀分布，也就是所谓“边缘化”的趋势。此模式 符合“一对一 的特点，以及彼此相当的社会关系形式，如个人对个人，规模相当 的企业之间，等等。因此，两种方式是并存的，相互补充的。 事实上，p 2 p 技术作为新的计算模式和新的网络应用，反映着人类社会的组织形 式：人人贡献出自己的资源、人人享受他人提供的资源；是人类集体行为在现阶段 技术条件下，在信息技术领域的自然折射，必将长期存在，并随着计算机处理能力 和网络能力的进一步提高而演化和发展。 一2 一 第一章绪论 1 1 2 对等网络定义及特点 目前，在学术界、工业界对于p 2 p 并没有一个统一的定义，以下是近年来很多研 究者对p 2 p 技术的基本内涵进行的概括： 一类利用位于i n t e r n e t 边缘的资源( 包括存储、计算周期、内容、人) 的应用 【l 】。它是p 2 p 系统最早的定义。 一个平等、自治的自组织网络，它的目标是在网络环境中避免中央服务器而 去平等地共享服务资源【2 】。 分散的、自组织的分式布系统，系统中的主要通信是对称的【3 】。 所有参与系统的结点( 指i n t e r n e t 上的计算机) 处于完全对等的地位，没有客 户机和服务器之分，也可以说每个结点既是客户机，也是服务器；既向别人提供服 务，也享受来自别人的服务【4 】。 虽然上述定义稍有不同，但共同点都是p 2 p 可以充分利用边缘结点资源，形成一 个自组织网络。在网络中的每个结点的地位都是对等的。每个结点既充当服务器， 为其它结点提供服务，同时也享用其它结点提供的服务。p 2 p 技术的特点体现在以下 几个方面： 非中心化：网络中的资源和服务分散在所有结点上，信息的传输和服务的实现 都直接在结点之间进行，无需服务器的介入，避免了可能的瓶颈。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整 体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需要。网络可以 本能地适应需求，理论上可以实现无限的系统可扩展性。 健壮性：p 2 p 网络通常都是以自组织的方式建立起来的，并允许结点自由地加入 和离开。由于服务是分散在各个结点之间进行的，p 2 p 架构天生具有耐攻击、高容错 的优点。部分结点或网络遭到破坏对其它部分的影响很小。 高性价比：采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点，将计 算任务或存储资料分布到所有结点上利用其中闲置的计算能力或存储空间，达到 高性能计算和海量存储的目的。通过利用网络中的大量空闲资源，可以用更低的成 本提供更高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各结点之间进行，用户的隐私 信息被窃听和泄漏的可能性大大缩小。此外，在p 2 p 中，所有参与者都可以提供中继 一3 一 上海交通大学博士学位论文 转发的功能，因而大大提高了匿名通讯的灵活性和可靠性，能够为用户提供更好的 隐私保护。 负载均衡：p 2 p 系统可以根据策略灵活分布信息。一方面，p 2 p 系统的分配算法 多能将负载平均分配到结点：另一方面，p 2 p 系统的负载均衡模块可以监控各种信息 的流量和请求率，然后在结点之间利用负载迁移算法转移负载。 信息内容更丰富：各个网络参与者都可能是信息提供者，随着网络规模扩大， 信息必将越来越丰富。当网络增长的时候，共享信息的数量和范围都将随之增长。 在一个开放网络环境下，p 2 p 网络能够很快积累相当丰富的信息。 1 1 3 对等网络的应用领域 由于p 2 p 技术具有无可比拟的优势，因此p 2 p 技术具有广阔的应用前景。近年 来，随着p 2 p 技术研究的深入和业界的实践，p 2 n r 算技术正不断应用到军事领域、 商业领域、政府信息、通讯等领域。目前，对等网络主要应用领域包括： 1 信息资源共享：信息资源共享一直是网络技术发展的重要推动力，也是p 2 p 技术最典型的应用。以往，信息资源共享主要通过w e b 技术实现。在以w e b 的方式 共享信息资源时，w e b 服务器需要对大量用户的访问提供有效的服务。w e b 服务器 经常成为这类系统的性能瓶颈。而通过p 2 p 技术可以成功解决w e b 服务器的瓶颈问 题。基于p 2 p 技术的文件共享系统将共享信息文件存储在客户机结点上，用户之间可 以直接共享和传输文件而不需要通过中央服务器，从而提高了系统的可扩展性，例 如n a p s t e r 5 、g n u t e l l a 6 和k a z a a 7 等。此外，基于p 2 p 技术的信息资源共享系统还 可以充分利用参与结点的带宽，通过结点之间互相传递数据，在系统中分发大的信 息资源文件，减轻数据源点的压力，例如b i t t o r r e n t 8 、e d o n k e y e m u l e 9 等。 2 广域网分布式存储共享：分布式存储系统一直是分布式系统的一个重要应 用领域，传统的分布式文件系统、分布式对象存储系统、分布式数据库系统都有着 良好的研究基础。p 2 p 技术出现后，人们试图把这些分布式存储系统向更大范围拓 展，提出了在广域网中构建的分布式文件系统、对象存储系统和数据库系统，例 如o c e a n s t o r e 1 0 、f a r s i t e 1 1 、c f s 1 2 ，1 3 1 等项目和清华大学开发的基于p 2 p 技术的 分布式存储系统g r a n a r y 1 4 - - 1 6 。 3 视频组播：视频组播对带宽要求很高，因此传统基于服务器，客户机模式的视 频组播系统往往由于服务器出口带宽的限制而导致系统的可扩展性差。在基于p 2 p 结 构的视频组播系统中，只有少数结点从服务器直接获取数据，更多的结点一方面从 一4 一 第一章绪论 其它结点处获得数据，一方面也向其它结点提供数据。整个系统的体系结构为树状 结构或者网状结构。以p 2 p 方式构建的视频组播系统充分利用了结点之间的可用带 宽，使得系统的可扩展性大为提高。例如华中科技大学基于p 2 p 技术开发的视频直播 系统a n y s e e 1 7 ，1 8 ，在2 0 0 4 年奥运会期间向教育网进行t 2 0 x 2 4 d 、时的直播服务， 共有1 0 万人次使用。 4 协同处理与服务共享平台：协同工作是指多个用户之间利用网络中的协 同计算平台互相协同来共同完成计算任务。由于不依赖于中央服务器，基于p 2 p 的协同工作技术有更好的鲁棒性和可扩展性。例如基于i n t e m e t 的p 2 p 协同应用软 件g r o o v e 1 9 ，其用户可以直接进行实时的协同工作。n e t 技术是微软公司提出的 一个基于i n t e m e t 的操作系统，该技术是围绕着以s o a px m l 通信