（计算机系统结构专业论文）基于p2p的网络存储系统的研究与实现.pdf

摘要 摘要 随着计算机技术和网络技术的飞速发展，i n t e r n e t 上汇集了成千上万的各类资源：文件资源、计算 资源、存储资源等等。p 2 p 技术是一种能够充分整合与利用这些资源的利器。考察当前p 2 p 技术的研究 和应用现状，我们发现以p 2 p 的方式组织和管理互联网上海量存储资源的应用系统，仍处于实验研究 阶段。 现有的p 2 p 存储系统大多基于这样的思路：即先提出一种p 2 p 路由算法，然后在此算法的基础上 实现一个存储系统，借以验证路由算法的相关参数、运行性能等相关方面的问题。经过分析比较，可以 发现这些系统缺乏一个基本的功能，即缺乏一种明确的存储资源管理机制，冈而造成了存储系统在处理 数据过程中，或者带有较大的盲目性，或者带有较大的被动性，从而导致网络资源和计算资源的浪费或 者使得戍用系统不够欠活。 针对上述不足，本文着重研究基于p 2 p 的网络存储技术： 首先，我们认为在p 2 p 存储系统中存储资源具有两个不可缺少的属性：容量和位置。本文的存储 资源管理算法紧紧围绕这两个属性而展开。其中，容量是指共享的存储资源的容量，又可进一步细分为 标称容量( 共享的总容量) 和可用容量；位置是指共享存储资源的位置，又可进一步细分为共享存储资 源所属的节点( 用节点标识符n o d e i d 代表) 及其在所属= 仃点上的目录( 用共享标识符s s i d 代表) 。 在此基础- ：，本文提出一种p 2 p 环境下管理共享存储资源的基本思路，也即只集中管理最r 仃用的 共享存储资源的信息，具体来说，就是共享存储资源的可用容量，共享存储资源所属节点的标识符，共 享存储资源位于所属节点上的目录的标识符，而其它的信息则依据p 2 p 的方式进行分散管理。 根据上述基本思路，本文提出了一种在p 2 p 环境下比较完整的存储资源管理算法：基于d h t 的存 储资源管理算法。围绕这个算法，本文定义了一种消息格式以及一系列的消息类型和对应的消息内容， 设计了相应的数据结构，然后定义了p 2 p 环境下共享存储资源的状态，进而给出了在消息作用下的存 储资源状态变迁图，从而引出了本文的存储资源管理算法，包括：存储资源共享子算法、已共享存储资 源更新子算法、存储资源中请子算法、已共享存储资源回收子算法和存储资源垃圾清理子算法。 之后，本文以存储资源管理算法为核心，设计并实现了一个基于p 2 p 的网络存储原型系统，包括 在对等节点上运行的c l i e n t 端，基于i o 完成端口的s r i s 端，二者又分别包含基本的网络通信模块、 消息组装模块、消息分类处理模块以及在基本网络通信模块基础上的点对点通信模块；为了验证存储资 源管理算法的有效性和可行性，本文实现了一个基本的数据管理模块，提供了最基本的数据存储和数据 访问功能，并模拟了三个场景，结合给出的时序图说明系统中类与类之间在消息的驱动下所产生的动态 协作关系：另外，我们还搭建了一个测试环境，对原型系统进行了功能测试，截取了若干系统运行时的 界面，并做了必要的说明。论文给出了整个原型系统完整的设计与实现方案。 最后，论文总结已有的工作，指出其中存在的不足，并对未来进一步的：l 二作提出相关的展望。可以 预见：随着存储技术的提高、高速网络的普及和存储压力的日益增大，p 2 p 存储系统将成为一个研究的 热点，成熟的p 2 p 存储系统将成为信息社会的基础设施之一。 关键字：对等网，容量，存储资源管理，分布式哈希表，完成端口 东南大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dn e t w o r kt e c h n o l o g y , i n t e m e th a sp o s s e s s e d a b u n d a n tc o l o r f u lr e s o u r c e s ，s u c ha sd a t ar e s o u r c e s ，c o m p u t i n gr e s o u r c e s ，s t o r a g er e s o u r c e s an dt h e np 2 p t e c h n o l o g yh a sb e c o m eap o w e r f u lt o o lt oi n t e g r a t ea n dt a k eu s eo f t h o s er e s o u r c e s a f t e ri n v e s t i g a t i n gt h e c u r r e n tp 2 pa p p l i c a t i o n s ，w ef o u n dt h a tm a k i n gu s eo ft h ed i s ks t o r a g er e s o u r c e sh i d i n gi nt h ei n t e r n e tb yt h e m e a n so fp 2 ps t i l ls t a y si nt h es t a g eo fr e s e a r c h i n ga n de x p e r i m e n t m o s to ft h ec u r r e n tp 2 ps t o r a g es y s t e m sh a v et h es a m ed e s i g n i n gp a t t e r na sf o l l o w s ：ap 2 pr o u t i n g a l g o r i t h mi sp r o p o s e df i r s t l y , a n dt h e nas t o r a g es y s t e mi si m p l e m e n t e db a s e do nt h i sa l g o r i t h m ，i no r d e rt o v e r i r yt h ep r o b l e m sa b o u tt h er e l a t e dp a r a m e t e r sa n dr u n n i n gp e r f o r m a n c e a f t e ra n a l y z i n ga n dc o m p a r i n g ，w e c o u l df i n dt h a ta l lt h es y s t e m sa b o v el a c kab a s i cf u n c t i o nw h i c hi so n ek i n do fd e f i n i t es t o r a g em a n a g e m e n t c o n s t i t u t i o n t h i sl a c kr e s u l t st of r e q u e n to c c u r r e n c e so ft h ea i m l e s s n e s so rp a s s i v e n e s sd u r i n gt h ed a t a r e s o u r c e sp r o c e s s i n g ，a n dt h e nl e a d st ot h ec o s to ft h en e t w o r kr e s o u r c ea n dc o m p u t i n gp o w e ro rl e a d st ot h e l a c ko ff l e x i b i l i t yo ft h ea p p l i c a t i o ns y s t e m t oc o n q u e rt h ep r o b l e ma b o v e ，w ef o c u s e do nt h ep 2 p - b a s e dn e t w o r ks t o r a g er e s o u r c em a n a g e m e n t t e c h n o l o g y ： f i r s t l y , w ep o i n to u tt h a tt h e r ea r et w of u n d a m e n t a la t t r i b u t e so fs t o r a g er e s o u r c ei np 2 pe n v i r o n m e n t w h i c ha r ec a p a c i t ya n dl o c a t i o n 1 1 1 es t o r a g er e s o u r c em a n a g e m e n ta l g o r i t h mi nt h i st h e s i si sd e v e l o p e da r o u n d t h e s et w oa t t r i b u t e s a sw et a l ka b o u tc a p a c i t y , w er e f e ri ta st h ec a p a c i t yo fs h a r e ds t o r a g er e s o u r c e ，w h i c hc a n b ed i v i d e df u r t h e ri n t ot o t a ls h a r e dc a p a c i t ya n df r e es h a r e dc a p a c i t y ；w h i l et h el o c a t i o n ，w er e f e ri ta st h e l o c a t i o no fs h a r e ds t o r a g er e s o u r c e ，w h i c hc a nb ed i v i d e df u r t h e ri n t ot h en o d eo w n i n gt h er e s o u r c ea n dt h e p a t h n a m ea tw i t c ht h er e s o u r c er e s i d e so nt h en o d e o nt h eb a s ea b o v e ，w ei n t r o d u c eab a s i ci d e ao nm a n a g i n gt h es t o r a g er e s o u r c ei np 2 pe n v i r o n m e n t ，t h e c o r ep o i n to ft h i si d e ai sa sf o l l o w s ：o n l ym a n a g i n gt h em o s t l yu s e f u li n f o r m a t i o na b o u ts h a r e ds t o r a g e r e s o u r c e s ，t h e ya r et h ef r e es h a r e dc a p a c i t y , t h en o d e - i do f t h eo w n i n gn o d ea n dt h es s - i do ft h ep a t h n a m eo n t h eo w n i n gn o d e ，a n dt h eo t h e ri n f o r m a t i o ni sm a n a g e dd i s t r i b u t e l yb yt h em e a n so fp 2 p a c c o r d i n gt ot h eb a s i ci d e aa b o v e ，w ec o n s t r u c tas t o r a g e r e s o u r c em a n a g e m e n ta l g o r i t h mb a s e do nd h t t oc o m p l e t et h i sa l g o r i t h m ，w ed e s i g n e do n ek i n do fm e s s a g ef o r m a t , d i f f e r e n tm e s s a g et y p e sa n dd i f f e r e n t m e s s a g ec o n t e n t sc o u n t e r p a r t , a n da l s od e s i g n e ds u i t a b l ed a t as t r u c t u r e s t h e nw ed e f i n et h es t a t eo f t h es h a r e d s t o r a g er e s o u r c ei np 2 pe n v i r o n m e n t , a n dt h es t a t et r a s i t i o ni sp r o p o s e dw i t ht h em e s s a g e s e f f e c t i o n ，a sa r e s u l t , w ei n t r o d u c et h es t o r a g em a n a g e m e n ta l g o r i t h m ，w h i c hi n c l u d e ss o m es u ba l g o r i t h m sa sf o l l o w s ： s h a r e ds t o r a g er e s o u r c ep u b l i s h i n g ，s h a r e ds t o r a g er e s o u r c eu p d a t i n g , s t o r a g er e s o u r c er e q u e s t i n g ，s h a r e d s t o r a g er e s o u r c er e c l a i m i n g ，g a r b a g es t o r a g er e s o u r c ec l e a n i n g t h e n w ed e s i g na n di m p l e m e n tap 2 p - b a s e dn e t w o r ks t o r a g ep r o t o t y p es y s t e m i nt h ep r o t o t y p e d e s i g n i n g ，w et a k et h es t o r a g er e s o u r c em a n a g e m e n ta l g o r i t h ma sk e r n e l ，w ed e s i g n e dc l i e n t , s r i s ，b a s i c n e t w o r kc o m m u n i c a t i n gm o d u l e ， m e s s a g ea s s e m b l i n gm o d u l e ，m e s s a g ep r o c e s s i n gm o d u l ea n d p 2 p c o m m u n i c a t i n gm o d u l e ，w ea l s op r o v i d es i m p l ed a t as t o r ea n dd a t aa c c e s sf u n c t i o n st ov e r i f yt h ee f f e c t i v e n e s s a n df e a s i b i l i t yo ft h ea l g o r i t h m ，t h e nw ec o n s t r u c tat e s t i n ge n v i r o n m e n tt od of u n c t i o nt e s t i n g 1 1 1 et h e s i s p r o p o s e st h eo v e r a l ld e s i g na n di m p l e m e n t a t i o ns o l u t i o n f i n a l l y , t h ec o n c l u s i o na n df u t u r ew o r ka r ed i s c u s s e db a s e do nt h ea b o v ew o r k w eg a l l p r e d i c a t et h a t , a s t h ei m p r o v e m e n to fs t o r a g et e c h n o l o g y , t h ep o p u l a t i o no fh i g hs p e e db r o a d b a n da n dt h ei n c r e a s i n go fs t o r a g e p r e s s u r e ，n e t w o r ks t o r a g es y s t e mb a s e do np 2 pw i l lb e c o m eah o tr e s e a r c h i n gf i e l d ，i fs u c c e e d i n g , i tw i l l b e c o m eo d ef u n d a m e n t a li n f r a s t r u c t u r eo ft h ei n f o r m a t i o nw o r l d k e y w o r d s ：p 2 p , c a p a c i t y , s t o r a g er e s o u r c em a n a g e m e n t , d i s t r i b u t e dh a s ht a b l e ，i oc o m p l e t i o np o r t s i i - 图目录 图目录 图2 1 集中式p 2 p 网络模式示意图3 图2 - 2 分布式p 2 p 网络模式示意图4 图2 3 混合式p 2 p 网络模式示意图一4 图3 1p a s t r yi 仃点数据结构示意图8 图4 1 传统的p 2 p 存储系统体系结构1 0 图4 2 改进的p 2 p 存储系统体系结构1 0 图4 3 对等节点结构示意幽1o 图4 4 系统：1 ，点之问以及各个模块之间的关系示意图1 1 图4 5 消息格式示意图1 1 图4 - 6 系统硬件环境示意图15 图5 1m o n i t o r 结构示意图1 7 图5 2l o c a t o r 结构示意图17 图5 3s r i s 箭理存储资源的链表示意图1 7 图5 4d i r e c t o r 结构示意图1 8 图5 5c l i e n t 管理存储资源的链表示意图1 8 图5 - 6 存储资源状态变迁图1 9 图5 7s h a r e r 结构体一2 0 图5 8l o c a t o r 结构体2 0 图5 9m o n i t o r 类部分定义2 0 图5 1 0d i r e c t o r y 类部分定义一2 0 图5 1 1i n d e x e r 类部分定义2 0 图5 1 2 基本算法：f i n d d i r e c t o r 2 0 图5 1 3 基本算法：f i n d m o n i t o r 2 1 图5 1 4 基本算法：f i n d l o c a t o r 2 1 图5 1 5 存储资源共享子算法之c l i e n t 端流程示意图2 2 图5 1 6 存储资源共享子算法之s r i s 端流程示意图2 2 图5 1 7 存储资源更新子算法之c l i e n t 端流程示意图2 3 图5 1 8 存储资源更新子算法之s r i s 端流程示意图2 3 图5 1 9 存储资源请求子算法之c l i e n t 流程示意图一2 5 图5 2 0 存储资源请求子算法之s r i s 端流程示意图2 5 图5 2 l 存储资源请求子算法之查找算法伪代码一2 6 图5 2 2 存储资源同收子算法之c l i e n t 端流程示意图。2 7 图5 2 3 存储资源回收子算法之s r i s 端流程示意图2 7 图5 2 4 垃圾清理子算法g a r b a g e c l e a n e r 伪代码。2 8 图6 1r i v e r 系统底层业务逻辑类结构设计图2 9 图6 2r i v e r 系统用户界面类结构设计示意图3 l 图6 3f i l e l n d e x e r n o d e 结构体3 3 图6 _ 4c p e e r s e r v e r 类结构设计图3 3 图6 5m s g c a r d 结构体一3 3 图6 - 6m s g h e a d e r 结构体一3 3 图6 7m s g c o n t e n t 结构体3 3 图6 8m a g c a r d 链表。3 3 图6 - 9 消息组装算法流程图3 4 东南大学硕士学位论文 图6 1 0 存储资源共享时序图3 6 图6 1 l 文件存储第一阶段：存储资源请求时序图3 7 图6 1 2 文件存储第二阶段：文件传输时序图3 8 图6 1 3 文件存储第三二阶段：已存储文件位置报告时序图3 8 图6 1 4 文件存储第四阶段：存储资源更新时序图3 9 图6 。1 5 文什读收第一阶段：文件位置请求时序图4 0 图6 。1 6 文件读驭第二阶段：文件传输时序图4 l 图7 1 基于p 2 p 的网络存储原型系统示意图4 2 图7 2 用户l n 加入p 2 p 系统示意图4 3 图7 - 3b o o t s t r a p 节点运行示意图4 3 图7 _ 4 用户h l l 共享存储管理界面示意图一4 4 图7 5h 】户l n 进行s r i s 概况浏览示意图4 4 图7 - 6 选择存储文件界面4 4 图7 7 用户几l 存储文件界面4 4 图7 8 用户j l l 文件存储完成界面4 5 图7 - 9 用户l n 上的s r i s 概况发生变化4 5 图7 10 保存已存储文件的相关信息界面一4 5 图7 11 选择要读取的文件界面4 6 图7 1 2 读取所选文件界面4 6 图7 1 3 在本地为所要读取的文件创建目录4 6 图7 一1 4 目录创建完成，是否读取数据界面4 6 图7 1 5 数据正在读取中的界面4 6 图7 1 6 完成文件读取界面一4 6 表目录 表目录 表4 1 系统结构中的各个层次与各个模块间的对应关系1 1 表4 2m d 4 算法的调月i 接口及其功能描述12 表4 3f r e e p a s t r y 主要的调用接口及其功能描述1 2 表5 一l 与存储资源管理相关的消息类型以及消息内容的定义1 6 表5 2 存储资源状态变迁及其所对应的消息和操作1 9 表6 1c i o c p s e r v e r 提供的三个网络事件虚函数。3 4 表6 2 与数据管理模块相关的消息类型以及消息类型的定义3 5 表7 1 测试环境下用户名、节点i p 地址以及：1 了点标识符( n o d e i d ) 对应关系4 2 表7 2 用户名、节点标识符( n o d e i d ) 和共享存储资源标识符( s s 1 d ) 4 3 表7 3 共享存储资源标识符( s s i d ) 、日录和共享存储资源容量4 3 v 东南大学学位论文独创性声明 本人声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特另, j ) j l l 以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献，均己在论文中作了明确的说明，并表 示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办 理。 魏遮名：越一逾壁丛 ，)厂 第1 章前言 1 1 论文研究的背景 第1 章前言 近年来，一种称为“对等系统”( p e e r - t o p e e rs y s t e m ，简称p 2 p 系统) 的新型人规模分布式系统迅 速发展起来，并很快取代w e b 成为i n t e m e t 上占用带宽最多的应用系统。同时，研究界也对p 2 p 系统抱 以浓厚的兴趣，各著名入学和研究机构纷纷对p 2 p 系统展开大力研究，在系统结构方向的各个顶级国 际会议和著名杂志上发表了大量针对p 2 p 系统的研究成果。同样，每年都有新的p 2 p 软件出现并迅速 流行，吸引成千上万用户的使用，对传统c s 结构的计算模式构成了强有力的挑战。 虽然对于“p 2 p 系统”这一概念尚朱形成统一的权威定义，但从已有的p 2 p 系统来看，至少以下两 点是所有p 2 p 系统共有的核心特点： ( 1 ) 从用户的使用方式来看，系统中每个用户既向其他用户提供资源，也从其他用户那里获取资 源。换言之，每个节点既是服务器( s e r v e r ) ，也是客户端( c l i e n t ) 。这里所说的“资源”可以是一份 文件、一块存储资源、一定量的带宽，也可以是一段时间内保证质量的c p u 使用权。总之，p 2 p 系统 的精神是：参与系统的所有。1 y 点互相合作、互利互惠。这与传统的一方提供服务，另一方享受服务的 c s 结构有着本质的不同。 ( 2 ) 从体系结构来看，系统采用无中心( d e c e n t r a l i z a t i o n ) 结构，没有中心节点负责一致性控制、 任务调度、决策仲裁等丁作，而是通过参与系统的节点之间充分合作来完成用户提交的任务。事实上， 很多p 2 p 系统的规模都非常火，往往有上百万个节点同时参与。在这种情况下，也很难有节点能够进 行全面的中心控制和全局管理。 除了以上两点之外，很多p 2 p 系统还具有动态性高、异构性强、分布广泛、节点之间不互信等特 点，这些都是传统的集群( c l u s t e r ) 或者局域网( l a n ) 范同内实现的分布式系统所不曾面临的问题， 也在很_ 人程度上增加了p 2 p 系统设计与实现的难度。 当前，主要的p 2 p 应用系统包括： ( 1 ) 文件共享系统。每个节点既共享自己的文件给他人，也从其它节点下载自己感兴趣的文件。 ( 2 ) 分布式存储系统。每个：j 了点既提供自己的存储资源给他人，也使用他人的存储资源存储数据， 以提高数据的可靠性、可用性和访问效率。 ( 3 ) 大文件分发及视频直播系统。每个节点既从其它节点处下载数据块或视频流，也提供上行带 宽供他人下载数据。 ( 4 ) 基于覆盖网( o v e r l a yn e t w o r k ，或简写为o v e r l a y ) 的i p 电话系统。每个节点既提供多条与 其它= 筒点连接的通路，也利用其它节点之间的通路，通过多跳转发的形式进行i p 通话。 其它的p 2 p 应用系统还包括：应用层多播系统、网页合作缓存服务、基于对等结构的搜索引擎、 新一代域名服务系统等等。总之，人们试图使用对等结构去解决很多传统问题，并在很多领域获得了成 功。 本文的研究对象是其中的p 2 p 存储系统，与传统的分布式存储系统相比，p 2 p 存储系统节点数更多、 存储空间更大、地理范围分布更广，但也面临很多更严峻的问题，例如：节点的可用性更差、节点的异 构性更强、网络的异步性更严重、拓扑结构的维护更难等等。从技术上讲，p 2 p 技术一般是都是基于成 熟的t c p i p 协议的，并且借鉴s e r v e r 应用中许多成熟的技术，但是更加复杂；难度越大，挑战性越大。 1 2 论文研究的目标 本文重点研究p 2 p 环境下存储资源的管理问题，即，探讨如何将散布于用户端的零碎的存储资源 1 东南大学硕士学位论文 组织起来，并提供使用。具体内容包括：存储资源的共享、已共享存储资源的更新、存储资源的申请、 已共享存储资源的回收以及存储资源垃圾清理。 其次，提出p 2 p 存储系统的体系结构，设计并实现一个基于p 2 p 的网络存储原型系统，以验证本 文提出的存储资源管理方案的有效性和可行性。主要内容包括：基本的网络通信模块、点对点通信模块、 消息组装解析模块、存储资源管理模块以及数据管理模块。 1 3 论文章节的安排 论文的章：1 了安排如下： 第l 章前言：介绍论文的研究背景、目标以及论文的章1 了安排。 第2 章p 2 p 系统概述：简要介绍p 2 p 系统的发展史，p 2 p 系统的优势以及 前流行的p 2 p 应用系 统。 第3 章p 2 p 存储系统相关研究：介绍p 2 p 存储系统的基本概念、介绍p 2 p 存储系统的两项主要工 作，以及典型的p 2 p 存储系统p a s t ，最后，分析当前p 2 p 存储系统所存在的问题并引出自己的观点。 第4 章p 2 p 存储系统的总体设计：提出改进的p 2 p 存储原型系统的体系结构、系统对等节点的总 体设计，描述系统：1 了点之间以及：1 了点内各模块之间的相互关系，定义用于系统通信的消息格式、介绍原 型系统中选j j 的哈希函数m d 4 ，介绍实现p a s t r y 算法的开源项目f r e e p a s t r y ，扼要描述存储资源管理的 基本思路，说明设计开发原型系统的软硬件环境。 第5 章p 2 p 存储系统存储资源管理算法研究：详细描述基于p 2 p 的网络存储系统的存储资源管理 算法，主要内容有：存储资源管理的基本概念、存储资源管理消息定义、存储资源管理数据结构、存储 资源状态变迁图和状态变迁所对应的消息类型与相关操作、具体的存储资源管理算法。 第6 章p 2 p 存储原型系统详细设计与实现：将原型系统的类设计分两类进行介绍：底层业务处理 类和用户界面类，然后详细介绍重要类的设计及实现，最后，模拟了三个场景，并结合给出的时序图说 明每个场景中，在消息的驱动下所产生的类与类之间的动态协作关系。 第7 章p 2 p 存储原型系统功能测试：搭建测试环境和并对系统功能进行测试，截取原型系统运行 过程中的若干界面图，并做出必要的说明，以期对原型系统获得比较直观和完整的认识。 第8 章论文总结与展望：对论文进行了总结性的叙述，总结论文工作中重点研究的内容，有待改 进的问题、以及进一步研究的方面。 最后是致谢、参考文献和论文发表情况。 2 第2 章p 2 p 系统概述 2 1p 2 p 系统发展简史 第2 章p 2 p 系统概述 1 9 9 9 年诞生的文件共享系统n a p s t e r 1 1 是最早的p 2 p 实用系统，参与系统的是大量的个人计算机用 户，每个h 户将自己愿意共享的文件提供 来，同时可以下载其他用户共享的文件。n a p s t e r 需要解决 的核心问题是：必须知道哪些机器上有哪些文件，以便用户提出文件搜索请求时可以得到正确的匹配结 果。n a p s t e r 使用了一个固定的中心服务器，存放所有共享文件的元数据信息( 文件名和二些简单的描 述信息) 以及其存放节点的i p 地址和端口号。节点加入系统时，首先要连接中心服务器并报告自身地 址及共享的文件列表。用户需要某个文件时，向中心服务器提交搜索请求，中心服务器返回符合条件的 文件的存储地址，之后，用户根据对应的地址进行文件下载。由于中心服务器只提供文件索引服务，而 不承担文件存储和下载任务，因此n a p s t e r 系统可以支持上万节点同时在线。n a p s t e r 在发布之后迅速流 行，很快成为增长最快的网络应用系统【2 】。 图2 - 1 集中式p 2 p 网络模式示意图 - - - - - - - - - - - - - - - - - - - - q u e r y r e s p o n s e 一- 一- 一- - - - - - - r e s o u r c ed o w n l o a d 其实，n a p s t e r 中的节点并非全部对等，中心服务器要承担比其它节点繁重得多的工作，这就是所 谓的集中式p 2 p 网络模式( 见图2 1 ) 。由于n a p s t e r 中的节点动态性很高( 节点的加入、退出很频繁) ， 中心服务器就处在不断更新之中，并且，中心服务器还要负责响应所有用户的查询请求，因此，当系统 规模更大时，中心服务器还是会成为系统的瓶颈。此外，中心服务器成为系统的关键点，也就成为整个 系统最容易受攻击的要害所在。n a p s t e r 之后的p 2 p 系统都在这一点上进行了重点改进，系统基本上都 采用无中心结构，可靠性和可扩展性都得到大幅度提高。 n a p s m r 在初期取得了巨大的成功之后，很快遇到版权问题的困扰。由于n a p s t e r 中共享的文件有很 多是音乐媒体文件，这些媒体在未被授权时是不允许被广泛传播的。而n a p s t e r 恰恰为这些文件的传播 提供了支持，因此，n a p s 钯r 很快就受到音乐著作方为保护版权而发起的挑战，最终，于2 0 0 1 年被迫关 闭。 n a p s t e r 第一次验证了p 2 p 思想在广域网范围内的可行性，n a p s t e r 被关闭了，更多的p 2 p 文件共享 系统却大量涌现，成为i n t e m e t 发展的一股巨大浪潮，其中，最著名的是g n u t e l l a t 3 】。 g n u t e l l a 对n a p s t e r 的体系结构进行了彻底地改变，不再使用中心服务器，转而使用全对等结构： 国 奎童盔堂塑耋堂壁堡苎 每个节点记录多个其它节点的p 地址和端口号( 称为“指针”) ，这样，整个系统的拓扑就成为一个由 指针搭建起来的有向图，通常称之为甜覆盖网”( o v e r l a y ) ，由于g n u t e l l a 的覆盖网中没有规定哪些节 点之间必须有指针相连，因此，整个覆盖网没有一个有序的结构( 比如环形、立方体、层次结构、树形 结构、有向无环图等等) ，因之被称作“非结构化覆盖网”( u n s t r u c t u r e do v e r l a y ) 。 - - - - - - - - - - - - q u e r y r e s p o n s e 一，一- - - - - r e s o u r c ed o w n l o a d 图2 - 2 分布式p 2 p 网络模式示意图 这就是所谓的分布式p 2 p 网络模式( 见图2 - 2 ) 。节点度数通常服从幂规律( p o w e r - l a w ) 4 1 1 5 1 ，从 而能够较快地发现目标节点，面对网络的动态变化体现了较好的容错能力。当需要进行文件搜索时，就 在覆盖网上进行广度优先或者深度优先搜索，在搜索到一定的范围后，将得到的结果返回给用户。 后来，人们在使用n a p s t e r 和g n u t e l l a 的实际经验中发现：系统中节点的差异性很大，有些节点能 力很强并且很稳定( 在线时间长) ，而更多的节点能力比较弱，且加入系统后很快又离开系统( 不稳定) 。 这就启发人们对g t m t e l l a 进行改进，从而产生了硷正姒嘲：磁函波利用强节点搭成系统的主干框架， 而弱节点附属在临近的强节点上。换言之，磁蹦把节点分成强、弱两种，强节点之间搭建类似于 g n u t e l l a 的覆盖网，而弱节点只连接一个或几个强节点，文件搜索只在强节点上进行。这些特殊的强节 点通常称为超级节点( s u p e rn o d e ) 。超级节点管理范围内的节点形成一个自治的簇。 图2 - 3 混合式p 2 p 网络模式示意图 q u e r y r e s p o n s e r e s o u r c ed o w n l o a d s u p e rn o d e 这就是所谓的混合式f 2 p 网络模式( 见图2 3 ) ，这种网络模式结合了集中式p 2 p 网络模式和分布 式p 2 p 网络模式各自的特点。因此，正姒获得了比g u n t e l l a 更高的稳定性和搜索效率。当前，k a z a a 的同时在线用户稳定在3 万以上，已成为全球最大的分布式系统。 由于p 2 p 文件共享系统的版权问题逐步得到解决，n a p s t e r 在关闭之后被音乐软件生产商r o x i o 公 司收购，从而成为合法软件的发布渠道。后来，由于业绩看好，r o x i o 公司更名为n a p s t e r ，并与2 0 0 j 5 年1 月上市，当前，n a p s t c r 的全球注册用户已超过7 0 0 0 万。 p 2 p 文件共享系统的成功促使人们致力于在更多的方面部署p 2 p 应用系统。其中大文件分发系统 b i t t o r r e n t z ：7 1 和基于覆盖网的i p 电话系统s b p d 珂最为成功。 p 2 p 系统在产业界迅速发展的同时，研究界也及时跟进，对p 2 p 系统展开了大规模的研究工作。自 第2 章p 2 p 系统概述 2 0 0 0 年起，在o s d i 、s o s p 、s i g c o m m 、u s e n i x 、h o t o s 等系统结构方向的顶级会议上不断出现 关于p 2 p 系统的重要研究成果。2 0 0 1 年，学术界又召开了新的专门针对p 2 p 系统的学术会议i p t p