（计算机应用技术专业论文）基于改进gnutella模型的p2p文件共享系统的研究与实现.pdf

摘要 p f - c 0 p c e r ( 简称p 2 p ) 是一种很有发展潜力的网络技术，在对等计算、协同工作、搜索引 擎、文件交换等领域相比传统的c 播模式有着不可比拟的优势。g n u t e h a 是一种p 2 p 的网络通信 协议，基于g n u t e l l a 通信协议的网络叫做g n u t e h a 网络。近年来g n u t e u a 网络发展非常迅速。但 是c m u t e n a 网络致命的低可扩展性限制了c m u t c h a 的进一步发展。 在g n u t c h a 模型中，由于指数级增加的冗余消息占用了大量的网络带宽，洪泛式搜索算法的 采用是造成低可扩展性的主要原因，因此，搜索机制是改进g n u t c h a 模型的关键所在。本文提出 的改进模型b g n 噼a 主要从两个方面对c m u t e h a 进行了改进：一是利用g 口t c a 网络拓扑的“幂 规律”特性，结合反馈机制和节点缓存思想，提出了基于反馈机制的聚集度优先搜索算法，该算 法能显著地减少网络中的查询消息数量，并且能利用成功搜索的历史记录有效地指导后续查询。 二是为了防止高聚集度节点过载，设计了网络拓扑动态适应协议，一定程度上起到了流控制的作 用，促进了节点负载的平街。对e - g n u 埘h 模型搜索算法的仿真实验表明，相比g n u t e h a 模型， 改进后的模型搜索成功率与c m u t c h a 模型的相差无几，但是搜索成功造成的冗余消息的数量有了 极大的减少，可扩展性有了明显的提高。 关键词：p 2 p ，g n u t e u a ，搜索算法，拓扑动态适应 a b s t r a c t p e e r - t o - p e e ri sap o t e n t i a la n dp r o m s i n gt e c h n i q u ei nt o d a y sa r c h t e c t o r eo fn e t w o r k s i th a sb e e n w i d e l ya p p l i e di np e e r - t o - p e e rc o m p u t i n g , c o o r d i n a t e do p e r a t i o n s e a r c he n g i n ea n df i l ee x c h a n g ew i t h a l l u n e x a m p l e ds u p e r i o r i t y t ot r a d i t i o n a lc l i a n t s e r v e rm o d e l g n u t e l l ai sap e e r - t o - p e e rn e t w o r k c o m m u n i c a t i o np r o t o c o la n dt h en e t w o r kb a s e do nt h i sp r o t o c o li sc a l l e dt h eg n u t e l l an e t w o r k g n u t e l a n e t w o r kh a sd e v e l o p e dd r a m a t i c a l l yi nr e c e n ty e a r s , h o w e v e r , i t sp o o rs e a l a b i l i t yh a sh i n d e r e di t sf u r t h e r d e v e l o p m a n t a sf l o o d i n gm e t h o di su s e dt ob r o a d c a s tq u e r i e sa c i d s sg n u t e n an e t w o r k , i t g e n e r a t e s e x p o n e n t i a l l yi n c r e a s i n gr e d u n d a n tm e s s a g e sw h i c hc o n t r i b u t em a i n l yt og n u t e l l a sp o o rs c a l a b i l i t y , s o s e a r c h i n gm e t h o di st h ek e yt oa n yi m p r o v e dm o d e lb a s e do rg n u t e l l a t h i sp a p e rp r o p o s e sa n i m p r o v e dm o d e l - - - e - g n u t e l l aw h i c hm a d et w oi m p r o v e m e n t s f i r s t , ab i a s e dr a n d o mw a l ks e a r c h i n g a g n r i t h mw i t hf e e d b a c km e c h a n i s mi sp m p o s e du s i n gg m l t e l l at o p o l o g y sp o w e r - l a wp r o p e r t y c o m b i n ew i t hf e e d b a c km e c h a n i s ma n dn o d ec a c h i n g t h i sk i n do fs e a r c h i n gm e t h o dc a nd r a m a t i c a l l y r e d u c eq u e r ym e s s a g e sa n du s u c c e s s f u lq u e r yr e c o r d st od f e e tf o l l o w i n gq u e r i e s s e c o n d , j no r d e rt o a v o i dh i g hd e g r e en o d e sb e e no v e r l o a d e d , ad y n a m i ct o p o l o g ya d a p t a t i o np r o t o c o li sa l s od e s i g n e dt o k e e pn o d e s l o a di nb a l a n c e , i nt h ew a yo ff l o wc o n a - o l l i n g , s i m u l a t i o nt ob o t hm o d e l sp r o v e st h a t e - g n u t e l i se x h i b i t ss i m i l a rs u o c e s sr a t ea so n m l h , b u t g e d e c d r a m a t i c a l l yl e s sr e d u n d a n tm e s s a g e s ， a n dt h u sh a sm u c hb e t t e rs e a l a b i l i t y k e yw o r d s ：p 2 p , c m u t e l i n , s e a r c hm e t h o d 。d y n a m i ct o p o l o g ya d a p t a t i o n 插图和附表清单 图2 1p 2 p 模式与c 裕模式4 图2 - 2n a p s m r 的工作原理8 图2 - 3g n u t e l l a 的工作原理9 图2 - 4k a z a a 的工作原理。1 1 图2 - 5g n i 兀l i il a 网络节点的聚集性1 8 图3 10 m 嘲j 的冗余消息1 9 图3 - 2 有超级节点( s - p e e r ) 的p 2 p 系统2 1 图3 3 低效的拓扑2 5 图3 - 4l r t 的数据结构2 5 图3 5n d t 的数据结构2 6 图3 - 6n r t 的数据结构。 图3 - 7f r t 的数据结构2 6 图3 - 8 基于反馈机制的聚集度优先搜索方法图示2 7 图3 - 9 消息头结构图2 8 图3 1 0q 1 倒时消息结构图 图3 1 1 节点加入网络流程图3 0 图3 1 2 成功的三次握手示例3 1 图3 1 3c i t e c k l o a d 流程图3 2 图4 ip l o d 拓扑生成算法 图禾21 0 0 个节点的p o w e rl a w 拓扑图3 6 图4 - 3 实验流程图。3 8 图“初始状态界面3 9 图4 5 实验进行中界面3 9 图4 6 结果界面3 9 图4 7 g n i r 舾l 和e - g 棚兀薯i i 的搜索成功率4 0 图事8 g n u 舵_ j i a 和e - g n u r e l l a 搜索成功导致的消息数量4 0 i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名：福秀 时间： 加。6年占月p 日 关于论文使用授权的说明 本人完全了解中国农业大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩印或扫描等复 制手段保存、汇编学位论文。同意中国农业大学可以用不同方式在不同媒体上发表、 传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：旃蔫 时间：如以年占, e lp 日 导师签名：l 南壬 乞 时间：“年6 月f 三日 中国农业大学硕士学位论文 第一章绪论 1 1 研究背景 第一章绪论 p 2 p ( p e e r - t o - p e e r ，即对等网络) 是近年来广受r r 业界关注的一种技术，财富杂志更将1 w 2 p 列为影响i n t e m e t 未来的四项科技之一。 p 2 p 并非一种全新的技术，互联网最基本的协议t c p i p 并没有客户机和服务器的概念，所 有的设备都是通讯的平等的一端。2 0 多年前出现的u s e n e t 、f i d o n , q 以及局域网中的文件共享 都是p 2 p 系统。由于受早期计算机性能、资源等因素的限制，大多数连接到互联网上的普通用户 并没有能力提供睡络服务，从而逐步形成了以少数服务器为中心的客户机，服务器( c l i e n t s e r v e r ) 模式。但是，随着互联网跟人们生活的联系日益紧密和深入，主观方面。人们需要更直接、更广 泛的信息交流；客观方面，计算机和网络性能有了很大的提升。主观条件和客观条件的结合促成 了一种新的计算模式：s e r v e n t 模式i ”。 s e r v e n t 一词起源于s e r v e r 和c l i e n t ，由两词并构组成，代表它既有s 盯鸭r 的功能，又可扮演 c l i e n t 的角色。在s e r v e n t 模式中，网络中每台计算机既可以作为服务器，也可以作为客户机，每 台计算机通过相互协作，使得整个网络拥有超强的计算能力。 p 2 p 和网格计算( g r i dc o m p u t i n g ) 是当前s e r v e n t 模式中研究的两种热点技术。随着1 9 9 9 年提供免费m p 3 音乐下载服务的n a p s t e r 的面世。p 2 p 技术迎来了第二个春天。 p 2 p 之所以吸引人主要在于其以下两个方面的突出袭现田： 低成本、高可用的超大规模计算和存储资源共享； 强大的网络联通性，更直接、更灵活的信息沟通。 由于广大的网络终端节点( 即普通用户拥有的节点) 的计算和存储能力以及连接带宽依照摩 尔定理不断地增长使用p 2 p 技术将大大提高这些节点的利用率，从而进一步提升网络、设备和 信息服务的效能。 目前p 2 p 在对等计算、协同工作、搜索引擎、文件共事等方面已经充分显示出了其强大的技 术优势。 1 2 研究现状 文件共享是p 2 p 技术最为广泛的应用之一，以致现在有很多人把p 2 p 技术与p 2 p 文件共享等 同起来。截至目前，p 2 p 文件共事大致经历了三个阶段的发展网。第一代是以n a p s t e r 为代表的下 载应用，因为中央服务器的存在，涉嫌版权纠纷，被迫倒闭，也因此被认为是不纯粹的p 2 p 系统。 第二代是较为纯粹的p 2 p 文件共享，以早期的g n u t e l l a 文件共享系统为代表。第三代是目前最常 见的p 2 p 文件下载系统，他们的主漉协议是b i t t o r r e n t 、e d o n k e y 、g n u t e l l a 和f a s t t r a c k 等。 f a s t t r ”k c 在北美使用较多，e d o n k e y 是欧洲流行的一类软件，b t 在亚洲应用最广泛，而g n u t e l l a 是客户端种类最多的协议，这是因为g 咖t e a 协议体现了互联两平等、自由的本质特征，并且由 于源代码公开得到了更多业内精英的研究改进。 中国农业大学硕士学位论文第一章绪论 对g n u t e l l a 模型的改进主要集中在资源搜索机制方面。由于g n u t e l l a 采用基于完全随机图的 洪泛式( n o o d i n g ) 发现和转发机制，随着网络规模的扩大，网络中的消息数量里指数级增长，吞噬 网络带宽，导致网络的低可扩展性。目前对g n u t e l l a 搜索机制的改进大致可分为以下五类： 盲目搜索方法 v k a l o g e r a k i 等提出了随机广度优先搜索方法皿b f s ) f 3 1 】，l v q 等提出了随机漫步法僻a n d o m w a l k s ) ”j ，b e v e r l yy a n g 等提出了迭代洪泛法阻f a 蛀v cd e e p i n g ) “! 。 基于分层网络的搜索方法 b e v e r l yy a n g 等提出了o u e s s ( g n u t e l l au d pe x t e n s i o nf o rs c a l a b l es e a r c h e s ) 3 5 1 方法，以及 g n u t e l l a 的改进版本g n u t e l l a 2 p q 等。 基于反馈机制的搜索方法 vk a l o g e r a k i 等提出了智能b l 疆o n t e l l i g e n tb f s p 7 】) 方法，砧明n l a b sd 等提出了自适应概率 搜索( a d a l 】t i v ep r o b a b i l i s f i c s e a r c h ，a p s 【埘l 方法。 基于节点缓存的搜索方法 dt s o u m a k o s 提出了局部索引方法鲫，b e v e r l yy a n g 和hg a r c i a - m o l i n a 等提出了d r l p 协议 ( d i s t r i b u t e dr e s o u r c el o c a t i o np r o t o c 0 1 ) 4 0 1 ，s t e f a ns a r o i u 等提出了内容缓存( c o n t e n tc a c h i n g ) c 4 ”。 基于嘲络拓扑优化的搜索方法 y c h a w a t h e 等在文献【4 2 j 中设计了一种基于改进o n u t e l l a 模型的p 2 p 文件共享系统g i a 。g i a 采用分层的网络结构，并且提出了拓扑自适应算法，y u n h a ol i u 等提出了位置相关拓扑匹配 ( l o c a t i o n - a w a r et o p o l o g ym a t c h i n g , l t m ) l o j 。 1 3 问厦的提出 以上方法单独使用时都能或多或少地改进g n u t c l l a 的可扩展性。能否相互结合应用? 本文试 图通过几种方法的结合，提出一种改进的文件共享系统模型e - g n u t e l l a ，更好地改善g n u t e l l a 的 性能。 b g n u t e l l a 模型中将反馈机制、节点缓存和网络拓扑优化三种方法结合在起。首先，利用 g n u t e l l a 网络拓扑的幂规律特性进行节点缓存，采用聚集度优先搜索算法，并且在搜索算法中引 入反馈机制，最后通过网络拓扑动态适应协议达到流控制的目的。 1 4 本文的主要内容和组织 本文在深入研究g n u t e l l a 模型的基础上，提出了一种改进的文件共享系统模型e - g n u t e h a 。 全文组织如下： 第一章绪论 首先介绍本文从事的研究工作的背景和现状：然后介绍本文的主要工作和组织结构。 第二章p 2 p 网络概述 首先介绍p 2 p 两络的概念和发展历史，对p 2 p 技术和现有的互联网技术进行比较；然后介绍 p 2 p 技术的主要应用；最后对p 2 p 文件共享系统尤其是g n u t e h a 模型作详细介绍。 2 中国农业大学硕士学位论文 第一章绪论 第三章g n u t e l l a 的改进模型e 坩n i 他u a 这一章是本文的核心内容。首先针对g n u t e l l a 模型的低可扩展性，发现洪泛式搜索机制的采 用是这一缺陷的根源，介绍了当前对g n u t e l l a 搜索机制的各种改进方法；然后提出自己的改进模 型e - g n u t e l l a ，主要从两个方面进行改进：一是提出基于反馈机制的聚集度优先搜索方法代替原 来的洪泛式搜索方法，二是设计网络拓扑动态适应协议，与基于反馈机制的聚集度优先搜索方法 相结合，进一步改善g n u t e l l a 模型的性能。 第四章仿真结果及分析 拟定实验方案对g n u t e l l a 和e - g n u t e u a 模型的搜索方法进行对比测试，给出评价标准和结果 分析，最终得出结论，证明本文提出的改进模型的有效性。 第五章总结 对全文工作进行总结，介绍需要继续开展工作。 3 中嗣农业大学硕士学位论文 第二章p 2 p 网络概述 第二章p 2 p 网络概述 2 1p 2 p 的概念 2 1 1p 2 p 的定义 目前为止，业界对于p 2 p 还没有一个统一的定义，下面列举几个常用的定义供参考： i n t e l l 4 1 ：p 2 p 技术指通过系统间的直接交换达成计算机资源与信息的共享，这些资源与服务 包括信息交换、处理器时钟、缓存和磁盘空间等。 i b i v f 4 p 2 p 系统是由若干互联协作的计算机构成的系统并具备如下若干特性之一：系统依 存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员而不是从服务器 的参与中受益：系统中成员同时扮演服务器与客户端的角色；系统应用的用户能够意识到彼 此的存在而构成一个虚拟或实际的群体 r o k ut b c h n o l o s i e s 公司跚：p 2 p 结构是使个人与个人之闻直接通信成为可能且更便捷的网络 结构。 虽然上述定义稍有不同，但共同点都是p 2 p 打破了传统的o i e n t s e r w r ( c ，s ) 模式，在网络中 的每个节点的地位都是平等的每个节点既充当服务器，为其它节点提供服务，同时也充当客户 机，享受其它节点提供的服务简单地说，p 2 p 技术是一种用于不同p c 用户之间、不经过中继 设备直接交换数据或服务的技术。 2 1 2p 2 p 技术与现有互联霸技术比较 耳莉互联霸主流通讯模式模式是模式，此模式要求在互联同上设置拥有强大处理能力和 大带宽的高性能计算机。配合高档的服务器较件，再将大量的数据集中存放在上面，并且要安装 多样化的服务软件，在集中处理数据的同时可以为互联网上其它p c 进行服务，提供或接收数据， 提供处理能力及其它应用。对于台与服务器联机并接受服务的p c 机来说，这台p c 机就是客 户机，其性昭可 ：i _ 相对弱小。而p 2 p 技术的特征之一就是弱化了服务器的作用，甚至取消服务器， 任意两台p c 互为服务器，同时又是客户机，即对等。图2 - 1 是p 2 p 模式与c s 模式的对比。 ) 朋驯_ i 盘0 口c s t 式 t 撂 o o k r a 圈2 1p 2 p 馘与0 s 模式 c s 模式造成互联网上资源的集中，无论信息资源还是成本资源均向同一方向集中，这样的 模式符合一对多、强对弱的社会关系形式，如政府对个人、对企业，大企业对小企业，学校对学 生，企业对职工等等关系所以c s 模式是符合市场需求的。p 2 p 模式将导致信息数量、成本资 源都向互联网各点均匀分布，也就是所谓“边缘化”的趋势。此模式符合“一对一”的特点以及 4 中国农业大学硕士学位论文 第二章p 2 p 网络概述 彼此相当的社会关系形式，如个人对个人，规模相当的企业之间，等等，这也是符合市场需求的， 所以这两种方式会共存，有关p 2 p 即将替代c s 模式的说法是不成立的。p 2 p 有其独特的市场空 间是现有互联网应用的补充，这一点应该是毫无疑问的嗍。 2 2p 2 p 的发展历史 f 2 p 在最近几年的迅速发展，导致了很多人都错误地认为p 2 p 是一个新生事物。虽然p 2 p 这 个术语是现在才发明的，实际旱在互联网诞生之前，p 2 p 思想已经普遍存在于计算机网络体系中， 其中最为典型的例子就是u s e n c t 刀。u s c n c t 是晟早的网络通信系统之一，雏形由两名研究生t o m t r u s c o n 和j i me l l i s 实现，目前仍然在广泛使用。它提供了类似于公告板的服务，用户可以通过 它来阅读和张贴消息。u s c t 在大量的分布式服务器之间通过洪泛算法( f l o o d i n g a l g o r i t h m ) 来 传递用户消息，这种算法在今天的p 2 p 应用中仍然被广泛采用。如果将u s e n e t 的分布式服务器 看作是对等孵络节点的话，u s e n e t 就是一个相当典型的p 2 p 系统。 早期p 2 p 应用另一个杰出的代表则是h d o n c t 。它和u s e n e t 类似，也是一个分散的信息交 换系统。t o mj e n n m g s 于1 9 8 4 年创建了h d o n e , t 系统，可以让不同b b s 系统中的用户互相交换 信息。这种符合人们需要的技术，迅速成长起来，并一直沿用到今天。 可以说，p 2 p 就是最初计算机网络建设的一个基本思路。关键在于，在最初的p 2 p 应用出现 时。许多使用该技术的人们甚至不会使用计算机。 在后来的互联网发展过程中，随着万维暇应用的开展，c s 结构逐渐成为了互联网的主流， 并且在这过程中吸引了千千万万的新网民对于这些网络用户来说，他们认识到的互联网就是基 于c s 结构的，p 2 p 思想反而逐渐被人淡忘。直到上个世纪9 0 年代后期，以n a p s t e r 的出现为标 志，p 2 p 又进入到了一个大发展时期，人们才又重新认识到了这种对等网络的概念。 p 2 p 成用最初出现时和现在并不相同，事实上导致p 2 p 技术再次发展的因素有两个： 首先是莱些新技术与软件工程结台，形成了一种将工作分散的趋势。p 2 p 计算正是这种趋势 的自然结果。 其次，从工程的角度看来，在企业应用集成等困素的驱动下，过去十几年渐渐形成一种从集 中的单机系统转向分布式系统的趋势。在集中式的应用中进行控制是相对容易的，这一点在一定 程度上抑制了分布式潮流的发展。然而随着互联网的发展，以及b 2 b 商务交易方式的日益流行， 全面的分布式计算成为一种商业需求 这两种趋势导致了p 2 p 应用技术的迅速发展。 2 3p 2 p 的应用 由于p 2 p 模式具有的技术特点，很多计算机公司、研究部门都认为该技术蕴涵着巨大的商业 和技术潜在价值，井从不同的角度应用和研究该技术。目前p 2 p 技术主要在以下几个方面取得了 应用： 一、文件共事 文件共享一直是网络技术发展的重要推动力。也是p 2 p 技术中最典型的应用，以至于人们将 5 中田农业大学硕士学位论文 第二章p 2 p 时络慨述 p 2 p 文件共享系统简称为f 2 p 。目前人们主要采用w e b 技术来实现文件共享，在基于w e b 方式进 行文件共享时，w e b s e r v 口需要能够对大量用户的访问提供有效的服务，因此w e bs e r v e r 经常成 为这类系统的性能瓶颈。p 2 p 实现文件共享的主要目的是全面实现数据共享，使用者可以直接从 任意一台p c 上检索、共享资源，而不必要通过服务器；用户自动发现最新的文件列表而不需担 心发布的问题，如典型的n a p s t e r 系统就是供用户在互联网上共享m p 3 音乐文件的p 2 p 应用。 n a p s t e r 把音乐文件存储在客户节点上而不是在服务器节点上，中心服务器上仅存储文件的索引 信息，用户之间可以直接共享、传输音乐文件。采用这种方式来共享信息资源可以更充分地利用 网络中的带宽资源，提高系统数据通信的效率。如f r e e n e t 、n a p s t e r 、g n u t e l l a 等研究均从不同的 角度尝试解决目前眄络中的信息资源共享所存在的一些问题州t p 2 p 文件共享系统的详细介绍见2 4 节。 = 、对等计算 对等计算是将计算机串联的行为，采用p 2 p 技术的对等计算是把网络中的众多计算机暂时不 用的计算能力集合起来，使用积累的能力执行超级计算机的任务，使它们发挥出只有超级计算机 才具有的巨大功能。这样，任何需要大量数据处理的行业都可从对等计算中获利，如天气预报、 基因组的研究等。从本质而吉，对等计算就是网络上c p u 资源的共享。 在这方面一个成功典范是1 9 9 9 年的s e t h o m e 项目哪。在该项目中- 分布于世界各地的 2 0 0 万台个人电脑组成计算机阵列，搜索射电天文望远德信号中的外量文明迹象。项目组称，在 不到两年的时间里，这种计算方法已经完成了单台计算机3 4 5 0 0 0 年的计算量。 三、协两工作 协同工作是指多个用户之间利用网络中的协厨计算平台互相协同来共同完成计算任务，共享 各种各样的信息资源等。协同工作使得在不同地点的参与者可以在一起工作。在p 2 p 出现之前， 协同工作的任务通常由诸如l o t u sn o t e s 或者m be x c h a n g e 等服务器软件来实现，但是无论是采用 哪种服务器软件，都会产生极大的计算负担，造成昂贵的成本支出，而且并不能很好地完成企业 与合作伙伴、客户、供应商之问的交流而p 2 p 技木使得互联两上任意两台p c 都可建立直接的 通讯联系，不再需要中心服务嚣，降低了对服务器存储以及性能的要求，也降低了对网络吞吐量 和快速反应的要求，从而大大节约了成本，使低成本的协同工作成为可能，最终帮助企业和关键 客户以及台作伙伴之间建立起一种安全的网上工作联系方式。 因此基于p 2 p 技术的协同工作目前受到了援大的重视。l o t u s 【l o j 公司的创始人组织开发的 g r o o v e “l 是目前最著名的p 2 p 协同工作产品g l o o v e 采用中间传递服务器来实现p 2 p 的多播， 采用x m l 表示路由协议，多个不同的g r o u p 之闻不仅仅可以共事文件、聊天信息，还可以共享 各种应用程序。 四、攫素引擎 搜索引擎是目前人们在网络中检索信息资源的主要工具，目前的搜索引擎如g o o g l e 、b a i d u 等都是集中式的搜索引擎，搜索模式是由一个机群在互联网上盲目读取信息，然后按照某种算法 根据关键字将信息保存在一个海量数据库内。用户提交的搜索请求实际上是在海量数据库内部进 6 中国农业大学硕士学位论文第二章p 2 p 网络概述 行搜索，这种机制虽然能尽快获得搜索结果，但不能保证搜索范围的深度和结果的时效性。即使 是c , o o g l e 这个目前最出色的搜索引擎也只能搜索到2 0 3 0 的网络资源。 p 2 p 技术使用户能够深度搜索文档，而且这种搜索无需通过w e b 服务器，也可以不受信息文 档格式和宿主设备的限制可达至传统目录式搜索引擎无可比拟的深度。以p 2 p 技术应用的先锋 g n u t e l l a 进行搜索为例：一台p c 上的g n u t e l l a 软件可将用户的搜索请求同时发给网络上另外加 台p c ，如果搜索请求未得到满足，这1 0 台p c 中的每一台都会把该搜索请求转发给另外加台 p c ，这样，搜索范围将在几秒钟内以几何级数增长，几分钟内就可按遍几百万台p c 上的信息资 源。可以说p 2 p 为互联网的信息搜索提供了全新的解决之道著名的搜索引擎公司g 0 0 9 l e 也宣 称要采用p 2 p 技术来改进其授索引擎的功能。 五、电予商务 由于p 2 p 技术的直接性和易扩展性，该模式很适用于用户之间的商品买卖，目前它主要可以 用于以下方面1 1 2 j ： 金融服务：由于f 2 p 的沟通只单纯涉及沟通的双方，不会有第三者知道双方沟通的信息，所 以p 2 p 非常适合发展在线金融服务。美目的b i l l p o i n t 公司已将p 2 p 技术应用于电子商务的付 费机制r 在e b a y ( 易趣两，一个在线拍卖网站) 上已经向全球3 5 个国家的使用者提供了这 种技术，他们可以直接用彼此的信用卡进行交易。 电予商务集市：u g h t s h a r e 公司将推出一种服务。让电脑使用者直接通过其电脑销售数字产 品，而不用经由e b a y 或a m a z o n 的中央服务器。这种服务起源于e b a y 的客户机，服务器模式 最后发展成今天的p 2 p 模式。该技术直接通过买卖双方的电脑进行交换，任何交换的内容其 实都不在l i g h t s h a r e 公司的电脑内，该公司起的作用只是加速资料的交换过程而已。 广告行销：通过p 2 p 应用程序可了解用户对信息的僖好，这是一种很好的客户信息收集方式。 通过p 2 p 让广告商首次挖掘到消费者对音乐、电影、软件等任何可交换数字文件的偏好，其 广告效力高于传统的标题式广告或电子邮件。 六、实时置信 实时通信技术是网络中重要的通信技术，如典型的o i ( 2 0 等。与瓜c ( i n t e m e tr e l a y c h a u i n g - i n t e m c t ) 、b b s 、w e b 聊天室相比p 2 p 的实时通讯软件不仅可以随时知晓对方是否在线， 而且交流双方的通讯完全是点对点进行，不依赖服务器的性能和网络带宽，节点之间直接进行数 据通信。尽管目前的即时通讯技术一般都具有中心服务器，但中心服务器仅是用来控制用户的认 证信息，帮助完成节点之间的韧始连接。这方面典型的倒子是j a b b e “，这是一个开放源码的实 时通信平台，提出了一个采用x m l ( e x t c n s i b l c m a r k u p l a n g u a g e ) 表示的在不兼容的各种实时通 信平台之间进行消息交换的协议。 除以上介绍的几种应用之外，还有一些无法预见或无法定论归类的应用模式，因为作为一项 新兴技术，人们对p 2 p 的认识还很不完整，而完整的认识还需要在实践探索中渐渐形成。 7 中国农业大学硕士学位论文 第二章p 2 p 网络概述 2 4p 2 p 文件共享系统的分类 拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系，节点之间的拓扑结 构一直是确定系统类型的重要依据。根据拓扑结构的关系可以将p 2 y 文件共享系统分为四类【“】： 中心化拓：抖, ( c e n t r a l i z e d t o p o l o g y ) ：全分布式非结构化拓扑( d e c e n t r a l i z e d u n s t r u c t u r e d t o p o l o g y ) ； 全分布式结构化拓扑( d e c e n t r a l i z e ds t r u c t u r e dt o p o l o g y ，也称作d h t 网络) 和半分布式拓扑 ( p a r t i a l l y d e c e n t r a l i z e d t o p o l o g y ) 。 2 4 1 中心化拓扑 中心化拓扑最大的优点是维护简单、发现效率高。由于资源的发现依赖中心目录系统，发现 算法灵活高效并能够实现复杂查询。最大的问题与传统客户机，服务器结构类似，容易造成单点故 障，访问“热点”现象和法律相关问题等，这是第一代p 2 p 网络采用的结构模式，经典案例就是 著名的m 陌共享软件n a p s t c l d s , 6 1 。 在n a p s t c r 模型中，一群高性能的中央服务器保存着瞬络中所有活动节点的共享资源目录信 息。当衙要查询莱个文件时，节点向一台中央服务器发出文件查谰请求，中央服务器进行相应的 检索和查询后，返回符合查询要求的节点地址信息列表。查询发起节点接收到应答后，根据网络 流量和延迟等信息进行选择，和合适的节点建立连接，并开始文件传输。 n a p s t c r 首先实现了文件查询与文件传输的分离，有效地节省了中央服务器的带宽消耗，减 少了系统的文件传输延时。这种方式最大的隐患在于中央服务器，如果该服务器失效，整个系统 都会瘫痪当用户数量增加到l 旷或者更高时，n a l 镕t c r 的系统性能会大大下降，另一个问题在于 安全性上，n a p m r 没有提供有效的安全机制。 n a p s 把r 的工作原理如图2 - 2 所示 高。 l q 椭c l i m t c l i e n t 墨2 - 2n a p i e r 的工作意壤 这种p 2 p 网络模型存在很多问题，主要表现为： ( 1 ) 中央服务器的瘫痪容易导致整个网络的崩溃，可靠性和安全性较低。 ( 2 ) 随着网络规模的扩大，对中央索引服务器进行维护和更新的费用将急剧增加，所需成本过 8 中国农业大学硕士学位论文第二章p 2 p 网络概述 ( 3 ) 中央服务器的存在引起共享资源在版权问题上的纠纷。井因此被攻击为非纯粹意义上的 p 2 p 网络模型。对小型网络而言，集中目录式模型在管理和控制方面占一定优势，但鉴于其种种 缺陷，该模型并不适合大型网络应用。 2 4 2 全分布式非结构化拓扑 全分布非结构化两络在重叠网络( o v e r l a y ) 采用随机图的组织方式，面对网络的动态变化体 现了较好的容错能力因此具有较好的可用性，同时可以支持复杂查询，如带有规则表达式的多 关键词查询、模糊查询等，最典型的案倒是g n u t e l l a 1 s , 1 7 c m u t e l l a 和n a p s t e r 最大的区别在于g n u t e l l a 是纯粹的p 2 p 系统，没有索引服务器，它采用 了基于完全随机图的洪泛式( r o o d t n g ) 的发现和转发机制。为了控制搜索消息的无限制传播， 通过r r lf i 虹t ol i v e ) 的减值来控制。具体协议参照2 5 0 节。 g n u t e l l a 的工作原理如图2 - 3 所示。 a _ a i g m d t t c l i m e 圈2 - 30 n u h i i - 帕工作j i 曩 在a m 侧眈网络模型中，每一个联网节点在功能上都是对等的，既是客户机同时又是服务器， 所以被称为对等j f l ( s e r v c n t ，s e r v e r + c l i e n t 的组合) 。 随着联网节点的不断增多，网络规模不断扩大通过这种洪泛方式定位对等点的方法将造成 网络流量急剧增加从而导致网络中部分低带宽节点因网络过载而失效，所以在初期的g n u t e l l a 网络中，存在比较严重的分区、断链现象。也就是说。一个查询访问只能在网络的很小一部分进 行，因此网络的可扩展性不好。所以，解决g n u t e u a 网络的可扩展性对该网络的进一步发展至关 重要。 哥前对此类结构的研究主要集中于改进发现算法和复制策略以提高发现的准确率和性能。 2 4 3 全分布式结构化拓扑 由于非结构化网络将重叠网络认为是一个完全随机图节点之间的链路没有遵循某些预先定 义的拓扑来构建，这些系统一般不提供性能保证，但容错性好。支持复杂的查询，并受节点频繁 加入和退出系统的影响小，但是查询的结果可能不完全，查询速度较慢，采用广播查询的系统对 网络带宽的消耗非常大，并由此带来可扩展性差等问题。 9 中国农业大学硕士学位论文 第二章p 2 p 网络概述 另外，由于非结构化系统中的随机搜索造成的不可扩展性，大量的研究集中在如何构造一个 高度结构化的系统。目前研究的重点放在了如何有效地查找资源上，最新的成果都是基于分布式 啥希表d i - r r ( d i s t r i b u t e dh a s ht 曲l c ) 的分布式发现和路由算法【。这些算法都避免了类似n a p s t c r 的中央服务器，也不是像g n u t e l l a 那样基于广播进行查找，而是通过分布式散列函数，将输入的 关键字惟一映射到某个节点上，然后通过某些路由算法同该节点建立连接。 最薪的研究成果体现在采用分布式散列表的完全分布式结构化拓扑网络。d h t 类结构能够自 适应节点的动态加入或退出，有着良好的可扩展性、鲁棒性、节点m 分配的均匀性和自组织能 力由于重叠网络采用了确定性拓扑结构。d h t 可以提供精确的发现，只要目的节点存在于网络 中，d h t 总能发现它，发现的准确性得到了保证，最经典的案例是t a p e s t r y 、c h o r d 、c a n 和p a s t r y 。 t a p e s t r y f l 9 1 t a p e s t r y 提供了一个分布式容错壹找和路由基础平台，在此平台基础之上，可以开发各种p 2 p 应用( o c e a n s t o r e 即是此平台上的一个应用) 。t a p e s t r y 的思想来源于p l a x t o n 。在p l a x t o n 中，节 点使用自己所知道的邻近节点袭，按照目的m 来逐步传递消息。n p c s t 碍基于p l a x t i o n 的思想， 加入了容错机制，从而可适应p 2 p 的动态变化的特点。o c e a o s t o r e 是以t a p e s u y 为路由和查找基 础设旄的p 2 p 平台，它是一个适合于全球数据存储的p 2 p 应用系统。任何用户均可以加入 o c e a n s t o r e 系统或者共享自己的存储空间，或者使用该系统中的资源。通过复制和缓存技术， ( k e a n s t o r e 可提高查找的效率。最近，t a w n y 为适应p 2 p 网络的动态特性，作了很多改进，增加 了额外的机制实现了网络的软状态( s o f ts t a t e ) 并提供了自组织、鲁棒性、可扩展性和动态适应 性，当网络高负载且有失效节点时候性能有限降低，消除了对全局信息的依赖、根节点易失效和 弹性( w s i l i e n c e ) 差的问题。 c h o r d l l l m i t 开展了多项与i 2 p 相关的项目，其中c h o r d 项目的目标是提供一个适合于p 2 p 环境的分 布式资源发现服务，它通过使用d h t 技术使得发现指定对象只需要维护0 0 0 9 n ) 长度的路由表。 在d h t 技术中，网络节点按照一定的方式分配一个唯一节点标识符0 妯d em ) 资源通过散列运 算产生一个唯一的资源标识符( o b j e c t ) ，且该资源将存储在节点m 与之相等或者相近的节点 上。需要查找该资源时，采用同样的方法可定位到存储该资源的节点。因此，c h o r d 的主要贡献 是提出了一个分布式查找协议，该协议可将指定的关键字映射蓟对应的节点。从算法来看，c h o r d 是相容散列算法的变体。 c a n l 2 1 1 a t & ta e i r i 中心的c a n ( c