（计算机应用技术专业论文）基于chord的层次式p2p网络模型的研究.pdf

摘要 摘要 p 2 p ( p e e r t o p e e r ) 技术作为i n t e m e t 的重要技术之一，近些年来受到了计算机业界越 来越多的关注。p 2 p 技术直接将人们联系起来，让人们通过互联网可以直接交流。p 2 p 使得网络上的沟通变得更容易、更高效、更直接地共享和交互，它改变了互联网现在的 以大型网站为中心的状态，重返互联网最初的“非中心化”模式，并把权利交还给了网 络用户。 p 2 p 网络模型的研究既是p 2 p 技术研究的重点，也是研究的难点。目前大部分p 2 p 网络应用虽然都由p 2 p 主流网络模型支撑，但是由于其主流网络模型算法自身的局限 性，并不适合一些有特殊需求的p 2 p 网络应用，因此我们需要寻求更为适合的网络模型。 本文首先总结和分析了目前主流对等网络模型的发展现状和趋势，在此基础上，对 结构化的对等网络模型做了进一步的扩展，采用了一种基于c h o r d 的层次式p 2 p 网络模 型( h p n c h i e r a r c h i c a lp 2 pn e t w o r kb a s e do nc h o r d ) 。h p n c 模型旨在为用户提供更 高效准确的信息资源发布、删除、查找用户服务功能。 本文对h p n c 网络模型进行了详细设计，包括模型的分层架构和组网算法等。本文 重点地描述了h p n c 模型的路由机制，其中对超级节点和普通节点的基本路由算法和路 由维持算法做了详细地阐述。最后，通过仿真试验对h p n c 模型的合理性和路由效率进 行了验证和测试，基本上达到了预期的设计目的。 关键词：p 2 p ；c h o r d ；网络模型；层次式 摘要 ab s t r a c t p 2 p ( p e e r - t o p e e r ) t e c h n o l o g y ，a so n eo ft h ei m p o r t a n ti n t e m e tt e c h n o l o g i e s ，h a sb e e n m o r ea n dm o r ea t t e n t i o ni nc o m p u t e ri n d u s t r yi nr e c e n ty e a r s p 2 pt e c h n o l o g yl i n k st h e p e o p l ed i r e c t l y ，s ot h a tp e o p l ec a nc o m m u n i c a t ev i at h ei n t e m e t p 2 pn e t w o r k sm a k e c o m m u n i c a t i o ne a s i e ra n dm o r ee 衔c i e n t m o r ed i r e c ti n t e r a c t i o na n ds h a r i n g t h ei n t e r n e th a s c h a n g e dt h ec u r r e n tl a r g e c e n t r i cw e bs i t e t h ei n t e r a c tb a c k st ot h eo r i g i n a l ”n o n c e n t e r ” m o d e l ，a n dr e t u r n st h er i g h t st ot h en e t w o r ku s e r s t h er e s e a r c ho fp 2 pn e t w o r km o d e l i sn o to n l yt h ef o c u so fp 2 pt e c h n o l o g ys t u d y b u t a l s ot h ed i f f i c u l t yo fs t u d y a tp r e s e n t , a l t h o u g hm o s to ft h ep 2 pn e t w o r ka p p l i c a t i o ni s s u p p o r t e db yt h ep 2 pm a i n s t r e a mn e t w o r km o d e l b u tb e c a u s ei t sm a i n s t r e a mn e t w o r k m o d e l so w nl i m i t a t i o n so ft h ea l g o r i t h mi sn o ts u i t a b l ef o rs o m es p e c i a ln e e d so ft h ep 2 p n e t w o r ka p p l i c a t i o n s s ow en e e dt of i n dam o r es u i t a b l en e t w o r km o d e l t h i sd i s s e r t a t i o ns u m su pa n da n a l y z e st h ec u r r e n ts i t u a t i o na n dd e v e l o p m e n tt r e n do f m a i n s t r e a m p e e r - t o p e e rm o d e l ，b a s e so nt h i s ，s t r u c t u r e sp e e r - t o p e e rm o d e lf o r f u r t h e r e x p a n s i o n ，m e n t i o n sac h o r d 1 e v e lp 2 pn e t w o r km o d e l ( h p n c h i e r a r c h i c a lp 2 pn e t w o r k b a s e do nc h o r d ) h p n cm o d e ld e s i g n e dt op r o v i d eu s e r sw i t hm o r ee f f i c i e n ta n da c c u r a t e s e r v i c ef u n c t i o n s s u c ha st h er e l e a s ea n dd e l e t i o no fi n f o r i l l a t i o nr e s o u r c e s ，f i n d i n gc u s t o m e r t h i sd i s s e r t a t i o nh a sad e t a i l e dd e s i g nf o rh p n cn e t w o r km o d e l i n c l u d i n gt h e h i e r a r c h i c a lm o d e lo fn e t w o r ka r c h i t e c t u r ea n da l g o r i t h m sa n ds oo n t h ed i s s e r t a t i o n d e s c r i b e st h em o d e lh p n cr o u t i n gm e c h a n i s m e x p l a i n st h e b a s i cr o u t i n ga l g o r i t h ma n d r o u t i n gm a i n t e n a n c ea l g o r i t h mo fs u p e r - n o d e sa n do r d i n a r y - n o d e si nd e t a i l f i n a l l y ，t e s t st h e r a t i o n a l i t yo fh p n cm o d e la n dt h ee f f i c i e n c yo fr o u t i n gt h r o u g ht h es i m u l a t i o nt e s t i n g b a s i c a l l ya c h i e v e st h ep u r p o s eo fd e s i g n k e yw o r d s ：p 2 p ；c h o r d ；n e t w o r km o d e l ；h i e r a r c h y i i i 大连交通大学学位论文版权使用授权书 本学位论文作者完全了解太整銮通太堂有关保护知识产权及保 留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的 知识产权单位属太蓬褒通太堂，本人保证毕业离校后，发表或使用 论文工作成果时署名单位仍然为太整塞通太堂。学校有权保留并向 国家有关部门或机构送交论文的复印件及其电子文档，允许论文被查 阅和借阅。 本人授权太重塞通太堂可以将学位论文的全部或部分内容编入 中国科学技术信息研究所中国学位论文全文数据库等相关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后应遵守此规定) 学位论文作者签名：石面 日期： 2 1 7 年f f 月t oe t 学位论文作者毕业后去向： 工作单位： 通讯地址： 电子信箱： 导师签名：勤砑电 1 日期：2 口影年i1 月j y - 日 电话： 邮编： 大连交通大学学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢及参考 文献的地方外，论文中不包含他人或集体已经发表或撰写过的研究成 果，也不包含为获得太董銮通太堂或其他教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示谢意。 本人完全意识到本声明的法律效力，申请学位论文与资料若有不 实之处，由本人承担一切相关责任。 学位论文作者签名：石丽 日期： z n ? 年1 月fp 日 第一章绪论 第一章绪论 1 1 研究背景 2 0 世纪8 0 年代以来，随着个人计算机的不断发展，互联网逐步建立并迅速发展， 已经深入到人们日常生活中的点点滴滴。基于互联网的各种应用在全球范围内把人类社 会更紧密地联系起来，并以不可抗拒之势影响和冲击着人类社会的各个方面。 近几十年，互联网发生了巨大的变化l l 】：首先，网络规模同益扩大，目前接入互联 网的个人计算机数量已经上亿，并且网络规模还在不断增长，如2 0 0 4 年增长率约为3 6 。 其次，个人计算机的性能持续增强：主流微机的硬盘存储容量至少可以达到8 0 g b 以上， 微处理器时钟频率可以达到2 g h z 以上：按照摩尔定律预测，微处理器性能每1 8 个月 可以翻一倍。第三，网络带宽不断增大：宽带接入技术的应用使微机的网络带宽能达到 5 1 2 k 以上。吉尔德定律预测未来2 5 年内，主干网的带宽将每6 个月增加一倍。 网络的飞速发展也在新时代对网络的性能提出了新的需求1 2 】： 抗d o s ( d e n i a lo f s e r v i c e ，拒绝服务) 攻击的需求。服务器是网络中最易受攻击的 节点，而一旦服务器被攻陷，所有的客户机都不能正常工作，所有的客户信息都可能丢 失。目前对于d o s 攻击基本上是束手无策或者需要消耗极为高昂的代价来应对，迫切需 要一种新的机制来改变目前的状况。 即时准确地查询网络信息的需求。计算机网络上的信息增长速度惊人，尽管现有 的搜索引擎拥有巨大的数据库，每天不停地使用“爬虫”在网上搜索并索引w e b 页面， 但w e b 世界中隐藏的数据是这些搜索引擎己索引的数据量的4 0 0 倍1 3 j 。不仅如此由于 巨大的工作量，这些搜索引擎基本上不能提供最及时的动态信息，搜索结果可能是数月 前的信息。 平衡网络流量的需求。尽管每天都有新的光缆线路在修建，但是人们都涌到 g o o g l e 、b a i d u 、y a h o o 等几个有限的搜索引擎上去，集中访问一些本身负载就已经非常 高的网站，新的带宽不能被很好利用，更加加剧了旧的线路的负担。也就是说网络的访 问热点问题并没有因为修建了新的光缆而改变，反而更加重了。 客户系统资源有效利用的需求。单个服务器系统的性能始终受到硬件发展水平的 限制，对于大量的应用来说，多服务器协同的系统可以提供更好的服务。不仅如此，由 于硬件技术的快速发展，客户系统的运算、存储能力也有了很大的改观，但是客户系统 的应用大多是简单的应用，由此造成了巨大的浪费，企业中存在将这些资源加以有效利 用的需求。 人连交通人学l ：学硕+ 学位论文 永久存储的需求。普适计算( p e r v a s i v ec o m p u t i n g ) l 拘提出将存储和设备分离、存 储和计算分离，提出了永久存储的概念。它对存储提出了更高的要求，即任何时候，任 何地点都能访问到有效的数据。显然，单服务器系统难以满足这样的需求。 然而很久以来，互联网广泛采用的是客户服务器( c s ) 应用模型。在这种模式下， 数据集中在位于网络中心的中央服务器上，客户机位于网络的边缘，用户必须通过服务 器获得所需资源，信息的发布是在中央服务器的协调下完成的。客户端主机只能处于被 动接受服务器提供服务的状态，而不具有主动提供服务的能力，网络的数据处理能力将 受到中央服务器的性能以及客户机和服务器之间带宽性能的限制，当大量用户同时访问 某一应用服务器时，网络带宽大量占用，应用服务器负载过重，网络带宽和应用服务器 的性能问题将成为网络传输能力的瓶颈。与此同时，个人计算机的性能增强，己经具备 小型服务器的能力，但只能处于客户机地位，导致处在网络中心的服务器不堪重负，而 网络边缘却存在大量的空闲资源，网络负载极不平衡。人们急切寻找一种应用模式可以 将整个因特网的各种自治资源和系统组合起来，以实现资源共享。 在这种情况下，p 2 p 模式应运而生，它的出现给也引起了越来越多人热切的关注。 p 2 p 网络的对等性充分体现了“人人为我，我为人人 的新型资源共享模式。在p 2 p 网 络中所有的节点是对等的，各节点具有相同的责任共同协作完成任务。每一个用户终端 既是客户机又是服务器。对等点之间通过直接互连实现信息资源、处理器资源、存储资 源甚至高速缓存资源等的全面共享。这种分散的自治式网络模式使得人们不再依赖于某 一台服务器，某一条网络链路，而是依赖于众多的网络节点。 就目前发展状况而言，p 2 p 技术为服务共享、分布式计算和信息交流等很多应用提 供了更灵活高效的模式，也为信息技术的发展带来了新的挑战。在p 2 p 网络技术的推动 下，互联网的信息存储模式将由现在的“内容位于中心”模式逐渐转变为“内容位于边 缘 模式。p 2 p 引导网络应用模式从集中式向分布式偏移，也就是说网络应用的核心从 中央服务器向网络边缘的终端设备扩散。这使得人们在互联网上的共享行为被提到了一 个更高的层次，是人们以更主动的方式参与到网络活动中去。所有的这些将有效地均衡 网络负载，充分利用网络带宽，挖掘网络中所有空闲主机的计算能力，有效地提高信息 查询与搜索的效率，从而彻底改变人们发布与获取信息的方式。因此，p 2 p 网络技术研 究成为了目前流行于国际计算机网络技术研究领域的一个热点，并被财富杂志誉为 将改观因特网未来的四大新技术之一，拥有广阔的市场应用前景。 2 第一章绪论 1 2 问题的提出及研究内容 p 2 p 网络模型研究是p 2 p 网络技术研究中一个重要组成部分1 4 j 。网络模型的研究旨 在为解决p 2 p 的可扩展性问题，负载问题，以及管理等方面的问题，提供可实现的方案。 因此也一直是各个大专院校和研究机构研究的热点。迄今为止，p 2 p 网络技术研究已经 取得了长足的发展，p 2 p 网络模型也已经过了几代的更新，p 2 p 的网络模型主要分为以 下四个阶段： 集中式网络模型( 以n a p s t e r l 5 】为代表) ：系统中有一个中央服务器，但不是像c s 模式中用来存放资源，而是用来存放索引的。节点加入要向其注册并动态更新地传送自 己所共享资源的索引。当网络中节点搜索资源时，将带有所需资源标识的请求发送到中 央服务器，中央服务器检索资源索引，将拥有该资源节点的标识发送给请求者，请求者 按标识直接访问资源拥有者节点，获取资源。搜索所需信息量小，速度快，搜索全面。 但中央服务器的处理能力限制了网络规模成为系统瓶颈，且易发生单点( 中央服务器) 失 效。另外随着网络规模的扩大，对中央服务器进行维护和更新的费用将急剧增加。 纯分布式非结构化网络模型( 以g n u t e l l a l 6 】为代表) ：网络中没有中央服务器，节点随 机加入或退出网络，与自己相邻的邻居节点通过点对点连接构成逻辑网络。采用洪泛请 求的模式进行资源搜索。每个节点维护一张邻居节点指针表，在限定的t t l 值内向所 有邻居节点发送资源搜索请求，拥有该资源的节点在收到请求后发出回应，建立连接， 获取资源。获得了较好的容错性( 不会发生单点失效) 。但洪泛机制导致控制信息量过大， 占用大量带宽，易造成网络拥塞，因此网络的可扩展性不好；节点无需任何注册，可信 度不高，易受到恶意攻击，安全性不高；而且由于没有确定拓扑结构的支持，纯分布式 网络无法保证资源发现的效率；由于采用t t l 、洪泛、随机转发等算法，导致路径不可 控，查询的结果可能不完全。 混合式网络模型( 以k a z a a 7 】为代表) ：在纯分布式结构的基础上根据节点能力引入 了超级节点的概念。超级节点和其邻近的普通节点构成一个自治簇，簇内采用集中式结 构，普通节点向本簇的超级节点发送资源索引和搜索请求。各簇之间可以超级节点为标 识按照纯分布式组织。这种结构实现了系统的分层，有效地减少了查询请求的数量，从 而提高了网络速度，减少拥塞，并且由于超级节点对节点行为的控制提高了安全性。但 对超级点依赖性大，易于受到攻击，其局部上由于采用了洪泛式广播查询方式，仍可能 造成系统的网络风暴，造成网络带宽的浪费。此外，它也仍然无法摆脱非结构化p 2 p 系 统都存在一个基本问题，既缺乏有效的、可扩展的查找机制。 人连交通人学t 学硕十学位论文 和以上三种非结构化网络模型相比，结构化网络模型对文档在系统中的存放位置有 严格的控制并且节点之间的关系比较紧凑。它采用分布式哈希表( d i s t r i b u t e dh a s h t a b l e ) 的结构，提供从文档标识符( 或记录的关键字) 到存放该文件的节点标识符的映射 服务，通过将查询消息路由到目标节点进行查询。可以在有限的跳数之内完成文档的路 由和定位，从而准确发现目标节点。d h t 类结构能够自适应节点的动态加入退出，有 着良好的可扩展性、鲁棒性、节点i d 分配的均匀性和自组织能力等。目前国外研究者 们提出了多种不同的结构化p 2 p 网络模型，主要有c h o r d 、c a n 、t a p e s t r y 和p a s t r y 。 这些路由模型具有不同的逻辑拓扑结构，比如c a n 就是一个n 维向量空间，而c h o r d 是一个环形拓扑结构，t a p e s t r y 和p a s t r y 则是一个网状的拓扑结构。d h t 类结构最大的 问题是d h t 的维护机制较为复杂，尤其是节点频繁加入退出造成的网络波动( c h u m ) 会 极大增加d h t 的维护代价。 从上面的介绍我们可以看到，各种网络模型，都针对性的解决了p 2 p 路由技术中某 几方面的问题，但也含有其无法避免的先天缺陷。随着p 2 p 网络技术的不断发展以及网 络用户呈几何级数的增加，对当前的i n t e m e t 架构产生了巨大的冲击，各种网络模型中 所存在的问题己经成为阻碍p 2 p 网络技术进一步发展的一个障碍。本文深入分析了各种 网络模型，在结构化网络模型的基础上引入分层的概念，采用了一种基于c h o r d 的层次 式p 2 p 网络模型( h p n c h i e r a r c h i c a lp 2 pn e t w o r kb a s e do nc h o r d ) 。 h p n c 采用的结构化网络拓扑结构是c h o r d 的环状拓扑结构。针对c h o r d 拓扑结构 的逻辑覆盖网与底层实际的物理网络拓扑完全脱离的缺点，提出基于物理位置的节点分 组思想，模型将节点按地理位置分组，使地理位置较近的节点都处于同一个组内。充分 利用了地理上接近的节点连接和访问速度快，资源查询时延小，资源下载速度快的特点。 增加了资源定位的命中率，减少了资源定位的丌销，提高了资源定位的效率。同时，针 对c h o r d 模型忽略了节点间的异构性的缺点，引入了混合模型的分层概念。将节点按照 能力大小分为中心节点、备份节点、普通节点三种类型。上层由中心节点作为超级节点 构成c h o r d 结构化虚拟网络，下层由普通节点、备份节点组成不同的组，分别由各个组 的中心节点集中管理。这样不仅充分利用了节点计算能力和存储能力，而且缓解了大量 c h o r d 环上节点的加入退出带来的巨大网络波动。 1 3 本文的组织结构 本文的组织结构如下： 第一章绪论。 第二章p 2 p 技术概述。 4 第一章绪论 第三章p 2 p 网络模型。 第四章基于c h o r d 的分层p 2 p 网络模型( h p n c ) 的设计。 第五章模型的仿真及性能分析。 第六章总结。 本章小结 本章首先介绍了新时代下网络性能的新需求，从而引出了p 2 p 网络模型研究的必要 性。然后在概述了当前几种主流p 2 p 网络模型的基础上，采用了基于c h o r d 的分层p 2 p 网络模型( h p n c ) 。最后对本文的组织结构进行的概述。 第二：章p 2 p 技术概述 第二章p 2 p 技术概述 “资源在哪罩创建，就到哪罩访问 的愿望促进了p 2 p 网络技术的发展。假设1 0 0 万人要同时访问一个站点，是不是意味着必须构建一个高配置的服务器来满足所有人的 需求? w w w 模型会给一个肯定的回答，而p 2 p 模型的答案是可以将此站点分解到1 0 0 力台p c 上，通过i n t e r n e t 上的协作来进行。这一答案隐含着两个显著的改变：搜索分 布在网络上进行，内容驻留在网络边缘( 而非中心服务器) 。 随着网络技术尤其是宽带技术的发展和普及，传输渠道逐渐不再成为信息传递的瓶 颈，个人电脑软硬件技术的突飞猛进更使得计算能力得到空前的提高，在这种环境下， p 2 p 技术得到充分的发展完全是顺理成章的。 2 1p 2 p 的发展历史 p 2 p 并非一种全新的技术。虽然p 2 p 这个术语是现在才发明的，但p 2 p 本身的基本 技术的存在时间却至少和u s e n e t 、f i d o n e t 这两种非常成功的分布式对等网络技术一 样长，甚至更长些。关键在于，在最初的p 2 p 应用出现时，许多使用该技术的人们甚至 不会使用计算机。u s e n e t 产生于1 9 7 9 年，是一种分布式系统，能够为各个地方提供 新闻组。u s e n e t 最早的雏形由是两名研究生t o mt r u s c o t t 和j i me l l i s 实现的。当时并 没有任何类似于互联网上“随选”信息的概念，文件只能通过电话线批量传送，且常常 选在长途费用比较低的夜间进行。因此，当时的u s e n e t 若采用集中式的控制管理方 法效率将非常低下，于是他们自然而然地提出了一种分散、分布式的管理方法。 早期p 2 p 应用另一个杰出的代表则是f i d o n e t 。它和u s e n e t 类似，也是一个分散、 分布的信息交换系统。t o mj e n n i n g s 于1 9 8 4 年创建了f i d o n e t 系统，来让不同b b s 系 统中的用户们互相交换信息。这种符合人们需要的技术，迅速成长起来，并一直沿用到 今天。 1 9 9 9 年，p 2 p 重新以全新的面貌成为大众的焦点。美国正在读大学一年级的s h a w n f a n n i n g 开发了一个叫n a p s t e r 的软件。这个软件能让乐迷之间方便地共享自己硬盘上的 m p 3 音乐。这个软件通过索引服务器找到需要的m p 3 文件后，它会直接连接拥有该文 件的其他用户主机并下载。这避免了原来集中下载服务器的存储空间和带宽瓶颈。这个 新的应用受到用户的极大欢迎，最高峰的时候注册用户数曾达到8 0 0 0 万。以至于同年 1 2 月美国唱片业协会( r i a a ) 代表环球音乐、索尼音乐、华纳音乐、百代唱片、b m g 等 七大唱片公司以违反版权保护法为由把n a p s t e r 公司告上法庭。他们称n a p s t e r 向网民提 供m p 3 文件共享软件侵犯了音乐版权，要求法院关闭该公司并赔偿损失1 亿美元。虽 大连交通人学i ： 7 - 硕+ 学伊论文 然经过漫长的法律诉讼，n a p s t e r 最终不得不从索引服务器上删除所有受版权保护的条 目。但是p 2 p 的颠覆性力量第一次引起了全世界的瞩目。 就在n a p s t e r 风生水起却横遭版权诉讼的同时，2 0 0 0 年3 月a o l ( 美国在线) 旗下 的n u l l s o f l 在其网站上发布了一款名叫g n u t e l l a 的软件。这个新软件和n a p s t e r 有着类 似的功能，但是不再需要任何中心服务器作资源索引。可以说，这是第一款完全意义上 的p 2 p 软件，推出以后立即受到广泛的关注。但是a o l 当时j 下在试图与时代华纳合并， 而时代华纳正是参与对n a p s t e r 的诉讼人之一。a o l 高层马上就把软件从网站上取了下 来，但是这已经太晚了。很多人喜欢上了它，而黑客们更对它进行逆向工程，并且把源 代码放到了丌源社斟引。这样g n u t e l l a 变成了一套开放协议，各种各样的兼容软件由此 发端。从s w a p p e r 到s h a r e a z a ；从l i m e w i r e 到m o r p h e u s ，甚至是r j s co s 下也有人开 发了c o c o g n u t ，u n i x 下有g t k g n u t e l l a ，节果的m a c o s x 下也有a c q u i s i t i o n x 。g n u t e l l a 家族成为了p 2 p 世界的一颗l 人j 亮新星。 从此以后，p 2 p 软件似乎一发不可收拾。现在大家熟悉的b i t t o r r e n t ，e m u l e ， f a s t t r a c k ，f r e e n e t 等等都是p 2 p 在文件共享领域的良好范例。而除了文件共享以外， p 2 p 也有广阔的应用天地。比如g r o o v e 就是一个对等协作平台。g r o o v e 为用户提供了 一个虚拟的工作空间，在此空间内人们方便地共享信息，即时交互，从而高效地协同工 作。每个g r o o v e 节点都能够创建或者加入或退出某个工作空间，完全是p 2 p 的风格。 微软看好g r o o v e 的前景，在2 0 0 5 年3 月宣布收购g r o o v en e t w o r k s 。而它的创始人， 也就是l o t u s n o t e s 的作者r a yo z z i e 也因此跻身微软的三位c t o 之一。 s e t i h o m e t 9 】则是充分利用分布在网络边缘的计算资源的成功范例。这是u c b e r k e l e y ( 加州大学伯克利分校) 的一个搜寻外星智能的一个项目，他们希望从来自太 空的无线电波中分辨出那些来自外星智能发射的信号。目前从射电望远镜接收到的源源 不断的数据绝大部分都没有得到充分处理，世界还上没有任何一台超级计算机能够胜任 实时分析这些海量信号的计算任务。s e t i h o m e 把信号分析任务分割成很多独立单元， 分布到互联网上数量众多的主机上运算。当加入的节点机空闲时就自动下载有待完成的 任务，并开始计算。完成一个单元后送回结果，再领取新的任务。目前已经有超过5 0 0 万用户参加了这个项目，总计利用了超过2 0 0 万年的c p u 空闲时间。整个项目花费了 5 0 力美元，获得的计算能力达到1 5t e r a f l o p s ( 1 0 1 2 次浮点操作每秒) 。目前最快的超级 计算机也只有1 2t e r a f l o p s 的容量，而且这样的超级计算机价值上亿美元。 8 第_ 二章p 2 p 技术概述 2 2p 2 p 的定义 p 2 p 是p e e r t o p e e r 的缩写，p e e r 在英语里有“对等、同等者、伙伴”等意义，p 2 p 可以理解为“端对端，点对点”的意思，称为对等网络。目前，对于p 2 p 还没有一个统 一的定义，下面是几种比较流行的定义： ( 1 ) i b m 公司认为，p 2 p 系统由若干互联协作的计算机构成，且至少具有如下特征： 系统依存于边缘化( 非集中控制的) 设备的主动协作，每个成员直接从其他成员而 不是从服务器的参与中受益； 系统中成员同时扮演服务器与客户端的角色； 系统应用的用户能够意识到彼此的存在，构成一个虚拟或实际的群体1 0 】【l l 】。 ( 2 ) c l a ys h i r k y1 1 2 1 ：p 2 p 是指能够利用广泛分御在i n t e m e t 边缘的大量计算、存储、 网络带宽、信息、人力等资源的技术。由于访问这些分散的资源是在不稳定的连接和动 态地址的情况下进行的，故p 2 p 节点必须能够独立于d n s 系统之外寻址，并有相当 部分乃至完全的自治。 ( 3 ) m i k em i l e r ：p 2 p 是一个网络体系，其中每个计算机有同等能力和责任。m i l e r 定义了五个关键特性： 网络提供节点间实时的数据传输或者消息传递： 节点即是客户端又是服务器； 网络的内容是由分布的节点提供； 节点具有网络控制权和自治权； 网络允许不总是连接的节点和可能没有永久i p 地址的节点参与。 ( 4 ) p 2 p 工作组：p 2 p 是通过在系统之间直接交换来共享计算机资源和服务。这些资 源和服务包括信息交换、高速缓存、处理能力、存储空间。p 2 p 可以整合这些经济的p c 机上计算力和网络连接，从而提供企业级的计算平台。 ( 5 ) 惠普实验室( h e w l e t t p a c k a r dl a b ) 的m i l o j i c i c 将p 2 p 系统定义为一类采取分布式 方式利用分布式资源完成关键功能的系统。分布式资源包括计算能力、存储空间、数据、 网络带宽以及各种存在的可用资源。关键功能可以是分布式计算、数据内容共享、通信 与协作或平台服务。分布式的方式可以应用到算法、数据、元数据或所有方面，但并不 排除在系统或应用程序的某些部分保留集中式的方式。 虽然上述定义稍有不同，但共同点都是p 2 p 打破了传统的c l i e n t s e r v e r ( c s ) 模式， 在网络中的每个节点的地位都是对等的。每个节点既充当服务器，为其他节点提供服务， 同时也享用其他节点提供的服务。 9 当鎏銮翌查耋! ；翌土鲨兰兰 2 3p 2 p 与c s 的比较 一、 、 、i 1、 aj?，一了 、) 。= _ 0 1 j 、。 、 ( 、： i 、心迄7 “k 辆$ 一m d 叫n ) 一4 钿m o 埘 图21p 2 p 与c s 拓扑结构的比较 f i g2 1 t h ec o m p a r i s o nb e t w e e n p 2 p a n d c s t o p o l o g y 目前流行的计算模式是c s 模式，图2 1 ( a ) 是一个典型的c s 模式的体系结构。 c s 结构具有如下特点： 集中计算方式，信息和数据都保存在服务器端。只有服务器具有控制能力，客户 端基本上只是一个高性能的i o 设备。 服务器及网络的带宽决定了网络的性能。每台服务器所提供的信息数量受到自身 存储空间的限制，而任意时刻它所能支持的客户端访问数量则受到自身处理能力以及网 络吞吐量的限制。 u r l 用来表示信息资源的地址，但是u r l 很少能直接体现所定位信息的内容 甚至不能直接连接到具体的内容上。 被发布的信息的存储与管理比较集中，互联网上所有可以公开访问的信息基本上 都保存在服务器上，服务器根据适当的算法和规则管理本地信息，应答客户端的访问请 求或进行计算。 p 2 p 模式是非中心结构，如图21 ( ”，它与c s 模式有明显的差别。 每个对等点具有相同的地位，既可以请求服务也可以提供服务t 同时扮演着c s 模式中的服务器和客户端两个角色，还可以具有路由器和高速缓冲存储器的功能，从而 弱化了服务器的功能，甚至取消了服务器。 第一：章p 2 p 技术概述 p 2 p 技术可以使得非互联网的用户很容易的加入到系统中。在p 2 p 的计算环境中 任何设备，从大型机到移动电话，甚至传呼机，均可以在任何地点方便的加入进来。p 2 p 技术不仅可以应用于有线网络，还可以应用于无线计算技术。 v 2 p 模式的网络中，每一个对等体可以充分利用网络上其他对等体的信息资源， 如处理器周期、高速缓存和磁盘空间等。 p 2 p 技术是基于内容寻址的方式，这罩的内容不仅包括信息的内容，还包括空闲 机时、存储空间等。p 2 p 网络中，用户直接输入要索取的信息的内容，而不是信息的地 址。p 2 p 软件将会把用户的请求翻译成包含此信息的节点的实际地址，而这个地址对用 户来说是透明的。 p 2 p 中的每一个对等体通常没有固定的i p 地址，且可常常从网络上断开。 信息的存储及发布具有随意性，缺乏集中管理。 通过上面的比较，可以看出p 2 p 模式相对于c s 模式的一些主要优点【1 3 】【1 4 】： p 2 p 模式最主要的优点就是资源的高度利用率。在p 2 p 网络上，闲散资源有机会 得到利用，所有节点的资源总和构成了整个网络的资源，整个网络可以被用作具有海量 存储能力和巨大计算处理能力的超级计算机。c s 模式下，即使客户端有大量的闲散资 源，也无法被利用。 随着节点的增加，c s 模式下服务器的负载就越来越重，形成了系统的瓶颈，一 旦服务器崩溃，整个网络也随之瘫痪。而在p 2 p 网络中，每个对等体都是一个活动的参 与者，每个对等体都向网络贡献一些资源，如存储空间、c p u 周期等。所以对等点越多， 网络性能越好，网络随着规模的增大而越稳固。 基于内容的寻址方式处于一个更高的语义层次，因为用户在信息搜索时只需指定 具有实际意义的信息标识而不是物理地址。这将创造一个更加精炼的信息仓库和一个更 加统一的信息标识方法。 信息在网络设备间直接流动，高速及时，降低中转服务成本。 c s 模式下的互联网完全依赖于中心点，即服务器，没有服务器，网络就没有任 何意义。而p 2 p 网络中，弱化服务器的功能，甚至取消服务器，任意两台p c 互为服务 器客户机，即使只有一个对等点存在，网络也是活动的，节点所有者可以随意地将自己 的信息发布到网络上。p 2 p 的技术方式将导致信息数据成本资源向所有用户的p c 均匀 分布，即“边缘化趋势。 大连交通人学t 学硕十学位论文 表2 1p 2 p 与c s 的比较 t a b l e 2 1t h ec o m p a r i s o nb e t w e e np 2 pa n dc s 比较内容 p 2 pc s 数据发布好差 数据接收 由 好 数据互动性好 差 数据及时性 好差 数据安全性差好 数据更新好差 数据质量 由 好 数据覆盖率和数量差好 数据成本控制好差 数据管理方便性 差 好 2 4p 2 p 的特点 p 2 p 技术的特点体现在以下几个方面l ”j ： ( 1 ) 非d p 心化 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直接在节点之 间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。即使是在混合p 2 p 中， 虽然在查找资源、定位服务或安全检验等环节需要集中式服务器的参与，但主要的信息 交换最终仍然在节点中间直接完成。这样就大大降低了对集中式服务器的资源和性能要 求。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方面的优势。 ( 2 ) 可扩展性 在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资源和服务 能力也在同步地扩充，始终能较容易地满足用户的需要。整个体系是全分布的，不存在 瓶颈。理论上其可扩展性几乎可以认为是无限的。 ( 3 ) 健壮性 在互联网上随时可能出现异常情况，网络中断、网络捌塞、节点失效等各种异常事 件都会给系统的稳定性和服务持续性带来影响。p 2 p 架构天生具有耐攻击、高容错的优 点。由于服务是分散在各个节点之间进行的，部分节点或网络遭到破坏对其它部分的影 响很小。p 2 p 网络一般在部分节点失效时能够自动调整整体拓扑，保持其它节点的连通 第一二章p 2 p 技术概述 性。p 2 p 网络通常都是以自组织的方式建立起来的，并允许节点自由地加入和离开。p 2 p 网络还能够根据网络带宽、节点数、负载等变化不断地做自适应式的调整。 ( 4 ) 高性能价格比 性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发展，个人计算机的 计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用p 2 p 架构可以有效地 利用互联网中散布的大量普通节点，将计算任务或存储资料分御到所有节点上。利用其 中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。通过利用网络中的 大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 ( 5 ) 隐私保护 随着互联网的普及和计算存储能力飞速增长，收集隐私信息正在变得越来越容易。 隐私的保护作为网络安全性的一个方面越来越被大家所关注。在p 2 p 网络中，由于信息 的传输分散在各节点之间进行而无需经过某个集中环节，用户的隐私信息被窃听和泄漏 的可能性大大缩小。此外，目前解决i n t e m e t 隐私问题主要采用中继转发的技术方法， 从而将通信的参与者隐藏在众多的网络实体之中。在传统的一些匿名通信系统中，实现 这一机制依赖于某些中继服务器节点。而在p 2 p 中，所有参与者都可以提供中继转发的 功能，因而大大提高了匿名通讯的灵活性和可靠性，能够为用户提供更好的隐私保护。 ( 6 ) 负载均衡 p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对传统c s 结构服务 器计算能力、存储能力的要求，同时因为资源分布在多个节点，更好的实现了整个网络 的负载均衡。 ( 7 ) 信息资源丰富 任何p 2 p 网络用户能够扫描活动节点并搜索需要的信息，然后直接从这个节点上下 载信息。用户可以在他们的机器上把下载的信息共享出来，这样，请求率高的文件能够 很快地在许多节点上扩展开来。在一个开放网络环境下，p 2 p 网络能够很快积累相当丰 富的信息。 ( 8 ) 冗余和容错 p 2 p 网络的多个节点间的信息复制导致高度冗余，其直接结果是提高了信息的可用 性，使之为更多的用户提供服务。另外，冗余使得网络不会产生单点失效问题，所以分 散式的p 2 p 网络提高了网络的容错和安全。 ( 9 ) 基于内容的寻址 在w e b 上，u r l 地址并不能直接反映它们的内容。但在p 2 p 网络中，存储特定信 息的节点地址对于用户是透明的，用户向网络提交查询请求时，请求信息中便包括需要 大连交通火学丁学硕+ 学伊论文 查询的信息，p 2 p 软件把请求转换成存放这些信息的节点地址，所以把信息按照内容分 类后再分布在网络上，这更易于信息资源的查找。 ( 10 ) 有效的搜索 w e b 搜索引擎存在一些问题，因为这些搜索引擎依赖执行程序在i n t e m e t 上进行搜 索，得到的信息存储在巨大的、可扩展的数据库中。这些信息仅包括开放的服务器，并 且数据库不会随着网络状态动态更新。但在p 2 p 网络中，任何节点的信息只有当节点在 线的时候才被加入指针表，因此指针表信息与网络状态同步。p 2 p 网络不依赖搜索程序 重新访问链接来修改数据库信息，这种动态信息和对信息的有效搜索使得p 2 p 具有显著 优势。 2 5p 2 p 的应用 p 2 p 引导网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从中央服 务器向网络边缘的终端设备扩散：服务器到服务器、服务器到p c 机、p c 机到p c 机、 p c 机到w a p 手机所有网络节点上的设备都可以建立p 2 p 对话。这使人们在i n t e m e t 上的共享行为被提到了一个更高的层次，使人们可以用更主动、更深刻的方式参与到网 络中去，j 下如第二代互联网之父d o u g v a nh o u w e l i n g 在中国之行时说到的： “下一代 互联网民们将真正参与到网络中来，每个人都能为网络的资源和功能扩展做出自己的贡 献”。p 2 p 给互联网的分布、共享精神带来了无限的遐想，有观点认为至少有1 0 0 种应 用能被开发出来，但从目前的应用来看，p 2 p 的威力还主要体现在大范围的共享、搜索 的优势上。 从目前的情况来看，p 2 p 的主要应用如下： ( 1 ) 即时通信 即时通信技术是网络中重要的通信技术，如典型的i c q ，q q 等。从某种意义上说， 即时通讯应用将超过文件共享应用成为p 2 p 网络技术的第一大应用。与i r c 、b b s 、 w e b 聊天室相比，p 2 p 的即时通讯软件不仅可以随时知晓对方是否在线，而且交流双方 的通讯完全是点对点进行，不依赖服务器的性能和网络带宽。节点之间直接进行数据通 信。尽管目前的即时通讯技术一般都具有中心服务器，但中心服务器仅是用来控制用户 的认证信息，帮助完成节点之间的初始连