（计算机应用技术专业论文）p2p文件共享网络安全性研究.pdf

南京邮l u 人学硕十研究生学位论文 摘要 摘要 p 2 p 技术在得到广泛应用的同时，也暴露出诸多问题。而安全问题是最为严重的问题 之一。由于p 2 p 文件共享网络的匿名性和不确定性，使得节点之间难以建立良好的信任关 系，所以网络中普遍存在搭便车、合谋欺诈等恶意行为。另外，网络蠕虫可以借助p 2 p 文 件共享网络得以快速传播，从而对整个网络构成很大威胁。 本文的目的在于提出一种以良好信任关系为基础的安全模型，以抑制网络中的恶意行 为和蠕虫的传播。在总结和分析了国内外相关研究工作的基础上，本文提出了一种基于信 誉度的p 2 p 文件共享网络安全模型。该安全模型以一种改进的信任模型为基础，使用一个 反合谋欺诈模块检测合谋节点并更新节点的评价信誉度，利用蠕虫行为检测模块检查蠕虫 行为节点并按照合谋节点集的大小更新节点的服务信誉度。另外，通过引入信誉矩阵细化 了信任因素，并建立了服务信誉链和评价信誉链，使节点能够更快地找到高服务信誉度或 者高评价信誉度的节点。仿真实验的结果表明，本文提出的安全模型能够更加准确地反映 节点的真实信誉度，能够较好的控制蠕虫行为的扩散，并且，在相对复杂的网络环境下， 节点的文件下载成功率得到明显提升。 关键词：p 2 p ，信誉度，安全，文件共享 南京邮i 【 人学颀j ：f i j f 究生学位论文 a b s t r a c t a b s t r a c t a l t h o u g hp 2 pt e c h n o l o g yi sw i d e l ya p p l i e d ，i th a sm a n yp r o b l e m s e s p e c i a l l y , t h es e c u r i t y i s s u ei so b eo ft h em o s ts e r i o u sp r o b l e m s b e c a u s eo ft h ea n o n y m i t ya n du n c e r t a i n t yo fp 2 pf i l e s h a r i n gn e t w o r k s ，i ti s d i f f i c u l tt oe s t a b l i s hag o o dt r u s tr e l a t i o n s h i pb e t w e e nn o d e s t h u s ， m a l i c i o u sa c t ss u c ha sf l e e r i d e r , c o n s p i r a c yc h e a ta r ep r e v a l e n ti np 2 pf i l es h a r i n gn e t w o r k s i n a d d i t i o n ，w o r m sc a na c h i e v ef a s tp r o p a g a t i o nb ym a k i n gu s eo fp 2 pf i l es h a r i n gn e t w o r k s ，w h i c h p o s es e r i o u st h r e a t st ot h ei n t e r n e t r e s e a r c ho ft h i st h e s i sa i m sa tb u i l d i n gas e c u r i t ym o d e lb a s e do ng o o dt r u s tr e l a t i o n s h i pt o r e d u c et h em a l i c i o u sb e h a v i o r sa n di n h i b i ts p r e a do fi n t e r n e tw o r m s o nt h eb a s i so fr e l e v a n t r e s e a r c h e sa td o m e s t i ca n da b r o a d ，ar e p u t a t i o n - b a s e ds e c u r i t ym o d e lo fp 2 pf i l e s h a r i n g n e t w o r k si sp r o p o s e d t h em o d e lu s e sa ni m p r o v e dt r u s tm o d e l a n t i c o n s p i r a c yc h e a tm o d u l e ( a c c m ) i su s e dt od e t e c tc o n s p i r a c yn o d e sa n du p d a t et h ee v a l u a t er e p u t a t i o no ft h e s en o d e s a c c o r d i n gt ot h es i z eo ft h ec o n s p i r a c yn o d es e t a n dw o r mb e h a v i o rd e t e c t i o nm o d u l e ( w b d m ) i sp r e s e n t e dt oc h e c kt h ee x i s t e n c eo fn o d e sa n du p d a t et h es e r v i c er e p u t a t i o no ft h e s en o d e st h a t h a v ew o r mb e h a v i o r b e s i d e s ，t r u s tf a c t o r sa r er e f i n e db yi n t r o d u c i n gt h er e p u t a t i o nm a t r i x m e a n w h i l e ，i ti se a s yt of i n dh i g h q u a l i t yn o d e sb yu s i n gs e r v i c er e p u t a t i o nc h a i n ( s r c ) a n d e v a l u a t er e p u t a t i o nc h a i n ( e r c ) r e s u l t so fs i m u l a t i o ne x p e r i m e n t ss h o wt h a tt h es e c u r i t ym o d e l p r o p o s e di nt h i st h e s i sc a na c c u r a t e l yr e f l e c tt r u er e p u t a t i o no fn o d e sa n db e t t e rc o n t r o lt h e s p r e a d o fw o r mb e h a v i o r a d d i t i o n a l l y , t h es u c c e s s f u lr a t eo ff i l e - d o w n l o a di s i m p r o v e d s i g n i f i c a n t l yi nr e l a t i v e l yc o m p l e xn e t w o r ke n v i r o n m e n t k e y w o r d s ：p 2 p , r e p u t a t i o n ，s e c u r i t y , f i l es h a r i n g 南京邮电大学学位论文原创性：声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示了谢意。 研究生签名：白：邀日期：丝主：竺：! 乡 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本文电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以 公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权南京邮电大学研 究生部办理。 研究生签名：遴导师签名遗唣一r 期：i ! 晕盟 南京邮【1 人学硕i d i 3 d z 生学位论义第一章绪论 第一章绪论 1 1 论文研究工作的实际意义 在最近的几年里，p 2 p 技术迅速成为计算机界关注的热门话题之一，i n t e l 公司将其誉 为第三代网络革命，美国财富杂志更将p 2 p 列为影响i n t e r n e t 未来的四项科技之一。 p 2 p 非常强调一个词：s e r v e r l e s s 。微软对s e r v e r l e s s 这个词的解释是：“n os e r v e r , b u t w o r k sb e t t e rw i t hs e r v e r ，也就是说“没有服务器，但比使用服务器工作的更好”。这或许 是对s e r v e r l e s s 概念比较精辟的概括，与传统c s 模式不同，在p 2 p 网络中，每个节点的 地位都是对等的。每个节点既是资源提供者，同时也是资源使用者。正是因为这种不同， 使得p 2 p 网络能够充分利用网络中众多终端节点所蕴含的处理能力和潜在资源，从而大幅 度提高了网络中带宽和资源的利用率。在p 2 p 技术的推动下，互联网存储模式将出现在的 “内容位于中心”的模式转变为“内容位于边缘”模式。p 2 p 技术现在正广泛的应用于文 件共享、对等计算、流媒体等多个领域。但是在p 2 p 技术越来越广泛的应用中，不可避免 地要涉及到合法性、安全、控制等问题。而对于p 2 p 网络庞大的用户群，其安全性显得尤 为重要。 本文研究工作的重点就在于p 2 p 文件共享网络的安全性。全面介绍p 2 p 文件共享网络 的安全问题，并在此基础上提出了一种基于信誉度的p 2 p 文件共享网络安全模型。 1 2p 2 p 技术应用现状 当前，p 2 p 应用已经成为互联网的主要应用之一，p 2 p 模式也成为许多新型业务的首 选模式。p 2 p 技术被广泛应用于文件共享、网络视频、网络电话等领域，以分布式和内容 边缘化的特点，为用户提供了更多的资源、更高的可用带宽以及更好的服务质量。p 2 p 节 点不依赖中心节点而是依靠网络边缘节点，实现自组织与对等协作的资源发现和共享，因 此拥有自组织、可扩展性、鲁棒性、容错性以及负载均衡等优点。根据c a c h e l o g i c 公司的 统计数据表明，p 2 p 已经占据了5 0 以上的网络带宽，而全球最热门的p 2 p 文件共享软件 e m u l e 和b i t t o r r e n t 产生的流量占了p 2 p 总流量的5 0 以上。此外，p p l i v e 和c o o l s t r e a m i n g 等实时的流媒体应用发展也极其迅速，用户数目迅速增长。可以预见，随着使用p 2 p 实时 流媒体( p 2 p t v ) 用户数目的迅速增加，p 2 p 技术将得到更加广泛的应用。 国外著名的s e t i ：h o m e 科学实验便是个基于分布式计算的搜索外星文明的项目， 1 南京i l l l - j 1 1 人学顾i j 研究生学位论文第一审绪论 在这个项目中，每个志愿者都可以贡献自己闲置的计算能力。在最近成为热点的“云计算”， 实际上也可以看作p 2 p 分布式计算的发展。谷歌( g o o g l e ) 公司c e o 埃里克施密特博士表 示，目前全球计算机正在发生重要改变，云计算将取代传统以p c 为中心的计算。2 0 0 8 年 2 月1 日，i b m 宣布将在中国无锡太湖新城科教产业园建立第一个云计算中，t 二, ( c l o u d c o m p u t i n gc e n t e r ) 。i b m 与无锡市政府联合宣称，这将是全球第一个实现商业运营的云计 算中心。 另外，操作系统w i n d o w sv i s t a 中也有p 2 p 技术的应用。v i s t a 中有一项新的协作功能， 使笔记本电脑能够与附近的计算机共享信息。微软在v i s t a 中集成了一款基于“p e o p l e n e a rm e ”技术的软件w i n d o w sm e e t i n gs p a c e ，使用户能够共享和浏览文件。w i n d o w s v i s t a 中已经包括了称为t e r e d o 的点对点扶持技术。而对于即将推出的w i n d o w s7 ，微软正 在考虑加入这样的功能：分布式散列表( d i s t r i b u t eh a s ht a b l e ，d h t ) 和一些所谓的“绿色 p 2 p ”技术。 国内一些学术机构也对p 2 p 技术展开研究并开发出一些p 2 p 系统，例如北京大学网络 实验室开发的对等计算文件共享系统m a z e 、清华大学自主开发的g r a n a r y 对等计算存储服 务系统以及华中科技大学研发的视频直播系统a n y s e e 。目前，国内p 2 p 的应用主要围绕 两个方向：内容发布和即时通信。和国外p 2 p 市场的多点开花的竞争态势有所不同，国内 p 2 p 市场的竞争焦点相对集中，无论公司实力还是用户规模，即时通信类产品与内容发布 交换类产品都占据明显的优势。竞争焦点的集中加速了同类产品的优胜劣汰，对这两类p 2 p 产品整体水平的提高起到了重要的作用。目前，国内市场上主要有完全免费产品： w o r k s l i n k 、p o c o 、k u g o o 、e z p e e r 、百宝、q q m e s s e n g e r 、k d t 个人版；部分收费产品： k u r o 、o p e n e x t 、p p 点点通、q q 、k d t 企业版等等。p 2 p 流媒体的推出最早流行于校园网 络。借助p 2 p 流媒体的技术，使得校园学生可以通过网络观看视频、相互共享流资源。于 是近乎一夜之间，p 2 p 流媒体火爆起来，人们可以方便的通过网络收看直播节目( 如体育比 赛、大型活动等) 、收看影视剧、综艺节目等，p 2 p 流媒体的发展为p 2 p 应用的打丌了个 新的商业模式。 1 3 主要研究工作和内容安排 本文的主要研究工作和内容安排如下。 第一章：介绍本论文工作的实际意义和p 2 p 技术的应用现状。 第二章：主要介绍p 2 p 网络的技术背景、网络结构、应用，另外对c h o r d 相关知识做 2 雨京邮i 【1 人学顾l ：研歹生学位论文第一章绪论 简单介绍。 第三章：论述当前p 2 p 文件共享网络中存在的主要安全问题。 第四章：提出一种基于信誉度的p 2 p 文件共享网络安全模型，模型的提出旨在建立一 种以良好信任关系为基础的安全模型。该模型以一个改进的信任模型为基础，反合谋欺诈 模块和蠕虫行为检测模块分别与评价信誉度和服务信誉度相联系，通过信誉度的控制来抑 制网络中的反合谋欺诈行为和蠕虫的传播。 第五章：主要对本文提出的网络安全模型进行仿真模拟实验，并对仿真结果数据进行 了分析。 3 南京邮l u 人学顺，1 ：4 , j f y 生学位论文 第二章p 2 p 刚络概述1 jc h o r d 介绍 第二章p 2 p 网络概述与c h o r d 介绍 2 1p 2 p 技术背景 从某种意义上讲，p 2 p 联网并不是一项新的技术，甚至可是说它丌始于2 0 世纪6 0 年 代后期a r p a n e t 建立之初，这个物理网络的目标是共享在不同美国研究机构间的计算资 源和文档。在这个原始系统中，没有什么东西像一台典型的客户端或一台典型的服务器。 每台主机被等同地对待，所以，从这一方面看，可以把它看成第一个p 2 p 网络。尽管这个 网络不是自组织的，也没有建立重叠网。1 9 7 9 年开发的u s e n e t 协议协助进行内容组织并 提供一种自组织方法，由参与用户通过一个严格的进程来添加或取出新闻组服务器。但是， 这个应用本身仍然是一个典型的客户端服务器应用【l 】。 大约1 9 9 9 年5 月，随着s h a w nf e n n i n g 引入n a s p t e r 用于音乐和文件共享应用，用户 不仅可以使用和下载所含内容，而且还可以通过i n t e m e t 向其他参与用户奉献自己的内容。 但是由于版权的问题，n a s p t e r 成为美国唱片工业协会( r e c o r d i n gi n d u s t r ya s s o c i a t i o no f a m e r i c a ，r i a a ) 的诉讼目标。2 0 0 0 年3 月，n u l l s o f i 公司将g n u t e l l a 应用作为一项开放资 源项目而发行。在其发行之后，大量的p 2 p 协议产生，例如a u d i o g a l a x y ，f a s t t r a c k k a z a a ， i m e s h 和f r e e n e t 。这些具有第二层动态路由架构的p 2 p 网络被称为第二代p 2 p 网络，甚至 在今天，第二代p 2 p 协议仍在广泛应用。 在2 0 0 3 年5 月，基于f a s t t r a c k 协议的应用只产生了较少的流量，而另一方面如g n u t e l l a 或e d o n k e y 的总流量反而增加了，另外，由b i t t o r r e n t 网络产生的流量增加显著，并在2 0 0 4 年底，它生成了绝大部分的流量。 第三代p 2 p 网络的研究开始于2 0 0 1 年内，其主要特征是使用基于d h t 的先验式路由 算法。它可以确保无论一个特定用户当前是否在线，该用户都能够快速建立一个呼叫并从 重叠网接收到一个专有的应答。 p 2 p 网络技术的不断发展导致越来越多的智能性技术分布于整个网络，并被拓展到需 要的其他地方，即网络边缘。从目前来看，这种趋势仍然没有停止。p 2 p 技术的许多其他 未来应用领域当然也包括自组织协作坏境、与移动网络相关联的基于上下文和位置的服 务，特别是m a n e t 、p 2 p 流媒体或主动网络环境的自组织。 4 南京邮i u 人学顾，l j 研究生学位论文第二章p 2 p 刚络概述。jc h o r d 介绍 2 2p 2 p 网络拓扑结构 p 2 p 网络拓扑结构是指p 2 p 网络中各个计算单元之间的物理或逻辑的互连关系。p 2 p 网络主要有四种拓扑结构模型：集中式网络拓扑模型、纯分布式p 2 p 网络拓扑模型、混合 p 2 p 网络拓扑模型和结构化p 2 p 网络拓扑模型。 ( 1 ) 集中式p 2 p 网络模型 ：对等节点：中心服务器i q ：请求r ：应答d ：文件下载 图2 1 集中式p 2 p 网络模型 集中式p 2 p 网络模型是最早出现的p 2 p 网络应用模型。图2 1 为集中式网络模型图， 在这种模型中的中心实体是必要的，中心实体是某种索引或者分类的数据库。用于共享 m p 3 音乐文件的n a p s t e r 是其中最典型的代表。 集中式p 2 p 模型最大的优点是管理和控制易于实现。由于资源的发现依赖中心化的目 录系统，发现算法灵活高效并能够实现复杂查询。最大的问题容易造成单点故障，另外， 当用户数量激增后，网络的处理能力受限于中心服务器节点的效率。 ( 2 ) 纯p 2 p 网络模型 南京邮i u 人学硕l j 研究生学位论文第二帝p 2 p 网络概述jc h o r d 介绍 图2 2 纯分布式p 2 p 网络模型 图2 2 为纯分布式网络模型图，这种网络模型能够去掉任何终端实体而不损失功能性， 不存在中心实体，每个节点都随机维护自己本地局部的拓扑连接，采用基于完全随机图的 “洪泛”发现和随机转发机制。为了控制搜索消息的传输范围，一般在模型中引入生存时 间( t i m et ol i v e ，t t u 的概念。 这种结构模型的优点是能够较快的发现目标节点，而且对于网络的动态变化体现了较 好的容错能力。但是该模型有个明显的缺点，由于“洪泛”发现和随机转发机制的采用， 使得在网络规模不断扩大后，网络流量会急剧增加，从而导致网络中部分低带宽的节点因 过载而失效。 ( 3 ) 混合式p 2 p 网络模型 图2 3 混合式p 2 p 网络模型 图2 3 为混合式p 2 p 网络模型图，该模型在纯p 2 p 网络模型的基础上引入了超级节点 的概念。它是一个层次式结构，超级节点之间构成一个高速转发层，超级节点和所负责的 6 堕塞! ! ! ! ! ! ! 叁堂塑! 型! 壅竺堂垡堡塞笙三至丝! 型丝塑堕兰竺! ! 型坌塑 普通节点构成若干层次。该模型综合了集中式p 2 p 网络快速查找和纯p 2 p 网络去中心化的 优势。模型中将节点分为普通节点和搜索节点两类。由于普通节点的文件搜索先在本地所 属的一定范围内进行，只有在查询结果不充分的时候，再通过搜索节点之间进行有限的“洪 泛”搜索，这样就极为有效的消除了纯p 2 p 网络模型中使用“洪泛”算法带来的网络拥塞 等不利影响。 综合来看，基于超级节点的混合式p 2 p 网络模型与以往的网络结构相比有了很大的改 进，其优点是性能可扩展性较好、较容易管理。但是超级节点容易受到攻击，整个网络对 超级节点的依赖性大。 ( 4 ) 结构化p 2 p 网络模型 以上三种网络模型都是非结构化的p 2 p 网络模型。还有一种是结构化网络模型，在这 种模型中采用分布式索引的技术将每个节点所维护的邻居节点按照某种特定的规则组织 起来的，而不是像纯p 2 p 模型中所采用的随机的方式。结构化p 2 p 网络采用纯分布式消息 传递机制和根据关键字进行查找的服务定位模型，目前普遍采用的是d h t 技术。为了能 在分稚式散列表中存储和访问数据，一个节点首先需要加入分布式散列表，而新节点的到 达会导致散列表的基础结构发生变化，其中路由信息和数据分御都需要调整。在这个阶段， 新节点能够将数据项插入到分布式散列表中，并从中检索数据。为了预防节点失效或离丌 系统，d h t 需要检测这种情况并对其进行适当地调整。 该模型采用了确定性的拓扑结构，能自适应节点的动态加入和退出，因此有良好的可 扩展性和健壮性。并且，d h t 可以提供精确的发现，只要目的节点存在于网络中d h t 网 络总能发现它，查找的准确性得到了保证。最经典的案例是c h o r d 6 1 ，t a p e s t r y 7 1 ，c a n s i ， p a s t r y 9 1 。但是，该模型存在诸如维护机制复杂、难以支持复杂查询等不足。 2 3p 2 p 技术的特点 ( 1 ) 分散性 在p 2 p 网络中，资源和服务分散在所有节点上，信息的传输和服务的实现都直接在节 点之间进行，因此可以在很大程度上避免c s 模式中的中心服务器节点存在的瓶颈。尽管 在混合p 2 p 网络结构中查找资源、定位服务和安全检验等环节都需要集中式服务器的参与， 但是在最终信息数据依然是在对等节点之间直接传送的，这样可以大大减少对网络中集中 式服务器性能和资源等方面的依赖性。 ( 2 ) 可扩展性 7 堕室业! ! 叁兰竺! 型! ! ! 竺兰垡笙苎笙= 三主垦! 型塑堂堕：竺! ! 型坌塑 传统c s 网络架构中，网络容纳的用户数量和能力主要受中一t 二, t l 务器的限制。为了满 足互联网上越来越多的用户的需求，需要在服务器端使用大量高性能的计算机，并使用高 带宽的线路。而在p 2 p 网络中，新节点可以随时方便地加入到网络中，而且随着用户的加 入，不仅对服务的需求增加了，系统整体的资源和服务能力也在同步地扩充，始终能较容 易地满足用户的需要。对于纯p 2 p 来说，理论上整个体系是全分布的，不存在瓶颈。 ( 3 ) 健壮性 p 2 p 架构具有耐攻击、高容错的优点。由于服务是分散在各个节点之间进行的，部分 节点或网络遭到破坏对其它部分的影响很小。p 2 p 网络般在部分节点失效时能够自动调 整网络拓扑以保持其它节点的连通性。p 2 p 网络通常都是以自组织的方式建立起来的，允 许节点自由地加入和离开。p 2 p 网络还能够根据网络带宽、节点数、负载等变化不断地做 自适应式的调整。 ( 4 ) 高性价比 性价比高是p 2 p 被广泛关注的一个重要原因。采用p 2 p 架构可以有效地利用互联网中 散布的大量普通节点，将计算任务或存储资源分布到所有节点上。p 2 p 技术可以充分利用 网络中闲置的计算能力或存储空间，从而达到高性能计算和海量存储的目的。与c s 架构 中花费大量人力物力和时间架设高性能服务器和高带宽线路的代价相比，使用p 2 p 架构实 现这种高性能计算和海量存储的代价要小的多。 ( 5 ) 自治与临时性 p 2 p 网络中的节点是自治的，节点可以自由加入和退出。而且，网络中节点之间的协 作关系是一种临时性的关系，在节点退出网络后，这种协作关系也就不复存在了。 2 4p 2 p 技术的典型应用 p 2 p 技术引导网络计算模式从集中式向分布式转移，也就是说网络应用的核心从中央 服务器向网络边缘的终端设备扩散：服务器到服务器、服务器到p c 机、p c 机到p c 机， p c 机到w a p 手机。所有网络节点上的设备都可以建立p 2 p 会话。这使人们在i n t e r n e t 上的共享行为被提到了一个更高的层次，使人们以更为主动的方式参与到网络中去。也许 正如第二代互联( i n t e r n e t2 ，1 2 ) 之父d o u g v a nh o u w e l i n g 所说到的那样：“下一代互联 网的网民们将真币参与到网络中来，每个人都能为网络的资源和功能扩展做出自己的贡 献。” 从目前的应用来看，p 2 p 的作用主要体现在大范围的共享、搜索、分档式计算的方面， 塑室些! ! 叁兰竺! 型! 壅竺兰竺笙兰笙三! 望塑垒墼鲨! ! 竺! 竺型坌堡 主要包括以下几大类型的应用：分布式计算、协同工作、搜索引擎、内容发布、分布式存 储、网络电视与i p 电话。 ( 1 ) 分布式计算 p 2 p 技术应用于分布式计算主要是在对等节点之间共享各自的c p u 周期，将复杂的计 算问题分解成为很多个同时运算并且交互较少的运算块。采用p 2 p 技术的分布式计算，可 以将网络中的众多计算机暂时不用的计算能力联合起来，使用积累的能力执行超级计算机 的任务。简单地说，对等计算就是网络上c p u 资源的共享，因此任何需要大量数据处理的 行业都可从对等计算中获利，如天气预报、动画制作、基因组的研究等，有了对等计算之 后，在许多计算领域就不再必须购买昂贵的超级计算机。在硅谷现在有许多公司正在投入 对等计算的开发，如p o p u l a rp o w e r ，c e n t r a t a ，u n i t e dd e v i c e s ，e n t r o p i a 等，并获得了巨大 的风险资会。i n t e l 也利用对等计算技术来设计其c p u ，由于目前对等计算的发展是以个人 计算机( p e r s o n a lc o m p u t e r , p c ) 资源的有效利用为根本出发点的，因此自然也受到i n t e l 的极 力推崇。 s e t i h o m e 项目( 简称为s h 或s e t i ) 是至今最成功的分布式计算项目，它由美国加 利福尼亚大学伯克利分校在1 9 9 9 年发起。s e t i h o m e 通过分析从射电望远镜传来的数据 来搜寻地外文明。s e t i 的早期版本截至2 0 0 5 年已经吸引了5 4 3 万用户，分析了大量积压 数据。正如宇宙的浩瀚一般，需要计算的数据( 即存在宇宙空间中无数的无线电信号) 也是 海量的。可以毫不夸张地说，这几百万台终端组成了一个目前最快的高性能计算机都望尘 莫及的“超级计算机 。 在最近一段时间成为热点的“云计算”，也可以看做是分稚式计算的发展，云计算( c l o u d c o m p u t i n g ) 是分布式处理( d i s 试b u t e dc o m p u t i n g ) 、并行处理( p a u r a l l e ic o m p u t i n g ) 和网格计算 ( g r i dc o m p u t i n g ) 的发展，或者况是这些计算机科学概念的商业实现。云计算的基本原理是， 通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中 心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问 计算机和存储系统。云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一 个成员使用。 ( 2 ) 协同工作 这一类应用是在对等节点之间共享各自的工作空问。网络的出现，使公司中不同部门 的协同工作成为可能。w e b 方式虽然从系统建立和维护角度为办公工作提供了相当大的便 利，但从另一个角度说，集中式的管理也给服务器带来了极大的负担，而且支出也相当昂 贵。p 2 p 技术的出现，使得互联网上任意两# p c 都可以建立实时的联系， g r o o v e n e t w o r k s 9 塑皇! ! ! ! ! ! ! 厶堂! 堕! 型! 塑竺堂垡堡苎笙三至望塑! ! 些垄：兰里1 2 型坌塑 开发g r o o v e 就是这样一个分散的能使小组之间交互的协作平台。g r o o v e 框架是一种网络中 断时有服务器干涉的对等网络。它提供可下载的客户端软件，该软件允许用户与网络上的 其他人一起建立所谓的“共享空间 ，而且g r o o v e 对包括达成通信协作的最初请求在内的 所有通信都进行加密，以确保共享空间的安全。 与c s 和基于w e b 的解决方案不同，g r o o v e 并不需要中央管理或服务器资源。g r o o v e 的共享空间是动态的，并且旦用户确定没有使用这些空间的必要，它们可以立刻注销，从共 享空间中消失。而且g r o o v e 并非基于某个固定的界面来建立协作，而是使用可扩展标记语 言( e x t e n s i b l em a r k u pl a n g u a g e ，x m l ) 来显示信息并只传递在工作组协作中发生变更的部 分。 ( 3 ) 搜索引擎 p 2 p 技术使用户能够深度搜索文档，而且这种搜索无需通过w e b 服务器，也可以不受 信息文档格式和宿主设备的限制，可达到传统目录式搜索引擎( 只能搜索到2 0 一3 0 的 网络资源) 难以达到的深度( 理论上将包括网络上的所有开放的信息资源) 。以p 2 p 技术 发展的另一先锋g n u t e l l a 进行的搜索为例：一台p c 上的g n u t e l l a 软件可将用户的搜索请 求同时发给网络上另外1 0 台p c ，如果搜索请求未得到满足，这1 0 台p c 中的每一台都会 把该搜索请求转发给另外1 0 台p c ，这样，搜索范围将在几秒钟内以几何级数增长，几分 钟内就可搜遍几百万台p c 上的信息资源。可以说，p 2 p 为互联网的信息搜索提供了全新 的解决之道。著名的搜索引擎公司g o o g l e 也宣称要采用p 2 p 技术来改进其搜索引擎，一 家名为i n f r a s e a r c h 的新建公司也因为开发p 2 p 技术的搜索引擎而获得了一笔巨额风险投 资。 ( 4 ) 文件共享 文件共享这一应用促成了p 2 p 技术值得瞩目的第一次成功。在w e b 和f t p 方式中， 要实现内容需要服务器的大力参与，通过将文件上传到某个特定的网站，用户再到某个网 站搜索需要的文件，然后下载。若下载用户很多，则对网站的网络吞吐能力提出了极高的 要求。而p 2 p 文件共享技术允许用户以原始文件的形式访问其他计算机上的资源，这种简 单地获取他人文件的能力点燃了p 2 p 的星星之火。n a p s t e r 就是在这样的情况下横空出世， 它抓住人们对m p 3 的需求，在不长的时间旱就风靡整个北美，可以说，n a p s t e r 的m p 3 发 白方式直接引发了网络的p 2 p 技术革命。 随后的中国，则是所谓b t ( 即b i t t o r r e n t ) 下载大行其道，不仅在很短的时问内如雨后 春笋般建立起大量免费音频、视频、软件和动漫b t 下载站，连一些游戏公司的客户端都 支持甚至只支持b t 下载方式。有关报道显示，从2 0 0 7 年11 月至2 0 0 8 年3 月之间，b t 的 1 0 壹室唑! ! 叁兰型：生型壅竺兰垡笙苎笙三里丝! 型垫堡堡：壁竺型坌塑 用户增长率在2 5 以上，而音乐、电视和电影节目已经成为b t 的主要流量来源，在2 0 0 7 年11 月，有3 9 0 万用户使用b t 下载电影，而2 0 0 8 年3 月，这一数字已经飙升至9 8 0 万。 排名前1 0 0 位的电影节目在b t 上都可以找到下载。 p 2 p 在内容发布方面有着相当强大的能力，可以对网上存储设备和带宽资源进行充分 利用。在存在大量用户的情况下，下载速度可以达到非常高的程度，从时下流行的b t 下 载几乎成为下载服务的主流，就可以看出这一点。b t 将中心目录服务器的稳定性同优化 的分布式文件管理结合起来，从而在效率上远远超出了它的前辈。它要求提供一个或多个 统一的w e b 发布服务器，以供发布和搜寻资料。在b t 的客户端，它通过一个i e 插件提 供下载和上传管理。b t 把一份大文件分割成碎片，为每一个碎片标上特殊标识，用户无 需到一个固定地点( 例如传统网络的中心服务器) 上下载完整的文件，系统会自动寻找、 随机下载具有相同标识的文件碎片，将其加以整合成为完整的文件。 ( 5 ) 分布式存储 网络中的各个节点可以共享存储空间，发送出去的数掘可以备份到多个节点上。每个 需要备份的数据片段都被分割为多个冗余片段，而且要经过加密和分配，这样才能确保即 使某些片段消失，通过分布式备份的众多片段也能重建原来的数据。目前，i b m 、h p 都开 始采用基于p 2 p 的开放式存储技术，以加快数据备份的速度，以期降低用户成本。 ( 6 ) i p 电话与网络电视 i p 电话革命性的改变了我们使用互联网的方法，允许人们从不管世界上的哪个地方通 过电脑拨打免费的电话。 s k y p e 是p 2 pv o l p ( v o i c eo v e ri n t e m e tp r o t o c 0 1 ) 应用的最好例子。它在2 0 0 5 年被e b a y 收购。s k y p e 建立在k a z a a 已有的p 2 p 文件分享网络的基础之上，用于实时传输视频和音 频的带宽被作为资源分享。主服务器只为了保存在线信息和计费存在( 比如s k y p e o u t ) 。 网络电视是p 2 p 流媒体技术方面的应用，现在国内广泛流行的一些网络电视，如 p p l i v e 、p p s t r e a m 、t v a n t s 、沸点网络电视等都是采用p 2 p 技术实现的网络电视播放软件。 依靠这些网络电视软件，人们可以很方便的在网上观看重要赛事、重大事件的直播，而随 着p 2 p 流媒体技术的不断创新，p 2 p 技术在网络电视方面的应用一定会走的更远。 2 5c h o r d 介绍 c h o r d 算法在2 0 0 1 年由s t o i c a 等人发表，它的完美性在于它的简单性。d h t 的关键 字是一个n b i t 的标识符，即在【0 ，2 ”一1 区间中的整数。标识符形成个一维的对2 ”取模 1 1 南京邮1 u 人学颀i j 研究生学位论文第二帝p 2 pm 络概述jc h o r d 介绍 的标识符坏，范围是o 2 ”一1 。 n s o o 指针表 l d x 口的i d后继 0 n 8 + 1 n 1 0 1n 8 + 2n 1 0 2 n 8 “n 1 5 3 n 8 + 8 n 1 8 4n 8 + 1 6n 2 4 5 n 8 + 3 2n 4 3 点线表示哪些节点持有i 哪业关键字，黑线表示节点n 8 的指针 图2 4 c h o r d 示意图 c h o r d 实现了这样的操作1 】：给定一个关键字( k e ”，将k e y 映射到某个节点。c h o r d 采用了相容哈希的一种变体为节点分配关键字。相容哈希有几个很好的特点，首先哈希函 数可以做到负载平衡，即所有的节点可以接收到基本相同数量的关键字。另外，当第个 节点加入或离开网络时，只需要1 n 的关键字需要移动到另外的位置。在c h o r d 中，节点 并不需要知道所有其他节点的信息。每个节点只需要知道关于其他节点的少量的“路由” 信息。在由n 个节点组成的网络中，每个节点只需要维护其他o ( 1 0 9 ：忉个节点的信息， 同样，每次查找只需要o ( 1 0 9 ：) 条信息。当节点加入或离开网络时，c h o r d 需要更新路由 信息，每次加入或离开需要传递o ( 1 0 9 2 ) 条信息。 1 相关术语介绍 ( 1 ) 关键值( k e y ) ：将关键字经过相容哈希函数计算得到的m 位标识值，如图2 4 ，k 7 5 即为关键字“h e l l oe v e r y 的关键值。 ( 2 ) 关键值数据对( k e y v a l u e ) ：关键值( k e y ) 决定了数据存储节点，v a l u e 则是存储在 数据存储节点上的信息，可以是内容本身，也可以是内容的索引。 ( 3 ) 节点标识符( n o d ei d e n t i t y ) ：一个节点的i p 地址经过相容哈希函数计算后得到的m 位标识符。 1 2 塑塞! ! ! ! ! ! ! 叁兰竺：! 型堕! 皇堂竺堡苎：笙三至丝! 型堡坚堡! ! ! 垒竺型坌塑 ( 4 ) 后继节点( s u c c e s s o r ) ：指某个节点的后继节点，即c h o r d 环中某个节点在顺时针方 向上第一个节点的节点值。 ( 5 ) 前驱节点( p r e d e c e s s o r ) ：指某个节点的前驱节点，即c h o r d 环中某个节点在逆时针 方向上的第一个节点的节点值。 ( 6 ) f i n g e r 表( f i g u r et a b l e ) ：指存储在每个节点上的路由表。 2 标识符空间 每个数据项和节点与一个标识符关联。一个数据项的标识符指的是一个关键字，一个 节点的标识符指的是一个i d 。从形式上而言，( k e y v a l u e ) l i l 这样的节点持有，其i d 大于 或等于k ，这样的一个节点成为关键字k 的后继。即在一个c h o r d 环中具有顺时针增长i d 的一个节点负责其逆时针方向之前的所有关键字。 图2 4 给出了一个初始化的标识符环，其中n = 6 ，即有2 6 = 6 4 个标识符，1 0 个节点和7 个数据项。关键字k 5 的后继按照顺时针方向其下一个节点是节点n 8 ，其中k 5 就是这样 定位的。k 4 3 的后继是n 4 3 ，因为它们的标识符相等。环结构对2 6 = 6 4 耿模，其结果是k 6 1 定位在n 8 上。 3 路由 给定一个c h o r d 标识符环，所有标识符是良序的且关键字和节点被唯一的关联。因此， 每个( k e y , v a l u e ) 对在单个良好定义的节点上被定位和管理。d h t 由一个标识符环中节点上 的所有( k e y , v a l u e ) 对集合而成。在这个数据上高效地查找和修改操作的关键是快速定位负 责一个特定关键字的节点。 对于一个非常简单的路由算法，仅需要非常少量的每节点状态( p e r - n o d es t a t e ) ，每个节 点需要将其后继节点存储在标识符环上。当要查找一个关键字时，每个节点将请求转发到 其标识符环中的后继上，其中一个节点将确定关键字位于它自身和其后继之间。因此，关 键字一定由这个后继持有。结果是后继作为请求的结果被传递到请求的发起者处。 c h o r d 算法利用了存储在每个节点指针表中的位置。一个节点将查找关键字k 的请求 转发到k 的最近前驱，该前驱是根据节点的指针表而确定的标识符坏上的k 的前驱。当请 求到达一个节点，z ，满足k 位于n 及标识符坏上n 的后继之间时，节点1 汇报其后继作为 请求的应答。 因此，对于远距离的关键字k ，请求在标识符环上单跳内路由越过很长的距离。进而， 请求离k 越近，中间节点关于k 的位置的路出信息变得越准确。考虑到指针i d 的2 指数| 、白j 隔，每一跳至少覆盖标识符环上当前节点和目的标识符之f n j 乘, l 余距离的一半。对于具有 南京邮i 【i 人学侦i j 研究生学位论义第二章p 2 p 圳络概述1 jc h o r d 介绍 个参与节点的c h o r d 坏，会产生平均o ( 1 0 9 ：) 个路由跳。在s t o i c a 等人的试验中，表明平 1 均查找需要：t 。l 0 9 2n 步。 二 4 自组织 到目前为止所描述的c h o r d 系统既需要允许节点加入和离开系统，也需要处理节点故 障。 ( 1 ) 节点加入 为了加入到一个c h o r d 标识符环，新节点首先确定某个标识符刀。原始的c h o r d 协议 不对这个选择施加任何限制。例如，n 能够随机地设定，前提是在一个足够大的标识符空 间中，与现有节点i d 冲突的概率要小。根据某个标准限制节点i d ，这里有几个建议，如 利用网络局部性或避免身份欺骗。 对于新节点穆，在c h o r d 系统中必须知道另一个已经加入