（计算机应用技术专业论文）基于p2p技术的网络共享平台模型研究.pdf

? 摘要 随着i n t e r n e t 技术的迅速发展，网络规模的逐渐扩大，网络资源 的日益丰富，使得网络用户之间的资源共享和信息交流越来越普遍，网 络文件共享系统成为网络资源方便共享的重要途径。为了保证网络用户 之间资源共享的高效性和安全性，以p 2 p ( p e e r t o p e e r ，计算机对等联 网) 技术为基础，研究开发一个面向用户的网络文件共享系统，实现网 络中任意用户可以搜索到并且快速共享其所需要的资源，以便于网络资 源最大程度的共享，对于网络信息交流和高效合理地利用网络资源具有 重要意义。 论文通过对已存在p 2 p 网络模型的问题研究，提出和改进了两种模 型方法。其中，论文通过借鉴s u p e r _ n o d e 模型的思想，在g n u t e l l a 模 型的基础之上结合d c - n e t 的匿名网络和e c g p 层次结构模型对客户机与 客户机，客户机和服务器之间的耦合结构进行了改进，提出了一种环状 层次的簇模型；同时，在借鉴c a n 模型思想的基础上，结合二叉树存储 形式以及向后学习策略对c a n 模型进行了改进，能够较好提高资源定位 效率，有利于资源进行统一的管理和分配。 论文以集中和分布的概念为中心，设计了多级网络体系结构的共享 模型平台。本共享文件平台基于j x t a 平台来设计。整个共享文件平台 的软件分为两个部分：客户端和服务器端。两端的软件都采用分层设计， 每个层完成不同的功能。 关键词：点对点，网络共享，资源定位，路由策略 ? a b s t r a c t w i t ht h ep r o m p td e v e l o p m e n to ft h et e c h n i co fi n t e m e t ，t h es c a l eo f i n t e m e tb e c o m e sm o r ea n dm o r eb i g s u c hm a k e sr e s o u r c e s h a r i n ga n d i n f o r m a t i o nc o m m u n i c a t i o nb e c o m em o r ea n dm o r eu n i v e r s a li nu s e r so f i n t e m e t s ot h es h a r i n gs y s t e mo fi n t e m e tf i l eh a sb e e na ni m p o r t a n tm e t h o d o fs h a r i n gi n t e m e tr e s o u r c e t op r o t e c tt h eh i 曲e f f i c i e n c ya n dt h es a f e t yo f r e s o u r c es h a r i n g ，t h ed e v e l o p m e n to ft h es h a r i n gs y s t e mo fi n t e r a c tf i l ei s v e r yi m p o r t a n to nt h eb a s i so ft h et e c h n i co fp 2 e t h eu s e r so fi n t e r n e tm a y f a s ts e a r c ha n ds h a r et h e i rn e e d f u lr e c o u r s eb yt h es y s t e m ，s u c hm a ym a k e i n t e m e tr e g a ) u l s es h a r et ot h eb i g g e s te x t e n ta n di s v e r yi m p o r t a n tf o r r e s o u r c es h a r i n ga n di n f o r m a t i o nc o m m u n i c a t i o n t h i sp a p e rp r o p o s e sa n di m p r o v e st w om o d e lm e t h o d sb yt h ep r o b l e m s t u d yo fp 2 pn e t w o r km o d e l t h ep a p e rp r o p o s e sa l li m p r o v i n gm e t h o do f c o u p l i n gs t r u c t u r eb e t w e e nc l i e n tn o d e sa n dc l i e n tn o d e sa n db e t w e e nc l i e n t n o d e sa n ds e r v e rn o d e s t h em e t h o du s e sf o rr e f e r e n c eo ft h ei d e o l o g yo f s u p e r n o d em o d e l s ot h ep a p e rp r o p o s e sa na r c h i t e c t u r eo fm a n yl o o p s l a y e rt ob u i l dc l u s t e r e dp 2 ps y s t e mb yu n i t i n gd c - n e ta n o n y m o u sn e t w o r k a n de c g pa r c h i t e c t u r em o d e l a n dt h ep a p e rp r o p o s e sa ni m p r o v i n gm e t h o d o fc a n ( c o n t e n t - a d d r e s s a b l en e t w o r k ) w i t ht h ea r c h i t e c t u r eo fc a n ，t h e m e t h o d e x p l o i t s t h ea r c h i t e c t u r eo fb i n a r yt r e et om a k er e s o u r c e s c o n f i g u r a t i o n d i s t r i b u t e r e a s o n a b l l y , a n da d o p t sb a c k w a r d - s t u d y i n g a l g o r i t h mi nr o u t i n ga l g o r i t h ms o t h a tt h em o t h e dm a yi m p r o v et h e e f f i c i e n c yo fr e s o u r c el o c a l i z a t i o na n dm a ym a k et h em a n a g e r m e n ta n d d i s t r i b u t i o no f r e s o u r c ec o n v e n i e n t t h i sp a p e rc o n s t r u c t sm u l t i p l el e v e l sn e t w o r ks y s t e ms t r u c t u r ei nt h e p r o g r a mf r a m ed e s i g no fp 2 ps h a r i n gm o d e l t h em a n yl e v e l s n e t w o r k s y s t e ms t r u c t u r ef o c u so r it h ec o n c e p to fc o n c e n t r a t i o na n dd i s t r i b u t i o n a n d t h ep r o g r a md e s i g no fp 2 ps h a r i n gm o d e lb a s e so nj x t a t h ep r o g r a mo f p 2 ps h a r i n gm o d e li n c l u d e st w op a r t s ：c l i e n ta n ds e r v e r t h et w op a r t sb o t h e x p l o i tl a y e r e dd e s i g n , a n de a c hl a y e rm a y f u l f i l lt h ed i f f e r e n tf u n c t i o n k e y w o r d s ：p 2 p , i n t e m e ts h a r i n g ，r e s o u r c eo r i e n t a t i o n ，r o u t i n ga l g o r i t h m 电 气 l j 鱼， ，一 j ， l 0j 毒 i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 作者签名：毕日期：塑噼月兰日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借闳；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 储摊：斜导 ，：0 ， 。 ”0 ， t 硕士学位论文第一章前言 第一章前言 随着i n t e r n e t 技术的迅速发展，文件共享技术也伴随着网络发展而日显其重要 性。在“全球一体”的网络化时代，传统的局域网内部网络用户共享资源技术已不 再足以满足用户对各种信息资源的需求了。网络规模的逐渐扩大，网络资源的曰益 丰富，使得网络用户之间的资源共享和信息交流越来越普遍，网络文件共享系统成 为网络资源方便共享的重要途径。为了保证网络用户之间资源共享的高效性和安全 性，以p 2 p ( p e e r t o p e e r ，计算机对等联网) 技术脚脚阅脚m 为基础，开发一个面 向用户的网络文件共享系统，它实现网络中任意用户可以搜索到并且快速共享其所 需要的资源，以便于网络资源最大程度的共享，对于网络信息交流和高效合理地利 用网络资源有着重大的作用。但是，目前的文件共享系统还存在着大量的问题，因 此，对文件共享系统的研究还需要进一步探究。 本论文主要是对基于p 2 p 技术的文件共享系统模型进行研究，以期望能得到一 个高效，安全，健壮的模型。 一 1 1 研究背景及意义 坩 ， 随着网络技术的日新月异，网络资源的数量在不断增长，对网络资源共享的要 求也越来越高。网络文件共享在今后网络发展中的地位将日益提高。现在的网络正 在向智能化、综合化、标准化的方向发展，各种各样的网络资源正在不断地进入到 网络中来，这就给网络文件共享提出了新的挑战，促使网络文件共享技术臼臻完善。 目前，国内外对p 2 p 技术和网络文件共享技术已经进行了一系列深入的研究 嘲脚棚“1 抛m 帅”，提出了一些应用原型，而且已经在商业领域得到广泛应用。p 2 p 技 术主要应用在文件共享、即时通讯、分布式计算、电子商务、网络游戏以及网络搜 索引擎等方面，其中网络文件共享应用最为广泛。p 2 p 技术使任意两台相连接的计 算机直接共享文档、多媒体和其它各种类型的文件成为可能。利用p 2 p 技术，计算 机之间可以进行直接交互，而不需要使用任何一台中央服务器协助。 现有的p 2 p 相关产品及技术有“叭： ( 1 ) i c q 类的即时通信软件。两个或多个用户互相使用文字、语音或文件进行交 流，快速、直接，易于同非p c 网络设备( 如p d a 、手机) 通信，而且它不依赖设备即 可辨别用户。国内腾讯公司的o i c q 软件就典型的即时通信软件。 ( 2 ) f a r s i t e 、o c o a ns t o r e 类数据存储软件。用于在网络上将存储对象分散化 顾士学位论文第一章前言 存放，而不像现在放于专用服务器。， ( 3 ) n a p s t e r 类软件。目前国内此类软件有w o r k s l i n k 、p p 点点通，实现数据共 享的网络文件交换软件，突破了客户服务器端( c l i e n t s e r v e r ) 模式，通过互联网， 用户之间可以直接建立点对点的连接，不通过服务器就可进行直接交流，进行文件 交换，数据下载，共享硬盘资源，就像在一个局域网中一样简单。 ( 4 ) i n f r a s e a r c h 、p o i n t o r a 类数据搜索及查询软件。用来在p 2 p 网中完成信息 检索。 ( 5 ) n e t b a c h 类协同计算软件。可联接近l 万台p c ，利用它们的空闲时间进行协 同计算，完成超计算量的工作( 如空间探测，分子生物学计算，芯片设计) 。 ( 6 ) g r o o v e 类数据或行动协同软件。它是基于p 2 p 连接的软件工具，可以建立 一个安全的企业级协同工作平台( p 2 p 网) ，提供供求信息链上的互动信息沟通。 ( 7 ) 游戏软件。现在许多网络游戏均是p 2 p 方式的，尤其是那些双人及多人对弈 游戏。 一 虽然p 2 p 技术已经在文件共享、即时通讯、分布式计算、电子商务，网络游戏以 及网络搜索引擎等方面得到广泛，但是依然有着许多急待解决的问题。这些问题包 括安全问题，效率问题，容错性问题，网络带宽问题，查找定位的解决和用户个人 行为控制策略等。目前主要体现在以下几个方面： ( 1 ) 网络中对等点的查找和定位比较复杂 g n u t e l l a 模型中对等点的查找和定位通过扩散来实现，在这样“非结构化”的 系统中搜索需要的数据几乎是随机搜索，搜索从一个节点开始逐个询问是否有匹配 查询请求的数据，造成这样的问题，其根源是没有节点可能存放这些文件的信息，因 此与集中式的n a p s t e r 模型相比较为复杂。 1 ( 2 ) 吞噬网络带宽 p 2 p 技术为用户提供了丰富的共享资源，给用户带来了极大的便利，使得用户可 以随时随地下载自己需要的资源。但同时由于p 2 p 网络规模的不断扩大和用户下载文 件数量的增多吞噬网络带宽问题成为了p 2 p 应用难以逾越的障碍。随着网络规模的扩 大，通过扩散方式定位对等点的方法将造成网络流量急剧增加，从而导致网络拥塞。 根据c l i p 2 公司最近的一项研究显示，5 6 k 调制解调器用户在一秒之内最多处理2 0 个 查询消息。当网络节点个数超过1 0 0 0 个以后，这个处理极限很轻易地就被突破了， 随着这部分节点的失效，将会导致g n u t e l l a 网络被分解，从而使得查询访问只能在 网络的很小的一部分进行。另外，在p 2 p 网络中，对等机之间通过直接建立联系，交 换文件资源。而对等机的性能和处理能力都无法与传统客户机服务器模式中的服务 器相比，因此，当大量用户同时访问一台对等机时，很可能出现死机现象，同时也 会造成网络流量饱和。与发展国家相比，我国通信网络带宽本身就比较窄，因此如 龟 ， 硕士学位论文第一章前言 何解决p 2 p 网络中的带宽占用问题是一个很关键的问题。 ( 3 ) 网络安全问题硎 据调查，几乎所有免费在线即时信息系统都缺乏加密功能，而且大多数在线即 时信息系统都具备绕过传统防火墙的功能，这给管理企业内部网带来了很大的困难。 这些系统中的密码管理也不安全，容易受到账户哄骗的攻击，还可能受到拒绝服务 攻击，而且开启的端口和为盈利在客户端上捆绑广告插件的做法也给间谍软件、木 马程序洞开了大门。另一方面，一些居心不良的黑客也能借机篡改软件源代码，为 将来的恶意攻击留下方便之门。同时，恶意消息重发和虚假消息应答通过制造大量 垃圾信息，也将急剧增加p 2 p 网络负担，甚至造成网络拥塞。 ( 4 ) 缺乏管理机制 p 2 p 网络最大的特点就在于它为每个用户提供了极大的自由。各个用户都以对 等点的身份存在于p 2 p 网络中，它们之间提完全平等的。与之相比，传统的客户机 用及服务器模式则给服务器提供了更多的特权，因此整个网络上传播的信息是通过 服务器进行集中控制。客户机只是很简单地在服务器上提取自己所需的资源。在p 2 p 网络中情形就完全不同了，对等机具有极大的主动性，它可以提供任何形式和内容 的共享资源，也可以根据自己的需要到任何一台对等机上下载其所需的文件。因为 不受固定i p 地址的限制，用户可以在不同地点和不同时间随时进人和退出网络，因 此用户的行为和活动根本无法控制。 由于现有的n a p s t e r 模型和g n u t e l l a 模型以及分布式哈希查找模型存在诸多问 题，而且到目前为止，国内外还没有一种方法能够很好地解决这些问题，因此提出 一种新的文件共享模式或者改进现有模型存在的弊端迫在眉睫。在这种新的共享模 式中，我们引入强大的网络管理机制消除目前p 2 p 网络中的各种隐患，并且采用新 的通信机制消除可能带来的网络拥塞问题，使得用户真正的可以随时随地。随心所 欲地共享文件，不用再担心任何网络带宽或者对等机的处理能力差异而带来的共享 的诸多不便。研究一种新的共享模型或改进现有旧模型，并投入软件企业进行开发 使之成为产品，那么这种新的文件共享系统产品将会很快地融入个人生活和企业应 用，提高企业的协同性和竞争力，为企业的发展提供有力的技术支持，减少因为资 源短缺而造成的损失，易操作性和更高的安全性会给人们的生活带来全新的变化。 本课题选择运行于网络环境中的各种信息资源为研究对象，使理论研究紧密联 系实际，研究并设计一个网络文件共享系统，该系统的开发，有效地针对了目前共 享软件使用混乱的现状，将为共享文件的高效安全运行提供有效的保证，并将对促 进网络资源的合理配置和高效利用，产生重大的社会意义和经济效益，这项技术在 目前国内也是属于前沿技术，因而具有广阔的应用前景。 硕士学位论文 第一章前言 1 2 目前p 2 p 模型的研究现状 目前，国内外对p 2 p 技术已经进行一系列深入的研究，提出了一些应用原型， 其中主要有以n a p s t e r 为代表的集中式共享模型“小研和以6 n u t e l l a 为代表的纯p 2 p 共享模型“蛐”以及近年来研究形成的分布式哈希查找系统叫矧。n a p s t e r 模型采 用一群高性能的中央服务器保存着网络中所有活动对等机地址信息及其共享资源的 目录信息，集中查询，统一管理，其结构简单，但一旦中央目录服务器失效，将使整 个共享系统瘫痪；g n u t e l l a 模型无固定结构，取消了以中央服务器为核心的目录式 结构，主要通过对等机与相邻对等机之间的连接遍历整个网络体系，以广播形式查 询，容错性高，无节点失效，但带宽吞噬大，效率低；而分布式哈希查找系统把每 个节点和资源都通过h a s h 函数进行映射获得全局i d ，再利用分布式哈希表进行全 局查找，从而使得分布式哈希系统在查找资源时将有目的性，降低了带宽吞噬率， 也提高了查找效率。 p 2 p 网络的特点与其它网络模型相比，p 2 p 具有以下特点倥钔： ( 1 ) 分散化 网络中的资源和服务分散在所有节点上，信息的传输和服务的实现都直接在节 点之间进行，可以无需中间环节和服务器的介入，避免了可能的瓶颈。即使是在混 合p 2 p 中，虽然在查找资源、定位服务或安全检验等环节需要集中式服务器的参与， 但主要的信息交换最终仍然在节点中间直接完成。这样就大大降低了对集中式服务 器的资源和性能要求。 分散化是p 2 p 的基本特点，由此带来了其在可扩展性、健壮性等方面的优势。 ( 2 ) 可扩展性 在传统的c s 架构中，系统能够容纳的用户数量和提供服务的能力主要受服务 器的资源限制。为支持互联网上的大量用户，需要在服务器端使用大量高性能的计 算机，铺设大带宽的网络。为此机群、c l u s t e r 等技术纷纷上阵。在此结构下，集 中式服务器之间的同步、协同等处理产生了大量的开销，限制了系统规模的扩展。 而在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整体的资源 和服务能力也在同步地扩充，始终能较容易地满足用户的需要。即使在诸如n a p s t e r 等混合型架构中，由于大部分处理直接在节点之间进行，大大减少了对服务器的依 赖，因而能够方便地扩展到数百万个以上的用户。而对于纯p 2 p 来说，整个体系是 全分布的，不存在瓶颈。理论上其可扩展性几乎可以认为是无限的。 p 2 p 可扩展性好这一优点已经在一些得到应用的实例中得以证明，如n a p s t e r ， g n u t e l l a ，f r e e n e t 等。 ( 3 ) 健壮性 4 一 硕士学位论文 第一章前言 在互联网上随时可能出现异常情况，网络中断、网络拥塞、节点失效等各种异 常事件都会给系统的稳定性和服务持续性带来影响。在传统的集中式服务模式中， 集中式服务器成为整个系统的要害所在，一旦发生异常就会影响到所有用户的使用。 而p 2 p 架构则具有耐攻击、高容错的优点。由于服务是分散在各个节点之间进 行的，部分节点或网络遭到破坏对其它部分的影响很小。而且p 2 p 模型一般在部分 节点失效时能够自动调整整体拓扑，保持其它节点的连通性。事实上，p 2 p 网络通 常都是以自组织的方式建立起来的，并允许节点自由地加入和离开。一些p 2 p 模型 还能够根据网络带宽、节点数、负载等变化不断地做自适应式的调整。 ( 4 ) 隐私性 随着互联网的普及和计算存储能力飞速增长，收集隐私信息正在变得越来越 容易。隐私的保护作为网络安全性的一个方面越来越被大家所关注。目前的 i n t e r n e t 通用协议不支持隐藏通信端地址的功能。攻击者可以监控用户的流量特 征，获得i p 地址。甚至可以使用一些跟踪软件直接从i p 地址追踪到个人用户。 在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过某个集中环 节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通信的参与者隐藏在众多的网络实 体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器节点。 而在p 2 p 中，所有参与者都可以提供中继转发的功能，因而大大提高了匿名通讯的 灵活性和可靠性，能够为用户提供更好的隐私保护。 1 3 研究的主要内容及拟采取的研究方法 本课题是对网络共享平台模型进行研究，在理论上将运用一些已经比较成熟的 算法，以优化整个平台的耦合结构和搜索机制，主要的工作在以下几个方面： 1 探究整个共享平台模型的理论基础和技术支持 2 探究客户机与客户机，客户机和服务器之间的耦合结构 3 探究共享平台的搜索定位机制 4 探究共享平台的实现与设计 整个共享模型平台在构架上则以集中和分布的概念为中心，建立起多级的网络 体系结构。并且基于资源p 2 p p q 容建立层次结构以大大地减少在网络中查找某个特定 内容所消耗的资源。因此在技术上，共享文件平台将基于j x t a 平台来设计，j x t h 是 s u n 公司为了构建p 2 p 网络而制定的一组协议。它是p 2 p 应用程序开发的运行平台，它 在设计的时候就具有操作系统无关和语言无关的特点，因此可以为p 2 p 应用提供服务 和基础。整个共享文件平台的软件将分为两个部分：客户端和服务器端。两端的软 5 硕士学位论文第一章前言 件都采用分层设计，每个层完成不同的功能。 并且为了验证新模型的可靠性，我们运用c + + 语言对整个系统进行模拟分析。根 据模型的特点，编写相应的c h 模型程序，再从投入运行的模拟程序中获得各种性能 参数，然后对各种参数进行分析比较，以证明新模型的优越性和高效性。 、 6 硕士学位论文第二章p 2 p 模型方法 第二章p 2 p 模型方法 目前，国内外对p 2 p 技术已经进行一系列深入的研究，提出了一些应用原型， 其中主要有以n a p s t e r 为代表的集中式共享模型“州”1 和以g n u t e l l a 为代表的纯p 2 p 共享模型“州埘伽以及近年来研究形成的分布式哈希查找系统。”嘲。n a p s t e r 模型采 用中央目录服务器集中查询，统一管理，其结构简单，但一旦中央1 7 录服务器失效， 将使整个共享系统瘫痪；g n u t e l l a 模型无固定结构，以广播形式查询，容错性高， 无节点失效，但带宽吞噬大，效率低；而分布式哈希查找系统把每个节点和资源都 通过h a s h 函数进行映射获得全局i d ，再利用分布式哈希表进行全局查找，从而使 得分布式哈希系统在查找资源时将有目的性，降低了带宽吞噬率，也提高了查找效 率。 2 1n a p s t e r 模型 n a p s t e r 伽是较早出现的p 2 p 系统，由于结构较简单，所以迅速发展起来。 n a p s t e r 实质上不是纯粹的p 2 p 系统，它通过一个中央目录服务器保存所有n a p s t e r 用户上传的文件索引关键字以及存放该文件的客户机的位置信息。当某个用户需要 某个文件时，首先向b l a p s t e r 服务器发出查询请求，在目录服务器上进行检索，并 由服务器返回存有该文件的客户位置信息；再由请求者有选择的直接连到该文件的 客户机上进行文件交互。 b i a p s t e r 采用了文件查询与文件传输的分离的机制，有效地节省了中央服务器 的带宽消耗，减少了整个系统的文件传输的延时。但这种方式最大的弊端就是中央 服务器，如果该服务器失效，整个系统都会瘫痪。当用户数量大量增加时，n a p s t e r 的系统性能会大大下降。n a p s t e r 的另一个问题是安全性问题，n a p s t e r 没有提供有 效的安全机制。 因此，在n a p s t e r 模型中，有着一群高性能的中央服务器保存着网络中所有活 动对等计算机共享资源的目录信息。当需要查询某个文件时，对等机会向一台中央 服务器发出文件查询请求。中央服务器进行相应的检索和查询后，会返回符合查询 要求的对等机地址信息列表。查询发起对等机接收到应答后，会根据网络流量和延 迟等信息进行选择，和合适的对等机建立连接，并开始文件传输。n a p s t e r 的工作 原理如图2 - 1 所示。 7 硕士学位论文第二章p 2 p 模型方法 客户机 图2 1n a p s t e r 工作原理结构图 这种对等网络模型存在很多问题，主要表现为： ( 1 ) 中央服务器瘫痪将导致整个网络的崩馈，可靠性低。 。( 2 ) 随着网络规模的扩大，中央索引服务器的负担将集聚增加，效率将变低。 ( 3 ) 中央服务器的存在将需要必须的维护和管理，使得整个系统缺乏一定的灵活性。 2 2f i n u t eiia 模型及f r e e n e t 模型 g n u t e l l a m j 也是较早的发起的一种p 2 p 文件共享系统。它和n a p s t e r 的区别 在于g n u t e l l a 是纯的p 2 p 系统，没有中央目录服务器，它采用了基于广播式发现和 随机转发( r a n d o mw a l k e r ) 的机制。为了控制搜索消息的传输的范围，通过在消息 传递协议中的t t l ( t i m et ol i v e ) 值的递减来实现。 在g n u t e l l a 分布式对等网络模型n 中，每一个联网计算机在功能上都是对等的， 既是客户机同时又是服务器，所以被称为对等机( s e r v e n t ，s e r v e r + c l i e n t 的组合) 。 由于与n a p s t e r 模型相比，g n u t e l l a 模型中取消了以中央服务器为核心的目录式结 构，主要通过对等机与相邻对等机之间的连接遍历整个网络体系，工作原理如图2 2 所示。因此，在该模型中，为了查找某个文件，对等机首先向与之相邻的所有活动 对等点以广播方式发送一个查询请求包。其他对等机在接收到该查询请求包后，检 查本地是否有符合查询请求的文件内容，如果有，则按查询请求包的发送路径返回 一个查询响应包。无论本地是否存在符合查询请求的文件内容，其他对等机都会将 该查询包通过广播方式继续在网络中传递，直至查询包中t t l ( t i m et ol i v e ) 属性 值递减为0 时停止转发。 8 硕士学位论文 第二章p 2 p 模型方法 客户机 图2 - 2g n u t e ll a 工作原理结构图 随着联网节点的不断增多，网络规模不断扩大，通过这种广播式定位对等点的 方法将造成网络流量急剧增加，从而导致整个网络中的带宽因网络资源过载而瘫痪。 因此在早期的g n u t e l l a 网络中，存在比较严重的分区，断链现象，即一个查询访问 只能在网络的很小一部分进行。因此这种网络的扩展性不好，解决g n u t e l l a 的扩展 性问题对该模型的进一步发展至关重要。 因此，在g n u t e l l a 模型的基础上对其进行了改进，称为f r e e n e t 模型。和g n u t e l l a 类似，f r e e n e t ( f r e e n e t s o u r c e f o r g e n e t ) 也采用了完全分布式的模型而增加了 一些改进措施。f r e e n e t 结点可以通过指定本地的共享目录来共享自己的存储( 而 不仅仅是共享文件或者对象) ，任何其他结点都可以向这个共享目录中写入文件。 每个文件都通过一个反映文件内容的关键字( 并不要求全局唯一) 进行标识，关键 字也可以包括访问权限等其他信息。每个结点都使用一个最近最少使用的缓冲区保 存本地存储文件的信息，使用另一个最近最少使用缓冲区保存本地文件和某些远程 文件的元数据信息。当结点收到查找请求时，将使用元数据信息有效地把查找定位 到最可能保存该文件的结点。如果收到查找请求的结点在本地元数据中找不到任何 匹配，它将把请求发送到关键字比较接近于查找关键字的结点，这一过程将重复进 行直到达到预先确定传播层次数，如果仍然没有找到匹配则返回一个错误指示。 如果找到了一个匹配，请求的对象将按照查找路径返回( 这一点和g n u t e l l a 不 同) 。在f r e e n e t 中，查找路径中的每个结点都将缓存返回的文件数据以备将来使用。 对象的插入过程和查找过程类似，在本地插入一个对象之后，本地结点将向邻居结 点传播该对象的信息，直到达到事先确定的传播层次。 虽然g n u t e l l a 模型及其改进的f r e e n e t 模型相比n a p s t e r 模型较为简单，但由 于没有确定拓扑结构的支持，在非结构化网络无法保证资源发现的效率。因此它面 临着许多问题： ( 1 ) 网络中对等点的查找和定位比较复杂，效率低下 ( 2 ) 随着系统的扩张，吞噬大量网络带宽 9 硕士学位论文 第二章p 2 p 模型方法 ( 3 ) 由于模型中没有中央目录服务器对用户进行管理，因此缺乏较好的集中控制的策 略。 ( 4 ) 整个网络的扩展性较差。 2 3 分布式哈希查找模型 分布式哈希查找模型”1 。是近年来最新的研究结果，它是在非结构化的p 2 p 系 统中加入了人为控制的策略，把整个系统的工作重点放在如何有效地查找信息上， 目前已经研究出了相应比较成熟的算法。这些算法都避免了类似n a p s t e r 的中央服 务器，也不是像g n u t e l l a 那样基于广播进行查找，而是通过分布式散列函数，将输 入的关键字惟一映射到某个结点上，然后通过某些路由算法同该结点建立连接。目 前最新的研究成果主要体现在采用分布式散列表( d h t ) 的完全分布式结构化拓扑网 络。 分布式散列表( d h t ) 实际上是一个由广域范围大量结点共同维护的巨大散列表。 散列表被分割成不连续的块，每个结点被分配给一个属于自己的散列块，并成为这 个散列块的管理者。d h t 的结点既是动态的结点数量也是巨大的，因此非中心化和 原子自组织成为两个设计的重要目标。通过加密散列函数，一个对象的名字或关键 词被映射为1 2 8 位或1 6 0 位的散列值。一个采用d h t 的系统内所有结点被映射到一 个空间l = 【o ，1 ) ，如果散列函数映射一个h 位的名字到一个散列值h ，h 2 l 。 最近的研究集中在采用新的拓扑图构建重叠路由网络，以减少路由表容量和路 由延时。这些新的拓扑关系的基本原理是在d h t 表一维空间的基础上引入更多的拓 扑结构图来反映底层网络的结构。d h t 类结构能够自适应结点的动态加入退出，有 着良好的可扩展性、鲁棒性、结点i d 分配的均匀性和自组织能力。由于重叠网络采 用了确定性拓扑结构，d h t 可以提供精确的发现。只要目的结点存在于网络中，d h t 总能发现它，发现的准确性得到了保证，目前的成果有c h o r d ，t a p e s t r y ，c a n ，和 p a s t r y 四种“2 。 2 3 1c h o r d 模型 c h o r d 嗍采用了相容哈希的一种变体为结点分配关键字。相容哈希有几个很好 的特点，首先是哈希函数可以做到负载平衡，也就是说所有的结点可以接收到基本 i o 碘士学位论文 第二章p 2 p 模型方法 相同数量的关键字。另外，当第n 个结点加入或者离开网络时，只有i n 的关键字 需要移动到另外的位置。 c h o r d 进一步改善了相容哈希的可扩展性。在c h o r d 中，结点并不需要知道所有 其他结点的信息。每个c h o r d 结点只需要知道关于其他结点的少量的“路由”信息。 在由n 个结点组成的网络中，每个结点只需要维护其他0 ( 1 0 9 s ) 个结点的信息， 同样，每次查找只需要0 ( 1 0 9 n ) 条消息。当结点加入或者离开网络时，c h o r d 需要 更新路由信息，每次加入或者离开需要传递0 ( i 0 9 2 n ) 条消息。 相容哈希函数为每个结点和关键字分配m 位的标识符，此标识符可以用s h a - l 等哈希函数产生。结点的标识符可以通过哈希结点的i p 地址产生，而关键字的标识 符可以直接哈希此关键字。比如i p 地址为1 9 8 1 0 1 0 1 的结点经过s h a l 哈希之后 得到的标识符为1 2 3 ，而关键字“l e t i t b e ”哈希之后的关键字为6 0 。标识符长度i l l 必须足够长，这样才能保证两个结点或者关键字哈希到同一个标识符上的概率小到 可以忽略不计。 从下面的图2 - 3 中可以看出相容哈希的特点。 x 5 i p = 。1 9 2 图2 3 相容哈希示例 从图2 - 3 中可以看出相容哈希的特点。 在相容哈希中，每个关键字都保存在它的后继( s u c c e s s o r ) 结点中，后继结点 是结点标识符大于等于关键字k 标识符的第一个结点，我们将其记为s u c c e s s o r ( k ) 。 由于关键字“l e t i t b e ”的标识符为6 0 ，因此它被保存在9 0 结点中。如果标识符采 用位二进制数表示，并且将从0 到2 m l 的数排列成一个圆圈，那么s u c c e s o r ( k ) 就是从k 开始顺时针方向距离最近的结点。这一点，可以从图2 - 3 中很清楚地得出。 2 3 2t a p e s t r y 模型 硕士学位论文第二审f 2 p 模型方法 t a p e s t r y m l 提供了一个分布式容错查找和路由基础平台，在此平台基础之上， 可以开发各种p 2 p 应用( o c e a n s t o r e 即是此平台上的一个应用) 。t a p e s t r y 是用于 覆盖网络的定位和路由机制，它可以对消息进行位置无关的路由，把消息传递到最 近的存放所要求的对象拷贝的结点。t a p e s t r y 的路由机制完全是基于软状态的并且 易于修复。t a p e s t r y 具有自我管理、容错和灵活平衡负载等特点。 t a p e s t r y 的思想来源于p i a x t o n 模型。p l a x t o n 模型是p l a x t o n 等人在其论文 中提出的。p l a x t o n 等人提出了一种分布式数据结构用于在网络范围内定位命名 对象并可以将消息路由到这些对象。p 1 a x t o n 中使用的数据结构，我们称之为 p l a x t o n m e s h 。在p l a x t o n 中，每个结点都可以承担服务器( 保存对象) 、路由器( 转 发消息) 和客户端( 请求发起者) 的功能。另外，对象和结点的标识符和他们的位 置以及具体内容无关，用某种固定长度的位串采用随机方式确定( 比如采用s 卧一1 哈希) 。系统假定对象和结点的标识符在整个名字空间中是均匀分布的这也是由 7 s h a l 决定的。 在p l a x t o n 中，结点使用自己所知道的邻近结点表，按照目的i d 来逐步传递消 息。p l a x t o n 中的每个结点都保存了邻居映射表，邻居映射表可以用于把消息按照 目的地址一位一位地向前传递，比如从 料8 到料9 8 到5 9 8 到目的结点4 5 9 8 ( 这里女 表示通配符) 。这种方式类似于i p 分组转发过程中的最长前缀匹配。在p l a x t o n 中， 匹配从右到左进行，当然，这只是作者的决定，和路由机制无关。结点n 的邻居映 射表分为多个级别，每个级别表示的前缀长度对应于该级别在标识符中的位置，而 每个级别包含的项的数量则等于标识符表示法的基数，因此，级别j 的第i 项是以 “i ”+ s u f f i x ( n ，j - 1 ) 结尾的离当前结点最近的结点的标识符。比如，结点3 2 5 a e 的邻居映射表中第四级第九项是网络中以9 5 a e 结尾的离3 2 5 a e 最近的结点的标识 符。由上面的描述可知，当一条消息到达传递过程中的第n 个结点时，该结点和目 的结点的共同前缀长度至少大于n 。为了进行转发，该结点将查找邻居映射表的第 n + l 级并选择其中和目的结点标识符的下一位对应的项。转发过程将在每个结点中 依次进行直到到达目的结点。从转发过程中，我们可以知道，只要各个结点的邻居 映射表是一致的，那么转发过程至多经过i o g b n 个结点就可以到达目的结点，这里 n 是结点标识符名字空间的大小，而b 是表示标识符时使用的基数。同样可知，由 于每个结点的邻居映射表的每个级别只需要保存b 个表项，因此，邻居映射表的空 问为b l o g b n 。在图2 4 中给出了p l a x t o n 中路由的一个例子，图中消息从0 3 2 5 发 出。目的结点是4 5 9 8 ，结点标识符的基数是4 。 硕士学位论文 第二章p 2 p 模型方法 图2 - 4p l a x t o n 路由实例 毒 t a p e s t r y 基于p l a x t i o n 的思想，加入了容错机制，从而可适应p 2 p 的动态变 化的特点。o c e a n s t o r e 是以t a p e s t r y 为路由和查找基础设施的p 2 p 平台。它是一 个适合于全球数据存储的p 2 p 应用系统。任何用户均可以加入o c e a n s t o r e 系统，或 者共享自己的存储空间，或者使用该系统中的资源。通过使用复制和缓存技术， o c e a n s t o r e 可提高查找的效率。最近，t a p s t r y 为适应p 2 p 网络的动态特性，作了 很多改进，增加了额外的机制实现了网络的软状态( s o f ts t a t e ) ，并提供了自组织、 鲁棒性、可扩展性和动态适应性，当网络高负载且有失效结点时候性能有限降低， 消除了对全局信息的依赖、根结点易失效和弹性( r e s i l i e n c e ) 差的问题。 2 3 3p a s t r y 模型 p a s t r y m l 是微软研究院提出的可扩展的分布式对象定位和路由协议，可用于构 建大规模的p 2 p 系统。在p a s t r y 中，每个结点分配一个1 2 8 位的结点标识符号 ( n o d e i d ) ，所有的结点标识符形成了一个环形的n o d e l d 空间，范围从0 到2 “一1 ， 结点加入系统时通过散列结点i p 地址在1 2 8 位n o d e i d 空间中随机分配。p a s t r y 网 络中的每个结点都有一个唯一的结点号( n o d e i d ) 。当给定一条消息和一个关键字时， p a s t r y 结点将会把这条消息路由到在当前所有的p a s t r y 结点中n o d e i d 和关键字最 接近的那个结点。路由过程的复杂度是0 ( 1 0 9 n ) ，这里n 表示网络中p a s t r y 结点 的总数。p a s t r y 考虑了网络的位置信息，它的目标是使消息传递的距离最短。距离 0 硕士学位论文第二章p 2 p 模型方法 采用类似于i p 路由的h o p 数的标量距离度量。每个p a s t r y 结点记录在结点空间中 和它直接相邻的邻居结点，当新结点加入、原有结点失效和恢复时通知上层应用。 由于结点号是随机分配的，那么在结点空间中相邻的结点很可能在地理位置上是分 散的，或者根本就属于不同的组织。应用可以利用这一点，因为p a s t r y 可以把关键 字路由到和它最接近的k 个结点的任何一个，p a s t r y 采用了启发式算法可以使关键