（计算机应用技术专业论文）一种基于raq的具有拓扑意识的覆盖网络.pdf

哈尔滨理工大学工学硕士学位论文 一种基于r a 0 的具有拓扑意识的覆盖网络 摘要 目前对等网络( p 2 p ) 是分布式系统和计算机网络领域的一个研究热 点。基于分布式哈希表的结构化p 2 p 系统，如c h o r d ，c a n ，p a s t r y 和 t a p e s t r y ，每个节点维护大小为o ( 1 0 9 n ) 的邻居表，取得o ( 1 0 9 n ) 的查询长 度。很多p 2 p 系统在构造覆盖网络的时候，没有考虑物理网络的拓扑结 构，导致了在路由的过程中存在巨大的网络延迟。因此，如何解决物理网 络和覆盖网的匹配问题已经成为p 2 p 系统研究的重点。 为了解决覆盖网络与物理网络失配问题，也就是在构造覆盖网的时候 考虑到物理网络，目前提出了邻近信息的产生和利用方法，利用这些方 法，本文提出一种基于r a q 的多维覆盖网络t r a q ，在r a q 中，节点 可在多维空间上进行精确匹配查询和范围查询；同时，其路由开销并不依 赖于查询空间的维数。而在t - r a q 中，本文改进了最初的路由算法并使 得路由具有拓扑意识，节点加入，节点离开以及节点路由表的构造都考虑 到了底层物理网络。节点邻居的选择利用邻近邻居选择方法，构造节点的 路由表和跳表。覆盖网与物理网的匹配可降低路由延迟和网络流量。和 r a q 相比，本文对现存的结构化p 2 p 系统提出改进，实现了有效的路由 机制。提出了不同的节点加入算法和路由表维护算法以便其具有拓扑意 识。 文章最后通过实验证明了拓扑匹配属性可以在覆盖网中用较低的开销 达到，并且通过在g t - i t m 中的仿真实验证明了这些属性可以在真实的网 络拓扑中实现。仿真结果证明，考虑拓扑匹配问题可以明显地提高p 2 p 系统的整体性能。 关键词覆盖网；拓扑意识；范围查询 哈尔滨理工大学工学硕士学位论文 t o p o l o g y - - a w a r eo v e r l a yn e t w o r k b a s e do nr a q a bs t r a c t a tp r e s e n t p e e r t o p e e r ( p 2 p ) i sar e s e a r c hh o t s p o ti nd i s t r i b u t i o n c o m p u t i n gn e t w o r k s t r u c t u r e dp 2 ps y s t e mb a s e do nd i s t r i b u t e dh a s ht a b l el i k e c h o r d ，c a n ，p a s t r ya n dt a p e s t r y ，c a na c h i e v eaq u e r yl e n g t ho fo ( 1 0 9 n ) w i t h u s i n go ( 1 0 9 n ) n e i g h b o r sp e rn o d e n o w , m a n yo v e r l a yn e t w o r k sa r em a d eo f p 2 ps y s t e m s ，b u tt h et o p o l o g ys t r u c t u r eo fp h y s i c a ln e t w o r ki sn o tc o n s i d e d ， a n di th a st r e m e n d o u sn e t w o r kd e l a yi nt h ep r o c e s so fr o u t i n g s o ，h o wt o r e s o l v et h e m i s m a t c h i n gp r o b l e m b e t w e e no v e r l a ya n dp h y s i c a ln e t w o r k b e c o m e sah o t s p o ti np 2 pr e s e a r c h i no r d e rt or e s o l v et h et o p o l o g y a w a r ep r o b l e m ，t h em e t h o d sg e n e r a t i n g p r o x i m i t yi n f o r m a t i o n a n de x p l o i t i n gp r o x i m i t yi n f o r m a t i o nw e r ep r o p o s e d ， t h i sd i s s e r t a t i o np r e s e n t sam u l t i d i m e n s i o n a lo v e r l a yn e t w o r kc a l l e dt - r a q w h i c hi sb a s e do nr a q r a qs u p p o r t se x a c tm a t c hq u e r i e sa n dr a n g eq u e r i e s o v e rm u l t i - d i m e n t i o n a ld a t ae f f i c i e n t l y m o r e o v e r ，i t sr o u t i n gc o s td o e sn o t d e p e n do nt h ed i m e n t i o no ft h es e a r c hs p a c e i nt - r a q ，w eh a v ei m p r o v e di t s o r i g i n a lr o u t i n ga l g o r i t h m sa n de x t e n d e di tt oh a v et o p o l o g ya w a r e n e s sp r o p e r t y at o p o l o g ym a t c hb e t w e e nt h eo v e r l a ya n du n d e r l y i n gn e t w o r kr e s u l t s i n r e d u c e dr o u t i n gd e l a ya n dn e t w o r kl i n kt r a f f i c i no r d e rt op r o v i d et h et o p o l o g y a w a r e n e s s ，t h ed i f f e r e n tn o d e - j o i na l g o r i t h m sa n dr o u t i n gt a b l em a i n t e n a n c ei s p r e s e n t e d i nc o m p a r i s o nw i t hr a q a n dt h ei m p r o v e m e n to ne x i s t i n gp 2 p s y s t e m sh a da c h i e v e de f f e c t i v er o u t i n gm e c h a n i s m a tl a s t ，t h ee x p e r i m e n tr e s u l t ss h o wt h a tt o p o l o g ya w a r ep r o p e r t i e sc a nb e a c h i e v e dw i t hl o wo v e r h e a di nn e t w o r kt o p o l o g i e s a d d i t i o n a l l y , s i m u l a t i o n s o ng t - i t ms h o wt h a tt h e s ep r o p e r t i e sc a nh o l di nr e a l i s t i cn e t w o r kt o p o l o g i e s t h er e s u l t sa l s os h o wt h a tc o n s i d e r i n gt o p o l o g ya w a r e n e s sc a np r o v i d ea s i g n i f i c a n tp e r f o r m a n c ei m p r o v e m e n tr e l a t i v et ot o p o l o g yu n a w a r er o u t i n g k e y w o r d so v e r l a yn e t w o r k ，t o p o l o g ya w a r e n e s s ，r a n g eq u e r i a b l e 玎一 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文一种基于r a q 的具有拓扑 意识的覆盖网络，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含 他人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均 已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名：纠1 哈尔滨理工大书 一种基于r a q 的具有拓扑意识的覆盖网络系本人在哈尔滨理工大学攻 读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔 滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了 解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部 门提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可 以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内 容。 本学位论文属于 保密口，在年解密后适用授权书。 不保密叫。 ( 请在以上相应方框内打4 ) 作者签名： 导师签名： 卅t 井虹 彦兰宏 嗍砂7 年弓月印日 日期： 年乡月砌 哈尔滨理工大学工学硕士学位论文 第1 章绪论 本章主要介绍论文的研究背景及意义，并对p 2 p 覆盖网拓扑相关问题的研 究现状进行概述，最后就文章的研究内容及组织结构进行叙述。 1 1 课题背景与意义 随着i n t e m e t 的广泛普及，网络带宽的大幅度增加和个人计算机数量的不 断增多，对等网络u 一1 ( p e e r - t o p e e r ，p 2 p ) 日益成为研究和应用的一个热点。 p 2 p 技术有效解决了单点服务器瓶颈问题，并且使网络从集中化走向分散 化。同时p 2 p 技术的出现，蕴含着巨大的技术潜力和商业价值，很多学术机构 和产业界纷纷投入p 2 p 的研究、开发和应用的行列中，使p 2 p 技术成为 i n t e r n e t 技术的一个热点领域。 在传统的以服务器为中心的网络中，进行资源搜索时存在着很多问题：服 务器必须有强大的计算能力和完善的配套设施，并要保持长时间在线；服务器 必须保持海量的资源信息，以供用户查询下载。由于多方面的限制使得它的资 源信息远不如i n t e m e t 所拥有的丰富；服务器维护工作极其庞大：服务器的负 载是一定量的，随着访问服务器的用户增多，网络会出现延迟现象甚至形成网 络单点瓶颈。 p 2 p 一个显著的特点就是改变了互联网现有的以服务器为中心的大型的网 状结构，它重新给予了“非中心化”结构中网络用户应有的权力，使i n t e m e t 对等的思想得以重生。在对等网络中，每个参与者地位都是平等的，各节点具 有相同的责任和能力，并协同完成任务，他们同时充当服务器和客户端的功 能。对等点之间逻辑上是直接互连，共享信息资源、处理器资源、存储资料甚 至高速缓存资源，无须依赖集中式的服务器就可完成；并且所有节点不需要固 定口地址，不需要保持长时间在线，用户在共享自身信息资源的同时，也可 以利用其他对等点的资源进行协同工作。对等网络的出现使网络应用的核心从 中央服务器向网络边缘的终端设备扩散：服务器到服务器、服务器到p c 机、 p c 机到p c 机，p c 机到w a p 手机，所有网络节点上的设备都可以建立 p 2 p 对话，使分散在i n t e r n e t 上的闲置资源都可以参与信息共享和利用，这使 人们在i n t e m e t 上的共享行为被提到了一个更高的层次。 与其他网络模型相比，p 2 p 具有以下特点：分散化，网络中的资源和服务 哈尔滨理工大学工学硕士学位论文 分散在所有节点上，信息的传输和服务的实现都直接在节点之间进行，可以无 需中间环节和服务器的介入，避免了可能的瓶颈。即使是在混合p 2 p 中，虽然 在查找资源、定位服务或安全检验等环节需要集中式服务器的参与，但主要的 信息交换最终仍然在节点中间直接完成。这样就大大降低了对集中式服务器的 资源和性能要求。分散化是p 2 p 的基本特点，由此带来了其在可扩展性、健壮 性等方面的优势；可扩展性，在传统的c s 架构中，系统能够容纳的用户数量 和提供服务的能力主要受服务器的资源限制。为支持互联网上的大量用户，需 要在服务器端使用大量高性能的计算机，铺设大带宽的网络。为此机群、 c l u s t e r 等技术纷纷上阵。在此结构下，集中式服务器之间的同步、协同等处理 产生了大量的开销，限制了系统规模的扩展。而在p 2 p 网络中，随着用户的加 入，不仅服务的需求增加了，系统整体的资源和服务能力也在同步地扩充，始 终能较容易地满足用户的需要健壮性，在互联网上随时可能出现异常情况，网 络中断、网络拥塞、节点失效等各种异常事件都会给系统的稳定性和服务持续 性带来影响。在传统的集中式服务模式中，集中式服务器成为整个系统的要害 所在，一旦发生异常就会影响到所有用户的使用。而p 2 p 架构则天生具有耐攻 击、高容错的优点。由于服务是分散在各个节点之间进行的，部分节点或网络 遭到破坏对其他部分的影响很小。而且p 2 p 模型一般在部分节点失效时能够自 动调整整体拓扑，保持其他节点的连通性。事实上，p 2 p 网络通常都是以自组 织的方式建立起来的，并允许节点自由地加入和离开。一些p 2 p 模型还能够根 据网络带宽、节点数、负载等变化不断地做自适应式的调整。 目前，路由机制成为p 2 p 技术研究的重点，如何实现高效的路由算法也成 了业界的迫切要求。随着结构化p 2 p 的提出，路由算法的研究向新的一步迈 进，从随机图论的研究转向基于分布式哈希表( d i s t r i b u t e dh a s ht a b l e ，n i - r r ) 的 正则图的研究，并且提出了大量的算法。d h t 算法的优点是在一定的跳数内 查询到目标资源，缺点是路由表的维护方法复杂，并且开销代价直接依赖路由 表的大小。 以d h t 为基础的结构化p 2 p 系统虽然能以一定的跳数0 0 0 9 n ) 找到目标 节点，但它是以d h t 结构进行构建的覆盖网络，每进行一次路由时，只考虑 覆盖网络，而不考虑网络的物理拓扑结构，可能造成应用层上的每一跳都有很 大的延迟，对于p 2 p 应用系统来说，这是远远不够的。应用层的每一跳，在底 层的网络层一般都经过好几跳来完成，引起的网络延迟依赖于每跳中的源节点 与目标节点的实际物理距离，并且在两大洲的邻居节点和在一个局域网内的邻 居节点有着巨大的差别。目前有7 0 以上的覆盖网络与实际网络拓扑结构不匹 哈尔滨理工大学工学硕士学位论文 配，导致了巨大的网络延迟。研究人员提出了一些结构化p 2 p 与底层网络物理 拓扑结构相结合的方法，且对没有考虑网络拓扑结构的p 2 p 系统提出了改进。 1 2 国内外相关技术发展现状分析 p 2 p 网络是覆盖在口网络之上的覆盖网络( o v e r l a yn e t w o r k s ) ，在结构上 采用图论基础作为网络拓扑结构。如何利用图的特性，实现p 2 p 的高效路由机 制是当前研究的热点方向。根据拓扑结构的关系可以将p 2 p 研究分为3 种形 式：中心化拓扑( c e n t r a l i z e dt o p o l o g y ) ；全分布式非结构化拓扑( d e c e n t r a l i z e d u n s t r u c t u r e d t o p o l o g y ) ；全分布式结构化拓扑( d e c e n t r a l i z e ds t r u e t u r e d t o p o l o g y ) 。中心拓扑结构的p 2 p 系统采用目录服务器的方式实现，服务器作 为用户注册、发布资源以及搜索资源媒介，其最大的优点是系统维护简单并且 资源搜索高效，其最大的问题与传统客户机服务器结构类似，容易造成单点 故障，访问的“热点”现象和法律等相关问题，这是第一代p 2 p 网络采用的结 构模式，经典案例就是著名的m p 3 共享软件n a p s t e r 。全分布式非结构化p 2 p 系统采用随机图的组织方式建立在底层网络之上的覆盖网络，每个节点维护几 个在底层网络上与之距离较近的节点。经典的路由算法包括洪泛算法，随机漫 步算法。这类系统中路由算法都类似于广播式的搜索算法，因此产生大量的网 络信息，给网络带来巨大负担。最近研究人员提出非结构化p 2 p 系统节点度数 服从“p o w e r - l a w ”规则，从而能够较快发现目的结点，面对网络的动态变化 体现了较好的容错能力，因此具有较好的可用性。同时可以支持复杂查询，如 带有规则表达式的多关键词查询，模糊查询等，最典型的案例是g n u t e l l a 。全 分布式结构化p 2 p 系统又称分布式哈希表，与非结构化系统最大的不同是采用 哈希函数把资源与节点联系在一起：每节点通过相容哈希函数把i p 地址信息 映射成一定长度二进制序列，称为节点的标识符，对于资源，把资源名字通过 哈希函数映射成同样长度的二进制度列，称为资源的标识符。通过两者关系将 资源与节点对应起来，通常每个节点均匀地负责部分资源。在拓扑结构组织方 式上，采用正则图的组织方式，其中，c h o r d 采用环( r i n g ) ，c a n 临1 采用网格 ( m e s h ) ，p a s t r y l 6 和t a p e s t r y n l 近似于超立方体( h y p e r c u b e ) 。它们维护一定大小 的路由表，通常是o ( 1 0 9 n ) ，并在一定的路由跳数内定位目标，通常是 o ( 1 0 9 n ) 。结构化系统最大问题是系统的维护机制复杂，维护代价直接依赖于 路由表的大小。同时采用d h t 技术的系统仅支持精确关键字匹配查询，无法 支持基于内容或语义等复杂查询。 哈尔滨理工大学工学硕士学位论文 由于结构化p 2 p 系统具有能够自适应结点的动态加入退出，有着良好的 可扩展性、鲁棒性、结点i d 分配的均匀性和自组织能力。结构化p 2 p 系统成 为分布式网络中关注的热点，并且提出很多方面的优化。结构化p 2 p 路由机制 出现了如下的研究方向： 常数度p 2 p 系统的出现：r a t a n a s a m y 埔1 首先提出建立常数度p 2 p 系统的设 想，直到现在为止，研究者己提出了三个著名的常数度p 2 p 系统，分别是 k o o r d e 旧3 、v i c e r o y 们和c y c l o i d 1 。这些系统只维护数目固定的邻居，而具有 o ( 1 0 9 n ) 的网络直径。 覆盖网络与物理网络匹配问题：早期的结构化p 2 p 系统如c h o r d 和c a n 只考虑路由过程中覆盖网络的跳数，而不考虑底层物理网络的i p 跳数，因此 不能很好地满足应用的需要。研究者提出了基于网络拓扑信息的方案，包括邻 近路由算法、邻近邻居选择和地理布局方案，并且结合产生拓扑结构的方法提 出了t o p o l o g y a w a r ec a n u 引，p c h o r d “3 1 等系统。 国内研究多是在界标簇( l a n d m a r kb i n n i n g ) 算法和s a t - m a t c h ( s e l f - a d a p t i v e t o p o l o g ym a t c h ) 算法的基础上进行改进，以达到降低延迟的目的，其普遍效率 均优于以上的两种算法，但却始终未能脱其根本。 文献引提出了一种基于事件驱动的拓扑匹配算法。算法目的是在有效解决 拓扑不匹配的基础上，尽量减小算法开销。算法基本思想是在节点加入或者离 开系统时对p 2 p 覆盖网络做出适当的调整，使之与口网络拓扑匹配。当节点 加入时，利用界标簇算法和r 1 广r 探测技术定位系统中距离最近( 延时最小) 的节 点，而当有节点离开系统时，该节点的所有t t l l 邻居节点探测与自己落在 同一个标界区域中的节点，从而找到系统拓扑改变后与该节点距离最近的节 点。 文献n 瓦蚓提出了拓扑感知的分布式节点聚集算法t a n r a ，其基本思想是， 首先利用分布式网络坐标算法确定节点的二维平面坐标，对坐标平面进行等面 积的划分，得到由多个子区域组成的一个等距同心圆簇，其中的每个子区域均 与d h t 中的多层命名空间的某区间按照地理位置信息进行一一映射，使得在 物理拓扑相邻的节点经过映射后在逻辑拓扑也保持相邻，最后采用d h t 路由 算法的抽象原语接口g e t 0 p u t 0 将相邻结点聚集在同一个区间或相邻区间之 中，从而可为上层应用的覆盖网络提供一种具有拓扑感知特性的分布式节点聚 集机制。文献n 7 1 在结构化p 2 p 网络c h o r d 的基础上，提出一种层次式的c h o r d 模型。层次式c h o r d 能够有效地提高c h o r d 的物理路由效率，并具有较低的 维护开销。 哈尔滨理工大学工学硕士学位论文 文献n 8 3 提出一种基于口构建网络坐标的方法，从节点口地址的网络号所 形成的坐标空间入手，在保持网络节点在空间坐标的邻近距离的前提下，通过 坐标缩减的方式，把节点在网络坐标空间的关系映射到低维空间，再利用低维 空间的值来形成覆盖网。文献n 剀提出了一种新的基于分布式哈希表的结构化 p 2 p 网络，同时它也是拓扑相关的。它利用了口地址分配规律，在不需要耗 费网络资源的情况下就取得了覆盖网对底层物理网络的拓扑相关( t o p o l o g y a w a r e ) 。并在此基础上构建了t a b i p 模型。文献【2 们提出了一种基于p 2 p 计算的 网络拓扑自动发现算法，该算法各对等节点并行搜索网络拓扑，获得局部的网 络子图，最后对子图进行合并而得到全局的网络拓扑，由于各对等节点是分布 式并行进行拓扑搜索的，所以运行效率较高。 文献控13 提出了一种e c h o r d 系统模型，它使得系统中节点在路由过程中结 合附近节点的物理位置和拓扑结构，从而有效地缩短路由距离，大大降低网络 延迟。其方法是在路由表中构建邻居表，其思想正好相当于在小世界模型中构 建了几条缓存长链，这样将会大大缩短覆盖网络中路由跳数。研究人员采用基 于应用层的物理网络探测算法构造覆盖网的方法，其主要想法是在i n o d e 向控 制层注册过程、p e e r s 向对应的管理域节点注册过程中，利用t r a c er o u t e r 原理， 获取i n o d e 之间、p e e r s 到i n o d e 之间双向物理链路( 路由器序列) ，经过路由器 多地址合并、回环路径消除、链路融合等处理，将单一物理链路汇聚成连接各 节点物理网络拓扑；再利用优化的最短路径算法，计算各节点物理上的较近邻 居列表组成簇。依据该算法生成p 2 p 网络o v e r l a y 结构和底层物理网络拓扑更 接近，且没有给网络带来多的冗余消息。 综上所述，目前的研究对邻近信息搜集的研究提出了很多算法，而在构造 覆盖网络方面提出了三种基本方法以及一些路由选择算法。但是已有算法在拓 扑匹配的效果上还不够理想，或是不能适应p 2 p 系统的高度动态性，或是算法 带来的额外开销太大，这些不足大大限制了p 2 p 系统的性能提高及应用范围。 因此，文章对拓扑匹配问题进行研究分析，并提出一种具有拓扑意识的覆盖网 络。 1 3 论文主要工作和组织结构 本文从结构化p 2 p 网络与物理网络拓扑结构问题着手，研究如何解决覆盖 网络与物理网络的匹配问题。结合现有的结构化p 2 p 系统r a q ，提出一种具 有拓扑意识的覆盖网络。主要的研究内容包括如下： 哈尔滨理工大学工学硕士学位论文 1 阐述p 2 p 领域的一些基本概念和基础知识，包括p 2 p 的定义、p 2 p 应 用以及p 2 p 系统的现有问题。 2 对现有的几种解决拓扑相关问题的方法进行研究。 3 深入分析和研究r a q ，并详细说明t - r a q 的设计。 4 将以上研究应用到实际系统中，并通过实验从各方面验证t - r a q 的性 能。 本文的组织结构为： 第1 章：主要介绍论文的研究背景、相关的研究内容及意义，并简单介绍 整篇论文的结构。一 第2 章：主要介绍p 2 p 基本知识。 第3 章：分析拓扑相关问题，提出使t - i 乙q 系统具有拓扑意识的设计思 想。 第4 章：t - r a q 的详细设计。 第5 章：系统实现。通过实验验证t r a q 的性能。 最后，对本文的工作进行了总结，说明了论文研究工作中尚未考虑的方 面，并对进一步的研究和开发作了讨论。 哈尔滨理工大学工学硕士学位论文 第2 章p 2 p 概述 本章主要介绍p 2 p 技术的原理，p 2 p 技术应用方式以及p 2 p 在应用过程中 产生的诸多问题。p 2 p 技术是一种思想，它不仅仅应用在因特网上，在通讯的 各个领域都将发挥其作用。在p 2 p 技术蓬勃发展的同时，许多问题也浮现出 来。如何解决这些问题成为p 2 p 技术发展道路上的坎坷，但也会令p 2 p 技术越 来越趋近于完善。 2 1p 2 p 的概念 p 2 p 是p e e r - t o p e e r 的缩写，p e e r 在英语里有“( 地位、能力等) 同等者”、 “同事”和“伙伴 等意义。这样一来，p 2 p 也就可以理解为“伙伴对伙伴 的意思，或称为对等联网。p 2 p 在加强网络上人的交流、文件交换、分布计算 等方面大有前途。p 2 p 这一术语在不同的上下文环境中可能有不同的内涵，它 可以指一种通信模式，一种逻辑网络模型，一种技术，甚至一种理念。在p 2 p 网络中，所有通信节点的地位都是对等的，每个节点都扮演着客户机和服务器 双重角色，节点之间通过直接通信实现文件信息、处理器运算能力、存储空间 等资源的共享。p 2 p 网络具有分散化、可扩展性、健壮性、隐私性、高性能等 特点，这使得p 2 p 技术在信息共享、实时通信、协同工作、分布式计算、网络 存储等领域都有着广阔的应用前景。 目前，在学术界、工业界对于p 2 p 并没有一个统一的定义，下面列举几个 常用的定义供参考： 1 p e e r - t o p e e ri sat y p eo fi n t e r n e tn e t w o r ka l l o w i n gag r o u po fc o m p u t e ru s e r w i t ht h es a m en e t w o r k i n gp r o g r a mt oc o n n e c tw i t he a c ho t h e rf o rt h ep u r p o s e so f d i r e c t l ya c c e s s i n gf i l e sf r o mo n ea n o t h e r sh a r dd r i v e s 。 2 p e e r t o p e e rn e t w o r k i n g ( p 2 p ) i sa l la p p l i c a t i o nt h a tr u n so n ap e r s o n a l c o m p u t e ra n ds h a r e sf i l e sw i t ho t h e ru s e r sa c r o s st h ei n t e r n e t 。p 2 pn e t w o r k sw o r k b yc o n n e c t i n gi n d i v i d u a lc o m p u t e r st o g e t h e rt os h a r ef i l e si n s t e a do fh a v i n gt og o t h r o u g hac e n t r a ls e r v e r 。 3 p 2 p 是一种分布式网络，网络的参与者共享它们所拥有的一部分硬件 资源( 处理能力、存储能力、网络连接能力、打印机等) ，这些共享资源需要由 网络提供服务和内容，能被其他对等节点( p e e r ) 直接访问而无需经过中间实 哈尔滨理工大学工学硕士学位论文 体。在此网络中的参与者既是资源( 服务和内容) 提供者( s e r v e r ) ，又是资源( 服 务和内容1 获取者( c l i e n t ) 。 虽然上述定义各有不同，但共同点都是p 2 p 打破了传统的 c s ( c l i e n t s e r v c r ) 模式，在网络中的每个结点的地位都是对等的。每个结点既 充当服务器，为其他结点提供服务，同时也享用其他结点提供的服务。 理解p 2 p 技术，有必要将其与传统的c s ( c l i e n t s e r v e r ) 网络结构进行对 比。如图所示，c s 网络结构中c l i e n t 端只能与s e r v e r 端进行直接的数据交 换，而c l i e n t 端与c l i e n t 端的联系需要通过s e r v e r 中介，如图2 - 1 。而p 2 p 网 络结构则是端与端之间是可以自由联系的，不需要区分c l i e n t 与s e r v e r 这两个 概念，如图2 - 2 所示。 服务器 曹，琶翱。“a 曹 二= j ：= 七= 了 ：= 图2 - 1c l i e n t s e r v e r 网络结构图 f i g2 - 1s t r u c t u r eo f c u e n t s e l v e l - n e t w o r k 简单地说，p 2 p 直接将人们联系起来，让人们通过互联网直接交互。p 2 p 使得网络上的沟通变得容易、更直接的共享和交互，真正地消除中介。p 2 p 就 是计算机可以直接连接到其他用户的计算机、交换文件，而不是像过去那样连 接到服务器去浏览与下载，重返“非中心化”，把权力交还给用户。 然而t 2 p 并非一个新的概念和技术。在现实生活中我们每天都按照p 2 p 模 式交流。电话网络技术实际上就是p 2 p 的一种。 形 哈尔滨理工大学工学硕士学位论文 k - p 2 p 是互联网整体架构的基础。互联网最基本的协议t c p i p 并没有客户 机和服务器的概念，所有的设备都是平等的通讯的一端。在十年之前，所有的 互联网上的系统都同时具有服务器和客户机的功能。当然，后来发展的那些架 构在t c p i p 之上的软件的确采用了客户机朋艮务器的结构：浏览器和w e b 服务 器，邮件客户端和邮件服务器。但是，对于服务器来说，它们之间仍然是对等 联网的。以e m a i l 为例，互联网上并没有一个巨大的、唯一的邮件服务器来处 理所有的e m a i l ，而是对等联网的邮件服务器相互协作把e m a i l 传送到相应的 服务器上去。另外用户之间e m a i l 则一直对等的联络渠道。但是过去的5 年 里，互联网的发展至少从表面上远离了p 2 p ，互联网上绝大部分的节点也不能 和其他节点直接地交流。n a p s t e r 正是唤醒了深藏在互联网背后的对等联网。 图2 2 p 2 p 网络结构图 f i g 2 - 2s t r u c t r u eo fp 2 pn e t w o r k 文件共享功能在局域网中是再平常不过的事情，但是n a p s t e r 的成功促使 人们认识到把这种“对等联网”拓展到整个互联网范围的可能性。n a p s t e r 并 不是纯粹的p 2 p ，它仍然需要一个处于中心的协调机制。现在p 2 p 技术在因特 网上得到广泛的应用，p 2 p 技术不仅为个人用户提供了前所未有的自由和便 利，同时也试图有效地整合互联网的潜在资源，将基于网页的互联网转变成动 态存取、自由交互的海量信息网络。p 2 p 技术的发展将影响整个计算机网络的 概念和人们的信息获取模式，真正实现“网络就是计算机，计算机就是网络” 的梦想。 哈尔滨理工大学工学硕士学位论文 与传统的c s ( c l i e n t s e r v e r ) 、b s ( b r o w s e r c l i e n t ) 模式对比来看，p 2 p 技术 的特点体现在以下几个方面： 1 非中心化网络中的资源和服务分散在所有结点上，信息的传输和服务 的实现都直接在结点之间进行，可以无需中间环节和服务器的介入，避免了可 能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩展性、健壮性等方面的 优势。 2 可扩展性在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了， 系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需 要。整个体系是全分布的，不存在瓶颈。理论上其可扩展性几乎可以认为是无 限的。 3 健壮性p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在 各个结点之间进行的，部分结点或网络遭到破坏对其他部分的影响很小。p 2 p 网络一般在部分结点失效时能够自动调整整体拓扑，保持其他结点的连通性。 p 2 p 网络通常都是以自组织的方式建立起来的，并允许结点自由地加入和离 开。p 2 p 网络还能够根据网络带宽、结点数、负载等变化不断地做自适应式的 调整。 4 高性能价格比性能优势是p 2 p 被广泛关注的一个重要原因。随着硬 件技术的发展，个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定 理高速增长。采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点，将 计算任务或存储资料分布到所有结点上。利用其中闲置的计算能力或存储空 间，达到高性能计算和海量存储的目的。通过利用网络中的大量空闲资源，可 以用更低的成本提供更高的计算和存储能力。 5 隐私保护在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无 需经过某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此 外，目前解决i n t e m e t 隐私问题主要采用中继转发的技术方法，从而将通信的 参与者隐藏在众多的网络实体之中。在传统的一些匿名通信系统中，实现这一 机制依赖于某些中继服务器节点。而在p 2 p 中，所有参与者都可以提供中继转 发的功能，因而大大提高了匿名通讯的灵活性和可靠性，能够为用户提供更好 的隐私保护。 6 负载均衡p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少 了对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在多 个节点，更好地实现了整个网络的负载均衡。 与传统的集中式拓扑结构系统相比，p 2 p 技术具有无可比拟的优势。同 哈尔滨理工大学工学硕士学位论文 时，p 2 p 技术具有广阔的应用前景。i n t e m t 上各种p 2 p 应用软件层出不穷，用 户数量急剧增加。近几年来，许多p 2 p 软件的用户使用数量分布从几十万、几 百万到上千万并且急剧增加。同时也带来了许许多多不良的影响，例如数据资 源版权，安全性的管理问题，还给i n t e m e t 带宽带来巨大冲击，这将在后面的 章节详细介绍。尽管如此，p 2 p 计算技术仍然在飞速的发展着，不断应用到军 事，商业，政府信息，通讯等领域。 2 2p 2 p 的应用 p 2 p 技术在网络中应用很广泛，对网络产生了很大的影响。p 2 p 的各种应 用了也充分利用了p 2 p 拓扑结构的研究成果，很多厂商甚至自己提出了一些改 进。因此，下面将p 2 p 应用分类阐述并举例说明。 2 2 1p 2 p 文件共享 p 2 p 文件共享是p 2 p 应用中最为广泛的方式之一，它通过在不同用户间直 接进行文件交换达到文件共享的目的。该方式比传统的c s 模式下的文件共享 方式有速度快和资源丰富的优势。 n a p s t e r 是最早出现的p 2 p 系统之一，并在短期内迅速成长起来。n a p s t e r 实质上并非是纯粹的p 2 p 系统，它通过一个中央服务器保存所有n a p s t e r 用户 上传的音乐文件索引和存放位置的信息。当某个用户需要某个音乐文件时，首 先连接到n a p s t e r 服务器，由服务器进行检索，并由服务器返回存有该文件的 用户信息；再由请求者直接连到文件的所有者传输文件。 n a p s t e r 首先实现了文件查询与文件传输的分离，有效地节省了中央服务 器的带宽消耗，减少了系统的文件传输延时。这种方式最大的隐患在中央服务 器上，如果该服务器失效，整个系统都会瘫痪，这也是c s 结构系统的通病。 另一个问题在于安全性上，n a p s t e r 并没有提供有效的安全机制。 在n a p s t e r 模型中，一群高性能的中央服务器保存着网络中所有活动对等 计算机共享资源的目录信息。当需要查询某个文件时，对等机会向一台中央服 务器发出文件查询请求。中央服务器进行相应的检索和查询后，会返回符合查 询要求的对等机地址信息列表。查询发起对等机接收到应答后，会根据网络流 量和延迟等信息进行选择，和合适的对等机建立连接，并开始文件传输。 b i t t o r r e n t 是一种依赖p 2 p 方式将文件在大量互联网用户之间进行共享与 传输的协议，对应的客户端软件有b i t t o r r e n t 、b i t c o m e t 和b i t s p i r i t 等。由于 哈尔滨理工大学工学硕士学位论文 其实现简单、使用方便，在中国用户之间被广泛使用。 客户端从w e b 服务器或者其他传统服务器下载种子文件，种子文件中存 储了某文件资源对应的t r a c k e ri p 地址和服务端口号、部分p e e r 节点口地 址和服务器口号、文件名称、文件分片的长度以及骗术、文件创建者信息。客 户端解析种子文件后连接t r a c k e r 服务器，请求p e e r 列表和文件分片信 息，获取p e e r 列表后，客户端依次与p e e r 建立连接获取其需要的文件或者片 段，本地客户端从数十数百个远程客户端获取某一文件的各个分片，在下载完 成后将其组装还原为一个完整的文件。在文件下载过程中，客户端始终保持与 t r a c k e r 服务器的链接，交互本地客户端已经上传或者下载的字节数、文件 分片信息，方便其他客户端连接本地客户端获取该文件资源。 迅雷是国内流行的下载软件，它是基于p 2 s p 原理的，p 2 s p 是p 2 p 技术 的与c s 技术的综合，p 2 s p 中的“s 就是指s e r v e r 。迅雷把原本孤立的服务 器和其镜像资源以及p 2 p 资源整合到了一起。迅雷拥有自己的资源服务器，供 用户下载，同时也跟b i t t o r r n t 一样共享各个客户端的资源，另外，迅雷会搜 索各个客户端所单独拥有的服务器地址，并共享给别的用户使用，也就是所说 的“盗链 ，一定程度上损害了网络上某些服务器的利益。 用户从互联网上找到要下载的文件资源( 该文件资源可能存在于迅雷资源 服务器或者其他授权该用户使用的网络资源服务器) ，用迅雷进行下载。迅雷 把该用户地址和该用户所拥有的资源服务器地址作为新的资源存储在迅雷的服 务器上，当有新的用户也下载该文件时，迅雷服务器会将前面所收集的所有资 源给它，并将新用户的地址也作为资源更新服务器资源列表。于是，迅雷便拥 有了比b i t t o r r e n t 更快速更稳定的下载。 k a z a a 是现在全世界流行的几款p 2 p 软件之一。根据c a 公司统计，全球 k a z a a 的下载量超过2 5 亿次。使用k a z a a 软件进行文件传输消耗了互联网 4 0 的带宽。它之所以如此的成功，是因为它结合了n a p s t e r 和g n u t e l l a 共同 的优点。从结构上来说，它使用了g n u t e l l a 的全分布式的结构，这样可以是系 统更好的扩展，因为它无需中央索引服务器存储文件名，它是自动的把性能好 的机器成为s u p e r n o d e ，它存储着离它最近的叶子节点的文件信息，这些 s u p e r n o d e ，再连通起来形成一个o v e r l a yn e t w o r k 。由于s u p e r n o d e 的索引功 能，使搜索效率大大提高。 p 2 p 文件共享应用通常用来共享大的音视频文件，客户端在下载过程中通 常会与几十上百个客户端保持连接，而且成千上万个客户端同时交互。客户端 越多，文件共享越频繁。与传统c s 模式相比，能满足更多人的文件快速共享 哈尔滨理工大学工学硕士学位论文 需求，而且文件资源由各个客户端提供，所以资源丰富，客户文件下载体验非 常好。这也是p 2 p 文件共享类应用迅速风靡全球的原因。但是由此也可以看 出，p 2 p 文件共享应用势必造成网络连接数剧增、普通节点间的交互流量急剧 增大，特别是相聚很远的跨区域流量增大，打破了传统c 届模式下流量的局部 特性。另外，p 2 p 文件共享没有文件存储中心，致使文件共享的集中可控制 性、可管理性下降，大量非授权、盗版文件在普通用户之间交互传播，一定程 度上给知识产权和文化版权的保护造成困难。 p 2 p 客户端之间长时大量的链接也给各种异常流量的传播制造了便利条 件，各种病毒、网络攻击、恶意软件可以在各个客户端之间迅速传播，极易造 成大范围的网