（计算机科学与技术专业论文）ipv6组播与p2p协作数据传输.pdf

北京邮电大学硕十研究生学位论文摘要 i p v 6 组播与p 2 p 协作数据传输 摘要 p e e r t o p e e r ( p 2 p ) 以其丰富的应用模式正在迅速流行，在短短几 年里，p 2 p 应用己成为了占用i n t e r n e t 流量最多的应用，被财富 杂志称为改变互联网未来发展方向的四大技术之一。在这充满魅力和 挑战的领域中，p 2 p 应用的底层支撑技术正越来越为人所重视，有着 积极的研究意义。 随着i p v 6 网络的组播演进以及组播应用的飞速增长，组播服务势 必会成为下一代i p v 6i n t e r n e t 上的一种主要的网络服务。目前许多制 订关于组播技术的协议标准。在服务于i p v 4 的基础上，都充分考虑 了对i p v 6 的支持。 本课题的项目背景是c n g i 大规模路由和组播研究实验的子项 目，此项目的是验证纯i p v 6 环境下的p 2 p 可行性及性能、大规模i p v 6 组播的性能，因此设计和实现了基于i p v 6 组播和p 2 p 技术的文件分 发系统。 本文首先研究了p 2 p 技术和i p v 6 组播，并在基于i p v 6 组播和p 2 p 技术的文件分发系统基础上，重点阐述了i p v 6 组播和p 2 p 协同传输 数据：利用p 2 p 技术找回组播传输丢失的分片；利用p 2 p 技术将组 播数据从一个组播域扩散到其他组播域。 本文大体上可以分4 个部分：第一个部分详细介绍了p 2 p 技术和 i p v 6 组播；第二个部分分析了文件分发系统的系统结构；第三部分重 t 北京邮电人学硕上研究生学f 谚论文摘要 点阐述了i p v 6 组播和p 2 p 协同传输数据；第四个部分为相关测试。 关键词：i p v 6 组播p 2 p 代理 北京邮电大学硕t 研究生学位论文 a b s t r a c t i p v 6m u i j i c a s td a t at r a n s m i s s i o ni n c o l i a b o r a t i o nw i t hp 2 p p e e r t o - p e e r ( p 2 p ) i sb e c o m i n gp o p u l a rr a p i d l yb e c a u s eo fi t sr i c h a p p l i c a t i o nm o d e i nj u s taf e wy e a r s ，p 2 pa p p l i c a t i o nh a so c c u p i e dt h e i n t e r n e tf l o wr a t em o s t l ya n di th a sb e e nn a m e d b yf o r t u n e o n eo ft h e f o u r b i g g e s t t e c h n o l o g i e sw h i c h w i l l c h a n g e i n t e r n e t d e v e l o p m e n t d i r e c t i o ni nt h ef u t u r e i nt h i s a m a z i n g a n d c h a l l e n g i n gf i e l d ，t h e u n d e r l y i n gt e c h n i c a ls u p p o r to fp 2 pa p p l i c a t i o ni sg a i n i n gg r e a ta t t e n t i o n s oi th a sa c t i v er e s e a r c hs i g n i f i c a n c e w i t ht h ee v o l u t i o no fi p v 6m u l t i c a s ta n dr a p i di n c r e a s eo fm u l t i c a s t a p p l i c a t i o n ，m u l t i c a s ts e r v i c ec e r t a i n l yw i l lb et h em a i ni n t e m e ts e r v i c ei n t h en e x tg e n e r a t i o no fi p v 6i n t e r n e t a tp r e s e n t ，m a n yp r o t o c o ls t a n d a r d s f o r m u l a t i n g m u l t i c a s t t e c h n o l o g y t a k et h e s u p p o r t f o ri p v 6i n t o c o n s i d e r a t i o no nt h eb a s i so fs u p p o r t i n gi p v 4 t h es u b j e c tc n g ip r o j e c ti sal a r g e s c a l eb a c k g r o u n da n dm u l t i c a s t r o u t i n gc o m p o n e n to ft h ee x p e r i m e n t a ls t u d y , t h i sp r o j e c ti sp u r ei p v 6t e s t e n v i r o n m e n ta n dt h ef e a s i b i l i t yo fp 2 pp e r f o r m a n c e ，t h ep e r f o r m a n c eo f l a r g e s c a l ei p v 6m u l t i c a s t ，b a s e do nt h ed e s i g na n di m p l e m e n t a t i o ni p v 6 m u l t i c a s tt e c h n o l o g ya n dp 2 pf i l ed i s t r i b u t i o ns y s t e m i nt h et h e s i s ，p 2 pt e c h n o l o g ya n di p v 6m u l t i c a s ta r ef i r s ti n t r o d u c e d i i i 北京邮电大学硕士研究生学位论文 i p v 6m u l t i c a s ta n dp 2 pc o l l a b o r a t i v et r a n s m i s s i o nd a t aa r ed i s c u s s e d e m p h a t i c a l l yo nt h eb a s i so fi p v 6m u l t i c a s ta n df i l ed i s t r i b u t i o ns y s t e m f o rp 2 pt e c h n o l o g y ：w i t hp 2 pt e c h n o l o g y , g e t t i n gt h el o s ts l i c i n gd u r i n g m u l t i c a s tt r a n s m i s s i o na n dd i f f u s i n gt h em u l t i c a s td a t af r o mo n em u l t i c a s t d o m a i nt oo t h e rm u l t i c a s td o m a i n s t h e r ea r ef o u rp a r t si nt h et h e s i s ：i np a r to n ep 2 pt e c h n o l o g ya n d i p v 6m u l t i c a s ta r ei n t r o d u c e di nd e t a i l ；t h es y s t e ms t r u c t u r eo ft h ef i l e d i s t r i b u t i o ns y s t e mi s a n a l y z e di np a r tt w o ；i p v 6m u l t i c a s ta n dp 2 p c o l l a b o r a t i v et r a n s m i s s i o nd a t aa r ed i s c u s s e de m p h a t i c a l l yi n p a r tt h r e e a n dt h ec o r r e l a t e dt e s t sa r ei n t r o d u c e di np a r tf o u r k e y w o r d s ：i p v 6 ，m u l t i c a s t ，p 2 p , p r o x y i v 北京邮电人学硕上研究生学位论文声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电人学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资i 4 - 若有不实之处， 本人签名： 星 律煎 本人承担一切相关责任。 日期：业! 李至璺乏国 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属北京邮电人学。学校有权保留并向国家有关部 门或机构送交论文的复印什和磁盘，允许学位论文被奄阅和借阅；学校可以公布学位论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本 学位论文不属丁：保密范用，适用本授权书。 本人签名： 导师签名： 日期_ 一丝缱之金三国 日期：j 幽扯必 北京邮电大学硕_ j 二研究生学位论文 绪论 1 1课题背景 第一章绪论 网络技术的飞速发展与迅速普及，使其成为现代社会传承文明的重要手段， 随着网络规模的不断扩大，连入网络中的设备、计算单元的数量和种类也越来越 多，网络本身也因“无处不在的计算 而蕴含了大量的资源，如带宽资源、计算 资源、信息资源等，然而目前的互联网仍然是以客户机服务器模式为主，尤其 是w e b 技术的发展使得许多w 曲服务器成为信息的主要提供源，也就使得整个 i n t e r n e t 系统依附于这些少量的服务器节点，导致网络中大量的边缘节点上的资 源无法充分利用，形成大量的信息孤岛。同时在客户机及服务器模式中，大量资 源聚集在少数服务器节点上，单纯依靠复杂的负载平衡算法和容错算法己经难以 向客户提供快捷的服务，随着访问量的增加，与服务器相关的网络带宽也必须相 应增加，才能满足用户海量信息传递的要求。虽然在基于w r e b 服务的环境中，采 用数据缓存和复制技术可以在一定程度上缓解这种网络带宽紧张的状况，但要想 从根本上解决这个问题，必须改变这种集中服务的模式。 p 2 p ( p e e r - t o p e e r ) 技术由此应运而生。从基础技术角度看，p 2 p 不是一种新的 技术，而是旧有技术新的应用模式，早在2 0 世纪7 0 年代中期p 2 p 就在局域网的文 件共享中被广泛的使用。p 2 p 技术的主要目的就是希望能够充分利用互联网中所 蕴含的潜在资源。p 2 p 作为一种网络模型，属于特殊的分布式系统，它里面的各 个节点是逻辑对等的，具有相同的责任与能力并能协同完成任务。系统中的各个 节点之间可以直接互连共享信息资源、处理器资源、存储资源甚至高速缓存资源 等，无需依赖集中式服务器或资源，存在于传统客户机h i 务器体系结构中的功 能和通信在客户端和服务器上的分离消失了，新术i 吾s e r v e n t s ( 源自s e r v e r + c l i e n t ) 正伴随着网络计算领域的新机遇出现在我们面前，它将引导网络计算模式从中心 走向分散，从中央走向边缘，充分利用终端设备的处理能力，使每个节点都主动 地加入网络中去共享它们的资源。 相对于传统的客户机服务器模式互联网，对等网络( p 2 p ) 的优势主要体现 在以下几个方面： 1 负载均衡 p 2 p 网络环境下可以根据策略灵活分布信息，负载均衡模块可以监控各种信 息的流量和请求率，然后重新分布这些信息以减轻单个节点的负载。 2 丰富的信息资源 北京邮电人学硕十研究生学位论文 绪论 任何p 2 p 网络用户能够扫描活动节点并搜索需要的信息，然后直接从这个节 点上下载信息。用户可以在他们的机器上把下载的信息共享出来，在一个开放网 络环境下，p 2 p 网络能够很快积累相当丰富的信息。 3 冗余和容错 p 2 p 网络的多个节点间的信息复制导致高度冗余，其直接结果是提高了信息 的可靠性，使之为更多的用户提供服务。另外，冗余使得网络不会产生“单点失 效”问题，所以分散式的p 2 p 网络提高了网络的容错和安全。 4 有效的搜索 w e b 搜索引擎存在一些问题，因为这些搜索引擎依赖执行程序在i n t e r n e t 上进 行搜索，得到的信息存储在巨大的、可扩展的数据库中。这些索引信息仅包括开 放的服务器，并且数据库不会随着网络状况动态更新。但在p 2 p 网络中，任何节 点的信息只有当节点在线的时候才被索引，因此索引信息与网络状态同步。p 2 p 网络不依赖搜索程序重新访问链接来修改数据库索引信息，这种动态信息索引和 对信息的有效搜索使得p 2 p 具有显著优势。 由于上述优点，p 2 p 已经得到广泛的应用，如网络电视、文件分发和共享、 分布式计算等，也能应用到v o i p 中，s k y p e 就是一个成功的例子。虽然p 2 p 可以应 用到很多领域，但目前p 2 p 应用还存在许多有待解决问题，这些问题是p 2 p 发展 目前面临的困境，主要有以下几个方面： 1 版权问题 就像n a p s t e r 的出现冲击着唱片公司的利益一样，大多数p 2 p 服务都将不可避 免地和知识产权发生冲突。n a p s t e r 险些被联邦法院强令关闭，直到今天仍然因 身陷版权官司的沼泽之中吉凶为b 。尽管美国唱片协会等一些组织在寻找一种新 的方式来保护知识产权，但是，每一个提供文件共享服务的p 2 p 公司都不得不认 真审视p 2 p 网络面临的版权问题。截至2 0 0 4 年1 0 月，r i a a ( 美国唱片协会) 所起 诉的网络音乐侵权案被告人数已经增力n n 5 0 0 0 人以上。美国政府也多次采取联合 行动，打击利用p 2 p 网络交换色情图片的犯罪行为。2 0 0 5 年5 月，m p a a ( 美国电 影协会) 也向法院递交了起诉书，指控6 家电视节目b t 下载站点从事非法的电视 交易。 2 管理困难 p 2 p 网络的精髓在于其“乌托邦”式的管理方式，这种方式给了用户更多的自 由，但是这也陷入了“无政府主义”的困境。可以想象，缺乏管理的p 2 p 网络将会 成为病毒、色情内容以及非法交易的温床。 3 垃圾信息 由于p 2 p 网络的用户众多，当某个用户进行搜索时，自然会得到大量的搜索 2 北京邮电大学硕l ：研究生学位论文 绪论 结果。而除了少数有用的信息以外，其它大多数的信息可能都属于垃圾信息。在 缺乏统一的管理的情况下，p 2 p 网络很难对搜索结果进行排序，用户将不可避免 地陷入垃圾信息的汪洋大海。 4 吞噬网络带宽 p 2 p 使网络变得空前活跃，大多数用户愿意利用p 2 p 网络在计算机之间传送文 件，这将大量吞噬网络带宽，特别是在大多数用户更喜欢传送大体积的m p 3 文件、 视频文件的时候，这个问题更加不容忽视。目前，基于p 2 p 的文件交换已经成为 互联网的主流应用。据c a c h e l o g i c 的研究，在2 0 0 4 年，以b t 和e d o n k e y 为代表的 p 2 p 应用已经占据了整个互联网流量的2 3 ，在2 0 0 5 年甚至达到了8 0 。这些流量 中，主要都是m p 3 音乐和各种视频文件的交换。我国的网络带宽较窄，成了p 2 p 应用难以逾越的障碍。我国的各大运营商，在2 0 0 5 年都对p 2 p 流进行了限制，很 多管理软件、防火墙设备相继推出针对p 2 p 的监控和限制功能，一时间企业网中 形成了对p 2 p 的追杀围剿之势。 p 2 p 技术目前虽然存在种种问题，但由于它技术的优越性，使得p 2 p 的应用越 来越广泛和流行，它不但能为企业节省经费，也能给个人用户带来许多方便。这 样一项能造福人类的技术靠限制是不可能解决问题，只有通过技术上的手段来解 决目前存在的问题，有效引导p 2 p 应用向良性方向发展，才能从根本上解决当前 p 2 p 带来的困惑。本课题的目的之一就是为了研究和解决当前p 2 p 存在的问题， 利用组播的减少带宽的性能来解决p 2 p 消耗网络带宽的问题。 1 2 课题研究内容 本课题的项目背景是c n g i 大规模路由和组播研究实验的子项目，此项目的 是验证纯i p v 6 环境下的p 2 p 可行性及性能、大规模i p v 6 组播的性能，以及基于i p v 6 组播方式p 2 p 和基于单播方式p 2 p 的性能比对。并因此设计和实现了基于i p v 6 组 播和p 2 p 技术的文件分发系统。 本课题的研究内容是如何将i p v 6 组播与p 2 p 技术结合起来共同协作传输数据 以及如何利用p 2 p 技术将组播数据从一个组播域扩散到其他组播域。 1 3 课题创新点 本课题的创新点是：i p v 6 组播与p 2 p 技术的相结合。p 2 p 是当f j 互联网最具有 革新性的应用，它带来的是无穷的市场前景，然而p 2 p 应用对网络带宽的无止境 的占用使当前不少p 2 p 软件遭到封杀；而组播技术是减少网络带宽占用的有效途 径，因此将组播技术与p 2 p 技术相结合，充分发挥两者的优势不仅能够节省大量 3 北京邮电人学硕j ：研究生学位论文绪论 宝贵的网络带宽资源，而且对于实现p 2 p 的可靠、可控、可管理具有十分重要的 意义。 4 北京邮电大学顾十研究生学位论文p 2 p 技术 第二章p 2 p 技术 进入上世纪9 0 年代以来，i n t e m e t 开始进入应用的繁荣时期：这既体现在应用 的多样性上，也体现在应用的扩展性上。p e e r - t o p e e r ( p 2 p ) 以其丰富的应用模式 正在迅速流行，在短短几年罩，p 2 p 应用己成为了占用i n t e r n e t 流量最多的应用， 被财富杂志称为改变互联网未来发展方向的四大技术之一。在这充满魅力和 挑战的领域中，p 2 p 应用的底层支撑技术正越来越为人所重视，有着积极的研究 意义。 2 1p 2 p 技术背景 2 1 1 互联网发展的三阶段 一般而言，互联网的发展大致可以分为三个阶段，从a r p a 网的初创到 w w w 应用的兴起之前是第一阶段；之后随着w w w 应用的同益普及一直到目 前仍然处于第二阶段；如果新的p 2 p 技术不辜负人们的期望而最终成为未来互联 网的全新模式，那么现在也可以算作是两个阶段的过渡时期。 i n t e r a c t 设计之初是为了提供通信网络，可以说互联网初创之时就是一个p 2 p 系统。最初的a r p a 网的目标是在美国范围内分享计算资源，这样就必须面临集 成己有不同网络的挑战性工作。a r p a 上最初四个节点的状态是相似的，因此 a r p a 连接这四个节点的方式既不是m a s t e r s l a v e 架构也不是c s 架构，而是一种 p 2 p 模式。早期的互联网在通常情况下任何两台机器都能相互发送信息包，互联 网是丌发人员合作交流的舞台。由于当时所用的协议和系统都比较模糊且专用， 安全问题很少。后来互联网上越来越多的应用逐渐转向c s 架构发展。 随着w w w 的出现，互联网迅速普及并演变成为继报纸、广播、电视之后的 第四媒体。i n t e r n e t 的媒体化对p 2 p 的本质产生了强烈的冲击。 以n a p s t e r 的出现为标志的互联网新时代刚刚开始，p 2 p 是这个时代的热点之 一。随着网络与计算机技术的发展，普通终端拥有了更廉价的计算能力、更高的 带宽和更大的存储空间，从而使p 2 p 计算成为可能。 p 2 p 把计算的概念从电脑、i n t e r n e t 的范围扩大到整个世界，随着通信需要的 空前扩大和通信技术的不断发展，3 g 、蓝牙、嵌入技术等新技术的普及，p 2 p 技 术迎来了一个绝好的发展时机。 北京邮电大学硕： = 研究生学位论文p 2 p 技术 2 1 2p 2 p 技术产生的背景 自从美国国防部的a r p a n e t 以来，互联网发展史上最伟大的发明就是w e b 。 a p p a n e t 给世界带来了网络，w e b 让世界都认识了网络，但w e b 并不是互联网发 展的最高阶段。互联网上最大的应用是交谈、信息发布、电子邮件和文件交换四 种应用。w 曲出现前，人们通过e m a i l ，8 p ，t e l n e t 等技术来完成上述应用，此时的 网络处于分布、孤立的状态，其不便之处以至于要专业人士才能使用。w e b 的出 现，其简单方便的使用方式，革命性地推动了互联网的发展，同时也使网络的架 构从分布式进入了集中式，网络应用的核心也成为了中央服务器，i c p 就是w e b 功能的集中体现。但随着网络技术的发展，网络传输速度日益加快，网络用户急 剧增加，w e b 对文件交换的不便之处以及过分依赖中央服务器造成对高性能计算 机要求的增大，使网络的更大规模应用受到了极大的限制。在这种情况下， n a p s t e r 及时的引发了文件交换的革命，同时也引起了p 2 p 技术的发展。 p 2 p i j i 导网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从 中央服务器向网络边缘的终端设备扩散，所有网络节点上的设备都可以建立p 2 p 对话。这使人们在i n t e m e t 上的共享行为被提升到一个更高的层次，使人们以更 主动深刻的方式参与到网络中去。正如第二代互联网之父d o u g v a nh o u w e l i n g 在他的中国之行时说到的：“下一代互联网民们将真正参与到网络中来，每个人都 能为网络的资源和功能扩展做出自己的贡献”。 2 1 3 国内外p 2 p 技术的研究现状 作为一项新技术，p 2 p 己经引起了世人的广泛关注。目前，全球各种与p 2 p 有关的研究项目层出不穷，应用热潮也是一浪高过一浪。 一、国外的研究现状 自从n a p s t e r 出现之后，国外对p 2 p 的研究与探讨就如火如茶的展开了。新的 软件和新的思想层出不穷。在软件方面，出现了很多出色的应用。! t l l n a p s t e r 、 g r o o v e 、s e t i h o m e 、g n u t r l l a 等都是基于p 2 p 技术的典型应用。 在p 2 p 技术研究方面，国外的很多巨头公司都在进行p 2 p 技术的研究。微软公司 正致力于一种代码名叫“f a r s i t e ”的p 2 p 产品开发，这是一个文件分类系统，它建 立于联合存储模式上。英特尔公司一直是p 2 p 技术的狂热鼓吹者，英特尔公司的 芯片开发人员充分利用分布在世界各地工作站上的一万台p c 的闲置硬盘空间和 计算能力，从而省去了购买高档计算机的费用。英特尔已经联合世界多家知名的 高科技公司组成一个新的工作组，以便以更强大的实力构筑面向商务环境的p 2 p 体系。这个工作组成员中包括i b m ，惠普等公司。这两家公司在2 0 0 0 年9 月共同推 6 北京邮电人学硕上研究生学位论文 p 2 p 技术 出了一种丌放存储技术，这一存储技术利用了p 2 p 技术，可以方便的从用户的硬 盘向服务器复制数据。惠普还把p 2 p 的立足点放在打印技术上，该公司推出的网 络打印技术可以使用户通过p 2 p 网络共享打印机。j x t a 是s u n 公司专门开发的 p 2 p 的底层平台，它是目前p 2 p 技术研究中的一项领先技术。作为p 2 p 底层平台的 通用标准，j x t a 作为产品还不太成熟，而且短时间内也不会成为企业级的应用， 但是新技术是需要尝试的，企业可以参考这些技术并在自己的应用开发中有选择 的使用自己看中的技术。实际上，国外己经有基于j x t a 开发的应用进入市场了。 二、国内的研究现状 相对国外来说，中国对p 2 p 的应用才刚刚起步。国内p 2 p 的市场基本上从2 0 0 0 年底开始逐步启动。目前，国p 2 p 的应用主要有两个方向：文件共享和协同工作。 文件共享包括了部分搜索功能，集群计算在国内还未开始。 随着对p 2 p 的深入了解，国i 大l p 2 p 的应用案例也逐渐多起来。目前主要的几款 中文p 2 p 软件有w o r k s l i n k ，e z p e e r , j e l a w a t ，k u r o ，t o p e r s o n 等。它们的主要功能是 搜索和下载其它用户共享的文件和传送即时消息。 新技术的出现，往往是在个人用户中首先开始，企业应用需要到技术比较成熟时 才会开始，所以p 2 p 在国内的企业应用还需要一段时间。随着p 2 p 技术的推广， p 2 p 将会很快成熟起来。 2 2p 2 p 技术概述 2 2 1p 2 p 的概念 对于p 2 p 技术，目前还没有一个通用的定义，一般来说，p 2 p 网络是在一个分 布式的环境中将各个计算机连接起来，不需要中心控制节点对网络信息进行控 制。但实际上，p 2 p 技术在一定程度上还是依赖于中心控制节点的。 简单说来，p 2 p 技术是一种用于不同计算机用户之间、不经过中继设备而直 接交换数据或服务的技术。p 2 p 技术使得网络上的沟通变得更容易、更直接。p 2 p 改变了i n t e m e t 现在的以大网站为中心的状态，重返“非中心化”，并把权力交还给 用户。从某种意义上讲，p 2 p 体现了i n t e r n e t 的本质。 2 2 2p 2 p 与c s 结构的比较 p 2 p 对于c s 结构并不是一种完全意义上的否定，只是在p 2 p 中每个节点都即 是服务器又是客户端。c s 结构能够如此大行其道还是有其深刻的背景的 3 2 1 。 首先，原有网络的资源、运算能力和信息不平衡不均等的事实，是其成为i n t e r n e t 应用的主要模式的第一原因；其次，网内进程通信与单机进程通信的最大区别就 7 北京邮电人学硕上研究生学位论文p 2 p 技术 是，网间通信完全是异步的，因此要建立一种机制，使网间进程间的数据交换得 以同步。c s 结构完美地解决了这一问题。按照该模式，每次通信均由随机启动 的客户进程发起，服务器进程直处于等待状态，这样就可以保证服务器随时对 客户请求做出响应。另外，客户与服务器间的请求应答模式为相互通信的进程间 的数据传输同步提供有力的支持。 传统的p 2 p ，作为一种网络应用架构，可以参照c s 架构来理解。在一个简化 的c s 模型中，客户端向服务器发送请求，服务器处理请求并将结果返回客户端。 对l t , p 2 p 结构，c s 结构中通常是设置有一个固定的服务器来响应客户端的请求。 而在p 2 p 结构中，所有的客户端都可以扮演服务器的角色，只是没有一个固定的 服务器而已。因此，p 2 p 结构可以理解为c s 结构的一个极端特例。 2 2 3p 2 p 的基本模型 p 2 p 架构的模型可以简单的分为两种：纯p 2 p 型和混合型。前者是指每个端点 都具有同样的能力和职责，并且它们之间的交互是完全对称的；后者则设置有服 务器来协助端点之问的交互行为。 纯p 2 p 模式，如图2 1 所示，它适合于那些规模较小的应用，其特点是在结构 中没有服务器，端点一般通过两种方式发现其它端点以及发送请求和接收数据： 一是从本地的配置中读取列表；另一个是利用网络广播和搜索技术来实现。但是 i p 广播只有在局域网控制比较严格的环境下才相对有效，在i n t e r n e t 上应用的不 多。当使用非广播式的方法来发现p e e r 时，纯p 2 p 模式也可以应用于i n t e r n e t 上。 这种情况下，采取如下方式：每个p e e r 至少知道一个其它p e e r 的情况，并把这一情 况共享出去，从而形成一个松散连接的群组。 peer终端peer终端 图2 1纯p 2 p 模式 混合型p 2 p 模式，如图2 2 所示，它的最大特点就是在架构中设置有一个中央 服务器，这个服务器的概念并不同于c s 架构中服务器，它只提供简单的服务， 比如发现、查找。如果这个服务器具有了内容提供的能力，那么它基本上就等同 于原来的c s 架构中的服务器的概念。 8 北京邮电人学硕- 上研究生学位论文p 2 p 技术 2 3p 2 p 的关键技术 p e e r 终端 图2 - 2混合型p 2 p 模式 p 2 p 通信时需要解决的最基本的问题即是如何连接其它的终端获得信息、资 源和服务，在p 2 p 应用中这是非常关键的，是p 2 p 应用需要解决的关键技术。该 问题可细分为以下一些问题： p 2 p 网络的拓扑结构和p e e r 节点的功能角色划分； 资源和服务如何标识； 进行资源查找时如何进行p e e r 定位； p 2 p 网络中p e e r 节点的动态变化的处理； 如何穿越n a t ( n e t w o r k a d d r e s st r a n s l a t i o n ) 和防火墙进行p e e r 节点 之间的直接通信 1 p 2 p 网络的拓扑结构和p e e r 节点的角色划分 在p 2 p 网络中，有两种典型的拓扑结构，即纯p 2 p 网络和混杂的p 2 p 网络。在 纯p 2 p 网络中，每个p e e r 都具有同等的责任和地位，不存在中间节点的协调。 f r e e n e t 、g n u t e l l a 都属于纯p 2 p 网络。而在混杂的p 2 p 网络中，存在着充当服务器 角色的p e e r 节点或提供特殊功能的s u p e r - p e e r 节点，这些节点保存其它p e e r 节点的 基本状态和存储内容源信息，协助完成对其它节点的记录、查询等工作，n a p s t e r , g r o o v e ，m a g i 等系统均是典型的混杂型p 2 p 系统。 每一个p e e r 根据其提供的角色功能可以划分为三种类型，即简单类型p e e r 节 点，s u p e r - p e e r 节点和服务器型的p e e r 节点。简单类型p e e r 节点仅仅是一个简单的 终端用户，它可以请求获得服务并为网络中的其它p e e r 提供服务。s u p e r - p e e r 节 点除了具有和简单p e e r 节点类似的功能外，还提供某些特殊功能。女f l j x t a 系统 中就存在路由器p e e r 节点和会聚点p e e r 节点，前者作为一个桥梁，使得被防火墙 或n a t 隔离的p e e r 可以相互通信；后者为简单节点提供查询定位信息的功能。服 9 北京邮电人学硕上研究生学位论文p 2 p 技术 务器型的p e e r 节点主要提供类似与客户服务器模型下的服务器功能，如提供一个 全局统一的目录查询。在n a p s t e r ：这种混杂型的p 2 p 系统中，有若干个简单p e e r 节 点相互提供文件下载功能的服务，还有一个目录服务器节点提供文件条目的注册 管理。g r o o v e ：和m a 西系统中也均存在这样的服务器型节点。而在纯p 2 p 网络中， 每一个p e e r 节点均充当了上述的三种角色。 2 资源的标识 为了在p 2 p 网络中准确地查找资源进行p e e r 定位，还需要确定p e e r 中存贮资源 的标识。不同的应用场景均有适合自身特点的资源标识方式。 在以文件共享为主的应用中，资源主要以文件的名称、关键字、源数据等进行标 识。而即时消息通讯系统往往采用类似于电子邮件的命名方式，如在：j a b b e r 系统 中，j a b b e r l 拘用户i d 以【n o d e 】d o m a i l l 【r e s o u r c e 】的形式进行地址标识，提供一个 全局统一的地址空间。其中，d o m a i n 是主要的l d 标识，是与多个用户连接进行 消息转发的j a b b e rs e r v e r ；n o d e 为用户姓名或昵称，r e s o u r c e 属于一个n o d e ，标 识属于一个用户的多个资源。一个用户可以同时与同一服务器建立多次连接。 3 p e e r 的定位方式 在查找资源的过程中，可采用直接或间接方式定位p e e r 。直接定位p e e r 的方 式比较简单，即利用广播或多播的形式发出查询请求，符合查询要求的p e e r 节点 进行应答，然后建立直接的通信连接。由于这种方式只能在局域网中使用，所以 应用范围有限。当然这种方式可以和其它的定位方式结合使用以获得良好的查询 效率。 间接方式包括三种模型：服务器模型、洪流模型、和路由模型。 服务器模型：该模型是基于混杂型的p 2 p 拓扑结构。充当服务器的p e e r 节点提 供资源查询。p e e r 将请求发送至服务器获得查询结果，随后，直接与目标节点通 信获取所需服务。但这种方式存在单点失败问题，同时，也存在伸缩性问题。但 为p e e r 节点仅在启动、停止及查询的时候才与服务器交互，所以此时的伸缩性 还是强于客户服务器模式。 洪流模型：该模型基于纯p 2 p 拓扑结构。p e e r 节点采用洪流法将查询请求不 断地转发至邻居节点，直到到达目标节点，获得查询结果。同时为了避免消息无 限制的转发，查询请求中设定有t t l ( t i m et ol i v e ) 或h t l ( h o p st ol i v e ) 进行转 发控制。g n u t e l l a 是采用此类模型的典型系统。 路由模型：该模型也是基于纯p 2 p 网络结构。首先为网络中的每一个p e e r ! 赋予 一个i d ，同时，每个p e e r 存储的资源和服务也有类似的i d 。p e e r 节点的路由表中 登记一定数量的邻居节点。p e c r 的请求被转发至与所请求的资源或服务的i d 最 接近的p e e r ，直到发现这个资源或服务。插入一个新资源服务的过程与查询过程 1 0 北京邮电人学硕上研究生学位论文 p 2 p 技术 类似，也是通过查找该资源h i 务i d 来确定存储的正确位置。此类模型主要用在 文件共享系统中，! t h f r e e n e t ，c h o r d ，c a n ，t a p e s t r y ，p a s t r y 等。 路由模型又可细分为非结构化路由模型和结构化路由模型。f r e e n e t 系统属于 典型的非结构化路由模型。在查找到所需资源后，为了提高搜索性能，系统沿搜 索路径复制资源。这样，由于资源的存储位置不固定，其行为不易观察，不确定 因素较大。所以相对于结构化路由模型来说，其资源分布的规律性不强，难以从 全局上把握整个系统的资源分布状况。而结构化路由模型! z 1 c h o r d ，c a n ，t a p e s t r y , p a s t r y 均采用了d h t ( d i s t 曲u t e dh a s ht a b l e ) 作为主要的存储算法。d h t 的主要思 想是将资源定位用的索引分散存储到整个p 2 p 网络上，这样，哈希表的存储和查 询操作就会涉及至u p 2 p 网络中的多个节点。 以d h t 思想进行路由模型的设计时，首先需要确定通过h a s h 函数进行虚拟地 址空间映射的规则。虚拟地址空间的设计有多种方式，c h o r d 采用的虚拟地址空 间为m 位的循环地址空i h 司 1 6 】，c a n 系统采用的是多维的地址空间1 7 】。p e e r 节 点的i p 地址和端口号经过哈希函数映射到地址空间，再将映射空间进行划分，每 个节点负责存储属于自己空间的值对( k e y , v a l u e ) 。其次需要确定路由表项的存储 内容，即邻居节点的规模，以适应于不同的网络需求。这里需要对路由表项的规 模与网络搜索跳转数进行综合考虑。在动态性较强的网络中，节点频繁加入和退 出网络会使得规模较大的路由表更新频率过高，操作费时。但规模较小的路由表 在进行资源定位时，又使得查找时间过长。再次是确定在接收到一个资源的查询 请求时，从路由表中选择转发的邻居节点的规则。最后要确定新节点的插入和删 除操作后，虚拟的地址空间如何进行分裂和合并。 4 防火墙和n a t 的穿越 在实际的网络通信中，p e e r 节点往往是一个私有网络中的节点，位于防火墙 之后。这样，p e e r 与p e e r 之间直接通信需要解决的一个关键问题是穿越防火墙和 n a t 。由于防火墙会对i p 进行过滤，限制了墙内外的连接，而n a t 技术虽然可以 使得内部网络地址映射到外部网络地址，但要求内部网络首先发起对外连接，否 则外部网络机器无法达到内部网络。穿越防火墙和n a t 的策略有两个基本点： 1 ) 需要使用在一般情况下可以通过防火墙的协议，如基于请求应答方式的 h t r p 协议。 2 ) p e e r e d 问进行通信时，必须由内部网络的机器首先发起连接请求，如果通信 双方均处于防火墙之后，则需要有防火墙外的转发节点进行消息转发。 2 4 p 2 p 技术的应用研究 国外开展p 2 p 研究的学术团体主要包括p 2 p 工作组( p 2 p w g ) 、全球网格论坛 北京邮电大学硕i ：研究生学位论文p 2 p 技术 ( g l o b a lg r i df o r u m ，g g f ) 。p 2 p 工作组成立的主要目的是希望加速p 2 p 计算基 础设施的建立和相应的标准化工作。p 2 p w g 成立之后，对p 2 p 计算中的术语进行 了统一，也形成相关的草案，但是在标准化工作方面工作进展缓慢。目前p 2 p w g 已经和g g f 合并，由该论坛管理p 2 p 计算相关的工作。g g f 负责网格计算和p 2 p 计算等相关的标准化工作。 从国外公司对p 2 p 计算的支持力度来看，m i c r o s o f t 公司、s u n 公司和i n t e l 公司 投入较大。m i c r o s o f t 公司成立t p a s t r y 项目组，主要负责p 2 p 计算技术的研究和开 发工作。目f i m i c r o s o f t 公司已经发布了基于p a s t r y 的软件包s i m p a s t r y v i s p a s t r y 。 r i c e 大学也在p a s t r y l 鳘j 基础之上发布t f r e e p a s t r y 软件包。 在2 0 0 0 年8 月，i n t e l 公司宣布成立p 2 p 工作组，正式开展p 2 p 的研究。工作组 成立以后，积极与应用丌发商合作，开发p 2 p 应用平台。2 0 0 2 年i n t e l 发布了n e t 基础架构之上的a c c e l e r a t o rk i t ( p 2 p 力h 速工具包) 和p 2 p 安全a p i 软件包，从而使 得微软n e t 开发人员能够迅速地建立p 2 p 安全w e b 应用程序。 s u n 公司以j a v a 技术为背景，开展了j x t a 项目。j x t a 是基于j a v a 的丌源p 2 p 平台，任何个人和组织均可以加入该项目。因此，该项目不仅吸引了大批p 2 p 研 究人员和开发人员，而且已经发布了基于j x t a 的即时聊天软件包。j x t a 定义了 一组核心业务：认证、资源发现和管理。在安全方面，j 队加入了加密软件包， 允许使用该加密包进行数据加密，从而保证消息的隐私、可认证性和完整性。在 j x t a 核心之上，还定义了包括内容管理、信息搜索以及服务管理在内的各种其 它可选j x t a 服务。在核心服务和可选服务基础上，用户可以开发各种j x t a 平台 上的p 2 p 应用。 p 2 p 实际的应用主要体现在以下几个方面： 1 p 2 p 分布式存储 p 2 p 分布式存储系统是一个用于对等网络的数据存储系统，它可以提供高效 率的、鲁棒的和负载平衡的文件存取功能。这些研究包括：o c e a n s t o r e ，f a r s i t e 等。其中，基于超级点结构的半分布式p 2 p 应用如k a z z a 、e d o n k e y 、m o r p h e u s 、 b i t t o r r e n t 等也是属于分布式存储的范畴，并且用户数量急剧增加。 2 计算能力的共享 加入对等网络的结点除了可以共享存储能力之外，还可以共享c p u 处理能 力。目前已经有了一些基于对等网络的计算能力共享系统。比如s e t i l h o m e 。 目前s e t i h o m e 采用的仍然是类似于n a p s t e r 的集中式目录策略。x e n o s e r v e r s 向 真正的对等应用又迈进了一步。这种计算能力共享系统可以用于进行基因数据库 检