（计算机应用技术专业论文）面向运营的p2p文件共享业务平台研究.pdf

北京邮电大学硕士学位论文面向运营的p 2 p 文件共享业务平台研究 摘要 网络社会与自然社会一样，其自身具有一种自发地在无序和有序 之间寻找平衡的趋势。p 2 p 技术为网络信息共享带来了革命性的改 进，而这种改进如果想要持续长期地为广大用户带来好处，必须以不 损害内容提供商的基本利益为前提。这就要求在不影响现有p 2 p 共享 软件性能的前提下，一定程度上实现监管机制和知识产权保护机制。 这就需要对现有的p 2 p 技术进行改进，使其满足运营的要求。 本课题的主要研究内容是解决p 2 p 应用中文件共享业务运营的问 题。首先介绍 7 p 2 p 技术的背景知识，按照拓扑结构分类介绍其各自 特点，之后着重讲解目前网络上得到广泛应用的文件共享业务一 b i t t o r r e n t 协议。在此基础上，本文阐述了运营b i t t o r r e n t 类业务的认 证计费方案，同时改进开源的c t o r r e n t 代码中的b e n c o d e 解析器，使其 满足运营的性能需求。由于b i t t o r r e n t 系统依赖于系统中的一个集中式 的设备t r a c k e r ，本文最后分析t r a c k e r h 艮务器的负载性能。 关键词p 2 pb i t t o r r e n tb e n c o d e 解析b t 业务认证计费 北京邮电大学硕七学位论文面向运营的p 2 p 文件共享业务平台研究 a b s t r a c t l i k et h en a t u r a lc o m m u n i t y , n e t w o r kh a sas p o n t a n e o u sa b l i l t yt o f i n dab a l a n c eb e t w e e nd i s o r d e ra n do r d e r p 2 pt e c h n o l o g yh a sb r o u g h t r e v o l u t i o n a r yi m p r o v e m e n t sf o rn e t w o r ki n f o r m a t i o ns h a r i n g ，a n di fw e w a n tt h i sk i n do fi m p r o v e m e nt oc o n t i n u et ob r i n gt h ea d v a n t a g ef o rt h e u s e r sf o ra l o n gt i m e ，i tm u s tt a k en oh a r mt ot h eb a s i cb e n e f i t so fc o n t e n t p r o v i d e r sa st h ep r e m i s e f o rn o ta f f e c tt h ee x i s t i n gp 2 ps h a r e w a r e p e r f o r m a n c e ，w es h o u l di n t e g r a t et h es u p e r v i s o r ym e c h a n i s ma n d i n t e l l e c t u a lp r o p e r t yp r o t e c t i o nm e c h a n i s mi n t op 2 p t e c h n o l o g y t h i s r e q u i r e st h a tt h ee x i s t i n gp 2 pt e c h n o l o g ys h o u l db ei m p r o v e dt om e e tt h e r e q u i r e m e n t so fc o m m e r c i a lo p e r a t i o n t h i st h e s i si so r g a n i z e da sf o l l o w s ：f i r s t l y , i n t r o d u c et h eb a c k g r o u n d k n o w l e d g eo fp 2 pt e c h n o l o g ya n dt h e i rr e s p e c t i v ec h a r a c t e r i s t i c s a c c o r d i n gt ot h et o p o l o g y t h e nf o c u so nt h ep o p u l a rf i l e - s h a r i n gs e r v i c e o nt h ec u r r e n tn e t w o r k b i t t o r r e n tp r o t o c 0 1 b a s e do nt h i s ，t h i st h e s i se l a b o r a t e st h ea u t h e n t i c a t i o na n db i l l i n g p l a no fo p e r a t i n gb i t t o r r e n ts e r v i c e ，a n di m p r o v e st h eb e n c o d ep a r s e ro f t h eo p e n i n gc t o r r e n ts o f t w a r et om e e tt h er e q u i r e m e n t so fc o m m e r c i a l o p e r a t i o n f i n a l l y , b e c a u s et h eb i t t o r r e n ts y s t e mr e l i e so nt r a c k e r 一一t h e s y s t e m sc e n t r a le q u i p m e n t ，t h i sa r t i c l ea n a l y s i st r a c k e rs e r v e r s l o a d p e r f o r m a n c e k e y w o r d s ：p 2 p , b i t t o r r e n t ，b e n c o d ep a r s e r , a u t h e n t i c a t i o na n d b i l l i n go fb i t t o r r e n ts e r v i c e h 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 ， 本人签名：至醴叁丝日期： 2 丝：兰：三竺 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名互则磊钍日期：鬯髫：三：石 导师签名： 北京邮电大学硕士学位论文 面向运营的p 2 p 文件共享业务- 甲台研究 1 1 课题背景 第一章绪论 长期以来，电话语音业务一直是电信网的主要业务。然而，近年来，由于计 算机的广泛应用和普及，数据业务的增长速率远远超过电话业务，而且这种趋势 越来越强烈，这标明，最终电信网的业务将主要由数据业务构成。另外，互联网 技术的飞速发展与迅速普及使其成为数据通信的重要手段，互联网用户数量和业 务带宽一直呈指数增长，从最初的e m a i l 到w e b 浏览再到现在的大数据量( 语 音视频) 文件下载，用户对服务质量的要求不断提高。这样，在传统的客户端 服务器( c s ) 模式下，服务器端的带宽往往成为限制系统服务能力的瓶颈。 虽然某些手段可以改善这个瓶颈，如增加接入带宽，升级软硬件和建立多个 镜像站点等，但是成本较高，而且得到的效果也不理想。目前电信运营商采用 c d n ( c o n t e n td i s t r i b u t i o nn e t w o r k s ) 技术为用户提供v o d ( v i d e oo nd e m a n d ) 一类的业务，它的原理简单来说就是“让资源离用户更近”，通过在现有互联网 中增加一层新的网络架构，将网站的内容发布到最接近用户的网络“边缘 ，使 用户可就近取得所需内容，缓解网络拥塞状况，从而提高用户访问网站的响应速 度。虽然c d n 技术改变了路由技术，可是c d n 还是基于c s 模型的，所以c d n 技术不能支持大量的并发流。 网络中c s 模型的特点是数据文件都存在于s e r v e r 端，c l i e n t 则只是从s e r v e r 端下载数据文件。这样会出现s e w e r 端偏重上传功能，而c l i e n t 端则是重下载轻 上传。网络中有各种不同的业务，而对于提供文件下载或在线视频等服务项目， s e r v e r 端会有相当大的负载压力。 网络规模越来越大，连入网络中的计算设备的数量和种类也越来越多，然而 这些资源并没有得到充分利用。目前的用户网络大体都属于重下载轻上传的 a d s l 网络，广大用户的上传带宽并没有完全得到利用。如果能将这些计算单元 的处理器计算能力，磁盘存储能力，网络带宽资源等进行充分利用，将会有效缓 解目前互联网所面临的一些问题。时下如火如荼的p 2 p ( p e e rt op e e r ) 技术就可 以有效地提高用户的下载速度，使用p 2 p 技术下载网络上的文件可以支持很大 的并发流。 点对点网络( p e e rt op e e r ，简称p 2 p ) 指网络用户之间可以直接通信的网络 结构。p 2 p 中的各节点也就是具体用户，都是c l i e n t 和s e r v e r 的结合体，其本身 既作为一个c l i e n t 从其它的节点获取数据，同时也作为一个s e r v e r 为其它节点提 北京邮电大学硕f ：学位论义面向运营的p 2 p 文件共享业务i f 台研究 供数据。在这种网络中，用户节点称为p e e r ，即对等体。p 2 p 使用户可以直接连 接到其他用户的计算机，而不是像过去那样连接到服务器去浏览与下载。传统的 网络模型基本上都是基于c s 模型，而p 2 p 网络则打破了该模型，使网络中的 各个用户所享受的服务和所尽的义务理想情况下是一致的。p 2 p 网络理想情况下 是用户与用户直接传输数据文件。 与传统的c s 结构相比，p 2 p 具有以下特点： 低中心化：理论上网络中的资源和服务分散在所有结点上，数据的传输 和服务的实现都直接在结点之间进行，可以无需中间环节和服务器的介 入，避免了可能的瓶颈。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅增加了服务的需求， 系统整体的资源和服务能力也相应地扩充，能较容易的满足用户需要。 理论上整个体系是全分布的，不存在瓶颈。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少 了对传统c s 结构中服务器计算能力、存储能力的要求，同时因为资源 分布在多个节点，更好的实现了整个网络的负载均衡。 健壮性：由于服务是分散在各个结点之间进行的，部分结点或网络遭到 破坏对其它部分的影响很小。p 2 p 网络一般在部分结点失效时能够自动 调整整体拓扑，保持其它结点的连通性。p 2 p 网络通常都是以自组织的 方式建立起来的，并允许结点自由地加入和离开，并能根据网络带宽、 结点数、负载等变化不断地做自适应式的调整。 1 2 课题意义 p 2 p 共享软件的繁荣加速了盗版媒体的分发，提高了知识产权保护的难度。 美国唱片工业协会r i a a ( r e c o r d i n gi n d u s t r ya s s o c i a t i o no fa m e r i c a ) 与这些共享 软件公司展开了漫长的官司拉锯战，著名的n a p s t e r 便是这场战争的第一个牺牲 者。另一个涉及面很关的战场则是r i a a 和使用p 2 p 来交换正版音乐的平民。从 2 0 0 4 年1 月至今r i a a 已提交了1 0 0 0 份有关方面的诉讼。尽管如此，至今每个 月仍然有超过1 5 0 ，0 0 0 ，0 0 0 的歌曲在网络上被自由下载。后n a p s t e r 时代的p 2 p 共享软件较n a p s t e r 更具有分散性，也更难加以控制。 p 2 p 共享软件也在迫切寻找一个和媒体发布厂商的共生互利之道。如何更加 合法合理的应用这些共享软件，是一个新的课题。毕竟p 2 p 除了共享盗版软件， 还可以共享相当多的有益的信息。网络社会与自然社会一样，其自身具有一种自 发地在无序和有序之间寻找平衡的趋势。p 2 p 技术为网络信息共享带来了革命性 的改进，而这种改进如果想要持续长期地为广大用户带来好处，必须以不损害内 2 北京邮电大学硕上学位论文面向运营的p 2 p 文件共享业务平台研究 容提供商的基本利益为前提。这就要求在不影响现有p 2 p 共享软件性能的前提 下，一定程度上实现知识产权保护机制。目前，已经有些p 2 p 厂商和其它公司 一起在研究这方面的问题。这也许将是下一代p 2 p 共享软件面临的挑战性技术 问题之一。目前，基于p 2 p 的电信业务运营中，存在诸多问题，其中最突出的 问题有以下三个： 认证问题 认证是指用户在使用网络系统中的资源时对用户身份的确认。现在的p 2 p 应用，都是针对所要发布的资源进行验证，以查看该资源是否合法，而一般不提 供用户身份认证，也就是说，在一定条件下网络上的任何人都可以发布资源，任 何人也都可以下载资源。在这种情况下，是无法对用户的合法性进行鉴别，由此 会给网络安全带来巨大隐患。而要使p 2 p 作为一项电信业务来运营的话，就必 须提供用户认证识别的这项功能，以确定哪些用户享有这项业务，同时剔除非法 用户。 计费问题 基于p 2 p 的电信业务运营，必然会涉及到计费问题。目前的p 2 p 类业务应 用基本上是免费的。从一定程度上来说，电信运营商“包月收费 的商业模型是 p 2 p 技术的大范围应用的温床。在这种商业模式下，用户只需要缴纳一定的包月 费，就可以使用p 2 p 技术不限流量地占用带宽下载资源，来满足自己的需求。 而这种满足是以大量网络资源的消耗换来的。 因而，对该项技术管理的新趋势是按流量收费，在这种计费模式下，用户的 下载行为将不会再如以往一样地“肆无忌惮”。这样，电信运营承载网络的压力 就会减轻，也会引导网络用户按需下载的意识。 内容管理问题 用户下载的资源会涉及到知识产权的问题。而目前的p 2 p 技术对这一部分 没有太多的重视，即p 2 p 技术不会对其传播的内容进行监管，由此引发了p 2 p 共享网络中普遍存在的知识产权保护问题。尽管目前的b t 服务器上并没有存储 任何涉及产权保护的内容的备份，而仅仅是保存该资源在互联网上的存储索引。 但无疑的是，缺乏有效监管以及具有匿名发布特性的p 2 p 共享软件加速了盗版 媒体的传播，增加了知识产权保护的难度。 1 3 论文章节安排 本论文主要整篇论文分为四个部分。 第一部分介绍了p 2 p 技术的发展历程，并详细介绍了文件共享b i t t o r r e n t 协 议。这部分包括绪论，第一章，第二章。 3 北京邮电大学硕卜学位论文面向运营的p 2 p 文件共享业务平台研究 第二部分根据b i t t o r r e n t 协议的特点，提出认证计费方案，并基于开源软件 c t o r r e n t ，改进b e n c o d e 解析方法使其满足b t 运营的需求。这部分包括第三章， 第四章。 第三部分讨论了b i t t o r r e n t 中t r a c k e r 的负载性能。这部分包括第六章。 第四部分是总结与展望。 4 北京邮电大学硕上学位论文面向运营的p 2 p 文件共享业务平台研究 第二章p 2 p 技术及b i t t o r r e n t 协议 2 1 p 2 p 拓扑分类 p 2 p 网络追求的是用户地位的平等，彻底打破c s 模型，即在该结构的网络 中的各个用户所享受的服务和所尽的义务理想情况下应该是一致的。p 2 p 网络不 仅要实现定位的p 2 p 化还要实现传输的p 2 p 化。既然要彻底抛弃c s 模型，那 么不可避免的就是如何解决节点定位的问题，在具体实现上p 2 p 网络拓补可分 为星型拓扑、环形拓扑、网状拓扑以及半分布式结构。 2 1 1 星型拓扑 作为p 2 p 网络的先行者b i t t o r r e n t 协议( 简称b t ) 很好的实现了资源传输过 程中的“p 2 p ，即在传输过程中的各用户大体都是对等的，既是客户又是服务 提供端，同时又做到了资源的高度分散化，数据冗余度比较高，维护简单，发现 效率高，对于数据本身来说是比较健全稳定的。但是b t 协议在资源定位过程中 仍是c s 模式，拓扑结构如下： 图2 1b t 用户定位为星型图2 2b t 数据传输分散化 b t 网络中存在一个t r a c k e r 中央服务器，作用是纪录网络中的各用户资源信 息，新用户要下在某个文件必须先向t r a c k e r 发送查询拥有相同文件的其他用户信 息，同时注册自身信息。这样就造成如下缺点： 单点失败 t r a c k e r 中央服务器的崩溃，会使整个p 2 p 共享功能停止工作，从而使各个节 夕 北京邮电大学硕l 学位论文面向运营的p 2 p 文件共享业务平台研究 点不能进行定位。 。 扩展性不强 在具有大量用户同时在线的系统中，t r a c k e r 中央服务器的性能会成为整个系 统性能的瓶颈。 如上缺点是星型拓扑结构与生俱来的不足之处，也就是说用户定位部分需要 改进，要改变这种不足，只有改变其拓扑结构，去掉中央服务器，这样需要改变 p 2 p 的网络拓补结构可供选择的有环型拓扑，网状拓扑( 树型拓扑结构与星型结 构类似，根节点就好比是中央服务器故排除树型拓扑) 。 2 1 2 环型拓扑 环型拓扑的代表是分布式散列表( d i s t r i b u t e dh a s ht a b l e ，简称d h t ) ，它 使网络中的各个用户首尾相连形成一个逻辑上的环形结构。 d h t 是一个由广域范围大量结点共同维护的巨大散列表。散列表被分割成 不连续的块，每个结点被分配给一个属于自己的散列块，并成为这个散列块的管 理者。d h t 的结点既是动态的结点数量也是巨大的，因此非中心化和原子自组 织成为两个设计的重要目标。通过加密敖列函数，一个对象的名字或关键词被映 射为1 2 8 位或1 6 0 位的散列值。d h t 类结构能够自适应结点的动态加入退出， 有着良好的可扩展性、结点i d 分配的均匀性和自组织能力。 d h t 结构是可以替代中央服务器，但是也带来了用户定位速度慢的问题。 c h o r d 是d h t 的提高版，它通过在每个节点保留一定数目的路由信息来解决快 速定位的问题。c h o r d 项目的目标是提供一个适合于p 2 p 环境的分布式资源发现 服务，它通过使用d h t 技术使得发现指定对象只需要维护o ( 1 0 9 n ) 长度的路由 表。在d h t 技术中，网络结点按照一定的方式分配一个唯一结点标识符( n o d e i d ) ，资源对象通过散列运算产生一个唯一的资源标识符( o b j e c ti d ) ，且该资源 将存储在结点i d 与之相等或者相近的结点上。需要查找该资源时，采用同样的 方法可定位到存储该资源的结点。因此，c h o r d 的主要贡献是提出了一个分布式 查找协议，该协议可将指定的关键字( k e y ) 映射到对应( n o d e ) 。 在c h o r d 中，k e y 为m 位比特的数值。通过对节点地址进行哈希运算 为每个节点分配一个m 位比特的节点标志。所有节点标志取模2 m 后从小到大 按顺时针方向排列在一个逻辑标志圆环上，k e y = k 的( 1 ( ，对由圆环上节点标志 为k 或紧接在k 之后的节点存储，这个节点被称为k 的后继节点，表示为 s u c c e s s o r ( k ) 。在基本的c h o r d 中，每个节点只需维护它在圆坏上的后继节点和 前驱节点的节点标志和i p 地址。对特定k e y 的查询请求可以通过各个节点的 s u c c e s s o r 在圆环上传递，直到到达一对节点，该k e y 落在这对节点标志之间， 6 北京邮电人学硕十学位论文面向运营的p 2 p 文件共享业务平台研究 后一个节点即为存储目标( k 对的节点。 在扩展的c h o r d 中，为了加快查询速度，每个节点需要维护一个路由表， 称为f i n g e r 表，最多有i n 项路由信息。节点n 的f i n g e r 表中第i 项是圆环上 距离n 至少2 h 的第1 个节点s 。例如s = s u c c e s s o r ( n + 2 h ) ，l i m 。称节点s 为节点n 的第i 个f i n g e r ，表示为n f i n g e r i 。n f i n g e r i 就是节点n 的后继节 点。f i n g e r 表中每一项既包含相关节点的标志，又包含该节点的口地址( 和端 口号) 。 图2 3 是一个m = 6 且只有1 0 个节点的c h o r d 示意图，节点标志前加上 n 而关键字前加上k 以示区别。k e y = 5 4 的后继节点是节点5 6 ，所以k 5 4 存 储在节点n 5 6 上。图中仅给出了节点n 8 的f i n g e r 表，例如节点1 4 是紧接 在( 8 + 2 0 ) m o d 2 6 = 9 之后的第1 个节点，所以节点n 8 的f i n g e r 1 是n 1 4 。节点 n 8 发起的查询k 5 4 的报文转发路线是：n 8 首先找到其f m g e r 表中节点标志 位于5 4 之前且距离5 4 最近的节点n 4 2 ，把查询报文转发给n 4 2 ，而n 4 2 按 同样的规则找到其f i n g e r 表中的节点n 5 1 ，最后节点n 5 1 发现5 4 落在它的 后继节点n 5 6 之前，就把n 5 6 返回给节点n 8 。 表2 - 1 n 8 节点的f i n g e r 表 n 8 + ln 1 4 n 8 + 2n 1 4 n 8 + 4n 1 4 n 8 + 8n 2 1 n 8 + 1 6n 3 2 n 8 + 3 2n 4 2 图2 - 3c h o r d 表 7 北京邮电人学硕。卜学位论文面向运营的p 2 p 文件共享业务平台研究 由于网络中没有个用户数据信息总汇的节点，所以在数据传输时就比较复 杂，因为一个节点要进行数据传输就必须了解数据文件在网络中的分布情况，这 在b t 网络中及易实现。而在c h o r d 网络中就需要遍历整个网络查找数据分布情 况。从而可以看出c h o r d 项目适合提供一个适合于p 2 p 环境的分布式资源发现服 务。 2 1 3 网状拓扑 网状拓扑的代表是全分布非结构化g n u t e l l a 。g n u t e l l a 是一个纯粹的p 2 p 文件 共享系统，没有索引服务器，它采用了基于完全随机图的洪 泛( f l o o d i n g ) 发现和 随机转发( r a n d o mw a l k e r ) 机制。为了控制搜索消息的传输，通过t t l ( t i m et o l i v e ) 的减值来实现。随着联网节点的不断增多，网络规模不断扩大，通过这种 洪泛方式定位对等点的方法将造成网络流量急剧增加，从而导致网络中部分低带 宽节点因网络资源过载而失效。 图2 4 网状拓扑 在初期的g n u t e l l a 网络中，存在比较严重的分区，断链现象。也就是说，一 个查询访问只能在网络的很小一部分进行，因此网络的可扩展性不好。由于非结 构化网络是一个完全随机图，结点之间的链路没有遵循某些预先定义的拓扑来构 建。这些系统一般不提供性能保证，但容错性好，支持复杂的查询，受节点频繁 加入和退出系统的影响小。缺点是查询的结果可能不完全，查询速度较慢，采用 广播查询的系统对网络带宽的消耗非常大，并由此带来可扩展性差等问题。 网状拓扑的另一个代表是j x t a 。是由s u n 公司主导该技术，提供了基础性 的机制解决当前分布计算应用中面临的问题。j x t a 的主题思想是基于组的，属 于组播式定位。将封装消息发布到网络上同一个组，组内的各点将接收到该消息 的一个副本。使用i p 组播技术的发现通过让节点用组播定期宣布自己的存在来 8 北京邮电大学硕士学位论文面向运营的p 2 p 文件共享业务平台研究 工作。该消息包含对等点的t c p i p 主机名和端口号。对此消息感兴趣的对等点 检测这个消息后，抽取出主机名和端口号，并使用这个信息与新对等点建立正常 的t c p i p 连接。j x t a 定义实现p 2 p 计算的公共协议，其每一种协议都易于实 现并集成到现有系统中，j x t a 不是a p i 。构建一个p 2 p 应用的公共平台。目前 它支持基于j a v a 技术的平台和系统。j x t a 通过j a v a 技术和x m l 数据表达的结 合，提供了强大的功能使得垂直应用得以交互，并且可以克服日前p 2 p 软件中 的限制。目前按传统做法，这些应用都是从底层开始开发，并互不兼容。j x t a 协议提供了用于动态发现消息传递的简便方法以及其他p 2 p 体系结构的核心特 性。 j x t a 由三层组成。第一层是j x t a 核心层，它包含了服务所需要的核心功 能，封装了最根本的东西。第二层是服务层，它提供了访问j x t a 协议的接口， 包括了对于p 2 p 网络不是必需的、但很通用的功能，如查找、共享、索引、代 码缓存和内容缓存的机制。第三层是应用层，它使用服务来访问j x t a 网络和 j x t a 提供的功能，包括了应用j x t a 服务开发出来的完整的p 2 p 应用程序。这 样的设计和一个标准的操作系统比较相似，标准的操作系统包括核心操作系统、 服务和应用程序。 j x t a 中通信的基本单位是p e e r ，p e e r 是一个虚拟的通信点。在一台计算机 或者设备上可以有很多个p e e r ，一个p e e r 并不是一个用户，因为一个用户可以 有多个p e e r ，同一个设备上也可以有多个p e e r ( 在测试的时候经常用到1 因为p e e r 不等同于用户，所以需要将用户和p e e r 抽象出来并分离开。 j x t a 定义了2 种对等组： 网络对等组：对等体在登录j x t a 网络后加入默认的对等组通常为 n e t p e e r g r o u p ，该组定义了对等体操作的起始范围和该对等体提供的默 认服务。 用户对等组：用户能用他们自己订制的服务和成员资格策略创建新的对 等组通过克隆和扩展n e t p e e r g r o u p 对等组的服务或创建新的服务，就 可以创建用户对等组服务，所有用户对等组都是n e t p e e r g r o u p 对等组的 子集。 所有的对等体都自动是n e t p e e r g r o u p 对等组中的成员，它们不必采取任何 特殊的操作就能加入该组中，并且它们不能离开这个组，对等体可以任意的选择 加入离开其他的组。加入一个组先要发现这个组，后在请求加入它，而要想加入 该组，对等体必须提交身份验证证书。 j x t a 提供6 个主要协议形成j x t a 核心层的一部分： 对等节点检索协议：使得一个对等节点能找到关于j x t a 资源的通告信息。 9 北京邮电人学硕i j 学位论文面向运茜的p 2 p 文件共享业务平台研究 对等节点解析器协议：查询响应协议，目的使对等节点与p d p 协议进行通 信以便找到或检索对等节点，对等节点组，管道和其他信息。 对等节点信息协议：一个节点能查询其他对等节点的处理能力和在线状态 集合对等节点协议：一个节点能订阅网络上的信息分发服务。 管道绑定协议：使一个对等节点能建立和其他一个或多个对等节点之间的 通信管道。 节点路由协议： 使一个节点能查询一台路由器以便将信息传到目的节点 获得可用的路由信息。 由于对等体在与其他对等体通信之前必须从属于一个对等组( 并且只能与加 入同一对等组的对等体通信) ，但一个对等体可以加入多个对等组。也就是说在 组内的对等用户的拓扑结构是网状拓扑，只不过是采用了组播的形式来传递查询 信息，其优缺点跟网状拓扑类似。 2 1 4 半分布式结构 半分布式结构吸取了星型拓扑和网状拓扑的优点，选择性能较高( 处理、存 储、带宽等方面性能) 的节点作为超级节点，在各个超级节点上存储了系统中其 他部分节点的信息，发现算法仅在超级节点之间转发，超级节点再将查询请求转 发给适当的叶子节点。半分布式结构也是一个层次式结构，超级节点之间构成一 个高速转发层，超级节点和所负责的普通节点构成若干层次。 图2 5 半分布式结构 1 0 北京邮电大学硕卜学位论文 面向运营的p 2 p 文件共享业务平台研究 半分布式结构的优点是性能、可扩展性较好，较容易管理，但对超级节点依 赖性大，易于受到攻击，容错性也受到影响。总的来说在用户定位方面半分布式 结构性能平衡。 2 2 p 2 p 应用分类 与传统的分布式系统相比，p 2 p 技术具有无可比拟的优势，因此该技术在网 络上有着广泛的应用，大体可分为流媒体，即时通信，文件共享等。 2 2 1 流媒体 流媒体是指用户通过网络或者特定数字信道边下载边播放多媒体数据的一 种方式。这样用户不需花费很长时间将多媒体文件全部下载到本地才可以播放， 而仅需要将一小部分连续的多媒体文件先下载到本地缓存区再边播放边下载新 的数据文件。传统基于c s 结构的视频播放网络，s e r v e r 向多个用户发送多份相 同的数据，而多媒体数据量一般比较大，随着用户数目的增多，很容易造成s e r v e r 端的网络拥塞。在目前的流媒体系统中用户之间是没有任何联系的，而采用p 2 p 技术后，流媒体用户则成为p 2 p 网络中的一个节点，用户可以根据他们的网络 状态和设备能力与一个或几个用户建立连接来分享数据，这种连接能减少服务器 的负担和提高每个用户的视频质量。该种应用有p p l i v e 、p p s t r e a m 等。 2 2 2 即时通信 即时通信( i n s t a n tm e s s e n g e r ，简称i m ) 软件是广大网络用户最常用的软件之 一，如包括s k y p e 等。i m 软件最大的特点是广泛的交互性。通过i m 软件进行 文字、语音、视频交流。随着网络的成熟与发展，即时通信工具的实时交互、资 费低廉等优点开始逐渐受到用户的喜爱。 s k y p e 是网络即时语音沟通工具。具备i m 所需的其他功能，比如视频聊天、 多人语音会议、多人聊天、传送文件、文字聊天等功能。s k y p e + 使用p 2 p 原理传 输语音，使得s k y p e 没有扩展服务器、管理庞大用户群的担心。同时s k y p e 采 用较高的效率的语音编解码算法，通过个人用户中转数据流，以及高效的路由方 式，这些都使得网络时延大大减小，保证了通话质量。s k y p e 采用了p 2 p 技术中 的半分布式结构。 半分布式结构是一个层次式结构，在各个超级节点上存储了系统中其他部分 节点的信息，发现算法仅在超级节点之间转发，超级节点再将查询请求转发给适 北京邮电大学硕 ：学位论文面向运营的p 2 p 文件共享业务甲台研究 当的叶子节点。超级节点之间构成一个高速转发层，超级节点和所负责的普通节 点构成若干层次。半分布式结构的优点是性能、可扩展性较好，较容易管理。 2 2 3 文件共享 网络上的主要应用是文件传输，而以往的c s 结构受制于s e r v e r 端处理能 力的限制，会随着连接用户的增加，传输环境会急剧恶化，用户从s e r v e r 端分 到的网络带宽与连接用户数成反比，这样未充分利用用户端的下载带宽。而p 2 p 技术可以改变这种情况，在传输中，文件被分成小块，当多个用户同时下载同一 个文件时，它们之间会相互交换各自已下载好的数据块。这样对于p 2 p 网络中 的单个用户，周围的其他用户都是它的s e r v e r 端，用户的下载带宽可以得到充 分利用。目前该种应用比较广泛，如n a s p t e r 、b i t t o r r e n t 、g n u t e l l a 、e d o n k e y 、 e m u l e 等。 2 3 b i t t o r r e n t 协议 b r a i nc o h e n 是b i t t o r r e n t ( 简称b n 协议的创建者。根据这份协议，他用p y t h o n 语言写了b t 的第一个客户端，也就是b i t t o r r e n t 公司的产品：b i t t o r r e n t 。 严格来讲，b i t t o r r e n t 协议并不是一种p 2 p 文件共享系统，而是一种p 2 p 资 源发布系统( c o n t e n td e l i v e r ys y s t e m ) 。在b i t t o r r e n t 下载系统中，主要解决了负 载平衡的问题，而不是资源的搜索问题，系统中没有搜索功能，搜索是用户在加 入b t 网络之前由自行解决的。 2 3 1 b i t t o r r e n t 流程 要用b t 软件发布一个新的文件，首先要使用软件制作t o r r e n t 文件。在制 作过程中需要添加一个或几个已知的t r a c k e r 服务器地址，同时还要确定数据块 的大小，一般是默认的2 5 6 k b 。制作完成后生成术t o r r e n t 文件，之后就将该文件 上传到相应的发布页面进行认证，一般来说，刚上传的宰t o r r e n t 文件均需要通过 认证才可以发布。该发布用户之后双击木t o r r e n t 文件启动b t 客户端程序，如该 文件未被认证，此时会反馈4 0 0 错误( 种子未被认证) 。如通过，则就可以提供 上传了。 1 2 北京邮电大学硕上学位论文面向运营的p 2 p 文件共享业务平台研究 图2 6b i t t o r r e n t 流程图 用户从相应的论坛发布网页下载掌t o r r e n t 文件，将其加载到b t 客户端软件 开始下载。从奉t o r r e n t 文件中取出其对应t r a c k e r 服务器地址，向其发起连接， 注册自己的口地址端口等相应信息，请求得到其他p e e r 信息，t r a c k e r 就会返回 正在下载同一目标文件的其他p e e r 的信息，这个过程称为a n n o u n c e ( 宣布) 。p e e r 与t r a c k e r 之间的通信是基于唧协议。在收到p e e r 发来的请求之后，t r a c k e r 会返回一个节点信息列表，这样p e e r 之间就可以互相通信。在得到这些消息之 后，就开始p e e r 之间实际的p 2 p 通信。p e e r 之间通信协议是一套基于t c p 协议 之上的协议。 在上文制作t o r r e n t 文件时提到将目标文件分成2 5 6 k b 的小块，是为了便于 在节点之间交换。实际上，这些数据块又被分为子块，一般一块为1 6 k b ，节点 之间传送的是1 6 k b 的子块，这样可以更好的利用带宽。节点在某一块内可以 按任意顺序下载子块，但是不会跨块下载不同块内的子块，这是因为整块数据可 以用摘要验证正确性，而只有验证正确的数据才能提供给其他节点下载，为了尽 快共享整块数据，就应该尽量把一整块下载完整，再下载其他的块。 2 3 2 t o r r e n t 文件格式 t o r r e n t 文件作用是为b t 客户端程序提供追踪器以及文件摘要等信息，在 b t 系统中是很重要的环节。t o r r e n t 文件是采用b e n c o d e 编码编写的。 b 编码的数据类型有4 种，分别为整数、字符串、列表、字典。 字符串： 字符串被如此编码： ：字符串正文。字符串的表示法没有任何 的分界符。 例子：如”8 ：a n n o u n c e ”指”a n n o u n c e ”。 1 3 北京邮电大学硕+ j ：学位论文面向运茜的p 2 p 义件共享业务甲台研究 整数： 整数被如此编码： 整数值 。可以为负数，如i 3 e 。 例子：i 3 e 指3 。 列表： 列表是如此被表示的： b e n c o d ev a l u e 。列表可以用来表示多个对象。 列表内容可以包括字符串，整数，字典，甚至列表本身。 例子：1 4 ：s p a m 4 ：e g g s e 指【f i s p a m ”，”e g g s ”】。 字典： 字典是一个一对一的映射。它表示了一个主键( 必须为字符串) 和一个数据项 ( 可以为任何b e n c o d e 值) 的关系。字典可以用来表示一个对象的多种属性。 例子： 。 之所以采取b e n c o d e 编码来编写t o r r e n t 文件，是由于b e n c o d e 编码可以以 较少的字节数来表示大容量内容，以减少t o r r e n t 文件容量和传输该文件的所耗 时间。用户在网上找到该t o r r e n t 文件，用b t 客户端程序打开，然后就可以连 接t r a c k e r ，开始用b t 客户端程序下载目标文件了。在t o r r e n t 文件中，只有 a n n o u n c e 和i n f o 两个字段是必须的，也就是t r a c k e r 地址和目标文件摘要，其他 信息都是可以省略的。i n f o 字段对应一个字典，内容是文件的摘要信息。 表2 2t o r r e n t 字段 字段是否可省略类型字段描述 a n n o u n c e 字符串 t r a c k e r 地址 i n f o 字典目标文件摘要 l e n g t h 整数文件长度 n a m e 字符串文件名 p i e c el e n g t h 整数块长度 p i e c e s 字符串所有块摘要 c r e a t i o nd a t e - 整数t o r r e n t 文件建立同期 c o m m e n t- 字符串 目标文件描述 c r e a t e db y - 字符串 制作t o r r e n t 文件的软件名 t o r r e n t 文件的所有内容只是一个b 编码的字典。字典中有一些固定的主键， 对应的元素可以由t o r r e n t 制作者设定。在t o r r e n t 文件中，只有a n n o u n c e 和i n f o 两个字段是必须的，也就是追踪器地址和目标文件摘要，其他信息都是可以省略 的。i n f o 字段对应一个字典，内容是文件的摘要信息，i n f o 字段有两种格式，对 应于目标文件为单一文件或一个目录的两种情况。 1 4 北京邮电大学硕士学位论文 面向运营的p 2 p 文件共享业务平台研究 表2 - 3 单一文件的i n f o 字段 字段是否可省略类型字段描述 l e n g t h 整数文件长度 n 锄e 字符串文件名 p i e c el e n g t h 整数块长度 p i e c e s 字符串 所有块摘要 表2 4 目录形式的i n f o 字段 字段是否可省略类型字段描述 f i l e s 列表 所有文件 n a m e 字符串最高层的目录名 p i e c el e n g t h 整数 块长度 p i e c e s 字符串所有块摘要 n a m e 字段表示所有文件之上的目录名，目标文件下载完成之后所有文件都 会在一个名字为n a m e 字段的目录里。f i l e s 字段是一个列表，其中每个元素都是 一个字典，表示一个文件，字典内容如下： 表2 5f i l e s 字段 字段是否可省略类型字段描述 l e n g t h 整数 文件长度 p a t h 列表目录名文件名 这里的p a t h 字段是文件相对于上面n a m e 。字段的目录的位置。举例来说， 目标文件是一个目录f o o ，包含很多文件，其中一个文件”d i r l d i r 2 f i l e e x t ”，对应 的p a t h 字段内容就是一个有三个元素的列表，三个元素分别为”d i r l ”，”d i r 2 ”， ”f i l e e x t ”。 举一个例子，星球大战： d 8 ：a n n o u n c e 3 4 ：h t t p ：t r a c k e r y d y c o m ：8 6 a n n o u n c e l 0 ：c r e a t e d b y l 3 ：b i t c o m e t 0 5 8 1 3 ：c r e a t