（计算机软件与理论专业论文）对等网络集群下载模式的研究及应用.pdf

对等网络集群下载模式的研究发应用 、- 6 3 5 7 1 2 摘要 从n a p s t e r 到g n u t e l l a 再到b i t t o r r e n t ，迄今为止，对等网络的发展在短短 的几年内已经发展到了第三代。b i t t o r r e n t 缩写为b t ，中文译作“比特湍流”，作 为一种革新性下载工具，b t 吸纳了第一代、第二代p 2 p 技术优势，创新性地采用 集群下载的方式，简单有效地实现了下载压力的分散，做到了“下载的人越多， 速度越快”! 本文从b t 原理中集群下载方式的研究入手，研究了前两代p 2 p 网络文件共享 架构，同时对采用集群下载方式的e d o n k e y 也作了对比研究，总结了其w e b _ l i n k 模型，并详尽阐述了这种模型的优越性及不足，提出了新的对等网络集群模型 p s w p s ，新模型具有效率高、稳定性好、可扩展和可管理等特点，充分利用集群特 性并结合w e b 中间服务器，和现有网络完全相容，有效地实现了资源共享服务。 论文还详细对模型的具体实现进行设计，综合了j a v a 、x m l 和a s p 技术，最后给 出了相关实现。 关键词：p 2 p ；b i t t o r r e n t ( b t ) ；集群下载；x m l 对等网络集群下载模式的研究及应用 f r o mn a p s t e rt og n u t e l l aa n dt h a nt ob i t t o r r e n t u pu n t i ln o w , t h ed e v e l o p m e n t o fp 2 p n e t w o r kh a s a l r e a d yd e v e l o p e di n t ot h e t h i r dg e n e r a t i o nw i t h i ns h o r taf e w y e a r s b i t t o r r e n t i sa b b r e v i a t e da sb t , t r a n s l a t e da s b i t st o r r e n t ”i nc h i n e s e b t , d o w n l o a d i n gt o o la sak i n d o fi n n o v a t i o n r e c e i v e st h ef i r s ta n dt h es e c o n d g e n e r a t i o n s o fp 2 pt e c h n o l o g i c a l a d v a n t a g e s ，i n n o v a t i v e l ya d o p t st h ew a y o fc l u s t e rd o w n l o a d i n g s i m p l e l ye f f e c t i v er e a l i z e s t h e s c a t t e d n go ft h ed o w n l o a d i n gp r e s s u r e s oa c c o m p i s h s = t h em o r ep e o p e t h a td o w n l o a d ， t h ef a s t e rs p e e di s ”! t h i sp a p e rc o l l e c t sf r o mb t p r i n c i p l eo fc l u s t e rd o w n l o a d i n gr e s e a r c ho fw a y s t a r tw i t h f i r s t l ys t u d i e se a r l yt w og e n e r a t i o n so fp 2 pn e t w o r kf i l e - s h a r i n gf r a m e w o r k s ，a tt h es a m e t i m ec o m p a r e sw i t hs t u d y i n gt h ec l u s t e rd o w n l o a d i n go ft h ep e e re d o n k e yt o o s e c o n d l y s u m m a r i z e sb t sw e b _ l i n km o d e l ，a n de x h a u s t i v e l y t o e x p l a i n t h e s u p e r i o r i t y a n d d e f i c i e n c yo ft h em o d e lf i n a l l yp r o p o s e sn e w p 2 pn e t w o r kc l u s t e rm o d e l p g w p s t h e n e wp s w p sm o d e li so fh i g he f f i c i e n c y f i n es t a b i l i t y , e x p a n s i b i l i t ya n db u tm a n a g e m e n t c h a r a c t e r i s t i c s ，e t o i tu t i l i z e sf u l l yc l u s t e rc h a r a c t e r i s t i ca n d c o m b i n e sw i t hw e bs e r v e r , s oa s t ob em e l ti n t op r e s e n tn e t w o r ka ta l li n d u s i v e ，a c c o m p l i s h st h er e s o u r c e - s h a r i n gs e r v c e e f f e c t i v e l y a d d i t o n a l l y , t h ep a p e ri n d e t a i l d e s i g n sc o n c r e t l y r e a l i z a t i o no ft h em o d e l ， c o m p r e h e n s i v e l yu s i n g j a v a ，x m l a n da s p t e c h n o l o g y 。p r o v i d e d r e l e v a n t l y a c c o m p l i s h m e n tf i n a l l y k e yw o r d s ：p e e r - t o p e e r ；b i t t o r r e n t ；c l u s t e rd o w n l o a d ；e x t e n s i b l em a r k u pl a n g u a g e l l 对等网络集群下载模式的研究及应用 1 1 引言 第一章绪论 曾几何时，一场著名的版权官司使p 2 p 。“( p e e r t o p e e r 即对等网) 技术一 夜成名，人们惊呼：颠覆互联网经典架构的技术杀手来了! 三年过去了，p 2 p 不再 被视作洪水猛兽，逐渐成为传统互联网的组成部分而为主流技术接纳。有别于传 统的客户服务器( c l i e n t s e r v e r ，c s ) 模式，p 2 p 使得任何网络设备可以为其他 网络设备提供服务“1 ，甚至边缘网络( e d g eo fi n t e r n e t ) ，使得点和点之间通过直 接相连建立起平等的协作关系。 对等网络可提供理论上无穷的磁盘空间以及不受限制的数据交换。1 ，这是传 统w e b 服务所无法提供的。p 2 p 引导网络计算模式从集中式向分布式偏移，也就是 说网络应用的核心从中央服务器向网络边缘的终端设备扩散。这使得人们在 i n t e r n e t 上的共享行为被提到了一个更高的层次，使人们以更主动的方式参与到 网络活动中去。给我们解决一些难题提供了契机，使得在对等计算、协同工作、 搜索引擎、文件交换等方面都有广泛的应用。值得一提的是，p 2 p 出现虽晚，但发 展迅速，新技术新应用不断涌现。 p 2 p 网络的诸多优点使我们相信：将对等网络计算及其新技术应用于实际环 境，必将在与其他网络模式共存的基础上，为新一代的网络做出新贡献。本文将 从三代p 2 p 网络的对比出发，着重研究第三代p 2 p 网络应用软件b i t t o r r e n t “1 的集群下载方式的新技术，在此基础上加以改进，以充分发挥p 2 p 网络应用的潜 力。现在让我们看看p 2 p 网络技术。 1 2 对等网络的起源和发展 p 2 p 计算并非一种全新的技术，虽然p 2 p 这个术语是现在才发明的，甚至可以 说p 2 p 是互联网整体架构的基础。互联网中最基本的协议t c p i p 并没有客户机和 服务器的概念，所有的设备都是通信平等的一端，这也是p 2 p 原理的根本。我们 对等网络集群下载模式的研究及应用 身边并不乏p 2 p 应用的例子，比如对等形式的局域网。最初的p 2 p 应用大约产生 于2 0 年前，p 2 p 本身的基本技术的存在时间至少和u s e n e t 、f i d o n e t 这两种非常 成功的分布式对等网络技术一样长。p 2 p 源于n a p s t e r “1 ，发展至今已经历了三代， 下面是对这一过程的描述。 p 2 p 的风暴源起于三年前美国的一场著名官司，被告名叫n a p s t e r 。n a p s t e r 提供一种免费软件，用户安装联网后，p c 就变成了一台m p 3 服务器，可以实现本 地m p 3 资源的全球共享，无数台这样的个人电脑手拉手，交织成一个庞大的m p 3 资源网络。此举等于砸了传统唱片商的饭碗，代表传统产业利益的美国唱片协会 ( r i a a ) 和美国音乐出版协会( n n m p a ) 自然视之为洪水猛兽，必欲置之死地而后 快。结果我们都已知道：n a p s t e r 以败诉收场。但是令r i m 们始料不及的是：p 2 p 就像被开启的潘多拉宝盒，非但没有被扼杀于襁褓中，反而生生不息地繁衍下来。 n a p s t e r 与r i a a 的恩怨情仇以及官司的输赢并不重要，重要的是它开启了一个注 定影响深远的时代p 2 p 时代。 n a p s t e r 提供的m p 3 下载服务就是最早的p 2 p 实践。 传统互联网基于服务器一客户机模式，换言之就是一种中心化一边缘化结构， 处于网络中心地位的服务器为处于终端边缘的客户机提供管理和服务，信息传输、 控制相关的所有核心指令需要通过看不见摸不着、永远处于幕后的神秘的中心服 务器来实现，网管可以“踢人”，服务器拥有生杀予夺的特权；客户机永远处于 从属位置，是游戏的被动参与者。 众所周知，当初，美国军方为防止“中枢神经系统”遭到毁灭性打击而设计 出了具有分布式特性的阿帕网a r p a n e t ( 互联网的“老祖宗”) 。分布意味着无中 心，或日泛中心、多中心，要让系统“终端”末梢承担起中心的作用。但是技术 发展的结果却事与愿违，传统互联网发展成了不折不扣的大中心套小中心的环型 闭合结构，总体架构建立在域名解析根目录服务器基础上( 有全球根服务器也有 国家和地区域名解析服务器) ，具体服务( 例如电子邮件、w w w 网站、f t p 下载、 q q 即时通信、网络游戏等等) 也有一个中心服务器。服务器一旦瘫痪，系统就完 蛋。 p 2 p 一开始就是传统秩序的颠覆者，有人译作“屁股对屁股”。名字俗不可 对等网络集群下载模式的研究及应用 耐，但却活脱脱刻画出它致力挑战中心霸主的叛逆精神。p 2 p 可以说是长期以来处 于受压迫地位的客户机的反叛和革命，以p 2 p 的鼻祖n a p s t e r 为例，它并不提供 m p 3 音乐资源，只是提供动态刷新的m p 3 目录服务，音乐资源是散布在全球互联网 上的用户手中。借助n a p s t e r 你几乎都可以找到任何一首歌曲。分布式运算的可 怕聚合力彰显无遗。 在国内，发展最早、最有影响的要算众智网舟( w o r k s l i n k ) 和点点通p p 了， 这一南( 深圳) 一北( 北京) 的两款产品集聚了数以百万计的用户，每时每刻， 成千上万的用户在p 2 p 网络上交换软件、音乐、视频、电子图书等资源，好不快 意。 众智网舟和点点通属于有中间服务器的p 2 p 系统，基本理念源自p 2 p 的鼻祖 n a p s t e r ，它们都需要注册。注册服务可以说是“中心服务器一终端客户机”模式 最后的残存物，注册、登录就意味着中心服务器霸权的存在。 n a p s t e r 、w o r k s li n k 、p p 的特点是提供中心服务器目录检索和管理服务，提 供标准的点到点通信，缺乏有效的强制共享机制，资源可用性差，具有高效的检 索和低效的交换服务的特点，可以说是第一代p 2 p 工具的代表。 n a p s t e r 虽然最终官司缠身，被迫申请破产保护。成百上千的p 2 p 新秀踏着 n a p s t e r 的尸首，高擎自由共享太旗前进。传统唱片商很快就发现：自己面对的不 是一家网站，而是一种新技术，反叛的力量源自生生不息的技术进步。 g n u t e l l a 、s c o u r n e t 、c u t m x a o m 等提供类似服务的网站相继跟进。g n u t e l l a 是n u l l s o f t 公司推出的一款开放源代码音乐下载工具，它吸取了n a p s t e r 的失败 教训，将n a p s t e r 的理念更推进一步：用户p c 只要安装该软件，立即变成一台能 够提供完整目录和文件服务的服务器，并会自动搜寻其它同类服务器，从而联成 一台由无数p c 组成的网络超级服务器，与n a p s t e r 网络不同，它不存在中枢目录 服务器，或者说把所有机器都变成了服务器，如此一来，传统网络关于“中心服 务器”和“终端客户机”的定义就要重写，传统版权主义者想打官司都找不到被 告，这还只是p 2 p 颠覆传统秩序的开始。 p 2 p 的后起之秀电驴( e d o n k e y 。1 ) 及其改良品种电骡( e m u l e ”3 ) 改进了第一代 p 2 p 系统，中央服务器提供简单的文件列表功能，下载、安装客户端以后，无需注 对等网络集群下载模式的研究及应用 册即可使用。电驴的革命性突破就在于：它不是只在一个用户那里下载文件，而 是同时从许多个用户那里下载文件。如果另一个用户仅仅只有你要的文件的一个 小小片断，他也会自动地把这个片断分享个大家。反过来也一样。只要你得到了 一个文件片断，系统就会把这个片断共享给大家。尽管通过选项的设置你可以对 上传速度做一些控制，但你无法关闭它。 g n u t e l l a 和电驴代表了第二代p 2 p 无中心、纯分布式系统的特点，它不再是 简单的点到点通信，而是更高效、更复杂的网络通信。电驴开始引入强制共享机 制，一定程度上避免了第一代p 2 p 纯个人服务器管理带来的随意性和低效率。 b t 开创了新一代p 2 p 潮流，是为第三代p 2 p 系统。它批判地继承了前辈产品的 优点，将中心目录服务器的稳定性同优化的分布式文件管理结合起来，从而在效 率上远远超出了电驴这类产品。它要求提供一个或多个统一的w e b 发布服务器， 供网友在此发布和搜寻资料。在客户端，它通过一个i e 插件提供下载、上传管理。 b t 把一份大文件切割成碎片，给每一个碎片标上特殊标识，用户无需到一个固定 地点( f f , j 如传统网络的中心服务器) 上下载完整的文件，系统会帮助你自动寻找、 随机下载具有相同标识的文件碎片，将其加以整合成为完整的文件。b t 鼓励和强 制人们在下载资源的同时，自动开启相应的上传服务以回馈其他用户。下载速度 取决于上传速度，上传速度越快，给他人贡献就越大，就能获得越高的下载速度， 下载与上传双向互动、同时进行。资源提供者叫做“种子”，“种子”数量越多， 表明资源越受欢迎，下载速度越快，这是一种良性循环，传统中心服务器环境下 用户增加带来“动脉血栓”的致命顽疾得以根治。想想看，数以亿计的文件碎片， 从全球浩瀚无垠的网络世界中，穿梭时空，高速汇聚到你的电脑硬盘上，整合成 一部完整的7 0 0 m 的电影，这是何等的神奇! 更神奇的是，同样的碎片，你下载完 成一刹那，已经在无数硬盘上组合成了成百上千部电影。如果换作传统f t p 下载， 服务器恐怕早就“趴窝”了。 尽管b t 的独特魅力已然征服了数以万计的网友，但是它尚未脱离朴素末凿的 初级形态，许许多多第三方工具正在致力于帮助其改善界面，扩展功能。布莱 姆科亨( b r a mc o h e n ) 本人也在致力改进。假以时日，b t 定能以更加成熟的品质 带来新的震撼。 4 对等网络集群下载模式的研究及应用 1 3 对等网络的定义和特点 许多学者和组织都尝试对对等网络( p e e r t o p e e r ，p 2 p ) 的定义给出一定的 描述，但就像电子商务或智能代理( i n t e l i g e n ta g e n t ) 等计算机技术一样，每 个人有每个人对p 2 p 的理解，很难给出一个统一的定义。以下我们列举一些有代 表性的定义： p 2 p w g ( p e e r t o - p e e r 工作组) 通过系统间的直接交换，共享计算机的资源和服务。这些资源和服务包括信 息、处理器周期，高速缓存和文件磁盘存储。 g a r t n e rg r o u p 通过一个虚拟名字空间，实现i n t e r n e t 的终端用户直接交互。这个定义将用 户创建的名字和相应的i p 地址联系起来。 i b m p 2 p 系统是由若干互联协作的计算机构成，且至少具有如下特征之一：系统 依存于边缘化( 非中央式服务器) 设备的主动协作，每个成员直接从其他成员而 不是从服务器的参与中受益；系统中成员同时扮演服务器与客户端得角色；系统 应用的用户能够意识到彼此的存在，构成一个虚拟或实际的群体。 b w ( d x t b o o k 的作者) p 2 p 使得任何网络设备可以为其他网络设备提供服务。 不管如何定义，诚如p 2 p 承诺的那样提供一个真正的完全平等，自由的 互联网，使用很少的资源消耗而提供高可靠的服务。这是不争的共识。综合 以上定义，我们给出对等网络的定义： 对等网络( p e e r - t o p e e r p 2 p ) ，是由若干分散的互联协作的对等节点( 计算 机或其它终端设备) 构成，节点间通过直接交互共享资源和服务。它具有以下两个 显著的特点： 信息分散：在位置上对等实体完全不局限于地域，在信息的使用上它将网 络信息分散化，这样相同信息的p 2 p 设备可以构成存在于互联网这张大网中的子 对等网络集群下载模式的研究及应用 网，使信息按新方式又一次集中重组。 关系平等：每个对等网节点既是服务器又是客户端，如何表现取决于用户 的需求，这样的平等关系使得它们之间功能互补、各取所需，具有协调互助的能 力。并且对等网的网络应用由使用者自由驱动。 结构灵活：p 2 p 网络有它的自组织性和节点动态加入、离开的灵活性，是 构架在现有网络之上的一个逻辑实体群。它不依赖于现存的网络拓扑结构，它强调 的仅仅是节点互联、网络互连，结构相对灵活。 1 4 对等网络的研究现状和热点 p 2 p 引导网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从中 央服务器向网络边缘的终端设备扩散。这是人们在i n t e r n e t 上的共享行为被提到 了一个更高的层次，使人们以更主动的方式参与到网络活动中去。所以，p 2 p 给互 联网的分布、共享精神带来了无限的遐想，很多新的应用被开发出来。我们以目 前广泛应用的、具有代表性的几款p 2 p 软件为例，介绍p 2 p 技术的不同应用。 1 ) n a p s t e r ：n a p s t e r 是目前最普遍、也最有争议的对等文件共享工具。它采用 了一个集中化模块，使用n a p s t e r 的客户端必须连接到n a p s t e r 的服务器，利用 服务器搜索代理并为传输文件创建必要的连接。然后，使用者可直接从任意一台 安装同类软件的p c 上下载及上载文件。用户可以检索、复制共享的文件。软件自 动发现最新的文件列表，发布者无需担心发布的问题。 2 ) i c q 利用p 2 p 技术的i c q 软件，使得两个或多个用户互相间可以快速、直 接地使用文字、语音或文件进行交流，并易于同非p c 网络设备( 如p d a 、手机) 通信，而且它不依赖设备即可辨别用户。 3 ) i n f r a s e a r c h 、p o i n t e r a ：该软件用于在p 2 p 网中完成信息检索，由于对等 网用户的联网方式、联网时间及使用的操作系统是多种多样的，所以，p 2 p 专用网 上的数据搜索与现在互联网中数据存在中央服务器的情况有所不同，必须要考虑 动态地将当前p 2 p 网络中各个点的内容进行收集，并有效地向用户传递。 4 ) n e t b a t c h 、g r i d ：这两个对等网软件可用于联接很多台计算机设备，利用这 些联接上的计算机的空闲时间来进行协同计算，完成超计算量的工作。 6 翌要翌竺墨登! 堑塑苎塑竺苎墨壁里 5 ) 游戏类软件：许多网络游戏也都基于p 2 p 技术实现，尤其是那些双人及多 人对弈类的游戏。 6 ) g r o o v e ：主要在企业工作组间协同工作，可建立一个安全的企业级协同工作 平台( p 2 p 网) ，提供供求信息链上的互动信息沟通，帮助使用者进行经销渠道维 护、客户服务和支持。在g r o o v e 网络中没有中心服务器，所有的客户机都是完全 对等的。用户拥有相同的窗口，在这个窗口上罗列出共享的文件，可画图或进行 w e b 浏览，且所有通信都是加密的。 7 ) h o t l i n e “：h o t l i n e 系统结构类似于c s 模式，与流行的b b s 系统非常相 似，每个用户都可以针对他提供的共享文件建立一个服务器，并提供一个相关主 题的聊天室。客户机通过“s c h e d u l e r ”对服务器进行定位，可不断更新最新的服 务器列表以及其主题。客户机可以上传下载文件，支持断点续传，但不提供文件 加密。 8 ) g n u t e l l a ：g n u t e l l a 是一个通用的文件共享协议，他基于对等组的结构来 实现。每个g n u t e l l a 客户与其他g n u t e l l a 节点建立一个对等组，这个组成员会 经常性地变化。无论何时，一个节点收到一个请求都会将这个请求转发给其所有 的组成员，查询请求会从一个客户机到另一个客户机不断地蔓延，响应消息顺着 原路返回到请求发起者。这样做具有巨大的效率，在很短的时间内，大量的节点 就可以接受并转发请求。当然，从另一个角度看，也会产生大量网络冗余，少量 的请求就会增加并最终形成网络拥塞。 9 ) f r e e n e t ：和g n u t e ll a 有些类似，f r e e n e t 也是一个通用的文共享协议，他 也不需要中心服务器，在较少请求消息的情况会产生大量的网络流量，f r e e n e t 允 许发行者和下载者匿名使用。在转发请求时，f r e e n e t 节点并不像g n u t e l l a 节点 那样扩散病毒似地转发请求，而只给那些似乎很可能与请求匹配的点转发请求。 如果匹配建立，则确定了请求链并返回一个应答，文件的传输直接在两个节点间 进行，而不是按原路返回。 l o ) j x t a ：j x t a 将节点划分为籽点。1 ( s e e d i n gp e e r ) 、边缘点( e d g ep e e r ) 和集 合点( r e n d e z v o u s ) ，集合点维护着节点邻接关系( r p v 表) ，由于引入了集合点从而 产生了局部中心节点，该系统采用广度检索与深度检索相结合的方式进行检索。 对等网络集群下载模式的研究及应用 1 1 ) c h o r d 、c a n ：c h o r d 是m i t 提出来的基于p 2 p 的信息资源定位、查找模型。 c a n 是b e r k e l e y 提出来的基于p 2 p 的节点邻接模型。c a n 采用基于n 维空间分割 的节点增减管理策略，节点邻接关系受限于节点间p n s 的几何邻接关系。 1 2 ) e d o n k e y 、b i t t o r r e n t ：新一代的利用集群技术的真正意义上的多点对多点 的( p e e r s t o p e e r s ) p 2 p 网络资源共享模型。是目前的热点，也是本文研究的出发 点。 总而言之，目前的研究都很少涉及技术以外的社会、政治和合法性等问题， 精力都集中在技术本身，主要包括内容和资源的管理、信赖和安全、属主和权限、 通讯模型、分布式计算、以及搜索和查询等。1 。 1 5 论文的研究内容及组织 目前对等网络应用技术遍地开花，利用集群进行下载的对等网络中新的应用 方式b i t t o r r e n t 已经引领了新一波的浪潮，诸如a z u r e u s 、b th b c 、b i t s p i r i t ( 比 特精灵) 、s h a r e a z a 等一系列b t 软件如雨后春笋般的不断涌现。鉴于目前这样的 p 2 p 网络应用发展背景，本文从b i t t o r r e n t 集群下载的原理入手，综合考虑现有 集群策略和p 2 p 网络架构，在总结并提出b tw e b l i n k 模型的基础上，分析了 w e b _ 1 i n k 模型的优缺点，提出了新的对等网集群下载模型p s w p s 模型，最后 给出了设计实现。 本文共分为五章，论文结构如图卜l 所示，其中： 第一章主要介绍对等网络的起源、发展、定义和特点，从历史与技术的角度 探讨了三代p 2 p 网络的发展，着重介绍了p 2 p 网络的研究现状和热点。最后说明 了论文的研究内容及组织。 第二章主要针对b t 集群下载原理和特性进行了研究，介绍了对等集群下载的 兴起和传统集群的概念和特性，也介绍了传统p 2 p 的网络模型，在此基础上提出 了新的b tw e b l i n k 模型，最后给出了基于w e b l i n k 模型的集群下载的缺陷。 第三章主要介绍了基于p s w p s 模型的程序设计描述，我们从一个众所熟知的 例子入手，介绍了w e b l i n k 模型的改进模型p s w p s 模型，着重介绍了模型实 现过程中的组件设计以及集群调度器组件的负载均衡策略。 对等网络集群下载模式的研究及应用 第四章我们用j a v a + x m l + a s p + s q ls e r v e r2 0 0 0 对上述p s w p s 模型进行了详细 的设计和实现，其中对新技术x m l 我们给予了相应介绍。 最后，在第五章中，对本文进行了总结，并就p 2 p 技术的未来发展前景进行 了展望。 第一章绪论 第二章基于集群下载方式的对等网络资源共享模型 l第三章对等网络集群下载模型p s 、p s 一的设计描述 第四章实现 第五章总结与展望 图卜1 论文结构体系 9 对等网络集群下载模式的研究及庶用 第二章基于集群下载方式的对等资源共享模型 2 1 对等集群下载的兴起 “红帽子”事件m ， 2 0 0 3 年3 月3 1 日，一个普普通通的日子，对于全球热衷自由软件的人来说却 是个翘首已久的日子。这一天，共享世界开放源代码操作系统的集大成之作 r e d h a t 9 0 ( 红帽子9 o ) 如期推出，供全球用户免费下载试用。为了保证注 册用户的利益，开发商规定只有红帽子网络( r h n ) 正式注册的用户才可以在第一 时间获得r e d h a t 9 0 ，其他用户要等到一周之后下载。r e d h a t 9 0 由3 张光盘组成， 即便能够下载，接近2 g 的数据量也令众多网友却步兴叹。 互联网中心服务器到( 终端) 客户机的经典模式再次遭遇挑战。同一时间， 越来越多的用户蜂拥到一个服务器上访问或下载，导致服务器不堪重负，网络慢 如蜗牛，w w w ( 万维网) 无奈地成了w o r l d w i d e w a i t ( 全球等待) ，要完成类似 r e d h a t 9 0 分发这样的工作简直成了“不可能的任务”。用户要拿到r e d h a t 9 0 文 件，可能要等上数周甚至数月的时间，而这对于技术迷来说不啻为一种折磨。 幸好有了b t ，一种正在大面积传播的p 2 p 新技术它采用全新的集群下载 方式，效果就像传销一样：例如你把+ m p 3 共享，假如有3 0 人在下载，那么这3 0 人都是你的下线( 也就是为你服务，作为一个服务器提供下载服务) ，那么你相当 于提供了3 0 倍的带宽。越多人下，他们为你提供的带宽越多，速度也就越快 才使这种情况得以根本改观，更多渴望尝鲜的人在第一时间获得了r e d h a t 9 0 。通 过b t ，在短短的几个小时内，全部3 张光盘镜像的5 0 0 份拷贝被下载，数据总量 达到了1 5 t b ，相当于2 0 0 0 多部高质量电影，最高速度达到了1 7 0 m b 秒。有超过 3 0 0 0 人加入了b t 共享队伍，还有2 0 0 个人在自己下载完成后仍然开放自己的客户 端让别人从自己机器上下载。如此快捷、高效、自发而又有序的数据传播方式， 在b t 出现以前几乎是不可思议的事情。如果纯粹从性价比着眼，人们在传统互联 网架构上投入巨资建立的旨在解决流量拥塞、负载均衡的内容分发网络( c d n ) 技 术也相形见绌。 1 0 对等网络集群下载模式的研究及应用 一种革命性技术总是要通过一个非常事件才得以扬名立万。正如美国唱片协 会( r i a a ) 同n a p s t e r 公司的版权官司成就了p 2 p ，“红帽子事件”则可以视为 p 2 p 新生代b t 的正式登场的宣言。自由软件王国的旗手r e d h a t 9 0 与同样 崇尚自由、开放和共享精神的网络精灵b t 联袂亮相。 2 2 传统集群的概念及特- 眭 说到集群，我们先区分一个概念传统的双机热备份技术“2 1 相对于集群技 术而言，其原理是一台服务器做主机，其他服务器做备份机，主机失效时，备份 机接管。这种工作模式存在三个主要问题：1 ) 主机发生故障时，备份机部不能实 现平滑接管，即应用系统会中断：2 ) 备份机平时不做任何工作，造成资源浪费； 3 ) 不具备负载均衡、并行处理的能力。集群技术是使用特定的连接方式，将比超 级计算机便宜许多的硬件设备结合起来，提供与超级计算机性能相当的任务处理 能力。 广义说，一个集群是相互独立的一些系统作为一个系统进行工作，它们构成 一个工作组，成为集群。从通信和计算机的角度来说，集群分为集群通信系统和 集群计算机系统。 集群通信系统 这里“集群”的定义是自动信道选择，指多个无线信道为众多的用户公用。 集群系统就是把这有限的信道自动地、动态地、快速地分配给系统的所有用户， 以便最大程度地利用系统信道和频率资源。 集群方式可以理解为把用户排成一队，哪个信道空闲就占用哪个，有集中控 制方式和分散控制方式之分。集中控制方式采用一条专用信道作为信令信道，由 系统控制中心统一管理系统话务、处理呼叫请求。分散控制方式则是每个信道都 有自己逻辑部件负责信道控制和信令转发，采用随路信令，与话音同时传输，不 占用信道。 集群计算机系统 顾名思义，这里的“集群”是由很多连接在一起的独立计算机组成，像一个 对等网络集群下载模式的研究及应用 单独集成的计算机资源一样协同工作，是一种并行或分布式处理系统。计算机节 点可以是单个处理器( p c 、工作站) 或多个处理器的系统( 共享存储的多处理机 s m p ) ，拥有内存、i o 设备和操作系统。节点可以是在一起的，也可以是物理上分 散而通过l a n 连接在一起的。 集群方式可以理解为把所处理任务排队，哪个节点处理能力有空余就使用哪 个，也有集中控制和分散控制之分。集中控制方式采用一专用服务器做控制中心， 规划协调处理任务的分配与重定向。分散控制方式则是节点自身定期或不定期收 集服务器群的运行参数：c p u 占用情况、磁盘i o 、内存等动态信息，再根据某种 选择策略，找到可以提供服务的某些节点集，将本地的应用请求发向它们。 随着w e b 的引入，又出现了w e b 上的集群技术，主要是w e b 服务器集群“， 它把来自客户端的用户请求均衡地分配到集群系统的各个节点，平衡w e b 服务器 集群系统中各个服务节点的负载，有效管理它们的资源利用。这种集群有效的减 少了互联网络访问的响应时间，增加了服务的可靠性，目前多采用专有的硬件设 备，如c i s c o 、a 1 t c o n 等厂商的w e b 交换机做负载均衡。 集群技术的特点 集群技术最大的特点之一就是能够实现负载均衡“”。”，分为静态负载均衡和 动态负载均衡：静态负载均衡根据实现确定的“轮值”策略，就像轮班值日制度， 把任务分解给不同的节点来完成，适用于本地服务器群的负载均衡；而动态负载 均衡通过一些工具实时地分析数据包，掌握网络中的数据流量状况，把任务合理 分配出去，适用于分置在不同地理位置、不同网络及服务器群之间的负载均衡。 集群的另一特点是容错性好，可靠度高。如果集群管理服务器发现集群中有 一个节点出现故障，那么它将连在该节点上的连接重定向到其他节点机上。另外， 集群系统比起传统的并行处理系统还有高的性能价格比、开发周期短、可扩展性 好、资源利用率高、用户投资风险小，编程方便等几个明显的优点。 对等网络集群下载模式的研究及应用 2 3 对等集群下载b it t o r r e n t 研究 2 3 1 先驱e d o n k e y 在介绍b t 之前，我们先介绍先驱e d o n k e y ，以期对b t 对等集群下载前瞻。对 等网络集群下载的应用开发始于e d o n k e y ，它是建立在点对点( p 2 p ) 技术上的文件 共享软件。它与传统文件共享的区别是：共享文件不是在集中的服务器上等待用 户端来下载，而是分散在所有参与者的硬盘上。所有参与者组成一个虚拟网络， 每个用户端都可以从这个虚拟网络里的任何一个人的机器里下载文件! 同时每个 人也可以把自己的文件共享给任何人。 在e d o n k e y 体系里有一些服务器，不过这些服务器不再存放文件，而是存放 这些共享文件的目录或地址。每个用户端从服务器处得到或搜索到共享文件的地 址，然后自动从别的客户端处进行下载，参与的客户端越多，下载的速度越快。 显然，e d o n k e y 体系里的虚拟网络属于集群计算机系统，利用集群方式有效的 实现了下载负担的负载均衡，体系中采用服务器中心控制的方式，服务器接受下 载请求，寻找尽可能多的能满足下载要求的节点，将请求重定向到这些提供服务 的多个点，由这些节点来处理用户请求，完成下载任务。 e d o n k e y 原理 当你在搜索列表中选取了你要的文件并开始下载后，e d o n k e y 会记录下这个文 件的大小，文件名以及另一个叫做h a s h 的特殊值。说得更确切一些，是一个m d 4 的h a s h 值。这个值是根据你要下载的文件本身的内容计算得来，它可以让你知道 你正在下载的文件是不是就是你所想要的。尤其是在文件的其他属性被更改之后 ( 如名称等) 这个值就更显得重要。e d o n k e y 软件得到了这个信息后，会向所有添 加的服务器发出请求，要求得到有相同h a s h 值的文件。而服务器则返回持有这个 文件的用户信息。这样我们的客户端就可以直接的和拥有那个文件的用户沟通， 看看是不是可以从他那里下载所需的文件。而e d o n k e y 最棒的部分就在于：你不 是只在一个用户那里下载文件，而是同时从许多个用户那里下载文件。如果另一 个用户仅仅只有你要的文件的一个小小片断，他也会自动地把这个片断分享个大 型量塑竺叁鲎! 墼堡苎塑翌壅垦壁里 家，而你就可以从这个用户的机器上下载这个片断。当然你也是一样。只要你得 到了一个文件片断，系统就会把这个片断共享给大家。 e d o n k e y 的优点 1 ) 不需服务器来存放共享文件，节省了服务器架设、海量硬盘、网络带宽。 2 ) 每个用户端节点都同时是文件下载者和提供者。实际上，在你正在下载但 还没下载完整的文件时，你已经可以把你已下载的部分共享给别人了!因为 e d o n k e y 是同时从很多文件提供者那里下载所需的文件最后再拼成整个文件的。 3 ) 加入的人越多，下载速度越快，资源越丰富。 4 ) 共享方便，每个人在自已的e d o n k e y 里指定一个s h a r e 目录就可以把自己 的文件共享给网络中的其它人了。不必再辛苦地上传到服务器上了。 2 3 2b t 原理及集群特性分析 盯全称为b i t t o r r e n t ，它是用开放源代码脚本编程语言p y t h o n 开发的。和 经典的p 2 p 下载软件( 如e d o n k e y 和e m u l e ) 的技术原理相似，用户在利用b t 客 户端下载的同时也为其他用户提供上传，每一台客户机同时也是服务器，这样， 下载的人越多，速度就越快。作为一种革新性下载工具，b t 吸纳了第一代、第二 代p 2 p 的技术优势，利用集群技术简单而有效地实现了下载压力的分散。 b t 原理 一般来讲，下载是把文件由服务器端传送到客户端，例如f t p ，h t t p ，p u b 等 等。工作原理如右图2 1 ： 但是这样就出现了一个问题，随着用户的 增多，对带宽的要求也随之增多，用户过多就 会造成瓶颈，而且搞不好还会把服务器挂掉， 所以很多的服务器会都有用户人数的限制，下 载速度的限制，这样就给用户造成了诸多的不 便。 但b t 就不同，用b t 下载反而是用户越多，下载越快，这是为什么呢? 因为 1 4 对等网络集群下载模式的研究及应用 b t 用的是一种传销的方式来达到共享的，工作原理如右图2 2 ： b t 首先在上传者端把一个文件分成了z 个部分，甲在服务器随机下载了第n 各部分， 乙在服务器随机下载了第m 个部分，这样甲 的b t 就会根据情况到乙的电脑上去拿乙已 经下载好的m 部分，乙的b t 就会根据情况 去到甲的电脑上去拿甲已经下载好的n 部 分，这样就不但减轻了服务器端得负荷，也 加快了用户方( 甲乙) 的下载速度，效率也提高了，更同样减少了地域之间的限 制。比如说丙要连到服务器去下载的话可能才几k ，但是要是到甲和乙的电脑上去 拿就快得多了。所以说用的人越多，下载的人越多，大家也就越快，b t 的优越性 就在这里。而且，在你下载的同时，你也在上传( 别人从你的电脑上拿那个文件 的某个部分) ，所以说在享受别人提供的下载的同时，你也在贡献。 b t 的集群特性 b t 做到了“下载的人越多，速度越快”，做到了“小带宽的人干大事”，这是 为什么呢? 这一切都归结于b t 的集群特性。 我们举个通俗的例子：对于电信的5 1 2 k b i t s s 的a d s l ( 也就是6 4 k b y t e s ) ， 把电脑变成b ts e r v e r ，效果就像传销一样，例如你把n a r u t 0 3 1 r m 共享，假如有 3 0 人在下载，那么这3 0 人都是你的下线( 给钱你花) ( 也就是为你服务) ( 作为一 个服务器提供下载服务) ，假如下载的人都是用a d s l 在下载，那么你相当提供 3 0 6 4 k b y t e s s = 1 9 2 0 k b y t e s s 的带宽。越多人下，他们为你提供的带宽越多。不 象f t ps e r v e r ，越多人下，你为他们提供的带宽越多。 首先，b t 实现了动态的负载均衡。b i t t o r r e n t 分为t r a c k e r 和c l i e n t 两部 分，t r a c k e r 服务器为c l i e n t 提供相对稳定的服务。每个c l i e n t 都会和t r a c k e r 建立连接，当第二个人( e l i e n t 2 ) 开始下载时，会和t r a c k e r 服务器建立联系， t r a c k e r 依照t o r r e n t 的文件划分规则开始向c l i e n t l 下载数据。当c l i e n t 3 下 载的时候t r a c k e r 会自动告诉他从c l i e n t 2 下载文件的数据段x ，而从c l i e n t l 下 载文件的其他段，以次类推。不管动态地加入几个希望下载的c l i e n t ，t r a c k e r 都 对等嗍络集群下载模式的研究及应用 提供下载过程中的动态重定向服务。 其次，b t 下载的过程体现了“一对多，多对一”集群服务的思想。如图2 3 ， 起始c l i e n t 声称( a n n o u n c e ) 了t o r r e n t 文件，c l i e n t l c l i e n t 4 同时下载某些数 据段，这样它们也成为下载服务提供者，有效 的分担了c l i e n t 的负载，同时集群 c l i e n t l c l i e n t 4 提供分布式的并行下载服 务。 2 4b iw e b l in k 模型 我们总结了现存的对等网络资源共享模型，分析了他们的工作原理、代表软 件和影响，针对我们对b i t t o r r e n t 的研究，总结为b tw e b l i n k 模型。 无论一个应用程序是基于p 2 p 的还是基于传统的客户n 务器模型，它运作的 方式都涉及许多东西。传统c