（计算机科学与技术专业论文）rnet文件分发系统rfds设计与实现.pdf

北京邮电大学硕士学位论文声明 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 。 本人签名： 述噬融 日期： ! ：! ：! 三 i 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学 本人签名： 导师签名： 围，适用本授权书。 日期：一竺! ! ：i ! b 日期： 竺f ! ：生! ! 北京邮电大学硕士学位论文声明 摘要 r - n e t 文件分发系统( r f d s ) 设计与实现 摘要 为了实现互联网资源的有效共享和综合利用，“虚拟计算环境聚 合和协同机理研究 9 7 3 课题组提出了“虚拟计算环境”的概念，即 i v c e 。r n e t 是验证虚拟计算环境的体系结构模型、各类资源的描述 方法和组织管理机制、资源聚合和协同模型的有效性等的重要基础设 施；同时r n e t 也为研究人员测试和评估其它分布式软件提供了真实 的互联网环境。 用户在使用r n e t 平台进行分布式实验之前，被测软件以及相关 文件需部署至r n e t 节点，而分布式实验具有参与节点数量多和待部 署文件占用存储空间大的特点，所以传统的文件分发技术，无法达到 快速分发文件的目标。为了帮助r - n e t 用户方便快速地将文件分发至 r - n e t 大量节点，本文设计和实现了r n e t 文件分发系统( r f d s ) 。 通过分析影响文件分发时间的因素，本文提出了r - n e t 文件分发 系统的设计原则，即高效利用节点组的接入带宽和组内带宽。根据 r n e t 网络环境，r n e t 文件分发系统采用了多级分发技术与p 2 p 技术 相结合的分发方式，目标在尽可能短的时间内将文件分发至r n e t 用 户指定的大量节点。 本文提出了r n e t 文件分发系统的结构框架，完成了总体设计、 工作流程设计、模块设计、通信协议设计和数据库表设计等方面的工 作。最后，本文实现了r - n e t 文件分发系统，并对系统进行了分析和 测试。测试结果表明r n e t 文件分发系统实现了方便快速分发文件的 目标。 关键字：r n e t 文件分发系统多级分发p 2 p i i i 北京邮电大学硕士学位论文摘要 i v 北京邮电大学硕士学位论文 t h ed e s i g na n di m p l e m e n t a t i o no fr n e t f i l ed i s t r i b u t i o ns y s t e m a b s t r a c t i no r d e rt or e a l i z et h ee f f e c t i v e s h a r i n ga n dc o m p r e h e n s i v e u t i l i z a t i o no fi n t e r n e tr e s o u r c e s ，9 7 3t a s kf o r c ep r o p o s e st h ec o n c e p to f i n t e m e tv i r t u a lc o m p u t i n ge n v i r o n m e n t ( i v c e ) r n e ti sa ni m p o r t a n t i n f r a s t r u c t u r ef o r v e r i f y i n g t h ea r c h i t e c t u r em o d e lo fi v c e ，t h e m e c h a n i s mo fd e s c r i b i n ga n do r g a n i z i n ga l lk i n d so fr e s o u r c e sa n dt h e e f f e c t i v e n e s so fr e s o u r c e sa g g r e g a t i o na n dc o l l a b o r a t i o nm o d e l b e s i d e s ， i tp r o v i d e sar e a l i s t i ci n t e r n e te n v i r o n m e n tf o rr e s e a r c h e r st ot e s ta n d e v a l u a t e o t h e rd i s t r i b u t e ds o f t w a r e s b e f o r ec a r r y i n go u td i s t r i b u t e de x p e r i m e n t so nr - n e tp l a t f o r m ，u s e r s h a v et om a k es u r et h a tt h et e s t e ds o f t w a r ea n dr e l a t e df i l e sh a v eb e e n d e p l o y e dt or - n e tn o d e s h o w e v e r , t h ed i s t r i b u t e de x p e r i m e n t sa l w a y s r e q u i r ean u m b e ro fn o d e s ，m e a n w h i l et h ed e p l o y m e n tf i l e sn e e dl a r g e s t o r a g es p a c e ，w h i c hi su n a b l et os a t i s f yt h er e q u i r e m e n to fr a p i df i l e d i s t r i b u t i o nb yu s i n gt r a d i t i o n a lf i l e c o p yt o o l s i nt h i sp a p e r , w ed e s i g n a n di m p l e m e n tt h er n e tf i l ed i s t r i b u t i o ns y s t e mt oh e l pr n e tu s e r s q u i c k l ya n de a s i l yd i s t r i b u t et h e i rf i l e st oal a r g en u m b e r o fr n e tn o d e s b ya n a l y z i n gt h ef a c t o r sa f f e c t i n gt h ee f f i c i e n c yo ff i l ed i s t r i b u t i o n ， t h i sp a p e ra d v a n c e st h ed e s i g np r i n c i p l eo fr - n e tf i l ed i s t r i b u t i o ns y s t e m ， w h i c hm a k e se f j f i c i e n tu s eo ft h ea c c e s sb a n d w i d t ha n dl o c a lb a n d w i d t ho f n o d e g r o u p s a c c o r d i n g t or n e tn e t w o r ke n v i r o n m e n t ，r - n e tf i l e d i s t r i b u t i o n s y s t e m u s e s af i l ed i s t r i b u t i o nm e t h o d ，b a s e do nt h e c o m b i n a t i o no fm u l t i l e v e ld i s t r i b u t i o nt e c h n o l o g ya n dp 2 pt e c h n o l o g y , t od i s t r i b u t et h ef i l e st ot h er - n e tu s e r - s p e c i f i e dn o d e si nt h es h o r t e s t t i m e t h i sp a p e rp r o p o s e st h ea r c h i t e c t u r eo fr n e tf i l ed i s t r i b u t i o n s y s t e m ，a n dc o m p l e t e sg e n e r a ld e s i g n ，w o r k f l o wd e s i g n ，m o d u l e sd e s i g n ， v c o m i l l u n i c a t i o n p r o t o c o l d e s i g n a n dd a t a b a s e d e s i g n f i n a l l y w e l m p l e m e n tt h er 。n e tf i l ed i s t r i b u t i o n s y s t e m ，a n a l y z ea n dt e s t et h i s s y s t e m t h r o u g ht h er e s u l t so ft h es y s t e me x p e r i m e n t ，i ti s p r o v e dt h a t r - n e t f i l ed i s t r i b u t i o ns y s t e mc a ni m p l e m e n tt h er a p i d d e p l o y m e n to f l i e s k e y w o r d s ：r - n e t ；f i l e d i s t r i b u t i o n ；m u l t i 1 e v e ld i s t r i b u t i o n ：p 2 p v i 北京邮电大学硕士学位论文目录 第一章绪论 目录 1 1 1 课题来源1 1 2 课题背景1 1 2 1 虚拟计算环境( i v c e ) 1 1 2 2 虚拟计算环境实验床( r - n e t ) 3 1 3 已有研究成果5 1 3 1r - n e t 监测系统( r n m s ) 简介。5 1 。3 2r n m s 的体系结构5 1 4 研究内容6 1 4 1r - n e t 文件分发系统( r f d s ) 6 1 4 2 预期目标7 1 5 章节安排7 第二章相关研究和工作 9 2 1 多级分发技术9 2 2p 2 p 技术9 2 2 1p 2 p 网络简介。9 2 2 2p 2 p 网络的优缺点1 2 2 2 3b i t t b r r e n t 简介1 3 2 3 内容分发网络( c d n ) 1 4 2 3 1c d n 简介1 4 2 3 2c d n 网络的优缺点l s 2 3 3c o d e p l o y 简介1 6 2 4 本章小结1 8 第三章r f d s 系统需求分析 3 1r - n e t 的特点1 9 3 2r - n e t 的特点对r f d s 系统的设计要求1 9 3 3 功能需求2 0 3 3 1 用户分类2 0 3 3 2 功能性需求2 0 3 3 3 不同使用者和各种功能需求的对应关系2 1 3 4 非功能需求2 2 3 4 1 理论验证需求2 2 3 4 2 性能需求2 2 3 4 3 安全需求2 2 3 5 本章小结2 3 第四章r f d s 系统设计2 s 4 1 总体设计2 5 v n 北京邮电大学硕十学位论文目录 4 1 1 设计原则2 5 4 1 2 结构框架2 6 4 2 工作流程设计2 9 4 2 1 文件分发整体流程3 0 4 2 2 文件上传流程3 i 4 2 3 添加候选节点流程3 2 4 2 4 工作组形成流程3 3 4 2 5 主节点发布发现流程3 5 4 2 6 主节点下载文件流程3 5 4 2 7 普通节点下载文件流程3 7 4 2 8 主节点状态监测与工作组自愈流程3 8 4 2 9 终止文件分发流程3 9 4 3 模块设计4 0 4 3 1 门户设计4 0 4 3 2 门户服务器设计4 0 4 3 3 资源池节点设计4 1 4 3 4 目录服务节点设计4 1 4 3 5 主节点设计4 2 4 3 6 普通节点设计4 3 4 4 通信协议设计4 3 4 。4 1 数据传输协议设计4 3 4 4 2 消息协议设计4 5 4 5 门户服务器数据库设计4 7 4 5 1m y s q l 数据库。4 7 4 s 2 数据库表设计4 7 4 6 本章小结。4 9 第五章r f d s 系统实现。5 1 5 ，l 门户功能实现5 l 5 2 门户服务器功能实现s 2 5 3 资源池节点功能实现5 3 5 4 目录服务节点功能实现s 3 5 5 主、普节点功能实现。s 4 5 6 本章小结s 6 第六章r f d s 系统分析验证5 7 6 1 系统分析5 7 6 1 1 系统可扩展性分析5 7 6 1 2 系统性能分析5 7 6 1 - 3 系统安全性分析5 8 6 1 4 系统可移植性分析5 9 6 2 实验验证。5 9 6 2 1 实验环境5 9 6 2 2 功能测试6 0 6 2 3 性能测试6 0 v i i i 北京邮电大学硕士学位论文 目录 6 3 本章小结。6 1 第七章总结与展望。 6 3 7 1 工作总结6 3 7 2 下一步工作6 3 参考文献 致谢 6 5 6 7 攻读学位期间发表的学术论文6 9 l x 北京邮电大学硕士学位论文目录 x 北京邮电大学硕士学位论文第一章绪论 1 1 课题来源 第一章绪论 本课题依托于国家9 7 3 项目“虚拟计算环境聚合与协同机理研究 子课题“虚 拟计算环境实验床与仿真平台 ，课题编号：2 0 0 5 c b 3 2 1 8 0 6 。 1 2 课题背景 1 2 1 虚拟计算环境( w c e ) 随着计算技术与网络技术的飞速发展和广泛应用，互联网已发展成为现代社 会的重要信息基础设施。目前，互联网上汇集了海量资源，包括计算资源、存储 资源和应用资源等。为了实现对这些资源的有效共享和综合利用，“虚拟计算环 境聚合和协同机理研究”课题组提出了虚拟计算环境【l 】的概念，即i n t e r n e tv i r t u a l c o m p u t i n ge n v i r o n m e n t ，简称i v c e 。i v c e 是指建立在开放的互联网基础设施之 上，以网络资源的按需聚合和自主协同为核心机制，为终端用户或应用系统提供 和谐、可信、透明的一体化服务环境，实现有效资源共享和便携合作工作。它适 应了互联网“成长性 ，“自治性”和“多样性 【l 】等三个相互联系的自然特性， 打破了制约互联网信息资源有效共享和综合利用的瓶颈。 聚合是指有效获取、汇聚、组织网上资源特征信息，并综合利用相关信息的 过程；协同是指多个资源为完成共同任务而进行的交互、同步和计算的过程。在 i v c e 中，资源管理主要通过聚合和协同过程的交叠完成。因此，建立i v c e 的 核心就是：如何根据任务需求利用局部信息，实现资源特征信息的汇聚、组织和 综合利用，形成满足任务需求的相对稳定的资源视图，支持任务完成：如何支持 并实现自治资源的协同，建立可预测、可评估、可调节的协同工作机制和运行环 境，达到资源的有效共享和综合利用，完成共同任务。针对以上两个问题，课题 组提出了“自主元素 、“虚拟共同体 和“虚拟执行体，【l 】三个核心概念。 自主元素是虚拟计算环境中的基本资源管理单位。自主元素的内部结构如图 1 - 1 所示，由感知部件、行为驱动引擎和执行部件构成。感知部件为自主元素提 供环境和自身资源的状态；行为驱动引擎根据感知部件获得的环境和资源信息产 生相应的动作决策；动作的具体实施由执行部件完成。知识状态和行为策略行为 指导了驱动引擎的动作决策。 北京邮电大学硕士学位论文第一章绪论 乡卜 界 环 境 图卜1 自主元素的内部结构示意图n 1 共同体，是指一组具有共同兴趣、遵从共同原则的自主元素构成的集合。 是资源的消费者，也可能是资源的提供者或者管理者。同一虚拟共同体 主元素其所关注的资源是一致的。一个自主元素有可能属于多个虚拟共 是至少需要加入一个虚拟共同体。图1 - 2 是虚拟共同体的示意图。 图1 - 2 虚拟共同体示意图n 1 执行体，是指协同承担同一任务的相关自主元素，为完成该任务而形成 间的总和。从建模的角度上看，虚拟执行体是对网络资源协同过程的抽 虚拟计算环境的基本运行管理单位，是“执行进程虚拟化 的载体。虚 是与某一任务紧密相关的，通过虚拟执行体可以获得面向该任务的所有 及其交互状态等管理信息。图卜3 是虚拟执行体的示意图。 2 窗窗 北京邮电大学硕士学位论文第一章绪论 围 囵 图1 - 3 虚拟执行体示意图1 1 1 2 2 虚拟计算环境实验床( r - n e t ) 强乙 堡弘执行体2 虚拟计算环境实验床又名r - n e t ( r e s e a r c hn e t w o r k ) ，它以国家计算机网络 应急技术处理协调中心( c n c e i 刑c c ) 遍布全国3 1 个省市的网络基础设施及计 算资源为基础，联合了哈尔滨工业大学等多个国内外大学和科研机构，对独立、 分布资源进行集成和综合利用，目标节点数不少于1 0 0 0 个；它是验证虚拟计算 环境的体系结构模型、各类资源的描述方法和组织管理机制、资源聚合与协同模 型的有效性，获得统计性质，并进行反馈、调整的重要基础设施；同时，r n e t 也为研究人员测试和评估其它分布式软件提供了真实的互联网环境。 图1 4 展示了当前r - n e t 的拓扑结构。当前，r - n e t 有四个集中放置机群，总 节点数3 7 0 余个( 详细情况见表1 1 ) ，其中： 1 北京机群b 有1 2 8 台高性能机架式服务器( x e o nc p u2 4 g h z * 2 ，2 g b m e m ) ，该1 2 8 台机器被分为3 个节点组：b 1 、b 2 和b 3 。 2 广州机群g 有1 2 0 台机架式服务器( p i i ic p u1 3 g h z ，5 1 2 m bm 锄) ， 该1 2 0 台机器被均分为5 个节点组：g 1 、g 2 、g 3 、g 4 和g 5 。 3 上海机群s 有8 0 台机架式服务器( p i i ic p u1 3 g h z ，5 1 2 m bm e r e ) ，该 8 0 台机器被均分为4 个节点组：s 1 、s 2 、s 3 和s 4 。 4 哈尔滨工业大学( 哈工大机群) 有4 0 余台高性能机架式服务器( x e o nc p u 2 4 g h z * 2 ，2 g bm e m ) ，若干台p c 台式机，从教育网接入互联网( 因多 个部门共享带宽，有效接入带宽变化较大) 。 3 北京邮电大学硕士学位论文第一章绪论 图1 4r n e t 网络拓才卜 除北京、广州、上海外，其余2 8 个省市均在部署一个含有2 0 台机架式服务 器( x e o nc p u2 4 g h z 宰2 2 g bm e m ) 的节点组，这些节点组均通过某一运营商 接入互联网，以独占方式使用2 m b s 左右的接入带宽。由于哈工大机群接入带宽 不稳定，故本文重点以全国3 1 个省市的4 0 个节点组为基础进行讨论。所有节点 组均配置了x v p n 网关软件，实现了节点组之间的安全互联以及所有节点之间 的相互可见。 表1 - 1r - n o t 详细情况 机群节点组机器数接入运营商接入带宽带宽使用方式 b l6 4北京联通2 0 m = b s独占方式使用 北京机群b 2 3 2北京网通 2 0 m b s独占方式使用 b 33 2北京电信1 0 m b s独占方式使用 g l2 4广州网通2 m b s独占方式使用 g 22 4 广少h 移动 2 m s独占方式使用 广州机群 g 3 2 4广州通信2 m b s独占方式使用 g 42 4广州电信 2 m b s独占方式使用 g 52 4广州联通2 m b s独占方式使用 s l2 0上海网通2 m b s独占方式使用 s 22 0上海移动2 m s独占方式使用 上海机群 s 32 0上海电信2 m b s独占方式使用 s 42 0上海联通2 m b s独占方式使用 哈工大机群 h i t 若干教育网不定共享方式使用 v p n 2 】( v i r t u a lp r i v a t en e t w o r k ) 即为虚拟专有网，它被定义为通过一个公 用网络( 通常是因特网) 建立一个临时的、安全的连接，是一条穿过混乱的公用网 络的安全、稳定的隧道。x v p n 设计具有以下特点： 性能稳定，支持大流量数据。 4 北京邮电大学硕士学位论文第一章绪论 支持n a t 3 】穿透。 x 5 0 9 证书认证，u s b k e y 认证，口令，l d a p 。 负载均衡，自适应不同速率的网络环境。 内容数据压缩技术，提高v p n 的传输效率( l z o ) 。 由于所有节点组均采用以太网宽带接入互联网，所以节点组的下载带宽和上 传带宽均等于其接入带宽。 1 3 已有研究成果 1 3 1r - n e t 监测系统( r n m s ) 简介 r - n e t 监测系统r n m s 4 】( r - n e tm o n i t o r i n gs y s t e m ) 的目标是基于g m a 5 1 规 范，构建一个跨越多管理域和多种异构资源的分布式网格监测系统，用以监测大 规模、动态改变的网格环境，为网格用户和管理者提供全面、准确的监测信息。 近期目标是进行网格监测系统框架结构研究与设计，在r - n e t 平台上实现一个符 合g m a 规范、开销可控、可扩展、易于使用和管理、可靠的分布式监测系统。 1 3 2r n m s 的体系结构 基于g m a 和节点组结构模型，考虑适于节点监测和管理机制的应用，同时 结合被监测网格系统的特点，课题组提出r - n e t 网格监测原型系统结构框架，如 图1 5 所示。基于g m a 规范，整个系统分成3 个主要部分：生产者、消费者和 用于信息注册和查询的目录服务。生产者从各种传感器( 诸如主机资源传感器、 网络传感器和应用传感器) 收集网格资源的状态信息。目录服务起着连接生产者 和消费者的作用。消费者是监测信息的使用者，如调度器、调试器、数据分析器、 预测器等，而另外两个重要的消费者是监测系统的门户( p o r t a l ) 和r - n e t 文件分 发系统。 5 北京邮电大学硕士学位论文第一章绪论 图1 - 5r n m s 体系结构h 1 在r n m s 中，每个节点都会产生监测数据、信息与事件。但是，并不是每 个节点都与目录服务和消费者直接进行交互，而是若干个节点按照一定的规则组 成一个组，每个组中有一个节点作为主节点，充当生产者的角色、行使生产者的 职能，普通节点只是作为初级生产者，向主节点提供信息。节点组能够对节点的 监测信息进行适当的集中，这样能够大大减少生产者的个数，减少生产者与消费 者、目录服务间的交互，同时，节点组具有多种管理功能，可以对组内的节点进 行监测、管理和配置。 1 4 研究内容 1 4 1r - n e t 文件分发系统( r f d s ) 为了便于研究人员在r - n e t 平台上快速有效地进行实验，r n e t 课题组需要 为r n e t 开发一套支撑系统，包括： 1 r - n e t 监测系统，该系统负责实时监测r n e t 节点的动静态信息。研究人 员可以根据r n e t 节点的动静态信息，选取参与实验的节点，以及在实 验过程中，观察节点的动态信息变化情况，从而更好地评估被测软件。 2 r - n e t 文件分发系统【6 1 ，该系统负责将文件分发至r n e t 节点。分布式实 验具有参与节点数量多和待部署文件占用存储空间大的特点，所以r n e t 文件分发系统需要根据r n e t 的网络环境，选取最优的分发方式，在尽 可能短的时间内将文件分发至r n e t 用户所指定的大量节点。 3 r - n e t 节点控制系统，该系统负责在r - n e t 用户指定的节点上执行用户命 令，并将命令结果反馈给r n e t 用户，如重启机器，查看编辑系统的日 6 北京邮电大学硕士学位论文第一章绪论 志文件等。 当前课题组在r - n e t 监测方面取得了巨大成果，设计开发了r - n e t 监测系统， 上节已做介绍，本节不再赘述。本文的研究内容为r - n e t 文件分发系统( r f d s ) ， 系统的设计目标是：钆方便用户部署文件；b 在尽可能短的时间内将文件分发 至r - n e t 用户指定的大量节点。本文将在以下方面进行重点论述： 1 r f d s 系统的结构框架。 2 r f d s 系统的工作流程。 3 r f d s 系统的通信协议。 4 r f d s 系统的功能实现。 1 4 2 预期目标 本文的预期目标是：在充分分析r - n e t 网络环境和影响文件分发时间因素的 基础上，设计和实现r - n e t 文件分发系统，该系统能够在尽可能短的时间内将文 件分发至r - n e t 用户指定的大量节点。本文将在理论和实验两方面对r - n e t 文件 分发系统的性能进行验证。 1 5 章节安排 本文各主要章节的组织结构如图1 - 6 所示。 二二二二堑叠垂堕匝二 图1 - 6 论文组织结构 本论文各章节内容安排如下： 第l 章，绪论，介绍了课题来源、课题的研究背景、项目组已取得的研究成 果以及本课题的研究内容。 第2 章，相关研究和工作，介绍了与文件分发相关的技术，如：多级分发技 7 北京邮电大学硕士学位论文 第一章绪论 术、p 2 p 技术和内容分发网络。 第3 章，r f d s 系统需求分析，介绍了r - n e t 平台的特点以及该特点对r f d s 系统的设计要求，分析了不同用户对r f d s 系统的功能性需求以及理论验证、性 能和安全等非功能性需求。 第4 章，r f d s 系统设计，提出了r f d s 系统的结构框架、设计了r f d s 系 统的工作流程、模块组成以及r f d s 系统各部分之间的通信协议。 现，给出了r f d s 系统各部分的实现类图。 析验证，在理论和实验两个层面验证了r f d s 系统的 北京邮电大学硕士学位论文第二章相关研究和工作 第二章相关研究和工作 当前很多技术，如：多级分发技术、p 2 p 技术、内容分发网络等均可应用于 文件分发。 2 1 多级分发技术 多级分发技术【6 】是一种比较传统的文件分发技术，主要用于向若干个机群内 的节点分发文件。每个机群都有一个主节点，此节点相对于机群内部的其它节点 为服务器端，相对于文件分发点为客户端。机群内的主节点从文件分发点获得文 件内容，机群内的其它节点从主节点获得文件内容。图2 1 展示了多级分发技术 的结构框架。通过采用多级c s 的模式，多级分发技术一方面在一定程度上降低 了文件分发点的负载，另一方面提高了机群接入带宽和机群内部带宽的利用率。 2 2p 2 p 技术 2 2 1p 2 p 网络简介 图2 - 1 多级分发结构框架 近几年来，基于p 2 p 技术的网络应用迅速发展，p 2 p 技术在实时通信、协同 工作、内容分发以及分布式计算等多个领域得到了广泛应用。最初，以b t 、e m u l e 9 北京邮电大学硕士学位论文第二章相关研究和工作 等【7 】为代表的p 2 p 网络下载软件，创造了飞速下载的纪录，较之以往的网络下载 技术有了巨大的飞跃。近一两年，以p p l i v e 等为代表而火热发展的网络视频技术 依然离不开p 2 p 网络的应用。许多调查显示，在因特网的流量中，有超过7 0 t 副 的流量来自于p 2 p 软件的使用。 p 2 p 9 1 ( p e e rt op e e r ) 即对等计算或对等服务，通常简称为p 2 p ，可以简单地 定义为通过直接交换来共享计算机资源和服务。在p 2 p 网络环境中，成千上万台 北京邮电大学硕：e 学位论文第二章相关研究和工作 包。每一个收到查询数据包的节点将检查在自己本地存储的文件是否满足查询要 求。如果满足，该节点发送一个查询响应数据包给查询的发起者，节点间直接交 换文件。不管满足与否，该节点都继续将查询数据包向自己的邻居节点转发。以 此类推，查询消息像洪流一样在网络中流动。g n u t e l l a 1 1 】是这类网络的典型代表， 图2 3 展示了c m u t e l l a 的信息查询和下载流程。 查询流 下载流 图2 - 3g n u t o ll a 的信息查询和下载流程 ( 3 ) 完全分布式结构化p 2 p 网络【9 】。结构化分布式p 2 p 网络和非结构化分 布式p 2 p 网络一样，也是一种纯p 2 p 网络，只是在网络拓扑结构上有所不同。 这类网络中每一个节点被分配一个虚拟地址，同时用一个关键字来表示其可提供 的共享内容。网络中各个节点根据其所存储的虚拟地址路由表进行路由。关键字 存储在与关键字匹配的虚拟地址上。进行资源定位时，可以通过虚拟地址路由表 查询到存储关键字的节点，从而获得共享内容的存储位置。p a s t r y 1 2 】、t a p e s t r y 1 3 】、 c h o r d t l 4 1 、c a n 1 习和k a d e m l i a 【1 6 】是这类网络的典型代表。 ( 4 ) 混合式p 2 p 网络【9 】，该网络结合了集中式和分布式p 2 p 网络的优点。 由于集中式p 2 p 网络有利于网络资源的快速检索，以及只要服务器能力足够强大 就可以无限扩展，但是其中心化的模式容易遭到直接攻击；分布式p 2 p 网络解决 了抗攻击的问题，但是又缺乏快速搜索以及可扩展性，所以混合式p 2 p 在设计思 想和处理能力上都得到进一步优化。混合式p 2 p 在分布式的基础上，将用户节点 按能力进行分类，使某些节点担任特殊的任务，该网络共包含3 类节点： 用户节点。普通节点就是用户节点，它不具有任何特殊功能。 搜索节点。搜索节点处理搜索请求，从它们的孩子节点中搜索文件列表。 索引节点。索引节点保存可以利用的搜索节点信息、搜集状态信息以及 北京邮电大学硕士学位论文 第二章相关研究和工作 尽力维护网络的结构。一个节点可以既是搜索节点又是索引节点。用户 节点可以选择3 个搜索节点作为它的父节点，如果父节点接受该用户节 点作为它的孩子，那么用户节点将向父节点提交它所共享的列表。 k a z a a 1 7 1 是这类网络的典型代表，图2 4 展示了混合式p 2 p 网络的信息查询 和下载流程。 一一、 ( ，索引节点) 一r 连接1 + 查询流 下载流 图2 - 4 混合式p 2 p 网络的信息查询和下载流程 2 2 2p 2 p 网络的优缺点 p 2 p 网络具有如下优点【1 8 】： 可扩展性：在p 2 p 网络中，网络随着用户的加入，不仅服务的需求增加 了，系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足 用户的需要。整个体系是全分布的，理论上其可扩展性几乎可以认为是 无限的。 健壮性：p 2 p 架构天生具有耐攻击、高容错优点。由于服务是分散在各 个结点之间进行的，部分结点或网络遭到破坏对其它部分的影响很小。 p 2 p 网络一般在部分结点失效时能够自动调整整体拓扑，保持其它结点 的连通性。p 2 p 网络通常都是以自组织的方式建立起来的，并允许结点 自由地加入和离开。p 2 p 网络还能够根据网络带宽、结点数、负载等变 化不断地做自适应式调整。 高性能价格比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件 技术的发展，个人计算机的计算能力和存储能力以及网络带宽等性能依 照摩尔定理高速增长。采用p 2 p 架构可以有效地利用互联网中散布的大 量普通结点，将计算任务或存储资料分布到所有结点上。利用其中闲置 的计算能力或存储空间，达到高性能计算和海量存储的目的。通过利用 1 2 北京邮电大学硕士学位论文 第二章相关研究和工作 网络中的大量空闲资源，可以用更低的成本提供更高的计算和存储能力。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少 了对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分 布在多个节点，更好的实现了整个网络的负载均衡。 除具有以上优点外，p 2 p 网络也存在一定的缺点【1 8 】，如： 存在安全缺陷：p 2 p 网络采用的分布式结构在提供扩展性和灵活性的同 时，也使它面临着巨大的安全挑战：它需要在没有中心节点的情况下， 提供身份验证、授权、数据信息的安全传输、数字签名、加密等机制。 但目前的p 2 p 技术距离实现这一目标尚有一定的距离，它本身存在的一 些安全缺陷阻碍其得到进一步应用。 面临安全威胁：p 2 p 存在的技术缺陷为网络中攻击者提供了各种各样的 机会，如：路由攻击、分割攻击、存取攻击等。 2 2 3b i t t o r r e n t 简介 b i t t o r r e n t t l 9 1 的第一个可用版本是由c o h e n 在2 0 0 2 年l o 月推出的，简称b t ， 是一个可以实现多点下载的文件分发协议。b t 的基本原理是每个人在下载的同 时也为其他下载用户提供上传，所以参与的人越多，“文件源”越多，意味下载 速度越快。这也充分体现了p 2 p 网络概念中“我为人人，人人为我 的思想。 当某个用户想要共享文件或目录时，首先要为该文件或目录生成一个“种子” 文件，或者叫“元信息 文件( 该文件中包含共享文件或目录以及用户的u r l 等信息) ，然后把这个“种子”文件上传至b t 服务器上( 又名t r a c k e r 服务器) ， 等待别的用户下载。需要下载某个文件的用户要首先到b t 服务器上找到该文件 的一个“种子 文件，然后根据“种子”文件提供的信息进行下载。b i t t o r r e n t 系统将文件分割成相同大小的块，各个块可能会从不同的节点同时下载。b t 服 务器及时收集每个下载者的信息，包括地址以及目前拥有的文件块等，然后从下 载者的列表中随机选取一组告诉某个正在下载的节点。各个下载节点和b t 服务 器之间要及时进行信息交换，以确保下载顺利完成。b i t t o r r e n t 系统示意图如图 2 5 所示。 北京邮电大学硕士学位论文 第二章相关研究和工作 北京邮电人学硕士学位论文 第二章相关研究和工作 前采用比较普遍、技术成熟度比较高的一种平台，它通过在现有的i n t c r n e t 中增 加一层新的网络架构，并采用智能化策略将用户需要访问的内容分发到距离用户 最近、服务质量最好的节点，同时通过后台服务自动地将用户调度到相应的节点， 为用户提供最好的服务。这种方案有效缓解了i n t e r a c t 网络拥塞状况，提高用户 访问网站的响应速度，比较好地解决了由于网络带宽小、用户访问量大、网点分 布不均等原因造成的用户访问响应