（计算机应用技术专业论文）基于cdn的p2sp下载系统的研究与实现.pdf

摘要 p 2 s p 技术是近年来计算机领域中研究的热点问题，p 2 s p 下载方式实际上是对p 2 p 技术的进一步延伸，它不但支持p 2 p 技术，同时还通过下载资源数据库这个桥梁把原本 孤立的服务器资源和p 2 p 资源整合到了一起，从而使下载速度更快，下载资源更丰富， 下载稳定性更强。然而单纯的p 2 s p 应用亦存在它的问题，由于目前这一块正处在新闻 监管缺失，内容和版权管理真空的无序状态，此时这种业务的盛行不仅会带来网络流量 风暴，也必然使盗版猖獗，病毒泛滥，从而给电信运营商及其产业链造成损害。 另一方面，作为传统运营商级别的c d n 内容分发网络已经运行多年，它有一整套 方便有效的网络内容和版权监管体系、实用可行的用户管理手段、保障可靠的q o s 服务 以及科学合理的网络流量控制方案。这一切恰恰可以较好的弥补p 2 s p 技术目前存在的 不足。但由于c d n 其核心仍然是基于集中服务器结构的，跟地域化管制紧密相连，很 难降低其扩展成本，而且传统c d n 技术在网络高峰时期对突发流量的适应性，容错性 等方面仍然存在一定缺陷，随着用户规模的迅速增加，这对c d n 应用发展提出了严峻 挑战。如何将p 2 s p 技术和c d n 技术有机结合起来，并将其应用于下载系统的设计与实 现中就是本文要做的主要工作。 改进的p 2 s p 下载系统能够充分利用用户之间的传输带宽，基于c d n 网络实现文件 下载业务，它不仅可以提供高质量的文件下载服务，而且可以在下载用户数较少的时候， 由服务器的下载能力保证系统整体的服务质量。在内容版权、用户管理、流量有序性等 方面也更加有效，这有助于降低文件下载的成本。 本文首先介绍了p 2 s p 技术的基本概念、当前进展和研究现状。重点研究了p 2 s p 网 络模型和c d n 内容分发网络技术，分析对比了它们的特点、优势与不足，在此基础上， 提出了将这两种技术有效组合，以达到更加完美效果的观点和方法，给出了一种新的基 于c d n 的p 2 s p 下载系统模型，详细分析了这种模型的性质和特点，并对服务器、客户 端进行设计，结合实际应用需求，从系统层面实现了该系统。本文还介绍了安全哈希算 法s h a l 并将其应用在系统中计算文件d ，较好解决了下载过程中的管理和加速资源 利用等技术难点问题。 关键词：p 2 s p ；c d n ；负载均衡；安全哈希算法s h a l ； a b s t r a c t r e c e n ty e a r st h ep 2 s pt e c h n o l o g yi sah o t s p o ti nc o m p u t e rr e s e a r c h ，w h o s ed o w n l o a d i n g w a ye s s e n t i a l l yg o e sas t e pf u r t h e rt h a nt h ep 2 pt e c h n o l o g y i ta l s oi n t e ga t et h eo r i g i n a l l y s e p a r a t es e r v e rr e s o u r c e si n t ot h ep 2 p r e s o u r c e sb yd o w n l o a d i n gt h er e s o u r c e sd a t a b a s e ，s o t h a tt h e r ei sab e t t e rd o w n l o a d i n gs p e e d ，m o r er i c hd o w n l o a d i n gr e s o u r c e sa n dg o o ds t a b i l i t y h o w e v e r ，s i n g l ep 2 s pa p p l i c a t i o na l s oh a ss o m es h o r t a g e ，t h ep o p u l a r i t yo ft h i sb u s i n e s sn o t o n l yc a u s en e t w o r kt r a c f i cs t o r m ，b u ta l s om a k et h ep i r a t ea n dv i r u sm o r ef u r i o u sf o rl a c k i n g o fn e w ss u r v e i l l a n c ea sw e l la sn oa n yc o n t e n ta n dr i g h tm a n a g e m e n t ，s ot h a ti t 1 1d os o m e d a m a g et ot e l e c o mo p e r a t o r sa n d t h e i re s t a t ec h a i n o nt h eo t h e rh a n d ，a st h et r a d i t i o n a lt e l e c o mo p e r a t o r s ，t h ec d n sc o n t e n td i s t r i b u t i n g n e w w o r ka l r e a d yr u nf o rm a n yy e a r s ，w h i c hh a sa ne n t i r es u i to fc o n v e n i e n tn e t w o r kc o n t e n t a n dr i g h tm a n a g e m e n ts y s t e m ，o p e r a b l eu s e rm a n a g e m e n tt o o l ， g u a r a n t e e - r e l i a b l eq o s s e r v i c ea n dr e a s o n a b l en e t w o r kf l o w c o n t r 0 1 a l lo ft h e s ec o m p l e m e n tt h ec u r r e n tp 2 s p t e c h o n o l o g y h o w e v e rt h ec o r eo fc d n i ss t i l lb a s e do nt h ec e n t r a l i z e ds e r v e rs t r u c t u r e ，w h i c h t i g h t l ya s s o c i a t e dw i t ha r e ac o n t r o ls ot h a ti t sh a r dt or e d u c ei t se x t e n s i o nc o s t a n dt h e t r a d i t i o n a lc d ni sd e f i c i e n ti nt h ea d a p t a b i l i t ya n df a u l t - t o l e r a n ta b i l i t yw h e nc o m i n ga c r o s s n e t w o r kf l o wp e a k c d n sd e v e l o p m e n tf a c et oas e v e r ec h a l l e n g ea st h er a p i di n c r e a s eo f u s e rs c a l e t h i sp a p e ri sf o c u s e do nh o wt oi n t e g r a t ep 2 s pw i t hc d nt e c h o n o l o g yl o g i c a l l y , a n dt h e na p p l yi ti n t ot h ed e s i g na n di m p l e m e n to fd o w n l o a d i n gs y s t e m t h ei m p r o v e dp 2 s pd o w n l o a d i n gs y s t e mc o u l dm a k ef u l l yu s eo ft h et r a n s i m i s s i o n b a n d w i d t ht oi m p l e m e n tf i l ed o w n l o a d i n gb u s i n e s s ，w h i c hi sb a s e do nc d nn e t w o r k i t p r o v i d eu sh i g hq u a l i t yo nf i l ed o w n l o a d i n gs e r v i c e ，a n da s s u r et h es e r v i c eq u a l i t yo ft h e e n t i r es y s t e mb yt h ed o w n l o a d i n ga b i l i t yo ft h es e r v e rw h e nt h e r ea r eo n l yaf e wu s e r i ta l s o m a k em o r ee f f i c i e n ti nc o n t e n tr i g h t ，u s e rm a n a g e m e n ta n df l o ws e q u e n c e ，w h i c hc o n t r i b u t et o d e c r e a s et h ec o s to ff i l ed o w n l o a d i n g t h i sp a p e rb e g i n sb yi n t r o d u c i n gt h ef u n d a m e n t a lp r i n c i p l eo ft h ep 2 s pt e c h o n o l o g y , a s w e l la si t sc u r r e n tr e s e a r c hs i t u a t i o n t h ep a p e ri sm a i n l yc o n c e n t r a t e do np 2 s pn e t w o r k m o d e la n dc d n sc o n t e n td i s t r i b u t i n gn e t w o r kt e c h o n o l o g y , a n dm a k eac o m p a r i s i o nb e t w e e n t h e i rf e a t u r e 、a d v a n t a g ea n ds h o r t a g e ，t h e np u tf o r w a r da ni d e aw h i c hi sr e l a t e dt oi n t e g r a t e t h i st w ot e c h o n o l i e se f f i c i e n t l yt og e n e r a t ep e r f e c te f f e c t i ta l s op r o v i d ean e wd o w n l o a d i n g s y s t e mm o d e lt h a ti sb a s e do nc d n ，a n dt h e nm a k ead e t a i la n a l y s i so nt h ep r o p e r t ya n d c h a c t e r i s t i co ft h em o d e l f u r t h e r m o r e ，a c c o r d i n gt ot h ea c t u a la p p l i c a t i o nr e q u i r e m e n t ，t h i s p a p e ri m p l e m e n t st h es y s t e mf r o mt h es y s t e ml a y e r , i n v o l v i n gt h ed e s i g no ft h es e r v e rs i d ea n d i i c l i e n ts i d e t h i sp a p e ra l s om a k ead i s c u s s i o no nt h es a f eh a s ha o g r i t h m s h a l ，a n da p p l i e si t i n t ot h e s y s t e mt oc o m p u t et h ef i l ei d ，w h i c hw e l lr e s o v l es o m et e c h o n o l o g y d i f f i c u l t y , s u c ha st h em a n a g e m e n td u r i n gd o w n l o a d i n g p r o c e s sa n da c c e l e r a t i n gt h er e s o u r c eu t i l i z a t i o n k e y w o r d s ：p 2 s p ；c d n ；l o a de q u i l i b r i a ；s e c u r i t yh a s ha r i t h m e t i cs h a l ： i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名：签字日期：年月 日 学位论文版权使用授权书 本学位论文作者完全了解江西师范大学研究生院有关保留、使用 学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：年月 日 导师签名： 签字日期：年月 日 基于c d n 的p 2 s p 下载系统的研究与实现 第1 章绪论 1 1 研究意义 p 2 s p 技术是近年来在计算机领域中出现的研究热点问题。p 2 s p 技术打破了传统的 c 1 i e n t s e r v e r 模式，是一种基于对等节点非中心化服务的平台方案。p 2 s p 下载方式 是对p 2 s 和p 2 p 技术的进一步延伸和整合，通过多媒体检索数据库这个桥梁把原本孤立 的服务器和其镜像资源和p 2 p 资源整合到一起，从而使下载速度更快，下载资源更丰富， 下载稳定性更强。一时间，p 2 s p 的应用风靡整个互联网市场。然而这种应用也存在诸 多问题：乜1 一是目前这块的网络管理工作还不健全，新闻监管缺失，内容和版权管理真 空，在利益的驱动下，这必然导致盗版盛行，病毒泛滥，从而给网络健康带来严重后果； 二是不加改进的p 2 s p 业务的盛行会带来网络流量风暴，从而给本来就紧张的网络空间 雪上加霜；三是层出不穷的p 2 s p 产品采用的拓扑结构、算法模型不尽相同，缺乏标准 体系，应用模式也不清晰。这必将阻碍p 2 s p 技术进一步发展成为真正运营商级别的可 靠技术平台，最终给电信运营商以及产业链造成严重损害。 另一方面，作为传统运营商级别的c d n 内容分发网络1 已经运行多年，它有一整套 方便有效的网络内容和版权监管体系、实用可行的用户管理手段、保障可靠的q o s 服务 以及科学合理的网络流量控制方案。这一切恰恰可以较好的弥补p 2 s p 技术目前存在的 不足。但由于c d n 其核心仍然是基于集中服务器结构的，跟地域化管制紧密相连，很难 降低其扩展成本。而且传统c d n 技术在高峰时期对突发流量的适应性，容错性等方面仍 然存在一定缺陷。随着用户规模的迅速增加，c d n 应用变得越来越难以适应形势的发展。 综上所述，p 2 s p 技术和c d n 网络的固有缺陷，都对其业务发展提出了严峻的考验。 如何寻找一套可实现低成本扩展，有效网络监管、用户管理、服务保障、区域控制的网 络解决方案成为当前最急待解决的问题。通过分析我们可以看到，在可扩展性、内容版 权、用户管理有效性、o o s 、流量有序性方面，c d n 和p 2 s p 技术是各有千秋，甚至基本上 是互补的。如果能将它们有机结合起来，各司所长，那么上述问题可望得到解决。本文 正是沿着这条思路展开工作，并将其研究结果应用于开发基于c d n 的p 2 s p 下载系统的设 计与实现上。 1 2 国内外研究的进展 1 2 1 常用的下载软件介绍 1 、网际快车( f l a s h g e t ) 基丁c d n 的p 2 s p 下载系统的研究与实现 它是目前最流行的下载软件，它在较早的时候有效地解决了下载中的两个最大问 题，速度和下载后的管理。通过把一个文件分成几个部分同时下载可以成倍的提高速度， 一般来说，这种下载速度可以提高1 0 0 到5 0 0 。它可以创建不限数目的类别，每个 类别指定单独的文件目录，不同的类别保存到不同的目录中去。强大的管理功能包括支 持拖拽、添加描述、更名、查找、文件名重复时自动重命名等。而且下载前后均可轻易 管理文件。由于f l a s h g e t 推出时间比较早，再加上产品的稳定性很好，所以它是目前 多数下载用户的首选。当然，由于f l a s h g e t 是基于p 2 s 的，所以当服务器忙、带宽吃紧 或者服务器崩溃的时候，使用f l a s h g e t 的用户将不得不遭遇因为服务器的不同状态而 产生的下载慢甚至无法下载的尴尬境遇。 2 、b t ( b i t t o r r e n t ) 在b i t t o r r e n t h l 的世界中，凡是参加下载的计算机无所谓“服务器”或者“客户 机”，每一台“客户机”同时也是“服务器”，当它下载的时候，同时也会使用上行 带宽将已经下载的部分发送到其他计算机上。这样下载的人越多，实际网络带宽就越大， 速度自然就越快。由于b t 的下载资源丰富，速度又快，所以在短短时间内就迅速成为 用户下载大容量软件的首选。但是，由于下载源的不稳定( 服务器一般肯定比用户机安 全稳定) 以及操作上的麻烦，也影响了b t 的进一步发展。 3 、迅雷( t h u n d e r ) 它和前两者不同，迅雷除了不仅能把使用者指定的下载链接保存到动态数据库中， 同时还会结合多媒体搜索引擎去寻找这个文件的多个网络镜像，从而实现多服务器的下 载，而不是仅仅从一个服务器端进行多线程下载。如果，互联网上存在多个服务器资源， 它将优先从服务器和镜像服务器下载，这时，使用迅雷起到了为服务器下载分流的作用、 使得同样一台服务器可以为更多的用户提供下载；当没有多服务器资源的时候，用户的 下载可以从单服务器和其他用户节点同时下载，这时，使用迅雷起到了为服务器减压的 作用，在同样保证用户下载速度的前提下，不需要为下载的高峰时间增加服务器开销和 带宽开销；当服务器忙、带宽吃紧和服务器宕机的时候，用户的下载将在用户的节点 之间完成。由于服务器网络节点自身的不足，经常出现死链接资源瞄3 的情形。从而过多 的依赖于用户节点导致用户节点负担的加剧、严重影响到下载的稳定性和可靠性。 1 2 2c d n 市场介绍m 1 在当今互联网世界里，谈起c d n ，不再是一个新生事物，从c d n 技术早些年在美国 首先兴起，成为一种解决互联网性能不佳问题的有效手段以来，近几年c d n 技术与应用 已经得到了快速的发展。 随着c d n 技术的不断完善，电信运营商的网络建设不断加大投入，以及国际知名 厂商、s p 、c p 和企业用户纷纷进入市场，在w e b 2 0 、流媒体网站、电子商务、游戏类 网站等互联网业务发展的带动下，2 0 0 6 年全球c d n 市场增长率为6 3 7 8 ，市场规模达 到1 9 4 8 亿美元。2 0 0 7 年全球c d n 市场规模超过2 5 亿美元。其中2 0 0 6 年，中国c d n 2 基于c d n 的p 2 s pr 载系统的研究与实现 市场规模约4 8 亿兀人民币，与2 0 0 5 年相比，获得了8 3 的增长率。预计2 0 0 9 年中国 c d n 的市场规模将达到3 亿美元。全球c d n 市场迎来了发展的黄金时期。 市场需求的旺盛，极大地刺激了国内c d n 服务商的快速发展，目前已经形成了以 中国网通、中国电信为首的电信级c d n 发展平台，同时也促生了诸如蓝汛、网宿等一批 企业级c o n 服务平台。同时，我们应该特别注意的是，美国现有8 0 的人在用c d n ，而 在中国却只有5 的客户使用c d n 服务，其中c d n 业务收入仅为美国的5 ，e d n 应用率 还很低，这一方面说明中国的c d n 应用发展亟需提高，另一方面说明中国的c d n 应用市 场还具有极其厂阔的发展空间。 从目前围内的c d n 服务提供商的发展状况来看，存在着业务单一、服务狭窄和增值 服务稀少等诸多问题。所有的c d n 服务运营商所提供的服务主要为单一的c d n 节点加速 服务和c d n 网络存储服务，甲台收益单一，没有连带业务：所有业务都是针对网上运营 的视音频网站、电子商务网站和门户网站的，没有将其扩展到小应用量的企事业单位； c d n 网络价值也主要体现在“比特通道”( b i t ) 推送上，增值服务几乎没有发挥作用。 从柬杖有人怀疑过中国的任何市场的容量和市场j f ：拓能力，在c d n 应用上也不例 外，在这个网络无处不在的互联网时代，国内的c d n 市场将要面临更多的挑战。随着 全球c d n 服务提供商交叉进入区域市场行为增多，国外的c d n 服务提供商也会进入中嗣 l h 场，中国自己的c d n 服务提供商将面临l 订场与竞争的双甫压力，未来中国c d n 服务提 供商的竞争将分别从品牌、客户、资费上集中体现，因此c d n 技术的创新、c i ) n 服务的 创新、c d n 应用的创新将成为市场国内服务商下一步发展的关键。 123 基于c d n 的p 2 s p 下载系统的优势 p 2 s p 下载系统充分利片 _ j 广之间的传输带宽，基于c d n 分发刚络实现文件下载业 务，从而增加c d n 文件下载业务的扩展性，降低文件下载的成本。如图1 一l 所示，用 户之间的p 2 p 覆盖网络可以作为c d n 网络中一级最靠近网民的、免费的内容加速设备。 囤1 r 1p 2 $ p 下载系统在c 嗍网络中的位置 和一般的p 2 s p 下载服务提供者相比，本系统由于有c i ) n 网络服务器的配合，除了 在用户数众多时可阻提供高质量的文件下栽服务外，还可以在下载用户数较少时，直接 由服务器的下载能力保证系统的整体服务质量。在内容版权、用户管理、流量有序性等 方面也更加有效”1 。另外由于有完善的i p 地址数据库，通过控制跨地域跨i s p 的p e e r 基丁二c d n 的p 2 s p 下载系统的研究与实现 之间的下载交互，可以实现一个i s p 友好的更加快速稳定的p 2 s p 下载系统。 1 3 论文的组织与结构 第1 章主要介绍、分析了p 2 s p 与c d n 技术的发展现状及其面临的挑战，在此基础 上提出了将这两种技术结合起来以达到互补效果的基本思路。然后概述了当今世界的常 用下载软件以及c d n 市场的基本情况。 第2 章详细阐述了p 2 s p 下载系统的相关技术背景，包括p 2 p 、p 2 s 、负载均衡、流 量控制等前沿技术，并且对系统的总体模型和主要功能模块进行了系统地划分和说明。 第3 章根据c d n 技术的特点，对下载服务器进行系统设计和实现。首先全面阐述 了系统的实现原理，然后引入了安全哈希算法s h a l ，并将其应用在系统中计算文件i d 。 最后对对各子模块进行了详细设计，并较好解决了其间的流量控制，负载均衡，日志报 告等技术难点问题。 第4 章对系统的客户端守护进程进行详细设计与实现。设计了一个能进行多任务 多线程下载的客户端，它具体实现与服务器的交互、与客户端界面的通信、文件的下载、 以及对下载任务进行添加、暂停、删除等操作。 第5 章对系统的客户端界面进行详细的设计与实现。并通过该软件与网际快车软 件对资源进行下载对比分析等工作。 第6 章简单总结了本文所做的主要工作，并对p 2 s p 下载系统的应用前景和发展趋 势进行了阐述。 4 基于c d n 的p 2 s pr 载系统的研究与实现 第2 章p 2 s p 下载系统的技术背景与总体模型 21 什么是p 2 s p p 2 s p 是种智能的网络技术。p 2 s p 下载方式实际上是对p 2 s 和p 2 p 技术的进步 延伸和整合，通过多媒体检索数据库这个桥梁把原本孤立的服务器和其镜像资源和p 2 p 资源整合到了一起，这样能使下载速度更快，下载资源更丰富，下载稳定性更强。 211 p 2 p 技术简介 最近几年，p e e r t o p e e r ”1 ( 以下简称p 2 p ) 技术迅速成为计算机界关注的热门话题， 美国财富杂志将其列为影响i n t e r n e t 未来的四项科技成果之。p e e r 在英语里有“对 等者”和“伙伴”的意义。因此，从字面上讲，p 2 p 可以理解为对等互联网。国内的媒 体一般将p 2 p 翻译成“点对点”或者“端对端”，学术界则统一称其为对等计算。p 2 p 可以定义为：网络的参与者共享他们所拥有的一部分硬件资源( 处理能力、存储能力、 网络连接能力、打印机等) ，这些共享资源通过网络提供服务和内容，能被其他对等节 点( p e e r ) 直接访问而无需经过中问实体。在此网络中的参与者既是资源( 服务和内容) 提供者( s e r v e r ) ，又是资源获取者( c l i e n t ) 。 客观地说，这种计算模式并不是什么新技术，早在上个世纪7 0 年代网络产生以来 它就已经存在了，只不过当时的网络带宽和传播速度限制了这种计算模式的发展。9 0 年 代末，随着高速互联网的普及、个人计算机计算和存储能力的提升，p 2 p 技术重新髓上 历史舞台并且强烈地影响着网络技术领域。许多基于p 2 p 技术的应用应运而生，给人们 的生活带柬了极大的便利。 从计算模式上来说，p 2 p 扣破了传统的c 1 l e n t s e r v e r ( c s ) 模式，在网络中每个 结点的地位都是对等的。每个结点既充当服务器，为其他结点提供服务，同时也享用其 他结点提供的服务。p 2 p 与c 1 l e n t s e r v e r 模式的对比如图2l 所示。 汪盈 h 络里曲簧尊由壹一握供者控制 膨垦垦 q _ s c i t ，s r t 置 壹蕾藿取者 h f ，r 簟置 基_ 丁c d n 的p 2 s p 下载系统的研究与实现 图2 1p 2 p ( 右图) 与c s ( 左图) 计算模式对比 p 2 p 技术有如下技术特点：旧1 非中心化：网络中的资源和服务分散在所有结点上，信息的传输和服务的实现 都直接在结点之间进行，可以无需中间环节和服务器的介入，避免了资源集中可能带来 的网络瓶颈。正是p 2 p 非中心化的基本特点，带来了其可扩展性、健壮性等方面的优势。 可扩展性： 在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了，系统整 体的资源和服务能力也在同步地扩充，始终能比较容易地满足用户的需要。理论上其可 扩展性几乎可以认为是无限的。例如：按传统的f t p 协议下载文件，当下载用户不断增 加时，下载速度会变得越来越慢，而p 2 p 网络却恰好相反，加入的用户越多，p 2 p 网络 中提供的资源就越多，下载的速度反而越快。 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在各个结 点之间进行的，部分结点或网络遭到破坏对其他部分的影响很小。一般来说，p 2 p 网络 在部分结点失效时能够自动调整整体拓扑，保持其他结点的连通性。p 2 p 网络通常都是 以自组织的方式建立起来的，并允许结点自由地加入和离开。 高性价比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术的发展， 个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高速增长。采用p 2 p 架 构可以有效地利用互联网中散布的大量普通结点，将计算任务或存储资料分布到所有结 点上。利用其中闲置的计算能力或存储空间，达到高性能计算和海量存储的目的。目前， p 2 p 在这方面的应用多在学术研究方面，一旦技术成熟，能够在工业领域推广，则可以 为许多企业节省购买大型服务器的成本。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而无需经过 某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。此外，目前解决 i n t e r n e t 隐私问题主要采用中继转发的技术方法，即将通信的参与者隐藏在众多的网 络实体之中。在传统的一些匿名通信系统中，实现这一机制依赖于某些中继服务器节点。 而在p 2 p 中，所有参与者都可以提供中继转发的功能，因而大大提高了匿名通信的灵活 性和可靠性，能够为用户提供更好的隐私保护。 负载均衡：n 们p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少了对 传统c s 结构服务器计算能力和存储能力的要求，同时因为资源分布在多个节点上，可 以更好地实现整个网络的负载均衡。 2 1 2p 2 s 技术简介 服务端下载技术( p 2 s ) ：p 2 s 下载方式分为h t t p 与f t p 两种类型，它们分别是h y p e r t e x tt r a n s p o r t a t i o np r o t o c o l ( 超文本传输协议) 与f i l et r a n s p o r t a t i o np r o t o c o l ( 文 件传输协议) 的缩写，它们是计算机之间交换数据的方式，也是两种最经典的下载方式， 该下载方式原理非常简单，就是用户通过两种规则( 协议) 和提供文件的服务器取得联 系并将文件搬到自己的计算机中来，从而实现下载的功能。其工作原理如图2 2 所示： 6 基rc d n 的p 2 s pf 载系统的研究，实现 弋互一 园仁劐 22c d n 介绍 ? 、蛋 图2 - 2p 2 8 下载工作原理图 221 什么是c d n c d n 的全称是c o n t e n t d e l i v e r y n e t w o r k “】即内容分发网络( 也称内容发布网络) 。 其目的足通过在现有的i n t e m e t 中增加一层新的网络架构，将网站的内容发布到最接近 用户的网络”边缘”，使用户可以就近取得所需的内容，解决i n t e r n e t 网络拥塞状况，提 高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点 分布不均等原因，造成用户访问网站的响应速度慢等问题。狭义地讲，内容分发网络 ( c d n ) 是一种新型的网络构建方式，它是为能在传统的网发椰宽带丰富媒体而特别 优化的网络覆盖层：而从广义的角度看，c d n 代表了一种基于质量与秩序的网络服务 模式。简单地说，内容发布网r c d n 】是一个经过策略部署的整体系统，包括分布式存储、 负载均衡、网络请求的重定向和内容管理呷个要件，而内容管理和全局的网络流量管理 “”( t r a f f i cm a n a g e m e n 0 是c d n 的核心所在。通过用户就近性和服务器负载的判断，c d n 确保内容以种极为高效的方式为用户的请求提供服务。总的来说，内容服务基于缓存 服务器，也称作代理缓存( s u r r o g a t e ) ，它位于网络的边缘，距用户仅有“一跳“( s i n g l e h o p ) 之遥。同时，代理缓存是内容提供商源服务器( 通常位于c d n 服务提供商的数据中心) 的一个透明镜像。这样的架构使得c d n 服务提供商能够代表他们的客户，即内容供应 商，向最终用户提供尽可能好的体验。而这些用户是不能容忍请求响应时间有任何延迟 的。据统计，采用c d n 技术，能处理整个网站页面7 0 9 5 “的内容访问量，大大减 轻了服务器的压力，提升了网站的性能和可扩展性。 垩王! 里型塑! 翌! 垒垒竺塑竺茎! 兰翌 222g d n 的原理 内容分发m 络采川智能路由和流量管理技术及时发现能够给访问者提供最快响应 的加速竹点，并将访问者的请求转发到该节点，井由该节点提供内容服务。利用内容分 发与复制机制，c 卟客户不需要改动原来的 c 9 站结构，只需修改少量的d n s 配置，就可 以加速网络的响应速度。 当用，、访问丁使用c d n 服务的网站时，域名解析请求最终由重定向d n s 负责处理。 它通过一纽预先定义好的簧略( 如内容类型、地理区域、网络负载状况等) ，将当时能 够晟快响应用户的节点地址提供给用“，使用户可以褥到快速的服务。同时，它还与分 布在不同地点的所自c d n 节点保持通信，搜集各节点的健康状态，确保不将用户的请求 分配到任何一个已经不可用的节点上。而智能c d n 还具有在网络拥塞和失效情况下，能 捌有自适应调整路由的能力。 使用了c d n 服务后，用广的访问流程如图2 - 3 所示： 图2 3c d n 用户访问流程围 从圈23 可以看出，用户向浏览器提供要访问网站的域名，域名解析的请求被发往 网站的d n s 服务器；由于网站的d n $ 服务器对此域名的解析设置了c k a m e ，请求被指向 c d n 刚络中的路由系统；c d n 对域名进行智能解析，并将响应速度揖快的节点i p 返叫给 用户；浏览器在得到实际的i p 地址以后，向c d n 竹点发出访问请求；由于是第一次访 问，c i ) n 节点将回到源站墩用户请求的数据并发给片j 户：当有其他用户再次访问同样内 容时，c d n 将直接将数据发给给客户完成请求n 务过程。通过以上分析我们可以看 出，c d n 服务对网站访问提供加速的同时，还可以实现对普通访问用户透明，即加入 缓存以后用户客户端无需进行任何设置，直接输入被加速网站原有的域名即可访问。 2 2 3c o n 技术现有的主要应用“” 目前，国惭、上许多门广网站、电r 商务网站、新闻翱道以及跨同仓业等都已普遍使 基于c d n 的p 2 s p 下载系统的研究与实现 用c d n 服务，服务总流量超过l o o g b p s 。c d n 的主要应用是以各种网络为基础的，主要 包括： ( 1 ) 流媒体及i p t v 系统 流媒体技术的引入，给宽带应用提供了合适的技术基础，人们在此基础上提出了 许多宽带应用解决方案，但是这些方案并没有给用户带来高质量的流媒体内容，用户在 获得流媒体内容时，仍然能感觉到严重的延迟。造成这样的原因有两个：一是对整个宽 带网络缺乏统一的管理；二是宽带应用业务的不断增加，使得宽带建设总是跟不上需求。 为了解决该问题，引入c d n 技术是较好的解决方案。c d n 在技术上可以全面解决由于 用户访问量大，服务器分布不均对骨干网带来的拥塞问题，同时可以提高用户访问流媒 体内容的访问范围和响应速度。 ( 2 ) 图书馆局域网应用 。目前，网络数据的传输速度日益成为影响图书馆互联网健康发展的关键因素。如何 在现有的网络容量下，有效地进行网站流量管理，不断提升网络的服务能力、扩展能力 及可用性已成为图书馆亟待解决的难题。而c d n 技术的引入可使这一切迎刃而解。其基 本思想是图书馆在网络中的位置不变，仅在适当的位置安装一系列设备，建立若干c d n 内容递送站，帮助图书馆把信息资源传输到网络中有需要的任何角落，且不必建立自己 的镜像站点，就能使图书馆从传输内容的重负中解脱出来。而用户便可以就近访问“内 容递送站 获取信息资源。 此外，当前对网上电子信息资源的需求越来越大，如信息查询( i e l ，s c i ，e l 以及中 国期刊网、超星电子图书等等) ，经常会感觉速度很慢或请求失败，这些公司一般都建有 镜像站点，如果引入c d n 技术情况将会大大得到改善。 ( 3 ) 远程教育中应用 为了能从网络速度的角度确保学员享受到高质量的服务，现阶段比较通用的做法通 常是在学员相对集中的地区架设镜像服务器。通过更新数据中心用户d n s 中的域名记录， 把广域网负载平衡设备设置为用户应用服务器的指定授权域名解析服务器，从而当身处 异地的学员访问远程教育平台时，广域网负载平衡设备即可接收到该学员的域名解析请 求，并依据一定的负载平衡算法为该学员就近访问该网站“指明道路”。虽然这种方式 解决了因网络拥塞而导致的低质量服务，但它需要在异地的数据中心建设与原服务器一 样的系统，因此初期投资大、维护成本高。相对而言，在搭建远程教育平台时考虑应用 c d n 方案来解决用户访问延时等问题时，不但可减少维护成本和初期投入，而且在网络 可扩展性、设备利用率方面还具有很强的灵活性。 ( 4 ) 在移动网中的应用 随着下一代蜂窝网和无线局域网的临近，移动用户可以获得较高的带宽。高的带宽 自然产生了对多种媒体应用的需要，而这些需求反过来又产生了对传输媒体网络结构的 需求，这就是要能够处理对实时流媒体、用户移动性、高动态性、无线信道误差特殊性 基于c d n 的p 2 s p 下载系统的研究与实现 和大量用户增加的挑战。移动流媒体c d n 网络的建立能够大规模实现端到端媒体发送， 提供良好服务，改善服务质量等。 2 3p 2 s p 下载系统模块的整体设计 2 3 1 总体结构 图2 4 系统整体模块关系图 p 2 s p 系统由四个子系统构成： t r a c k e r 服务器：它负责整个系统的资源管理、节点管理和各种下载节点的业 务请求处理； c d n 下载节点：它负责实现加速下载，以及本地共享资源的管理； 普通下载节点：它负责实现加速下载，与用户的操作交互，以及本地共享资源 的管理； 分发文件客户端：它负责系统要加速下载的资源信息的增加和部署。 2 3 2 系统模块的逻辑结构 图2 5 系统模块逻辑结构 l o 基y - c d n 的p 2 s p 下载系统的研究与实现 t r a c k e r d 是t r a c k e r 服务器口钔的守护进程，负责处理所有服务器端的操作；p 2 s p c d 是客户端加速的守护进程，具体实现文件的下载与上传。并与t r a c k e r d 通讯以取得加 速下载资源、网络状况等信息。通过本地s o c k e t 将下载上传信息提交给p 2 s p c l i e n t 并 实现它请求的操作；p 2 s p c l i e n t 是客户端交互接口，显示上传下载信息，提供下载用 户界面窗口以实现操作任务；d i s t r i b u t e t o o l 是分发工具，将加速下载资源分发给c d n 节点。 基tc d n 的p 2 s p 下载系统的研究与实现 第3 章t ra c k er 服务器的设计 3 1t r a c k e r 服务器的模块设计 t r a c k e r 服务器的主要职责是：l 、维护所有要加速资源的列表；2 、维护所有在线 用户的列表；3 、维护用户拥有能共享的资源的列表；4 、记录资源下载的统计信息并形 成日志。 t r a c k e rj 艮务器分成两个主要模块：i s e 和t r a c k e r d 。i s e 是一个c + + 类库，封装了t r a c k e r 服务器的运行框架库、业务库、线程池库、文件流库和数据操作库，而t r a c k e r d 模块通 过继承i s e 类库，按实际业务需求进行扩展，实现主要的业务逻辑。 3 1 1 类关系和接口逻辑视图 图3 - 1 类关系和接口逻辑视图 t r a c k e r 服务器的所有业务工作由业务处理服务模块来完成，业务处理服务模块使 用数据库交互接口与m y s q l 数据库进行交互，分派器负责将业务请求数据按照不同类型 分类分别发送给相应的业务处理服务，网络服务使用网络接口模块来负责u d p 和t c p 网 络通讯，线程池保证t r a c k e r 服务器处理的多任务和高效性。 3 1 2 模块处理流程图 1 、i s e 主运行流程如图3 2 所示： 1 2 基于c d n 的p 2 s p 下载系统的研究与实现 图3 2i s e 模块运行流程 其中： m a i n0 是t r a c k e r 服务程序的运行入口，它调用全局应用程序对象 a p p l i c a t i o n i n i t i a li z e0 进行初始化操作； a p p l i c a t i o n 对象调用全局业务扩展对象a p p e x t e n s i o n i n i t s y s t e m o p t i o n s0 、a p p e x t e n s i o n i n i t s e r v e r o p t i o n s ( ) 初始化系统选项和服务选项； a p p li c a t i o n 对象接着创建c m a i n s e r v e r 类对象mp m a i n s e r v e r ； a p p l i c a t i o n 对象调用a p p e x t e n s i o n p r o g r a m i n i t0 进行扩展业务