（计算机系统结构专业论文）cdn流媒体服务器io机制的研究与实现.pdf

摘要 “基于p 2 p 技术的高性能存储服务器的研究与实现”是北京市科委“基于i p v 6 的下一代互联网关键技术研发及产业化推进”项目课题“i p v 6 流媒体分发应用系 统支撑系统的开发”下的一个子课题。随着互联网的飞速发展，视频点播、i p l 、， 等流媒体应用也发展迅速，迫切需要一个高性能内容分发系统来支撑业务的开展。 其中存储服务器的性能，特别是i o 性能是整个系统中最重要的环节。本文首先介绍 了c d n ，p 2 p 技术的背景、发展、现状，然后介绍p p c d n 的系统架构，并在此基础上， 针对系统性能的需求，从i 0 模型，服务器架构，事件通知机制，文件系统，r a i d 等方面进行了分析与比较，选出最适合本系统的i o 机制。 存储服务器基于l i n u x 平台，采取模块化的思想进行设计。系统各模块运行在 一个基于异步事件驱动的系统运行框架之上。框架吸取常用的网络服务器框架的 经验，针对高网络i o 、高磁盘i o 的特点，运用l i n u x 2 。6 内核的最新特性e p o l l 进行优化，提供统一的事件的登记和回调接口，所有的操作都是通过登记事件， 然后由框架检测到异步事件时回调相应的处理函数，整个过程都是异步处理；通 过对磁盘i o 读写技术进行分析，结合异步事件驱动的框架，设计并实现了高效的 磁盘异步1 0 模块，存储服务器通过异步事件接收并处理客户端的交互命令，通过 磁盘异步i o 模块获得数据，再通过异步事件驱动框架发送给客户端：对保存在磁 盘上的文件采用特殊的映射机制，减少目录的深度并使文件分布均匀；对内存中 的文件索引通过h a s h 表进行管理，加快了文件索引的查询速度；服务器内部实现 了对标准8 t 协议的解析，支持所有采用标准b t 协议的客户端；设计并实现了采 用b t 技术的文件分发功能；本文最后介绍了p p c d n 在杭州实施部署的情况，通过 实施前后网络数据的分析以及用户体验的反馈，证明了p p c d n 系统能有效的减轻 网络压力，提高用户体验。 关键词：存储服务器，l i n u x ，异步1 0 ，p 2 p ，网络服务框架 a b s t r a c t t h es u b j e c to ft h i sp a p e ri so n eo fs u b s u b j e c t so f d e v e l o p m c n to fs u p p o n i l l g s y s t e mo fi p v 6s t r e a md i s t r i b u t i o na p p l i c a t i o ns y s t e m ”，s u p p o n e d b y “r e s e a r c ho ft h e i p v 6b a s e dn e x tg e n e r a t i o ni n f e m e tk e yt e c h n o l o g ya n di n d u s t r i a l i z a t i o np r o m o t i o n ” o fb e i j i n gm u n i c i p a ls c i e n c ea n d7 r c c h n o l o g yc o m m i s s i o n a l o n gw i t hf h e 豫p i d e v o l u i i o no ft h ei n t e m e t ，s t r c a m i n gm e d i as e r v i c es u c ha sv o da n di p t vb e c o m e s m o r ea n dm o r ep o p u i a r ，s ow en e e dah i g h p e r f b r n l a n c ea n dn e x i b l ec o n t e n t d i s t r i b u t i o nn e t w o r kt os u p p o r tt h e s es e i c e s t 1 1 ep e r f o 姗a n c eo fs t o r a g es e r v e r ， e s p e c i a l l y p a r ti st h em o s ti m p o ni nt h ew h o l es y s t e m n l i sp a p e rf i r s ti m r o d u c e s t h eb a c k g m u n d ，e v o l u t i o na n dp r c s e n to fc d n ，p 2 pt e c h n o l o g y ，t h e n 西v e st h e o v e r v i e wo fp p c d n ，sa r c h i l e c t u r e ，b a s e do nl h i s ，m a l ( ea na n a l y s i sa n dc o m p a f ef f o m a s p c c t so fi 0m o d e l ，s e r v e ra r c h i t e c t u r e ，e v e n t i n f o n l lm e c h a n i s m ，f i l es y s t e m ，r a i d ， t h e nc h o o s e st h es u i t a b l eo n e sf o rp p c d n s y s t e m t h es t o r a g es e r v e ri s d e v e l o p e du n d e rl i n u xu s i n gm o d u l a r i z a t i o ni d e a 舢l m o d u l e sa r em n i l i n go na na s y n c h r o n o u se v e n td r i v e ns e r v i c en i n t i m ef r a m e w o r k b a s e do ns o m ec o m m o nn e “v o r ks e r v i c cf r a m e w o r k ，o u rf r a m e w o r ki so p t i m i z e df o r t h eh i g hn e t w o r ki oa n dh i g hd i s ki o ，u s i n gt h en e w e s tf e a t u r ee p o l lf 如ml i n u x2 6 k e m e l i t p m v i d e sau n j f o r mi n t e r f a c ef o rr e g i s t e r j n g e v e n ta n dh a n d l i n gt h e a s y n c h i o n o u se v e n tc a l l b a c k d e s i g i la n di m p l e m e n tah i 曲p e r f 0 咖a n c ea s y n c l l r o n o u s d i s ki om o d u i e s p e c i a lm a p p i n gf h n c t i o ni sa l s ou s e dt om a pm e t a d a t at ot h ef i l ei n d i s k ，a i m i i l ga td e c r e a s i n gd i r e c t o r yd e p t ha n do e f 色r i n gb a l a n c cd i s t r i b u t i o n t bs p e e du p m e t a d a t aq u e r y ，t h ef i l em e t a d a t ai nm e m o r yi sm a n a g c dv i ah a s ht a b l e s t o r a g es e r v e r i m p l e m e n t st h eb tp r o t o l r e s o i u t i o n d e s i 印a n di m p j 啪e n tt h ef u n c t i o no ff i l c d i s t r i b u t i o nu s i n gb tt e c h n o l o g y a tl a s t ，t h i sp a p e ri m r o d u c e st h ed e p l o y m e n to f p p c d n s y s t e mi nh a n g z h o u ，b ya n a l y z i n gt h en e 研o r kd a t aa n de n d - u s e r s c x p e r i e n c e b e f o r ea n da f t c rd e p l o y m e n ti nh u a n g z h o u ，w ec a ns e et h a tp p c d ns y s t e m 孕e a t l y r c d u c e sn e t w o r k p r e s s u r ea n di m p r o v e se n d u s e r s e x p e r i e n c c k e y w o r d s ：s t o m g es e r v e r l i n u x ，a s y n c h r o n o u s1 0 ，p 2 p ，s e r v i c ef r a m e w o r k i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：0 7 年。丫月；。日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) j 厂，7 签名：趟导师签名：盈 i 。 日期：+ o 年。丫月；o 且 第一章引言 第一章引言 流媒体技术的诞生源于人们对互联网上方便快捷的获取多媒体信息的需求。流 媒体的出现促进了宽带业务的发展，它不同于传统的多媒体，它的主要特点就是 运用可变带宽技术，以“流”( s t r e a m i n 曲的形式进行数字媒体的传送，使人们在从 2 8 k 到1 2 0 0 k 的带宽环境下都可以在线欣赏到连续不断的高品质的音频和视频节 目。在互联网大发展的时代，流媒体技术的产生和发展必然会给我们的日常生活 和工作带来深远的影响有质量保证的规模服务能力是运营宽带流媒体业务的技术 需求，而传统的解决方案在技术上存在着一些缺陷，c d n ( c 0 n t e n td e l i v e r yn e t w o r k 内容分发网络1 正是在这样的背景下应运而生【”。c d n 通过构建一个在现有的i p 网络基础上为宽带业务支撑而优化的中间层，解决了网络拥塞问题，提高了响应 速度和服务质量，为流媒体的规模运营和服务质量提供了质量保证。同时，c d n 改善了原先宽带运营中被扭曲的价值链，形成了新的、良性的宽带网络价值链。 1 1 研究背景 在流媒体宽带业务的发展初期，传统的宽带应用解决方案采用中心集中服务模 式，通过部署专用的高端媒体服务器和网络设备，加载专用系统实现具体应用。 尽管投入不菲，但效果不佳，还存在投资高、可扩展性、可维护性差、系统复杂， 第三方应用支持匾乏，应用的丰富性、稳定性和长期性无法保证等一系列问题。 在传统的内容发布模式中，内容的发布由i c p 的应用服务器完成，而网络只表现 为一个透明的数据传输通道，这种透明性表现在网络的质量保证仅仅停留在数据 包的层面，而不能根据内容对象的不同区分服务质量。此外，由于i p 网的“尽力 而为”的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充分 的、远大于实际所需的带宽通量来实现的。在这样的内容发布模式下，不仅大量 宝贵的骨干带宽被占用，同时i c p 的应用服务器的负载也变得非常重，而且不可 预计。当发生一些热点事件和出现浪涌流量时，会产生局部热点效应，从而使应 用服务器过载退出服务。 这种基于中心的应用服务器的内容发布模式的另外一个缺陷在于个性化服务 的缺失和对宽带服务价值链的扭曲，内容提供商承担了不该干也干不好的内容发 电子科技大学硕士学位论文 布服务。显而易见，发展动态的，可互动的丰富媒体内容和增值应用是宽带互联 网产业走向成功的必然选择。我们看到：网络己经成为人们了解突发的、具有焦 点价值的事件的最重要的渠道。同时，宽带网络上信息的不对称性和突发的浪涌 流量这些特性表现得淋漓尽致，促使我们思考如何建构一个能适应网络内容发布 的基础架构。 由于传统的宽带内容发布和应用部署方案在服务规模的伸缩性、可用性、经济 性、开放性以及服务的质量保证方面都存在致命缺陷，导致许多用户不得不放弃 对网络内容的访问，从而使得依靠提供收费内容服务和增值应用来实现宽带网产 业走向盈利的努力化为泡影。 因此不难理解，有质量保证的大规模丰富媒体发布能力是宽带网走向盈利的技 术需求。宽带互联网产业的成熟和盈利需求促使i p 网络产业的焦点转向如何在传 统的数据互联网络的基础上构建一种经过后调整的覆盖层，以保证能够有能力大 规模地发布有质量保证的丰富媒体内容和部署宽带业务。 在这样的背景下，c d n 应运而生。c d n 从根本上区别于传统的内容发布模式， 它的提出突破了传统的技术瓶颈，强调了网络在内容发布中的重要性和承载作用。 通过引入主动的内容管理层和全局负载均衡，并结合内容缓存等技术，c d r 构建 了一个在现有的i p 网络基础上为宽带业务支撑而优化的中间层，使用户能以最快 的速度，从最接近用户的地方( 网络边缘) 获得所需的内容信息，彻底解决网络拥塞， 提高响应速度和服务质量【2 】。 1 2 应用背景：c d n 是流媒体发展的技术保证 c d n 是架构在i p 基础网络之上的叠加网络，通过将内容发布到网络的边缘， 实现内容网络的分布式就近服务，有时也称m d n ( m e d i ad e l i v e r yn e t w o r k ) ，即专 门提供流媒体内容发布的网络，其工作原理是在网络各节点放置内容缓存服务器， 由c d n 中心控制系统实时地根据网络流量和各节点的连接、负载状况以及到用户 的距离等信息，将用户的请求导向到最佳的服务节点上。对用户来说，通过c d n 系统，得到响应的时间被缩短，数据传输的稳定性被提高，从而提高了网络服务 的总体性能。宽带基础网络建设( 包括骨干网和接入网) 和宽带应用建设是宽带业务 发展不可或缺的两个方面，而直接面对用户的宽带应用业务在其中占据主导地位。 经过近几年来的实践，宽带应用的种类、业务模式都得到了较为充分的探讨1 3 1 。 2 第一章引言 表卜l 主要宽带应用的类型与特点 应用类型实用性形式交互性对称带宽 视频会议 p 2 p 是点对点，多高需要 点对多点 视频点播 h o s t e d 是点对点 低不需要 视频广播 b r o a d c a s t 是点对多点无不需要 网上直播 b r o a d c a s t 是点对多点 低不需要 音乐下载 h o s t e d 否点对点无不需要 文件共享 p 2 p 否点对点无不需要 从表分析，并综合国内各地宽带应用开展的实际状况，可以发现如下特点： 目前在尝试的各种宽带应用中，需求旺盛的“杀手”级应用尚未明确，因此必 须有足够的网络覆盖，才能保证具备运营价值的基础用户数。 基于流媒体技术的视频服务( v o d 、网上直播、广播等) 仍然是宽带应用的主要 业务类型。 绝大多数应用类型从技术特征上是点对点、点对多点的，不需要非常高的交互 性，不需要对称带宽，因此这些基于主机或广播类型的应用非常适合于开展分 布式边缘服务。 包括流媒体视频服务在内的各种宽带应用都要求端到端的质量保证，对基础架 构的需求很高。因此在技术实现层面上存在分布性服务的需求，而这与业务运 营的统一性需求存在一定的矛盾，需要在架构技术体系时能够支持“集中管理、 集中运营、分布服务”。 通过以上分析，对c d n 技术的研究在流媒体应用上是有广阔前景的。 1 3 流媒体的发展带来对c d n 新的挑战 在c d n 技术发展的同时，流媒体的发展趋势和对宽带的需求也是在不断变化 之中的。通过对目前业界应用较广的几种媒体服务方案为微软公司w m d o w sm e d i a t c c h n o l o g y 、国际i s o i e c 标准组织m o v i n g p i c t u r e e x p e n s g r o u p 所提出的m p e g 一4 方案、r e a l k 研o f i ( s 公司的r e a ls y s t e m 和a p p l e 公司的q u i c l m m e 等的分析，总 结出目前业界流媒体技术潮涮4 1 ，如表1 2 所示： 一象持一 一对支一 监源 一 展一资 一 一臣， 措 生频 一 一 电子科技大学硕士学位论文 技术潮 基于标准的， a v 支持2 p a s s视频、音频快速启动， 流多厂家支持h 2 6 4c b r2 d 对象、3 d快速缓存， 对象、动快速恢复， 画、文本、快速重新 交互动作、连接。 数据 从以上分析，新的技术潮流给c d n 网络的建设带来如下挑战f 1 ： 支持多厂家如微软、r e a l 以及m p e g 标准的m e d i as e r v e r 解决方案。 跨平台的应用部署，广泛支持如w i n d o w s ，l i n u x 和f r e eb s d 等操作系统。 应用入口和应用模块支持多协议绑定。 采用p l u g i n 方式支持更广泛的第三方s e r v e r 的特性。 1 4 项目目标 为解决网络拥塞的实际情况，从c d n 网络技术层面提出了一种新型的c d n 体系架构，从而提高平台流媒体并发用户处理能力，扩充平台功能及宽带应用服 务支撑能力，实现多用户大并发流条件下流媒体应用的优化。 1 5 论文内容 介绍c d n 系统相关的概念，知识；为读者清晰的了解系统的总体架构作好良 好的铺垫。 全面的介绍系统的总体架构以及各个子部分的功能。 阐述为提高系统1 0 吞吐能力所做的分析以及选型。 阐述实际系统中为提高i o 吞吐能力所考虑的技术细节。 介绍系统其他的相关模块。 介绍在实际部署过程中，本c d n 系统的性能指标。 1 6 论文结构 在引言之后，第二章将介绍到c d n 系统所涉及的相关概念，知识。第三章将 阐述系统的总体架构，以及各个予部分的功能。第四章将提出为提高系统1 0 吞吐 能力所做的分析以及考虑。第五章将阐述实际系统中为提高i o 吞吐能力所考虑的 4 第一章引言 技术细节以及系统其他的相关模块。第六章将介绍在实际部署过程中，本c d n 系 统的性能指标；并在此基础上给出本文的结论。 5 电子科技大学硕士学位论文 2 1c d n 技术 第二章c d n 及p 2 p 技术的研究与分析 近年来，随着i n t e m e t 网络规模迅速扩大，网上用户爆炸性地增长，i n t e m e t 网络带宽及应用服务器处理能力的增长速度一直处于巨大的压力下，网络访问速 度已经成为用户选择网络服务提供商( i s p ) 及应用服务提供商( a s p ) 时要考虑 的一项重要指标。为了保证服务质量，服务供应商不得不投入大量的资金去增加 出口带宽并更新设备，也因此提高了运营成本。为解决这一问题，很多服务供应 商开始采用内容分发网络( c d n ) 技术，来降低成本并提高服务质量。 c d n 技术是解决互联网性能问题的有效手段。c d n 是建立并覆盖在互联网之 上、由分布在不同区域的节点服务器群组成的虚拟网络。其工作思路就是尽可能 避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更 快、更稳。通过在网络各处放置节点服务器，c d n 在现有互联网的基础之上构成 一层智能虚拟网络，可以实现把网站的内容高效、稳定地发布到离用户最近的网 络“边缘”，能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距 离和响应时间等综合信息将用户的请求重新导向至离用户最近的服务节点上。对 用户来说，通过c d n 系统，访问响应的时间被大大缩短，连接质量也大大提高， 从而改善了用户的上网体验。与传统的内容分发模式相比较，c d n 强调了网络在 内容分发中的重要性。通过引入主动的内容管理层和全局负载均衡，c d n 从根本 上区别于传统的内容发布模式【6 】o 在传统的内容发布模式中，内容的发布由i c p 的应用服务器完成，而网络只表 现为一个透明的数据传输通道，这种透明性表现在网络的质量保证仅仅停留在数 据包的层面，而不能根据内容对象的不同区分服务质量。此外，由于i p 网的“尽 力而为”的特性使得其质量保证是依靠在用户和应用服务器之间端到端地提供充 分的、远大于实际所需的带宽流量来实现的。在这种内容发布模式下，不仅大量 宝贵的骨干带宽被占用，同时i c p 的应用服务器的负载也变得非常重，而且不可 预计。当发生一些热点事件和出现浪涌流量时，会产生局部热点效应，从而使应 用服务器过载退出服务。 c d n 技术则是利用缓存、负载均衡、网络，将高速缓存( c a c h e ) 服务器分布 第二章c d n 及p 2 p 技术的研究与分析 到用户访问相对集中的地区或网络中，在用户访问网站时，利用全球负载均衡技 术，将用户的访问指向到离用户距离最近的工作正常的c a c h e 服务器上，由c a c h e 服务器直接响应用户的请求。如果c a c h e 服务器中没有用户要访问的内容，它会 根据配置自动到原服务器去抓取相应的页面并提供给用户。因此一旦c d n 网络正 常运行后，内容的分布、用户访问的定位全部是自动的。和传统的分发模式相比， c d n 采用分布式服务，有效避免了网络瓶颈的产生，提高了应用服务器的服务能 力，并最终改善了对用户的服务质量【7 。 2 1 1 c d n 工作原理及相关技术分析 c d n 包含许多相关技术，所有这些技术都围绕着提高h l t e m e t 性能的目标。 c d n 最重要的目标是消除网络浏览时的延迟影响，保证有效的内容分发，以保证 用户访问到“新鲜”的内容。网络浏览时的延迟取决于多种因素。主要有： 服务器处理速度造成的延迟。即使是一个负载很轻的服务器也可能因需要多次 访问存储系统而造成延迟。 内容信息经常是在跨网跨地域进行传递，在经过的路径上，路由器、网关或防 火墙等网络设备造成的延迟。 传输速度导致的延迟。 要减小以上延迟时问，必须采取更多的步骤和措施，在不影响原有网络的正常 运行的情况下，能够大幅度地提高网络内容传输的质量和效率，确保正确及时的 内容传送。其中，由于服务器处理速度造成的延迟可以通过使用具有负载均衡能 力的服务器群集来提高对大容量并发访问的处理速度；而内容信息跨网传送时， 由于路由器、网关或防火墙等网络设备造成的延迟以及传输速度导致的延迟，如 果寄希望于厂家提供更高性能的路由器等网络设备是不现实的。c d n 解决问题的 主要做法是尽可能地减少网页请求及所请求到的流媒体或下载内容所必经的互联 网骨干网的数量。其中一种方式是通过将内容供应商制作的内容复制并存放在高 速缓存器里( 或称缓存服务器) ，而这些缓存服务器被安置在c d n 网络的各个边缘 节点上。这些节点的建立使c d n 月艮务商在大多数情况下能够从距网络用户仅有一 跳( h o p ) 距离的高速缓存器里读取内容并直接发送给用户。 c d n 系统实际上是一个缓存系统、负载均衡系统、内容分发管理系统的综合体。 缓存系统组成c d n 节点，位于临近用户的地方，响应用户的请求；负载均衡设备 实现全局和本地负载均衡：内容分发管理系统通过特定的智能算法与服务设备， 7 电子科技大学硕士学位论文 把内容从服务器传送到c d n 节点中的c a c h e 上。c d n 的实现需要依赖多种网络技术 的支持，主要包括负载均衡技术、高速缓存技术、动态内容分发与复制等【8 】。 负载均衡技术从影响的范围划分可分为本地负载均衡( l s l b ) 和全局负载均 衡( g s l b ) ；从应用方面也可以分为w w w 负载均衡、w 曲c a c h e 及流媒体的重 定向等。 高速缓存技术是基于这样一个事实：用户访问i n t e t l l e t 的数据中，有很大一部 分是重复的，包括访问同样的页面，下载相同的软件，音频视频。通过使用c a c h e 技 术，可以缓存用户访问过的对象，这样对相同对象的访问就无需再占用服务器处 理能力或者主干的出口带宽。同时，由于用户对服务器的请求可以由c a c h e 立即 响应，因此可以极大地提高用户访问的响应速度。 从c a c h e 实现的功能可以看出，c a c h e 实际是一个巨大的内容转发系统，i i l t e m e t 的内容存储在大容量的磁盘系统中，由c a c h e 提供对存储内容快速查找的方法。 一个具有良好性能的c a c h e 应当具有快速的磁盘读写速度、内容查找速度及响应 速度。 网站或流媒体访问响应速度取决于许多因素，如网络的带宽是否有瓶颈、传输 途中的路由是否有阻塞和延迟、网站服务器的处理能力、访问距离等。一个有效 的方法就是利用内容分发与复制机制，将占网站主体的大部分静态网页、图像和 流媒体数据分发复制到各地的加速节点( c a c h e 设各) 上。系统可以主动地检索网 络内容的最新版本，根据一定算法动态更新内容信息以确保c d n 网络的各高速缓 存器中网络内容的新鲜度【9 i o 动态内容分发与复制技术并没有统一的标准，大部分动态内容分发与复制产品 和缓存产品型号有关，即某个厂家的内容分发与复制产品只支持该厂家的缓存产 品。各厂家都使用相应的管理软件进行内容分发的管理。内容分发可以定义复制 时间、复制带宽、复制频度等多种指标。 目前，先进的内容分发系统都支持分级结构，也就是说当内容从源分发到一级 节点后，由一级节点复制分发到二级节点，形成树型结构。这样可以节省网络带 宽，便于网络扩展。内容分发网络还可以利用i p 网络组播功能进一步节省传输带 宽。 2 1 - 2c d n 技术的应用 c d n 技术产生以来，发展迅速，众多的网站纷纷采用c d n 服务来改善其服务 8 第二章n 及p 2 p 技术的研究与分析 质量，为用户带来更好的上网体验。对网站来说，c d n 技术的采用有效地提高了 网站的连接性能和对用户的响应速度。根据美国一家专业从事互联网性能评估的 公司k c y n o t es y s t e m 的测试结果表明，诸如y a h o o ，舢t a v i s t a 这样的网站，虽然 其访问量非常大，但在使用c d n 服务之后，其网站性能，尤其是在对用户的响应 速度方面，仍远远优于其他网枯【1 0 】。过去c d n 主要提供对网页的加速，用于为券 商、银行系统、网上交易、网站以及e k a m i n g 等服务，在行业专网、互联网中 都可用到。现在随着流媒体的应用越来越广泛，c d n 服务提供商开始提供对流媒 体的支持。流媒体是指在互联网上以数据流的方式实时发布音、视频多媒体内容 的媒体。常见的流媒体的应用主要有：视频点播、视频广播、视频监视、视频会 议、远程教学等。由于流媒体传输对网络带宽、延迟、丢失率等都有很高的要求， 而基于无连接的交换网络对带宽资源和服务质量的控制能力都比较弱，因此，在 现有网络上进行流媒体传输需要采用一些应用层的质量控制机制来解决传输中的 问题，常用的方法是采用内容分发网络( c d 聊。 流媒体的c d n 服务主要有两方面的用途：一个是处理访问量比较大的网站， 如c a 网站的日常流量，另一个用途是应付重大事件所产生的爆发流量。企业在 做重大活动的网上直播时也会产生爆发网络流量，虽然不像大的媒体网站所产生 的网络流量那样巨大，但是还可能超出企业网站系统的负载能力，这时也需要支 持流媒体的c d n 服务来缓解。 采用c d n 传输流媒体的优点主要有3 个方面： a ：通过应用层的内容分发降低了主干网络的流媒体流量，并实现了基于应用 层的组播仿真( 即利用主机构建独立于网络层的逻辑组播树，并采用主机上的应 用层软件进行组播转发) 。 b ：通过分布在网络边缘的流媒体服务器，避免了拥塞链路，提高了流媒体传 输的性能和响应时间。 c ：通过c d n 能够有效地提高整个流媒体系统的扩展性，降低对每个流媒体服 务器的性能要求。 目前，利用c d n 传输流媒体是大规模流媒体应用的发展趋势。2 0 0 2 年央视春 节联欢晚会的网上成功直播，中国电信、吉通c d n 共同提供的流媒体直播服务功 不可没。m t e m e t 正传送着越来越多的关键任务和丰富的多媒体服务。c d n 在公众 互联网的基础上，利用了缓存、内容复制、负载均衡、内容分发管理等功能组件 构架了智能的、面向应用层的网络覆盖，从而能够为众多的流媒体应用提供一个 “集中管理，统一承载、分布服务”的平台【1 1 l 。 电子科技大学硕士学位论文 2 2p 2 p 技术 p 2 也称为对等计算或对等网络) 是模仿人类社会p e r s o n f o p c r s o n 的交流方 式。当前对p 2 p 计算并没有严格的定义，多数定义突出了p 2 p 模式与a s 模式的 主要区别，即p 2 p 网络中无专门的服务器，计算节点在功能上是对等的，传统的 c 届计算模式在应用层是采取集中控制的，由服务器提供服务并对客户端进行控 制；面p 2 p 网络中各个节点在应用层是逻辑对等的，各个节点之间可以直接进行 数据通信而不需要通过中间的服务器，每个节点同时充当其他节点的服务器和客 户。通常认为p 2 p 和c s 是实现分布式计算的两秘不同方式【1 2 i 。 2 2 1 p 2 p 资源定位模型 二十一世纪是网络的世纪，网络上的信息资源非常丰富，人们可以从网络上获 取许多宝贵的有用信息。然而，在庞大的信息海洋里，要查找和定位用户想要的 资源并不是一件容易的事情。在传统的c 疆结构的网络中，资源的定位和查找主 要靠的是强大的搜索引擎服务器，例如g o o m b ，百度，a s kj e e v c s 等。用户要查询 和定位网络资源，先要登陆搜索引擎服务提供商的网站，输入查询关键字，然后 搜索引荤的服务器群组就会根据用户查询的请求，匹配事先用爬虫分析好的记录， 再返回匹配结果。而在p 2 p 系统中，资源定位方法可以分为四种，集中式，分布 式非结构化，分布式结构化和混合式【1 3 l 。 集中式的资源定位模型中，有一台专门的服务器负载专门提供目录索引和资源 定位服务。所有p 2 p 节点的资源信息都集中存储在这台服务器上。每个节点需要 查询和定位资源时，就向该服务器发送定位请求。服务器根据请求，查询目录索 引，再将结果返回请求节点。这个模型最典型的代表就是n a p s t e 一1 4 】【1 5 】。 分布式非结构化模型也称为纯p 2 p 资源定位模型。它把资源的定位信息分布到 各个节点上，采用了随即图的组织，取消了集中的中央服务器，每个用户随机接 入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑覆盖的网络。 对等节点之间的内容查询和内容共享都是直接通过相邻节点广播接力传递，同时 每个节点还会记录搜索轨迹，以防止搜索环路的产生。这种模型的典型代表是 g n u t e l i a l l 6 lf 1 7 】。 随着硬件技术的飞速发展，目前的个人电脑具有更大的容量，更快的运算速度， 更大的网络带宽，每部个人电脑都可以当作一服务器使用。可扩展的查询算法初 步成熟，可信赖的系统也可以包含一些不可靠的组成部分。研究表明，更多的互 1 0 第二章c d n 及p 2 p 技术的研究与分析 联网应用需要并且使用的数据独立于该数据存储的位置。但是很难构建大规模的 分布式p 2 p 应用。集中式的定位模型虽然实现简单，管理方便，但存在中心节点， 容易出现单点失效，和网络瓶颈等问题。分布式非结构化的定位模型多采用泛洪 算法进行资源查找，大量的网络带宽被消耗，可扩展性较差，不适用于大规模网 络。为解决对p 2 p 网络资源快速定位的问题，人们提出了一种新的技术即d h t ( d i s t r f b u t e dh a s h t a b i c ) 分布式哈希表技术【”】。 什么是d h t 呢? d h t 是d i s t r i b u t e dh a s h1 a b l e 的简称，即分布式哈希表，它是 在p 2 p 网络应用层和网络路由层之间加入单独的d h t 层来进行p 2 p 网络资源定 位和查询。基于d h t 的资源定位模型，采用哈希函数加速了查询速度和安全性， 管理和使用都很方便，此外，d h t 算法不会像泛洪算法那样占用太多的网络带宽。 因此，基于d h t 的定位模型比前面的几种资源定位模型要好的多。在d h t 中， 资源的名字都是由哈希函数根据输入数据产生，不必再编码成位置或路由链路， 形成一个统一的基于内容的命名层，增加了寻找对象的灵活性。因此，d h t 是一 个好的共享下层设施。由于d h t 是一个均衡的体系结构，可以提供多种选择用于 考虑在哪些节点问存放对象和用哪一条路径寻找存放的对象来确保应用层的安 全。基于d m 基础结构是自组和自治，所以不需要事先的额外操作，降低了执行， 维护和管理代价，使用d h t 技术使一个实体并不知道它要保存什么样的数据，因 此所有的实体必须能够自愿的提供计算机资源，网络带宽，并且能够接受任何类 型的数据。d h t 的可扩展性很强，它可以很好的适应互联网规模的工作流量，支 持大规模的上层应用。 当前，d h t 技术正受到研究者们的密切关注，是p 2 p 资源定位模型研究的热 点。采用d m 技术的典型定位模型有加州大学伯克利分校的c a n 【1 9 】模型和 t a p e s t r y l 2 0 1 模型，麻省理工学院的c h o r d 【2 1 1 模型，还有微软公司的p a s t r y 吲模型。 混合式的定位模型是集中是和完全分布式的折中，它结合了集中式和分布式定 位模型的优点，在设计和处理能力上都进行了优化。混合式在完全分布式模型的 基础上加入了搜索节点的概念，查询速度快而且没有中心服务器。混合式模型将 节点按照能力不同，包括计算能力，内存大小，在线时间，连接带宽等，分成三 种，使某些节点担任特殊的任务瞄l 。三种节点是： 普通节点：一般的用户节点，不具有特殊的功能。 搜索节点：负责处理搜索请求，负责在一个节点群组中搜索文件列表，它必须 具有很强的网络连接能力和高速的处理能力，通常必须具备1 2 8k b i t s 以上的 网络连接速度。 电子科技大学硕士学位论文 索引节点：用于保存可以利用的搜索节点信息，负责搜索状态信息，维护网 络结构信息等。它必须有很快的网络连接速度和充足的内存。 搜索节点和索引节点可以是同一个网络节点。搜索节点管理着若干个普通节点 的文件列表，系统的查询都在搜索节点上进行。而索引节点就像p 2 p 网络的搜索 引擎，它根据用户输入的关键字，连接搜索节点，将搜索节点中与关键字匹配或 者相似的内容反馈给用户。搜索的中止条件一般是查询结果达到一定的阀值，5 0 个结果，或者搜索完所有的搜索节点。如果所有的搜索节点都被访问过了，就说 明已经搜索过整个网络上的节点，因此这种混合式的资源定位方法比完全分布式 中的泛洪算法快，而且网络带宽消耗小。 从勋z a a 口q 到e d o n k e v 瞄1 再到b 可“，混合式的p 2 p 网络已经经过了三代的发展。 b t 是第三代混合式p 2 p 网络的典型代表，开创了新一代p 2 p 的潮流，它批判地继 承了前辈产品的优点，将中心目录服务器的稳定性同优化的分布式文件管理结合 起来，从而在效率上远远超出了e m u l e 这类产品，它要求提供一个或多个统一的 w 曲发布服务器，以供发布和搜寻资料。在客户端，它通过一个i e 插件提供下载、 上传管理。b t 把一份大文件切割成碎片，为每一个碎片标上特殊标识，用户无需 到一个固定地点( 例如传统网络的中心服务器) 上下载完整的文件，系统会自动寻 找、随机下载具有相同标识的文件碎片，将其加以整合成为完整的文件。 2 2 2p 2 p 技术的应用 p 2 p 计算在h l t e m e t 和i n t r a n e t 中已经存在很多种应用，并且人们仍然在不断的 开发出新的更适合于p 2 p 计算的应用。 普及计算( p e n ，a s i v ec o m p u t i n g ) 研究的是如何充分利用网络中各种计算单元 来共同完成大规模的计算密集型任务。通常这种大规模计算任务由昂贵的高性能 中心服务器( 常常是超级计算机，通过采用并行技术、分布式技术等将多个计算 单元节点联合起来) 来承担，费用十分昂贵，维护困难，小型机构无法承担，导 致很多计算任务无法及时处理。另一方面，网络的边缘计算资源闲置非常严重， 人们期望通过众多个人计算机来实现超级计算机的计算功能。采用p 2 p 技术的普 及计算正是在这种强烈的需求背景之下产生的，p 2 p 普及计算整合了这些尚未使用 的闲敞计算能力和资源，参与普及计算的计算机之间可以直接共享计算中的中间 结果，高效廉价。任何需要大量数据处理的行业都可以从普及计算中获利，如天 气预报、动画制作、基因组的研究等，较为有名的项目有s 踟 h o m e ( s e a r c hf o r 1 2 第二章n 及p 2 p 技术的研究与分析 t r a t e r r e s t r i a ii n t e l i i g c n c e ) f 矧。 协同工作是指多个用户之间利用网络中的协同计算平台互相协同来完成计算 任务，共享信息资源等，计算机支持的协同工作( c s c ) 是协同工作的典型研究 方向之一。通过采用p 2 p 传统的基于c s 和基于w c b 的协作方式，价格昂贵，且 不能保证协作的实对性。p 2 p 技术的出现，使得互联网上任意两台p c 都可能建立 实时地联系，构建个安全、共享的虚拟空间，让处于不同地理位置的人们共同 完成某个项目或任务，而且p 2 p 能够较好的支持无线移动设备以及a d h o c 网络， 比较有名的项目有g r o o v e l ”j 。 搜索引擎是目前人们在网络中检索信息资源的主要工具，可以利计算技术，个 人和组织可以随时采用各种方式建立在线、非在线的协同应用环境。用p 2 p 技术 开发出强大的搜索工具，p 2 p 搜索的特点是实时、全面。p 2 p 抛弃了中心服务器， 搜索的每个节点拥有最新信息。p 2 p 技术使用户能够深度搜索文档，可以不受信息 文档格式和宿主设各的限制，可达到传统天网，g o o 百e 等集中式的搜索引擎( 只 能搜索到2 0 一3 0 的网络资源) 无可比拟的深度，理论上将包括网络上的所有开 放信息资源。典型的系统有d i 西t a l 公司开发的搜索引擎p a l l d a n g o 【“。 信息社会中，人们越来越重视信息资源的共享，且人们越来越希望发布自己个 性化的内容。可以说信息资源共享的需求直接引发了p 2 p 技术热潮。传统共享方 式是将文件上传到服务器，用户再到服务器去下载，虽然己被管理，但5 艮制较多。 而电子邮件以对等的方式方便了个人间文件的传递，却未能解决大范围的文件交 换，如今人们越来越希望交换各种多媒体文件，传统的c s 模式在带宽和存姥方 面都无法满足人们的需求。p 2 p 资源共享解决了经典共享机制无法解决的大文件交 换问题，是p 2 p 应用最为成功的一个方面，n a p s t e r 的流行正说明了这一点。 无论是企业还是个人都需要进行网络文件存储，n a s 和s a n 是目前应用比较 广泛的局域网络存储技术，分布式文件系统n f s 、a f s 、c 0 d a 等也是广泛使用的 分布式文件存储技术。由于网络规模的扩大，人们对网络的使用也变得十分灵活， 人们开始将传统的分布式操作系统、局域网存储技术向基于i n l e m e t 的文件存储系 统发展，希望从一个地方将文件安全的存储在网络中，而在另一个地方又可以方 便的获得需要的文件。将p 2 p 技术应用到在线广域网络存储技术中，可以获得一 定程度的匿名性和存储过程的透明性，存储过程安全可靠，高速海量。典型的系 统包括：o 凹a i l s t o r e 【，f a r s i t e f 3 i 】等等。 电子科技大学硕士学位论文 3 1 背景技术 3 1 1 传统c d n 第三章p p c d n 系统架构 内容分发系统，又称内容分发网络( c o n t e n td e l i v e r yn e t 啪r k 或者c o n t e n t d i s t r i b u t i o nn c t w o r k ，简称c d n ) ，是架构在现有互联网上的一种分布式内容递送 平台，一般系统结构如图3 1 所示。 图3 1 传统单域c d n 的结构图 从图3 一l 可以看出，c d n 主要由分布在网络边缘的服务器集群( e d g es e r v i c