（计算机软件与理论专业论文）基于p2p的流媒体性能优化关键技术的研究.pdf

西北大学硕士学位论文 摘要 摘要 近年来，应用p 2 p 模式解决流媒体服务系统的瓶颈问题受到越来越多的重 视。如何能够在充分利用p 2 p 网络中众多节点资源、处理能力的前提下，确保 流媒体服务质量、提高播放的性能，成为p 2 p 流媒体技术研究的热点。 本文在分析和总结现有对p 2 p 流媒体系统定义的基础上，对一个p 2 p 流媒 体系统中首要解决的系统性能优化问题进行研究，分析p 2 p 流媒体性能特征的 主要表现形式，针对优化这些性能特征的措施进行了深入的研究，阐述了节点缓 存管理机制对p 2 p 流媒体性能优化的重要作用。其后对节点缓存管理机制做出 进一步研究。其中研究工作主要包括：综合考虑影响p 2 p 流媒体性能各方面的因 素，将缓存增益的思想融合到概率缓存预取和缓存替换算法之中，并利用仿真的 方法来研究p 2 p 流媒体系统性能优化，最后根据实验数据分析不同节点缓存管 理机制对p 2 p 流媒体系统性能的影响效果。具体包括以下内容： 1 在现有的p 2 p 流媒体系统定义基础上，分析p 2 p 流媒体性能特征的主要表 现形式和影响p 2 p 流媒体性能表现的各个因素，之后论述了节点缓存管理对p 2 p 流媒体系统影响的重要性。 2 针对p 2 p 流媒体系统中应用较广泛的点播模式，给出典型的p 2 p 流媒体 点播系统模型及其节点缓存管理模型和假设，然后对节点缓存管理中涉及到的问 题给予形式化分析。进而提出改进的思想通过优化缓存管理机制有效的提升p 2 p 流媒体系统的整体性能，最后介绍具体节点缓存算法的实现过程。 3 介绍了b i t t o r r e n t 模拟器- b i t t o r r e n t s i m 的系统构架及工作流程并对 其功能进行改进，改造成适应流媒体特性的p 2 p 流媒体仿真系统平台 - - b i t p 2 p s t r e a m s i m ，并且在b i t p 2 p s t r e a m s i m 仿真系统之上分别加入不同的节点 缓存管理机制，进行了一系列仿真实验。依据实验结果分析了不同的节点缓存管 理机制对p 2 p 流媒体系统性能的优化效果，验证改进的节点缓存算法对p 2 p 流 媒体系统性能起到的优化作用，为p 2 p 流媒体系统性能优化研究提供有价值的 实验数据及参考方案。 关键字：p 2 p 流媒体，q o s ，节点缓存管理，仿真 西北大学硕士学位论文 a b s t r a c t r e s e a r c ho nk e yt e c h n o l o g yo fp e r f o r m a n c eo p t i m i z a t i o n b a s e do np e e r - - t o - p e e rs t r e a m i n g a b s t r a c t i nr e c e n ty e a r st h er e s e a r c ha b o u te l i m i n a t et h eb o t t l e n e c kp r o b l e mo ft h e s t r e a m i n gm e d i as e r v i c eb yt h ep 2 pp a t t e r nh a sb e c o m eah o t s p o ti nt h ef i e l do f a p p l i c a t i o n m o r e o v e r ，h o wt og u a r a n t e et h eq u a l i t yo fs t r e a m i n gm e d i as e r v i c e sa n d p r o m o t et h es y s t e mp l a yp e r f o r m a n c eo nt h ep r e m i s eo ft a k i n gf u l la d v a n t a g eo ft h e r e s o u r c e sb e t w e e nm a n yn o d e si nt h ep 2 pn e t w o r ki so n ei m p o r t a n ta s p e c ti nt h e r e s e a r c hf i e l d o nt h eb a s i so fa n a l y s i sa n ds u m m a r yo ft h ee x i s t i n gd e f i n i t i o no fp 2 ps t r e a m i n g m e d i as y s t e m ，ap r i m a r yp r o b l e mo fp e r f o r m a n c eo p t i m i z a t i o no fp 2 ps t r e a m i n g m e d i ai nap 2 ps y s t e ma n dt h em a i nf o r m so fp 2 ps t r e a m i n gm e d i ap e r f o r m a n c e c h a r a c t e r i s t i c sa r e d e e p l ya n a l y z e d i nt h i s p a p e r o p t i m i z a t i o n m e a s u r e sa n d m e c h a n i s m st oi m p r o v es y s t e mp e r f o r m a n c ea lef u r t h e ri n v e s t i g a t e da n dd i s c u s s e d t h em a i nd e t a i l sa r ea sf o l l o w s ： f i r s t ，o nt h eb a s i so fa n a l y z i n ga n ds u m m a r i z i n go ft h ee x i s t i n gp 2 pm e d i a s t r e a m i n gs y s t e m ，m a i nf o r m so fp 2 pm e d i as t r e a m i n gp e r f o r m a n c ec h a r a c t e r i s t i c s a n dc o m p r e h e n s i v e l yc o n s i d e r a t i o n st o i m p r o v ep 2 pm e d i as t r e a m i n gp e r f o r m a n c e a r ea n a l y z e dt h ei m p o r t a n c eo fi n f l u e n c ea b o u tc a c h e m a n a g e m e n tm e c h a n i s mo n m e d i as t r e a m i n gp e r f o r m a n c ei sp u tf o r w a r d s e c o n d ，at y p i c a lm o d e lo fo n d e m a n ds t r e a m i n gm e d i as y s t e ma n da sw e l la s t h en o d e s c a c h e - m a n a g e m e n tm o d e la n dt h er e l a t e da s s u m p t i o n sa r ep r o p o s e d i m p o r t a n tp r o b l e m si nt h ec a c h em a n a g e m e n ta r ef o r m a l i z e d ，a n dm e t h o d so ft h e c a c h em a n a g e m e n tt oe f f e c t i v e l yi m p r o v ep 2 ps t r e a m i n gm e d i as y s t e mp e r f o r m a n c e a r ec o n c e i v e d a n dt h es p e c i f i cn o d e sc a c h em a n a g e m e n ta l g o r i t h mi sd e s i g n e d t h i r d ，ab i t t o r r e n tb a s e ds i m u l a t o r ，c a l l e da sb i t p 2 p s t r e a m s i m ，i sd e s i g n e d ， 1 1 西北大学硕士学位论文a b s t r a c t w h i c hi su s e df o r t h ep e r f o r m a n c es i m u l a t i o no fo u rp 2 pm e d i as t r e a m i n gs y s t e m b y t h ec o m p a r i s o na n da n a l y s i so fd i f f e r e n tr e s u l t sd e r i v e df r o mt h ee x p e r i m e n t s ， d i f f e r e n to p t i m i z a t i o ne f f e c t so np 2 pm e d i as t r e a m i n gs y s t e ma r ea n a l y z e da n dt h e o p t i m i z a t i o n f u n c t i o no fn o d e sc a c h em a n a g e m e n ta l g o r i t h mo np 2 pm e d i a s t r e a m i n gs y s t e mp e r f o r m a n c ei si n d i c a t e d k e yw o r d s ：p 2 ps t r e a m i n g ，q o s ，p e e rc a c h i n gm a n a g e m e n t ，s i m u l a t i o n i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版。本人允许论文被查阅和借阅。本人授权西北大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学 技术信息研究所等机构将本学位论文收录到中国学位论文全文数 据库或其它相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：垄塞整指导教师签名： 枷3 年6 月2 工日刀p 8 年6 月2 工日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已 经发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：燃 三o d 8 年月i z 日 西北大学硕士学位论文第一章前言 第一章前言弟一早月l j 百 本章首先介绍了论文的研究背景和研究现状，阐明了论文研究的主要目的和 内容，最后介绍了本文的章节安排。 1 1 研究的背景和意义 随着i n t e m e t 应用的飞速发展，网络中内容也变得越来越多样化，i n t e m e t 用户再也不局限于当初那种纯文本浏览的方式，而是使用更实时、更丰富、更互 动的交互方式。传输内容已经由单纯的文字传输转变成为包含文本、音频、视频 的多媒体数据传输n 1 。这样的改变不仅使i n t e m e t 使用者能获得更为丰富多样的 信息，同时也代表着多媒体网络时代的来临。 传统的分布式多媒体系统主要使用客户端服务器模式，所有的用户都从服 务器处获取资源。由于流媒体服务具有高带宽、持续时间长等特点，在这种模式 下，一方面随着客户数目的快速增加，服务器的资源如带宽很快就被消耗完，成 为系统瓶颈；另一方面长距离数量众多的网络连接也可能导致网络的拥塞。和其 他传统的网络服务相比，基于客户端服务器模式的流媒体系统无法提供较好的 q o s ( q u a l i t yo fs e r v i c e ，服务质量) ，无法满足大范围实时流媒体应用的性能 要求，尤其是在可扩展性、适应性、容错和鲁棒性等方面瞳1 ，因此如何提升传统 的分布式多媒体系统性能引起了人们的关注。 近年来兴起的p 2 p ( p e e r - t o p e e r ) 网络技术无论在学术界还是业界都得到了极 大的关注。在对等网络中，各个节点进行对等计算，每个对等实体既是服务的提 供者，又是服务的享用者，充分挖掘了i n t e m e t 上的空闲资源，在利用率、扩展 性、容错等方面具有巨大的潜在优势，并在文件共享、分布式计算、协同工作、 i n t e r n e t 存储等方面己经成功应用，特别是在流媒体方面很大程度上显示了其优 势。这些突出的特点使p 2 p 成为解决i n t e m e t 中流媒体传播的一个候选方案。p 2 p 技术基于对等服务概念，通过在平等的节点间进行受控的直接交互，实现了整个 分布式系统内的资源和服务共享。 西北大学硕士学位论文第一章前言 目前，基于p 2 p 的流媒体服务体系( p e e r - t o p e e rs t r e a m i n gm e d i a ) 已经引 起了许多大学、研究机构以及公司的重视并纷纷展开研究，一些p 2 p 流媒体应 用软件已取得广泛的应用。p 2 p 流媒体已经得到广泛的应用，每一个客户终端既 是客户机，又是服务器。它弱化了服务器的作用，降低了对中心服务器的负载， 消除了单个资源带来的瓶颈，相比传统c s 模式，它具有无可比拟的优势。 然而p 2 p 流媒体技术存在一个严重的问题：其系统中播放的是实时传输的 流媒体数据流，对节点之间的传输质量的要求比较高。一旦出现传输质量较差情 况则在接收节点的播放过程当中就常常会出现画面模糊、播放断续停顿等现象， 将会影响客户的观看效果，也阻碍了p 2 p 流媒体技术的推广。 根据2 0 0 6 年5 、6 月艾瑞市场咨询有限公司针对中国互联网及电信服务领域 内新兴服务的用户使用习惯及消费倾向，通过i u s e rs u r v e y 进行调查，发现目前 新兴服务的主要应用是在线视频( p 2 p 流媒体) 。但同时根据调查，中国网民不使 用p 2 p 流媒体的原因最多的是“速度跟不上”，有6 4 7 的用户选择此项。也 就是说，p 2 p 流媒体应用的服务质量问题在目前的网络环境下没有得到很好的解 决。 影响p 2 p 流媒体系统发展的一个至关重要的方面是如何确保系统运行性能。 p 2 p 流媒体系统性能的能否保障，制约着其发展与壮大。由于其动态的和异构的 本质，使在利用p 2 p 技术构建高效流媒体应用时遇到了一系列挑战和问题。尤 其是如何在充分利用众多节点资源的同时确保服务质量、提高播放性能，成为 p 2 p 流媒体技术研究的热点。 对于p 2 p 流媒体系统而言，研究保证p 2 p 流媒体网络的q o s 的基本原理和 主要技术，对于p 2 p 流媒体系统的运营以及推动p 2 p 技术的发展有着重要意义。 1 2 国内外研究现状 由于p 2 p 模式在大规模的网络应用中能够有效地提高系统的可扩展性，基 于p 2 p 方式的流媒体系统的研究也逐步引起了人们的重视，相关技术或原型系 统不断出现n m l 。p 2 p 网络以其分布式的设计和框架克服了中心化服务器的瓶颈 缺陷，而且p 2 p 网络是自治的，能很方便地对网络中的资源进行管理。这些突 西北大学硕士学位论文 第一章前言 出的特点使p 2 p 成为解决i n t e m e t 中流媒体传播的一个候选方案。但是由于其动 态的和异构的本质，使利用p 2 p 技术在构建高效的流媒体应用时带来了一系列 的挑战和问题。尤其是如何在充分利用众多节点资源的同时能确保服务质量，成 为p 2 p 流媒体技术研究的热点。 由于流媒体服务具有高带宽、持续时间长等特点，随着用户数量的增加，服 务器的带宽会被大量占用，所以在网络电视中会出现断断续续的现象，需要不断 地进行数据缓冲。为了提升流媒体系统的q o s ，许多研究相应提出了流媒体数据 缓存的解决办法酬6 j 。 对普通流媒体系统中的数据缓存技术中使用了代理服务器，如果一个节点不 能在本地代理找到一个视频或视频的一部分，节点就会向中心服务器请求。但是 在p 2 p 视频系统中，没有这样的代理中心服务器，也没有任何节点保证任何数 据的可用性。进而人们提出了在每个节点的本地存储使用了“缓存中继” ( c a c h e a n d r e l a y ) 机制订儿8 引。通过使用缓存中继机制，接收节点以一种滑动窗 口的方式缓存最近播放的部分。然后将被缓存的内容中继给系统中请求同一内容 的其他节点。然而这种方法没有考虑到端系统的离开以及对v c r 操作的支持n 叭， 当发生端系统离开或执行v c r 操作后节点将向服务器请求数据，这使得节点服 务中断，也增加了服务器和网络的负载。 缓存一中继机制从仅缓存播放部分扩展到使用额外的带宽预取一些将来的视 频部分的前摄缓存机制n 2 1 3 1 。在前摄协议( p r e f e t c h i n gs c h e m e ) q u ，节点在他们 播放位置之前预取和存储流媒体的不同部分，这确保节点能克服突发包丢失和源 节点离开以平滑播放。而且预取的部分内容也可用服务网络中的其他节点，从而 减轻内容分发的压力口1 。由于前摄需要额外的带宽和存储，考虑本地节点不断增 加的网络带宽和存储能力，前摄实际上提供了质量和系统开销之间的一个更理想 的权衡。 有文献提出了一种新的使用前摄的概率缓存机制瞄3 ，节点只在他们的内存中 缓存非常有限的内容，并且克服了对内容必须连续缓存的要求。这是目前比较好 的一种前摄中继策略，缺点是没有更好地解决启动延迟问题。 已有的大多数p 2 p 流媒体的研究都假设每个节点在接收到发送来的数据都 可以存储整个视频，并集中研究了如何基于节点的延迟、带宽和丢包率的节点瞄h 6 3 西北大学硕士学位论文第一章前言 选择算法。然而，实际上只有很少的主机愿意保存完整的视频并共享。这不仅因 为一个视频通常很大并有着严格的传输服务质量要求，而且为其他节点提供视频 服务也需要大量的通信带宽。为了充分利用p 2 p 流媒体网络的优势，主机可以 在其参与视频服务期间仅缓存视频数据的一部分而不是整个视频。 部分缓存将目标分为较小的、比原始目标更好管理的数据块。这种分割可以 通过将目标分为不相交的字节范围或使用特定的编码方案将目标分为质量降低 但有可加性的目标。第一种方法叫做基于段的缓存方式n 盯n 司，可以看作目标的时 域分割。第二种方法叫做基于分层的缓存方式n 引，可以认为是质量域的分割。基 于分层的缓存需要特定的媒体编码以生成同一个目标的不同质量的几个流( 层) ， 在接收者处进行组装以产生原始目标。视频的质量依赖于客户收到和重组的流数 量。部分缓存需要考虑的基本问题是：给定一个有限的缓存大小，一个主机应该 缓存视频的哪些部分? 应该替换掉哪些已有数据，以释放足够的空间? 针对这些特征进行的q o s 的分析后，总结发现利用p 2 p 流媒体网络中并发 节点协作地改善流媒体质量，在满足所有接入数据截止期的同时使每个节点缓存 存储的利用率最大化，以及对整体系统性能的优化上还存在很大的研究发展空 间。 1 3 研究的目的和内容 本文着眼于p 2 p 流媒体网络影响服务质量中的一个主要问题，针对关于p 2 p 流媒体系统q o s 的基础研究，分析如何更有效的发挥系统中对等节点的作用、 有效的提升p 2 p 流媒体运行q o s 。在如何改善影响p 2 p 流媒体性能的关键技术 方面，本文着重研究了节点缓存管理机制。本文试图多方面综合考虑影响p 2 p 流媒体系统性能的主要因素，从而在整体上把握优化p 2 p 流媒体系统性能的方 法。其中着重研究了较为重要的影响因素，同时将优化方法的细节展现出来。 在考虑如何在现有的网络环境下合理利用资源、提高流媒体服务质量问题 时，一种很实际的做法是在客户端设置一个缓存系统，从一定程度上提高了流媒 体业务的服务质量，由只涉及到端系统的原因可知，影响服务质量的主要因素是 网络通信拥塞，可以从发送端和接收端采取措施进行弥补。因此需要设计一个高 西北大学硕士学位论文第一章前言 效的节点缓存方式从而有效的提升p 2 p 流媒体系统的性能。 本文主要相关研究内容包括：在对现有p 2 p 流媒体系统定义基础上，详细 分析p 2 p 流媒体性能特征的主要表现形式，在对这些表现形式的优化措施上分 析出节点缓存管理对性能优化的重要作用。 结合现有文献分析认为p 2 p 流媒体系统上节点缓存管理主要的需要解决的 主要问题，其中包括： ( 1 ) p 2 p 流媒体系统中节点缓存区预先需要存什么样的内容缓存数据块。 ( 2 ) 节点缓存区获得足够数据后如何替换，即当缓存空间已满，对缓存数 据替换的问题。 其中进一步分析如何通过节点的缓存管理机制更为有效的提升p 2 p 流媒体 系统的性能。期望能够在针对节点缓存的管理机制的影响上，改进相关的节点缓 存机制，来有效的改善p 2 p 流媒体系统的q o s 。 首先分析现有的相关的p 2 p 流媒体点播系统涉及到的缓存管理算法，从理 论上分析传统p 2 p 流媒体网络中节点缓存方式的优缺点，并对相关文献中提出 的概率缓存算法进行详细分析研究，针对其中的一些不足之处，融入其他文献中 提出的缓存增益的思想，并针对p 2 p 网络的特性改进，设计出有利于改善p 2 p 网络系统性能的节点缓存增益机制，将其与节点概率缓存管理机制有机的结合起 来，进行比较改进提出新的节点缓存算法。 其后对在已有的b i t t o r r e n t 仿真系统b i t t o r r e n t s i m ，在n s 2 仿真源代码基础 上，对该仿真系统b i t t o r r e n t s i m 的源码上进行修改，加入p 2 p 流媒体点播系统 的性能特征，将其改造成为具有p 2 p 流媒体系统运行特征的仿真系统 一b i t p 2 p s t r e a m s i m 。 最后在b i t p 2 p s t r e a m s i m 仿真平台下，进一步对p 2 p 流媒体系统性能优化措 施中的节点缓存机制进行有效性验证。在该仿真平台上分别对节点概率缓存管理 算法和改进后的节点概率增益缓存管理算法进行模拟仿真实验，并将仿真运行中 对p 2 p 流媒体系统性能的优化结果进行统计对比分析，验证新改进提出的节点 缓存算法的优势。 西北大学硕士学位论文 第一章前言 1 4 论文结构和章节安排 首先介绍课题研究背景，对p 2 p 流媒体系统相关的技术进行简要介绍，其 次分析影响p 2 p 流媒体系统性能的主要因素，并且探讨了如何改善这些因素的 问题，并着重研究其中的缓存管理对p 2 p 流媒体系统性能的影响方面，其后对 缓存管理的算法进行分析改进，最后对p 2 p 流媒体系统模型进行模拟仿真，并 对节点缓存管理算法对系统性能的优化进行实验验证。 文章在前言部分简要地阐述了本文研究所涉及到的相关背景，包括p 2 p 流 媒体技术以及节点缓存管理技术，并由此引出了本文将重点研究的p 2 p 流媒体 性能优化技术中的一个主要方面一节点缓存管理机制上。 在以下章节中将首先阐述p 2 p 流媒体性能优化实现技术框架，接着介绍了 典型的p 2 p 流媒体模型并分析了其所存在的问题。最后，提出了一个扩展优化 的p 2 p 流媒体系统节点缓存管理机制以更有效的优化p 2 p 流媒体系统性能。 本文剩下的部分是这样组织的： 第二章：介绍了p 2 p 流媒体系统的相关技术特征。并进一步分析了p 2 p 的 网络实例b i t t o r r e n t 协议，分析了b i t t o r r e n t 协议扩展为p 2 p 流媒体的基础平台 的可行性。 第三章：介绍并分析了p 2 p 流媒体性能的主要表现形式，研究其中的缓存 管理对p 2 p 流媒体系统性能方面的影响。 第四章：描述了典型的p 2 p 点播流媒体系统中的缓存管理的模型和假设， 然后对要解决的问题给出形式化分析。进而提出改进的p 2 p 流媒体模型中核心 的节点缓存管理模块的算法分析与设计以及实现细节。 第五章：详细介绍了p 2 p 流媒体点播仿真系统的仿真设计与实现过程，将 b i t t o r r e n t 仿真系统b i t t o r r e n t s i m 改进扩展成为一个适应p 2 p 流媒体系统特征的 p 2 p 流媒体仿真系统平台一b i t p 2 p s t r e a m s i m ，并在其上根据不同的节点缓存算法 分别进行仿真实验。 第六章：对仿真实验的结果进行对比及具体分析。 第七章：总结全文并对今后的工作做出了一些展望。 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 第二章基于p 2 p 的流媒体系统概述 2 1 p 2 p 流媒体系统概述 近年来，人们把p 2 p 技术引入到流媒体传输中而形成了p 2 p 流媒体技术， 该方法有两方面的优点。首先，这种技术并不需要互联网路由器和网络基础设施 的支持，因此性价比高而且易于部署：其次，在这种技术中，流媒体用户不只是 下载媒体流，而且还把媒体流上载给其他用户，因此，这种方法可以扩大用户组 规模，并且也为更多的需求带来更多的资源。 2 1 1 p 2 p 技术的特性 p 2 p 的一般定义n 7 m 8 9 1 ：i n t e l 将p 2 p 定义为“通过系统间的直接交换所达成 的计算机资源与信息的共享，这些资源与服务包括信息交换、处理器时钟、缓存 和磁盘空间等。”i b m 则把它看成是由若干互联协作的计算机构成的系统并具备 若干特性。 p 2 p 流媒体( p 2 ps t r e a m i n g ) 伽m 1 3 全称为“p e e r - t o p e e rm e d i as t r e a m i n g ”， 即“基于对等网络的流媒体技术”，p 2 ps t r e a m i n g 是指以网络为传输介质，以 流媒体方式存在的视频、音频等数据为传输内容，在对等节点( 一般指计算机) 之 间进行信息传递沟通的技术。从技术角度来看，p 2 p 流媒体是流媒体技术和p 2 p 技术的结合。 2 1 2 流媒体技术概述 所谓流媒体乜2 1 是指采用流式传输的方式在i n t e m e t i n t r a n e t 播放的媒体格式， 如音频、视频或多媒体文件。在数据网络上按时间先后次序传输和播放的连续音、 视频数据流。流媒体在播放前并不是把整个文件下载完，只将开始部分内容存入 内存，在计算机中对数据包进行缓存并使媒体数据正确地输出。 流媒体数据流具有3 个特点：连续性、实时性、时序性，即其数据流具有严 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 格的前后时序关系。由于流媒体的这些特点，它已经成为在互联网上实时传输音、 视频的主要方式。本质上，流媒体技术是一种在数据网络上传递多媒体信息的技 术。目前数据网络具有无连接、无确定路径、无质量保证的特点，给多媒体实时 数据在数据网络上的传输带来了极大的困难，流媒体技术的主要目标就是：通过 一定的技术手段实现在数据网络上有效地传递多媒体信息流数据。 图2 i 流媒体工作模型 流媒体数据流传送实时播放，只是在开始时有些延迟。显然，流媒体实现的 关键技术就是流式传输，流式传输主要指将整个音频和视频及三维媒体等多媒体 数据文件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用户计算机 顺序或实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样 等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户 的计算机上利用解压设备对压缩的音频、视频等多媒体文件解压后进行播放和观 看。如图2 1 所示，此时多媒体文件的剩余部分将在后台的服务器内继续下载。 与单纯的下载方式相比，这种对多媒体文件一边下载一边播出的流式传输方式不 仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低，极大地减 少用户等待的时间。 其中流媒体的播放方式乜2 1 包括( 1 单播2 组播3 点播与广播) 。 1 单播 单播的传送方式是指在每一个客户端与媒体服务器之间需要建立一个单独 的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机。每个用户 必须分别对媒体服务器单独发送查询，而媒体服务器必须向每个用户发送所请求 的数据包文件拷贝，如图2 2 。这种巨大冗余会首先造成服务器沉重的 8 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 流 图2 2 单播方式 负担，增长响应时间，甚至使得播放停止；管理人员也被迫购买高性能的硬件和 带宽来保证一定的服务质量。 2 组播 组播方式使用了一种具有组播能力的网络，允许路由器一次将数据包复制到 多个通道上。单台服务器能够对很多台客户机同时发送连续数据流而无延时。媒 体服务器只需要发送一个信息包，而不是多个，如图2 3 ；所有发出请求的客户 端共享同一信息包。信息可以发送到任意地址的客户机，减少网络上传输的信息 包的总量。网络利用效率大大提高，成本大为下降。 图2 3 组播方式 3 点播与广播 点播方式是客户端与服务器之间的主动的连接。在点播连接中，用户通过选 择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。 点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器， 会迅速耗尽网络带宽。 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 例如，用户不能暂停、快进或后退该流。广播方式中单独一个数据包的文件将发 0 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 送给网络上的所有用户。使用单播发送时，需要将数据包复制多个拷贝，以多个 点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据包的单 独一个拷贝发送给网络上的所有用户，而不管用户是否需要，上述两种传输方式 会非常浪费网络带宽。组播吸收了上述两种发送方式的长处，克服了上述两种发 送方式的弱点，将数据包的单独一个拷贝文件发送给需要的那些客户。组播不会 复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要它的那些客 户，保证了网络上多媒体应用占用网络的最小带宽。 2 1 3 p 2 p 网络中的流媒体应用 传统的流媒体服务大都是用户在从客户端向服务器请求流媒体节目，然后流 媒体服务器以单播方式将数据推送给用户。当流媒体业务进一步发展用户总数大 幅度增加时，这种单播方式加客户服务器( c s ) 模式来推送媒体流的缺陷会很明 显：如流媒体服务器带宽占用大、流媒体服务器处理能力要求高、常常成为系统 瓶颈，系统的可扩展性差等。p 2 p 代表p e e rt op e e r ，是充分利用客户的上行带宽， 在下行占用的同时也占用上行带宽，为其他用户提供资源实现网络的加速和扩 展。具体实现上，就是只让一部分人去连接服务器，而其他的用户去连接这些连 接服务器的用户，同时互相之间进行通讯，通过这种办法缓解服务器和带宽的压 力汹1 。 由于流媒体应用中对q o s 的要求的不断提高，加之p 2 p 网络系统具有负载 均衡、自适应、自组织和容错力强等优点。人们提出了把网络组播的功能从网络 层移到应用层，把p 2 p 技术应用到流媒体的p 2 p 流媒体技术，每个流媒体客户 端用户也是p 2 p 中的一个节点。普通的流媒体系统中，用户之间是没有什么联 系的，而在融合了p 2 p 技术后，用户可根据他们的网络状态和设备能力与一个 或几个用户建立连接来共享视频数据，这种连接能够减少服务器的负担并且提高 每个用户的视频质量乜。基于p 2 p 方式的流媒体系统相关技术和各种原型系统等 大量涌现出来n 2 4 l 。分别在直播和点播方面都有许多针对p 2 p 流媒体的协议产 生。 在直播领域以微软研究院的c o o p n e t s p l i t s t r e a m 瞳胡嘶3 协议、马里兰大学的 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 n i c e 口力协议、伯克利大学的g o s s i p 例协议等是p 2 p 直播系统中应用层多播协议 的代表。香港大学在p l a n e t 上进行试用了c o o l s t r e a m i n g 心5 1 系统，这套系统中使 用g o s s i p 协议在用户之间传播控制信令，使用类似于b i t t o r r e n t 的多点对多点数 据传播协议在用户之间传送媒体数据包。g o s s i p 协议的高度可扩展性、多点对多 点数据传输协议的高度稳定性、以及与当今i n t e m e t 底层构架异构性的高度适应 使得用户的使用体验得到了质的飞跃。这套系统在2 0 0 4 年底也得到了广大用户 的普遍认同。c o o l s t r e a m i n g 系统真正将可扩展和高可靠性的网状多播协议应用 在p 2 p 直播系统当中。 在点播领域美国普度大学的g n u s t r e a m 是在g n u t e l l a 网络汹刚基础之上实现 的第一个p 2 p 准点播系统( 不提供v c r 操作) ，该系统也使用了网状多播的策 略。比较遗憾的是由于版权因素的限制，这套系统没有能得到大规模的使用。p 2 p 的点播技术朝着适用于点播的应用层传输协议技术、底层编码技术、以及数字版 权技术等方面继续发展。在应用层传输协议方面，以美国学者在2 0 0 2 年提出的 p 2 c a s t 以及2 0 0 3 年提出的p r o m i s e 口系统中使用的c o l l e c t c a s t 口2 3 最具有理论参 考价值。 总而言之，这些系统和协议原型系统的试用以及基础协议研究工作的开展都 为p 2 p 流媒体技术进入商业领域运作打下了坚实的理论基础。 2 2 基于b i t t o r r e n t 的p 2 p 网络系统实例分析 针对p 2 p 网络中应用较为广泛的系统b i t t o r r e n t 进行分析，研究系统框架及 下载流程，并且分析扩展为p 2 p 流媒体系统的适用性及可行性，以作为可选用 的p 2 p 流媒体系统性能实验平台基础。 2 2 1 b i t t o r r e n t 网络的基本特性 b i t t o r r e n t 分布式文件共享系统采用p e e r - t o p e e r 传输方式避免了客户端一服 务器体系结构中由于文件服务器端负载过重而导致的不可使用的情况。这一结构 最突出的特点是，客户端在文件下载的过程中可以从许多拥有这一文件( 部分或 全部) 的其他客户端获得文件的片段，而非从单一的服务器获得，从而既减轻了 西北大学硕士学位论文 第二章基于p 2 p 的流媒体系统概述 单一服务器的访问压力，又保证了文件传输的效率。 2 2 1 1 b i t t o r r e n t 系统结构 根据b i t t o r r e n t 下载原理要完成一次下载的传输过程，至少需要原始完整文 件的拥有者的源文件服务器，一个t r a c k e r 和一个s e e d 几个部分的协作b 3 聃3 。 如图2 4 所示。 图2 4b i t t o r r e n t 结构图 t r a c k e r 是负责帮助p e e r s 建立连接的服务器；p e e r 是要求下载文件的用户； s e e d 是被下载文件的拥有者；下载时是通过t o r r e n t 文件进行下载的；t o r r e n t 文件 放在普通w e b 服务器上t o r r e n t 文件包含了要共享的文件信息，具体描述将被下 载的文件的基本信息，包括文件名、片段分割情况等，并用于下载正确性和完整 性的检验。下载者通过使用b t 客户端打开t o r r e n t 文件同t r a c k e r 联系。b i t t o r r e n t t r a c k e r 则起到协调下载结点之间的相互发现和数据传输的服务器作用。 2 2 1 2 b i t t o r r e m 下载流程原理简述 普通的h t t p f t p 下载方式使用t c p i p 协议，b i t t o r r e n t 协议是基于t c p i p 协议之上的一个p 2 p 文件传输协议，处于t c p i p 结构的应用层。b i t t o r r e n t 协议 本身也包含了很多具体的内容协议和扩展协议，并在不断扩充中。 根据b i t t o r r e n t 协议d 3 1 ，文件发布者会根据要发布的文件生成提供一 西北大学硕士学位论文 第二章基于p 2 p 的流媒体系统概述 个t o r r e n t 文件，即种子文件，也简称为“种子 。 文件t o r r e n t 本质上是文本文件，包含t r a c k e r 信息和文件信息两部分。t r a c k e r 信息主要是b t 下载中需要用到的t r a c k e r 服务器的地址和针对t r a c k e r , 眼务器的 设置，文件信息是根据对目标文件的计算生成的，计算结果根据b i t t o r r e n t 协议 内的b e n c o d i n g 编码规则进行编码。它的主要原理是把提供下载的文件虚拟分成 大小相等的块，块大小必须为2 k 的整数次方( 由于是虚拟分块，硬盘上并不产 生各个块文件) ，并把每个块的索引信息和h a s h 验证码写入t o r r e n t 文件中；所 以t o r r e n t 文件就是被下载文件的“索引”。 在下载者要下载文件内容时，首先需要得到下载相应的t o r r e n t 文件，然后 使用b t 节点客户端软件发出请求进行下载。如图2 5 所示，下载时，b t 客户端 首先解析t o r r e n t 文件得到t r a c k e r 地址，然后连接t r a c k e r 服务器。t r a c k e r 服务 器回应下载者的请求，提供下载者其他下载者( 包括发布者) 的p 。下载者再 连接其他下载者，根据t o r r e n t 文件，两者互相告知已经有的数据块，然后交换 对方没有的数据。此时不需要其他服务器参与，分散了单个线路 图2 5b i t t o r r e n t 下载流程 上的数据流量，因此减轻t n 务器负担。下载者每得到一个块，需要算出下载块 的h a s h 验证码与t o r r e n t 文件中的对比，如果一样则说明块正确，不一样则需要 西北大学硕士学位论文第二章基于p 2 p 的流媒体系统概述 重新下载这个块。这种规定是为了解决下载内容准确性的问题。 在下载的过程中，每个下载结点( p e e r ) 可能完整拥有其中的某些片段，这个 信息会通过消息通知给其他的下载结点。于是，下载结点之间就可以互相请求这 个文件的片段。显然，总的下载结点越多，对单一的下载结点来说就有越多的源 供其选择同时下载。这样既提高了传输速度，又减轻了单个下载结点上的传输压 力。因此一般的h t t p f t p 下载，发布文件仅在某个或某几个服务器，下载的人 太多，服务器的带宽很易不胜负荷，变得很慢。而在b i t t o r r e n t 协议下载过程中， 下载的人越多，提供的带宽也越多，种子也会越来越多，下载速度就越快。 2 2 2 b i t t o r r e n t 扩展为p 2 p 流媒体系统的可行性 p 2 p 流媒体系统与传统的流媒体系统相比较不同的地方在于p 2 p 流媒体系统 内的每个p e e r 都会起到s e r v e r 的角色作用，即将自己已经获得数据的部分代替 s e r v e r 传送给其它需要的p e e r ，这样可以大大的减轻流媒体服务器的负担。所以 对p 2 p 流媒体系统来说，希望越多的p e e r 加入分享文件的行列并且每个p e e r 开 的上传速度越大越好，这样就有能力可以服务更多的使用者。 现有p 2 p 技术中最能符合上面要求的就是现在相当热门的b t ，当使用者越 多时，b t 的系统能力就越高，并且由于b t 的c h o k i n g 、u n c h o k i n g 的应用，所 以使用者上传越大，下载速度就可能越大，可以算是一种奖励机制，由于 b i t t o r r e n t 协议中的这一个特性，对整个系统的负载均衡的改善的作用，起到了 参与的节点负担了很大一部分原来服务器的负担，基本上解决了单点失效的问 题。 在流媒体系统运行时，各个对等节点p e e r 上不能存取完整的视频数据块瞄1 ， 需要分段存取，流媒体在播放时缓冲数据，这使客户端之间有可能交换数据。 b i t t o r r e n t 下载的过程里，将一个待传输文件被分成若干片段( p i e c e ) ，在下载的 过程中，每个下载结点( p e e r ) 可能完整拥有其中的某些片段，这个信息会通过消 息机制通知给其他的下载结点。这种可以分片存取数据块的特征机制陆钔正好符合 p 2 p 流媒体系统下运行时各个节点的数据块请求方式。将流媒体数据分割成较小 的块有利于多个节点间交互数据n 们n5 | ，这是对等网络技术相对于传统流媒体技术 西北大学硕士学位论文第三章p 2 p 流媒体性