硕士论文-一种基于P2P流媒体直播系统的研究与实现.pdf

中南大学 硕士学位论文 一种基于P2P流媒体直播系统的研究与实现 姓名：谭冠兰 申请学位级别：硕士 专业：计算机技术 指导教师：王建新;李建国 20080401 A BS T R A C T T h eP r e v a l e n c eo fb r o a d b a n dn e t w o r kc o n t r i b u t e st ot h er a p i d P r o g r e s so fl i v eb r o a d c a s t i n gs y s t e m s ，b u ts t r e a m i n gm e d i ab r o a d c a s t s y s t e mw h i c hi Sb a s e do nt h et r a d i t i o n a lC Sm o d ee x i s t sc a p a c i t y b o t t l e n e c k ，i ti sd i f f i c u l tt oa d a p tt ot h el a r g e - s c a l ea p p l i c a t i o n T ot h i s e n d ，t h er e s e a r c h e r sm a d eaP 2 Pn e t w o r kb a s e do nt h ed i s t i l b u t i o no f s t r e a m i n gm e d i at e c h n o l o g y ，d a t aw i l lb ed i s t r i b u t e df r o mt h ec e n t e ro f s t r e a m i n gm e d i as e r v e rd i s t r i b u t e dt ou s e r so nt h eI n t e r n e tB a s e do nP 2 P n e t w o r km a k e ss t r e a m i n gm e d i as e r v i c e s ，a n dh a v eab e t t e rs c a l a b i l i t y ， r o b u s t n e s sa n d p r a c t i c a l i t y 一T h i sP a p e ri n t r o d u c e st h ed e v e l o p m e n ta n dt h er e l a t e dt e c h n o l o g i e s o fp 2 ps t r e a m i n gm e d i af i r s t l y T h e ni td i s c u s s e sa nP 2 Ps t r e a m i n g m e d i am o d e l ，i nt h i sp a p e r , w ep r o p o s eaP 2 Pm e d i as t r e a m i n gs y s t e m ，i n w h i c hn o d e sc a c h ea n ds h a r ew i t he a c ho t h e rap o r t i o no ft h em e d i ad a t a c o n s u m e dS Ot h el o a do nt h em e d i as e r v e ri sa l l e v i a t e da n dm o r en o d e s c o u l db es e r v e d A c c o r d i n gt oas e l f - o r g a n i z i n ga l g o r i t h m ，n o d e sp l a y i n g t h es a m em e d i af i l ew i l la u t o m a t i c a l l yf o r ma nh i e r a r c h i c a lt r e e 1 i k eP 2 P n e t w o r k , r o o t e da t a ni n d e xs e r v e r Ar e s o u r c er e p o r t i n gm e c h a n i s mi S a p p l i e do nt o po ft h eh i e r a r c h i c a lt r e et om a k er e s o u r c ei n f o r m a t i o n g a t h e ra tt h ei n d e xs e r v e rw h i c hi sr e s p o n s i b l ef o ra n s w e r i n gq u e r i e s T h i sm a k e st h ep r o p o s e ds y s t e mh a v eh i g hs e a r c h i n ge f f i c i e n c ya n db e a b l et ob a l a n c et h el o a do nn o d e sw i t hd i f f e r e n ta b i l i t i e s l ，1 1 e ns e l e c t i n g w h i c hn o d e st o g e t t i n gd a t af r o m ，S y s t e m Ss e n d e rs e l e c t i o np o l i c yt a k e s i n t oa c c o u n tb a n d w i d t h ，h o pd i s t a n c ea n da l i v ec o n n e c t i o n so ft h e c a n d i d a t es e n d e r , s oi tc a nm a k eb e s tu s eo fp l a y i n gn o d e st om a k el o a d o nt h es e r v e ra sl i t t l ea s p o s s i b l e I tc a l la l s ol e s s e nt h eb u r d e no f b a c k b o n en e t w o r kb ya v o i d i n gl o n g d i s t a n c ed a t at r a n s f e r D u r i n gd a t a t r a n s m i s s i o n , t h ed y n a m i cm o n i t o r i n ga n dc o n t r o l l i n gs c h e m eo ft h e s y s t e mc a ne n s u r et h ed o w n l o a ds p e e di sf a s te n o u g hf o rp l a y i n gt h e m e d i a F u r t h e r m o r e ，S y s t e m Sr e p u t a t i o nm e c h a n i s mh e l p st oe n c o u r a g e s h a r i n gt oi m p r o v es y s t e mp e r f o r m a n c e F i n a l l y , t h ep a p e rs u m su po u rw o r k sd u r i n gt h ed e s i g na n d I I d e v e l o p m e n t ，a n dd i s c u s s e sh o w t oi m p r o v et h es y s t e mi nt h ef u t u r e K E YW O R D S ：P 2 P s t r e a m i n g ，Q u a l i t yo fS e r v i c e ，L o a dB a l a n c e ， R e p u t a t i o n M e c h a n i s m I I I 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以采用复印、缩印或其他手段保存学位论文； 学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：导师签名日期：旦年二月兰日 工程硕士学位论文 第一章绪论 1 1 课题的研究背景 第一章绪论 随着宽带网络技术的发展，互联网进入了集视频、音频、动画、文本和图 像为一体的多媒体通信时代，流媒体( M e d i aS t r e a m i n g ) 就是顺应这种趋势而出 现的一种多媒体传输技术：声音、影像或动画等时基媒体由视频服务器向用户 计算机连续、实时地传送，用户不必等到整个文件全部下载完毕，而只需经过 几秒或十数秒的启动延迟( 数据缓冲时间) 即可进行观看。流媒体目前已成为 I n t e m e t 的主流应用，在视频点播、远程教育、视频会议、I n t e r n e t 直播、网上新 闻发布、网络广告等方面得到了日益广泛的应用。 在传统的基于客户服务器( C l i e n t S e r v e r , C S ) 模式的流媒体系统中，有多 少个用户，服务器就要发送多少份数据，即使有些用户请求的实际上是同一个 媒体文件。随着用户数量的增长，服务器端带宽很快达到上限，成为限制系统 服务能力的瓶颈，同时用户的服务质量( Q u a l i t yo f S e r v i c e ，Q o S ) 也难以得到保 证。面对日益增长的用户需求量，如何构建具有可扩展( S c a l a b l e ) 服务能力的 流媒体系统成为亟待解决的问题。代理服务器技术、内容分布网络、口组播等 技术的提出，正是为了解决传统的基于C s 模式的流媒体系统服务能力有限， 不能适应大规模流媒体应用的问题。 ( 1 ) 代理服务器技术：代理服务器技术【l - 3 】的思想是：在靠近用户的地方 设置代理服务器，缓存经过的数据，用以响应下一次相同的数据请求，这样可 减轻源服务器的负担，并且获得较小的延迟。但由于流媒体文件通常较大，代 理服务器只能缓存少量影片，难以满足用户的多样化需求，并且对用户地理位 置的变动缺乏适应性。 ( 2 ) 内容分布网络( C o n t e n tD e l i v e r yN e t w o r k ，C D N ) 【4 】：C D N 是一个建 立并覆盖在互联网之上、由分布在不同区域的节点服务器群组成的虚拟网络， C D N 可以实现把网站的内容高效、稳定地发布到离网民最近的地方。在传统的 I P 网络( 如t n t e m e t ) 中，客户端的请求被直接按照网络地址发送到数据源服务器， 而C D N 网络内容分布和传输服务提供了一个服务“层 ，这个层可以主动将经 常被访问的网络内容“推到与发出请求的用户距离最近的服务器，并将每个 客户端发出的请求转发到当时对于被请求的网络内容而言最佳的地点或服务 器，从而进一步补充和扩展了I n t e m e t ，提高了I n t e m e t 网络中信息流动的效率。 C D N 从基于P 2 P 网络的流媒体服务系统的研究技术上全面解决了由于网络带宽 1 工程硕士学位论文 第一章绪论 窄、用户访问量大、网点分布不均等问题，提高用户访问网站的响应速度，有 效减少主干网络负担和传输延迟，但高昂的部署成本是它最大的缺点。 ( 3 ) I P 组播【5 7 】：目前，基于T C P I P 的I n t e m e t 网络主要有三种传输方式： 单播、广播和组播。单播是一点到一点的数据传播方式，缺点是如果多个用户 请求同一个数据，服务器必须通过网络给每一个用户都发送一份相同的数据， 服务器负担重、效率低。广播是一点到所有点的传输方式，采用这种方式服务 器只要发送一份数据，数据就会扩散到所有用户，不管用户是否请求该数据。I P 广播通信通常被限制在本地子网内，路由器一般不会转发I P 广播信息包，如果 路由器转发，那么，路由回环将很可能引起严重的“广播风暴 。I P 组播技术结 合了单播和广播的特点，将一份数据发送给请求同一数据的一组用户，没有请 求该数据的用户则不会收到。 理论上m 组播是一种高效的数据分发方案，但实际运用中却面临很多困难： 首先，I P 组播缺乏有效的组管理，导致任一用户可以加入某特定的组会话 接收数据，也可向一些著名的组播会话中的节点发送无用的信息来发动拒绝服 务攻击( D e n i a lo fS e r v i c e ，D o S ) 。并且每个组播会话都要求有一个全球唯一的 组地址，组地址的缺乏也会导致组播会话的冲突。 第二，组播增加了路由协议的复杂性，加重了路由器的负担。 第三，最重要的是m 组播要得到路由器的支持，而目前很多路由器还不支 持组播路由，所以要在整个I n t e r n e t 上部署I P 组播尚不可行。 ( 4 ) 基于P 2 P 模式的流媒体系统：近年来盛行的P 2 P 文件共享系统，为 人们提供了构建具有可扩展服务能力的流媒体系统的新思路，于是很多基于P 2 P 的流媒体系统的方案被提了出来。在P 2 P 网络中，各节点主机既是服务器，又 是客户机，相互共享资源，是一种对等的关系，所以P 2 P 网络又称为对等网络。 基于P 2 P 模式的流媒体系统利用了P 2 P 网络的优点，用户相互共享各自拥有的 视频数据，既是播放者，又是视频数据提供者，共同参与系统的服务，整个系 统的服务能力随着用户数量的增加而增加，具有可扩展性( s c a l a b l e ) 。 基于P 2 P 技术的流媒体系统由于具有可扩展服务能力，为构建大规模流媒 体传输系统提供了一种低成本的解决方案。 1 2 国内外研究现状 P 2 P 技术，也称为对等网络( P e e rt oP e e r ) 技术，它与目前网络中占据主导地 位的客户端服务器( C 1 i e n t S e 哪结构( 也就是W W W 所采用的结构方式) 的本质 区别就是整个网络结构中不存在中心节点( 或中心服务器) 。【1 4 】【1 5 1 简单的说，P 2 P 2 工程硕士学位论文 第一章绪论 直接将人们联系起来，让人们通过互联网直接交互。P 2 P 使得网络上的沟通变得 容易、更直接共享和交互，真正地消除中间商【16 l 刀。P 2 P 就是人可以直接连接到 其他用户的计算机、交换文件，而不是像过去那样连接到服务器去浏览与下载。 P 2 P 另一个重要特点是改变互联网现在的以大网站为中心的状态、重返“非中心 化 ，并把权力交还给用户。在P 2 P 网络中每一个节点所拥有的权利和义务都是 对等的。目前，P 2 P 技术在国内外已有了突飞猛进的发展，很多领域已经成功的 应用这项技术处理了C S 模式存在的瓶颈，但其在网络传播方面的使用刚刚起 步，发展的前景还十分的广阔。 P 2 P 引导网络计算模式从集中式向非中心式偏移，也就是说网络应用的核心 从中央服务器向网络边缘的终端设备扩散：服务器到服务器、服务器到P C 机、 P C 机到P C 机，P C 机到W A P 手机所有网络节点上的设备都可以建立P 2 P 对话f 2 。P 2 P 给互联网的分布、共享精神带来了无限的遐想，有观点认为至少有 1 0 0 种应用能被开发出来，但从目前的应用来看，P 2 P 的威力还主要体现在大范 围的共享、搜索的优势上，主要有五大类型的应用：即时消息、对等计算、协 同工作、搜索引擎和文件共享。 其中，P 2 P 技术在文件共享方面的应用主要表现为O I C Q 、P P L i v e 、M y s e e 网站等。O I C Q 通过目录服务器建立聊天双方点对点的连接，及时发送聊天信息， 解决了海量信息存储、转发困难等问题：而P P L i v e 、M y s e e 网站等主要将媒体 播放与P 2 P 技术结合在一起，改善了以前需要高质量服务器为媒体文件服务并 解决了宽带限制的问题，提高了用户浏览媒体文件的速度及质量。 在视频直播应用中，对等网络面临一些问题：调整并监控网络中节点的动 作，确保系统稳定性，降低多层节点转发的延迟，确保节点间可靠通讯以及保 证系统的良好扩展性。针对这些问题，目前一些机构进行了相关研究。P e e r c a s t 2 2 1 把所有节点建立成单一的多叉分布树，每个节点转发父节点的数据，并且保存 部分树的信息，具有很好的扩展性，但是当有节点离开时，它的子孙节点每次 都是从根节点进行重新加入，这带来的根节点的负载和重新修复延迟。 C o o P 2 Z N e t 2 5 矧把P 2 P 方式作为分布式服务器的补充，在它的系统中，服务器 具有高带宽和高性能，因此服务器保存了所有的节点状态，同时这也限制了系 统的扩展性。Z A G I 2 3 , 2 4 1 把节点进行分组传播，规定每组的大小必须是l k 一3 k ， 节点加入和离开是组的合并和分离的过程，但是它的整棵传播树没有达到完全 树，而且没有考虑P 2 P 系统中每个节点的性能不同。 由于P 2 P 流媒体传输的优越性，基于P 2 P 的流媒体服务体系已经引起了许 多大学、研究机构以及商业机构的重视。美国斯坦福大学l l o 】、马塞诸塞大学【1 5 , 1 6 1 3 工程硕士学位论文 第一章绪论 以及微软研究酣1 1 , 2 7 】对单源的P 2 P 流媒体传输展开了研究并取得了一定的成果， 而伯克利大学【2 8 和普度大学【1 2 , 1 3 贝1 j 致力于对多源的P 2 P 流媒体传输的研究，其 中普度大学提出了单源的P 2 P 流媒体传输的模型及相应的激励机制。此外，也 有一些研究机构将传统的流媒体技术运用于P 2 P 系统。如I B M 中国研究院将层 次式的流合并技术集成到P 2 P 视频点播系统中【2 9 1 ，而美国奥利根大学提出的 P A L S 州，则利用了媒体流的分层编码技术，各个节点发送不同层的编码流，由 接收者根据其能力选择接收若干层的编码。在商业应用上，也出现了一些商用 P 2 P 流媒体传输系统，如V T r a i l s 3 ，A l l e a s t 3 2 】以及E h a I l l l e l o n e M e d i a 【3 3 】等，对 P 2 P 流媒体传输系统的运行模式进行了尝试。 分层流媒体在传统组播中已得到深入研究，但它们都建立在P 组播的基础 上，应用层组播的研究还刚起步。文献【2 6 】提出一种基于M O C ( M u l t i p l e d e s c r i p t i o n c o d i n g ) 的P 2 P 流媒体服务体系C o o P N c t ，它对每条M D C 子 流采用独立的组播树进行传输，接收方可以根据自身带宽资源等状况选择加入 到单棵或多棵组播树，但在一般条件下M D C 编码效率要比层次编码效率低。文 献【B J 提出了一种结合网络拓扑发现的P 2 P 流媒体服务体系P R O M I S E ，它利用某 些拓扑发现方法，着重考虑多发送方模式下可能出现共享带宽瓶颈，并定义可 用带宽、丢包率等权值因子，以此选择最优的发送方集合，从而使接收节点的 服务质量最大，但它没有考虑节点异构性问题，其分配的粒度为数据包。文献【捌 提出了一种自适应的P 2 P 分层流媒体框架，它结合网络和接收方分层缓冲区的 状态，引入滑动窗口机制，在各个发送方之间进行数据分配，以平滑接收方的 服务质量，其分配机制的复杂性较高。文献【3 5 】的工作属于P 2 P 分层流媒体，它 分别针对分层编码速率同构与异构这两种情况，提出了两类算法：一类是在可 提供服务的P e e r 节点数日不受限前提下，如何对数据层优化分配，以最大化节 约源服务器的带宽资源；另一类是在可提供服务的P e e r 节点数目受限前提下， 如何对数据层优化分配，以最大化请求节点的服务质量。 由此可见，P 2 P 在流媒体传播方面的应用已有了一定程度的研究，但其性能 和效果还不成熟、不理想，值得进一步研究和改善。 1 3 论文研究内容 本文研究了如何利用P 2 P 技术来构建一种具有可扩展性服务能力的流媒体 系统，在此基础上提出了一种基于P 2 P 模式的流媒体直播系统技术方案。 本文的主要研究内容和贡献是： ( 1 ) 深入分析流媒体编码技术以及P 2 P 网络结构的特点，研究基于P 2 P 网 4 工程硕士学位论文 第一章绪论 络结构的流媒体传播原理，设计一种基于P 2 P 的流媒体直播系统，并详细介绍 了其体系结构和各模块功能。 ( 2 ) 设计出一种新的P 2 P 流媒体直播系统核心数据调度算法，该算法具有 以下优势： 1 服务节点的个数不固定，也不再进行分组。数据包的拉取按照先急后缓 的顺序进行，当前需要拉取的数据从当时空闲的服务节点中拉取，解决服务能 力不均衡问题，服务能力越强的父节点将提供越多的数据。 2 父节点的调度由控制服务器在打开频道时一次调度，最终由节点自已确 定服务节点，并通过节点间信息交换进行父节点的动态更新，不再由控制服务 器进行失效调度。 1 4 论文结构 论文结构安排如下： 第一章，即本章，主要介绍了课题的研究背景和和国内外研究现状，以及 论文的主要研究内容，并简介了论文的组织结构。 第二章，详细介绍基于P 2 P 的流媒体直播相关技术。 第三章，介绍一种流媒体直播系统的架构、系统的节点组织与管理策略。 第四章，流媒体直播系统核心模块功能描述。 第五章，一种流媒体直播系统原型系统的实现。 第六章，对论文进行了总结，指出了论文的主要工作和贡献，并对进一步 的研究进行了展望。 S 工程硕士学位论文第二章基于P 2 P 流媒体相关技术概述 第二章基于P 2 P 流媒体相关技术概述 随着互联网的发展，利用网络进行流媒体播放成为一个热点。流媒体是指 在I n t e m e t I n t r a n e t 上使用流式传输技术的多媒体，流媒体在播放前不需要下载 整个文件，可以边下载边观看。其原理是把向用户传输的多媒体文件按照播出 时间顺序分为不同的片断，然后依次把这些片断发给用户，连续播放这些片断 就形成了连续的声音和图像。对等网络是最近几年新兴的网络技术，相对于传 统的C S 模式，P 2 P 模式一个非常显著的特点就是节点无需依赖集中式服务器资 源，各节点可以直接进行通信。每个节点具有相同的地位，既可以请求服务， 也可以提供服务，同时扮演着C S 模式中服务器和客户机的双重角色，甚至还 可以具有路由器和高速缓存的功能。在P 2 P 模式下，由于每个节点都具有客户 机和服务器的功能，这样，每个节点在从别的节点接收数据流的同时还向其他 节点发送数据流。利用这个特点，P 2 P 网络技术可以应用现有的计算机资源和有 限网络带宽实现大规模网络流媒体播放。 2 1流媒体技术的起源发展以及定义 流媒体技术起源于窄带互联网时期。1 9 9 4 年，美国P r o g r e s s i v e N e t w o r k s 公 司的成立标志着流媒体技术的开始。1 9 9 5 年，他们推出了C S 架构的音频接受 系统R e a l A u d i 。，并在随后的儿年内引领了网络流式技术的潮流。1 9 9 7 年9 月， 该公司更名为R a e N e t w o r k s ，相继发布了多款应用非常广泛的流媒体播放器 R e a l P l a y e r 系列，在其鼎盛时期，曾一度占据该领域超过8 5 的市场份额。 R e a l N e t w o r k s 公司是流媒体技术真正意义上的始祖。 随后微软和苹果公司等都意识到流媒体技术的广阔应用前景，引发了强大 的市场竞争，促进了流媒体技术的迅速发展，使得流媒体技术应用空前广泛。 早期的流媒体技术主要是在窄带互联网上应用，受带宽条件的制约。到1 9 9 9 年，人们在网上也才仅仅可以看到一个很小的视频播放窗口。2 0 0 0 年下半年， 随着全球范围内的互联网升温，宽带网成为现实，作为流媒体技术倡导者和发 起者的美国R e a l N e t w o r k s 、微软和苹果等公司几乎同时向世界宣布了他们最新的 流媒体技术的宽带解决方案。在短短的时间里，流媒体技术有了飞跃性发展。 今天，流媒体的发展我们已经有目共睹，我们完全可以在网络上进行全方位的 视听接触。 流媒体是从英语S t r e a m i n gM e d i a 中翻译过来，它是一种可以使音频、视频 和其它多媒体能在I n t e r n e r 和I n t r a n e t 上以实时的、无需下载等待的方式进行播 6 工程硕士学位论文第二章基于P 2 P 流媒体相关技术概述 放的技术。【3 6 3 8 】流媒体文件格式是支持采用流式传输及播放的媒体格式。流式 传输方式是将动画、视音频等多媒体文件经过特殊的压缩方式分成一个个压缩 包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统 中，用户不必像非流式播放那样等到整个文件全部下载完毕后才能看到当中的 内容，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用相应 的播放器或其它的硬件、软件对压缩的动画、视音频等流式多媒体文件解压后 进行播放和观看，多媒体文件的剩余部分将在后台的服务器内继续下载。 与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式 具有以下优点： ( 1 ) 启动延时速度都大幅度地缩短。用户不用等待所有内容下载到硬盘上 才开始浏览。我们曾经用I O M 的校园网络来浏览互联星空剧场，无论是上班时 间还是晚上，相当快，一般来说，一个4 5 分钟的影片片段在一分钟以内就显示 在客户端上，而且在播放过程一般不会出现断续的情况。另外，全屏播放对播 放速度几乎无影响，但快进、快倒时需要时间等待。 ( 2 ) 对系统缓存容量的需求大大降低。由于I n t e r n e t 是以包传输为基础进 行断续的异步传输，数据被分解为许多包进行传输，动态变化的网络使各个包 可能选择不同的路由，故到达用户计算机的时间延迟也就不同。所以，在客户 端需要缓存系统来弥补延迟和抖动的影响和保证数据包传输顺序的正确，使媒 体数据能连续输出，不会因网络暂时拥堵而使播放出现停顿。虽然流式传输仍 需要缓存，但由于不需要把所有的动画、视音频内容都下载到缓存中，因此， 对缓存的要求降低。 ( 3 ) 流式传输的实现有特定的实时传输协议采用R T S P 等实时传输协议， 更加适合动画、视音频在网上的流式实时传输。 2 2 流媒体技术基础及原理 实现流式传输有两种方法：实时流式传输( R e a l t i m es t r e a m i n gt r a n s p o r t ) 和顺 序流式传输( P r o g r e s s i v es t r e a m i n gt r a n s p o r t ) 4 5 舶】。一般来说，如为实时广播，或 使用流式传输媒体服务器，或应用实时流协议( R T S P ) 等，即为实时流式传输。 如使用超文本传输协议( I - I T T P ) 服务器，文件即通过顺序流发送。采用哪种传输 方法可以根据需要进行选择。当然，流式文件也支持在播放前完全下载到硬盘。 ( 1 ) 实时流式传输 实时流式传输总是实时传送，特别适合现场广播，也支持随机访问，用户 可快进或后退以观看后面或前面的内容。但实时流式传输必须保证媒体信号带 7 工程硕士学位论文 第二章基于P 2 P 流媒体相关技术概述 宽与网络连接匹配，以便传输的内容可被实时观看。这意味着在以调制解调器 速度连接网络时图像质量较差。而且，如果因为网络拥塞或出现问题而导致出 错和丢失的信息都被忽略掉，那么图像质量将很差，实时流式传输需要专用的 流媒体服务器与传输协议。 ( 2 ) 顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线内容，在给 定时刻，用户只能观看已下载的部分，而不能跳到还未下载的部分。由于标准 的H ，丌P 服务器可发送顺序流式传输的文件，也不需要其他特殊协议，所以顺 序流式传输经常被称作H r r P 流式传输。顺序流式传输比较适合高质量的短片 段，如片头、片尾和广告，由于这种传输方式观看的部分是无损下载的，所以 能够保证播放的最终质量。但这也意味着用户在观看前必须经历时延。顺序流 式传输不适合长片段和有随机访问要求的情况，如讲座、演说与演示，也不支 持现场广播，严格说来，它是一种点播技术。 流式传输的实现需要合适的传输协议。由于T C P 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，一般采用H T T P T C P 来传输控 制信息，而用实时传输协议用户数据报协议( R T P U D P ) 来传输实时数据。流式 传输的实现需要缓存。因为一个实时音视频源或存储的音视频文件在传输中被 分解为许多数据包，而网络又是动态变化的，各个包选择的路由可能不相同， 故到达客户端的时延也就不同，甚至先发的数据包有可能后到。为此，需要使 用缓存系统来消除时延和抖动的影响，以保证数据包顺序正确，从而使媒体数 据能够连续输出。通常高速缓存所需容量并不大，因为通过丢弃已经播放的内 容可以重新利用空出的空间来缓存后续尚未播放的内容。 流式传输的过程一般如下： 用户选择某一流媒体服务后，W e b 浏览器与W e b 服务器之间使用 H T I P T C P 交换控制信息，以便需要传输的实时数据从原始信息中检索出来。 W e b 浏览器启动音视频客户程序，使用H r r P 从W e b 服务器检索相关参 数对音视频客户程序初始化，这些参数可能包括目录信息、音视频数据的编码 类型或与音视频检索相关的服务器地址。 音视频客户程序及音视频服务器运行实时流协议，以交换音视频传输所 需的控制信息，实时流协议提供执行播放、快进、快倒、暂停及录制等命令的 方法。 音视频服务器使用R T P U D P 协议将音视频数据传输给音视频客户程序， 一旦音视频数据抵达客户端，音视频客户程序即可播放输出。 8 工程硕士学位论文第二章基丁- P 2 P 流媒体相关技术概述 需要说明的是，在流式传输中，使用R T P U D P 和R T S P T C P 两种不同的通 信协议与音视频服务器建立联系，目的是为了能够把服务器的输出重定向到一 个非运行音视频客户程序的客户机的目的地址。 2 3P 2 P 网络中的拓扑结构研究 拓扑结构是指分布式系统中各个计算单元之问的物理或逻辑的互联关系， 结点之间的拓扑结构一直是确定系统类型的重要依据。P 2 P 系统般要构造一个 非集中式的拓扑结构，在构造过程中需要解决系统中所包含的大量结点如何命 名、组织以及确定结点的加入离开方式、出错恢复等问题。 根据拓扑结构的关系可以将P 2 P 研究分为4 种形式：中心化拓扑、全分布 式非结构化拓扑、全分布式结构化拓扑和半分布式拓扑 4 0 1 。 ( 1 ) 中心化拓扑 中心化拓扑最大的优点是维护简单发现效率高。由于资源的发现依赖中心 化的目录系统，发现算法灵活高效并能够实现复杂查询。最大的问题与传统客 户机服务器结构类似，容易造成单点故障，访问的“热点”现象和法律等相关 问题，这是第一代P 2 P 网络采用的结构模式，经典案例就是著名的M P 3 共享软 件N a p s t e r t 4 1 1 。 在第一代P 2 P 网络模型中，一群高性能的中央服务器保存着网络中所有活 动对等计算机共享资源的目录信息。当需要查询某个文件时，对等机会向一台 中央服务器发出文件查询请求。中央服务器进行相应的检索和查询后，会返回 符合查询要求的对等机地址信息列表。查询发起对等机接收到应答后，会根据 网络流量和延迟等信息进行选择，和合适的对等机建立连接，并开始文件传输。 第一代P 2 P 网络的工作原理如图2 1 所示。 图2 - 1 中心化拓扑网络结 9 工程硕士学位论文第二章基于P 2 P 流媒体相关技术概述 ( 2 ) 全分布非结构化拓扑 网络在重叠网络采用了随机图的组织方式，从而能够较快发现目的结点， 面对网络的动态变化体现了较好的容错能力，因此具有较好的可用性。同时可 以支持复杂查询，如带有规则表达式的多关键词查询，模糊查询等，工作原理 如图2 2 所示。 图2 - 2 全分布非结构化拓扑网络结构 随着联网节点的不断增多，网络规模不断扩大，通过这种洪泛方式定位对 等点的方法将造成网络流量急剧增加，从而导致网络中部分低带宽节点因网络 资源过载而失效。所以在初期的G n u t e U a 网络中，存在比较严重的分区，断链现 象。也就是说，一个查询访问只能在网络的很小一部分进行，因此网络的可扩 展性不好。所以，解决网络的可扩展性对该网络的进一步发展至关重要。 由于非结构化网络将重叠网络认为是一个完全随机图，结点之间的链路没 有遵循某些预先定义的拓扑来构建。这些系统一般不提供性能保证，但容错性 好，支持复杂的查询，并受结点频繁加入和退出系统的影响小。但是查询的结 果可能不完全，查询速度较慢，采用广播查询的系统对网络带宽的消耗非常大， 并由此带来可扩展性差等问题。 ( 3 ) 全分布式结构化拓扑 分布式散列表( D H T ) 实际上是一个由广域范围大量结点共同维护的巨大散 列表。散列表被分割成不连续的块，每个结点被分配给一个属于自己的散列块， 并成为这个散列块的管理者。D H T 的结点既是动态的结点数量也是巨大的，因 此非中心化和原子自组织成为两个设计的重要目标。通过加密散列函数，一个 1 0 工程硕士学位论文第二章基于P 2 P 流媒体相关技术概述 对象的名字或关键词被映射为1 2 8 位或1 6 0 位的散列值。一个采用D H T 的系统 内所有结点被映射到一个空间L = 0 1 1 】，如果散列函数映射一个h 位的名字到一 个散列值H ，则有H 2 h L 。 最近的研究集中在采用新的拓扑图构建重叠路由网络，以减少路由表容量 和路由延时。这些新的拓扑关系的基本原理是在D H T 表一维空间的基础上引入 更多的拓扑结构图来反映底层网络的结构。 D H T 类结构能够自适应结点的动态加入退出，有着良好的可扩展性、鲁棒 性、结点I D 分配的均匀性和自组织能力。由于重叠网络采用了确定性拓扑结构， D H T 可以提供精确的发现。只要目的结点存在于网络中D H T 总能发现它。D H T 类结构最大的问题是D H T 的维护机制较为复杂，尤其是结点频繁加入退出造成 的网络波动会极大增加D H T 的维护代价。D H T 所面临的另外一个问题是D H T 仅支持精确关键词匹配查询，无法支持内容语义等复杂查询。 ( 4 ) 半分布式拓扑 吸取了中心化结构和全分布式非结构化拓扑的优点，选择性能较高( 处理、 存储、带宽等方面性能) 的结点作为超级点，在各个超级点上存储了系统中其他 部分结点的信息，发现算法仅在超级点之间转发，超级点再将查询请求转发给 适当的叶子结点。半分布式结构也是一个层次式结构，超级点之间构成一个高 速转发层，超级点和所负责的普通结点构成若干层次。工作原理如图2 3 所示。 图2 - 3 半分布式拓扑网络结构 图2 3 半分布式拓扑网络结构半分布式结构的优点是性能、可扩展性较好， 较容易管理，但对超级点依赖性大，易于受到攻击，容错性也受到影响。下表 比较了4 种结构的综合性能，比较结果如表2 1 所示。 l l 工程硕士学位论文 第二章基于P 2 P 流媒体相关技术概述 表2 - 1四种拓扑结构的性能比较 中心化拓扑全分布式非结构全分布式结构化半分布式拓扑 化拓扑 拓扑 可扩展性差差好 中 可靠性 差好 好中 可维护性最好最好好 中 发现算法效率最高中高中 复杂查询支持支持 不支持支持 2 4P 2 P 流媒体系统与c s 流媒体系统的比较 目前最流行的网络计算模式是C S 模式，图2 4 是一个典型的C S 模式的体 系结构。C S 结构具有如下特点： ( 1 ) 集中计算方式，信息和数据都保存在服务器端。只有服务器端具有控 铝I 。v 力，客户端基本上只是一个高性能的I O 设备。 ( 2 ) 服务器及网络的带宽决定了网络的性能。每台服务器所能提供的信 息数量受到自身存储空间的限制，而任意时刻它所能支持的客户端访问数量则 既受到自身处理能力的限制也受到服务器所在网络吞吐能力的限制。 ( 3 ) U R L 用来表示信息资源的地址，但是U R L 很少能直接体现所定位的 信息的内容，甚至不能直接链接到具体的内容上。 ( 4 ) 被发布信息的分布与生存期十分稳定。服务器只发布机器所有者想 公之于众的信息，这些信息将会在该服务器上稳定地保存一段时间，并且该服 务器通常也不间断地运行在网络上。 ( 5 ) 被发布信息的存贮与管理比较集中、规范。互联网上所有可以公开 访问的信息基本上都保存在服务器上，服务器根据适当的算法和规则管理本地 信息，应答客户端的访问请求或进行计算。 窖J ，端窖，、埔 图2 - 4C S 模式的网络结构 P 2 P 模式是非中心结构，如图2 5 所示，它与C S 模式有明显的差别。 1 2 工程硕士学位论文 第二章基于P 2 P 流媒体相关技术概述 ( 1 ) 每一个对等点具有相同的地位，既可以请求服务也可以提供服务，同 时扮演着C S 模式中的服务器和客户端两个角色，还可以具有路由器和高速缓 冲存储器的功能，从而弱化了服务器的功能，甚至取消了服务器。 ( 2 ) P 2 P 技术可以使得非互连网络用户很容易地加入到系统中。在P 2 P 的计算环境中任何设备一从大型机到移动电话，甚至是传呼机一均可以在任何 地点方便地加入进来。P 2 P 技术不仅可以应用于目前有线的互联网络，同时该技 术还可以应用于无线计算技术。 ( 3 ) 在P 2 P 模式的网络中，每一个对等体可以充分利用网络上其他对等 体的信息资源、处理器周期、高速缓存和磁盘空间。 ( 4 ) P 2 P 是基于内容的寻址方式，这里的内容不仅包括信息的内容，还包 括空闲机时、存储空间等。P 2 P 网络中，用户直接输入要索取的信息的内容，而 不是信息的地址，P 2 P 软件将会把用户的请求翻译成包含此信息的节点的实际地 址，而这个地址对用户来说是透明的，P 2 P 中的每一个对等体通常没有固定的口 地址，并且可常常从网络上断开。 ( 5 ) 信息的存储及发布具有随意性，缺乏集中管理。 图2 5P 2 P 模式的网络结构 P 2 P 也有不足之处。首先，P 2 P 不易于管理，而对C S 网络，只需在中心点 进行管理。随之而来的是P 2 P 网络中数据的安全性难于保证。因此，在安全策 略、备份策略等方面，P 2 P 的实现要复杂一些。另外，由于对等点可以随意地加 入或退出网络，会造成网络带宽和信息存在的不稳定。 表2 - 2 是对P 2 P 与C S 模式在若干方面的比较，从表中我们可以判断出两种 1 3 工程硕士学位论文 第二章基于P 2 P 流媒体相关技术概述 模式中各具有的特点与优势。 表2 - 2P 2 P 与C S 模式比较 P 2 P C S 数据发布 好差 数据接收中好 数据安全性 差好 数据更新好差 数据质量( 价值) 中好 数据覆盖率真和数据( 价值)差好 数据成本控制好 差 数据管理方便性差好 2 5 本章小结 本章首先介绍了流媒体的定义及流媒体格式的特点，将其与单纯的下载方 式进行比较，说明流媒体格式更适应于社会的需求。其次，对流媒体技术及原 理进行了概述，介绍了多媒体应用对网络的要求及音频、视频的实时传输。再 次，对P 2 P 网络拓扑结构进行描述，主要讲述了中心化拓扑、全分布非结构化 拓扑、全分布式结构化拓扑、半分布式拓扑四种拓扑结构及其优缺点，并将其 四种结构的性能进行了比较。最后，介绍了P 2 P 流媒体系统和C S 流媒体系统， 并分析了两种系统性能上的差别。目前，网络中的主流业务多媒体飞速发展， 我们从媒体业务对网络的要求、P 2 P 流媒体系统存在的问题中了解到，建立更稳 定、高质量的P 2 P 流媒体系统势在必行。 1 4 工程硕士学位论文第三章基于P 2 P 的流媒体直播系统架构设计 第三章基于P 2 P 的流媒体直播系统架构设计 本章主要介绍了流媒体直播系统的系统设计目标、系统架构设计、系统的 节点组织与管理策略及逐级上报的资源信息发布机制。 3 1 系统设计目标 流媒体直播系统的设计目标是面向流媒体服务提供商，利用P 2 P 技术为它 们扩展服务能力提供一种经济可行的方案。具体地说，就是利用用户端的空闲 带宽资源，通过用户之间相互共享媒体数据、共同参与系统服务，来达到扩展 系统服务能力的目的。具体地说，流媒体直播系统要达到这样一些目标： ( 1 ) 能够满足流媒体播放的要求。 流媒体播放对数据传输有时序性要求，即媒体文件数据要按从文件头到文 件尾的顺序下载。另外，流媒体播放要求数据下载速度必须大于播放速度，否 则就会影响播放质量。流媒体直播系统通过将文件划分为片段，按片段的顺序 逐个下载来满足时序性要求，同时采用一种动态监控机制，使下载速度在总体 上维持在播放速度之上，来保证播放质量。 ( 2 ) 能够在能力不同的播放节点间均衡负载。 播放节点之间在带宽、设备处理能力上各不相同，决定了节点参与系统服 务的能力也各不相同。所以P 2 P 流媒体系统要有均衡负载的能力，避免出现有 的节点被闲置，而有的节点却又不堪重负的现象。流媒体直播系统在节点组织 与管理、数据发送节点的选择、数据传输调度等方面都充分考虑到了节点间的 能力差异，使每一个节点的服务能力都能得到适度利用。 ( 3 ) 能够提供服务质量保证。 在流媒体直播系统中，当用户想要加入系