（计算机软件与理论专业论文）p2p与组播技术在流媒体中的研究与应用.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着视频流媒体业务的迅速发展，用户对视频流媒体的播放质量要求越 来越高，传统的c s 模式的流媒体系统，由于建设成本高，播放质量差等缺 陷，已经很难适应目前的运营要求。 近年来，人们把p 2 p 技术引入到流媒体传输中形成了应用层组播技术。 应用层的组播协议大致可划分为两类：基于树状拓扑协议及扩展的模型 ( t r e e b a s e dp r o t o c o la n de x t e n s i o n s ) 和基于g o s s i p 协议的模型( g o s s i p b a s e d p r o t o c 0 1 ) 。基于树结构的组播协议，需要定义较为复杂的节点关系。基于 g o s s i p 结构的组播协议，不需要维护复杂的树结构，而且有很强的健壮性。 比较典型的系统有d o n e t ( d a t a d r i v e no v e r l a y n e t w o r k ) 。 本文作者设计的p 2 p 流媒体分发与播放系统基于d o n e t 模型，在应用层 组播网络基础上构建了稳定的数据交换方案，通过一定的调度算法在节点之 间交换数据。该系统有三种突出特性：( 1 ) 易于实现它不需要构建或维 护一个复杂的全局结构；( 2 ) 高效数据的传递方向是依照数据的可用性 信息而动态改变的，而不是被限制在特定的方向上；( 3 ) 健壮允许结点 的伙伴关系在众多提供者中作出适应变化的快速转换。在此系统上，用户将 不会因为服务器能力不够而数量上受到限制，反而会随着用户数的增多而提 高播放质量。 本文介绍了该系统的总体设计以及各个模块的详细设计，包括组间关系 管理、数据调度模块、以及媒体数据缓存。最后在设计的基础上给出了实现 方案，通过在n s 2 ( n e t w o r ks i m u l a t o r ) 上的模拟结果证明了其可靠，稳定 的性能。 关键词：流媒体；p 2 p ；应用层组播 西南交通大学硕士研究生学位论文第页 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fv i d e os t r e a m i n gs e r v i c e s ，u s e r sh a v eh i g h e r d e m a n do np l a y b a c kq u a l i t yo fv i d e oi ns t r e a m i n gm e d i a b e c a u s eo ft h eh i g h c o s to fd e v e l o p m e n ta n dl o wp l a y b a c kq u a l i t y , t r a n d i t i o n a lc l i e n t s e r v e r ( c s ) b a s e dm u l t i m e d i as t r e a m i n gs y s t e mc a nn o tf i xt h ec u r r e n to p e r a t i n gr e q u i r m e n t p e o p l eh a v ee m p o l y e dp 2 pt e c h n o l o g y i n s t r e a m i n gm e d i at r a n s m i s s i o n r e c e n t l y , t os u p p o r ta p p l i c a t i o nl a y e rm u l t i c a s t ( a l m ) t h ea l m i sd i v i d e di n t o t w oc l a s s e s ：t r e eb a s e dp r o t o c o la n de x t e n s i o n s ；g o s s i p - b a s e dp r o t o c o l ，s u c ha s d o n e t t r e eb a s e dp r o t o c o la n de x t e n s i o n sd e f i n et h er e l a t i o n s h i pa m o n g n o d e s b u ti ng o s s i p - b a s e dp r o t o c o l ，t h e r ea r en oc o m p l e xm p o l o g yr e l a t i o na m o n g n o d e s ，a n di ti sv e r yr o b u s t s ow eu s et h eg o s s i p - b a s e dm o d e li no u rp 2 ps t r e a m i n gm e d i ad i s t r i b u t i n g a n dp l a y i n gs y s t e m w eb u i l dad a t ae x c h a n g en e t w o r ko nt h ea l m 1 ) e a s yt o i m p l e m e n t ，a si td o e sn o th a v et o c o n s t r u c ta n dm a i n t a i nac o m p l e xg l o b a l s t r u c t u r e ；2 ) e f f i c i e n t ，a sd a t af o r w a r d i n gi sd y n a m i c a l l yd e t e r m i n e da c c r o d i n gt o d a t aa v a i l a b i l i t yw h i l en o tr e s t r i c t e db ys p e c i f i cd i r e c t i o n s ；3 ) r o b u s ta n dr e s i l i e n t ， a st h ep a r t n e r s h i p se n a b l ea d a p t i v ea n dq u i c ks w i t c h i n ga m o n gm u l i t - s u p p l i e r s i n t h i ss y s t e m ，t h em o r eu s e r sp a r t i c i p a t e ，t h eb e t t e rm e d i ap l a y i n gq u a l i t y a r e a c h i e v e d t h ed e s i g no fs y s t e ms t r u c t u r ea n de a c hm o d u l ew i l lb ee x p l i c i t l yp r e s e n t e d i nt h i sp a p e r i n c l u d i n gt h es y s t e ma r c h i t e c t u r e ，a l mg r o u pm a n a g e m e n t ，m e d i a b u f f e ra n dd a t as c h e d u l e rm o d u l e s f i n a l l y , t h ei m p l e m e n to fs y s t e mw i l lb eg i v e n t h er e s u l to fn s 2s i m u l a t i o nh a v es h o w e da ss u c c e s s f u le v i d e n c e k e yw o r d s ：s t r e a m i n gm e d i a ；p 2 p ；a p p l i c a t i o nl a y e rm u l t i c a s t 西南交通大学曲南交通大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人授权西南交通大学可以将 本论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密q ，使用本授权书。 ( 请在以上方框内打“4 ) 学位论文作者签名：黾惑乐 日期：zc ，口艿。7 、zl - - 指导老师签 醐：乳7 。让 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作 所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 本文首先分析了传统流媒体技术以及p 2 p 应用层组播技术特点，然后重 点研究了p 2 p 平台上流媒体应用层组播网络的相关技术，在此基础上设计了 基于应用层组播技术的视频直播系统p p v i d e o 。最后在设计的基础上给出了 实现方案，通过在n s 2 ( n e t w o r ks i m u l a t o r ) 上的模拟结果证明了其可靠， 稳定的性能。 西南交通大学硕士研究生学位论文第l 页 1 1 论文的研究背景 第1 章绪论 随着i n t e r n e t 的发展，用户对网络的期望和要求也越来越高，不再满足 于单一的静态媒体。将声音、文字、图像、视频等多媒体有机结合形成的媒 体演示是i n t e r n e t 的发展重点。 最初，多媒体文件需从服务器上下载后才能播放，这样无法实现数据同 步，限制了人们在互联网上使用多媒体数据进行交流。另外，由于多媒体文 件一般比较大，再加上带宽的限制，使得下载整个文件往往需要很长的时间。 为了解决这些问题，于是出现了流媒体技术。流媒体技术将数据流由音视频 服务器向客户机实时传输，用户可以边下载边观看，不用耗费漫长的等待时 间，实现了媒体浏览的实时性。流媒体应用的一个最大的好处是用户不需要 花费很长时间将多媒体数据全部下载到本地后才能播放，而仅需将起始几秒 的数据先下载到本地的缓冲区中就可以开始播放了。最简单的流媒体模型是 客户端服务器( c s ) 模型。 本论文研究成果基于作者曾经工作的公司北京网乐互联科技股份有 限公司的一个半成品p 2 p 视频直播系统v a l e p p ，作者在公司实习期间参与了 该项目的设计与实现过程，在毕业设计期间，作者对该系统的核心机制做了 大量增加、修改和优化，最终实现了p p v i d e o 。 1 1 1 传统流媒体模型客户端服务器( c s ) 模型 在传统的客户端服务器( c s ) 模型中，服务器为每个客户端申请者建立 一条传输多媒体流的通道。如图1 1 所示。在这种模型中，服务器必须通过 网络给每个用户发送多份相同的数据。在类似于流媒体的应用中，因为数据 量的庞大，随着客户端数目的增加，c s 架构中的流媒体服务器总是会难以 承受大量的客户端连接，并且有限的带宽往往显得不够用。 西南交通大学硕士研究生学位论文第2 页 图1 1 传统c s 模型 为了降低服务器的负载，内容发布网络( c d n ) 【l 】、对等网络( p 2 p ) c 6 j 开始得 到研究和发展。 1 1 2 基于c d n 的内容发布方式 c d n 即内容发布网络，英文全称是c o n t e n td e l i v e r yn e t w o r k ，它是一个 经策略性部署的整体系统，能够帮助用户解决分布式存储、负载均衡、网络 请求的重定向和内容管理等问题，其目的是通过在现有的i n t e r n e t 中增加一 层新的网络架构，将网站的内容发布到最接近用户的网络“边缘”，使用户可 以就近取得所需的内容，解决i n t e m e t 网络拥塞状况，提高用户连接速度。 从技术上全面解决了网络带宽小、用户访问量大、网点分布不均等问题。c d n 可以实现把服务器的内容高效、稳定地发布到离客户端最近的地方。图1 2 所示为c d n 网络模型。 西南交通大学硕士研究生学位论文第3 页 图1 - 2c d n 网络模型 c d n 提供的是一种新型的网络构建方式，它是为能在传统的口网发布 宽带丰富媒体而特别优化的网络覆盖层；从广义的角度，c d n 代表了一种基 于质量与秩序的网络服务模式。其核心是内容管理和全局的网络流量管理 ( t r a f f i cm a n a g e m e n t ) 【7 】o 目前的c d n 服务主要应用于证券、金融保险、i s p 、i c p 、网上交易、 门户网站、大中型公司、网络教学等领域。另外在行业专网、互联网中都可 以用到，甚至可以对局域网进行网络优化。利用c d n ，这些网站无需投资昂 贵的各类服务器、设立分站点，就能把内容复制到网络的最边缘，使内容请 求点和交付点之间的距离缩至最小，从而促进w e b 站点性能的提高。尽管 c d n 拥有如此多的优点，但c d n 高昂的部署成本始终是一个问题。然而 p 2 p 技术的出现，解决了c d n 高成本的问题。 1 1 3 基于p 2 p 技术的流媒体模型 p 2 p 技术的出现为流媒体技术的发展开辟了一个新的方向。p 2 p 所拥有 的优势正好可以弥补传统c s 流媒体模型以及c d n 模型的先天不足，一举 解决了传统c s 模型的传输瓶颈问题以及c d n 模型的高成本问题。 p 2 p 网络中的每个节点的地位都是对等的。每个节点既充当服务器，为 西南交通大学硕士研究生学位论文第4 页 其他节点提供服务，同时也享用其他节点提供的服务，通过节点之间的直连 和数据交换，极大的减轻了服务器的工作负荷。同时，提高了节点资源的利 用，包括存储、网络带宽。 由于p 2 p 流媒体服务的优越性，近年来，基于p 2 p 的流媒体传输方法得 到极大关注。在国外，特别是欧美在流媒体系统研究取得了良好的研究成果， 推动了流媒体技术的发展。目前，主要模型可以分为基于树状拓扑协议及其 扩展的模型和基于g o s s i p 协议的模型。 基于树状拓扑协议及扩展的模型把参与p 2 p 流媒体的节点组织成一棵组 播树，树的父节点负责为子节点传送数据。这种模型有两个主要问题：( 1 ) 节 点离根节点越远，时延就越大。所以树的深度和宽度要使用某种策略达到均 衡；( 2 ) 叶子节点没有参与数据分发，资源没有得到有效利用。 基于g o s s i p 协议的系统模型中，节点之间不需要构造复杂的拓扑关系。 基于g o s s i p 的算法是目前流行的在p 2 p 系统中分发消息的算法。一个典型的 g o s s i p 算法中，节点随机的给系统中的部分节点发送消息，每个接收到消息 的节点继续向其它节点发送消息，重复这个过程，直到消息被发送给系统中 的所有节点。在基于g o s s i p 协议的流媒体系统中，每个节点动态的和其它节 点交换数据，在这种系统中，通常需要比较大的缓存，系统的启动延迟相对 比较大。但是，因为每个节点的数据来源并不依赖于某个特定的父节点，所 以系统有更强的健壮性。这类模型典型的是d o n e t 。 这些典型的流媒体服务模型大都基于应用层的组播( a p p l i c a t i o n 1 a y e r m u l t i c a s t ，简称a l m ) t 2 1 ，本文将在第一章对其进行详细分析研究。 1 1 4 当前存在的一些问题 应用层组播流媒体服务模型目前还处于研究的初步阶段，已有的系统还 存在这样一些问题：视频源往往由服务器提供，节目较少；对节点的管理仍 然由服务器提供，服务器的负荷较大；不支持快进、快退和拖动等v c r 操 作、防火墙穿透问题、安全和版权问题、对无线用户的支持问题等。 虽然已经有了一些相关技术和方案支撑，但大多数技术还不成熟，尚处 于试验阶段，解决这些问题，还需要不断的努力。 西南交通大学硕士研究生学位论文第5 页 1 2 国内外研究现状 在1 9 9 9 年，第一个p 2 p 软件n a p s t e r 诞生，标志着p 2 p 技术的产生。随 后，p 2 p 技术进入了飞速发展时期。目前p 2 p 的主要研究组织，包括世界计 算机领域最有影响力的几大组织：a c m 、i e e e 和u s e n i x 等，研究p 2 p 的 著名高校：u cb e r k e l e y 、m r r 、s t a n f o r d 、c m u 、u i u c 和r i c eu n i v e r s i t y 等， 研究p 2 p 的著名公司：m i c r o s o f t 、m m 、i n t e l 、s u n 和h p 等。 目前p 2 p 的研究重点已经从核心机制逐渐转向增强机制，目前的研究热 点集中在以下几个方面：p 2 p 网络中语义模糊查询、容错性、拓扑意识与一 致性问题、声誉和安全性问题。 在国内，一些高校在2 0 0 3 年前后开始p 2 p 的研究开发工作，其中有影 响的是：北京大学网络实验室开发的“m a z e 网络文件系统”、华中科技大学 集群与网格计算机实验室开发的“a n y s e e 视频直播系统”、清华大学高性能 计算机研究所开发的“g r a n a r y 广域网分布式存储系统”( 处于开发优化的过 程中) 。 在p 2 p 多媒体传输领域，国外成熟的系统有p e e r c a s t 、m e r c o r a 、s k y p e 等。在国内，具有代表性的主要有p p l i v e 、t v a n t s 、a n y s e e 、c o o l s t r e a m i n g 等视频直播软件。 1 3 论文的研究内容 目前的流媒体系统存在着扩展性差、可靠性不高、服务质量得不到保障 等缺陷。本文在研究现行模型和技术的基础上，设计了一个基于g o s s i p 协议 的流媒体服务模型，并对其实现技术进行了探讨，以促进p 2 p 环境下流媒体 服务技术的进一步应用和发展。主要研究内容包括以下几点： 详细分析了基于g o s s i p 协议的d o n e t 模型，包括其系统结构和实现 机制。 设计了一套适用于p 2 p 流媒体模型的任务管理机制，并对其实现方 式进行了详细论述。 设计了基于g o s s i p 协议的应用层组播方案，包括网络中节点的加入， 退出，以及数据伙伴关系的管理。 给出了缓存调度的相关算法和实现方式。 西南交通大学硕士研究生学位论文第6 页 在n s 2 平台下对系统进行了仿真实验。 1 4 论文章节安排 本文首先介绍了基于p 2 p 的流媒体发布与播放系统( p p v i d e o ) 涉及到的 流媒体技术，然后详细介绍了几种典型的p 2 p 流媒体模型并阐述了我们使用 d o n e t 模型的原因，在此基础上给出了p p v i d e o 的设计实现。本文剩下的部 分是这样组织的： 第二章对流媒体应用层组播技术进行详细的引入。主要对p 2 p 技术和流 媒体技术作了详细的阐述，最后介绍了应用层组播技术的基本思想和优缺点。 第三章重点分析基于g o s s i p 应用层组播模型。 第四章主要对p p v i d e o 的系统设计进行阐述。 第五章主要对系统的实现进行论述。 第六章对系统算法进行了仿真实验。 西南交通大学硕士研究生学位论文第7 页 第2 章流媒体应用层组播技术相关理论 应用层组播技术基于流媒体技术和p 2 p 技术，而p 2 p 技术涉及到p 2 p 网 络结构以及路由协议，流媒体技术则涉及到媒体数据的采集、流传输和播放。 本章将介绍p 2 p 技术和流媒体技术，包括p 2 p 技术的发展和应用现状，流媒 体技术特征和传输控制协议。 2 1p 2 p 技术 p 2 p 技术属于覆盖层网络( o v e r l a yn e t w o r k ) 的范畴，是相对于客户机n 务器( c s ) 模式来说的一种网络信息交换方式。在c s 模式中，数据的分发采 用专门的服务器，多个客户端都从此服务器获取数据。这种模式的优点是： 数据的一致性容易控制，系统也容易管理。但是此种模式的缺点是：因为服 务器的个数只有一个( 即便有多个也非常有限) ，系统容易出现单一失效点： 单- n 务器面对众多的客户端，由于c p u 能力、内存大小、网络带宽的限制， 可同时服务的客户端非常有限，可扩展性差。p 2 p 技术正是为了解决这些问 题而提出来的一种对等网络结构。在p 2 p 网络中，每个节点既可以从其他节 点得到服务，也可以向其他节点提供服务。这样，庞大的终端资源被利用起 来，一举解决了c s 模式中的两个弊端。p 2 p 技术存在三种结构模式的体系 结构，即以n a p s t e r 为代表的混合式p 2 p 体系结构、以g n u t e l l a 为代表的纯 p 2 p 网络结构和结构化p 2 p 体系结构。图2 1 所示为混合式结构和纯网络结 构。 西南交通大学硕士研究生学位论文第8 页 2 1 1p 2 p 结构 图2 ip 2 p 混合式结构和纯网络结构 ( 1 ) 混合式p 2 p 结构 “混合式 这里指的是c s 与p 2 p 的混合，它反映了网络工作模式从 c s 向p 2 p 的过渡，这种结构仍然是以服务器为核心的网络，但服务器已经 退化到只提供信息的查询和搜索，节点之间的数据传输是p 2 p 模式的，不经 过服务器。这种结构的自组织、自适应基本上依靠服务器的监控，用户之间 的协作建立在服务器的基础之上，因此只要服务器正常工作，网络和节点信 息就能够得到有效的维护。这种p 2 p 结构的优点是提高了网络的可管理性， 使得对共享资源的奋找和更新非常方便：缺点是网络的稳定性差( 服务器失效 则该服务器下的对等节点全部失效) 。 ( 2 ) 纯p 2 p 网络结构 纯p 2 p 网络结构也被称作广播式的p 2 p 模型，它没有集中的中央目录服 务器，每个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连 接构成一个逻辑覆盖的网络。对等节点之间的内容杏询和内容共享都是直接 通过相邻节点广播接力传递，同时每个节点还会记录搜索轨迹，以防止搜索 环路的产生。纯p 2 p 网络结构解决了网络结构中心化的问题，扩展性和容错 性较好。由于没有一个对等节点知道整个网络的结构，网络中的搜索算法以 泛洪的方式进行，控制信息的泛滥消耗了大量带宽并很快造成网络拥塞甚至 网络的不稳定，从而导致整个网络的可用性较差，另外这类系统更容易受到 西南交通大学硕士研究生学位论文第9 页 垃圾信息，甚至是病毒的恶意攻击。 ( 3 ) 结构化p 2 p 网络结构 结构化p 2 p 网络最大特点即在于它们都有一个严格的覆盖网络拓扑结 构，这也是它们区别于前两种p 2 p 网络混合式p 2 p 网络结构和纯p 2 p 结 构的主要特征。所有的结构化p 2 p 网络都使用分布式散列表( d h t ) 来将节 点、数据对象映射到覆盖网络中。为了使这种映射唯一、均匀、随机，分布 式散列表都使用安全的一致性散列函数。结构化p 2 p 网络的优点是路由效率 高，可扩展性好，数据可以准确定位。缺点是相对于纯p 2 p 网络来说，开发 实现难度大，容错性和适应性比纯p 2 p 网络稍差。目前在i n t e t n e t 上，大量 的实际应用还是基于非结构化的p 2 p 覆盖网络，采用基于d h t 算法结构化 p 2 p 覆盖网络还比较少。 2 1 2p 2 p 技术特点 p 2 p 技术的特点体现在以下几个方面： 非中心化( d e c e n t r a l i z a t i o n ) ：网络中的资源和服务分散在所有结点上， 信息的传输和服务的实现都直接在结点之间进行，可以无需中间环节和服务 器的介入，避免了可能的瓶颈。p 2 p 的非中心化基本特点，带来了其在可扩 展性、健壮性等方面的优势。 可扩展性：在p 2 p 网络中，随着用户的加入，不仅服务的需求增加了， 系统整体的资源和服务能力也在同步地扩充，始终能较容易地满足用户的需 要。整个体系是全分布的，不存在瓶颈。理论上其可扩展性几乎可以认为是 无限的。 健壮性：p 2 p 架构天生具有耐攻击、高容错的优点。由于服务是分散在 各个结点之间进行的，部分结点或网络遭到破坏对其它部分的影响很小。p 2 p 网络一般在部分结点失效时能够自动调整整体拓扑，保持其它结点的连通性。 p 2 p 网络通常都是以自组织的方式建立起来的，并允许结点自由地加入和离 开。p 2 p 网络还能够根据网络带宽、结点数、负载等变化不断地做自适应式 的调整。 高性价比：性能优势是p 2 p 被广泛关注的一个重要原因。随着硬件技术 的发展，个人计算机的计算和存储能力以及网络带宽等性能依照摩尔定理高 速增长。采用p 2 p 架构可以有效地利用互联网中散布的大量普通结点，将 西南交通大学硕士研究生学位论文第1 0 页 计算任务或存储资料分布到所有结点上。利用其中闲置的计算能力或存储空 间，达到高性能计算和海量存储的目的。通过利用网络中的大量空闲资源， 可以用更低的成本提供更高的计算和存储能力。 隐私保护：在p 2 p 网络中，由于信息的传输分散在各节点之间进行而 无需经过某个集中环节，用户的隐私信息被窃听和泄漏的可能性大大缩小。 此外，目前解决i n t e r n e t 隐私问题主要采用中继转发的技术方法，从而将通 信的参与者隐藏在众多的网络实体之中。在传统的一些匿名通信系统中，实 现这一机制依赖于某些中继服务器节点。而在p 2 p 中，所有参与者都可以 提供中继转发的功能，因而大大提高了匿名通讯的灵活性和可靠性，能够为 用户提供更好的隐私保护。 负载均衡：p 2 p 网络环境下由于每个节点既是服务器又是客户机，减少 了对传统c s 结构服务器计算能力、存储能力的要求，同时因为资源分布在 多个节点，更好的实现了整个网络的负载均衡。 2 1 3p 2 p 技术的应用现状 由于能够极大缓解传统架构中服务器端的压力过大、单一失效点等问题， 又能充分利用终端的丰富资源，所以p 2 p 技术被广泛应用于计算机网络的各 个应用领域，如分布式科学计算、文件共享、流媒体直播与点播、语音通信 及在线游戏支撑平台等方面。具体如下： 分布式科学计算，例如最著名的美国加利福尼亚大学的 “s e t i h o m e ”项目。 文件和其它内容共享的p 2 p 网络，例如n a p s t e r 、g n u t e l l a 、e m u l e 、 b i t t o r r e n t 等； 流媒体直播，例如香港科技大学的c o o l s t r e a m i n g ，清华大学的 g r i d m e d i a t l4 1 。 即时通讯交流，包括i c q 、o i c q 、y a h o om e s s e n g e r 等； 安全的p 2 p 通讯与信息共享，例如s k y p e 、c r o w d s 、o n i o nr o u t i n g 竺 寸o 网络游戏平台，例如华中科技大学推出的p k t o w n 。 西南交通大学硕士研究生学位论文第1 1 页 2 2 流媒体技术 流媒体其实是一种多媒体文件，其在网络传输的过程中应用了流技术。 所谓流技术，就是将完整的影像和声音数据经过压缩处理后保存在网站服务 器上，用户可以边下载边获取信息，从而无需将整个压缩文件下载之后再观 看的网络传输技术。流式传输是流媒体实现的关键技术。 流媒体数据流具有连续性、实时性、时序性三大特点，具有严格的前后 时序关系。在实际的互联网中，各个用户计算机终端的情况不一、各台路由 器的情况不一以及各个网络所使用的协议不一，这就使得流媒体的应用不得 不经常面对有限的带宽、不可预测的延迟和可用性，流媒体的普及遇到了难 题。 2 2 1 流式传输 流式传输7 】定义很广泛，现在主要指通过网络传送媒体( 如视频、音频) 的技术总称。其特定含义为通过i n t e r n e t i n t r a n e t 将影视节目传送到p c 机。 流式传输方式将整个a v 及3 d 等多媒体文件经过特殊的压缩方式分成一个 个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方 式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而 是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备 ( 硬件或软件) 对压缩的a v 、3 d 等多媒体文件解压后进行播放和观看。此时 多媒体文件的剩余部分将在后台的服务器内继续下载。其几秒或几十秒的启 动延时是为了在开始播放前先采集一小部分所谓缓冲的预备数据，从而能够 保证在阻塞造成网络速度下降的情况下播放不会发生中断。这种媒体播放方 式，无论文件长3 0 秒还是3 0 分钟，用户只需要在观看前等上几秒或几十秒， 生成这个缓冲数据，相比用户下载媒体文件的漫长的等待时间甚至可以忽略 不计。 流式传输过程如图2 2 所示： 西南交通大学硕士研究生学位论文第1 2 页 图2 - 2 流式传输过程图 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w e b 浏览 器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时 数据从原始信息中检索出来；然后客户机上的w e b 浏览器启动流媒体播放程 序，使用h t t p 从w e b 服务器检索相关参数对流媒体播放程序初始化。 2 2 2 主要的实时流式传输协议介绍 1 r t p r t c p 协议 实时传输协议( r e a l t i m et r a n s p o r tp r o t o c o l ，r t p ) 和实时传输控制协议 ( r e a l t i m ec o n t r o lp r o t o c o l ，r t c p ) i t s 都是基于m 的应用层协议。r t p 为实 时音视频数据提供端到端的传送服务，包括有效载荷类型标识、序列标号、 时间标签和源标识，可以提供时间信息和实现流同步。由于t c p 中重传机制 会引起时延，通常r t p 运行于u d p 之上，但是也可以在t c p 或者a t m 等 协议之上运行。r t c p 用来监视服务质量和在会议过程中交换信息。它提供 q o s 反馈、参与者标识、控制包缩放、媒体问同步等服务。 r t p 被定义在一对一或者一对多的传输情况下工作，其目的是提供时间 信息和实现流同步。图2 3 为r t p 报文头的格式。 0 3 1 v = 2pxc cmp t s e q u e n c en u m b e r t i m es t a m p s y n c h r o n i z a t i o ns o u r c e ( s s r c ) i d e n t i f i e r c o n t r i b u t i n gs o u r c e ( c s r c ) i d e n t i f i e r s 图2 3r t p 报文头 在r t p 会话期间，各参与者周期性的传送r t c p 包。r t c p 包中含有己 发送的数据包的数量、丢失的数据包的数量等统计资料，因此服务器可以利 西南交通大学硕士研究生学位论文第1 3 页 用这些信息动态的改变传输速率，甚至改变有效载荷类型，以适应网络的带 宽。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使传输效率最佳 化，因而特别适合传送网上的实时数据。 r t c p 执行以下四大功能：( 1 ) 提供数据发布的质量反馈；( 2 ) 发送带有 称作规范名字( c n a m e ) 的r t p 源持久传输层标识；( 3 ) 用于控制r t c p 包数 量的数量用语；( 4 ) 传送最小连接控制信息。 r t c p 报文格式与r t p 报文类似，包括固定的报文头部分和可变长结构 元素，结构元素的意义由r t c p 报文的类型决定，因为通常r t c p 包非常小， 一般把多个r t c p 包合并为一个r t c p 包，然后利用一个底层协议所定义的 报文格式进行发送。 r t c p 报文头部参数首先要区别携带不同控制信息的r t c p 报文的类 型，r t c p 报文的类型主要有以下几种：( 1 ) s r ：发送报告，当前活动发送者 发送、接收统计。( 2 ) r r ：接收报告，非活动发送者接收统计。( 3 ) s d e s ： 源描述项，包括c n a m e 。( 4 ) b y b ：表示结束。( 5 ) a p p ：应用特定函数。 2 r t s p 协议 实时流协议( r e a l t i m es t r e a m i n gp r o t o c o l ，r t s p ) 1 9 】是由r e a l n e t w o r k s 和n e t s c a p e 共同提出的一个应用层协议。它可以在媒体服务器和客户端之间 建立和控制连续的音视频媒体流，协同更低层协议r t p 、r s v p 等一起来提 供基于i n t e m e t 的整套流式服务。r t s p 的目的是为流媒体实现多点传送和以 点播方式单一传送提供健壮的协议。r t s p 利用流技术把数据分成许多包， 包的大小由客户端和服务端的实际带宽决定，当客户端接收到足够的数据包 时，用户不需下载整个媒体文件就可以开始播放流媒体。因为播放器在播放 一个包的同时，解压另一个包并下载第三个包。流媒体数据可以是输入的实 况信息，也可以是存储的视、音频片段。通过r t s p 协议，服务器端可以跟 踪流媒体传输的时间、地址和方式。r t s p 增加了对流媒体的控制请求，能 恢复来自媒体服务器的流媒体。 r t s p 在媒体服务器和客户端之间建立和控制连续的音频视频媒体流。 当客户端向媒体服务器请求连续的媒体数据时，媒体服务器负责播放和录制 服务。r t s p 像是服务器和客户端之间的“网络远程控制”。它提供如下操作： a 从媒体服务器获取媒体：客户端可以请求一个节目描述以及要求服务 器建立会话来发送请求的数据。 西南交通大学硕士研究生学位论文第1 4 页 b 邀请媒体服务器参加会议：媒体服务器可以被邀请加入一个会议，来 播放媒体或者录制节目。 c 添加媒体到现存节目：服务器或客户端能够互相通报可用的新增媒 体。 在r t s p 中，每个节目和媒体流由r t s pu r l 确定。全部节目和媒体特 性都定义在节目描述文件中，它包括了编码、语言、r t s pu r l s 、目的地址、 端口号和其他参数。客户端可以通过h t ，i p 、e m a i l 或其他方式获取节目描述 文件。 r t s p 请求与数据通常在不同的通道上发送。图2 4 显示了r t s p 与r t p 、 r t c p 在不同通道传送的方式。 图2 4 不同通道中传送r t s p r t p r t c p 2 2 3 流媒体直播实现原理 基于互联网的流媒体直播系统包含三个核心部分，直播源、流数据网络 传输和回放( 见图2 5 ) 。 西南交通大学硕士研究生学位论文第1 5 页 图2 5 流媒体直播系统结构 直播源负责流式传输前的预处理工作，即进行音视频数据的采集和编码 工作，对原始的音视频信号进行压缩编码并转化为适合网络传输的音视频流 格式。流数据的网络传输是视频直播系统的重中之重，它决定着系统的用户 规模和用户所接收到的流媒体数据的质量。网络传输的主要作用就是将直播 源产生的压缩后的音视频流实时的传送到每个用户节点。回放是指用户节点 在接收到流数据之后，将压缩的音视频数据进行解码播放。 简单地说，流媒体直播实现原理就是直播源通过采用高效的压缩算法， 在降低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合流 式传输：然后通过架设流媒体服务器，修改m i m e 标识，利用各种实时协议 传输流数据。客户端接收到流数据后进行解码回放。由上可以看出视频直播 系统的两个核心技术问题：流式传输前的预处理( 即：流媒体的编解码技术) 和流媒体的网络传输技术。 2 2 4p 2 p 的流媒体发布系统的优势 解决流媒体的实时性不是一个简单的任务，至少将面临三个困难： 首先，与传统的文本应用相比，流媒体应用通常需要更高的带宽。一个 典型的2 5 s ( 3 2 0 2 4 0 ) 的q u i c k t i m e 电影片断，需要2 3 m b ，这相当于大约1 0 0 0 屏的文本数据。这在过去只传输文本数据的网络是无法想象的。 其次，大多数流媒体应用需要实时流量。音频和视频数据必须能依照采 样码率连续播放。如果数据不能及时到达，播放进程将停止，产生听觉、视 觉无法容忍的缺陷。除了延迟之外，网络拥塞也对实时流量有着非常严重的 西南交通大学硕士研究生学位论文第1 6 页 影响。如果网络处于拥塞状态，对非实时流量的唯一影响是传输需要更长的 时间来完成。但对于实时数据，如果不能及时到达，将会认为过时并丢弃。 如果不采取适当的反应措施，丢包的重传将使情形进一步恶化，并最终导致 网络崩溃。 最后，流媒体数据通常具有突发性。只增加带宽并不能解决突发问题。 对于大多数流媒体应用，接收端有一个有限的缓冲。如果不采取方法来平滑 数据流，将使应用缓冲溢出或下溢。当数据到达过快，缓冲会溢出，一些数 据包将丢失并导致低质量；当数据到达过慢，缓冲会下溢，应用将处于饥饿 状态。 与流媒体的高带宽、实时性和突发流量相比，在现实生活中，网络为成 千上万的用户共享，有着有限的带宽、不可预测的延迟和可用性。如何解决 这些矛盾，是流媒体必须面对的。 传统的流媒体播放方式基于c s 集中式网络模式，对于以上三大困难很 难找到行之有效的解决方案。而p 2 p 技术采用分布式网络模式，很好的解决 了网络带宽瓶颈等问题。在流媒体技术中融入p 2 p 技术，用户可以根据他们 的网络状态和设备能力与一个或几个用户建立连接来分享节目，这种连接能 减少服务器的负担，合理使用网络带宽，提高每个用户的节目播放质量，即 使是大量的用户同时访问流媒体服务器，也不会造成服务器因负载过重而瘫 痪。 2 3 应用层组播技术 组播是介于广播和单播的一种数据传递形式，它是主机之间“一对一组” 的通信模式，即加入了同一个组的主机可以接受到此组内的所有数据，四组 播是组播技术的典型。 2 3 1i p 组播技术及其存在的问题 p 组播8 9 1 是d 协议的扩展，是互联网工程任务组( i e t f ) 为了适应大规模 数据在i n t e r n e t 上的发布，在口协议中补充的技术。组播指的是在i n t e m e t 网上对组口站点进行数据传送，这一组i p 站点是动态形成的，每一个口 站点都可以动态地；h a , 或者退出这个组。运行t c p i p 协议集的有组播能力的 西南交通大学硕士研究生学位论文第1 7 页 节点可以接收组播消息。组播技术融合了单播和组播的特点，可以将一份数 据同时发送给一组特定的用户，避免了数据的冗余。在流媒体应用中使用组 播技术，从而减小对服务器的压力，并且能够有效的节省网络带宽，如图2 - 6 所示。 s e r v e r 三兰兰 国囊妄最c c n l i e 明n t c l i e n t 。 没有组播的情况 ，q 图2 - 6 非组播与组播 然而在实际的应用中，口组播技术仍然存在一些很重要的问题，导致其 未能得到大规模使用。这些问题有： 口组播应用存在数据包丢失和乱序问题。这是因为p 组播数据包典 型使用用户数据报协议( u d p ) ，而u d p 是一种“尽力而为 ( b e s t e f f o r t ) 协议。 口组播很难像安全组播【1 0 1 那样只有注册的发送者才可以向组发送数 据：只有注册的接收者才可以接收组播数据。 h a t e m e t 网络的异构性导致口组播应用的复杂性。异构性表现在：第 一，i n t e r n e t 的低层硬件平台千差万别，可以是e t h e r n e t 、a t m 、f d d i 、 令牌环网、帧中继、串行链路( p s t n 、x d s l ) 、无线网络、卫星网 络、移动网络等等。这些低层网络具有不同的带宽、硬件存取控制 方式、时延特征。在多链路情况下，各链路的带宽与代价也可能不 同。第，主机的硬件处理能力和操作系统各不相同。就操作系统 而言，主要的操作系统，如u n i x 、w i n d o w s 、m a c o s 、o s 2 有不同 的变种和版本，对i p 组播的支持程度、进程的调度与管理、t c p i p 的实现方式和a p i 都有差异。第三，互连设备的差异。路由器、交 换机、网络服务器在背板能力、包转发率、支持的路由协议的互操 作性。 【 e ：重 一 甜 晰口aq 一 、 一 睡盆 西南交通大学硕士研究生学位论文第1 8 页 应用层组播是p 组播的重要补充。但与碑组播不同的是，应用层把组 播的功能从网络层移到应用层，即把p 2 p 技术应用到流媒体，每个流媒体用 户也是p 2 p 中的一个节点。在以前的流媒体系统中，用户之间是没有任何联 系的，但是采用了p 2 p 技术后，用户可根据他们的网络状态和设备能力与一 个或几个用户建立连接来分享数据，这种连接能够减少服务器的负担和提高 每个用户的视频质量。正是因为这样的网络结构，使得应用层组播本身具有 p 2 p 网络相同的可扩展性，高性能价格比，负载均衡等特点。 2 3 2 应用层组播的基本思想 应用层组播的基本思想【1 6 】如图2 7 所示。图中方框代表路由器，圆圈代表主 机。图2 7 ( a ) 是网络