（信号与信息处理专业论文）基于流媒体技术的视频点播系统.pdf

中文摘要 电视机己走进了千家万户，看电视已成为家庭文化娱乐活动的主要内容。但 长期以来广播电视是以单向广播的，人们只能被动地收看电视台播出的节目，在 时间和节目的选择上缺乏主动性。近年来，随着数字技术和i n t e m e t 的发展，一种 按用户要求播放视频信号的视频点播系统应运而生。 视频点播v o d ( v i d e o - o n d e m a n d ) 即交互式多媒体视频点播，是综合了计 算机技术、通讯技术和电视技术而迅速新兴的一门综合性技术。它利用网络和视 频技术的优势，彻底改变了过去收看节目的被动方式，实现了节目的按需收看和 任意播放，是集动态影视图像、静态图片、声音、文字等信息为一体，为用户提 供实时、交互、按需点播服务的系统。 一 本文首先对v o d 系统的概念、系统构成及分类进行了简单的介绍，并对v o d 系统的应用环境进行了相应的阐述；进而对网络视频点播系统中的流媒体技术、 s o c k e t 网络通信、d i r e c t s h o w 播放技术以及视频点播系统的框架进行了详细的介 绍；此外，利用目前颇为流行的p 2 p 思想，提出了多用户多线程分配方案，缓解 了服务器资源紧张的问题，实现了一对多的视频点播系统。 通过本文的研究，提出了一种可行的v o d 系统方案，并解决了v o d 系统的 几个关键技术。在此基础上，给出了一种软件实现结构，基本满足了用户点播的 要求，为今后v o d 系统的研究提供了一定的理论基础。 关键词：视频点播；流媒体；s o c k e t ：d i r e c t s h o w ；多线程 a b s t r a c t t h et vs e th a sa l r e a d yw a l k e di n t oh u g en u m b e r so ff a m i l i e sa n dw a t c h i n gt v h a sb e c o m em a i nr e c r e a t i v ec o n t e n to ff a m i l yc u l t u r e b u tw et a i lo n l yl i s t e nt ot h e r a d i oa n dw a t c h iv p a s s i v e l yf o ra g e s 嬲t h eu n i l a t e r a lb r o a d c a s tm o d eo ft v t r a n s m i s s i o n u s e r sc a nn o ts e l e c tw h a tt h e yl i k ea tt h e i rf r e et i m ea c t i v e l y r e c e n t l y , w i t ht h ed e v e l o p m e n to fd i g i t a lt e c h n o l o g ya n d n t e m e t , v o ds y s t e mw h i c hc h a n g e s t h ep a s s i v es t y l eo fi n f o r m a t i o na c q u i r e m e n ta p p e a r s v o dc a l l e di n t e r a c t i v ev i d e o - - o n - d e m a n ds y s t e mi st h ei n t e g r a t e dt e c h n o l o g yo f c o m p u t e r ，n e t w o r kc o m m u n i c a t i o na n dt e l e v i s i o nt e c h n o l o g y w i t ht h ea d v a n t a g e so f i n t e m e ta n dv i d e o ，i tr a d i c a l l yo v e r c o m e st h ep a s s i v ew a yo fw a t c h i n gt va n d c o m p l e t e l yi m p l e m e n t st h eu s e rsi n i t i a t i v eo fg e r i n gi n f o r m a t i o n v o dn o to n l yi s t h ei n t e g r a t i o no fd y n a m i cp i c t u r e ，v i d e o ，a u d i o ，t e x ta n ds oo n ，b u ta l s oi st h es y s t e m w h i c hc a ns u p p l yr e a la n di n t e r a c t i v es e r v i c ea c c o r d i n gt ot h eu s e rsr e q u i r e m e n t i nt h i sp a p e lt h ec o n c e p t , s t r u c t u r ea n dt h ec l a s s e so fv o ds y s t e ma r ef n - s t l y i n t r o d u c e d , a n dt h e nt h ea p p l i c a t i o ne n v i r o n m e n ta b o u ti ti sd e s c r i b e d s e c o n d l y , s o m ek e yt e c h n o l o g i e s s u c ha s s t r e a m i n gm e d i a , s o c k e tt e l e c o m m u n i c a t i o na n d d i r e c t s h o wa r er e l a t e dw i t ht h i sv o d s y s t e m ia l s op r e s e n tt h eb a s i cf t a m ea n dt h e o n d e m a n d p r o c e s so ft h i ss y s t e m i na d d i t i o n ，am u l t i - u s e ra n dm u l t i t h r e a d a s s i g n m e n tp l a nw h i c hc a na l l e v i a t et h et e n s eq u e s t i o no fs e r v e rr e s o u r c e si sp r o p o s e d i nt h el a s tc h a p t e ro ft h i sp a p e r t h i st h o u g h ti ss i m i l a rt ot h ep 2 pw h i c hi sw i d e l y u s e da tp r e s e n t a sar e s u l t ，av o d s y s t e mo fp o i n tt om u l t i p o i n tc a l lb er e a l i z e d e a s i l y f r o mt h er e s e a r c ho ft h i sp a p e r , a na v a i l a b l ev o d p r o j c o ti sp r o p o s e da n ds o m e k e yt e c h n o l o g i e sa r ea l s or e s o l v e d t h ep r o p o s e ds o f t w a r er e a l i z a t i o nc a nb a s i c a l l y s a t i s f yt h er e q u i r e m e n t so fu s e r sf o rv o d a tt h es a m et i m e ，i ti sat h e o r yg r o u n d w o r k f o ro u rf u t u r er e s e a r c h k e y w o r d s ：v o d ；s t r e a m i n gm e d i a ；s o c k e t ：d i r e c t s h o w ：m u l t i t h r e a d i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名岛妇盘 签字日期： 呷年 7 月 心日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权苤洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：弓洳蔓 签字日期： b 9 年护阳 翩签名：辜崛 签字日期：。矽7 年月9 7 日 第一章绪论 第一章绪论 电视机已走进了千家万户，看电视已成为家庭文化娱乐活动的主要内容。但 长期以来，广播电视是以单向广播的，人们只能被动地收看电视台播出的节目， 在时间和节目的选择上缺乏主动性。近年来，随着数字技术和i n t e r n e t 的发展， 尤其是许多校园网、小区宽带网、企业或者政府机关内部网的建设已经可以满足 人们对于带宽的要求，广播电视与计算机和通信业相互汇聚融合，一种按用户要 求播放视频信号的视频点播系统应运而生。 视频点播v o d ( v i d e o o n d e m a n d ) 即交互式多媒体视频点播，是随着计算 机技术和网络通信技术的发展，综合了计算机技术、通讯技术和电视技术而迅速 新兴的一门综合性技术。相对于现有的电视、录像机和影碟机来说，视频点播技 术的出现是一种革命性的突破。它利用网络和视频技术的优势，彻底改变了过去 收看节目的被动方式，实现了节目的按需收看和任意播放，是集动态影视图像、 静态图片、声音、文字等信息为一体，为用户提供实时、交互、按需点播服务的 系统【1 1 。 如果说i n t e r n e t 的发展是一次革命的话，那么v o d 则是跟随网络发展后， 在新一轮传播媒体当中的革命。v o d 的出现，让你随时可以直接点播希望收看 的内容，就好像播放刚刚放进自己家里的录像机或v c d 中的一部新片子，但你 又不需要购买录像或者v c d 盘，也不需要录像机或者v c d 。信息技术的梦想就 是通过多媒体网络将视频流按照个人的意愿送到千家万户。 今天，视频点播已不是一个新鲜的名词，在远程教育、数字图书馆、企业培 训、媒体娱乐等领域内，v o d 已经蓬勃发展起来。v o d 给老百姓的文化、商业、 娱乐生活带来极大方便，也带来了无限的商机。高速路有了，就要有车跑，v o d 应用就是宽带多媒体网络上最醒目的车。然而，让v o d 应用真正稳定高效的跑 起来，需要解决的关键问题包括：尽可能多的点播用户、足够的可点播内容、稳 定的网络连接、尽可能短的网络延迟、优质的音视频效果等。所以搭建稳定高效 的v o d 应用平台，向用户提供满意的v o d 点播服务是解决问题的关键所在。 1 1 视频点播系统的构成 v o d 系统有三大部分构成，它们是服务器端系统、网络传输系统和客户端 第一章绪论 系统，如图1 1 所示。 服务器传输网络客户端 图1 1v o d 的系统构成图 1 ) 服务器端系统 服务器端系统主要由视频服务器、档案管理服务器、内部通讯子系统和网络 接口组成。档案管理服务器主要承担用户信息管理、计费、影视材料的整理和安 全保密等任务。内部通讯子系统主要完成服务期间信息的传递、后台影视材料和 数据的交换。网络接口主要实现与外部网络的数据交换和提供用户访问的接口。 视频服务器主要由存储设备、高速缓存和控制管理单元组成，其目标是实现对媒 体数据的压缩和存储，以及按请求进行媒体信息的检索和传输。视频服务器与传 统的数据服务器有许多显著的不同，需要增加许多专用的软硬件功能设备，以支 持该业务的特殊需求。例如：媒体数据检索、信息流的实时传输以及信息的加密 和解密等。对于交互式的v o d 系统来说，服务器端系统还需要实现对用户实时 请求的处理、访问许可控制、v c r ( v i d e oc a s s e t t er e c o r d e r ) 功能( 如，快进、 暂停、快退等) 的模拟。 2 ) 网络传输系统 网络传输系统包括主干网络和本地网络两部分。因为网络传输负责视频信息 流的实时传输，所以是影响连续媒体网络服务系统性能极为关键的部分。同时， 媒体服务系统的网络部分投资巨大，故而在设计时不仅要考虑当前的媒体应用对 高带宽的需求，而且还要考虑将来发展的需要和向后的兼容性。当前，可用于建 第一章绪论 立这种服务系统的网络物理介质主要是：c a t v ( 有线电视) 的同轴电缆、光纤 和双绞线。而采用的网络技术主要是：快速以太网、f d d i ( 光纤分布式数据接 口) 和a t m ( 异步传输模式) 技术。 3 ) 客户端系统 只有使用相应的终端设备，用户才能与某种服务或服务提供者进行联系和互 操作。在v o d 系统中，需要电视机和家庭网关或者机顶盒( s e t t o pb o x ) 等控 制和解码设备，在基于p c 机的v o d 系统中，还需要一台有足够解码能力的计 算机以播放来自视频服务器的影音数据。客户端系统中，除了涉及相应的硬件设 备，还需要配备相关的软件。例如，为了满足用户的多媒体交互需求，必须对客 户端系统的界面加以改造。此外，在进行连续媒体播放时，媒体流的缓冲管理、 音频与视频数据的同步、网络中断与演播中断的协调等问题都需要进行充分的考 虑。 可见v o d 服务虽然很诱人，但其实现涉及媒体处理和网络传输等多种技术。 随着网络技术、计算机技术、存储技术等的飞速发展，广大用户充分享受v o d 乐趣的日子已经变为现实。v o d 的出现使得用户可以随机获取多媒体信息，不 再局限于某一时间、日期和固定节目的限制。 1 2v o d 的分类 目前，根据用户可以对视频流控制的程度，v o d 系统主要划分为三类： n v o d ，t v o d ，i v o d 。 n v o d ( n e a rv i d e o - o n d e m a n d ) ，可称其为准视频点播。这种点播的方式 是：多个视频流依次间隔一定的时间启动并发送同样的内容。比如，十二个视频 流每隔十分钟启动一个发送同样内容的两小时的电视节目。如果用户想看这个电 视节目可能需要等待，但最长不会超过十分钟，他们会选择距他们最近的某个时 间起点进行收看。在这种方式下，一个视频流可能为许多用户共享。准视频点播 系统允许众多用户共享一条通信信道，所以信道利用率相对比较高，费用也就减 少了很多，但其缺点就是不能立即响应用户的视频点播请求。 t v o d ( t r u ev i d e o o n d e m a n d ) ，称其为真视频点播，它真正支持即点即 播。当用户提出请求时，视频服务器将会立即传送用户所要的视频内容。若有另 一个用户提出同样的需求，视频服务器就会立即为它再启动另一个传输同样内容 的视频流。不过，一旦视频流开始播放，就要连续不断的播放下去，直到停止或 结束。这种方式下，每个视频流专为某个用户服务，一个用户独占一条宽带信道 第一章绪论 ( 用户终端到视频服务器之间) ，因此，t v o d 系统对网络和视频服务器的要求 都是很高的，其运行成本也很高。 i v o d ( i n t e r a c t i v ev i d e o o n d e m a n d ) ，称为交互式视频点播。它比前两种 方式有很大程度上的改进。它不仅可以支持即点即播，而且还可以让用户对视频 流进行交互式的控制。这时，用户就像可操作传统的录像机一样，实现节目的播 放、暂停、倒退、快进和自动搜索等。其优点是用户能实时点播并能对节目随意 进行快进、倒退至任意位置，但信道相对来讲利用率较低，同样其费用相应比较 高一些。本系统就是在交互式视频点播的基础上作了一些改动而实现的。 1 3v o d 关键技术 v o d 是- - 1 7 综合技术，主要包括多媒体数据压缩技术、多媒体网络传输技 术和多媒体数据库技术【2 】【3 】【4 】以下来做详细的介绍。 1 ) 多媒体数据压缩技术 多媒体技术的核心不是多媒体的展示技术而是多媒体数据的压缩技术。多媒 体数据压缩技术研究的主要问题包括：数据压缩比、压缩解压缩速度以及简捷 的压缩算法。以压缩解压缩后的数据是否与压缩前的原始数据完全一致作为标 准，可以把数据压缩方法划分为无失真压缩( 可逆压缩) 和失真压缩( 不可逆压 缩) 两类。 数字化视频中一般伴随有音频信号，所以视频的数据压缩方法尤其受到重 视。主要的视频压缩标准有h 2 6 x 、j p e g 和m p e g 等系列。m p e g 标准是一种 在高压缩比的情况下，仍能保证高质量画面的压缩算法，最适于视频v o d 的存 储、点播和网上传输。m p e g 已经不单是一种技术，它已成为一种工业标准，促 进了多媒体有关技术的发展，对于v o d 这样的应用系统的产生和发展有着重要 的作用。这里强调的是m p e g - 4 标准，它是一种面向对象、基于内容的压缩编码 标准，侧重于对多媒体信息内容的访问以及更加注重多媒体系统的交互性和灵活 性。m p e g - 4 可根据应用的不同要求现场配置解码器，通过引入a v 对象 ( a u d i o v i s u a lo b j e c t s ) ，使更多的交互操作成为可能，这为多媒体数据压缩提 供了广阔的发展平台。 2 ) 多媒体网络传输技术 第一章绪论 高速接入网和高速互联互通的传输网是v o d 系统实现的有力保障。v o d 中 视音频数据的时间相关性很强，对网络的延迟特别敏感，带宽和实时性要求尤为 突出。因此应保证具备合理动态分配网络带宽的功能，以适应多媒体数据高速率 和突发性传输的要求，以保证实现高质量、平滑和动态视频的多媒体数据流传输。 3 ) 多媒体数据库技术 由于多媒体数据量十分巨大，随着应用的扩展，系统会积累大量的多媒体数 据，v o d 的数据库存管理系统必须保证用户能迅速方便地找到所需的素材，有 效地完成对素材的各种管理任务。 v o d 系统的结构设计直接影响着系统性能，必须采用优化结构，如数字图 书馆技术就是一种典型的优化结构，其基本原理是多媒体存储部分与系统管理、 检索等信息处理部分在逻辑上分开实现，以提供清晰的逻辑。其优点首先是易于 用户理解、操作和使用；其次，运用全球系统设计、规划和实现；同时便于系统 维护和管理，而且可以在构建系统时，选择不同的配置以实现系统的高性能，提 高多用户并发访问的效率。 1 4 本文的应用环境 基于局域网或广域网的视频点播系统的底层支撑网络可以是t c p i p 网络或 者a t m t 5 】等多种网络结构。a t m 技术由于是面向连接的传输方式，而且其自身 对q o s ( 服务质量) 以及流量控制有良好的支持，使得它对视频点播这种实时业 务提供较好的支持。但是，由于t c p i p 是i n t e m e t 的核心协议，也是i n t e m e t 得以 遍布全球的根源所在，况且最近几年，第三层交换技术和千兆以太网技术的高速 发展使m 的表现更加优秀，而a t m 技术最终也可以统一到i p 上，因此从业务开发 的角度来看，基于i p 的视频点播的应用范围更加广泛。 本文所研究的视频点播系统的底层支撑网络就是i p 网络，而i n t e r a c t 正是我 们拥有的最广阔的网络环境。最终的视频点播系统应该允许用户能够从视频服务 器上庞大的多媒体节目库中随机选择节目进行回放。而多媒体节目可以是一分钟 以内的多媒体剪辑，也可以是一部完整的电影，所以用户将这个多媒体节目下载 至本地再进行观看是一种不现实的解决方案，尤其对于那些只想对多媒体节目进 行简单浏览的用户。所以视频点播应该让用户能够在最短的时间内播放所期望的 多媒体节目，而流媒体技术在v o d 中的应用则很好的解决了这种在线观看的问 题。同时，本文设计出的视频点播系统还将能够适应于各种不同的网络环境和不 第一章绪论 同的用户需求，并具有很强的可扩充性，能够轻松地对不同形式的媒体节目进行 浏览和播放。 本文研究的视频点播系统虽然是在网络中实现多媒体流的传输，但并不一定 要求用户必须通过电脑进行接收和回放，只要将客户端的核心功能集成在机顶盒 ( s t b ) 中，并且和机顶盒连接的有线电视网支持i p ，用户同样可以通过机顶盒 和电视进行视频点播。 1 5 本文主要任务 本课题在深入剖析v o d 的软件结构的前提下，在对必要背景知识( 包括： 微软的d i r c c t s h o w 多媒体开发包、流媒体、w i n d o w s 多线程编程、t c p i p 协议 和w i n d o w ss o c k e t 网络编程、c o m 编程以及v i s u a lc + + 软件开发及编译工具等) 的充分理解和熟练掌握上，完成对该系统软件的改进和功能的扩展。 本课题的主要任务如下： 任务之一：完善了v o d 系统点播界面的设计及对软件点播功能的改进。比 方说：加入媒体播放进度条等。 任务之二：扩展了该系统原有的网络功能，具体要求为：借助原有系统的视 频采集、图像压缩和存储等功能，通过网络软件模块的开发和多线程分配方案的 采用，在局域网中实现了视频由点到点传输到一点到多点的实时传输和实时播放 的功能。 第二章流媒体技术在视频点播中的应用 第二章流媒体技术在视频点播中的应用 v o d 是基于数字网络的一种服务，而数字网络结构中的数据传输一般有下 载和流式传输两种方案；同时v o d 又是基于流媒体技术【6 】 7 】【8 】的，它需要按照特 定的顺序将文件发送出去，播放程序才可以边接收边播放数据，因而v o d 采用 了流式传输这种方案。为了使播放更加稳定连贯，通常客户端会通过为接收数据 而开辟缓存区的方法来解决网路拥堵的问题。这样，用户只需要在缓存区充满前 等待几秒钟，就可以开始欣赏媒体节目了，文件的剩余部分将在后台从服务器内 继续下载。流式传输不仅使启动延时成十倍、百倍地缩短，而且不需要太大的缓 存容量。这种在i n t e m e t i n t r a n e t 中使用流式传输技术的连续时基媒体就称为流媒 体。 流媒体( s t r e a m i n gm e d i a ) 技术是当前十分流行的多媒体技术，其基础就是 多媒体通信技术。流媒体技术一般是指通过i p 网络传送媒体( 如视频、音频) 的技术总称。广义的涵义是使音频和视频形成稳定而连续的传输流和回放流的一 系列技术、方法和协议的总称。狭义上讲，流媒体技术是相对于传统的“下载 回放”方式而言的一种新的从i n t e r n e t 上获得音频和视频等流媒体数据的方式， 这种方式支持多媒体数据流的实时传输和实时播放。 v o d 与流媒体技术在学术上没有严格的区分，一般来说流媒体技术的概念 包含了v o d 业务。v o d 泛指一类新型的交互视频业务，通常在服务器中存储大 量的压缩视频节目，供用户点播。 最初的视频点播仅仅应用于卡拉o k 点播，随着计算机技术的发展，v o d 技术才逐渐应用于局域网及有线电视网，此时的v o d 技术趋于完善，但音视频 文件的庞大容量阻碍了v o d 技术的进一步发展。由于服务器端不仅需要大容量 的存储系统，同时还要承担大量数据的传输，因而服务器根本无法支持大规模的 点播。同时，由于局域网中的视频点播覆盖范围小，用户无法通过i n t e m e t 等网 络媒介收听或观看局域网中的节目，然而，有许多的网络视频需要在i n t e m e t 网 络上点播，它们都要求最大范围的让观众观看到高质量的节目，像电视一样达到 宣传、广告或满足观众需求的目的。这就要求v o d 系统应具备高传输速率、数 据同步、数据流的分流、高稳定性等特性，于是，解决音视频网络传输的流媒体 技术应运而生。 随着宽带网和信息技术的发展，流媒体技术会越来越广泛的应用于视频点 第二章流媒体技术在视频点播中的应用 播系统中。本章主要从流媒体技术的基本概念、基本原理、数据播放方式、文 件格式以及相关协议等方面进行详细介绍，同时并对其关键技术进行深入的探 讨和研究。 2 1 流媒体技术介绍 2 1 1 流媒体概念 所谓流媒体是指视频、声音和数据从源端同时向目的地传输，它可以作为连 续实时流在目的地被接收。这里的源指的是流媒体在服务器端的应用，而目的地 或称接收端是指客户端应用。流媒体数据从服务器端应用传输后可由客户端应用 接收并显示或回放，一般是客户端应用接收到足够的数据并将之存储在缓冲区后 便立即将视频显示出来，或将音频回放出来。 流媒体的一个重要特征是对时间的敏感性，这正是实时性要求高的应用所必 需的，所以这类应用与流媒体密不可分就十分自然的了。流媒体的实现主要取决 于网络带宽和压缩算法的提高。今天，随着网络协议的改善、网络基础设施和压 缩技术的发展，流媒体的实现已经变得越来越容易了。 2 1 2 流式传输基础 流媒体实现的关键技术是流式传输。流式传输时，声音、影像或动画等媒体 由音视频服务器向用户计算机连续、实时传送，用户不必等到整个文件全部下载 完毕，而只需经过几秒或数十秒的启动延时即可进行观看。当声音等媒体在客户 机上播放时，文件的剩余部分将在后台从服务器上继续下载，这不仅使启动延时 成十倍、百倍地缩短，而且不需要太大的缓存容量，极大地弥补了用户播放端占 用存储资源的缺点。 流式传输定义很广泛，现在主要指通过网络传送媒体( 如视频、音频) 的技 术总称。其特定含义为通过i n t e m e t 将影视节目传送到p c 机上。 实现流式传输有两种方法：实时流式传输( r e a lt i m es t r e a m i n g ) 和顺序流式 传输( p r o g r e s s i v es t r e a m i n g ) 。 1 ) 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接相匹配，使媒体可被实时观看 到。实时流与h t t p 流式传输不同，它需要专用的流媒体服务器与传输协议。 实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可 第二章流媒体技术在视频点播中的应用 快进或后退以观看前面或后面的内容。理论上，实时流一经播放就不可停止，但 实际上，可能发生周期暂停。 实时流式传输必须匹配连接带宽，这意味着在以调制解调器速度连接时图象 质量较差。而且，由于出错丢失的信息被忽略掉、网络拥挤或出现问题时，视频 质量很差。如欲保证视频质量，顺序流式传输也许更好。实时流式传输需要特定 服务器，如q u i c k t i m es t r e a m i n gs e r v e r 、r e a ls e r v e r 与w i n d o w sm e d i as e r v e r 。 这些服务器允许你对媒体发送进行更多级别的控制，因而系统设置、管理比标准 h t t p 服务器更复杂。实时流式传输还需要特殊网络协议，如：r t s p ( r e a lt i m e s t r e a m i n gp r o t o c 0 1 ) 或m m s ( m i c r o s o f tm e d i as e r v e r ) 。这些协议在有防火墙 时有时会出现问题，导致用户不能看到一些地点的实时内容。 2 ) 顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定 时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流 式传输不像实时流式传输在传输期间根据用户连接的速度做调整。由于标准的 h t t p 服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作 h t t p 流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告， 由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质 量。这意味着用户在观看前，必须经历延迟，对较慢的连接尤其如此。 对通过调制解调器发布短片段，顺序流式传输显得很实用，它允许用比调制 解调器更高的数据速率创建视频片段。尽管有延迟，毕竟可让你发布较高质量的 视频片段。 顺序流式文件是放在标准h t t p 或f t p 服务器上的，易于管理，基本上与 防火墙无关。顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、 演说与演示。它也不支持现场广播，严格说来，它是一种点播技术。 2 2 流媒体技术原理 流式传输的实现需要缓存，这是因为i n t e r n e t 以包传输为基础进行断续的异 步传输。一个实时a 源或存储的a 文件在传输中要被分解为许多包，由于 网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟 也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和 抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因 为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，因为高速缓存 第二章流媒体技术在视频点播中的应用 使用环形链表结构来存储数据，通过丢弃已经播放的内容，流可以重新利用空出 的高速缓存空间来缓存后续尚未播放的内容。 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制 信息，而用r t p u d p 来传输实时影音数据。 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w 曲浏览器与 w e b 服务器之间使用h t r p t c p 交换控制信息，以便把需要传输的实时数据从 原始信息中检索出来；然后客户机上的w e b 浏览器启动a vh e l p e r 程序，使用 h t r p 从w e b 服务器检索相关参数对h e l p e r 程序初始化。这些参数可能包括目 录信息、a v 数据的编码类型或与a v 检索相关的服务器地址。 刖vh e l p e r 程序及a v 服务器运行实时流控制协议( r t s p ) ，以交换a 传输所需的控制信息。与c d 播放机或v c r s 所提供的功能相似，r t s p 提供了 操纵播放、快进、快倒、暂停及录制等命令的方法。a v 服务器使用r t p u d p 协议将a v 数据传输给a v 客户程序( 一般可认为客户程序等同于h e l p e r 程序) ， 一旦w 数据抵达客户端，a v 客户程序即可播放输出。 需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通信 协议与a 服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运 行a vh e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专用服务器 和播放器，其基本原理【9 j 如图2 1 所示。 图2 1流式传输基本原理框图 第二章流媒体技术在视频点播中的应用 2 3 流媒体播放方式 在多媒体应用中，视频传输带来的网络带宽问题非常突出。现有的大部分网 络多是使用t c p i p 点到点的协议构置，因此我们希望如何在现有网络条件下不 做过多地改变来实现视频的传输。 i p v 4 定义了3 种i p 数据通信方式：单播( 点到点通信) 、全网广播( 广播) 、 组播。单播是指可2 个口地址间进行的数据通信；全网广播是指在i p 子网内向 所有网内i p 地址以广播的方式发送数据包，所有子网内的i p 站都能收到广播； 组播是指在i p 网上对一组特定i p 地址进行数据传送，是居于单播与广播之间的 通信方式。 对i p v 4 定义的3 种数据通信方式进行比较，其中i p 广播不适合于视频传输， 而单播和组播则在不同的视频传输应用中具有明显的优势。 ( 1 ) 单播与组播 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送 出的每个数据包只能传送给一个客户机，这种传送方式称为单播( u n i c a s t ) 。每 个用户必须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发 送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很 长时间，甚至停止播放；管理人员也被迫购买硬件和带宽来保证一定的服务质量。 组播( m u l t i c a s t ) 是对i p 的扩展，是t c p i p 体系结构中的一个附加部分， 可以在一个i p 的网络上进行高效率的分组通信。在需要进行一点对多点、多点 对多点的通信应用中，i p 组播是最理想的技术方案。其基本思想是多个接收者 可以接收同一个或一组源发出的相同数据的一个拷贝。p 组播强制网络在数据 流分布树的分叉处进行信息包复制，而不是由信息源节点多次重复地发送相同的 数据包。使用i p 组播有许多优点：可升级、容错、健壮和易组建等。 组播传输可在数据链路层和网络层实现，支持的网络类型包括以太网、f d d i 和a t m 。大多数路由器提供商支持婵组播，不支持i p 组播的网络通过组播隧道技 术传输组播信息包。 应用i p 组播，用户只需发送自己信息的一个拷贝到所有接收者的i p 组播地 址中，这显然最佳地利用了网络带宽。i p 组播还可以大大减少发送服务器的负 担。工p 组播通过分布树能有效地进行一对多的数据流传输 ( 2 ) 点播与广播 点播( o n - d e m a n d ) 是单播的一种形式，它是客户端与服务器之间的主动连 第二章流媒体技术在视频点播中的应用 接。在点播连接中，用户通过选择内容项目来初始化客户端连接，用户可以开始、 停止、后退、快进或暂停流。点播连接提供了对流的最大控制，但这种方式由于 每个客户端各自连接服务器，却会迅速用完网络带宽。 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 例如，用户不能暂停、快进或后退该流。使用单播发送时，需要将数据包复制多 个拷贝，以多个点对点的方式分别发送到需要它的那些客户；而使用广播发送时， 数据包的单独一个拷贝将发送给网络上的所有用户，而不管用户是否需要。上述 两种传输方式会非常浪费网络带宽。组播吸收了上述两种发送方式的长处，克服 了上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的那些客户。 组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要它 的那些客户，保证了网络上多媒体应用占用网络的最小带宽。 综合上述多种播放方式的特点，我们在本文中最终选择了单播。这是因为： 组播尽管存在上述多种优点，但也存在着缺点。由于我们本课题要实现真正的实 时点播系统，即交互式视频点播，而组播对许多客户在同一时间发送同一节目， 从而不能满足我们课题的要求。在本课题中，我们对单播技术进行了改进，加入 了p 2 p 的思想，其具体思想将在第五章第一节进行详细的介绍。 2 4 流媒体文件格式 ( 1 ) 压缩媒体文件格式 压缩媒体格式，和原来的媒体文件包含了同样的一段媒体信息，只是改变了 原来数据位的编排，目的是为了使文件被处理的更小。在压缩媒体文件再次成为 媒体格式前，数据需要解压缩。由于压缩过程自动进行，并内嵌在媒体文件格式 中，通常我们在存储文件时并没有注意到这点。该过程如图2 2 所示。表2 1 列 举了一些视频和音频压缩文件格式。 l a m e n i e s 妇 8 t a n k a r dc 扫盯强- 嘲 m e d i a f 缸9 加悖 f o c m a t o r h m r d m m 图2 - 2 文件压缩过程 钿瞄盯 氕k s i 砖 匡薹虱 l 至要i e 置i c 姻啊忡0 d 啊e d b f 柚e f o r m a t 第二章流媒体技术在视频点播中的应用 表2 1 常用视频、音频压缩文件类型 文件格式扩展名 媒体类型与名称 压缩情况 ( v i d e o a u d i o ) m o v q u i c k t i m ev i d e ov 2 0 可以 m p g 【p e g lv i d e o有 m p 3 m p e g l a y e r3a u d i o 有 w a v w a v ea u d i o没有 a i fa u d i oi n t e r c h a n g ef o r m a t 没有 a ua u d i of i l ef o r m a t ( s u no s ) 没有 a v i 可以 a u d i ov i d e oi n t e r l e a v e dv1 0 ( m i c r o s o f tw i n ) s n d s o u n d a u d i of i l ef o r m a t没有 ( 2 ) 流式文件格式 流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到 下载完整个文件才能播放。可以在网上以流的方式播放标准媒体文件，但效率不 高。将压缩媒体文件编码成流式文件，必须加入一些附加信息，如计时、压缩和 版权信息。编码过程如图2 3 所示。表2 2 列举了常用的流式文件类型。 l a r g e f i k s l 鼬 3 协n d a r d m e d 溏f 赫 f o r m a t 8 m a l l m - f 秘t 鼬 e w m m n ts t m m m d 争躇譬釜曩匿盖盍巨誊 s m m r , 岫- 曲f i l ef m 图2 3 流式文件编码过程 第二章流媒体技术在视频点播中的应用 表2 - 2 常用流式文件格式 文件格式扩展( v i d e o a u d i o )媒体类型与名称 a s fa d v a n c e ds t r e a m i n gf o r m a t ( m i c r o s o f t ) r mr e a lv i d e o a u d i o 文件( p r o g r e s s i v en e t w o r k s ) r 丑r e a la u d i o 文件( p r o g r e s s i v en e t w o r k s ) r p r e a lp i x 文件( p r o g r e s s i v en e t w o r k s ) r t r e a lt e x t 文件( p r o g r e s s i v en e t w o r k s ) s w fs h o c kw a v ef l a s h ( m a c r o m e d i a ) v i vv i v om o v i e 文件( v i v os o f t w a r e ) ( 3 ) 媒体发布格式 媒体发布格式不是压缩格式，也不是传输协议，其本身并不描述视听数据， 也不提供编码方法。媒体发布格式是视听数据安排的唯一途径，物理数据无关紧 要，我们仅需要知道数据类型和安排方式。以特定方式安排数据有助于流式多媒 体的发展，因为我们希望有一个开放媒体发布格式为所有商业流式产品应用，为 应用不同压缩标准和媒体文件格式的媒体发布提供一个事实上的标准方法。我们 也可从以相同格式同步不同类型流中获益。总有一天，单个媒体发布格式能包含 不同类型媒体的所有信息，如计时、多个流同步、版权和所有人信息。实际视听 数据可位于多个文件中，而由媒体发布文件包含的信息控制流的播放。常用媒体 发布格式如表2 3 所示。 表2 3 常用媒体发布格式 媒体发布格式扩展媒体类型和名称 a s fa d v a n c e ds t r e a m i n gf o r m a t s n a i l s y n c h r o n i s e dm u l t i m e d i ai n t e g r a t i o nl a n g u a g e r a mr a mf i l e r p m e m b e d d e di 也mf i l e 第二章流媒体技术在视频点播中的应用 2 5 流媒体传输协议 ( 1 ) r t p 数据传输协议 r t p 1 0 】【1 1 】( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 即实时传输协议，是用于i n t e m e t 上 针对多媒体数据流的一种传输协议。r t p 被定义为在一对或一对多的传输情况 下工作，其目的是提供时间信息和实现流同步。r t p 通常使用u d p 来传送数据， 但r t p 也可以在t c p 或a t m 等其它协议之上工作。当应用程序开始一个r t p 会话 时将使用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数 据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这 些服务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代 码的一部分。 ( 2 ) r t p 控制协议r t c p r t c p 1 0 】【1 1 j ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 即实时传输控制协议，它 和i 玎p 一起提供流量控制和拥塞控制服务。在r t p 会话期间，各参与者周期性的 传送r t c p 包。r t c p 包中含有已发送