（计算机系统结构专业论文）流媒体系统同步机制和缓冲机制的研究与应用.pdf

摘要 随着i n t e m e t 在全球的推广和普及，加之中国政府方兴未艾的网络电视( i p t v ) 计划，网络流媒体业务得到迅速发展。在市场竞争日趋激烈的今天，如何为用户 提供更好的服务，如何缩短产品的研发周期等问题成为各厂商关注的焦点。8 0 1 0 研究室以多年积累的分布式并行技术为基础，自主研发了数字有机体基础软件平 台，为实现高可靠性、高并发性和高扩展性的流媒体系统提供了操作系统平台。 在此基石出上，8 0 1 0 研究室研发了数字有机体流媒体服务器和数字有机体网络终端 支撑组件产品。 在设计和实现流媒体系统的过程中，同步机制和缓冲机制是其中的关键j 主术， 直接决定流媒体系统的工作效率和服务质量。本论文将重点研究和分析流媒体系 统中同步机制和缓冲机制，并在具体项目中讨论实现同步机制和缓冲机制的燕键 问题。作者在参与数字有机体流媒体系统研发工作中，主要取得以下研究成果： 1 深入研究流媒体系统同步机制，针对r t p r t c p 协议提供的同步机制，实 现基于时间轴模型的同步算法，并将该算法应用于流媒体服务器和网络终 端组件。 2 针对接收组播节目过程出现的组播源故障，在同步机制中加入重置畦戮机 制，解决接收端同步问题。 3 在流媒体文件读写操作中采用预读取和延迟写缓冲技术，提高流媒体文件 读写效率。 4 在分析研究延时抖动、平均速率和丢包率等网络参数的基础上，给出客户 端接收缓冲区长度估算公式。根据客户端反馈网络参数在服务器端实现流 量控制。 5 综合应用同步机制和缓冲机制，设计并实现流媒体系统中的延时续播功 能。 目前，本论文介绍的数字有机体流媒体系统已经通过网络运营商的验收测试， 并已经申报软件著作权专利。 关键字：流媒体，同步机制，缓冲机制，延时续播 a b s n a c t a b s t r a c t w i t ht h ep o p u l a r i z a t i o no ft h ei n t e m e ta n dt h er a p i dg r o w t ho ft h ei p t v ( t e l e v i s i o n so v e ri p ) ，t h eb u s i n e s so fs t r e a m i n gm e d i as e r v i c eo v e rn e t w o r kg r o w s r a p i d l yt o o w i t ht h ei n c r e a s i n g l yd r a s t i cm a r k e tc o m p e t i t i o n ，i th a sb e c o m et h ef o c u s o f m a n yc o m p a n i e st oi m p r o v et h eq u a l i t yo f c u s t o m e rs e r v i c ea n ds h o r t e nt h ec y c l eo f p r o d u c td e v e l o p m e n t b a s e d o nt h ea c c u m u l a t i o no fm a n yy e a r sr e s e a r c ho n d i s t r i b u t e da n dp a r a l l e l e dt e c h n o l o g y , 8 0 1 0r & dd e s i g n e dt h ed i g i t a lo r g a n i cs y s t e m ( d o s ) f o u n d a t i o ns o f t w a r ep l a t f o r m i tp r o v i d e st h eo sp l a t f o r mf o rt h es t r e a m i n g m e d i as y s t e m sw i t hh i 曲d e p e n d a b i l i t y , h i g hc o n c u r r e n c ea n dh i g he x t e n s i b i l i t y a f t e r t h a t ，8 010r & dd e v e l o p e dt h ed o ss t r e a m i n gm e d i as e r v e ra n dt h ed o sn e t w o r k t e r m i n a ls d k b a s e do nt h ed i s t r i b u t e d s t o r a g e f e a t u r eo ft h ed o s ，t h e d e l a y - r e s u m ef u n c t i o n a r yh a sb e e nd e v e l o p e d d u r i n g d e s i g n i n g a n d i m p l e m e n t i n g a s t r e a m i n g m e d i a s y s t e m ，t h e s y n c h r o n i z a t i o na n db u f f e rm e c h a n i s m sa r et h ec r i t i c a li s s u e s t h i st h e s i sa n a l y z e da n d r e s e a r c h e dt h et h e o r i e so ft h e s em e c h a n i s m s ，a n da p p l i e dt h e mt ot h ep r o j e c t ， e x p a t i a t e dt h ei m p o r t a n c eo ft h e s em e c h a n i s m s t h em a i nc o n t r i b u t i o n so ft h et h e s i s a r ea sf o l l o w s ： 1 b a s e do nt h er e s e a r c ho ft h es y n c h r o n i z a t i o nm e c h a n i s m so ft h es t r e a m i n g m e d i as y s t e ma n dt h et i m ea x i sm o d e l ，o n em o d e lw a si m p l e m e n t e dw i t hr t p r t c p s t a n d a r d i z a t i o nf i l e s ( r f c l 8 8 9 ) a sg u i d e l i n e s 2 t h es y n c h r o n i z a t i o np r o b l e mi nt h er e c e i v e rw h e nt h eb r o a d c a s t e rf a i l e dw a s r e s o l v e d ，b yi m p l e m e n t i n gt h er e s e t t i n gt i m e s t a m pm e c h a n i s m s 3 t h ee f f i c i e n c yo ff i l e o p e r a t i o nw a si m p r o v e d ，b yt h ep r e r e a d a n d w a i t w r i t eb u f f e rt e c h n o l o g yw a s a p p l i e dt ot h eo p e r a t i o n o ff i l er e a da n dw r i t e 4 af o r m u l af o rc a l c u l a t i n gr e c e i v i n gb u f f e rl e n g t hw a sp r o p o s e d ，b a s e do nt h e a n a l y s i sa n dr e s e a r c ho nn e t w o r kp a r a m e t e r s ，s u c ha sj i t t e r , a v e r a g es p e e da n dp a c k e t l o s sf r a c t i o n 5 t h ed e l a y r e s u m em o d u l ei ns t r e a m i n gm e d i as y s t e m sw a sd e s i g n e da n d i m p l e m e n t e d ，w i t ht h ea p p l i c a t i o no ft h es y n c h r o n i z a t i o na n db u f f e rm e c h a n i s m s a b s l r a c t t h e d i g i t a lo r g a n i cs t r e a m i n gm e d i as y s t e m ( d o s m s ) i n t r o d u c e di nt h i se s s a y h a dp a s s e dt h ec h e c k ，b e e na c c e p t e db yt h ei s p sa n db e e nd e c l a r e dac o p y r i g h t k e y w o r d s ：s t r e a m i n gm e d i a ，s y n c h r o n i z a t i o nm e c h a n i s m s ，b u f f e rm e c h a n i s m s d e l a y - r e s u m e i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：珈年岁月r 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 导师签名： ! ! 尘竺窒 日期：籼。b 年厂月l t 日 第一章绪论 1 1 课题背景 第一章绪论 随着i n t e m e t 在全球的推广和普及，越来越多的人已经或开始进入计算机网 络，i n t e r n e t 网络上的种种应用，都影响着人们的工作和生活，推动着社会经济的 发展，从而形成一个产业链，和能源、材料一起成为当今社会的三大支持产业。 而i n t e r n e t 网络的种种应用都建立在很多技术基础之上，随着网络时代的不断发 展，网络上传递的信息种类越来越多，特别是需要同时传递多种信息，对计算机 网络的数据传输技术也提出了新的要求。在不断提升网络带宽的同时，网络多媒 体技术也在不断发展，流媒体( s t r e a m i n gm e d i a ) 正是近年来出现的新型实用网 络多媒体技术。目前流媒体尚无一个公认的精确的定义，但流媒体技术自诞生起， 就被广泛应用于各方面的网络应用中。 从国际权威机构的调查结果可以看到，仅2 0 0 3 - - 2 0 0 4 年在网上访问流媒体 的人数即增加6 5 ，西方网络发达国家访问流媒体的人数已达到3 1 亿人，约占 网民的1 3 ，在亚洲也迅速增加到2 亿人，接近网民的1 5 。与用户增长相呼应， 互联网上流媒体技术应用也在逐年大幅度增长，如今流媒体市场已经呈现出巨大 的收入潜能。巨大的市场吸引越来越多的企业参与竞争，a p p l e 、c i s c o 、k a s e n n a 、 p h i l i p s 和s u n 在几年前宣布成立互联网流媒体联n o s m a ) ，意在共同推动流媒体 市场的发展，并制订相应的开放标准和实施协议，一个全球化的流媒体市场和竞 争格局在那时已初步形成。如何在这个市场领域取得份额，成为当前诸多企业关 注的焦点，国内外厂商的纷纷拥入，将使我国的流媒体市场更加活跃、更加成熟， 当然竞争也将更加激烈。现在看来，流媒体的影响与作用无疑是积极喜人的，它 将成为今后网络媒体的重要形式，牵动着时代的迅速发展。 在市场竞争日趋激烈的今天，如何为用户提供更好的服务，如何缩短产品的 研发周期等问题成为各厂商关注的焦点。8 0 1 0 研究室以多年积累的分布式并行技 术为基础，自主研发了数字有机体基础软件平台，为实现高可靠性、高并发性和 高扩展性的流媒体系统提供了操作系统平台。在此基础上，8 0 1 0 研究室研发了数 字有机体流媒体服务器。为缩短客户端产品研发周期，研究室还提供了一套网络 终端支撑组件，大大降低了客户端播放器的开发难度。本论文将介绍数字有机体 电子科技大学硕士学位论文 流媒体系统，并重点阐述流媒体系统中的关键技术，同步机制和缓冲机制。 1 2 研究现状 由于流媒体技术领域尚未建立权威的工业标准，各家厂商纷纷推出以自己的 标准和通讯协议开发的系统。目前，国际上参与流媒体技术竞争的主要是三大公 司：m i c r o s o f t 、r e a ln e t w o r k s 和a p p l e ，相应的产品是：w i n d o w sm e d i a 、r e a ls y s t e m s 和q u i c kt i m e 。 当前，国内各大网络运营商都开始了个各种流媒体应用的试点，如i p t v 等应 用。但是效果往往不如人意。究其原因，除了运营模式、产业链等问题外，网络 现状和技术仍然是流媒体应用推广的主要障碍。传统的流媒体服务系统，包括上 述三大厂家的产品，要求很高的主干网络带宽和接入带宽，难以在现有的网络状 况下运行。c d n 技术虽然消除了部分网络瓶颈和处理瓶颈，但由于其存在中心系 统，从而无法彻底消除系统的扩展瓶颈。 然也极大地缓解了网络带宽和处理瓶颈， 基于p 2 p 技术的流媒体应用的兴起，虽 但是由于p 2 p 点对点的传输特性，使得 用户绕开了宽带运营商，从而使宽带产业价值链缩短。因此，p 2 p 已经成为世界范 围内运营商的一个难题。 基于目前的网络状况，要向用户提供优质的流媒体服务，就必须降低流媒体 应用对骨干网络的带宽需求，就必须将服务内容放置在最靠近用户的地方，从而 尽量将带宽开销限制在用户接入网上。因此只有将大量流媒体服务器部署在网络 边缘的流媒体系统才能适应当前的网络状况。但是如何管理和组织这些部署在网 络边缘的服务器成了新的问题。数字有机体流媒体系统依托其强劲的基础软件平 台，能够将这些服务器组织成一个有机的整体，从而为用户提供可靠、高效的流 媒体服务。 1 3 论文研究目的及组织结构 本论文通过对流媒体传输技术的分析，重点研究了流媒体系统的同步机制和 缓冲机制。在8 0 1 0 研究室自主研发的数字有机基础软件平台上，构建了流媒体服 务系统。为了给用户提供更好的服务，需要开发更多的流媒体应用，并缩短产品 的研发周期。本文将在深入研究流媒体系统同步机制和缓冲机制的基础上，设计 并实现数字有机体流媒体服务器和数字有机体网络终端支撑组件。 2 第一章绪论 论文共分7 章，安排如下： 第一章介绍本课题的背景，并分析国内外流媒体服务系统现状，阐述了选题 的实现意义及论文的组织结构。 第二章概括介绍流媒体相关技术，包括流媒体的概念、流式传输技术、流媒 体文件格式以及流媒体系统的实现原理等内容，最后介绍了流媒体传输协议 r s v p 、r t s p 、s d p 及r t p r t c p 的报文格式和实现的功能。 第三章从理论上分析了流媒体系统的同步机制。从流媒体数据的构成入手讨 论了流媒体数据的时域约束关系，介绍了时域参考框架和典型的流媒体同步模型。 第四章首先介绍了8 0 1 0 研究室自主研发的数字有机体基础软件平台，然后介 绍了基于该基础软件平台研发的流媒体服务器，重点介绍了延时续播功能模块的 设计与实现。介绍了同步机制和预读取、延迟写缓冲机制在流媒体服务器设计与 实现中的应用。 第五章介绍了数字有机体网络终端支撑组件的设计与实现，结合实际项目进 - 步阐述流媒体系统中的同步机制和缓冲机制，其中的缓冲机制侧重介绍在客户 端接收缓冲队列长度估算中的运用。 第六章介绍了数字有机流媒体系统的系统测试情况，结合本系统在网络运营 商的使用情况，说明本系统已经具备实际运营条件。 第七章对全文进行了总结，并指出今后的研究工作方向。 电子科技大学硕士学位论文 2 1 流媒体的概念 第二章流媒体技术概述 流媒体是指在i n t e r n e t i n t r a n e t 中使用流式传输技术的连续时基媒体，如音 频、视频或多媒体文件。这个词首先出现在美国，英文是“s t r e a m i n gm e d i a ”，中 文翻译成“流媒体”。 流媒体把连续的影像和声音信息经过特殊的压缩方式分成一个个压缩包，由 流媒体服务器向用户计算机连续、实时地传送。让用户一边下载一边观看、收听， 而不需要等整个压缩文件下载到自己的机器后才可以观看。该技术首先在用户端 的计算机上创建一个缓冲区，i 预先下载多媒体文件的部分数据作为缓冲，播放程 序读取缓冲区内的数据进行播放。在播放的同时，用户计算机在后台继续下载多 媒体文件的剩余部分填充缓冲区。这样，当网络出现抖动( j i t t e r ) ，实际连线速度 小于播放消耗数据速度时，可以避免播放的中断，也使得播放质量得以维持。所 以流媒体最显著的特征是“边下载、边播放”。 流媒体技术是网络音视频发展到一定阶段的产物，是一种解决多媒体播放时 网络带宽问题的“软技术”。流媒体技术并不是单一的技术，它是融合了很多网络 技术之后产生的技术。它涉及到流媒体数据的采集、压缩、存储、传输以及网络 通讯等多项技术。可以看出流媒体技术的核心是流媒体，实现流媒体技术的关键 技术是流式传输。 2 2 流式传输 2 2 1 流式传输基本原理 i n t e m e t 以包传输为基础进行断续的异步传输，实时a v 源或者存储的a v 文件在传输中被分解为许多i p 包，由于网络是动态变化的，各个包选择的路由不 尽相同，故到达客户端的时间延迟也不等，甚至先发的数据包有可能后到。为此， 使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体 数据能连续输出，不会因网络暂时拥塞使播放出现停顿。通常高速缓存所需容量 不大，因为高速缓存可以采用环形链表结构来存储数据，通过丢弃已经播放的内 容，可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 4 第二章流媒体技术概述 流式传输的实现需要合适的传输协议。w w w 技术是以 w 为基础的，而 h t r p 又建立在t c p 基础之上。由于t c p 需要较多的开销，故不太适合传输实 时数据。在流式传输的实现方案中，一般采用 r 盯p 厂r c p 来传输控制信息，而用 r y u d p 来传输实时流媒体数据。 流媒体的具体传输流程如下： 1 1 客户机的w e b 浏览器与w e b 服务器之间使用 r 兀p 厂r c p 交换控制信 息，把需要传输的实时数据从原始信息中检索出来。 2 ) 客户机的w e b 浏览器启动流媒体播放器，利用h t r p 从w e b 服务器 检索到的相关参数对播放器进行初始化。这些参数包括目录信息、流媒 体数据的编码类型和与流媒体检索相关的服务器地址。 3 ) 利用从w e b 服务器检索出的服务器地址定位流媒体服务器。 4 1 流媒体播放器与流媒体服务器之间交换传输所需要的实时控制协议。与 c d 播放机或录像机所提供的功能相似一宴时流协议( r t s p ) 提供了 操纵播放、快迸、快退、暂停及录制等命令。流媒体服务器使用r t p u d p 协议将流媒体数据传输给客户机的流媒体播放器。 5 1 流媒体数据到达客户端，播放器缓冲到达定程度就可播放。 图2 1 流式传输基本原理图 需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通 信协议与流媒体服务器建立联系，是为了能够把服务器的输出重定向到一个不同 于运行流媒体播放程序所在客户机的目的地址。 实现流式传输有两种方法：实时流式( r e a l t i m es t r e a m i n g ) 传输和顺序流式 ( p r o g r e s s i v es t r e a m i n g ) 传输。一般说来。如视频为实时广播，或使用流式传输 媒体服务器，或应用如r t s p 的实时协议，即为实时流式传输。如使用m 盯p 服 务器，文件即通过顺序流发送，这种传输方式就称为顺序流式传输。采用哪种传 输方法依赖于用户的具体需求，当然，流式文件也支持播放前完全下载到硬盘后 电子科技大学硕士学位论文 再播放。 2 2 2 顺序流式传输 顺序流式传输是顺序下载，用户可以观看在线媒体。但是在给定时刻，用户 只能观看已下载的那部分，而不能跳到未下载的前序部分，不能根据用户的连接 速度做调整。由于标准的h r r r p 服务器可发送这种形式的文件，而不需要其他特 殊协议，所以经常被称作h t y p 流式传输。 顺序流式传输方式适合高质量的短片段，如片头、片尾和广告，由于文件在 播放前观看的部分是无损下载的，所以这种方式能保证影片的最终播放质量。顺 序流式文件放在标准h t t p 或f 耵服务器上，易于管理，基本上与防火墙无关。 顺序流式传输不适合长片段和有随机访问需求的视频、讲座、演说与演示，也不 支持现场广播。严格地说，顺序流式传输是一种点播技术。 ； 2 2 _ 3 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接相匹配，使媒体可以被实时地 观看。实时流与h 1 w 流式传输不同，需要专用的流媒体服务器与传输协议。 实时流式传输是实时传送，特别适合现场事件，也支持随机访问，用户可快 进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停地收看， 但实际上，可能会发生周期暂停。 从视频质量上讲，实时流式传输必须匹配连接带宽，由于出错丢失的信息被 忽略掉，网络拥挤或出现问题时，视频质量会很差。如欲保证视频质量，顺序流 式传输更好。 实时流式传输需要特定服务器，如q u i c k t i m es t r e a m i n gs e r v e r ，r e a ls e r v e r 与 w i n d o w sm e d i as e r v e r ，这些服务器允许对媒体发送进行更多级别的控制，因而系 统设置、管理比标准h i t p 服务器更复杂。 实时流式传输还需要特殊网络协议，如：r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 。 这些协议在有防火墙时有时会出现问题，导致用户不能看到一些地点的实时内容。 2 3 流媒体文件格式 到目前为止，i n t e m e t 上使用较多的流媒体格式主要有r e a ln e t w o r k s 公司的 r e a lm e d i a ，m i c r o s o f t 公司的w i n d o w sm e d i a 和a p p l e 公司的q u i c k t i m e 。 第二章流媒体技术概述 2 3 1 r e a lm e d i a 文件格式 r e a lm e d i a 是r e a ln e t w o r k s 公司开发的，一种能够在低速率网上实时传输视 音频压缩规范的流式文件格式，可以根据网络数据传输速率的不同制定不同的压 缩比率，从而实现在低速率的广域网上进行影像数据的实时传送和实时播放。r e a l m e d i a 是目前i n t e m e t 上最流行的跨平台的客户，服务器结构流媒体文件格式。 r e a lm e d i a 格式中有三类文件：r e a la u d i o 、r e a lv i d e o 和r e a lf l a s h 。其中 r e a l a u d i o 用来传输接近c d 音质的音频数据，r e a lv i d e o 用来传输不间断的视频 数据，r e a lf l a s h 则是r e a ln e t w o r k s 公司与m a c r o m e d i a 公司联合推出的一种高压 缩比的动画格式。r e a lm e d i a 文件格式的引入，使得r e a ls y s t e m 可以通过各种网 络传送高质量的多媒体内容。第三方开发者还可以通过r e a l n e t w o r k s 公司提供的 s d k 将它们的媒体格式转换成r e a lm e d i a 文件格式。 t- 2 - 3 2q u i c k t i m e - 文件格式 a p p l e 公司的q u i c k t i m e 电影文件现已成为是数字媒体领域的工业标准。 q u i c k t i m e 电影文件格式定义了存储数字媒体内容的标准方法，使用这种文件格式 不仅可以存储单个的媒体内容( 如视频帧或音频采样) ，而且能保存对该媒体作品 的完整描述。q u i c k t i m e 文件格式被设计用来适应与数字化媒体一同工作需要存储 的各种数据。因为这种文件格式能用来描述几乎所有的媒体结构，所以它是应用 程序间( 不管运行平台如何) 交换数据的理想格式。q u i c k t i m e 文件格式中媒体描 述和媒体数据是分开存储的。媒体描述或元数据( m e t a - d a t a ) 叫做电影( m o v i e ) ， 包含轨道数目、视频压缩格式和时间信息，同时m o v i e 包含媒体数据存储区域的 索引。媒体数据是所有的采样数据，如视频和音频采样，媒体数据可以与q u i c k t i m e m o v i e 存储在同一个文件中，也可以在一个单独的文件或者在几个文件中。文件系 统支持文件扩展名，q u i c k t i m e 文件扩展名通常是m o v 。在m a c i n t o s h 平台上， q u i c k t i m e 文件类型是m o o v 。在因特网上，q u i c k t i m e 文件由m i m e 型 “v i d e o q u i c k t i m e ”来提供服务。 2 3 3w i n d o w sm e d i a 文件格式 m i c r o s o f t 公司的w i n d o w sm e d i a 的核心是a s f ( a d v a n c e ds t r e a mf o r m a t ) 。 微软将a s f 定义为同步媒体的统一容器文件格式。a s f 是一种数据格式，音频、 视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式 传输，实现流式多媒体内容发布。 电子科技大学硕士学位论文 a s f 最大优点就是体积小，因此适合网络传输，使用微软公司的最新媒体播 放器( m i c r o s o f t w i n d o w sm e d i a p l a y e r ) 可以直接播放该格式的文件。用户可以将 图形、声音和动画数据组合成一个a s f 格式的文件，当然也可以将其他格式的视 频和音频转换为a s f 格式，而且用户还可以通过声卡和视频捕获卡将诸如麦克风、 录像机等外设的数据保存为a s f 格式。另外，a s f 格式的视频中可以带有命令代 码，用户指定在到达视频或音频的某个时间后触发某个事件或操作。 2 4 流媒体实现原理 流媒体实现原理简单地说，就是通过采用高效的压缩算法，在降低文件大小的 同时伴随质量的损失，让原有的庞大的多媒体数据适合流式传输。然后通过架设 流媒体服务器，修改m i m e 标识，利用各种实时协议传输流数据。流媒体实现原 理如图2 2 所示。 ? i r j r 一r 。，一 壁堕一编码器惮一蔫篓篓卜哗鎏豢羹l 【j 【_ j 【、j 图2 2 流媒体实现原理图 多媒体数据必须进行预处理才能适合流式传输，这是因为目前的网络带宽相 对多媒体巨大的数据流量来说还显得远远不够。预处理主要包括两方面：一是采 用先进高效的压缩算法；二是加入一些附加信息把压缩媒体转为适合流式传输的 文件格式。其技巧在于压缩原始的a n 内容，使其能够在窄带或宽带通道上以流 的方式传给用户。预处理在编码器内完成，编码方式的选择可以是多种多样的。 m i c r o s o f t 、r e a ln e t w o r k s 、a p p l ec o m p u t e r 以及其他各方均提供关于编码、流式 传送以及客户观看等方面享有专用权的方案。此外，某些商家已开始提供1 0 0 兼 容m p e g 4 的产品。常规视频编码速度的范围从2 0 k b i t s 到目前的3 0 0 k b i t s ，将来 则有望达到1 m b i t s 及以上的速度。 编码过程是一种艺术，应该考虑不同编码速度的定制性能、包损失的容错性 与网络的带宽波动、最低速度下好的a v 品质、编码，流式传送的成本、流的控制 以及其他方面。 2 。5 流媒体传输协议 随着计算机网络和多媒体技术的飞速发展，在i p 网络上传输实时多媒体数据 ( 如声音和视频) 的应用越来越多。这种传输音频和视频的实时( r e a l t i m e ) 程序 8 第二章流媒体技术概述 必须要求能够及时的交付，即对传输实时性的要求远高于传输可靠性。然而，现 在的i p 互联网络并不是等时系统，发送的数据包可以被复制、延迟或不按顺序到 达，抖动( j i t t e r ) 现象尤其普遍，这就会严重影响网络服务质量( q o s ) ，使多媒 体传输的实时性不复存在。因此，为了允许用i p 语义在网络上有意义地传输和再 现多媒体数字信号，则需要额外的协议支持。 为了解决上述问题，互联网工程任务组( i n t e r n e t e n g i n e e r i n g t a s k f o r c e ，i e t f ) 陆续提出了一系列新的协议：如r s v p ，r t s p ，r t p r t c p 和s d p 等，它们协同 工作，在很大程度上满足了实时数据的传输要求。 2 5 1 资源预留协议一r s v p 2 5 1 1r s v p 协议简介 资源预留协议r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 处于传输层，i e f t 的 r s v p 工作组负责定义这个协议。其功能是在非连接的口上实现带宽预留，满足 应用程序向网络请求一定的服务质量。从高层来看，实时应用包括两个阶段：第 一个阶段，应用程序采用r s v p 在发送方到接收方之间某条路径上的路由器中保 留一定的资源；第二个阶段，应用程序利用这些保留的资源通过同样的路径发送 实时业务流量。 r s v p 是网络控制协议，它使i n t e m e t 应用传输数据流时能够获得特殊的服 务质量。r s v p 属o s i 七层协议栈中传输层，同路由协议协同工作，建立与路由 协议计算出路由等价的动态访问列表。 r s v p 协议的两个重要概念是流与预定。流是从发送方到一个或多个接收方 的连接特征，通过口包中“流标记”来认证。发送一个流之前，发送方传输一个 路径信息到目的接收方，这个信息包括源i p 地址、目的口地址和一个流规格。 这个流规格是由流的速率和延迟组成的，这是流的q o s 需要的。接收方实现预定 后，基于接收方的模式能够实现一种分布式解决方案。 2 5 1 2r s v p 消息格式 0123 | 版本标志 消息类型 r s v p 校验码 l 发送丌l保留r s v p 长度 图2 3 r s v p 公共首部 9 电子科技大学硕士学位论文 每一个r s v p 消息由公共首部和主体组成，主体包括各种变量一长度一类型 ( ) 对象。 1 公共首部格式如图2 3 所示。 各个字段说明如下： 1 ) 版本：4 位协议版本号，目前版本号为1 ： 标志：4 位，目前没有定义标志位； 3 ) 消息类型：8 位，目前已经定义的消息类型如下： 1 = 路径 2 = 预留 3 = 路径出错( p a t he r r ) 4 = 预留出错( r e s v e r r ) 5 = 路径清除( p a t h t e a r ) 6 = 预留清除( r e s v t e a r ) 7 = 预留确认( r e s vc o n f ) 4 ) r s v p 校验和：1 6 位，对消息反码求和，再对求和结果取反。在计算校 验码字段时，该字段值先填充为0 ，如果传输时，该字段仍然为0 ，表示 没有传输校验码。 5 ) r s v p 长度：1 6 位，r s v p 消息以字节为单位的总的长度值，包括公共 的首部和随后的各个可变对象。 2 对象格式如图2 4 所示。 图2 4r s v p 对象格式 r 各字段说明如下： 1 ) 长度：1 6 位，对象以字节为单位的总的长度，它必须是4 的整数倍， 而且至少为4 ： 2 ) 类型号：8 位，指明对象类型，每一个对象类别都有一个名字； 3 1c 类型：对象类型，每一个类别可能有若干对象，用c 类型在同一类 别对象中唯一地标识该对象； 4 ) 对象内容：最大长度时6 5 5 2 8 个字节。 1 n 第二章流媒体技术概述 2 5 2 实时流协议一r t s p 2 5 2 1r t s p 协议简介 实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 是由r e a ln e t w o r k s 和 n e t s c a p e 共同提出的，该协议定义了一对多应用程序如何有效地通过i p 网络传 送多媒体数据。r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传输( r t p 通常采用u d p 来传输数据) 。 r t s p 是应用级协议，控制实时数据的发送。r t s p 提供了一个可扩展框架， 使实时数据( 如音频、视频) 的受控和点播成为可能。数据源包括现场数据与存 储在剪辑中的数据。该协议目的在于控制多个数据发送连接，为选择发送通道( 如 u d p 、组播u d p 、t c p ) 提供途径，并为选择基于r t p 上发送机制提供方法。 r t s p 建立并控制一个或几个时间同步的连续流媒体。尽管连续媒体流与控 制流交叉是可能的，通常它本身并不发送连续流。! 换言之，r t s p 充当多媒体服 务器的网络远程控制。r t s p 连接没有绑定到传输层连接，在r t s p 连接期间， r t s p 用户可打开或关闭多个对服务器的可靠传输连接以发出r t s p 请求。此外， 可使用无连接传输协议，如u d p 协议。r t s p 流控制的流可能用到r t p ，但r t s p 操作并不依赖用于携带连续媒体的传输机制。实时流协议在语法和操作上与 h 盯p 1 1 类似，因此h t t p 的扩展机制大都可加入r t s p 。 2 5 2 2f l t s p 与h t t p 协议关系 r t s p 在功能上与h r r p 有重叠，与h t t p 相互作用体现在与流内容的初始 接触是通过网页的。目前的协议规范目的在于允许在网页服务器与实现r t s p 媒 体服务器之间存在不同传递点。例如，演示描述可通过h 丌p 和r t s p 检索，这降 低了浏览器的往返传递，也允许独立r t s p 服务器与用户不全依靠m t i 甲。 r t s p 与h t i p 的本质差别在于数据发送以不同协议进行。h t t p 是不对称协 议，用户发出请求，服务器做出响应。在r t s p 协议中，媒体用户和服务器都可发 出请求，在请求确认后很长时间内，仍可设置参数控制媒体流。重用h 兀t 功能 至少在两个方面有好处，即安全和代理。其要求非常接近，在缓存、代理和授权 上采用h t r p 功能是有价值的。 ， 但r t s p 具有一些h 1 t r p 不具备的重要特性： r t s p 引入了一些新的方法并具有一个不同于h 兀甲协议的标识符； 带外数据的传送使用不同的协议； 电子科技大学硕士学位论文 服务器和客户机都可以发出请求： 服务器缺省时需要维护会话状态，而h t t p 是无状态的； r t s p 使用i s o1 0 6 4 6 标准，而不是i s o8 8 5 9 一l 标准； r t s p 在请求的u r l ( 统一资源标识符) 中总是包含完整的u r l ，而 h 删1 1 在请求中包含一个主机名和一个完整的路径。 2 5 3 会话描述协议一s d p 2 5 3 1 $ d p 协议简介 s d p 协议主要应用于流媒体会话中服务器与客户端的信息描述。建立会话的 主要作用是协商通讯双方多媒体信息流的编码格式及r t p 传输地址等。因此，无 论在请求消息还是响应消息中都应该包含描述有关将要交换的多媒体信息流的一 些信息，如r t p 净荷类型、r t p 传输地址等，这些信息不是由消息头给出的，而 是通过信息所携带的消息体提供的。在绝大多数情况下，会话描述协议( s d p ) 描 述这些信息。 2 5 3 2s d p 协议语法 s d p 通过若干个文本行来传输会话描述信息，每一文本行采用“字段= 值” 这样的格式。其中，字段用一个字符表示，值取决于对应的字段。在一些情况下， 值可能由若干独立的信息块组成，这些信息块用空格分隔。因此，在“字段”与 “= ”之间，及“= ”与“值”之间不允许插入任何空格。 会话级字段必须处在最前面，会话级字段之后，才是媒体级字段。媒体级字 段必须紧随会话级字段，会话级字段和媒体级字段的分隔用第一个出现的媒体描 述字段( m = ) 实现。每当出现一个媒体描述字段( m = ) ，意味开始一组与会话 所涉及的特定多媒体信息流相关的媒体描述信息。 由于一些字段既可以作用于会话级，又可以作用于媒体级，为避免混淆，必 须规定字段顺序。s d p 规定的字段顺序如下： ( 1 ) 会话级 ( 协议版本号) ( 会话创建者) ( 会话名) ( 会话信息，可选) ( 统一资源标识符，可选) ( e m a i l 地址，可选) 第二章流媒体技术概述 p ( 电话号码，可选) c( 连接信息，可选) bc 带宽信息) t( 时间描述) r( 重复信息，可选) z( 时域调整，可选) k( 密钥，可选) a( 属性，可选) ( 2 ) 媒体级 m( 媒体描述) i( 媒体信息，可选) c( 连接信息，可选) b ( 带宽信息，可选) k ( 密钥，可选) a ( 属性)： 2 5 4 实时传输协议一r t p 2 5 4 1r t p 协议简介 r t p 协议作为流媒体传输协议提供了实时端到端传送视频、音频数据流的方 法。一般来讲，使用r t p 协议应用程序一般采用u d p 作为下层传输协议1 。u d p 协议虽然较t c p 协议可靠性较低，并且无法保证实时业务的服务质量，但是u d p 协议的传输时延远低于t c p 协议，并且能很好的保证数据传输的实时性。：r t p 协 议与底层传送网络所采用的物理介质无关，可以运行于多种网络之上。同时r t p 协议也支持组播，这样可以大大的节约网络带宽。 需要注意的是，r t p 本身并不能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控制，它依靠实时传输控制协议r t c p ( r e a l t i m e t r a n s p o r tc o n t r o lp r o t o c 0 1 ) 提供这些服务。通常r t p 算法并不作为一个独立的网 络层来实现，而是作为应用程序代码的一部分。实时传输控制协议r t c p 和r t p 一 起提供流量控制和拥塞控制服务。， 2 5 4 2f i t p 协议报文格式 r t p 数据包的报文头格式如图2 5 所示。 电子科技大学硕士学位论文 vp xmp t s e q u e n c en u m b e r ( 2 )( 1 )( 1 ) c c ( 4 ) ( 1 )( 7 ) ( 1 6 ) 时问戳t i m e s t a m p ( 3 2 位) 同步源标识s s r c ( 3 2 位) 参与源标识c s r c ( 3 2 位) 负载数据 图2 5r t p 报文头格式 r t p 报文首部格式各个参数的意义如下： 一v ( v e r s i o n ) ：表示r t p 的版本，当前的版本号为2 ； p ( o a d d i n g ) ：用于指定在有效载荷后是否补零填充，在加密要求把数据分配 在固定大小的块时使用它； x ( e x t e n s i o n ) ：如果应用程序类型允许扩展，则该位用于指定分组中是否有 扩展； 一 c c ( c s r cc o u n t ) ：给出参与源的数目，最