（信号与信息处理专业论文）iptv机顶盒中的流媒体客户端的实现.pdf

摘要 i p t v 机顶盒是i p t v 的消费终端，包括实时操作系统、浏览器、流媒体播 放器、i p g 客户端应用软件等模块。流媒体播放是i p t v 机顶盒的主要功能，除 此之外它还具备网页浏览、互动网络游戏和音视频电话等功能。本文的工作内容 来自天津大学与天津中天通信设备有限公司合作的i p t v 机项盒开发项目，主要 研究i p t v 机顶盒中的流媒体播放功能的实现。 项目采用的i p t v 机顶盒方案基于n x p 公司的s t b 8 1 0 机顶盒开发平台，该 平台以功能强大的p n x 8 5 5 0 芯片为核心，并提供了诸多外设接口，硬件上满足 了i p t v 机顶盒的技术要求。在软件上，该平台给出了大量和硬件设备相关的标 准a p i 函数，使软件开发过程中不必过多关注于硬件设备。 本文首先对流媒体相关技术和流媒体传输与控制协议进行分析；然后结合对 l i v e m e d i a 库结构的分析和对a s f 文件结构及其r t p 传输策略的研究，在机顶 盒上实现了a s f 流的r t p 传输功能；接下来，通过对p n x 8 5 5 0 进行媒体解码 播放处理过程的研究，实现了w m v 文件的播放功能，并最终实现了i p t v 机顶 盒的流媒体播放功能。现场测试结果表明，本项目中的流媒体客户端的功能达到 i p t v 运营商提出的技术要求。 关键词：网络电视机顶盒流媒体播放器 a b s t r a c t a sat e r m i n a lo fi p i p t vs e t t o pb o xi n c l u d e sr e a l t i m eo p e r a t i n gs y s t e m ， b r o w s e r , s t r e a m i n gm e d i ap l a y e r s ，a p p l i c a t i o ns o f t w a r eo fi p gc l i e n t ，e t c i p t v s e t - t o pb o xs h o u l dh a v ef u n c t i o n si n c l u d i n gw e b p a g eb r o w s i n g ，s t r e a m i n gm e d i a p l a y i n g ，i n t e r a c t i v eo n l i n eg a m ep l a y i n g ，m a k i n ga u d i oo rv i d e oc a l l sa n ds oo n s t r e a m i n gm e d i ap l a y i n gi st h em a j o rf u n c t i o no f t h ei p t vs e t - t o pb o x t h ec o n t e n t o ft h i sp a p e ri sf r o map r o j e c to fi p t vs e t - t o pb o x w h i c hi sd e v e l o p e db yt i a n j i n u n i v e r s i t ya n dt i a n j i nz h o n g t i a nc o m m u n i c a t i o ne q u i p m e n tc o t h em a i nw o r ko f t h i st h e s i si st oa c h i e v et h es t r e a m i n gm e d i ap l a y i n gf u n c t i o n t h es o l u t i o nt ot h i si p t vs e t t o pb o xp r o j e c ti sb a s e do nn x p ss t b 810s e t t o p b o xd e v e l o p m e n tp l a t f o r m t h ep l a t f o r mu s e st h ep o w e r f u lp n x 8 5 5 0c h i pa si t sc o r e ， a n dp r o v i d e san u m b e ro fp e f i p h e r a li n t e r f a c e s i tm e e t st h et e c h n i c a lr e q u i r e m e n t so f i p t vs e t t o pb o x e si nt e r m so fh a r d w a r e i nt e r m so fs o f t w a r e t h i sp l a t f o r ma l s o p r o v i d e san u m b e ro fs t a n d a r dh a r d w a r e - r e l a t e da p if u n c t i o n s ，s ot h a tt h ep r o c e s so f s o f t w a r ed e v e l o p m e n td o e s n tn e e dt oc a r em u c ha b o u tt h eh a r d w a r ed e v i c e s t h i sp a p e ri ss t a r t e da tab r i e fi n t r o d u c t i o no fs t r e a m i n gm e d i at e c h n o l o g ya n d s t r e a m i n gm e d i at r a n s m i s s i o nc o n t r o lp r o t o c 0 1 t h e nr t pt r a n s p o r tf u n c t i o no fa s f s t r e a mh a sb e e nr e a l i z e do nt h es e tt o pb o xt h r o u g ht h es t u d yo ft h es t r u c t u r eo f l i v e m e d i a ，t h ea s ff i l es t r u c t u r ea n di t sr t pt r a n s p o r ts t r a t e g y a n dt h e n , am e d i a p l a y e rh a sb e e ni m p l e m e n t e do nt h es e tt o pb o xt h o u g ht h ea n a l y s i so fm e d i a d e c o d i n ga n dp l a y i n gp r o c e s so fp n x 8 5 5 0 o nt h eb a s i so fp r e v i o u sc h a p t e r , w e a c h i e v et h es t r e a m i n gm e d i ap l a y i n gf u n c t i o n a n dt e s tr e s u l t ss h o wt h a tt h e s t r e a m i n gm e d i ac l i e n tm e e t st h et e c h n i c a lr e q u i r e m e n t so fi p t vo p e r a t o r s k e yw o r d s ：i p t v ，s e t - t o pb o x ，s t r e a m i n gm e d i a ，p l a y e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：丁亚签字日期：加多年厂月同 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘： ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：_ r 壶导师签名： v _ 懒丸 签字日期：乙加3 年多月日 签字日期：脚年占月开 第一章绪论 1 1 口t v 的兴起 第一章绪论 随着信息通信技术和i p 技术的不断进步以及国家信息化战略的大力推进，互 联网和宽带通信网都得到了极大的发展，互联网的用户已经超过了l 亿，宽带用 户已经超过了5 3 0 0 万。在互联网和宽带通信网上的业务，如i p 电话、视频会议、 可视电话、音视频下载、电子商务、电子政务、互动游戏、视频点播、网络电视、 旅游咨询、数字图书馆、数字博物馆、搜索引擎等业务都得到了蓬勃发展。在互 联网和宽带网络的发展过程中，出现了网络电视( 或称i p t v 【l j ) ，i p t v 是互联网 业务和传统电视业务融合后产生的新业务。 i p t v ，即交互式网络电视，根据i t u t 的官方定义，i p t v 是在i p 网络上传 送电视、视频、文本、图形和数据等，并提供服务质量服务感受( q o s q o e ) 、安 全、交互性和可靠性的可管理的多媒体业务。用户通过电视机加机项盒的方式或 者仅通过p c 终端来享用各种i p t v 业务。i p t v 既不同于传统的模拟有线电视，也 不同于典型的数字电视【2 1 ，因为这两种电视业务都具有频分制、定时、单向广播 等特点；尽管典型的数字电视相对于模拟电视有许多技术革新，但只是信号形式 的改变，而没有触及媒体内容的传播方式。广播式的电视业务极大地限制了电视 观众与电视服务提供商之间的互动，也限制了节目的个性化和即时化。i p t v 是 一种将传统媒体转变成全新的互动式媒体的人性化技术，其最大特点是交互性和 实时性，能够提供点播、广播直播、视频通信、短信彩信、信息查询、远程教 育、购物等业务。它能够很好地适应当今网络飞速发展的趋势，充分有效地利用 网络资源。 目前我国通信事业正在迅猛发展 3 】，用户对信息服务的要求越来越高，特别 是宽带视频信息。可以说中国已基本具备了大力发展i p t v 的技术条件和市场条 件。上海自从2 0 0 6 年9 月1 日正式推出i p t v 业务，在短短数月内，i p t v 给许 多市民的生活带来了巨大变化。晚上在家可以通过i p t v 点播白天播放的电视节 目，利用i p t v 遥控器在专门的频道里随心所欲地点播电视节目，还可以如同操 作影碟机一般，对电视节目进行暂停、播放、快进快退等操作。这种“想怎么看 就怎么看”的主动收看方式，极大地改变了人们对“看电视”的观念。 第一章绪论 1 2i p t v 机顶盒的现状和发展前景 i p t v 机顶盒【4 】是i p t v 的消费终端，包括实时操作系统、浏览器、流媒体播 放器、i p g 客户端应用软件等模块。i p t v 机顶盒主要实现三方面的功能：一是与 宽带接入网连接，收发和处理i p 数据和视频流；二是对接收的视频流进行解码， 包括对m p e g 1 、m p e g 2 、m p e g 4 、w m v 、r e a l 、h 2 6 4 等编码格式的解码， 同时，支持视频点播、电视屏幕显示、数字版权管理等功能：三是与键盘配合， 支持h t m l 网页浏览，网络游戏，进行e m a i l 的收发等。 根据使用的嵌入式操作系统的不同，i p t v 终端基本分为两类：嵌入式w i n c e 终端和嵌入式l i n u x 终端。 w i n c e 的最大特点是其a p i 与w i n 3 2 兼容，这有利于在w i n d o w s 环境下开 发w m c e 应用。同时，w i n c e 操作系统可直接运行w m v 播放器，这使得许多 现成的w i n d o w s 组件稍加改变就能运用到i p t v 终端上，来实现网络管理、视频 流控制等功能。其不足之处在于w i n c e 代码庞大，需要占用很多的r o m 和 r a m ，要求有高性能的x 8 6 微处理器支持，而且w i n c e 应用源代码不公开，必 须向微软缴纳版税，这在很大程度上增加了终端的成本。 嵌入式l i n u x 终端一般以专用的多媒体微处理器为核心，再加上以太网、视 频等接口构成完整的系统。多媒体微处理器本身不但具有嵌入式r i s c ( r e d u c e d i n s t r u c t i o ns e tc o m p u t e r ，精简指令集计算机) 去运行系统软件和应用软件，而且 带有m p e g 2 或m p e g 4 实时解码功能模块，在引入l i n u x 操作系统和必要的视 频以及各辅助接口驱动程序后，就成为一个完整的i p t v 网络终端。嵌入式l i n u x 终端的优点是显而易见的：首先，在硬件方面，由于使用实时解码功能模块，视 频处理速度明显提高，进而使得全程视频处理延时减少，尤其适合视频直播系统 的实现；系统配有u s b 、i d e 、p c m c i a 和以太网等接口，终端功能可扩展性强； 内存占用少，硬件结构紧凑，成本相对低廉。其次，在软件方面：由于l i n u x 源 代码公开，因此，有大量免费开发工具和应用软件可用，不必为i p t v 终端的每 个应用缴纳许可证费；同时，源代码的公开性培育了庞大的开发群体。这不仅有 利于技术交流，更使得软件开发和维护成本降低，另外，l i n u x 内核精炼，系统 稳定，运行所需资源少，支持的硬件广泛，并支持网络功能。总之，性价比高是 其最大的特色。 i p t v 机顶盒的诞生解决了模拟电视如何收看i p t v 电视的问题 5 】。如果仅仅 从机顶盒的这个角色出发，可以判定机项盒是个过渡产品，数字电视机的普及将 淘汰机顶盒。但机顶盒是绝对不会轻易的从历史舞台退出的，机顶盒将会被赋予 越来越多的功能，甚至超越数字电视这个范畴。 第一章绪论 更多的功能、更多的接口和更个性化的设计将使机顶盒逐渐形成一个多元化 的产品系列。i p t v 机项盒甚至可能成为家庭多媒体中心，满足家庭数字化的多 样需求。机顶盒除了发展自己的特色业务以外，将融合越来越多的电信业务和数 据业务，向多方面业务渗透。 1 3 流媒体系统的现状 流媒体播放是i p t v 机顶盒的主要应用。流媒体系统的主要技术包括媒体传 输和媒体编码两个方面。 目前网络中流媒体的传输和控制大多都是采用r 1 1 p r t c p r t s p 协议【6 】，其中 i 盯p 】玎c p 负责数据的传输和传输中的控制，而r t s p 则负责进行会话级控制。 目前视频压缩标准主要有w m v 、h 2 6 4 、m p e g 4 等，它们都有着相当高 的压缩效率，适应网络中较低码率的传输，使在网络中播放高质量的视频成为可 能。由于h 2 6 4 和m p e g 4 都需要较高的专利费用，w m v 则相对较少，因此， 当前流媒体系统普遍使用w m v 格式。 1 4 课题来源和主要工作 随着i p t v 的发展，越来越多的公司开始发展i p t v 业务。本课题来源于天津 大学与天津中天通信设备有限公司合作的i p t v 机顶盒项目，所开发的产品需要 遵循河北网通提出的技术规范【_ 7 1 。本课题的主要工作是研究并实现基于n x p ( 恩 智浦，原飞利浦半导体) 公司的p n x 8 5 5 0 的i p t v 机顶盒上的流媒体客户端程序。 河北网通的技术要求主要有： 1 ) 支持流媒体相关的协议，包括：r t s p i 玎p i 淝p 等。 2 ) 必须支持的媒体格式为w m v ，可选格式包括：m p e g 2 、m p e g 4 等。 3 ) v c r 功能的支持，必须支持开始、暂停和停止，建议支持快进和快退。 本课题先完成了对相关协议、音视频标准和机顶盒技术的研究，然后进行系 统架构的设计，最后完成了流媒体客户端的开发。 本文共分五章，组织如下： 第一章为绪论，介绍了i p t v 和i p t v 机顶盒的概念及其发展和前景，并分 析了流媒体系统的现状。 第二章简要地介绍了流媒体的相关技术，并重点分析了流媒体相关的协议。 第三章分析了一个用来实现r t p r t c p r t s p 协议的开源库( l i v e m e d i a 库) 的结构及其功能模块。本章详细地分析了它的结构、功能及实现原理，并给出利 第一章绪论 用此库编制应用程序的一般步骤。 第四章首先分析了a s f 文件的结构和其通过r t p 传输的方法，然后分析了机 顶盒中的解码和播放功能的实现，最后给出了流媒体客户端的具体实现和功能测 试的结果。 第五章总结全文，并指出系统中需要改进的地方和下一步的研究内容与方 向。 。 第二章流媒体技术分析 第二章流媒体技术分析 流媒体【8 】是指在i n t e m e t i n t r a n e t 中使用流式传输技术的连续时基媒体，如音 频、视频或多媒体文件。流媒体实际指的是一种新的媒体传送方式而非一种新的 媒体。 流媒体即流式媒体，在播放前并不下载整个文件，而是利用缓存技术，在播 放开始时有些延迟，后续数据流边下载边播放。和传统的下载方式相比，流式传 输有着很多优点：一方面大大地缩短了启动延时，同时也降低了对缓存容量的需 求；另一方面又可以实现现场直播形式的实时数据传输，这是下载等方式无法实 现的，同时有助于保护多媒体数据的著作权。流媒体技术使存储容量有限的机顶 盒等设备成为网络媒体播放终端成为可能。 2 1 流式传输 流式传输【9 】定义很广泛，现在主要指通过网络传送媒体的技术的总称。目前 流媒体的传输方式有顺序流传输( p r o g r e s s i v es t r e a m i n g ) 和实时流传输( r e a l t i m e s t r e a m i n g ) 两种。一般来说，如果视频为实时广播，或使用流传输媒体服务器， 或应用如r t s p 等实时协议，即为实时流传输。如果使用h t t p 服务器，文件通过 顺序流发送，即为顺序流传输。当然，流媒体文件也支持在播放前完全下载到本 地存储空间。 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线内容，在给定 时刻，用户只能观看己下载的部分，而不能跳到还未下载的部分。顺序流方式是 早期在i p 网上提供流服务的方式，由于标准的h t t p 服务器可发送顺序流式传 输的文件，而不需要其它特殊协议，所以顺序流式传输经常被称作h t t p 流式传 输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于这种传 输方式观看的部分是无损下载的，所以能够保证播放的最终质量，但这也意味着 用户在观看前必须经历时延。顺序流式传输不适合长片段和有随机访问要求的情 况，如讲座、演说与演示；也不支持现场直播，严格说来，它是一种点播技术。 实时流式传输总是实时传送，特别适合现场直播，也支持随机访问，用户可 快进或后退以观看后面或前面的内容。但实时流式传输必须保证媒体信号带宽与 网络连接匹配，以便传输的内容可被实时观看。这意味着在以调制解调器速度连 接网络时图像质量较差。而且，如果因为网络拥塞或出现问题而导致出错和丢失 第二章流媒体技术分析 的信息都被忽略掉，那么图像质量将很差。实时流式传输需要特定服务器，如 q u i c k t i m es t r e a m i n gs e r v e r ，r e a l s e r v e r 与w i n d o w sm e d i as e r v e r 。这些服务器允 许用户对媒体发送进行更多级别的控制，因而系统设置、管理比标准h t r r p 服务 器更复杂。实时流式传输还需要特殊网络协议【1 0 】，如：r t s p 或m m s 。 顺序流式传输很难支持v c r 功能，缺少与用户的交互能力，而实时流式传 输不仅支持v c r 功能，还不占用客户端的存储资源。显然实时流式传输更适合 i p t v 机项盒的需求。 2 2 流式传输的主要技术 流式传输需要缓存，因为i n t e m e t 是以分组( p a c k e t ，或称包) 传输为基础 进行断续的异步传输。一个实时流媒体在传输中要被分解为许多分组，由于网络 是动态变化的，各个分组选择的路由可能不尽相同，各分组到达客户端的时间延 时也就不等，甚至先发的数据分组还有可能后到。因此，需要使用缓存系统来缓 解延迟和抖动的影响，并保证数据分组的顺序正确，从而使媒体数据能连续输出， 而不会因为网络暂时阻塞时拥塞，而使播放出现停顿。通常高速缓存所需的存储 器容量并不大，因为高速缓存使用环形链表结构来存储数据；通过丢弃已经播放 的内容，可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制 信息，而用r t p u d p 来传输实时多媒体数据。 流式传输的过程一般是这样的：首先，用户选择某一流媒体服务后，w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实 时数据从原始信息中检索出来；然后，客户端的w e b 浏览器启动音视频客户程 序，使用h t t p 从w e b 服务器检索相关参数对音视频客户程序进行初始化，这 些参数可能包括目录信息、音视频数据的编码类型或与音视频检索相关的服务器 地址：最后，音视频客户程序及音视频服务器运行实时流协议( i 玎s p ) ，以交换 音视频传输所需的控制信息，实时流协议提供执行播放、快进、快倒、暂停及录 制等命令的方法；音视频服务器使用r t p u d p 协议将音视频数据传输给音视频 客户程序，一旦音视频数据抵达客户端，音视频客户程序即可播放输出。其基本 原理如图2 1 。 第二章流媒体技术分析 2 3 流媒体相关协议 图2 1 流式传输的原理 流媒体协议主要是用于实现流媒体的流式传输，包括r t p 、r t c p 、r t s p 、 r s v p 和s d p 等协议。图2 2 描述了它们和网络协议之间的层次结构1 1 1 。 数据控制协议网络内容承载协议 应用层r t s p r s v p r t c p i u p s d p 传输层 t c p ，u d p 网络层 口 图2 2 流媒体协议的层次结构 r t p 1 2 】( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是因特网上针对多媒体数据流的一种 传输协议。它不涉及资源预留和质量保证等实时服务，其工作模式为一对一或一 对多的传输，其目的是提供时间信息，实现流同步。 r t c p t 】( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 为配合r t p 使用的传输控制 协议，和r t p 一起提供流量控制和拥塞控制服务，能以有效的反馈和最小的开销 使传输效率最优化。 r t s p l l 4 ( r e a l t i m es t r e a n m i n gp r o t o c 0 1 ) 是有r e a ln e t w o r k s 和n e t s c a p e 共同 提出的，该协议定义了一对多应用程序如何有效地通过i p 网络传送多媒体数据。 第二章流媒体技术分析 它是一个应用级的实时流协议，用来控制实时流的传输。 s d p 1 5 】( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) 为会话通知、会话邀请和其它形式的 多媒体会话初始化等目的提供了多媒体会话描述。辅助r t s p 协议完成多媒体会 话初始化的功能。 r s v p 1 6 j ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 是因特网上的资源预留协议，能在一 定程度上为流媒体的传输提供服务质量标准，它不负责数据传输。 2 3 1r t p 协议 r t p 是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和 多目标广播网络服务中传输实时数据。r t p 是一个独立于应用程序的协议规范， 在具体应用中有不同的独立框架。例如，r t p 在音视频应用中的框架协议是 r f c l 8 9 0 。r t p 协议目前正由i e t f 进行标准化。 2 311r t p 包格式 每个r t p 包都由包头和有效负载( p a y l o a d ) 组成。在协议中只定义了包头 的数据结构，而没有限制有效负载的大小。r t p 包的包头的格式如图2 3 。其中 前1 2 个字节是每个r t p 包中都存在的，称为固定头。只有当一个r t p 流是由 r t p 混合器提供几个流组合的结果时，才会包含c s r c 域。其中比较重要的几个 域及其意义如下： vpx c cm p t s e q n u n b e r t i m e s t a m p s y n c h r o n i z a t i o ns o u r c e ( s s r c ) c o n t e n ts o r c e ( c s r c ) 图2 3r t p 数据包头 版本域( v ) ：长度为2 b i t ，该域确定r t p 协议的版本。现在的版本为2 ，版 本0 用于r t p 协议在v a t 音频工具中的最初实现，早期的r t p 草案版本号为l 。 填充域( p ) ：长度为1b i t ，用作标记。如果该位被设置，则表明该r t p 包 末尾包含有额外的附加间隙字节，附加信息的最后一个字节表示额外附加信息的 长度( 包含该字节本身) 。填充域有以下两个用途：1 用于一些需要数据块大小 固定的加密算法中；2 用于将几个r t p 包封装于低层协议数据单元中。 扩展域( x ) ：长度也为1b i t ，也用作标记。如果该位被设置，意味着固定 第二章流媒体技术分析 的r t p 头后面跟随一个包头扩展( 格式定义在r f c 3 5 5 0 中的5 3 1 节) 。该扩展 给开发者提供了一种实验机制，通过该实验开发者可以将本来要求有另外的包头 信息来表示的功能与格式独立的有效负载添加在扩展部分。 提供源资源标识计数域( c c ) ：长度为4b i t ，用来表示跟随在固定头后面的 c s r c 标识的数目。 - 标记域( m ) ：长度为1b i t ，标记的解释由p r o f i l e ( 音u 面) 文件定义。该位的意 义在于允许一些重要的时间出现在数据流中，比如帧边界的标识。p r o f i l e 应该定 义标记位，或者通过改变负载类型域的位数来指定没有标记位。 有效负载类型域( p t ) - 长度为7b i t ，该域定义r t p 负载的格式。r t p 可 支持1 2 8 种不同的有效载荷类型( 标准类型列处在r f c 3 5 5 1 中) 。对于声音流， 这个域用来指示声音使用的编码类型，例如p c m 、自适应增量调制或线性预测 编码等等。如果发送端在会话或者广播的中途决定改变编码方法，发送端可通过 这个域来通知接收端。 序列号域( s e qn u n b e r ) ：为1 6b “二进制整数，每发送一个r t p 数据包， 序列号加1 。接收端用来检测包的丢失和恢复包的顺序。序列号的初始值是随机 的( 不可预知的) ，目的是使大家熟知的明文密码攻击方法更困难。 时间戳( t i m e s t a m p ) ：长度为3 2 b i t ，它反映r t p 数据信息包中第一个字节 的采样时刻，接收端可以利用这个时间戳来去除由网络引起的信息包的抖动，并 且在接收端为播放提供同步功能。时间必须取自单增、在时间上线性的时钟。时 钟格式必须满足同步精度的要求( 每个视频帧一跳显然是不够的) 。时钟频率依 赖于传输的载荷数据，并由剖面域或负载类型域规范静态指定，也可用非r t p 手段动态指定。和序列号一样，时间戳的初始值也是随机数 同步资源标识域( s s r c ) ：长度为3 2 b i t ，s s r c 域用来鉴别同步源。标识 符是随机选择的，但要保证在同一r t p 会话中，不能有任何两个同步源拥有相 同的s s r c 。如果一个发送者改变i p 地址，必须选择新的s s r c 。s s r c 随机码 利用m d 5 来产生。 提供资源标识域( c s r c ) ：共0 1 5 条，每条3 2 b i t ，c s r c 列表用来识别 包中包含的负载数据的提供源。c c 域定义共有多少c s r c ，如果提供源超过1 5 ， 只有1 5 条被识别。c s r c 由混频器插入，将提供源的s s r c 值顺序插入。 2 312r t p 协议的主要功能 r t p 提供实时数据的端到端的传输服务。但r t p 不是典型意义上的传输层 协议，因为它不具备一个典型传输协议的所有特点。例如，r t p 没有连接的概念， 必须建立在底层的面向连接或面向无连接的传输协议之上；r t p 不依赖于特别的 第二章流媒体技术分析 地址格式，而仅仅需要底层传输协议支持成帧( f l a m i n g ) 和分段( s e g m e n t a t i o n ) ； r t p 本身不提供任何可靠性机制，而由传输层协议或应用程序保证传输的可靠 性。r t p 一般是在传输协议之上作为应用程序的一部分加以实现，如图2 - 4 所示。 由应用程序生成的声音和电视数据块被封装在r t p 信息包中，每个r t p 信 息包被封装在u d p 或t c p 消息段中，然后再封装在i p 数据包中。r t p 的封装 只是在系统端才能看到，中间的路由器并不区分那个口数据报是运载r t p 信息 包的。从应用开发人员的角度来看，可把r t p 执行程序看成是应用程序的一部 分，因为开发人员必需把r t p 集成到应用程序中。在发送端，开发人员必需把 执行r t p 协议的程序写入到创建r t p 信息包的应用程序中，然后应用程序把 r t p 信息包发送到u d p 的套接接1 2 1 ( s o c k e ti n t e r f a c e ) ；同样，在接收端，r t p 信 息包通过u d p 套接接口输入到应用程序，因此开发人员必需把执行r t p 协议 的程序写入到从r t p 信息包中抽出媒体数据的应用程序。 2 3 2r t c p 协议 图2 4r t p 与因特网各层协议的关系 r t c p 被设计为和r t p 一起使用的进行流量控制和拥塞控制的服务控制协 议。r t c p 在r t p 的会话之间周期的发送一些r t c p 包用以传输监听服务质量和 第二章流媒体技术分析 交换会话用户信息等功能。r t c p 包中含有已发送的数据包的数量、丢失的数据 包的数量等统计信息。 2 3 2 1r t c p 包格式 r t c p 协议处理机制根据需要定义了5 种类型的报文。分别传送不同控制信 息： 1 s r ( 发送端报文) ：发送方周期性的传输发送方报文。其中提供了绝对的 时间戳。由于在r t p 中允许每个数据流选择一个时间间隔作为自己的时间 戳，第一个时间戳也是随机选择的。这样，当一个会话中同时存在多个数 据流并需要在接收方同步播放时，比如同时存在视频和于其伴随的音频， 发送方报文中提供的绝对时间戳为接收方同步多个数据流成为可能。 2 r r ( 接收端报文) ：接收方也周期性的传输接收报文，它向源报告数据包 的接收情况。 3 s d e s ( 源描述报文) ：提供会话参与者的详细信息，包括c n a m e ( c a n o n i c a l e n d p o i n ti d e m i f i e r ) 、姓名、电话和地址等。 4 b y e ( 结束报文) ：表明一个参与者结束会话。 5 a p p ( 应用程序特定报文) ：对特定应用的功能描述，允许用户自己定义 报文结构。 r t c p 包可以不加任何分界符而合并成一个包，下层协议( u d p 厂r c p ) 不必 知道到底合并了几个包。但是必须遵守以下约束条件： 在带宽允许的情况下，统计信息( 在s r 或r r 中) 应该尽可能多的发送。 所以每个组合包中应该包括一个统计信息报告包。 新的接收者必须尽可能快接收c n a m e 信息，以识别源，并开始联系媒 介进行同步。所以每个组合包也应该包括s d e s 包。 在组合包中最先出现的包的类型数目应该被限制，以增加第一个字节的 常数位数目，并增大成功确认r t c p 包，阻止地址错误的r t p 包或其它 不相关包的可能性 2 3 2 2r t c p 协议主要功能 r t c p 的主要功能是为应用程序提供会话质量或者广播性能质量的信息。每 个r t c p 信息包不封装声音数据或者电视数据，而是封装发送端和或者接收端 的统计报表。这些信息包括发送的信息包数目、丢失的信息包数目和信息包的抖 动等情况，这些反馈信息对发送端、接收端或者网络管理员都是很有用的。r t c p 规格没有指定应用程序应该使用这个反馈信息做什么，这完全取决于应用程序开 发人员。例如，发送端可以根据反馈信息来修改传输速率，接收端可以根据反馈 第二章流媒体技术分析 信息判断问题是本地的、区域性的还是全局性的，网络管理员也可以使用r t c p 信息包中的信息来评估网络用于多目标广播的性能。 总的来说r t c p 包有以下功能： 1 服务质量动态监控和拥塞控制。 r t c p 控制分组含有服务质量监控的必要信息。而且r t c p 分组十多播的， 所以会话的成员都能够了解到其他参与者的状况。r t c p 协议反馈的信息可 以直接用于选择合适的数据编码，使数据发送速率适应当前网络状况，以解 决网络壅塞的问题：在试验中，它也在获得接收端反馈、诊断发送故障方面 起重要作用。还可以给与会话无关的第三方网络服务提供者反馈信息，诊断 网络故障。 2 媒体流同步 r t c p 控制分组中的n t p 时间戳和r t p 时间戳可以用于同步不同的媒体刘， 例如音频和视频的唇同步( 1 i p s y n c i n g ) 。 3 资源标识和传达最小控制信息 r t c p 的s d e s 控制分组含有r t p 数据包自身来源的有效信息，且通常以文 本文字的形式出现。例如，s d e s 分组中的c n a m e 项包含主机的规范名， 它是一个会话中全局唯一的标识符。其他可能的s d e s 项可以用于传送最小 会话控制信息，比如将参与者的i d 显示在用户界面上。 4 会话规模估计和扩展 应用程序周期性的向媒体会话的其他成员发送r t c p 控制分组。应用程序可 以根据接受到的r t c p 分组估计当前会话的规模，并据此改变会话的规模。 这对于网络管理和服务质量监控都非常重要。 2 3 3r t s p 协议 r t s p 定义了如何有效地通过i p 网络传送实时多媒体数据，是一种客户端 到服务器端的多媒体描述协议。r t s p 提供了一个可扩展框架，用来实现实时数 据的受控和点播等功能 r t s p 作为多媒体服务器的网络远程控制。它建立并控制一个或几个实践同 步的连续流媒体。通常r t s p 本身不传送数据流，它没有具体的连接概念，r t s p 会话也不绑定到传输层连接。 r t s p 是一种基于文本传输的应用层协议，在语法和操作上与h t t p 1 1 类 似，这样，就可以兼容现有的w e b 基础结构，并使h t t p 的扩展机制在大部分 情况下也可加入到r t s p 协议中。目前r t s p 协议主要支持的操作有：从媒体服 务器上检索媒体；媒体服务器邀请进入会议；将媒体加入到现有的讲座中等。 第二章流媒体技术分析 2 3 3 1r t s p 协议特点 r t s p 具有如下一些特点： 可扩展：新的方法和参数可以很容易地添加到协议中。 易解析：r t s p 可以由标准h 1 v r p 或m i m e 解析器解析。 安全：r t s p 利用w e b 安全机制，所有h t t p 安全认证都可以直接移用 于r t s p 协议，例如基本认证( r f c 2 0 6 8 ) 和摘要认证( i 强c 2 0 6 9 ) 。r t s p 甚 至可以利用传输层和网络层的安全机制。 传输独立性：r t s p 协议不仅可以使用不可靠的u d p 协议、可靠数据包 协议r d p ( r e l i a b l ed a t a g r a mp r o t o c 0 1 ) ，也可以基于可靠的面向连接的t c p 协议。 支持多服务器：r t s p 描述的每个媒体流可以位于不同的服务器，客户端 自动和不同的媒体服务器建立并发的控制会话，媒体的同步在传输层实现。 控制记录设备：r t s p 可以控制记录和回放设备以及能够交替记录、回 放的设备( v c r ) 。 流控和会话启动分开：流控和邀请媒体服务器加入会话是分开进行的。 唯一的要求是会话启动协议能提供唯一的会话表示符。 适合专业应用：r t s p 通过s i m p t 时戳支持帧级的时间精度，允许远方 数据编辑。 表达描述的中立性：r t s p 协议不强制使用某种描述和文件格式。但是 描述中应至少包含一个r t s pu r l 。 适合于服务器控制：如果客户端启动一个流传输，它必须能停止媒体流。 服务器端不应该启动一个向客户端传输的流，因为这样客户端无法停止该 流。 传输协商：客户端能根据确切的处理连续媒体流的需求，协商传输方式。 协商能力：如果某些功能不可用，客户端必须存在某种清除机制来决定 哪种方法不能执行。这种功能能允许客户端提供合适的用户界面。比如说： 如果不允许搜索功能，客户端就不能允许移动滑动位置指示器。 2 3 3 2r t s p 的方法和状态机 r t s p 协议定义了一系列请求( 方法) ，包括： d e c s c r j b e ：从请求的u r l 中检索出演示或媒体对象的描述信息。 d e c s c r i b e 的请求晌应对发起了一个r t s p 会话。 a n n o u n c e ：当从客户端发往服务端，请求携带的是与请求内u r l 对 应的媒体的描述信息；当从服务端发往客户端，请求内携带的是服务器 第二章流媒体技术分析 此时该媒体的描述信息。 g e tp a r a m e t e r ：用于获得请求中所要求的参数值，参数应该在消 息体中，若消息体为空，可用于测试客户端和服务器的连通性了。 s e tp a r a m e t e r ：设置请求的u r l 中的描述或流的参数值。一般情 况下每次请求仅包含单个参数。 s e t u p ：由客户端发送，要求服务器为媒体流分配资源，开始r t s p 会 话，准备传输数据。 p a u s e ：通知服务器暂停一个或多个媒体流的传输，但是服务器应保留 位客户端分配的资源。 p l a y ：通知服务器开始传输数据，客户端要求播放媒体流，该操作应 在s e t u p 请求之后。 r e c o r d ：通知服务器开始传输数据，客户端要求记录媒体流，该操作 应在s e t u p 请求之后。 r e d i r e c t ：通知客户端必须连接到另一个服务器获取数据。客户端必 须对当前连接发送t e a r d o w n 对新连接发送s e t u p 。 o p t i o n s ：要求获取服务器实现的功能列表，可以在会话的任意时刻发 送，不会影响状态机。 t e a r d o w n ：通知服务器结束流的传输，结束r t s p 会话，释放资源， 包括s e s s i o n 号，为用户分配的带宽等。 这其中的o p t i o n s 、s e t u p 、p l a y 和t e a r d o w n 为必需实现的方法， d e c s c r i b e 和p a u s e 为建议实现的方法，其它的方法是可选的。 r t s p 连接是基于状态的，服务器和客户端需要为每个连接建立和维护一个状态 机。每个状态机中包含这几种状态：i n i t 、r e a d y 、p l a y i n g 和r e c o r d i n g 。其状 态转换如图2 5 所示。 p l a y r e c o r d t e a r d o w n 图2 5r t s p 的状态机 第二章流媒体技术分析 2 3 4s d p 协议 s d p 的作用是描述多媒体会话，向会话参与方传送必要的会话信息，在会话 各方之间协商媒体能力。作为通用的多媒体会话描述方法，s d p 只描述会话的统 一格式，可和各种传输协议一起，广泛地使用于各种场景。s d p 只规定了会话描 述的格式，不关心媒体类型参数等的协商，而且在标准制定过程中尽量向通用性 努力，因此它可以被s i p ( 会话初始协议) 、s a p ( 会话通知协议) 、r t s p ( 实时 流协议) 、m m i e 扩展协议的电子邮件以及h t t p ( 超文本传输协议) 等应用协 议所采纳。 s d p 会话描述有以下三部分内容：会话描述、媒体描述、时间描述。