（计算机应用技术专业论文）基于rtp的mpeg4传输方法研究与实践.pdf

基于r t p 的m p e g 一4 传输方法研究与实践 摘要 随着互联网的广泛应用，人们对多媒体通信的要求不断增多，层次不断深 入。新一代基于音、视频对象编码的标准一m p e g 一4 的出现，适应了当前多 媒体应用的发展，事实上正在逐渐成为多媒体通信的主流技术。在m p e g 4 标 准中虽然给出了一个多媒体传输集成框架( d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ，d m i f ) ，但并没有针对各种信息传播网络定义具体的实现细节，面 对互联网广泛应用的当今时代，基于i p 网络的m p e g 4 传输方法的研究显得尤 其重要而有意义。 本文首先介绍了m p e g ，4 标准的体系结构、实时流媒体协议以及当前 m p e g 一4 传输研究的现状，并在此基础之上，使用面向对象技术对m p e g 一4 文 件进行了剖析，研究了m p e g 4 的同步层和传输框架( d m i f ) 的传输机制。 针对当前互联网的现状，设计了一种基于r t p 的传输m p e g 4 媒体数据的可行 方案；也就是在m p e g 4 的多媒体传输集成框架( d m i f ) 下，如何实现d m i f 中的数据平面，并设计了个打包算法保证m p e g 4 媒体数据在网络上的高效 传输。最后，对所设计的方案予以实现，实验检测结果表明，该方案可以正确、 高效地传输m p e g 4 媒体数据。 关键词：m p e g 一4 ：r t p ；流媒体：d m i f r e s e a r c ha n dp r a c t i c eo fm p e g - 4d e l i v e r ym e a n sb a s e d 0 nr t p a b s t r a c t w i t ht h ee x t e n s i v ea p p l i c a t i o no fi n t e r n e t ，t h er e q u i r e m e n tf o rm u l t i m e d i a c o m m u n i c a t i o n sg r o w sm o r ea n dm o l es t r o n g l y t h ea p p e a r a n c eo fm p e g 一4 ，w h i c h i st h en e w g e n e r a t i o ns t a n d a r db a s e do nc o d i n go f a u d i o v i s u a lo b j e c t s ，h a sm e tt h e n e e d sf o rt h ec u r r e n td e v e l o p m e n to f m u l t i m e d i a i nf a c t ，i ti sg r o w i n ga st h em a i n t e c h n o l o g yo fm u l t i m e d i ad e l i v e r y t h es t a n d a r do n l yg i v e sad e l i v e r ym u l t i m e d i a i n t e g r a t i o nf r a m e w o r k ( d m i f ) ，a n dd o e s n td e f i n et h es p e c i f i cr e a l i z a t i o nd e t a i l s a i m i n ga te v e r yk i n do f i n f o r m a t i o nn e t w o r k i nt h ef a c eo fc u r r e n te x t e n s i v eu s eo f i n t e r n e t ，i ti se s p e c i a l l yu r g e n ta n ds i g n i f i c a n tt om a k es o m er e s e a r c ho nm p e g - 4 d e l i v e r ym e a n sb a s e d o ni pn e t w o r k w h a ti si n t r o d u c e df i r s ti n t h i st h e s i sa r em p e g 一4 s y s t e ma r c h i t e c t u r e ， r e a l - t i m es t r e a m i n gp r o t o c o li nt h em p e g - 4s t a n d a r da n dt h ep r e s e n tr e s e a r c ho n m p e g 一4 a n do nb a s i so ft h ei n t r o d u c t i o n ，t h et h e s i sg o e so i lt oa n a t o m i z et h e d m i f t h e n p r e s e n taf e a s i b l es c h e m e f o rd e l i v e r i n gt h em e d i ad a t ao fm p e g 一4 i n o t h e rw o r d s ，t h et h e s i se m p h a s i z e st h er e s e a r c ho nh o wt oi m p l e m e n tt h ed a t ap l a n e o f d m i f ，n a m e l y ，o nt h em e t h o d so f h o wt od e l i v e rt h em e d i ad a t ao fm p e g - 4a n d d e v i s ea r ! e f f e c t i v ep a c k e t i n ga l g o r i t h mt o g u a r a n t e et h ee f f e c t i v ed e l i v e r yo ft h e m e d i ad a t ao fm p e g 一4 f i n a l l y ，w ei m p l e m e mt h es c h e m e ，a r t dt h et e s t i n gr e s u l t s i n d i c a t et h a ti tc a na c c u r a t e l ya n de f f e c t i v e l yd e l i v e rt h em e d i ad a t ao fm p e g 一4 k e yw o r d s ：m p e g 一4 ； r t p ；s t r e a m i n gm e d i md m i f 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得盒胆王些盍堂或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名 签字日期西笋7 月日 学位论文版权使用授权书 本学位论文作者完全了解盒胆王些态堂有关保圉、使用学位论文的规定。有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权合 罂王些盔堂可以将学位论文的全部或部分内容编入有关数据库进行检索。可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 37 碡一 签字日期：工懈7 月g 日 学位论文作者毕业后去向 工作单位： 通讯地址： 锹名： 己铷 签字日期：o 雌产月扩日 电话 邮编 义 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学 硕士学位论文质量要求。 答辩委员会签名 乡锄抄 要镦媳 合肥工业大学 合肥工业大学 合肥工业大学 合肥工业大学 新：7 弓讥御虹蚨学率授 搬坛缎狮遁 羧籍铲 厉y v 寻毂衫 技 舰 免 主 委 致谢 值此论文完成之际，衷心地向辛勤培育我的导师侯整风教授表示崇高的敬 意和深深的谢意。三年来，侯老师不仅在学习上为我创造了良好的环境，而且 在生活中也给予我极大的关心和帮助，我所取得的每一点成绩都倾注r 恩师的 大量心血。侯老师严谨的治学态度、丰富渊博的知识、敏锐的学术思维、精益 求精的工作态度、积极进取的科研精神以及诲人不倦的师者风范是我终生学习 的楷模。 感谢蒋建国教授、胡学钢教授、王浩教授、张佑生教授、欧阳一鸣教授、 袁兆山教授、穆斌教授、王治森教授、郭骏等老师，在我研究生学习期间对我 的关心和帮助。 感谢三年来相伴的同学一一杨明玮、刘项洋、陈卫、陈军、陈世兴、汪健 雄、陆文星、刘皓玉、王长宁等。特别感谢程峰同学对我的论文的帮助。 感谢所有帮助和关心过我的老师、同学和朋友。 最后，感谢我的女友珠珠在我研究生论文期间对我的关心和帮助，感谢我 的父母对我的养育之恩和哥哥对我的支持! 作者：丁凉 2 0 0 4 年5 月1 6 日 第1 章引言 1 1 问题背景 当今社会，多媒体信息己经广泛渗透到人们的通信与交流中。随着i n t e r n e t 的飞速发展，越来越多的固定的或移动的、有线的或无线的设备在通过i n t e r n e t 来分享和交换多媒体信息。人们对多媒体通信的要求也不断增多，层次不断深 入。一方面对网上各种媒体的质量提出了更高的要求；另一方面又希望这种质 量的提高，不会对现存的网络带宽带来很大的冲击；同时，还希望提高与媒体 信息交流的层次，不仅仅只是被动的接收，还能与感兴趣的媒体信息进行交互， 主动的获取信息。 网络多媒体的一个关键应用是流媒体的应用，流媒体是指在网络中使用流 式传输技术的连续时基媒体，如视频、音频等i lj 。新一代视频压缩技术m p e g 一4 的出现正是适应了流媒体应用的发展，事实上正在逐渐成为流媒体通信的标准。 它建立在几种成功的技术上，如数字视频、计算机图形以及w w w ，旨在提供 一个制作、发布和播放多媒体内容的综合平台。 m p e g 一4 第一次提出了视频对象的概念，相对于传统的块压缩技术，它具 有前所未有的灵活性和高效性，不仅可以用于未来的交互式视频服务需求，同 时也兼容于传统方式视频的存储和传输，它无疑是网络视频压缩技术的优先选 择。 m p e g 一4 标准以其高压缩率、高质量、低传输率成为目前和下一代网上多 媒体传输的主要格式和标准，目前对m p e g 一4 的传输应用刚刚开始。除了传统 的流媒体软件公司r e a l n e t w o r k s ，m i c r o s o f t ，a p p l e 公司外，c i s c o ，p h i l i p s 等 公司也投入巨资角逐m p e g 4 的流式传输应用；国内对这方面的研究还处在起 步阶段，因此现在抓紧时间和抓住机遇研究基于m p e g 4 的传输技术是必要的 和有意义的。 流媒体技术是多媒体技术和网络技术的交叉课题，它包括流媒体服务器技 术、流媒体编码技术、端到端流媒体技术和流媒体系统技术等1 2 1 。流媒体服务 器在提供流媒体服务中起着关键作用，而流媒体本身有着大数据量、要求实时 处理等特点，因此流媒体服务器技术也是流媒体技术研究的重点。其中通信程 序是流媒体服务器的技术核心，通信程序涉及到服务器中实施的应用层和传输 层协议。 在实现m p e g 一4 的各种流式传输应用，流媒体服务器技术是主要的关键技 术，而在m p e g 一4 的多媒体传输集成框架( d m i f ) 下，针对当前互联网的现 状，设计一种在i p 网络上传输m p e g 。4 媒体数据的可行方案是十分重要的。而 对于m p e g 4 系统多媒体传输层( d m i f ) 来说，对于网络媒体数据的访问， 实际上同时存在两个通信平面：数据平面和控制平面。如何实现多媒体传输集 成框架( d m i f ) 中的数据平面是一个难题，这是因为在m p e g 一4 标准中对于 多媒体传输集成框架( d m i f ) ，只是给出了一个框架，并没有针对具体的网络 实体定义具体实现细节。因此，对这方面的研究现在是一个热点领域。 r t p r t c p 、r t s p 作为流媒体的应用层协议，早在1 9 9 6 年就被i e t f 接纳 为i n t e r n e t 标准，目前r t p r t c p 已经成为流媒体传输中使用最广泛的协议。 因此，可以考虑使用r t p r t c p 协议来实现m p e g 4 标准的多媒体传输集成框 架( d m i f ) 中的数据平面。 要通过r t p 进行m p e g 一4 的传输，必须把m p e g 4 的媒体数据封装成一个 个r t p 包。文献【3 】，【4 ，【5 ，【6 分别提出了h 2 6 1 ，h 2 6 3 ，h 2 6 3 十和m p e g 一1 2 视频流的r t p 载荷格式及打包算法，但它们都是针对基于块的编码标 准，不适用于m p e g 一4 视频。文献【7 提出了m p e g 一4 基本流的r t p 载荷格 式但没有提出具体的打包算法。目前关于m e p g 一4 码流的r t p 分组载荷格式 的研究仍在进行之中，并且有多种不同的观点和建议，因此，这方面的研究将 很有意义。 1 2 本文的研究内容 本文对m p e g 一4 标准中的体系结构、多媒体传输整体框架( d e l i v e r y m u l t i m e d i a i n t e g r a t i o nf r a m e w o r k ，d m i f ) 、文件结构、以及m p e g 一4 的同步层、 定时模型、时间重建，作了深入分析和研究；同时介绍了i e t f 发布的r t s p 、 r t p r t c p 实时流媒体协议标准，以及当前已提出的一些利用r t p 协议来完成 m p e g 4 同步层和网络传输的方法和思想。 在此基础之上，使用面向对象技术对m p e g 一4 文件进行了剖析，研究了 m p e g ，4 的同步层和多媒体传输整体框架( d m i f ) 的机制，针对当前互联网的 现状，提出了一种在i p 网络上传输m p e g 4 媒体数据的可行方案；也就是在 m p e g 一4 的多媒体传输集成框架( d m i f ) 下，如何在i p 网络上实现d m i f 中 的数据平面，即m p e g 一4 媒体数据的实际传输方法，并设计了一个高效的基于 r t p 协议的打包算法以保证m p e g 一4 媒体数据在i p 网络上的高效可靠传输， 并对其进行了模拟验证。 1 3 本文的章节安排 本文共分六部分： 第1 章首先对论文所研究问题的背景做简要介绍，通过对多媒体和网络两 + ；b - n 的阐述引入了本文所研究的课题内容，并提出了本文的内容 安排。 第2 章介绍了流媒体的概念和m p e g 一4 标准。 第3 章介绍了m p e g 一4 标准中网络层d m i f 的相关概念和内容。 第4 章介绍了i e t f 的实时流媒体协议标准。 第5 章介绍了m p e g 一4 标准中的文件结构和同步层的概念和机制。 第6 n 设计与试验部分，通过使用r t p 协议设计出一种能完成d m i f 框架 中数据平面功能的方法。 第2 章流媒体与m p e g 4 标准 2 1 流媒体概述与m p e g 系列标准 2 1 1流媒体技术 从广义上讲，流媒体技术是使音频和视频形成稳定和连续的传输流和回放 流的一系列技术与方法和协议的总称。狭义上讲，流媒体技术是区别于“下载 回放”方式的一种新的从因特网上获取音频和视频数据的传输方式。【8 9 】 服务器向用户端发送稳定和持续的多媒体信息流，用户端一边接收传输流， 一边以一个稳定的回放流回放，而不是等数据完全下载后再回放，其主要特点 是传输和播放的实时性。实时流传输保证实时传送，适合现场事件直播和长片 段内容点播，支持随机访问，用户可进行快进或后退操作，以观看前面和后面 的内容。流媒体传输的基本原理如下图所示： 2 1 2 流文件格式 图表2 - 1 流媒体传输的基本原理 流文件与通常的压缩文件不同，为了适合在网络上边下载边播放，流文件 需经特殊编码。形象地说就是把文件拆散，同时必须附加一些信息，如：计时、 压缩和版权信息等。 2 1 3 m p e g 系列标准 目前，m p e g 系列国际标准已经成为影响最大的多媒体技术标准，对数字 电视、视听消费电子产品、多媒体通信等信息产业的重要产品产生了深远影响。 m p e g ( m o v i n g p i c t u r ee x p e r t s g r o u p ) 专家组是国际标准化组织i s o i e c 4 下属的一个下作组，其正式名称为“活动图象和音频编码”，负责为运动图象、 音频、以及它们的组合开发压缩、解压缩、处理、编码表示等方面的国际标准， 以满足广泛多样的应用需求【”】。自1 9 8 8 年设立以来，已经取得了卓越的成就， 成功的开发了一系列m p e g 标准，曾获得了著名的e m m y 奖，包括m p e g 一1 、 m p e g 一2 、m p e g - 4 等。其中，m p e g l 是1 5m b i t s 活动图象及其伴音的编 码标准，v c d 和m p 3 等广泛应用的技术就是建立在m p e g l 基础之上；m p e g 一2 是“活动图象及其伴音的通用编码”，它为高洁晰度数字电视、d v d 等应 用提供了技术支持；m p e g 一4 研究的主题是“音视频对象的编码”，为多媒体 技术在w e b 和移动计算中的应用提供了标准。此外，还有一些标准正在制定 之中，包括“多媒体内容描述接口”m p e g - 7 、“多媒体框架”m p e g 2 1 等。 m p e g 标准具有巨大的实际应用价值，已经在信息技术、消费电子、通信产品 等各个应用领域得到了广泛的应用。 2 2m p e g 4 标准 2 2 1 概述 m p e g 一4 的正式名称为“音视频对象的编码( c o d i n go fa u d i o v i s u a l o b j e c t s ) ，在i s o i e c 中的编号为i s o j e c1 4 4 9 6 ，其第一个版本于1 9 9 8 年1 0 月制定完毕，并于1 9 9 9 年初成为正式的国际标准，m p e g 4 的第二版在 1 9 9 9 年底完成，在2 0 0 2 年三月又发布了第三版，新的版本的制定工作仍在进 行之中。 m p e g 4 主要建立在三个成功的应用领域：数字电视、交互式图形应用、 交互式多媒体，m p e g 一4 将提供标准化的技木以支持这些领域中信息内容的生 成、发布、访问等。 m p e g - 4 的主要目标是提供对音视频对象( a u d i o v i s u a lo b j e c t s ) 进行编 码的标准化方法，并将这些音视频对象组合到起以形成音视频场景 ( a u d i o v i s u a ls c e n e s ) ，进行传输和展现，并实现场景的交互功能。m p e g 一4 的一个基本思想是基于内容的编码，它将音视频场景作为一组音视频对象的组 合来进行编码。例如，对于视频信息，它不再象m p e g - - 1 和m p e g - - 2 那样采 取基于块的编码方式，而是采取基于视频对象的编码。这样，就可以实现基于 对象的交互，并能够达到很好的编码和压缩效果。 总体上讲，m p e g 一4 提供了标准化的方法，对以下这些方面进行支持： 编码一一实现音频、视频、或音视频内容的基本单元的表示，这些单元称 为媒体对象，它们可以是自然媒体，如由摄象机或麦克风录制得到，也可以是 人工媒体，如使用计算机生成得到； 合成一一描述各个媒体对象如何组合起来，生成合成的媒体对象，并得到 整个的音视频场景； 复用同步一一将各种媒体对象及其相关的数据复合和同步在一起，以实现 在网络信道上的传输，并需要按照各个媒体对象的特性和需求，提供定的服 务质量的保障； 交互一一在用户接收端，可以对音视频场景进行交互操作。 下图是一个m p e g 一4 场景的例子： 2 2 2 视频对象的编码结构 图表2 - 2m p e g 4 场景 下图显示了m p e g 一4 视频的基本结构。m p e g 4 的语义流中有几个主要概 念分别陈述如下1 0 儿1 1 】； 一一二二、孓= 一一尹、弋_ t 一一“7 弋一 v i d e o o b j e c tp l a n e - 。， v o l a “+ i v o p m 图表2 3 视颂对象 视频对象序列( v i d e oo b j e c ts e q u e n c e ) 一个视频对象序列处于层次结构中的最高层，它是一个或多个视 频对象流的集合。 视频对象( v i d e oo b j e c t ) 视频对象v o 是可视场景中景物的抽象描述。从用户的角度看， 它代表画面中的任何有意义的物理实体，如人、物体、甚至可能是背景。 视频对象是m p e g 一4 中编码的基本单位。m p e g 一4 可视场景由一个或多 个视频对象组成，每个视频对象的形状，运动和纹理用其相关的时间和 空间信息给出。 视频对象层( v i d e oo j e c tl a y e r ) 为了实现可伸缩性，视频对象采用了分层的结构，即空间要分级 性。这种可引伸缩性使我们能从一个单独的基础层开始，用增加一些增 强层的方法，以分层的方式重建视频。这样对于不同的带宽和计算复杂 性需求，不必针对每种情况分别编码，可以使用同一个视频比特流，而 采用不同的参数以选择不同的层，以获得灵活性。 视频对象平面v o p ( v i d e oo b j e c tp l a n e ) 与v o 有关的另一重要概念是视频对象平面。如果把输入视频序 列的每一帧分割为若干任意形状的图形区域，每一个区域对应于一个特 定的物理对象，这个区域就是视频对象平面v o p 。v o p 既有空间的概 念也有时间的概念。从另一个角度看，v o p 是视频对象v o 在某一时 刻的采样。因此，属于场景中同一个物理对象的连续的v o p 就代表了 一个视频对象v o 。从编码的角度看，v o 实际上是由一组同一实体的 任意形状和位置的v o p 序列组成的。v o p 是m p e g 4 中编码的基本单 位。每个v o p 可以独立的编码，也可以使用运动补偿技术相互依赖的 编码。传统的视频帧可以用矩形v o p 表示。v o p 包含了视频对象的即 时视频数据，包括运动参数、形状信息和纹理。 2 2 3 终端结构 在i s o i e c1 4 4 9 6 l 系统部分里，m p e g 4 定义了m p e g 4 的终端模型结 构【l “，结构如下图所示。这样的一个系统的工作过程是：首先发送端压缩视听 场景信息，并增加同步信息，然后这些信息传递给一个特定的传送层，传送层 复用成一个或多个用于传送或存储的复合码流；接收端再将码流解复用、解压 缩，其中的视听对象根据场景描述符和同步信息被复合成可以呈现给最终用户 的视听信息( 音视频) ，并且用户可以自己选择与显示的结果进行交互。 图表2 - 4m p e g 一4 的终端结构 终端结构从上到下包括压缩层( c o m p r e s s i o nl a y e r ) 、同步层( s y n cl a y e r ) 和 传送层( d e l i v e r yl a y e r ) 。 压缩层负责视斫数据的编码、压缩，对接收到的数据迸行解压缩和解码。 它不用考虑所使用的传送技术，是与媒体相关与传送无关的。压缩层将音频视 频数据编码后形成基本码流( e l e m e n t r a ys t r e a m s ，e s s ) 通过基本码流接口e s i 送到同步层。e s 的层次关系、位置和属性由对象描述符( o b j e c td e s c r i p t o r ， 9 o d ) 来描述，它描述每个视听对象的e s 的数目和特征。o d 本身也是通过e s 来传送的。场景描述是通过b i f s 实现的，它也是通过e s 来传送的。初始的b i f s 流和o d 流由初始对象描述符i o d 指定，它通过带外方式指定，通常是在信令 消息里携带。 同步层提供媒体间的同步，它和压缩层之间的接口是e s i 。压缩层来的e s 流由一个个访问单元( a c c e s su n i t ，a u ) 组成，a u 是最小的能具有时间信息 的实体。一个或多个a u 被同步层加上同步信息后封装到s l 分组里去，形成 s l 分组流，发送到传送层。另一一方面，同步层从传送层接受数据流，提取同步 信息，恢复出e s 流。 传送层是与媒体无关而与传输相关的，是对已经存在的各种传输协议的抽 象。传送层的功能并不在系统部分规定，系统部分只考虑和传送层有关的接口。 这个接口叫作d m i f 一应用接口( d m i f a p p l i c a t i o ni n t e r f a c e ，d a i ) ，d a i 定义流数据的传输接口和信道的建立和断开的信号。 2 2 4 定时模型规范 定时模型依赖时钟参考和时间戳来同步视听数据，这些视听数据可来自一 个或多个基本码流。和时钟参考相关的时钟概念可用来表示接收端的时间戳， 时间戳指示接收端处理解码缓冲区中访问单元或者处理台成存储区中合成单元 的精确时间，所以时间戳是与访问单元和合成单元相联系的。时间模型的语法 和语义在i s o i e cm p e g 。4 标准中都有定义。 系统时基( s t b l 系统时基定义了终端的时间戳，它是各种时间戳的时间参考。 对象时基( o t b ) 对象时基定义了一个给定数据流的时间戳。对象时基的选取由应用或者框 架决定。发送端插入到编码数据流中的所有时间戳都参考这个时基，接收端通 过这些插入到数据流中的时间信息得到对象时基，或者一个数据流中的对象时 基通过一个指示标志使它与另一个码流的对象时基联系起来。 对象时钟参考( o c r ) 作为一种特殊的时间戳，对象时钟参考用来传输对象时基给基本码流解码 器。对象时钟参考的值表示从对象时基开始到发送端产生对象时钟参考标志的 时间。对象时钟的参考( o c r ) 时间戳在同步层包头设置。接收端在解码时要 从同步层包头的第一个字节中提取对象时钟参考标志。 解码时间戳( d t s ) 每个访问单元都有一个表示解码时间的标志，即在该解码时间，这个访问 单元必须能被用于解码，在该解码时间之前或者后，访问单元并不保证可以使 用。当解码时间戳( d t s ) 的时刻到来时，访问单元的解码将同时开始。 1 0 这个解码时刻可以通过两个连续的访问单元之间的时间间隔而隐含的表 示，两个连续访问单元之间的时间间隔可在基本码流建立耐设置。只有当访问 单元的解码时间和合成时间不同时，才有必要传送访问单元的解码时间戳。 合成时间戳( c t s ) 每个合成单元都有一个相关联的表示合成时间的时间戳，它表示在该时刻 在合成存储区内该合成单元可以被用来合成，在该时刻之前合成单元并不保证 可以能够被用来合成。因为系统解码模型假定解码过程是即时的，所以在访问 单元的解码时间戳所指示的时刻，合成单元对解码器来说是可用的。如果在基 本码流建立时连续合成单元的时间间隔被设置了，那么合成时间戳是可以间接 得到的。 在当前合成单元的合成时间和下一个合成单元的合成单菰时间之间，当前 合成单元是可以即时访问的。如果下一个合成单元也不存描静在当前合成单7 t 所属的基本码流的生命周期结束时当前合成单元就失效了。 基本码流中时间信息的并发性和精度 解码时间戳( d t s ) 、合成时间戳( c t s ) 对象时钟参考( o c r ) 在编码 码流中的出现频率和精度、抖动和时基漂移与应用种类和框架( p r o f i l e ) 有关。 相关基本码流的时间戳 一个视昕对象可以引用多个又可扩展的内容表示的基本码流。这样一系列 的基本码流将使用单一的对象时基，这些基本码流的时间上相互定位的访问单 元将通过相同的解码时间戳( d t s ) 或者合成时间戳( c t s ) 。 下面的例子展示了在系统解码器端丽个访问单元到来的情形。因为模型固 定延迟的假设，当发送端已经发送各个访问单元后，到达时间就与延迟相对应。 发送端必须选择合适的延迟间隔以保证接收端解码缓冲区不上溢和下溢。在接 收端访问单元将按照它的解码时间戳进行解码，解码后合成单元保存在合成存 储区中并且直到后面的合成单元到达或者相关对象描述符被删除。时间关系见 下图。 2 2 5时间基的重建 图表2 - 5合成单元的例子 同步层的时间戳是同步与解码、 特别的，当需要时( 例如广播应用) 时钟的唯一方法。 2 2 5 1 接收端的对象时基的调整 合成和缓冲管理有关的同步事件的方法。 ，时钟参考是在接收终端重建发送终端的 每个基本流是由一个采用不同的对象时间基( o t b ) 发送终端的编码器产 生出来。对于每个传输o c r 信息的流来说，接收端有可能把一个当地o t b 调 整到发送终端的o t b 。可以使用著名的p l l ( 锁相环) 技术完成此项工作。因 此，对每个数据流来说，时间概念可以在接收端得到恢复。 2 2 5 2 时间戳到系统时基的映射 所有数据流的o t b 与接收终端的s t b 运行速度可能不一样。因此需要一 种方法把任一o t b 中表达的时间戳的值映射到接收终端的s t b 中去。这一步 骤也许会和单个o t b 的恢复共同完成。注意，接收终端的系统时间基不需锁定 到任何现存的对象时间基。 根据接收终端的s t b 所表述的一个合成单位的合成时间t s c t ，可以通过线 性转换，从合成时间戳的值t o c t 得到计算，该t o o t 是根据相关的发送终端的 o t b 所表示的。 b 2 镪k r 一篆f d m 一一r + 钿一s t a r r 其中： f 。，：用f 。单位度量的合成单元的合成时间。 f 。：在接收终端的s t b 的当前时间。 t o ，：用如。单位度量的合成单元的合成时间。 0 ，。：数据流的o t b 里的当前时间，由o c r 传输。 。一。，：收到数据流的o c r 时间戳的第一个字节时的接收终端的值。 t o 。一。月，：数据流的o c r 时间戳的第一个值。 出d r 8 2 t 0 1 8 一l 。t q m 目 t b = l n 8 一t s 一s 1 a 日 f 。f 。的商是两个时间基的即时比例。如果发送终端和接收终端的时钟 分辨率名义上是一样的。则此商数非常接近l 。为了避免长时间的舍入错误， 每当公式应用到最新的接收合成时间戳时，就应当重新计算。，。的商。 每次遇到o c r 时间戳时，该商数都会更新。 通过用解码时间戳代替合成时间戳可为解码时间获得一个相似的公式。如 果一些访问单元或合成单元的时间戳只是隐含的，例如通过已知的更新率给出， 那么这些时间戳必须得用相同的机制来映射。 通过这个过程，使接收终端的s t b 与几个o t b s 同步成为可能，从而使得 来自几个数据流的解码和合成是正确的成为可能。 当在一个呈现里的所有数据流都使用同一个o t b ，就有可能使用著名的的 p l l 技术把接收终端的s t b 锁在这个o t b 。在这种情况下，前面所描述的映 射就不是必须的了，可能会用到如下的映射。 t s r 一s t a r r 2 t o 一s n 月r z x t s r b = 乇m t s c r2 t o 2 2 5 3 重建一个同步的音视频场景 重建同步场景的步骤如下： 1 ) 每个数据流的时间基从o c r 或其他数据流恢复，其中o c r 与该数据 流的同步打包基本流一同传输。 2 ) 目标时间戳根据合适的规则系统映射到接收终端的s t b 。 3 ) 接收的访问单元( a u ) 放置在解码缓冲器里。 4 ) 每个访问单元都会对应它的隐性或显性的d t s 在接收终端立即被解 码，并且合成的一个或更多的合成单位被放置在合成内存里。 5 ) 合成器会立即访问在对应c t s 和对应其后的c t s 之间的每个c u 。 2 3 小结 本章首先介绍了流媒体和m p e g 一系列的标准，的几个组成部分，然后重 点讲解m p e g 一4 的视频对象结构，系统体系结构：最后介绍了m p e g 。4 标准中 的时间系统，该部分为后面章节的讨论做好了准备。 1 4 第3 章传输多媒体集成框架( d m i f ) 3 1m p e g 一4 标准的d m i f 概述 为了能使m p e g 一4 标准能在多种传输技术中得到应用，而且在制定m p e g 一4 系统部分规范时又不需要考虑到各种传输技术，m p e g - 4 标准专门定义了一个 独立的传输模型，这就是多媒体传输集成框架( d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ，d m i f ) 2 8 1 。 m p e g 4 的设计者希望能够将传输层提供的功能抽象出来，并且能够将 m p e g 一4 的系统活动集中在统一的特性上实现。为此m p e g 4 在能够独立于传 输技术而成为一个统一的管理部分。压缩层完成媒体编码和基本数据流解码的 工作，同步层管理基本数据流以及它们之间的同步和分级关系，而传输层要确 保对内容的透明访问。 d m i f 从o s i 七层结构看是一种会话层协议，用于管理运用各种传输技术 ( 例如：i p u d p ，t c p r t p ，a t m a a l 5 ，p s t n h 2 2 3 等) 传输的媒体流。 总的说来，d m i f 要实现如下目标： 对d m i f 用户隐藏底层的传输技术细节； 管理实时的、有一定q o s 要求的媒体流信道；， 允许服务提供商记录每个应用会话的资源使用情况，以便进行服务费用 的计算； 确保终端系统间的互操作性。 3 2d m i f 的体系结构 d m i f 是由通信构架、应用程序接口d a i 、网络接口d n i ( d m i fn e t w o r k i n t e r f a c e ) 与d m i f 默认信号协议d d s p ( d m i fd e f a u l ts i g n a l l i n gp r o t o c 0 1 ) 几 个基本部分组成。 3 2 1通信构架 d m i f 的通信构架如图表3 - 1 所示，阴影部分是d m i f 需要实现的。阴影 部分的边界就是标准要统一定义的接口，至于阴影部分里面的具体实现标准只 是提供了一些说明，可以根据不同的情况具体把握。由图表3 一l 可以看出无论 用户是访问本地磁盘的数据，还是通过广播或者网络来访问和控制数据，都要 经过4 个基本的模块来实现：源应用、源d m i f 、目标d m i f 和目标应用。 一f l o w s b e t w e ( m i n d l p e n d e a l t 印咖8 r a r a m t i , e ) 一 f l o w s i n t e r n a l 西a 8 证8 j e 印咖m e i f l a e r i n f t x m a l l v e o r o u t o f i h m t f s c o p e ) 图表3 1d m i f 通讯构架 图表3 - 1 所示为d m i f 的参考体系结构，该图说明了不同的操作情况是如 何通过标识4 个基本模块而被纳入统一模型的。这4 个基本模块为：源应用 模块、源d m i f 模块、目标d m i f 模块以及目标应用模块。 源d m i f 模块和目标d m i f 模块共同完成会话层的服务。在本地检索和广 播情况中，源d m i f 和目标d m i f 模块的划分不是很有必要，作此区分主要是 为了和远程交互情况有统一的结构模型。源应用即终端的实际应用，如一个 m p e g ，4 浏览器或一个多媒体会议系统。假定在所有情况中源应用都有一个相 对部分，即目标应用，源应用通过d m i f 与目标应用相互作用。在远程交互操 作情况下，源应用和目标应用分别位于两台分离的主机上，它们之间的通信遵 守某个信令协议，但应用本身并不知道采用何种信令协议。d m i f 精心设计了 一个用于传输各种信令的通用协议d m i f 信令协议。在本地存储和多媒 体广播情况中，目标应用和源应用位于同一终端，这种情况下，目标应用实际 上不是一个“真正”的应用，而只是一个处理模块，但在概念上它还是被看作 一个目标应用。 图表3 1 还给出了其它一些模块，如d m i f 过滤器。在d m i f 规范中说明 这个模块的作用是为了突出d m i f 些潜在优点。d m i f 过滤器代表了在一个 终端中可以容纳多个d m i f 实例的容器，它的任务是根据应用请求的d m i f u r l ( 统一资源定位器) 选择适当的d m i f 实例提供某种服务。d m t f 过滤器 ( 如果实现了智能化) 允许d m i f 实例的即插即用而不需对整个应用重新进行 编译和链接。d m i f 过滤器的存在并不影响d a i ，它仅仅提供了支持多种 d m i f 实例( 包括当前未知的) 的能力，这一结构特征对于系统支持未知协议的 1 6 网络环境以及允许d m i f 能够方便地采用新的传输技术而言非常重要。 3 2 2数据平面和控制平面 对于网络媒体数据的访问，实际上同时存在两个通信平面：数据平面和控 制平面。 数据平面主要是传输媒体数据，而控制平面则是管理媒体数据的传输。这 两个通信平面在设计中可以采用不同的通信协议，为了确保控制信息传输的可 靠性，控制平面一般采用无差错的通信协议( 如t c p ) 来实现。图表3 一l 中的上 面部分对应的是用户端，下面部分对应的是服务端( 这是针对远程服务，因为 对本地磁盘数据和广播数据的访问，目标d m i f 和目标应用也都是在用户端实 现的) 。 源d m i f 模块和目标d m i f 模块协调配合为用户提供媒体服务。图表3 1 中在访问本地磁盘数据或广播数据时也对区别源d m i f 和目标d m i f 进行区 别，这似乎比较牵强，但是主要是为了和远程服务时的模型保持一致性。源应 用对应的是用户端的应用程序，如m p e g 一4 播放器、多媒体会议应用程序等。 在每一种情况下源应用都假设有一个对应的目标应用存在。源应用和目标 应用之间通过d m i f 来相互通信。对于远程服务，源应用和目标应用一般是在 两个不同的主机上。它们之间的通信是通过对它们透明( 不可见) 的某种信号协 议来实现的。d m i f 模型已经设计了一个这样的信号协议来传输这些信号，这 就是d m i f 默认信号协议d d s p 。对于访问本地磁盘数据或广播数据，目标应 用和源应用均在用户端。此时，目标应用可能对应的不是一个真正的应用程序 或者一个进程了，主要是起着逻辑上的作用。 3 2 3d m i f 的信令协议 图表3 一l 中另一个重要的模块是信令传输模块。这一模块只用于远程交互 情况的d m i f 实例中，并和其它的d m i f 元素分离开来作为一个独立的模块以 强调d m i f 网络接口( d n i ) 的作用。在远程交互情况下，d m i f 具有独立于底 层传输技术的特性，并和特定网络相关功能( 如信令协议) 无关。d n i 表示 d m i f 通用功能和远程交互情况下d m i f 实例的具体任务之间的逻辑界限。 3 3d m i f 的系统接口 3 , 3 1应用接口( d a i ) 应用程序接口d a i 是根据封装传输技术细节的要求而设计的一组a p i 。 d a i 不仅封襄了传输技术，还封装了对不同媒体数据进行访问的区别，也就是 说，无论是访问本地磁盘数据、广播数据还是远程网络上的数据，d a i 都是相 同的。比如一个m p e g 4 播放器通过这些统一的a p i 可以访问本地磁盘数据、 广播数据或者远程网络上的数据。应用程序不需要关心这些传输技术上的具体 细节，只是需要应用这些a p i 就可以实现对服务会话、传输信道和数据传输的 管理。 应用程序接1 5 1d a i 由下面几类原型组成： 服务原型：这是控制平面的a p i ，主要是对服务会话的管理，如服务 会话的建立( d as e r v i c e a t t a c h 0 ) 和取消( d a s e r v i c e d e t a c h0 ) ； 数据信道原型：这也是控制平面a p i ，主要是对数据信道的管理，如 增加数据信道( d a c h a n n e l a d d ( ) ) 和删除数据信道( d a c h a n n e l d e l e t e 0 ) ； 数据原型：这是数据平面的a p i ，主要是通过数据信道传输数据，如 传输媒体数据( d ad a t a0 ) 和传输用户与服务端进行交互的控制数据 ( d a u s e r c o m m a n d o ) 。 除了这些原型，初始化、重新设置、查询状态等功能在实际的接口中也是 必须的。一个真正的接口的实现还关系到