（计算机应用技术专业论文）基于mpeg4的互动足球系统的设计与实现.pdf

基于m p e g - 4 的互动足球系统的设计与实现摘善 摘要 本文通过对m p e g 一4 技术的分析，采用面向对象内容的思想对视音频实时传输进 行了研究，涉及编解码、同步、交互机制和传输，重点研究和分析了m p e g - 4 标准的 系统部分( i s o i e c1 4 4 9 6 - 1 ) 和网络传输部分( i s o i e c1 4 4 9 6 - 6 ) ，在此基础上设计 了基于m p e g - 4 的互动足球客户服务端系统，包含对象描述符、场景描述符、流管 理器、以及m p 4 文件格式的分析和设计，实现了场景编辑器和系统中基于对象内容 工作的f i l t e r 组件。 在流传输方面，所设计的系统参考了m p e g - 4o v e r i p 系统标准，使用标准m p e g 4 文件作为传输流媒体数据来源。在会话协议中孩系统设计并实现了实时流协议 ( r t s p ) ，以及会话描述协议( $ d p ) 。在传输层协议中，该系统采用以u d p 为基础 的实时传输协议( r t p ) 与实时控制协议( r t c p ) ，实现了流传输通道。 在r t p 封包和媒体流同步方面。互动足球系统采用了r f c 3 6 4 0 做为封装标准， 设计的流服务器既符合m p e g 4 0 v e r i p 系统标准，又实现了同步层功能。 使用m p e g - 4 基于对象的编码理念，基于m p e g 4 的互动足球系统对不同的对象 采用的不同的编码方法，实现了对各种对象的操作及编辑，系统具有交互性与灵活性， m p e g 4 应用于互动足球节目的播放，使得观众有了更大的自由度、更强的参与感。 关键词：m p e g 4 ，互动，b i f s ，r t p ，r t s p ，f i l t e r 本文研究内容来源于江苏省自然科学基金项目“基于内容的视频分层编码传输体 系与算法研究” ( 编号：b k 2 0 0 3 0 2 9 ) 。 作者：张爱军 指导老师：陆建德 些兰翌! ! 羔! 望! ! ! 壁竺! ! 巴! ! 竺竺! 壁! ! ! ! ! ! ! 生坐! ! ! ! ! ! ! ! ! ! 竺! ! 竺璺竺型竺坚! ! 璺! a b s t r a c t t m sp a p e rh a sa n a l y z e dm p e g 4t e c h n i q u e a n dh a sm a d er e s e a r c ho nv i d e o a u d i o r e a l - t i m et r a n s m i s s i o nb a s e do no b j e c t o r i e n t e dt h o u g h t , i n c l u d i n gc o d i n g ，s y n c h r a n i z a t i o n ，i n t e r a c t i v em e c h a n i s m ，a n dt r a n s m i s s i o nw i t he m p h a s i so ot h ep a r to fs y s t e m s ( i s o ，i e c 1 4 4 9 6 1 ) a n dp a r to fn e t w o r kt r a n s m i s s i o n ( i s o l e c1 4 4 9 6 6 ) t h ei n t e r a c t i v es o c c e r c l i e n t s e r v e rs y s t e mb a s e do nm p e g - 4h a sb e e nd e s i g n e do nt h i sb a s i s ，w h i c hi n c l u d e s a n a l y s i sa n dd e s i g no fo b j e c td e s c r i p i t o r , s e e n ed e s c r i p t o r , s t r e a mm a n a g e ra n dm p 4 f i l e t h ef i l t e r sr t n m h i gb a s e do no b j e c tc o n t e n t sa n ds c e n ee d i t o rh a v eb e e nl m p l e m e n t e d o nt h ea s p e c to fs t r e a m i n gt r a n s m i s s i o n ，t h ed e s i g n e ds y s t e mr e f e r e dm p e g - 4o v e ri p s p e c i f i c a t i o n a n dl i n es t a n d a r dm p e g - 4f i l ef o r m a t a st h e s t r e a m i n g s o u r c e i n s e s s i o n l a y e rp r o t o c o li m p l e m e n t a t i o n ，r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) a n ds d p ( s e s s i o nd e s c r i p tp r o t o c 0 1 ) h a v eb e e nd e s i g n e da n di m p l e m e n t e di nt r a n s p o r t - l a y e r p m t o c o l , r t p ( r e n l - t i m et r a n s p o r tp r o t o c a l ) a r t dr t c p ( r t p c o n t r o lp r o t o c 0 1 ) f o rs t r e a m i n g m p e g - 4f i l e sb a s e do nu d ph a v eb e e nd e s i g n e da n di m p l e m e n t e dt or e a l i z et h es t r e a m i n g t r a n s m i s s i o nc h a n n e l o nt h ea s p e c to fr t pp a c k e ta n dm u l i t i m e d i af l o ws y n c h r o n i z a t i o n ，t h ei n t e r a c t i v e s o c c e rs y s t e mu s ek f c 3 6 4 0a sp a c k i n gs t a n d a r d s t h ed e s i g n e ds t r e a m i n gs e r v e rc a nm e e t t h cn e e do f m 1 1 e g - 4o v e ri ps p e c i f i c a t i o n a n dh a sr e a l i z e dt h ef o n c a f i o n so fs y n c h r o - n i z a t i o nl a y e r b a s e d0 1 2m p e g - 4o b j e c t o t i e n t i e dc o d i n g ，t h ei n t e r a c t i v es o c c e rc l i e n t s e r v e r s y s t e ma p p l i e s t h ed i f f e r e n tc o d i n gm e t h o d sf o rd i f f e r e n to b j e c t sa n di m p l e m e n t s o p e r a t i o n sa n de d f i n gf o rd i f f e r e n to b j e c t s ，w h i c hf e a t u r e s t h es y s t e mw i t hi n t e m c t i v i t ya n d f l e x i b l i 船n ”a p p l i c a t i o no fm p e g - 4i ni n t e r a c t i v ef o o t b a l lb r o a d c a s ta l l o w st h eh i g h e r d e g r e eo f f r e e d o ma n ds t r o n g e rs e n s eo f p a r t i c i p a t i o n k e y w o r d s ：m p e g 4 ，i n t e r a c t i o n ，b i f s ，r t p , r t s p , f i l t e r t h er e s e a r c hw o r ki nt h i sp a p e ri sa t t i l i a t e dw i t ht h ej i a n g s up r o v i n c en a t u r a ls c i e n c e f o u n d a t i o np r o j e c t “t h ec o n t e n t - b a s e dv i d e ol a y e r e de n c o d i n gt r a n s m i s s i o na r c h i t e c t u r e a n da l g o r i t h m sr e s e a r c h ( n o b k 2 0 0 3 0 2 9 ) w r i t t e nb yz h a n ga ij u n s u p e r v i s e db yl uj i a n d e 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所 取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集体已经发表或 撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学位证书而使用过的材 料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承 担本声明的法律责任。 研究生签名逑爱军日期：型! ! ! 坌! 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、中国 社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文档，可以采 用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论 文的全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名 导师签名： 逑叠圣日期：竺! ! 丝! 陵塑日期：兰三丝 基于m p e g 4 的互动足球系统的设计与实现第一章绪论 第一章绪论 本章将介绍论文的研究背景与意义，以及同类系统国内外的研究现状，并概述论 文的主要研究内容以及特色。 1 1 论文研究背景与意义 随着电脑多媒体技术和信息高速公路的发展，将来的家庭用户终端将具备电视电 话、传真、数据和网络终端等各种功能，也可以叫做具有多媒体功能的电视机。人们 可以按照自己的需要主动地带选择性地获取各种信息，其中也包括电视节目。也即， 人们看电视不再是被动地电视台放什么就看什么，而是可以自己选择想看的节目，这 就是交互式电视。交互式电视出现的最初动力就是人们不满足于现有的广播电视形 式，在现行的电视节目中，收看者完全是被动的，节目提供者播放什么节目，观众就 只能看什么节目，节目时间也固定不变。尽管电视台可以提供很多的节目，但要想真 世 正完整地收看到一个自己满意的节目或特定需要的节目，对于许多人来讲也不太容易等 做到，因为在快节奏的现代社会中，许多人不可能为了看某一个电视节目而预先安排 自己的时间。交互电视的交互性使得用户可以随时观看自己所需节目，并且用户可以 随时控制节目进行暂停、重放、快进、慢放等操作。 个人电脑的发展使得交互电视成为可能。使用交互电视，用户可以随时收看新闻、 玩游戏、发送电子邮件以及进行网上购物。目前英国的s k y b 交互式卫星系统已拥有 5 0 0 万用户，德国同类系统拥有1 5 0 万用户，西班牙、意大利、比利时、波兰以及非 洲的部分地区都已经开始使用这项技术。据估计，到2 0 0 6 年，全球的交互式电视用 户将由2 0 0 1 年的1 3 0 0 万人达到2 2 6 亿人。互动电视业务主要通过因特网进行。 互动电视的基础是媒体数字化，即从媒体的采集、存储、播放全过程都采用数字 媒体。在客户端则可以采用机顶盒或个人电脑，机顶盒其实是一个安装有嵌入式系统 的小型个人电脑。另一方面，随着网络与宽带的发展和多媒体压缩与通讯技术的长足 进步，流媒体技术已成为当前的技术热点，与将整个文件下载后再播放不同，流媒体 技术能将视音频内容分包传输，并根据其内容的复杂度以及带宽的限制，把数据切分 成一定大小的网络包，然后传输到i p 网上，用户端接收后还原成视音频数据并加以 第一章绪论 基于m p e g 4 的视音频实时传输研究与f i l t e r 设计实现 播放。本文研究互动电视在个人电脑和i p 网上实现的一些关键技术，并在对基于 m p e g - 4 的互动电视关键技术研究的基础上，设计和实现了一个互动足球系统。 本论文是以江苏省自然科学基金项目“基于内容的视频分层编码传输体系与算法 研究”( 编号：b k 2 0 0 3 0 2 9 ) 为背景展开研究的。该基金项目主要研究根据视频内容 和接收用户，实现满足不同应用需求的视频编码传输方法，并在此基础上，建立一套 视频表现质量的综合评价体系。本论文正是以此为中心，并对其中的互动、传输技术 进行了重点研究。 1 2m p e g 系列国际标准 1 2 1m p e g 系列概述 运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 是隶属于i s o i e c 的一个专家 工作组，专门从事多媒体中的图像和语音数据压缩和传输技术，先后制定了m p e g l 、 m p e g 2 、m p e g 4 标准。 m p e g l 是针对v h s 、普通电视质量的视音频信号的压缩，用于传输压缩到 1 5 m b p s 位率的运动图像及其伴音的编码，有着广泛的应用，如v c d 的制作与播放。 m p e g 2 是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层 的详细规定，压缩后位率为2 8 0 m b p s ，广泛应用在d v d 制作与播放、数字有线电 视编解码等方面。 m p e g 4 是代表多媒体发展方向的前沿技术，它采用面向对象的分层分级编码传 输方式，是一种新型的多媒体标准。它与m p e g 2 标准的一个重要区别就在于它是一 个基于对象的编码压缩标准，它所定义的码率控制的目标就是获得在给定码率下的最 优质量，同时体现了根据网络带宽以及发送、接收方能力的实际状况进行智能化选择、 分层分级编码传输的设计思想，它为互联网上传输高质量的多媒体数据提供了很好的 技术方案。 1 2 2m p e g 4 技术特点 m p e g 一4 中的视音频数据已不再是过去m p e g i 、m p e g 2 中基于图像帧的概念 基于m p e g - 4 的互动足球系统的设计与实现第一章绪论 而是一个个视听场景( a v 场景) ，这些不同的a v 场景由不同的a v 对象组成。a v 对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始a v 对象，它可以 是自然或合成的声音、图像。原始a v 对象具有高效编码、高效存储与传输以及可交 互操作的特性，它又可进一步组成复合a v 对象。因此m p e g 4 标准的基本内容就是 对a v 对象进行高效编码、组织、存储与传输。m p e g 4 不仅可提供高压缩率，同时 也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随 时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种 多媒体应用。m p e g 4 采用了基于对象内容的编码方式，既可以根据不同的对象内容 特点采用不同的编码算法，也可以根据不同的应用要求采用不同的编码标准。它为不 同的m p e g 4 媒体提供了通用的服务质量( q o s ) 描述符，使得采取智能化的自适应 数据传输策略成为可能。m p e g 4 支持针对视频会话、视频电话的超低比特率编码， 并将基于内容的检索和编码结合起来考虑，在压缩数据中加入了描述视频内容的信 息，对多媒体信息内容的访问可以直接针对压缩数据进行，这种压缩编码方法是基于 内容的压缩编码方法，它可以实现在通用芯片上，打破了原来编码压缩方法依赖于专 用硬件的限制。m p e g 4 支持强大的交互功能，它的对象操作使用户可以在用户端 选择感兴趣的内容，服务器据此来发送视音频数据，实现完全面向用户的交互系统。 1 3m p e g 4 的国内外研究状况 1 3 1m p e g 4 技术研究现状 国内，王瑾玲设计了用于区分服务的m p e g 一4 多媒体内容分类机制i 2 】；李高林提 出了m p e g 一4 形状编码中尺寸转化算法p 】；杨勇博士对m p e g 4 中基于v o p ( v i d e o o b j e c t p l a n e ) 的视频分割及压缩算法进行了研究【4 】；羌春华设计了一种基于 i n t e m e t 的m p e g 4 视频网络传输体系结构；华中科技大学的徐重阳博士提出了多媒 体网络m p e g 传输及q o s 实现思想等。 国外在扩展m p e g 4 方面做了很多工作。在系统设计方面，提供了新的对象结点， 设计了可扩展的用文本文法( x m t ) 表示m p e g 4 场景描述的框架，使得用户在操 作交互内容方面变得更加的方便。在同步方面，设计了高级同步化模型f l e x t i m e ，以 支持来自不同时间基的多个源对象的同步1 5 1 。在传输方面，yp o u r m o h a m m a d i 设计了 第一荜绪论 基于m p e g 4 的视音频实时传输研究与f i l t e m 设计实现 一个基于d m i f 并支持i p 网络的流媒体系鲥6 1 ，贝尔实验室的a n d r e ab a s s o 则提出 了一个在i p r t p 网上传输m p e g 4 的方案f 7 1 。 1 3 2m p e g 4 应用研究现状 国外在应用领域较早开始采用m p e g - 4 技术。微软公司先后开发m p e g 4 v 1 、 m p e g 4 v 2 、m p e g 4 v 3 作为w i n d o w s 的默认组件。i b m 公司正在进行视频电话会 话的m p e g 4 开发与应用。 在m p e g 4 系统层方面也有一些厂商和研究机构开展了创造性的工作： m p e g p r o ：在韩国，国家视音频系统实验室正在开发一套m p e g 4 解决方案， 称为m p e g p r o 。直至现在，从m p e g - 4 的e d i t o r 到p l a y e r 都已经完成，目前只具 有2 d 功能，现在正积极的将m p e g - 4 系统与高清晰度电视( h d t v ) 整合。 m f f e c ：在香港，香港理工大学的多媒体技术研究中心( m f f e c ) ，已经开发了一 套m p e g 4a u t h r i n gt o o l ，目前只具有2 d 的能力，并具有w i n d o w s 与j a v a 两种平 台的版本，它们正在把流媒体技术应用于高清晰度电视。 i v a s t ：w a s t 是国外厂商中m p e g 4 技术应用方面的佼佼者，它们提供给厂商 整套的s d k ，以方便厂商能顺利的产生符合它们要求的m p e g 4c o n t e n t ，不管是服 务器端或是播放器端都已经达到了一定的水平。目前它们计划将整套的m p e g - 4 技 术做进机顶盒中，以便未来能结合流媒体系统与m p e g 4 技术为互动电视的标准平 台。 e n v i v i ot v ：e n v i v i o 也是另一家花费大量心血在m p e g 4 技术上的公司，它们 已经完成在2 d 领域非常便利的解决方案，从a u t h o r i n g 、p l a y e r 、s e r v e r 都已经完成， 目前它们已经对外发表了一套以m p e g 4 核心技术命名为e n v i v i ot v 的互动电视平 台。 a p a d a n a s e r v e r ：在英国，u b c 成功实现完全符合m p e g - 4 标准的m p e g - 4 s t r e a m i n gs e r v e r ，称之为a p a d a n as e r v e r 。它们实现了m p e g 4 标准流传输模块组中 的d m i f ，并且支持f l e x m u x 的功能规格，这是现阶段国内外唯一完全遵照m p e g - 4 规格需求来制订的m p e g - 4 流媒体系统。 m p e g a b l e 套件：是由d i e t s 推出的流媒体组件，其中m p e g a b l ex 4l i v e 是一 基于m p e g - 4 的互动足球系统的设计与实现 第一章绪论 款m p e g - 4 视频解码器。该解码器支持实时捕捉媒体，提供最大限度的画质，可以直 接播放t v ，节省媒体库的空间。m p e g a b l eb r o a d c a s t e r 则是优秀的实时视频编码软 件，简单易用，是m p e g 一4 媒体流专业的编码解决方案，支持i s om p e g 4 、3 g r p 和i s m a 标准的媒体编码。 d a r w i ns t r e a m i n gs e r v e r ：是苹果公司提供的开源流服务器，其可应用于各种平 台，支持m p 4 ，q u i c k t i m e 等多种文件格式。 1 4 本论文研究的内容和所作的工作 本文通过对m p e g - 4 技术的分析，采用面向对象内容的思想对视音频实时传输进 行研究，涉及编解码、同步、交互机制和传输。在此基础上设计了基于m p e g 4 的互 动足球客户，服务端系统，实现了系统中基于对象内容工作的f i l t e r 组件。本文的主要 研究和所作的工作包括： 1 ) 研究和分析m p e g 一4 标准中的系统部分( i s o i e c1 4 4 9 6 1 ) 和网络传输部 分( i s o i e c1 4 4 9 6 6 ) ，以及交互实现机制，并在此基础上设计了互动足球客户h a 务 端系统，设计并实现了组成该系统的基于对象内容工作的f i l t e r 组件。 2 )对标准中m p 4 文件部分进行了研究，设计了s c e n ee d i t o r 。 3 )对b i f s 进行了研究，并设计实现了标准提供的2 0 个核心节点。 4 ) 实现了m p e g 4e s 封装模块，可将m p 4 内容封装成符合m p e g 4 同步机制 且适合在网络上传输的封包格式。 5 )考虑变化的q o s 对实时传输的影响，设计了q o sc o n t r o l l e r 以进行服务质量 控制。 6 )对对象描述符框架、场景描述符、流管理器进行了设计。 7 )对系统中基于对象内容工作的f i l t e r 组件进行了测试，对s c e n ee d i t o r 进行了 测试、对互动足球实例进行了测试。 1 5 论文的主要特色 与同类多媒体传输研究相比，本论文的主要特色如下： 1 )对m p 4 文件结构进行了分析，设计了场景编辑器( s c e n ee d i t o r ) 。 第一章绪论 基于m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现 2 ) 对在1 p 网络上传输m p e g 4 进行了研究，对r f c 3 6 4 0 进行了分析，并对r t p 协议进行了增强设计。 3 )采用面向对象内容的思想，设计了基于m p e g 4 的互动足球客户朋匣务端系 统，实现了系统中基于对象内容工作的f i l t e r s 组件。 1 6 论文结构的安排 论文共分为七章，具体内容安排如下： 第一章，介绍了论文的背景与意义、国内外研究状况、主要研究内容和工作特色。 第二章，研究和分析m p e g 4 标准( i s o i e c1 4 4 9 6 ) 基于内容的体系结构，并 介绍了后续章节使用的m p e g 4 系统中的一些基本概念。 第三章，对m p e g - 4 互动实现机制进行了分析，其中包括：对象描述符框架、基 于命令描述符框架的用户交互模型、s e n s o r 和r o u t e 机制、客户端合成器，设计了基 于m p e g - 4 的互动足球系统，并对客户端和服务器分别进行了框架设计与功能说明。 第四章，对互动足球系统的服务端进行了详细设计，其中涉及流管理器、场景编 辑器、q o s 控制器、流协议( r t p r t c p r t s p ) 的功能说明与设计，以及服务端各 f i l t e r 组件的设计与实现。 第五章，对互动足球系统的客户端进行了详细设计，其中涉及客户端流管理器、 对象描述符解码器、场景描述符解码器，以及客户端各f i r e r 组件的设计与实现。 第六章，对场景编辑器和互动足球系统服务端、客户端播放器进行模拟测试，并 对互动足球系统的交互性能进行测试，检验面向对象操作的效果。 第七章，对论文研究工作进行了总结、对今后工作进行了展望。 本章概述论文的背景、意义，并对m p e g - 4 的特点和研究与应用现状进行简要说 明。最后着重介绍了论文的主要研究内容，以及论文的主要特色。 基于m p e g - 4 的互动足球系统的设计与实现第二章m p e g 4 系统概述 第二章m p e g 4 系统概述 本章在分析多媒体流传榆前沿技术m p e g 一4 的整体思想的基础上，重点介绍了 m p e g - 4 的系统部分，研究和分析m p e g 4 标准( i s o i e c1 4 4 9 6 ) 基于内容的体系 结构，并介绍了后续章节使用的一些m p e g 一4 的技术背景 2 1m p e g 4 概述 m p e g 4 标准是由m p e g 小组在1 9 9 9 年所制订的国际性标准。由六大部分构成。 1 ) 系统( i s o i e c1 4 4 9 6p a r t1 ：s y s t e m l 8 1 ) ：包含： 系统解码模型( s y s t e md e c o d e rm o d e l ) 对象描述符框架( o b j e c td e s c r i p t o rf r a m e w o r k ) 场景描述( s c e n ed e s c r i p t i o n ) 基本码流同步( s y n c h r o n i z a t i o no f e l e m e n t a r ys t r e a m s ) 基本码流的多路复合( m u l t i p l e x i n go f e l e m e n t a r ys t r e a m s ) 语法描述语言( s y n t a c t i cd e s c r i p t i o nl a n g u a g e ) 2 1 视频( i s o i e c1 4 4 9 6 p a r t 2 ：v i s u a l 9 1 ) ；包含： 视频压缩( v i d e oc o m p r e s s i o n ) 静态图像纹理( s t i l lt e x t u r e ) 人脸模型活动( f a c ea n i m a t i o n ) 网格合成技术( m e s h ) 3 1 音频( i s o i e c1 4 4 9 6p a r t3 ：a u d i o 1 0 】) ；包含 音频压缩( a u d i oc o m p r e s s i o n ) 低带宽语言压缩( c e l p a n d h v x c ) 结构音频( s t r u c t u r ea u d i o ) 文字语音合成音效( t e x tt os p e e c h ) 4 1 相容性测试( i s o i e c1 4 4 9 6p a r t4 ：c o n f o r m a n c et e s t i n g 1 1 】) 提供系统层、视频层、音频层及传输多媒体框架等部分的测试 第二章m p e g - 4 系统概述 基于m p e g 4 的互动足球系统的设计与实现 5 ) 参考软件( i s o i e c1 4 4 9 6p a r t5 ：r e f e r e n e es o f t w a r e 1 2 】) 提供参考实现软件( i m l ) 6 ) 传输多媒体集成框架( i s o f i e c1 4 4 9 6p a r t6 ：d e l i v e r ym u l t i m e d i ai n t e r g r a t i o n f r a m e w o r k 1 封) ；其中包含： d m i f 应用程序接口( d m i fa p p l i c a t i o ni n t e r f a c e ：d a d d m i f 网络接口( d m i f n e t w o r k i n t e r f a c e ：d n i ) f l e x m l l ) ct o o l s 本文主要研究如何利用系统层提供的互动机制，来实现互动足球系统。 2 2m p e g 4 终端体系结构 图2 1 显示了m p e g 一4 系统终端体系结构图。整个结构自下而上分别为传输层 ( d e l i v e r yl a y e r ) 、同步层( s y n cl a y e r ) 、压缩层( c o m p r e s s i o nl a y e r ) 。终端系统 的传输层接收多路复合码流，解多路复用，变成多媒体数据流，向上传给同步层， 由同步层负责把同步信息与媒体数据分开，生成解码器能处理的最小单元一存取单 元( a u ) ，然后交给压缩层的各个解码器分别进行解码，最后由合成和表现器 ( c o m p o s i t i o na n dr e n d e r i n g ) 处理后，把结果输出到显示器上。 2 2 1 传输层 传输层由标准的第六部分即传输多媒体集成框架( d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ，d m i f ) 来定义，传输层与下层网络所使用的传输协议互相独立，下层 协议可以采用网络即时传输协议( r t p ) 、m p e g 2 传输数据流、a t m 网络等。用户 可根据网络的特性以及服务端媒介的不同，选择适当的协议。d m i f 由两组接口组成： d m i f 应用程序接口( d a i ) 、d m i f 网络接口( d n i ) 。d a i 是d m i f 与应用程序的 沟通接口，将发送细节从多媒体软件开发中分离出来，可以提供相同的处理方式但 多样化的功能。通过它，应用程序可以对本地存储媒体( 1 0 c a ls t o r a g e ) 、广播 ( b r o a d c a s t ) 、和远程互动网络( i n t e r a c t i v en e t w o r k ) 进行无缝存取。若多媒体设备 连接多种异质网络( 如e t h e r n e t 或a t m 等) ，m p e g - 4 也能支持应用程序同时对异质 网络的存取。d n i 则是d m i f 与网络的沟通接口，将本地d m i f 和具体的网络技术 基于m p e g 4 的互动足球系统的设计与实现第二章m p e g 4 系统概述 隔离。信号映射模块将d n i 原语转换成实际的网络通信信号，这与广播或本地文件 的本地d m i f 是不同的。 图2 1m p e g - 4 系统终端体系结构 在d m i f 的设计里，将传输通道( c h a n n e l ) 和会话( s e s s i o n ) 结合在一起。每个 m p e g 4 的服务被视为一个会话，每个会话可能会传输声音、视频或文字等信息。一 个传输通道传输一种媒体信息，如声音和音像分别是两个传输通道，因此一个会话可 能包含多个传输通道，将这些信息加以记录，服务提供者就可以据此对使用者进行计 费。 应用程序可以为每个传输通道指定服务质量( q o s ) ，由于不同网络技术( 如 e t h e m e t 、a t m 或f d d i 等) 对应服务质量的处理方式不同，通过指定每个传输通道 服务质量参数的方式，将下层的网络技术隐藏，以提供统一的接口处理各种异质网络， 对应各种异质网络的不同方式尽量得到相同的服务质量【h 】。 第二章m p e g - 4 系统概述 基于m p e g - 4 的互动足球系统的设计与实现 2 2 2 同步层 同步层的数据流，是由一个个具有同步信息的封包同步包( s l p a c k e t ) 所组 成，因此通过这一层的数据流称为同步层打包流( s l p a c k e t i z e ds t r e a m ，s p s ) 。同步 层的作用表现在两方面：一方面，同步层从传输层的d a i 接收数据流。每个同步层 数据封包都含有包头和负载两部分，包头中包含了该封包负载的相关信息，例如，此 封包是否为一个存取单元( a u ) 的开始或结尾，该封包的时间戳等。通过解析每个 封包的包头内容，就可以将同步层封包还原成上层所需的数据单元，并计算出相关时 间信息，作为未来处理这个数据单元时的时间戳，然后通过基本码流接口( e l e m e n t a r y s t r e a mi n t e r f a c e ，e s i ) 将数据单元传给上层使用。另一方面，把压缩层传来的数据加 入同步信息后封装为同步数据包流，再将它们传给传输层。在封装过程中，a u 的尺 寸可能太大，不适于下层网络传输，所以会被拆成多个s l 包，通过d a i 交给下层 处理。 2 2 3 压缩层 压缩层接收从同步层传来的经过编码的基本码流( e s ) 数据，并对e s 数据中的 a u 解码，得到合成单元( c o m p o s i t i o nu n i t ，c u ) 。这些解码后的c u 用于终端的视 音频对象合成、交互以及显示等。该层包括对象描述符( o b j e c td e s c r i p t o r ，o d ) 、 场景描述符( s c e n ed e s c r i p t o r , s d ) 、视音频码流( a v ) 以及上载码流等。 1 )对象描述符：可用来识别和描述基本码流，并将它们和场景描述符联系起来。 对象描述符是一个或多个基本码流描述符的集合，它表示这些流配置与视音频对象或 场景描述有关的信息。对象描述符包含在基本码流中，每个对象描述符都有唯一的识 别符。 2 )场景描述符：用来决定媒体对象的空间和时间的对应关系。 3 )视音频对象：m p e g 4 标准的第二部分f 9 】和第三部分分别定义视频和音频 信息的编码定义。在显示场景时，根据场景描述信息将解码重构的视频和音频数据复 合起来，最后提交给终端用户。 4 )上载码流( u p s t r e a m ) ：用于支持服务器与客户端交互。上载流通道通过提供 0 基于m p e g 4 的互动足球系统的设计与实现第二章m p e g 4 系统概述 适当的基本码流描述符与客户端通信。客户端采用与开启下载通道同样的方式来开启 上载流。 2 3 系统层 m p e g 一4 系统层主要包含五个单元，分别是系统解码模型、场景描述符、对象描 述符、数据流同步及语法描述语言。 2 3 1 系统解码模型 图2 2 系统解码模型 系统解码模型如图2 2 所示。从网络端传来的数据，通过传输层，同步层、解码 器、合成器，最后显示出来。系统解码模块的内容，涵盖了传输层、同步层、压缩层 的功能。d m i f 应用接口( d a i ) 封装了多路分解器并提供对流数据的访问接口，解 码缓存区( d e c o d i n gb u f f e r ，d b ) 将从该接口获得码流数据，得到的这些码流数据 是由称为同步层打包流的数据流组成的。解码缓存区是数据流在解码时的输入数据， 用于接收端数据接收和存储。同步层合成出存取单元，每一个存取单元都会附加时间 信息，以便它们通过同步层打包数据流携带时，能还原成原始数据流。同步层解码缓 存区存放的数据，就是真正的基本码流，这些基本码流将交给各种不同的解码器解码， 解码处理后的数据称为合成单元( c u ) 。c u 存放在合成缓存区( c o m p o s i t i o n m e m o r y ， 第二章m p e g - 4 系统概述 基于m p e g - 4 的互动足球系统的设计与实现 c m ) 中，等待合成器( c o m p o s i t o r ) 需要时调用。 2 3 2 场景描述符 场景描述信息用来说明一令场景中根据空间和时间属性对视听对象的组织。在各 个解码器将对象数据解码以后，利用场景描述信息合成和显示各个视听对象。m p e g 4 中的场景描述信息使用二进制编码格式表示，简称b i f s ( b i n a r yf o r m a tf o rs c e n e s ) 。 该描述信息由有层次结构的节点树构成，节点包括一般属性和其它信息( 包含事件源 和目标) ，树结构中的叶子节点表示基本的视听对象，而中间节点表示聚集这些叶子 节点构成的组合对象，以及在这些视昕对象上进行的分组、转换等操作。图2 3 说明 图2 3 一个互动足球场景逻辑结构图 了一个互动足球场景的逻辑结构，在此场景中包含有三个视频对象；一个与选定视频 对象相关音频对象；两个文字对象分别用于描述球队和球员信息：还有时间显示和比 分显示，它们通过脚步节点来实现。 m p e g - 4 中使用的场景描述表示方法主要衍生自虚拟现实模型语言( v i r t u a l r e a l i t ym o d e l i n gl a n g u a g e ，v r m l ) 规范，因此b i f s 继承了v r m l 9 7 的节点， 并增强、扩充了节点的能力，用来支持视听对象展示。b i f s 比v r m l 提供了更好 的特性，如b i f s 提供易于使用的2 d 对象、2 d 对象的合成、2 d 和3 d 对象合成、颜 基于m p e g - 4 的互动足球系统的设计与实现第二章m p e g 4 系统概述 色和身体动画节点等。b i f s 已经在很多方面扩展了v r m l 的能力，更加适合于多媒 体的传输需要。用b i f s 编码场景比用v r m l 编码场景效率高，因此b i f s 格式在低 速率网络环境下有着很大的优势。 b i f s 可以通过3 种方式进行修改： 1 ) 场景交互、行为事件，场景对象的交互性和行为通过传感器和路由来描述。 传感器节点产生基于用户交互和场景变化的事件，路由指定被修改的节点。 2 ) b i f s 命令帧，用于流播场景变化、插入新场景或新对象、删除对象等。 3 ) b i f s 动画帧，用于流播节点参数实现节点动画效果，它是作为一种以非常低 的开销使视听对象活动起来的机制。 2 3 3 对象描述符框架 对象描述符框架是为了提供基本码流和场景描述符间的关系而定义的。每个对象 描述符都是描述符集合，它们描述一个或多个和一个节点场景描述有关的基本码流。 对象描述框架是一系列描述符的集合，常用的描述符主要有七个： i ) 初始化对象描述符( i n i t i a lo b j e c td e s c r i p t o r ) ：用于首次对话时传输终端必需 的配置和场景信息，有自己的i d ( o b j e c t d e s c r i p t o d d ) 。 2 ) 基本码流对象描述符( e l e m e n t a r ys t r e a md e s c r i p t o r ) ：用于标识一个基本码 流，有自己的i d ( e si d ) 。 3 ) 解码配置描述符( d e c o d e r c o n t i gd e s c r i p t o r ) ：它嵌套在基本码流对象描述 符中，用于描述该基本码流解码器的配置情况。 4 ) 同步层配置描述符( s l c o n f i gd e s c r i p t o r ) ：它嵌套在基本码流对象描述符中， 用于描述基本码流的同步层数据包头的配置信息。 5 ) 服务质量描述符( q o sd e s c r i p t o r ) ：在传输通道中传输基本码流的要求和产 生这个基本码流的通信量的描述。 6 ) 对象内容信息( o b j e c tc o n t e c ti n f o r m a t i o n ，o c i ) ：是包含随时间变化的对象内