（计算机应用技术专业论文）基于mpeg4的视音频实时传输研究与filters设计实现.pdf

摹十m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现 摘要 摘要 本文通过对m p e g 4 技术的分析，采用面向对象内容的思想对视音频实时传输进 行研究，涉及编解码、同步和传输，并重点对后两者进行了研究。在此基础上设计原 型系统，实现了原型系统中基于对象内容工作的f i l t e r 组件。本文的主要研究和所作 的工作包括： 研究和分析m p e g 4 标准中的系统部分( i s o i e c1 4 4 9 6 - 1 ) ，并在此基础上设计 视音频实时传输原型系统，设计并实现了组成原型系统的基于对象内容工作 的f i l t e r s 组件。 ，分析面向对象的多媒体传输特征，提出并具体设计了原型系统中层结构的同 步模型。 ， 提出实时传输选择重发算法在r m 协议的基础上，设计了新的应用层传输 协议s r o r t p ，对r t p 协议进行了改进。 ，考虑变化的q o s 对实时传输的影响，对基于内容的视频数据分层分级编码思 想进行了分析。 对原型系统中基于对象内容工作的f i l t e r s 组件进行了测试；对实时传输选择 重发算法进行模拟测试，验证其可行性，测试证明，新算法改善了使用r m 传输视音频关键内容数据包的丢失率。 关键词：m p e g 4 ；多媒体；基于内容；同步：选择重发 本文研究内容来源于江苏省自然科学基金项目基于内容的视频分层编码传输体 系与算法研究”( 编号：b k 2 0 0 3 0 2 9 ) 。 作者：王实 指导老师：陆建德 a b s t r a c t t h e r e s e a r c h o n m p e g 4 - b a s e d a v r e a 1 - t i m e t r a n s m i s s i o 。n a n d f i 1 t e r s d e s i g n ，a n d i m p 1 e m e n t a t i o n a b s t r a c t t h i sp a p e rh a sa n a l y z e dm p e g 4 t e c h n i q u e ，a n dh a sm a d er e s e a r c ho i lv i d e o a u d i o r e a l t i m et r a n s m i s s i o nb a s e do no b j e c t o r i e n t e dt h o u g h t ，i n c l u d i n gc o d i n g ，s y n c h r o n i z a t i o n a n dt r a n s m i s s i o nw i t he m p h a s i so nt h el a t e rt w o t h ea p p r o p r i a t ep r o t o t y p eh a sb e e n d e s i g n e do nt h i sb a s i s ，a n di t sf i l t e r sr u n n i n gb a s e do no b j e c tc o n t e n t sh a v eb e e nr e a l i z e d t h ep a p e r sr e s e a r c ha n dw o r ki n c l u d e s ： r e s e a r c ha n da n a l y z et h es y s t e mp a r to fm p e g 4 ( i s o i e c1 4 4 9 6 一1 ) d e s i g na n d i m p l e m e n tt h e v i d e o a u d i or e a l t i m et r a n s m i s s i o n p r o t o t y p ea n di t so b j e c t c o n t e n t s 。b a s e df i l t e r s a n a l y z et h eo b j e c t - o r i e n t e dm u l t i m e d i at r a n s m i s s i o nf e a t u r e s ，g i v eo u ta n dd e s i g n al a y e r e ds t r u c t u r es y n c h r o n i z a t i o nm o d e lf o rt h ep r o t o t y p ei nd e t a i l g i v eo u tas e l e c t i v er e s e n d i n g a l g o r i t h mf o rr e a l t i m et r a n s m i s s i o n d e s i g nan e w a p p l i c a t i o nl a y e rp r o t o c o ls r o r t po nt h eb a s i so fr t pp r o t o c o l ，e x t e n d i n gt h e p e r f o r m a n c eo f r t pp r o t o c 0 1 c o n s i d e r i n gt h ee f f e c to fv a r i a b l eq o st or e a l t i m et r a n s m i s s i o n , a n a l y z el a y e r e d a n dl e v e l e dc o d i n gt h o u g h tf o rc o n t e n t b a s e dv i s u a ld a t a t e s tt h ep r o t o t y p ef i l t e r sn m n i n gb a s e do i lo b j e c tc o n t e n t s m a k es i m u l a t i o nt e s t f o rt h er e a l - t i m et r a n s m i s s i o ns e l e c t i v e r e s e n d i n ga l g o r i t h m ，v a l i d a t i n g i t s f e a s i b i l i t ya n d 、 ，i t lr e s u l t st h a tt h en e wa l g o r i t h mh a sd e c r e a s e dt h el o s sr a t eo f t h ea u d i o v i d e ok e yc o n t e n tp a c k e t st r a n s f e r r e db yr t p p r o t o c 0 1 k e y w o r d s ：m p e g 4 ；m u l t i m e d i a ；c o n t e n t b a s e d ；s y n c h r o n i z a t i o n ；s e l e c t i v er e s e n d i n g t h er e s e a r c hw o r ki nt h i sp a p e ri sa f f i l i a t e dw i t ht h ej i a n g s u p r o v i n c en a t u r a ls c i e n c e f o t m d a t i o np r o j e c t “t h ec o n t e n t b a s e dv i d e ol a y e r e de n c o d i n gt r a n s m i s s i o na r c h i t e c t u r e a n da l g o r i t h m sr e s e a r c h ”( n o b k 2 0 0 3 0 2 9 ) w r i u e nb yw a n gs h i s u p e r v i s e db yl uj i a n d e 摹于m p e g 4 的视音频实时传输研究与f i l t c r s 设计实现第市绪论 第一章绪论 本章将介绍论文的研究背景与意义，以及国内外的研究现状，并概述论文的主要 研究内容以及特色 1 1 论文研究背景与意义 随着数字化、网络化、全球一体化信息时代的来临，多媒体技术成为信息技术的 重要组成部分。多媒体技术是指把文字、音频、视频、图形、图像和动画等多媒体信 息通过计算机进行数字化采集、获取、压缩解压缩、编辑和存储等加工处理，再以 单独或合成形式表现出来的一体化技术。多媒体通信服务是多媒体发展的一个重要方 向，多媒体通信可以分成两类：一类是对称的全双工的多媒体通信，如分布式多媒体 信息系统、视频会议系统及计算机支持的协同工作系统；另一类是非对称的全双工的 多媒体信息系统，如交互式电视系统、点播电视系统、教育系统等。在多媒体通信应 用系统设计中，需要考虑三个关键技术：根据网络的实际带宽情况和所提供的服务级 别等条件，在变化的q o s ( q u a t i t y o f s e r v i c e ，服务质量) 情况下，采取自适应数据 编码传输策略：单个媒体内部及多种媒体之间数据同步性保证；通讯双方的实时交互 性保证。 由于视频、音频媒体是连续的数据流，需要根据网络的当前q o s 情况实时改变数 据传输策略，同时又要保证接收方对所接收数据能够获得一定的q o p ( q u a l i t y o f p r e s e n t a t i o n ) 保证。现有的互联网视音频通信应用在实现传输过程中较少考虑q o s 变 化的情况，是一种固定要求的传输方式，缺少灵活性，设计应用的前提条件是i 码络 q o s 给定并且不发生改变，但是由于网络传输过程中存在的不确定因素，延迟、抖动、 网络拥塞、发送端和接收端能力的不匹配等，对视音频实时传输的质量产生重要的影 响，使得接收端播放表现效果存在媒体内的抖动、帧跳跃和数据失真等现象，用户无 法获得满意的q o p 。 网络带宽目前始终是网络应用的一个瓶颈，通过对数据进行压缩传输可以大量的 减小网络带宽资源的需求量，如果采用特定的压缩算法，还可以将。些加密信息携带 在普通的多媒体数据中压缩以后传输，达到信息隐藏的目的。视频媒体流的传输数据 i 第一章绪论基于m p e g 4 的视音频实时传输研究1 jf i l t c r s 设计实现 量是相当大的，通常都是经过对视频数据压缩后再传输的，压缩效率要求相当高。当 前视频数据一般采用h 2 6 3 压缩算法，壤新的h 2 6 4 压缩算法办日趋普及。在无线网 络传输方面，由于无线网络的带宽较低，因此多媒体数据的编解码在无线通讯中更发 挥着至关重要的作用。 单个媒体内部的数据同步性、多种媒体之间的数据同步性是影响因特网上多媒体 通信应用的一个重要因素。通过时间戳、顺序号、各事件操作之问的逻辑关系等因素 建立单个媒体内部和多种媒体之间数据的同步工作模型是多媒体应用的一个重要研 究方向。 随着应用需求变化，对多媒体信息，特别是视频信息的应用要求由播放型转向基 于内容的操作型，同时需要内容具有更大的可复用性，同现有的采用单一技术( 例如 动画图形，视频画面) 所能得到的性能相比，要求有更大的灵活性。w e b 交互方式的 巨大成功，突显了传统的多媒体交互方式的不够充分。用户提出像访问文本和图形那 样访问音频和视频的希望，这就要求多媒体传输具有可接受质量的活动图像对象和音 频对象，提供类似于w | e b 的同现场内容的交互性i ，j 。 本论文是以江苏省自然科学基金项目“基于内容的视频分层编码传输体系与算法 研究”为背景展开研究的。该基金项目主要研究根据视频内容和接收用户，实现满足 不同应用需求的视频编码传输方法，并在此基础上，建立一套视频表现质量的综合评 价体系。本论文正是以此为中心，对多媒体通信技术中的三个关键技术及其相关内容 进行研究，并对其中的实时同步、传输技术进行了重点研究。 1 2 多媒体技术中的m p e g 系列 1 2 1 多媒体技术中m p e g 系列概述 运动图像专家组，英文简称m p e g ( m o v i n g p i c t u r ee x p e l sg r o u p ) 隶属于i s o i e c 的一个专家工作组，专门从事于多媒体中的图像和语音数据压缩和传输技术，1 9 9 2 年制定出m p e g l 标准，随后于1 9 9 4 年，制定出m p e g 2 标准，随着研究工作的深入 发展，i s o 又公布了“超低比特率活动图像和语音压缩标准”，排序为m p e g 4 ，1 9 9 8 年1 0 月批准第一版，1 9 9 9 年4 月又公布了第二版及其校验模型( v m ) c 犟于m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现第一章绪论 m p e g i 是针对v h s 、普通电视质量的视频信号的压缩，用于传输1 5 m b p s 数据 传输率的数字存储媒体运动图像及其伴音的编码，有着广泛的应用，如v c d 的制作。 m p e g 2 是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层 的详细规定，压缩后传输速率为2 8 0 m b p s ，广泛地应用在d v d 制作、数字电视等方 面。 m p e g 4 是代表多媒体发展方向的前沿技术，它采用面向对象的分层分级编码传 输方式。m p e g 4 正式编号是i s o f l e c 国际标准1 4 4 9 6 ，它是一种新型的多媒体标准， 它与m p e g 2 标准的一个重要区别就在于它是一个基于对象的编码压缩标准，它所定 义的码率控制的目标就是获得在给定码率下的最优质量，同时体现了根据网络带宽以 及发送、接收方能力的实际状况进行智能化选择、分层分级编码传输的设计思想，它 为互联网上传输高质量的多媒体数据提供了很好的技术平台。 1 2 2m p e g 4 的发展目标和特点 m p e g 4 标准的目标是定义视昕编码标准以应对日渐明显的通信、交互式和广播 式服务模型的需求，以及它们在技术上的汇聚而产生的混合服务模型的需求p l 。 为支持多种多媒体应用( 主要侧重于对多媒体信息内容的访问) ，可根据应用要 求不同来现场配置解码器。编码系统是开放的，可以随时加入新的有效的算法模块1 9 j 。 m p e g 4 采用了基于对象内容的编码方式，既可以根据不同的对象内容特点采用不同 的编码算法，也可以根据不同的应用要求采用不同的编码标准。它为不同的m p e g 4 媒体提供了通用的q o s 描述符，使得采取智能化的自适应数据传输策略成为可能。 m p e g 4 支持针对视频会议、视频电话的超低比特率编码，并将基于内容的检索和编 码结合起来考虑，在压缩数据中加入了描述视频内容的信息，对多媒体信息内容的访 问可以直接针对压缩数据进行，这种压缩编码方法是基于内容的压缩编码方法，它可 以实现在通用芯片上，打破了原来编码压缩方法依赖于专用硬件的限制1 9 j 。m p e g 4 支持强大的交互功能，它的对象操作使用户可以在用户端直接将不同对象进行拼接， 得到用户自己合成的图像，也可以向服务器发送命令，提供如对媒体回放等高级控制。 m p e g 4 标准的编码是基于对象的，这样便于操作和控制对象，而传统压缩方法是基 于帧的，显然无法对对象操作。 m p e g 4 对于不同的i 类角色来说具有不同的作用： 1 第一章绪论基于m p e g 4 的视音频实时传输研究0f i j m r s 设计实现 ( 1 ) 开发人员：使得基于m p e 0 4 技术的产品更加具有复用性，可以用在很多不同 的场合情况和设备中，更加便于管理和保护使用者的权利。使得一次丌发多处使用， 减少开发人员的工作量。 ( 2 、网络运营商：使得传输的信息透明化，可以根据网络的情况采用不同的策略， 在降低资源消耗的同时由网络运营商控制服务质量。 ( 3 ) 终端用户：提供基于对象的交互式通讯，低速率传输使得移动通讯成为可能。 1 3m p e g 4 的国内外研究状况 1 3 1m p e g 4 技术的国内外研究状况 m p e g 系列一直处在多媒体技术的前沿，在研究和应用多媒体的过程中研究 m p e g 极其必要。m p e g 4 是目前各种多媒体技术的汇总，它提出的面向对象的思想 代表了未来多媒体技术发展的一个重要方向。m p e g 4 第二版于2 0 0 0 年初获得正式的 国际标准地位，在特定领域中的某些扩展工作仍在进行中。由于m p e g 4 的体系思想 是开放型的并且在很多方面并没有对实现技术做详细的规定，所以它可以不断的将最 新的多媒体技术吸收进去为之服务。m p e g 4 目前正在进行第二版的一些扩展。 国内东南大学在m p e g 4 技术方面研究比较广泛，杨勇博士对m p e g 4 中基于 v 0 p m d e o o b i e c t p l 趾e ) 的视频分割及压缩算法进行了研究【1 5 】；羌春华设计了一种基于 i n t e r n e t 的m p e g 4 视频网络传输体系结构；中国科学院电子学研究所的刘新春博士 对m p e g 4 的视频分割算法进行了研究；华中科技大学的徐重阳博士提出了多媒体网 络m p e g 传输及q o s 实现思想等。总体来说，国内对于m p e g 4 技术的研究多集中 在数据编解码和网络传输领域的某一种具体实现技术方面。 国外在扩展m p e g 4 方面做了很多工作，在系统设计方面，提供了新的对象结点， 用于监控可用媒体和管理媒体的场景图中，结点提供了对虚拟现实建模语言( v i r t u a l r e a l i t vm o d e l i n gl a n g u a g e ，v r m l ) 进一步的兼容性。设计了可扩展的用文本文法表 示m p e 0 4 场景描述的框架，使得用户在操作交互内容方面变得更加的方便。在同步 方面，设计了高级同步化模型f l e x t i m e ，用来支持来自不同时间基的多个源对象的同 步，f 1 e x t i m e 模型详细说明了使用灵活的基于限制的定时模型的定时方法】。在数据 编解码方面，添加了细粒度可缩放技术，并将用h 2 6 4 压缩编码技术取代h 2 6 3 编码 基于m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现 第一章绪论 技术。在传输方面，提供了多种技术的基于q o s 智能化传输策略。 1 3 2m p e g 4 应用的国内外研究状况 m p e g 4 作为多媒体整体设计思想和技术的集合，它的每一部分涉及到的技术都 可以被多媒体应用采纳。目前越来越多的国内公司采用m p e g 4 技术作为多媒体开发 的标准，主要表现在将m p e g 4 编码器嵌入到c a 己的产品中，同时部分公司在开发自 己的多媒体产品时借鉴了m p e g 4 中的编解码压缩技术和自适应传输技术，如华为、 中兴。可以预见随着数字化电视在国内的普及，m p e g 4 技术会得到更广泛的应用。 国外在应用领域较早开始采用m p e g 4 技术。微软公司先后开发m p e g 4 v 1 、 m p e g 4 v 2 、m p e g 4 v 3 作为w m d o w s 的默认组件。i b m 公司正在进行视频电话会 议的m p e g 4 开发与应用。d i v x n e t w o r k s 是完全开放源代码工作小组，吸引了很多 软件、视频高手在m p e g 4 的基础上开发出d i v x 。 1 4 论文研究的内容和所作的工作 本论文主要针对m p e g 4 系统部分涉及的多媒体面向对象思想的整体工作流程、 系统各部分在整体框架中的作用和通信方法、单个媒体内部及多种媒体之间数据的同 步、视音频对象的实时传输进行研究。在此基础上设计原型系统，实现了原型系统中 基于对象内容工作的f i l t e r s 组件。 本文所作的具体工作包括： 研究和分析m p e g 4 标准中的系统部分( i s o 1 e c1 4 4 9 6 1 ) ，并在此基础上设计视 音频实时传输原型系统，设计并实现了组成原型系统的基于对象内容 作的 f i l t e r s 组件。 分析m p e g 4 面向对象的同步特点，提出并具体设计了适合于对象内容传输的层 结构同步模型。 ， 提出实时传输选择重发算法，在r t p 协议框架的基础上，设计了新的应用层传输 协议框架s r o r t p ，丰富了m p e g 4 中传输模块的功能，改善了因为丢失关键数 据包而对接收端接收质量造成的影响。 ， 考虑变化的q o s 对实时传输的影响，对基于内容的视频数据分层分绂编码思想进 第一章绪论 基于m p e g 4 的视音频实时传输研究jf i l t e r s 设计实现 行了分析，并提出基于压缩算法特点的对象可分级性的思想。 ， 对原型系统中基于对象内容工作的f i l t e r s 组件进行了测试：对实时传输选择重发 算法进行模拟测试，验证其可行性，测试证明，新算法改善了使用r t p 传输视音 频关键内容数据包的丢失率。 i 5 论文的主要特色 与同类多媒体传输研究相比，本论文的主要特色如下： 分析m e p g 4 技术中面向对象的同步技术，进行归纳、整理、系统化，提出了层 结构同步模型。 借鉴t c p 中重发机制的思想，设计了实时传输选择重发算法，降低了由于传输过 程中关键数据包的丢失对终端多媒体表现质量的影响。并在r t p 协议框架的基础 上，设计了新的应用层传输协议s r o r t p ，对r t p 协议进行了改进。 基于面向对象内容的思想，设计视音频实时传输原型系统，实现了原型系统中基 于对象内容工作的f i l t e r s 组件。 1 6 论文结构的安排 论文共分为八章，安排如下： 第一章为绪论。介绍论文的背景与意义、国内外研究状况、主要研究内容和工作 特色。 第二章为m p e g 4 系统概述。研究和分析m p e g 4 标准( i s o 1 e c1 4 4 9 6 ) 的基于内 容的体系结构，并介绍了后续章节使用的m p e g 4 系统中的一些基本概念。 第三章为视音频实时传输原型系统的设计。这一部分借鉴m p e g 4 系统面向对象 的特点，设计视音频实时传输原型系统，设计并实现了组成原型系统的基于对象内容 工作的f i l t e r s 组件。 第四章通过对m p e g 4 系统中面向对象同步技术的分析，提出弗具体设计了适合 于多媒体对象内容传输的层结构同步模型。 第五章提出实时传输选择重发思想，并设计具体的选择重发算法；基于r t p 协议 框架设计了新的应用层传输协议s r o r t p ，对r t p 协议进行了改进。 6 基十m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现第一章绪论 第六章考虑变化的q o s 对实时传输的影晌，分析实时传输中的自适应数据分层分 级编码传输策略。利用上一章提出的实时传输选择重发算法，提出基于压缩算法特点 的对象可分级性思想。 第七章为系统测试与分析。在采用s r o r t p 协议的基础上，对改善多媒体终端表 现质量的选择重发机制算法进行模拟测试。并对原型系统的交互性能进行测试，检测 面向对象操作的效果。 第八章对论文工作进行总结与展望。 1 7 小结 本章概述论文的背景、意义，并对多媒体实时传输过程中的三个关键技术：自适 应编码传输策略、同步性保证和基于内容的实时交互进行简要说明。最后着重介绍了 论文的主要研究内容，以及论文所做工作的特色。 第二章m p e g 4 系列概述 基于m p e g 4 的视音频实时传输研究jf i l t e r s 设计实现 第二章m p e g 4 系统概述 本章在分析现有多媒体流传输技术中的前沿技术m p e g 4 的整体思想的基础上，重 点介绍了m p e g 4 的系统部分，研究和分析m p e g 4 标准( i s 0 i e c1 4 4 9 6 ) 的基于内容的 体系结构，并介绍了后续章节使用的一些m p e g 4 技术的技术背景。 2 1m p e g 4 组成框架概述 m p e g 4 是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体( w 聊、 资料撷取与分散) 等整合及压缩技术的需求而制定的国际标准。m p e g 4 标准将众多的 多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算 法，从而建立起能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。 m p e g 4 采用基于对象的编码理念，在编码时将幅景物分成若干个在时间和空间上相 互联系的视频音频对象，分别编码后，经过复用传输到接收端，然后对不同的对象分 别解码，从而组合成所需要的视频和音频。m p e g 4 中对比特率控制可以基于对象，这 样在不同的网络带宽情况下，可以利用比特分配方法，对于用户感若趣的对象可以多 分配一些比特率，面对于用户不感兴趣的对象可以少分一些比特率，使得对不同的对 象采用不同的编码方法和表示方法成为可能，保证了图像主观质量：同时基于对象的 编码方式有利于不同数据类型间的融合，方便的实现了对于各种对象的操作及编辑。 i s o 组织专门为m p e g 4 技术编写了国际标准i s o i e c1 4 4 9 6 文档。文档具体地 阐述了m p e g 4 技术在多媒体应用中的工作原理和技术规范。目前m p e g 4 技术还处 在发展中，它分为多个部分，其中一些部分仍然在发展过程中，并且尚未定义相关标 准。 m p e g 4 由三个主要部分构成： ( 1 ) 1 s o i e c1 4 4 9 6 1 系统( s y s t e m ) 该部分详细描述交互式的视听场景通信系统，指定根据视听信息和相关场景描述 信息来产生交互方式的方法、交互命令、场景和对象结点的语法与语义，并且说明了 m p e g 4 的整个工作流程以及每一部分在整体框架中的角色与作用，各部分之间协调 和通信的方法。 r 幕于m p e g 4 的视音频实时传输研究与f il t e r s 设计实现第二章m p e g 4 系列概述 f 2 ) i s o i e c1 4 4 9 6 2 视频( v i s u a l ) 该部分详细描述视频流的语法与语义，视频数据的编解码技术，以及根据用户需 求和网络传输码率的不同而设计不同的视频内容编码框架和针对每种框架的分级。 ( 3 ) l s o i e c1 4 4 9 6 3 音频( a u d i o ) 该部分描述在综合许多种不同类型的音频编码基础上，设计的完善的音频编码和 合成框架，创建了交互数字化音频的新技术。此外还定义了可以应用到所有需要使用 先进的语音压缩、合成、控制和回放等应用领域的标准。 系统、视频、音频是m p e g 4 研究的内容，其中系统部分是m p e g 4 的整体模型， 也是m p e g 4 各部分之间相互连接的“大脑”和“灵魂”。其他各部分与系统部分结 合起来设计，就可以实现基于对象的分层分级视音频编码、视音频数据同步、交互式 操作、动态视音频跟踪和智能化自适应调整策略。 m p e g 4 在技术实现上没有对每个细节都做详细的规定，提出的概念和思想很多 没有明确具体的技术规范，正在不断地调整和扩充。目前i s o i e c1 4 4 9 6 技术文档发 展到从i s o i e c1 4 4 9 6 1 到i s o i e c1 4 4 9 6 1 9 ，其中i s o i e c1 4 4 9 6 4 以后的技术文档 都是对前三个文档涉及到的具体技术的详细说明和规定。如：i s o i e c1 4 4 9 6 - 4 致 性( c o n f o r m a n c e ) 标准用来指定测试，验证是否比特流和解码满足系统、视频、音频、 d m i f 的需要：i s o i e c1 4 4 9 6 1 0 高级视频编解码a v c ( a d v a n c e dv i d e oc o d i n g ) ； i s o i e c1 4 4 9 6 1 3 对象属性智能化管理和保护的扩展i p m p e ( i n t e l l e c t u a lp r o p e r t y m a n a g e m e n ta n dp r o t e c t i o ne x t e n d e d ) 等。 2 2m p e g 4 系统中的一些基本概念 2 2 1 基本码流 系统将从压缩层得到的码流数据作为基本码流( e l e m e n t a r ys t r e a m ，e s ) 数据。e s 在服 务器端的压缩层产生，通过同步层、传输层发送给客户端，再由客户端的传输层、同 步层传递给压缩层。这个过程是一个端到端的发送，从而保证了e s 的完整性。 e s 并不是最小的处理单位，它包含更加详细的组成结构： ( 1 ) a u ( a c c e s su n i t ，访问单元) e s 被划分成多个a u 。a u 是e s 数据中具有l 时f n j 属性的最小实体。a u 的内部组 ( ) 第二章m p e g 4 系列概述基于m p e g 4 的桃旨频实时传输研究与f i l t e r s 设计实现 成结构由产生基本码流的压缩层定义，一个a u 可能由一个或者若干个合成单元( c u ) 构成。a u 由e s 中所有具有相同处理时刻的合成单元构成，同一个e s 中没有两个 a u 具有相同的时刻。a u 由同步层打包封装成同步包数据流输出到传输层。一个同 步包的内容只能是单个a u 或者单个a u 的一部分。发送端传输层将每个同步包分割 成多个分组传输，并保证接收端传输层恢复同步包时的完整性( 例如，采用r t p 协 议分割并传输同步包，每一个同步包都具有唯一的同步源标识符，从而在接收端将具 有同个同步源标识符若干分组组装成同一个同步包，保证了同步包的完整性) 。 a u 的属性包含解码时间戳( d t s ) 、标签、合成单元边界信息等。 访问单元( a u ) 的分类： i p m p ( i n t e l l e c t u a lp r o p e r t ym a n a g e m e n ta n dp r o t e c t i o n ，属性智能管理和保 护) 访问单元，它由一个或者多个i p m p 消息组成。 o d ( o b j e c td e s c r i p t o r , 对象描述符) 访问单元，它由一个或者多个o d 命令 组成，o d 命令分为o d 更新、o d 删除、e s 描述符更新、e s 描述符删除、 i p m p 描述符更新、i p m p 描述符删除等六个命令类型。 b i f s ( b i n a r yf o r m a tf o rs c e n e s ，二进制格式场景) 访问单元，它由一个b i f s 命令帧或者b i f s 动画帧组成。一个b i f s 命令帧包含一个或者多个b i f s 更 新命令，如插入节点命令、更新节点命令、替换节点命令和场景更新命令。 一个b i f s 动画帧提供了场景图中节点的某些属性值的连续更新。 视频访问单元，它由一个或者多个视频对象合成单元组成。 音频访问单元，它由一个或者多个音频对象合成单元组成。 时钟引用访问单元，它由s t b ( 系统时基) 或者o t b ( 对象时基) 单元组成。 m p e g 7 访问单元，它包含m p e g 7 定义的一些记录内容。 私有类型访问单元，它包含了系统开发者定义的一些特殊的记录内容。 f 2 1c u ( c o m p o s i t i o nu n i t ，合成单元) a u 在接收端压缩层解码以后得到c u 。c u 对于e s 来说是， i 可见的，c u 的基本 属性包括c t s ( 合成时问戳) 、生命周期和标签等。c u 是组成a u 的最小实体，单 个c u 表示单个i p m p 消息、o d 命令、b i f s 命令帧b i f s 动画帧、视频对象数据记 录、s t b 单元记录或者o t b 单元记录等基本实体。 基于m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现 第二章m p e g 4 系列概述 2 2 2 同步信息 m p e g 4 系统中对象的同步是通过以下四个时间信息实现的： ( 1 ) 系统时基( s t b ) 系统时基定义了终端的时间戳，它是各种时间戳的时间参考。 ( 2 ) 对象时基( o t b ) 对象时基定义了一个对象单元的时间戳。发送端插入到编码数据流中的所有时间 戳都参考这个时基，接收端通过e s 中的时间信息得到对象时基，或者一个e s 中的 对象时基通过一个指示标志使它与另一个e s 的对象时基联系起来。 ( 3 ) 解码时间戳( d t s ) 每个访问单元都有一个表示解码时间的标志，即在该解码时间，这个访问单元必 须能被用于解码，在该解码时间之前，访问单元不能使用。 ( 4 ) 合成时间戳( c t s ) 每个c u 都有一个相关联的表示合成时间的时间戳，它表示在该时刻在合成存储 区内该c u 可以被用来合成，在该时刻之前c u 不能被处理。 2 2 3 场景描述 场景描述信息用来说明一个场景中根据空间和时间属性对视听对象的组织。在各 个解码器将对象数据解码以后，利用场景描述信息合成和显示各个视听对象。m p e g 4 中的场景描述信息使用二进制编码格式表示，简称b i f s ( b i n a r yf o r m a tf o rs c e n e s 二进制格式场景) 。该描述信息由有层次结构的节点树构成，节点包括属性和其他信 息( 包含事件源和目标) ，树结构中的叶子节点表示基本的视听对象，而中间节点表 示聚集这些叶子节点构成的组合对象，以及在这些视听对象上进行的分组、转换等操 作。图2 1 说明了一个视频聊天场景的逻辑结构。 第二章m p e g 4 系列概述基于m p e g 4 的规音频实时传输研究jf i l l e r s 设计实现 图2 1一个视频聊太场景的逻辑结构 m p e g 4 提供了一个标准方法来描述场景： ( 1 ) 在给定的坐标系中可以将多媒体对象放在任意的位置( 这使得场景的重组成 为可能) ，视昕对象可以在2 d 或者3 d 空间中定位，每一个视听对象都有一个局部坐 标系统，在局部坐标系统中视听对象有一个已知的时空位置和方向。复杂视听对象可 以通过结合适当的构成场景图的场景描述节点来构造。 ( 2 ) 运用转换公式和定义的功能函数来改变视听多媒体对象在场景中的表现形 式。 ( 3 ) 动态改变场景结构组成，在场景描述结构中，节点可以增加、删除和修改。 ( 4 ) 针对场景中的对象节点通过流数据来不断调整这些对象的属性，对象节点结 构拥有一系列参数，通过调整这些参数可以控制节点的表现形式。如声音的大小、媒 体对象的纹理运动趋势、合成人脸的各个参数的运动特征、视频对象的透明度等。 ( 5 ) 用户可以和观察到的视听对象节点之问进行交互，通过特定动作改变这些节 点的部分属性。如用户通过在显示场景中单击来启动一个动画或者视频序列。崩来描 述这样交互行为的工具是场景描述的一部分。 m p e g 4 中使用的场景描述表示方法主要衍生自i s o i e c1 4 4 7 2 - l ：1 9 9 7 v r m l ( v i r t u a lr e a l i t y m o d e l i n g l a n g u a g e ，虚拟现实模型语言) 规范，因此b i f s 继承了 v r m l 9 7 的节点，并增加、扩充了节点的能力，用来支持影音对象展示。b i f s k e v r m l 提供了更好的特性，如b i f s 提供易于使用的2 d 对象、2 d 对象的合成、2 d 和3 d 对象 2 幕十m p e g 4 的桃音频实时传输研究与f i l t e r s 设计实现 第二章m p e g 4 系列概述 合成、颜色和身体动画节点等。b i f s 已经在很多方面扩展了v r m l 的能力，更加适合 于多媒体的传输需要。用b i f s 编码场景比用v r m l 编码场景效率高，因此b i f s 格式在 低速率网络环境下有着很大的优势。 b 1 f s 可以通过3 种方式进行修改： ( 1 ) 场景交互、行为事件，场景对象的交互性和行为通过传感器和路线来描述。 传感器节点产生基于用户交互和场景变化的事件，路线指定被修改的节点。 ( 2 ) b i f s 命令帧，用于流播场景变化、插入新场景或新对象、删除对象等。 ( 3 ) b i f s 动画帧，用于流播节点参数实现节点动画效果，它是作为一种以非常低 的开销使视听对象活动起来的机制。 2 2 4 对象描述框架 对象描述框架负责场景描述和e s 之间的联结关系，它的存在使得场景描述和e s 之间是一种通过对象描述而产生的间接关系，面不存在直接关系。因为单个e s 不是 单纯的表示单个对象，e s 可能是多个对象内容的结合体，因此如何将场景描述中提 到的对象和其时空关系与e s 内含有的对象内容联系起来是一个现实的问题。如果直 接联系，那么场景描述和e s 之间就是紧耦合的关系：通过对象描述作为媒介，可以 实现场景描述和e s 的间接联结，使得e s 的属性和传输独立于场景结构变化。 对象描述框架由一系列描述符组成，这些描述符可以识别、描述并将有关的基本 码流联系起来，还可以将基本码流与在场景描述中使用的视听对象联系起来【9 】。 对象描述框架中包括对象描述符、基本码流描述符、同步描述符、解码描述符，服务 质量描述符，i p m p 描述符等众多类型描述符，这些描述符各自提供不同的功能。 2 3m p e g 4 系统的分析 2 3 1m p e g 4 系统概述 m p e g 4 系统是交互式的视听场景通信系统，说明了m p e g 4 的整个工作流程以及 每一部分在整体框架中的角色与作用，各部分之f l i j 协调和通信的方法。m p e g 4 系统 提供的存视听内容o e 怠, j 造交互性的方法同视频部分和音频部分提供的技术相结合，为 第二章m p e g 4 系列概述基于m p e g 4 的视_ 野频实时传输研究与f i l t e r s 5 计实现 人们应用视听信息提供了新的工具。 2 3 2m p e g 4 系统的体系结构 m p e 0 4 系统的总的体系结构如图2 2 所示。 i台成与重现 气产1r呵r l 搐适子漉_ 确il 场景搐述潍_ 码 1 备个对霉漉解玛i 1 ijiiiili漉1 一。 基本汽接口麟 j 乳l 同疹层打包i 1 审 l l s l 、li、lis l 打电流i ，1 幅t 霄面置，基弼n li ii r l l u ll 1| f l e x e u x i ，： 一 | 1 9 ；：一+ t s +l t + i il 习 上 传篱存储介质 图2 2m p e g 4 系统的接收端体系结构 如上图所示，m p e g 4 系统的体系结构包含三个层：传输层、同步层 ( s y n c h r o n i z a t i o nl a y e r ，简称s l ) 和压缩层。发送端压缩层和s l 通讯的目的是使 压缩层中的每一个对象数据必须通过s l 打包同步信息来保证视音频数据播放的同 步，压缩层得到从s l 打包的同步信息，根据这些信息在给定的时刻进行对象数据的 解码和场景的合成。接收端的传输层根据数据包的接收情况计算网络的当前状况，用 q o s 信息作为上载码流( 接收端反馈信息) 数据通知发送端，发送端在压缩层根据当 前的网络状况和用户需求，自适应地对对象数据进行分层分级编码，利用合理的传输 速率最大地保证接收端的表现质量。同时，压缩层采取的编码压缩方案直接影响到传 输层数据包的发送和接收质量以及发送、接收缓冲区的大小。发送端传输层将s l 中 的同步数据包分组传输，并在接收端传输层重新组合为同步数据包。传输层、s l 和 压缩层之间相互影响，每一层的设计都需要考虑其它层和最终的实时通信效果。 2 3 2 1 传输层说明 传输层是对已经存在的各种传输协议的使用，包括m p e g 2 的t s ( 传输流) 、r 1 p 、 1 4 压墙层 两步层 侍篝赓 幕十m p e g 4 的视音频实时传输研究与f i l t e r s 设计实现第二辛m p e g 4 系列概述 a t m 的a a l 2 等协议，这些协议能够用来存储和传输符合m p e g 4 标准的视听内容。 传输层通过接收的数据包分析计算q o s 相关数据，并依此决定当前传输框架下的传 输策略。无论使用何种传输协议，传输层通过同步层最终向m p e g 4 压缩层提供e s ( e l e m e n t a r ys t r e a m ，基本码流) 。传输层的功能并不在系统部分规定，只是和传输 层有关的接口需要系统考虑，m p e g 4 定义了d m i f ( d e l i v e r ym u l t i m e d i ai n t e g r a t i o n f r a m e w o r k ，传输多媒体集成框架) 应用接口的概念。d m i f 定义了对各种传输层的 某种自适应并作为m p e g 4 技术