MPEG4 面向网络传输的特性及应用

MPEG4面向网络传输的特性及应用2004年度河南省广播电视优秀科技论文二等奖摘要本文从-4编码的复用基本流技术、分级性、容错性及面向对象的编码特性，阐述了-4编码有效的网络传输性及相关应用。关键词复用编码分级面向对象容错交互应用随着传统视频行业的数字化，以及的进一步实施，在网络上进行视频传输的需求越来越多。而目前，网络传输视频面临着以下问题①网络资源主要是带宽的不足，不可能为所有用户提供足够的带宽；②视频数据在传输过程中，网络资源如带宽、误码和丢包率等都是动态变化的；③网络的异构性和用户的不同需求，使得网络视频应用面临着不同的服务质量的需求。而-4编码针对这些问题，均有有效的应对策略，因此被广泛应用于视频传输，特别是低码率的视频传输。-4的特性包括高质量高压缩率，可扩展的码率范围，可分级性，差错复原性，内容的交互性等。这些特性均支持了其面向网络的传输性，以下就分别加以介绍。一、复用基本流技术使-4编码更加适应于不同特性宽范围网络复用即复合和同步与媒体对象相关的数据。-4借助于用作定时和同步连续媒体-1和-2系统经验，定义一个三层复用对策使其编码更加适应于不同特性宽范围网络和不同的应用场合。这对于异构网络的视频传输有着重要的意义。因为在传输过程中，视频数据流应与整个连接链路的可用带宽相匹配，这样可同时使网络拥塞和包丢失率达到最小，获得给定码率下的最优质量。这三层分别为同步层、灵活复用层、传输复用层。其中灵活复用层可提供不同特性的复用流，诸如平均比特率和接入单元的大小。传输复用层使复用流适应于特殊网络特性，便于适应不同网络环境接口。在具体信号传输过程中，传输复用层使得复用流与特定的传输或存储媒体相适配，而任选中间灵活复用层可提供几个低比特率流组合，而不需要进一步的包化或引入太多的冗余。对于常规的场景，比如一个常用活动图像的音频加视频，可跳过这灵活复用层，对于单一的音频流和单一的视频流可分别提供一个单一的传输复用流。二、-4视频编码可分级技术支持其面向传输的分层可扩展性所谓分级编码，是将整个视频流分为可逐级嵌入的若干层，不同复杂度的解码器可根据自身能力，从同一数据流中抽出不同层进行解码，得到不同质量、不同时间分辨率、不同空间分辨率的视频信号。使同一个数据流适应不同特性的解码器，提高灵活性和有效性。对于传输信道来说，分层编码可应用于不同的网络带宽和网络状况，在速率起伏很大的网络及具有不同传输特性的异构网络上有重要的意义。-4通过视频对象层，数据结构来实现分级编码。基本分级工具包括时间分级和空间分级，此外还支持这些基本分级工具的组合。每一种分级编码都至少有两层，低层称为基本层，其它为增强层。基本层提供了视频序列的基本信息，增强层提供了视频序列更高的分辨率和细节。空间分级使得编码数据流提供至少两种空间分辨率的视频信号，基本层提供了，增强层提供了。时间分级使得编码数据流提供至少两种帧速率的视频图像服务，基本层提供了隔行扫描，增强层提供逐行扫描。三、容错技术保证了-4传输后的视频质量-4具有修正传输过程中产生错误的特性，即容错性。抗误码工具包括再同步，数据恢复和误差隐藏，且这些工具在-4均得到了进一步优化。由于其良好的容错机制，使得视频流在信道传输后，解码的质量得到保证。这对于多媒体信息在信道下的传输有着重要的意义。由于信息经信道传输后不可避免的会出现错误，且被压缩后的信息对错误特别敏感，如果不加以处理，在接收端，多媒体的质量将严重下降而不可用。尤其对于无线电传播，由于电磁波传播是扩散的，地理环境复杂多变，且用户位置处于移动中，不可预测，其信息传输更为不稳定。-4的出现，促进了含有视频流内容的移动式产品的发展。四、基于对象的编码技术提高了压缩效率及质量并实现了交互性&；-4标准与-1和-2标准最根本的区别在于-4采用基于对象的编码方法。此编码方法实现了高效高质量压缩，使多媒体信息得以在低带宽上传输。同时，基于对象和内容的现代编码，使得用户与场景交互，便于操作和控制对象，满足了多媒体应用中人机交互的需求。下面加以详细说明-4中所见的视音频已不再是过去-1、-2中图像帧的概念，而是一个个视听场景场景，这些不同的场景由不同的对象组成。其对象包括自然图像、自然音频，合成声音、合成图像以及带有附加码流的对象如流动文本或用于表面模型活动的流动参数。在视频编码上引入视频对象平面，、视频对象的概念，视频对象平面，是视频对象在某一时刻的采样。是-4视频编码的核心概念。进行-4编码，首要任务就是把视频图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应的编码方法独立进行编码，来实现高效高质量压缩。如对3对象使用3动画适用的演算法，对前景压缩编码尽可能保留细节和平滑；而背景则采用高压缩率的编码策略，对于相同的背景只传输一次，减少信息量。-4在对视频图像对象进行编码时，实际上是对一幅图像以最简单的模型编码方式进行编码，对象物被描述成具有矩形外观的的单个视频对象，这就是纹理编码。而传统编码方式中的矩形图在-4中被看作是的一种特例，这正体现了传统编码与基于内容编码在-4中的统一。-4编码中使用场景描述信息来说明各对象在一个复杂多媒体场景中的组合。下面看一图-4在接收端的系统结构在图中接收端除了对各自对象进行解码外，还对场景描述信息进行解码。-4的场景描述用来确定对象在时间和空间上的位置。它基本上采用虚拟现实造型语言，这种语言规格用来描述包括3材料、声音和图像的复合场景组合。场景描述像其他流动数据一样在一个基本流中传输，但处理的方式与其他信息不同，接收终端需使用此信息来建立场景结构，对多个视频对象及音频对象进行合成。重要的是在-4中，场景描述可以构造和升级，从而实现在更高层次上的互动性。为了更好的说明基于对象的编码方式对交互性的意义，这里列举萨尔诺夫公司开发的用于处理-4的工具下图。该处理工具可实现压缩解压缩不同的视觉对象为4数据流将视频对象拖入窗口，同时可调整对象的大小、帧频、码率、透明度、层次替换不同的背景把自然的图片与视频对象与计算机合成的纹理和动画对象混合在一起生成每一个视频对象的原数据借助这套处理工具，用户可在更高的语义程度上交互使用数字视频，其可被广泛应用于交互电视，数字演播室等领域。五、-4标准在专业视频领域的应用-4标准的开发目标是实现多媒体业务在各个领域的应用，涉及面非常广泛，不同的应用对应的码率、分辨率、质量和服务也不同。为了满足各种应用的需求，-4标准相当庞大，划分为不同的部分与等级，或者说它提供了分类的方法。将整个标准划分为一套子标准，利用这些子标准可以针对某些具体的应用组成不同的方案。设备厂商在应用-4标准进行产品研发时，可根据应用领域的不同，适当选择标准工具的子集。标准的每一个部分都分别有各自最适合的应用场合。例如-4的简易型部分，是专门针对手持式产品中无线视频发射应用场合制订的。目前，-4标准被广泛应用于数字电视、实时多媒体监控、视频会议、低比特率下的移动多媒体通信、网上传输的可视电话等。14作为流媒体编码格式在网络传输中的应用-4支持恒定码率和可变码率，可根据线路的传送速率和对质量的不同要求，采用不同码率，适应不同的网络带宽，是面向网络传输的可扩展性编码。由于-4良好的网络传输性，被用作流媒体格式。过去各公司不得不先给自己的内容编码，在传输时再将其转换成多媒体流格式或别的广播格式，以便传送给所有的电脑和电视用户。现在通过使用-4各公司现在只需给自己的内容编码一次，只从一个服务器就可提供流式内容。苹果公司和网络公司这样的流式媒体先导人均以-4作为流媒体文件格式的基础。24在移动数字音频视频通信中的应用-4高效的压缩性及容错性适合在窄带移动网络上进行多媒体通信。3-4基于对象编码的特性在交互电视中的使用例如，在转播一场足球