iptv系统中几种编码格式的分析和比较

IPTV 系统中几种编码格式的分析和比较 A few codings format analysis and compare of the IPTV system 内容摘要：IPTV 是近年来迅速 发展起来的、以“电视机+机顶盒”为主要终端设备、能为用 户提供多种宽带服务，包括影 视服务、 电视节目在内的互动 多媒体内容的网络宽带增值业务， 它为我国广大电视用户提供了全新的宽带体验和收视方式。IPTV 技术是一项系统技术，包括 多方面的内容，本文主要介绍 了 IPTV 系统中的几种音视频编码格式，以及各种格式的分析和 比较。 Abstract：The IPTV develops quickly in recent years of, regard“ television+ set top box“ as the main terminal equipments and can provide for the customer various breadths take the service, including the network breadth of the interactive multi-media in inside in service, television program in showbiz contents take to increase in value the business, it was a large television in our country customer to provide the all new breadth takes to experience personally with accept to see the way. The technique of IPTV is analysis that a few that a system technique, include the various contents, this text introduced the IPTV system inside primarily see the code the format, and every kind of format with compare. 关键词 IPTV； MPEG-2； MPEG-4； H.264； AVS Key Word： IPTV； MPEG-2； MPEG-4； H.264； AVS 前言 IPTV 作为 IP 网络上的视频应用，对音视频编解码有很高的要求。首先，编码要有高的 压缩效率和好的图像质量，压缩效率越高，传输占用带宽越小；图像质量越高，用户体验则 越好。其次，IPTV 平台应能兼容不同编码标准的媒体文件，以适应今后业务的发展。最后， 要求终端支持多种编码格式或具备解码能力在线升级功能。 目前主流的视频编码格式有以下几种：MPEG-2（ISO/IEC 13818-2）、MPEG-4 Part 2（ISO/IEC14496-2）、H.264/AVC（即 MPEG-4 Part10）、 AVS、微软的 WMV-9、Real 公司的 视频格式、SVC（可伸缩视频编码，应用于变带宽、变速率环境）和 VC-1（美国 SMPTE 于 2004 年底颁布的压缩标准）。常见的标准有 MPEG-2、MPEG-4、H.264 和 AVS，它们有各自的 特点。以下主要对 MPEG-2、MPEG-4、H.264 以及 AVS 的视频编码格式进行简单的分析和比较。 MPEG-2 是运动图像压缩标准。该标准完全兼容 MPEG-1 标准，其处理能力可达到广播级水 平，适应于 1.550Mbit/s 编码范围。它应用于 DVD 方案，应用于高清晰度电视（HDTV）的 方案，也应用于现在广播式有线数字电视系统的编码。 MPEG-4（Part 2）是 ISO 为传输数码率低于 64kbit/s 的实时图像设计的，是一种高效的编 码标准。编码比特率相应可分为 384kbit/s1Mbit/s、64kbit/s384kbit/s、64kbit/s 以 下，对多媒体应用领域的各种编码进行兼容。广泛应用于有线、无线、移动通信、Internet 以及数字存储回放等各个领域。 H.264（IEC 14496-10AVC）是 2003 年 ITU-T 通过的数字视频编解码标准。H.264 标准有基 本子集、主体子集和扩展子集等三个子集，基本子集专为视频会议应用设计的，它提供了强 大的差错消隐技术，并支持低延时编/解码技术，使视频会议显得更自然。主体子集和扩展 子集更适合于电视应用（数字广播、DVD）和延时显得不太重要的视频流应用。 AVS 是我国创新技术自行研制的编码标准。它包括系统、视频、音频、数字版权等四个 主要技术标准和致性测试等支撑标准。AVS 视频编解码标准的核心技术包括：8X8 整数变换、 量化、帧内预测、1/4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码等。该标准达 到国际先进水平的数字音视频编解码标准，可应用于高清晰度数字电视、高清晰度激光视盘 机、网络电视、视频通信等领域。与 MPEG-4 相比，其压缩效率明显提高；与 H.264 相比， 又减少了 CABAC 等实现难度大的技术，从而增加了可实现性。 一、 各种编解码技术的分析 1.1 MPEG-2（ISO/EC 13818-2） MPEG-2 标准从 1990 年开始研究，并于 1994 年由国际标准化组织正式发布。它是一个直 接与数字电视广播有关的高质量图像和声音编码标准。MPEG-2 编码格式主要是用于传输声音、 图象数据压缩的标准，它是 MPEG-1 的进一步发展，码流在 1.5Mb/s 到 50Mb/s 之间。MPEG-2 编码格式与 MPEG-1 编码格式的基本编码算法都相同，但在 MPEG-1 的基础上增加了许多新的 功能，例如增加了隔行扫描电视的编码，提供了位速率的可变性能（Scalability）功能。 MPEG-2 要达到的最基本目标是：位速率为 49 Mbit/s，最高达 15 Mbit/s。 MPEG-2 编码格式的数据流有两种形式，一种称为程序数据流（Program Stream，PS），另 一种称为传输数据流（Transport Stream，TS）。程序数据流是组合一个或者多个规格化的 基本数据流（Packetised Elementary Streams，PES）而生成的一种数据流，用在出现错误 相对比较少的环境下，适合使用软件处理的应用；传输数据流也是组合一个或者多个 PES 而 生成的一种数据流，它用在出现错误相对比较多的环境下，例如在有损失或者有噪声的传输 系统中。 1.2 MPEG-4 Part 2（ISO/IEC14496-2) MPEG-4 标准是国际标准化组织于 1998 年颁布的又一种新的编码格式标准，其主要针对 互联网及无线信道的应用，并充分考虑了不同信道传输条件的特点，提供了一些关键技术。 1.2.1 编码理念：引入基于对象的编码方法（Object-based Coding） MPEG-4 标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时 将 1 幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传 输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既方便 我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且 这样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真 实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根 据自己的需要有选择的组合各种视频音频以及图形文本对象。 1.2.2 数据结构：采用特殊的二进制数据结构 BIFS（Binary Format for Scenes）及 XMT（Extensible Markup Text） 考虑到 MPEG-4 面向对象的编码特点，压缩后的数据采用一种特殊的二进制数据结构 BIFS，这种数据结构中封装了各种媒体对象数据流以及表征这些对象间时域空域关系的信息， 为不同媒体数据的复用，传输和重构提供了便利。用户可以通过和服务器间的交互，由服务 器发送特殊的命令（BIFS-COMMAND）来改变各个对象的参数，在重构图像中，我们可以改变 物体的大小，物体的位置与倾角，还可以将其它图像中的物体加到该图像中。 除了这种二进制结构，MPEG-4 标准又扩展出一种新的原文数据格式 XMT，即扩展标记文 本（Extensible Markup Text），它能够涵盖其他的扩展描述语言（XML），可以通过简单 的标记来表示信息的各种含义，并且能够被编译成二进制数据结构 BIFS，这样我们就可以更 加方便直观的标记出各对象的信息及其相互关系。 1.2.3 时域空域可调性（Spatial and Temporal Scalability） 在互联网及无线的应用中，都面临着带宽受限的问题，为了解决这个问题，MPEG-4 提供 了一些措施来实现编码的时域空域可调性，以便用户根据不同的带宽状况及接收终端的限制 来选择不同的分辨率，这种技术广泛应用于多种多媒体应用中，比如视频数据库浏览，视频 移分辨率回放等等。 1.2.4 有效的抗差错措施（Error Resilience Tools） 互联网传输面临的一个重要问题是网络阻塞和丢包，而无线传输中由于多径时延与衰落 以及多普勒频移的存在，也同样面临着恶劣的信道条件，所以 MPEG-4 标准制定过程中，考 虑了不同的信道条件，提出了多种行之有效的抗差错措施，例如再同步标志，可逆变长编码， 数据分割等等。 1.3 H.264/AVC（即 MPEG-4 Part10） H.264 标准是 ITU-T 在日本的会议上正式通过，并于 2003 年 5 月正式公布的继 MPEG-x 系列之后的又一音视频编码新标准。国际电信联盟将该系统命名为 H.264/AVC，国际标准化 组织和国际电工委员会将其称为 14496-10/MPEG-4 AVC。 H.264 和之前的标准一样，也是 DPCM 加变换编码的混合编码模式。但它采用“回归基 本”的简洁设计，不用众多的选项，获得比 H.263+好得多的压缩性能；加强了对各种信道 的适应能力，采用“网络友好”的结构和语法，能很好的处理误码和丢包；应用目标范围较 宽，可以满足不同速率、不同解析度以及不同传输场合的需求。 同时，H.264 提出了一个新 的概念，在视频编码层（Video Coding Layer, VCL）和网络提取层（Network Abstraction Layer, NAL）之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特 定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。 H.264 标准的关键技术包括： 1.3.1.帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高 H.264 帧内编码的效率，在给定帧中充分 利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此，在对一给定宏块编码 时，首先可以根据周围的宏块预测，然后对预测值与实际值的差值进行编码，这样，相对于 直接对该帧编码而言，可以大大减小码率。H.264 提供 6 种模式进行 44 像素宏块预测，包 括 1 种直流预测和 5 种方向预测。H.264 也支持 1616 的帧内编码。 1.3.2.帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。H.264 的运动补偿支持 以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功能，除了支持 P 帧、 B 帧外，H.264 还支持一种新的流间传送帧SP 帧。码流中包含 SP 帧后，能在有类似内容 但有不同码率的码流之间快速切换，同时支持随机接入和快速回放模式。 （1）不同大小和形状的宏块分割 对每一个 1616 像素宏块的运动补偿可以采用不同的大小和形状，H.264 支持 7 种模式。 小块模式的运动补偿为运动详细信息的处理提高了性能，减少了方块效应，提高了图像的质 量。 （2）高精度的像素运动补偿 在 H.263 中采用的是半像素精度的运动估计，而在 H.264 中可以采用 1/4 或者 1/8 像素 精度的运动估值。在要求相同精度的情况下，H.264 使用 1/4 或者 1/8 像素精度的运动估计 后的残差要比 H.263 采用半像素精度运动估计后的残差来得小。这样在相同精度下，H.264 在帧间编码中所需的码率更小。 （3）多帧预测 H.264 提供可选的多帧预测功能，在帧间编码时，可选 5 个不同的参考帧，提供了更好 的纠错性能，这样更可以改善视频图像质量。这一特性主要应用于以下场合：周期性的运动、 平移运动、在两个不同的场景之间来回变换摄像机的镜头。 （4）去块滤波器 H.264 定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直块边缘， 大大减少了方块效应。 1.2.3.整数变换 在变换方面，H.264 使用了基于 44 像素块的类似于 DCT 的变换，但使用的是以整数为 基础的空间变换，不存在反变换，因为取舍而存在误差的问题。与浮点运算相比，整数 DCT 变换会引起一些额外的误差，但因为 DCT 变换后的量化也存在量化误差，与之相比，整数 DCT 变换引起的量化误差影响并不大。此外，整数 DCT 变换还具有减少运算量和复杂度，有 利于向定点 DSP 移植的优点。 1.3.4.量化 H.264 中可选 32 种不同的量化步长，这与 H.263 中有 31 个量化步长很相似，但是在 H.264 中，步长是以 12.5%的复合率递进的，而不是一个固定常数。在 H.264 中，变换系数 的读出方式也有两种：之字形（Zigzag）扫描和双扫描。大多数情况下使用简单的之字形扫 描；双扫描仅用于使用较小量化级的块内，有助于提高编码效率。 1.3.5.熵编码 视频编码处理的最后一步就是熵编码，在 H.264 中采用了两种不同的熵编码方法：通用 可变长编码（UVLC）和基于文本的自适应二进制算术编码（CABAC）。在 H.263 等标准中， 根据要编码的数据类型如变换系数、运动矢量等，采用不同的 VLC 码表。H.264 中的 UVLC 码 表提供了一个简单的方法，不管符号表述什么类型的数据，都使用统一变字长编码表。其优 点是简单；缺点是单一的码表是从概率统计分布模型得出的，没有考虑编码符号间的相关性， 在中高码率时效果不是很好。 1.4 AVS 音视频编码标准 AVS 是中国自主制定的音视频编码技术标准。AVS 工作组成立于 2002 年 6 月，并于 2003 年 12 月确定 AVS 视频部分。该标准以当前国际上最先进的 MPEG-4 AVC/H.264 框架为起点， 制定适合数字视频应用的中国标准，其中强调自主知识产权，同时充分考虑了实现难度。 AVS 与 MPEG-4 AVC/H.264 标准的主要技术差异包括： 1.4.1 8x8 整数变换 AVS 采用整数 8x8 变换，它可以在 16 位处理器上无失配地实现，从而克服了视频压缩编 码国际标准中采用的 8x8 DCT 变换存在失配的固有问题。 AVS 采用了 64 级量化，可以完全适 应不同的应用和业务对码率和质量的要求。目前 AVS 所采用的 8x8 变换与量化方案大大降低 了芯片的实现难度。 1.4.2 帧内预测 参照 MPEG-4 AVC/H.264 帧内预测的思路，AVS 采用帧内预测技术，用相邻块的像素预测 当前块，同时采用代表空间域纹理方向的多种预测模式。但 AVS 亮度和色度帧内预测都是以 8x8 块为单位的。亮度块采用 5 种预测模式，色度块采用 4 种预测模式，而这 4 种模式中又 有 3 种和亮度块的预测模式相同。在编码质量相当的前提下，AVS 采用较少的预测模式，使 方案更加简洁、实现的复杂度大为降低。 1.4.3 特殊的帧间预测运动补偿 帧间运动补偿编码是混合编码技术框架中最重要的部分之一。AVS 标准采用了 1616，168，816 和 88 的块模式进行运动补偿，而去除了 MPEG-4 AVC/H.264 标准中 的 84，48，44 的块模式，能更好地刻画物体运动，提高运动搜索的准确性。实验表 明，对于高分辨率视频，AVS 选用的块模式已经能足够精细地表达物体的运动。较少的块模 式，能降低运动矢量和块模式传输的开销，从而提高压缩效率、降低编解码实现的复杂度。 1.4.4 1/4 精度像素插值 AVS 和 MPEG-4 AVC/H.264 都采用了 1/4 像素精度的运动补偿技术。MPEG-4 AVC/H.264 采用 6 抽头滤波器进行半像素插值并采用双线性滤波器进行 1/4 像素插值。而 AVS 采用了不 同的 4 抽头滤波器进行半像素插值和 1/4 像素插值，在不降低性能的情况下减少插值所需要 的参考像素点，减小了数据存取带宽需求，这在高分辨率视频压缩应用中是非常有意义的。 在传统的视频编码标准（MPEG-x 系列与 H.26x 系列）中，双向预测帧 B 帧都只有一个前向 参考帧与一个后向参考帧，而前向预测帧 P 帧则只有一个前向参考帧。而新近的 MPEG-4 AVC/H.264 充分地利用图片之间的时域相关性，允许 P 帧和 B 帧有多个参考帧，最多可以有 31 个参考帧。多帧参考技术在提高压缩效率的同时也将极大地增加存储空间与数据存取的开 销。AVS 中 P 帧可以利用至多 2 帧的前向参考帧，而 B 帧采用前后各一个参考帧，P 帧与 B 帧（包括后向参考帧）的参考帧数相同，其参考帧存储空间与数据存取的开销并不比传统视 频编码的标准大，而恰恰是充分利用了必须预留的资源。 AVS 的 B 帧双向预测使用了直接模 式（direct mode）、对称模式（symmetric mode）和跳跃模式（skip mode）。使用对称模 式时，码流只需要传送前向运动矢量，后向运动矢量可由前向运动矢量导出，从而节省后向 运动矢量的编码开销。对于直接模式，前块的前、后向运动矢量都是由后向参考图像相应位 置块的运动矢量导出，无需传输运动矢量，因此也可以节省运动矢量的编码开销。跳跃模式 的运动矢量导出方法和直接模式的相同，跳跃模式编码块的运动补偿的残差也均为零，即该 模式下宏块只需要传输模式信号，而不需要传输运动矢量、补偿残差等附加信息。 1.4.5 二维熵编码、去块效应环内滤波 AVS 熵编码采用自适应变长编码技术。在 AVS 熵编码过程中，所有的语法元素和残差数 据都是以指数哥伦布码的形式映射成二进制比特流。采用指数哥伦布码的优势在于：一方面， 它的硬件复杂度比较低，可以根据闭合公式解析码字，无需查表；另一方面，它可以根据编 码元素的概率分布灵活地确定以 k 阶指数哥伦布码编码，如果 k 选得恰当，则编码效率可以 逼近信息熵。对预测残差的块变换系数，经扫描形成（level、run）对串，level、run 不是 独立事件，而存在着很强的相关性，在 AVS 中 level、run 采用二维联合编码，并根据当前 level、run 的不同概率分布趋势，自适应改变指数哥伦布码的阶数。 二、 各类编解码技术的比较 2.1 技术优劣势比较 MPEG-2 是 DVD 标准之一，编码比较简单，