剖析MPEG-2视频编码器

1、 剖析MPEG-2视频编码器剖析MPEG-2视频编码器99中南地区省级电视台技术协会技术论文二等奖西部广播电视1999年第6期发表现有MPEG-2视频标准的技术规范集包括6类（profile）4级（level）组成，并采用分级编码。所谓级是指MPEG-2的输入格式，标识从有限清晰度的VHS质量图象到HDTV图象，每一种输入格式编码后都有一个相应的范围。.低级LL（LowLevel）：图象输入格式的象素是ITU-RRec.BT601格 式的1/4，即352*240*30或352*288*25，相应编码的最大输出码率为4Mbps。.主级ML（MainLevel）:图象输入格式符合ITU-RRec.

2、BT601格式，即720*480*30或720*576*25。相应编码的 最大输出码率为15Mbps。高级类20Mbps。.1440高级H14L（High1440Level）:是1440*1152*25的高清晰度格式。相应编码的最大输出码率为60Mbps。高级类80Mbps。.高级HL（HighLevel）:图象输入格式为1920*1152*25的高清度格式。相应编码的最大输出码率80Mbps。高级类为100Mbps。 所谓类是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合。不同的类意味着使用不同集合的码率压缩工具。越高的类编码越精细，而每升高一类将提供前一类没有使用的附加

3、工具，当然实现的代价会更高。而解码器却是向下兼容的，任何一种高级类解码器，均应能解码用低级类方法编码的图像。MPEG-2共分6类：简单类SP（SimpleProfile）；主类MP（MainProfile），它比简单类增加了一种双向预测方法，在相同比特率的情况下，将给出比简单类更好的图像。主类的扩展类P（Profile），主要是由Tektronic公司和SONY公司在主类的基础上推出的更适用于演播室视频节目制作要求的数据压缩处理方法。信噪比可分级类SNRP（SNRScaleableProfile）；空间可分级类SPP（SpatiallyScaleableProfile）和高级类HP（HighP

4、rofile）。前两种可分级工具允许将编码的视频数据分为基本层和上层信号。基本层表示编码图像的基本数据，但代表的图像质量低；上层信号则可用来改进信噪比或清晰度。这就意味着有时解码器可以忽略比特流中的增强部分，而只解码比特流中的基本部分，仍可得到有用的图像序列，只不过此时所得的图像分辨率低一些，或者帧速率低一些，或者质量低一些。现有数字电视广播系统就利用了MPEG-2的这种可分级性，使数字信号能同时覆盖接收条件好的和接收条件差的地区，并使能接收和不能接收的区域过渡更为平滑，同时粗编码的低层信号可以有较强的抗干扰能力，可以有更大的覆盖范围。 由于MPEG-2不仅消除了空间上的冗余，而且消除了时间上

5、的冗余，因此使用MPEG-2可以在比较大的压缩比的情况下保持较好的图像质量，SONY的Betacam-SX采用10:1压缩，数据率为18Mb/S是现有数字录象机中最低的，有利于高速传输与存储。另外，MPEG-2还具有如下特色：1输出码率流速率可适应同步或异步传输，无需固定；2适应于逐行或隔行扫描系统；3可用于4:2:0、4:2:2、4:4:4等亮、色取样；4按清晰度可以将图象分为4个等级，高级解码器可与低级解码器实现下兼容；5按使用的工具和方法不同分为5种类型，即允许分层性编码，以保证不同的传输与接收要求。MPEG-2的这种开放性的优点，决定了Betacam-SX将来可直接与众多公司生产的数字

6、视频系统连接，进行数据交换、传输、制作而不需任何数字的转换设备，就连一贯采用M-JPEG数字压缩算法的非线形编辑领域也在积极向MPEG-2靠拢。Matrox、品尼高等一些非线形软、硬件主流产品厂商也已经宣布将于99年第一季度推出采用MPEG-2压缩算法的视频板卡及软件，无疑这其中受益的是Betacam-SX，而且Betacam-SX本身还推出了一种盘带结合型录象机，为进行非线形编辑提供了更加优越的条件。另外，MPEG-2将是广播电视向全数字化过渡的最佳选择也逐步被大多数视频专业人士认可，所以美国以及西方各国普遍以MPEG-2标准作为数字HDTV图像压缩编码系统的核心，这无疑又为Betacam-

7、SX的未来发展提供了一个优越性。四Betacam-SX的零帧编辑最初的MPEG-2标准是为视频分配而设计的，为家庭提供一个可接受的图象质量，但是由于有限的数据率（最大为15Mb/S）和采用4:2:0取样，它的质量并不适合专业制作和后期制作，4:2:0的取样结构也不能达到演播室对多代复制所要求的图象质量，采用小型GOP（GroupOfPicture）结构和15Mb/S的数据率不能产生所需的图象质量，大型的GOP结构又令演播室的信号切换很困难也不能实现零帧编辑，因此很多的录象机采用帧内DCT处理，造成在整个节目到播出的链条中，节目制作是唯一不使用MPEG-2的部分。SONY公司在与大批厂商的共同努

8、力下，顺应了发展的趋势率先推出采用MPEG-2MPML的改进型MPEG-24:2:2PML压缩算法的Betacam-SX，以两帧（I帧和B帧）作为一个GOP，既保证了广播级的图像质量，又实现了高稳定性以及高速的数据传输，但是最初我们还是有一点疑问，就是Betacam-SX如何实现零帧编辑，这恐怕也是很多家电视台在选择数字录象机时的疑虑之处。在解释Betacam-SX如何实现零帧编辑之前，首先让我们先看一看其它采用帧内压缩的数字录象机是如何进行零帧编辑的。在进行复制或编辑时，目前数字录象机通常都使用串行数字（SDI）或模拟接口相连接的。因为即使装配了传输压缩数字信号的接口（如：SDTI、QSDI

9、等），那么它只能应用在复制操作中，而一旦需要叠加字幕或在系统使用时，也必须使用SDI或模拟接口。 与之对应，解码也可分成三部分，解复用.拆包和视频解码及音频解码。MPEG-2视频ES结构可分为6层：<1>视频序列层。定义整个视频序列的结构，是节目的随机进入点。<2>图像组层(GOP)。支持图象解码过程中的随机存取功能，GOP是 视频编辑的随机进入点。<3>图像层。包含一幅图象（帧）的所有编码信息，是编码处理的单位。<4>象条层。在反DCT变换时提供同步的功能。<5>宏块层。宏块是运动补偿处理的单位。由亮度块和色度块组成， 包含P帧B帧

10、的运动矢量。<6>象块层。象块层是DCT变换的单位，提供DCT系数。MPEG-2有三种编码方式：帧内压缩编码方式,见图3；帧间压缩编码方式，见图4；帧内及帧间压缩编码方式,见图5。压缩就是将视频信号中冗余减少的过程,首先必须识别每个视频场和帧中的冗余，这主要包括空间与时间上的冗余。去除视频信号空间冗余可通过DCT变换来完成，DCT变换是一个无信号损失的双向数学过程。它将空间分布的变化程度转变成重现空间分布所需的频率带宽。变换所得到的系数值既可以代表不断增加的更高的垂直和水平空间频率，也可以代表不同的水平和垂直空间频率组合。视频信号经过DCT变换后，较高的空间频率系数会变得非常细小，

11、而据人眼的视觉特性，较高的空间频率系数可以少量的比特来表示，或者完全去掉而不影响图像质量。在实际应用时为保持信号的可逆性和无损性，常常采用更多的比特来表示DCT系数。去除视频信号时间冗余，可使用有运动补偿的帧间预测来完成。对于活动图像多数情况下只是其中的很少一部分图像在运动，即使有大范围的活动部分，前后帧尽管有很大区别，但移动物体本身大多数情况下是相同的。因此只需要找到图像中某一部分运动了多少就可以在前一帧找到相应图像的内容，这个查找过程称为运动估值，其表达方式是运动矢量；而把前一帧相应的运动部分补过来，得到其剩余的不同部分的过程称为运动补偿。就这样，采用运动补偿可以有效地去除视频信号在时间方

12、向的重复信息，达到压缩的目的。为了达到减少数据的目的，MPEG-2将4：2：2转换成4：2：0，并且通过量化，将代表每一个系数的比特数目减少。一般使用11比特来代表DCT系数，对于其他系数则采用较小的比特数目。每一个或每组宏块都有不同的量化刻度，对每个宏块采用不同的量化因数，使只含帧内压缩的MPEG能提供比同样图像质量的M-JPEG多出10%-20%的压缩效果。而相对于原来的DCT系数的数据，量化表及被量化的系数数据量要小得多。在量化过程后，无损数据压缩是通过可变长度编码VLC和游程长度编码RLC实现的。VLC是在数据内寻找共同的图案或字符，采用较小数量的比特为经常出现的数值进行编码，而用较多

13、数量的比特为较少出现的数值进行编码。RLC是用一个字符代表一串一定数目的零。总的目的只有一个，减少数据量。 量化表控制是一个决定如何量化DCT系数的过程；输出缓存可维持数据流，并提供量化器的控制，从而限制或维持数据流在一个一定的水平。在实 实际应用中，当压缩数据被录像机记录时，需要提供一个持续不变的比特率，以使机械部分以稳定的速率旋转扫描机构。而对于硬盘记录来说，又需要一个可变速的比特率。通常，一个可变速比特率是提供一个持续不变质量水平的较好选择。帧间压缩一般是在未压缩的图像上进行，是一个无损过程。在图4中，在参考帧帧存中有一副完全解析度，完整数据的前一副图像。在预测帧帧存中拥有一个根据前一帧

14、和运动矢量所建立的预测的当前帧。输出是预测的当前帧与实际当前帧相减后的差值。若没有运动或其他变化，当前帧便可得到完美的预测，差分帧输出为0（极易压缩）。当前一帧和后一帧有点不同时，差分帧仍有少量数据需要压缩。采用帧内压缩编码形成的图像称为I帧，形成过程见图3；采用帧内及帧间压缩编码形成的图像称为B帧和P帧。P帧为前向预测帧，是以前一个I帧为预测帧进行编码的。在I帧和P帧中间可以插入若干个B帧，B帧是从相邻的最近的I帧或P帧作双向预测进行编码的。形成P帧时参考帧帧存只要求存储一帧图象，而形成B帧时，参考帧帧存则需存储前后两帧图象。由三种相互间有预测与生成关系的不同的帧数据，I帧P帧B帧数据按照不

15、同的组合组成图像组（GOP），再加上序列起始码和序列头等数据组成图像序列或ES，ES再打包成PES；PES再按188byte的固定长度加上各种参数组成传送码流TS。4.从MPEG-2MPML到MPEG-2PML目前业界流行的数字录像机，采用的均是Digital-S.DVCPRO.DVCCAM与Betacam-SX四种格式。这四种格式中,前3种采用的均是M-JPEG标准的帧内压缩场编码的方式,只有SONY公司推出的Batecam-SX格式采用了MPEG-2标准，但它采用的是MPEG-24:2:2PML而不是MPEG-24:2:0MPML。原因在于：<1>MPML较长的GOP结构(12

16、帧),决定了它的编辑精度只有12帧，远远不能满足节目制作的逐帧编辑要求，也令演播室的信号切换变得困难。当采用较小GOP的结构时，15Mbps的最大码速率又决定了不能产生所需的图像质量。<2>4：2：0的色度亚取样，决定了它在垂直方向上的色度精度只有水平方向的一半，虽然作为直接传输显示可以，但作为演播室节目制作,当有较多色度处理时就显得不足,有违原数字演播室4：2：2的初衷。同时也不能产生演播室对多代复制所要求的图像质量，多版复制只可到2代。为了适应演播室节目制作的要求,在Tektronix和SONY等众多公司的共同努力下,形成了MPEG-24:2:2PML。 MPEG-24:2:2

17、PML与MPEG-2MPML相比的主要不同点是:.色度4:2:2或4:2:0的亚取样。.最大比特率扩展到50Mbps。.编辑精度达到1帧（允许只有1帧的图像组GOP）。.可传送所有有效图像和场效应信号。.最大像素数:720样值/行512行/帧对于30帧/秒608行/帧对于25帧/秒.最高亮度样值率:11059200像素/秒.可向下兼容MPEG-2MPML .亮度和色度量化表:分开.大于512行图像的场重复增加两个限制:B帧不重复第一场.帧率应为25Hz.对编码器的要求较其他更高的类及级低，因而降低了生产成本。所有上述不同点都是为了适应较高码率和较高图像质量演播室节目制作的需求。 Batecam

18、-SX的一个GOP是由一个I帧与一个前后I帧预测数据差值的B帧构成,压缩比为10:1.视频数据率为18Mbps.这也正是Batecam-SX有别于另外三种数字录像机格式(50Mbps)及MPEG-2MPML(15Mbps)的特色之处。因为GOP的结构与大小与所选最终输出码率有很大关系.在50Mbps左右，较长的GOP对提高图像质量并没有太大效果,因此采用只有I帧(帧内压缩)的结构比较有利。而在15Mbps以下,只有较大的GOP才能保证图像质量,如MPEG-2MPML,GOP为12帧.而在15Mbps-30Mbps,较短的GOP结构有较好的效果.。如在20Mbps码率左右,IBGOP结构有很好的

19、效果.但是有得必有失,IBGOP的采用,使得编辑精度为2帧.为了实现零帧编辑,SONY公司Batecam-SX采用的方法是提前重放的DT头(提前量等于重放电路与记录电路延时量之和)将编辑点前的原录素材重放出来,经解压缩恢复成无压缩数字信号,然后在编辑点处与新素材的无压缩数字信号相接,再压缩记录. 上文我们已从理论上对MPEG-2标准进行了系统的概述,下面就以一个实例剖析一下MPEG-2视频编码器的物理实现.该编码器可完成MPEG-2MPML的压缩,对CCIR601PAL制(720*576像素/帧,25帧/s)图像进行实时恒定比特率传输模式(CBR)处理.整个编码系统如图6所示。主要功能是对输入

20、的PAL复合信号进行解码,输出YCbCr分量信号(4:2:2)。PAL解码器质量对整个处理系统的性能指标有非常重要的作用,并将影响最终的图像质量,在设计时常采用8倍色度负载波对输入的模拟信号进行采样,用数字梳状滤波器完成亮色分离。同时为了避免视频信源的抖动影响后面的压缩处理部分,在PAL解码器与前处理模块之间有一帧的帧存进行信号隔离.该模块原理如图7所示。主要功能:<1>给PAL解码器和I帧编码器提供像素接口控制信号,其参数受CPU控制。<2>对PAL解码器输出的视频信号进行必要的限幅,使其满足CCIR 601的要求(Y:16-235,C:16-240),并对Cb和Cr

21、信号做扣心(Coring)处理。<3>提供D1接口,可和数字视频设备直接相连。<3>在ES码流的目标码率较低时(如低于3Mbps),启动1个16阶的滤波器,对信号进行低通滤波,使其频带限制在3.5MHz左右,以降低解码恢复的图像中的块效应。<5>产生一个锯齿波视频测试信号,在CPU的控制下和输入信号进行切换。另外，为了适应不同的码组长度可使用截短的RS码，例如DVB和GA。GA采用RS（207，187，10），即分组码符号长度为207个，187个信号符号，可检出207-187=20个错，可纠正（207-187）÷2=10个错。该码就是从RS（255

22、，235，10）码截短而得到的，实际上可以看成255个符号中除207个有具体的值外，剩余的48个符号全部添零，可以用同样的电路进行编解码。在DVCPRO、DVCAM、Digital-S格式中视、音频数据的内码组为RS（85.77）码，检错能力为85-77=8byte，纠错能力为（85-77）÷2=4byte。视频数据的外码组为RS（149.138），在内码组指出错误位置时能纠错149-138=11byte。音频的外码组为RS（14.9）码，在内码组指出错误位置时14byte中有不多于14-9=5byte的错误都能得到纠正。而BetacamSX的视频内码组为RS（124.112）外码组

23、为RS（64.50），声音的内码组为RS（124.112）外码组为RS（14.6），其外码组的纠错能力明显高于其它格式，加上磁迹宽度又比其它格式宽了许多，即使一个GOP中有两根磁迹丢失，误码校正仍可正常进行，其误码校正数据块的组成如图三所示。三压缩方面的比较 在压缩方面DVCPRO、DVCAM和Digital-S采用类似于M-JPEG的DV方式（包括DCT、自适应量化、之字形读取游程与可变字长编码），M-JPEG是可以实现对视频图像的实时压缩和解压缩的帧内编码，故不必采取复杂的措施就能实现零帧精度的编辑，但是帧内信息冗余量太小，不能有过大的压缩比，否则会丢失一部分图像数据，影响图像质量，因此数

24、据率较大，不利于高速传输与存储。而SONY的BetacamSX采用MPEG-2压缩方式，即运动图像的帧间编码，它的主要机制是： 1消除时间冗余，即利用连续图像各帧之间的相关性以传输帧间小量的差值代替传输邻帧图像的全部信息。 2消除空间的冗余和基于人眼视觉特性的量化以压缩待传信息。 3利用游程零和变字长编码技术减少所传码率量。 基本的MPEG-2视频压缩系统是由帧内及帧间压缩共同组成的，如图四所示。压缩是从空间冗余的减少开始的，使用帧内部压缩便可以达到此目的。帧内部压缩使用有损和无损的信号处理方法来减少图象中的数据，它不使用任何来自之前或之后的图象信息。另外，在视频信号中还有一种冗余便是时间冗余

25、，对一个给定的图像顺序，帧与帧之间的图像内容通常只有微小的变化，这种帧间的相对图像内容位置的变化是帧间压缩的一个重要组成部分。帧间压缩一般是在未压缩的图象上进行的，是一个无损过程。在图四中稳定帧存储器有一幅完全解析度、完整数据的前一幅图象，在运动补偿区，最能预测当前帧的矢量被计算出来，已预测的帧存储器拥有一个根据前一帧和运动矢量所建立的预测的当前帧，输出的是预测当前帧跟实际的当前帧相减以后的差。如果没有运动或其它变化，当前帧便可得到完美的预测，差分帧的输出为0（极易压缩）；当前一帧跟后一帧有点不同时，差分帧仍有少量数据需要压缩。预测帧是从一个被DCT量化、解码后的图象发展而来的。在MPEG-2

26、系统中包含有三种帧结构，即：·I帧：只包含有帧内编码。·P帧：是从对I帧或其它P帧进行向前预测而得到的。·B帧：是从对I帧或其它P帧进行双向预测而得到的。 由于MPEG-2不仅消除了空间上的冗余，而且消除了时间上的冗余，因此使用MPEG-2可以在比较大的压缩比的情况下保持较好的图像质量，SONY的Betacam-SX采用10:1压缩，数据率为18Mb/S是现有数字录象机中最低的，有利于高速传输与存储。另外，MPEG-2还具有如下特色： 1输出码率流速率可适应同步或异步传输，无需固定； 2适应于逐行或隔行扫描系统； 3可用于4:2:0、4:2:2、4:4:4等亮、色

27、取样； 4按清晰度可以将图象分为4个等级，高级解码器可与低级解码器实现下兼容； 5按使用的工具和方法不同分为5种类型，即允许分层性编码，以保证不同的传输与接收要求。 MPEG-2的这种开放性的优点，决定了Betacam-SX将来可直接与众多公司生产的数字视频系统连接，进行数据交换、传输、制作而不需任何数字的转换设备，就连一贯采用M-JPEG数字压缩算法的非线形编辑领域也在积极向MPEG-2靠拢。Matrox、品尼高等一些非线形软、硬件主流产品厂商也已经宣布将于99年第一季度推出采用MPEG-2压缩算法的视频板卡及软件，无疑这其中受益的是Betacam-SX，而且Betacam-SX本身还推出了

28、一种盘带结合型录象机，为进行非线形编辑提供了更加优越的条件。另外，MPEG-2将是广播电视向全数字化过渡的最佳选择也逐步被大多数视频专业人士认可，所以美国以及西方各国普遍以MPEG-2标准作为数字HDTV图像压缩编码系统的核心，这无疑又为Betacam-SX的未来发展提供了一个优越性。四Betacam-SX的零帧编辑 最初的MPEG-2标准是为视频分配而设计的，为家庭提供一个可接受的图象质量，但是由于有限的数据率（最大为15Mb/S）和采用4:2:0取样，它的质量并不适合专业制作和后期制作，4:2:0的取样结构也不能达到演播室对多代复制所要求的图象质量，采用小型GOP（GroupOfPictu

29、re）结构和15Mb/S的数据率不能产生所需的图象质量，大型的GOP结构又令演播室的信号切换很困难也不能实现零帧编辑，因此很多的录象机采用帧内DCT处理，造成在整个节目到播出的链条中，节目制作是唯一不使用MPEG-2的部分。SONY公司在与大批厂商的共同努力下，顺应了发展的趋势率先推出采用MPEG-2MPML的改进型MPEG-24:2:2PML压缩算法的Betacam-SX，以两帧（I帧和B帧）作为一个GOP，既保证了广播级的图像质量，又实现了高稳定性以及高速的数据传输，但是最初我们还是有一点疑问，就是Betacam-SX如何实现零帧编辑，这恐怕也是很多家电视台在选择数字录象机时的疑虑之处。在

30、解释Betacam-SX如何实现零帧编辑之前，首先让我们先看一看其它采用帧内压缩的数字录象机是如何进行零帧编辑的。 在进行复制或编辑时，目前数字录象机通常都使用串行数字（SDI）或模拟接口相连接的。因为即使装配了传输压缩数字信号的接口（如：SDTI、QSDI等），那么它只能应用在复制操作中，而一旦需要叠加字幕或在系统使用时，也必须使用SDI或模拟接口。 Betacam-SX有两种类型的录象机，一种是盘带结合型的录象机，它主要利用硬盘进行编辑，然后在复制到磁带上；另一种是磁带录象机，即在磁带上完成编辑，下面分别描述一下它们是如何进行零帧编辑的。Betacam-SX盘带结合型录象机实现零帧编辑的关

31、键是装备了两个相同的MPEG解码器，原理如下：（如图六所示） 1磁带中的素材上载到硬盘上。 2编辑时，将记录在硬盘上的素材（压缩信号）转换为基带信号（不压缩信号），生成编辑决定表（EDL）。 3最后复制到磁带上。EDL会控制两个MPEG解码器读取硬盘上的素材，然后在经过MPEG编码器记录在磁带上。 Betacam-SX磁带录象机实现零帧编辑的关键是装备有超前重放系统（AdvancePBSystem）。超前重放系统主要是在录象机记录磁头之前安装了超前重放磁头（AdvancePBHead），它可以先将磁带上的Betacam-SX信号重放，经过解压缩处理转换为基带信号，再进行编辑，然后将完成的节目进

32、行压缩，最后记录在磁带上。但它的位置必须是十分精确,它超前的时间应该等于重放的时间与记录的时间之和。下面我们举例加以说明。（如图七所示）以装在一个盒子中的两个圆形来表示处于一个GOP中的两帧压缩图象，以一个三角形表示外部的信号（如：SDI），我们将看到Betacam-SX是如何利用超前重放系统实现零帧编辑的。 1重放超前重放磁头先读取记录在磁带上的Betacam-SX信号，即拿出一个装有两个圆形的盒子。 2解码经过解压缩等的处理后，Betacam-SX信号被转换为基带信号，即将盒子打开，圆形可以显示出来。 3编辑与外部的信号进行编辑制作（零帧精度），好比用一个三角形来替换一个圆形。 4记录将完

33、成的节目进行压缩，然后记录在磁带上，好比最后再用盒子将一个三角形和一个圆形包装起来放回去。由此可见，Betacam-SX完全能够实现零帧精度的编辑，但是在此还存在一个问题就是会影响编辑图象的质量，主要指以下两点：·为实现零帧编辑，编辑过程的数据必须是解压缩的，不能直接使用压缩信号编辑。多次解压缩与压缩过程会影响图象质量；·放机输出的解压缩信号在录机再次压缩时，如果出现I帧与B帧的交换（几率为50%）会产生图象质量下降。但一般情况下的编辑图象质量仍可以接受，至于多次编辑图像质量到底会有多大损失，是否仍在允许范围之内还有待于实践来证明。 另外，值得说明一点，为了实现零帧编辑Betacam-SX加装了超前重放磁头，从而形成了Betacam-SX的双磁头结构。当其中任何一个磁头发生故障时，录象机会产生报警信号，不能再实现零帧编辑，但在重放过程中仍可以应用另一个磁头正常运行