第六章-视频缩编码标准及编码技术

主要内容6.1视频压缩标准6.2视频压缩标准比照6.3MPEG视频编码标准算法6.4MPEG音频编码标准算法6.5H.26X系列压缩标准简介多媒体信息技术20216.1视频编码标准〔1〕多媒体信息技术20216.1视频编码标准〔2〕H标准H.261H.262H.263H.264对应MPEG标准~MPEG-1=MPEG-2~MPEG-4=MPEG-4/AVC发布时间1993.31995.71998.22003.5主要应用可视电话与视频会议HDTV与DVD网络与移动视频DTV、网络与移动视频、蓝光盘多媒体信息技术2021视频压缩标准开展历史ITU:ISO/IEC:H.261H.262H.263H.263+H.264MPEG1MPEG2MPEG4(Part2)MPEG7MPEG21MPEG4(Part10)多媒体信息技术20216.1.1MPEG视频编码标准〔1〕多媒体信息技术2021MPEG-1标准

MPEG-1即“用于数字存储媒体运动图像及其伴音速率为1.5Mbps的压缩编码〞,于1992年正式出版。MPEG-1的任务主要是，将视频信号及其伴音以可接收的重建质量压缩到约1.5Mbps的码率，并复合成一个单一的MPEG位流，同时保证视频和音频的同步。MPEG-1是VCD视频的压缩标准。多媒体信息技术2021MPEG-1标准分4个局部①MPEG系统：定义音频、视频及有关数据的同步；②MPEG视频：定义视频数据的编码和重建图像所需的解码过程，亮度信号分辨率为360×240，色度信号分辨率为180×120；③MPEG音频：定义音频数据的编码和解码；④一致性测试。多媒体信息技术2021MPEG-2标准MPEG-2标准于1994年公布，包括系统局部、视频局部、音频局部及符合性测试局部。MPEG-2编码标准希望囊括数字电视、图象通信各领域的编码标准，MPEG-2按压缩比大小的不同分成五个档次(profile)，每一个档次又按图象清晰度的不同分成四种图象格式，或称为级别(level)。五个档次四种级别共有20种组合，但实际应用中有些组合不太可能出现，较常用的是11种组合。MPEG-2是DVD视频的压缩标准。MPEG-2增加了许多MPEG-1所没有的功能：例如增加了隔行扫描电视的编码，提供了位速率的可变性能(scalability)功能。MPEG-2要到达的最根本目标是：位速率为4～9Mbit/s，最高达15Mbit/s。多媒体信息技术2021MPEG-4标准多媒体信息技术2021MPEG-7标准MPEG-7是“多媒体内容描述接口〞,(MultimediaContentDescriptionInterface)。准确说来，MPEG-7并不是一种压缩编码方法，继MPEG-4之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。MPEG7就是针对这个矛盾的解决方案。其目标就是产生一种描述多媒体信息的标准,并将该描述与所描述的内容相联系,以实现快速有效的检索。只有首先解决了多媒体信息的标准化描述后,才能更好地实现信息定位。该标准不包括对描述特征的自动提取。多媒体信息技术2021MPEG-7标准检索的媒体材料可包括静态图像、图形、3D模型、声音、话音、电视以及在多媒体演示中它们之间的组合关系。在某些情况下，数据类型还可包括面部特性和个人特性的表达。

MPEG-7标准可以独立于其他MPEG标准使用,MPEG-7的适用范围广泛,既可以应用于存储,也可以用于流式应用,它还可以在实时或非实时的环境下应用。多媒体信息技术2021MPEG-21标准多媒体信息技术20216.1.1MPEG视频编码标准〔2〕种类功能编码格式MPEG-1低分辨率数字视频编码标准（数字存储的运动图象及伴音：VCD,MP3、视频监控等）DCT+视觉加权量化+熵编码+运动补偿+帧间预测CIF：25或30帧/秒，288行×360列或240行×352列、8位量化，低于1.5Mb/sMPEG-2高分辨率数字视频编码标准（运动图象及伴音：DVD、HDTV似MPEG-1低：352×288×29.79、主：720×480或576×29.79或25、高-1440：1440×1080或1152×30或25。1.5~35Mb/sMPEG-4分辨率可变的视听对象编码（标准音视频对象，Internet,交互视频专业视频,移动通信视音频对象、分块/分级/分层、基于内容和对象的编码支持各种不同的分辨率，8Kb/s~35Mb/sMPEG-7多媒体内容描述标准（为各种类型的多媒体信息规定一种标准化的描述方法：基于内容的多媒体信息检索，并针对某种特殊的应用，支持尽可能广泛的应用）MPEG-21多媒体框架标准（不同多媒体系统的集成和应用）多媒体信息技术20216.1.1MPEG视频编码标准〔3〕分块MPEG-1视频编码器框架多媒体信息技术20216.1.2H.26x系列标准及其应用〔1〕多媒体信息技术20216.1.2H.26x系列标准及其应用〔2〕H.262——运动图像和伴音信息的通用编码(Informationtechnology-Genericcodingofmovingpicturesandassociatedaudioinformation:Video)。ITU-T于1990年成立了“ATM视频编码专家组〞，负责制定适用于B-ISDN信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建议草案〔MPEG-2〕，用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。该标准向下兼容，能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩。1995年7月通过，与MPEG-2共同作为ISO/IEC13818标准〔HDTV、DVD〕格式：低—352×288主—720×480或576高-1440—1440×1080或1152高—1920×1080或115225或29.97帧/秒编码：同H.261多媒体信息技术20216.1.2H.26x系列标准及其应用〔3〕多媒体信息技术20216.1.2H.26x系列标准及其应用〔4〕多媒体信息技术20216.1.2H.26x系列标准及其应用〔5〕多媒体信息技术20216.1.2H.26x系列标准及其应用〔6〕MPEG标准主要用于光存储、播送和流媒体，H.26x标准主要用于网络和通信。除了视频编码标准本身之外，H.26x还有配套的系统、音频、控制等相关标准。类别系统视频音频混合控制数据旧标准H.320H.261G.723H.221H.241无新标准H.324H.263G.723.1H.223H.246T.120多媒体信息技术2021视频压缩标准比照H.261p×64kb/s视频编码标准

时间1990年12月输入176×144(QCIF)352×288(CIF)帧速率可变<=30输出p×64kb/s(p=1,2,…,32)压缩率20~30小于MPEG1压缩算法运动补偿帧间预测与分块DCT相结合的混合编码应用可视电话、视频会议等对称应用多媒体信息技术20216.2视频压缩标准比照〔1〕MPEG1数据传输速率为1.5Mb/s的数字存储媒体运动图像及其伴音编码标准时间1993年8月输入视频：352×240×30，352×288×25音频：32、44.1、48kHz的线性PCM输出1.5Mb/s、32-384Kb/s(音频)压缩率20~30压缩算法运动补偿帧间预测（单向预测＋双向预测）＋DCT应用VCD、MP3、局域网视频传输多媒体信息技术20216.2视频压缩标准比照〔2〕MPEG2H.262运动图像及其伴音通用编码标准

时间1994年11月输入352×288～1920×1152采用频率为16、22.05、24、32、44.1、48kHz的线性PCM、支持5.1声道

输出1.5－80Mb/s、8-640Kb/s(音频)压缩率30－40压缩算法运动补偿帧间预测（单双向预测）＋DCT、可伸缩性、前向兼容应用DVD、DVB、HDTV多媒体信息技术20216.2视频压缩标准比照〔3〕H.263H.263+甚低码率通信的视频编码标准时间1996年3月、1998年1月输入QCIF、CIF、128×96(SubQCIF)、704×576(4CIF)、1408×1152(16CIF)输出30kb/s～压缩率H.263+>H.263>MPEG2压缩算法运动补偿帧间预测（单双向预测）＋DCT局部算法改进可伸缩性应用通用电话交换网、局域网的视频通信多媒体信息技术20216.2视频压缩标准比照〔4〕MPEG4(Part2)MPEG4Visual甚低码率活动图像及其伴音编码标准时间1999年输入≧176×144的多种分辨率格式输出4.6Kb/s～64Kb/s压缩率≧100压缩算法基于对象的新一代编码技术，注重交互性，即可包含自然对象，又可包含人工合成对象应用可应用范围很广、目前多用于因特网视频传输、流媒体应用多媒体信息技术20216.2视频压缩标准比照〔5〕H.264MPEG4(Part10)MPEG4AVC时间2003年5月输入多种分辨率格式输出压缩率压缩率最高的视频压缩标准，比MPEG4Visual节约50％的码率压缩算法基于传统框架的混合编码系统，只是做了局部优化。更注重编码效率和可靠性应用视频广播、视频通信和存储媒体（CDDVD）等多种应用多媒体信息技术20216.3MPEG视频编码标准算法前面已经介绍了视频的数字化和MPEG与H系列的国际编码标准，下面具体介绍MPEG-1/2和MPEG-4的视频压缩算法，以及它们的伴音编码方法MPEG-1&2的视频压缩算法MPEG-4视频编码MPEG音频编码多媒体信息技术20216.3.1MPEG-1&2的视频压缩算法〔1〕视频数据压缩利用的各种特性和采用的方法归纳在下页表中视频本身在时间上和空间上都含有许多冗余信息、图像自身的构造也有冗余性、利用人的视觉特性也可对图像进行压缩(视觉冗余)MPEG-Video图像压缩方法可以归纳成两个要点：①在空间方向上，图像数据压缩采用JPEG压缩算法来去掉冗余信息②在时间方向上，图像数据压缩采用运动补偿(motioncompensation)算法来去掉冗余信息多媒体信息技术20216.3.1MPEG-1&2的视频压缩算法〔2〕视频压缩利用的各种冗余信息多媒体信息技术20216.3.1MPEG-1&2的视频压缩算法〔3〕MPEG定义的三种图像为了在保证图像质量根本不降低而又能够获得高的压缩比，MPEG专家组定义了三种图像：帧内图像I(intra)，预测图像P(predicted)和双向预测图像B(bidirectionallyinterpolated)，典型的排列如以下图所示这三种图像将采用三种不同的算法进行压缩一个内帧是一个随机访问点。B图像不能作为其它图像的参考帧。多媒体信息技术2021帧内图像I的压缩编码算法帧内图像I不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG的压缩算法，框图如下多媒体信息技术2021预测图像P的压缩编码算法预测图像需要过去的图像帧来进行预测编码预测图像的编码是以图像宏块(macroblock)为根本编码单元，一个宏块定义为I×J像素的图像块，一般取16×16预测图像P使用两种类型的参数来表示：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值另一种参数是宏块的移动矢量多媒体信息技术2021求解差值的方法假设编码图像宏块MPI是参考图像宏块MRJ的最正确匹配块，它们的差值就是这两个宏块中相应像素值之差对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到Y，Cr和Cb分量值，然后仿照JPEG压缩算法对差值进行编码，计算出的移动矢量也要进行霍夫曼编码多媒体信息技术2021预测图像P的压缩编码算法框图多媒体信息技术2021移动矢量的算法在求两个宏块差值之前，需要找出编码图像中的预测图像编码宏块MPI相对于参考图像中的参考宏块MRJ所移动的距离和方向，这就是移动矢量(motionvector)多媒体信息技术2021双向预测图像B的压缩编码算法双向预测图像B的压缩编码框图如以下图所示具体计算方法与预测图像P的算法类似多媒体信息技术2021视频的结构MPEG编码器算法允许选择I图像的频率和位置。I图像的频率是指每秒钟出现I图像的次数，位置是指时间方向上帧所在的位置。一般情况下，I图像的频率为2MPEG编码器也允许在一对I图像或者P图像之间选择B图像的数目。I图像、P图像和B图像数目的选择依据主要是根据目的内容例如，对于快速运动的图像，I图像的频率可以选择高一些，B图像的数目可以选择少一点；对于慢速运动的图像，帧内图像I的频率可以低一些，而B图像的数目可以选择多一点。此外，在实际应用中还要考虑媒体的速率多媒体信息技术2021MPEG电视帧编排一个典型的I、P、B图像安排如以下图所示编码参数为：帧内图像I的距离为N=15预测图像P的距离为M=3多媒体信息技术2021三种图像的压缩后的典型值I、P和B图像压缩后的大小如下表所示，单位为比特从表中可以看到，I帧图像的数据量最大，而B帧图像的数据量最小多媒体信息技术20216.3.2MPEG-4视频编码MPEG-4Video编码算法支持由MPEG-1和MPEG-2提供的所有功能，包括对各种输入格式下的标准矩形图像、帧速率、位速率和隔行扫描图像源的支持MPEG-4Video算法的核心是支持基于内容(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码MPEG-4Video还提供管理这些电视内容的最根本方法多媒体信息技术2021一．视频对象平面的概念为了实现预想的基于内容交互等功能，MPEG-4Video引进了一个叫做“视频对象平面(VideoObjectPlane，VOP)〞的概念。MPEG-4Video不像MPEG-1/-2Video那样把视频都认为是一个矩形区，而是假设每帧图像被分割成许多任意形状的图像区，每个区都有可能覆盖描述场景中感兴趣的物理对象或者内容，这种区被定义为视频对象平面VOP。多媒体信息技术2021普通MPEG-4编码器和MPEG-4VLBV核心编码器上图：MPEG-4核心编码器以下图：扩展MPEG-4核心编码器多媒体信息技术2021视频对象VO与视频对象层VOL编码器输入的是任意形状的图像区，图像区的形状和位置也可随帧的变化而改变。属于相同物理对象的连续的视频对象平面(VOP)组成视频对象(VideoObjects,VO)。如上图中的没有背景图像的演讲人MPEG-4可单独对属于相同视频对象(VO)的视频区(VOP)的形状、移动(motion)和纹理(texture)信息进编码和传送，或者把它们编码成一个单独的视频对象层(VideoObjectLayer，VOL)此外，需要标识每个视频对象层(VOL)的信息也包含在编码后的位流(bitstream)中，这些信息包括各种视频对象层(VOL)的视频在接收端应该如何进行组合，以便重构完整的原始图像序列。这样就可以对每个视频对象平面(VOP)进行单独解码，提供了管理视频序列的灵活性多媒体信息技术2021MPEG-4Video的编码算法以下图描绘了MPEG-4Video的编码算法，用来对矩形和任意形状的输入图像序列进行编码这个根本编码算法结构图包含了移动矢量(motionvector)的编码，以及以离散余弦变换为根底的纹理编码MPEG-4采用基于内容编码方法的一个重要优点是，使用适宜的和专门的基于对象的移动预测工具(object-basedmotionpredictiontools)可以明显提高场景中某些视频对象的压缩效率多媒体信息技术2021MPEG-4Video编码器的算法方框图多媒体信息技术2021MPEG-4电视序列编码举例多媒体信息技术2021三．视频分辨率可变编码“视频分辨率〞是指视频的空间分辨率(一帧图像的行列数之积的像素数)和时间分辨率(每秒帧数)设置视频分辨率可变编码功能的一个重要目的是为了能够灵活支持性能不同(例如不同带宽)的各种电视接收或显示设备，或者支持要求浏览电视数据库等方面的应用。另一个目的是提供分层次的视频数据位流，这样可按应用所要求的先后次序进行传输MPEG-2也有视频分辨率可变编码功能，但它是以图像的帧为根底进行编码。而MPEG-4视频分辨率可变编码是以任意形状的视频对象平面(VOP)为根底进行编码多媒体信息技术2021对那些没有能力或者不愿意接收高分辨率图像的接收器，它可以接收分辨率比较低的视频，降低空间分辨率或者时间分辨率意味降低图像的质量空间和时间分辨率可变性(scalability)的实现方法类似以下图描述了多尺度(multiscale)视频编码方案。该方案提供三个层次的编码/解码，每一层都支持在不同空间分辨率下进行编码/解码从图中可以看到，多种空间分辨率的实现是通过降低输入电视信号的采样率来获得的多媒体信息技术2021VOP空间分辨率可变编码方法多媒体信息技术20216.4MPEG音频编码最些年来，人类在利用自身的听觉系统的特性来压缩声音数据方面取得了很大的进展，先后制定了MPEG-1Audio,MPEG-2Audio和MPEG-2AAC等标准对于要求深入钻研的读者，请参考有关文献和网页多媒体信息技术2021MPEG-1Audio音感编码与前面所介绍的波形声音压缩编码(如ADPCM)不同，其对声音数据压缩编码不是依据波形本身的相关性和模拟人的发音器官的特性，而是利用人的听觉系统的特性来到达压缩声音数据的目的，这种压缩编码称为感知声音编码(perceptualaudiocoding)，简称为音感编码MPEG-1/2Audio和MPEG-2AAC等视频伴音标准都采用了音感编码现在十分流行的MP3采用的就是MPEG-1AudioLayerIII编码。多媒体信息技术2021感知与编码多媒体信息技术2021感知子带编码的简化算法框图多媒体信息技术2021DolbyAC-3压缩编码算法框图多媒体信息技术2021MPEG-1Audio编码MPEG-1Audio的编码对象是20～20000Hz的宽带声音，采用的是感知子带编码。具体思想是：先把时域中的声音数据变换到频域，再对频域内的子带分量分别进行量化和编码，然后根据心理声学模型确定样本的精度，从而到达压缩数据量的目的为了使量化所带来的失真对于人耳来说是感觉不到，在MPEG标准的制定过程中，作了大量的主观测试实验。实验说明，采样频率为48kHz、样本精度为16位的立体声音数据压缩到256kb/s时，即在6:1的压缩率下，即使是专业测试员也很难分辨出是原始声音还是编码压缩后的声音多媒体信息技术2021MPEG-1Audio压缩算法MPEG