第6章 视频编码标准.ppt

1、第六章 视频编码标准简介,6.1 H26X 6.2 MPEG-x,6.1 H.26X,6.1.1 H.261 1.概述 早期的ISDN应用主要是视频电话和视频会议系统。这些对话应用需要在实时中进行编码和解码。在1984年, CCITT（ITU的前身）的研究组XV建立了一个专家委员会，为运动图片压缩拟订一个标准。 在五年工作之後，产生了CCITT推荐标准H.261，称为在 px64Kbit/s 音视服务的视频编解码（Video CoDec for Audiovisual Services at px64Kbit/s），并在1990年12月得到接受。,H.261,1.概述 北美采用此推荐标准并做了

2、细微修改。因为考虑的数据传送速率是 px64Kbit/s，所以推荐标准又被称为 px64。 ITU 研究组XV推荐标准H.261的开发是为了实时处理编码和解码。编码和解码的组合信号延迟最大值不能超过 150ms。如果使用这个标准的对话应用的端到端延迟太大，将会影响到主体交互性。,H.261,2.图象格式 不像JPEG, H.261定义一种非常精确的图像格式。在输入处图像刷新频率必须是30000/1001=29.97帧/s。在编码期间，可能用产生一个具有较低帧率（例如每秒10 15帧）的被压缩图像序列。图像不能够使用隔行扫描在输入处呈现到编码器。图像依照CCIR 601子抽样方案（2:1:1）被

3、编码成一个亮度信号 (Y) 和两个色度信号Cb 、Cr（此方式后来被MPEG采用）。,H.261,2.图象格式 二种分辨率格式, 每个定义的宽高比都是 4:3。所谓公共中间格式（CIF，Common Intermediate Format）定义一个352行的亮度成分, 每个成分具有288像素。依照每个2:1:1的需求，色度成份是用176行进行子抽样，每个有144像素。四等分CIF（QCIF，Quarter CIF）是所有成分分辨率的一半（即亮度为176 x 144个像素，其余为88 x 72个像素）。所有的 H.261实现必须能够编码和解码 QCIF。CIF是可选择的。,H.261,2.图象格

4、式 下面的例子说明编码用于一个ISDN B通道带宽的低QCIF分辨率图像需要的压缩率。在 29.97帧/s时，未压缩的QCIF数据流的传送速率是9.115Mbit/s。相同的帧率时，CIF未压缩的数据传送速率是36.45Mbit/s。待处理的图像应该在以每秒10帧的比率压缩。因此QCIF需要的压缩比约为1:47.5，容易被今天的技术支持。,H.261,2.图象格式 对於CIF，可能对应缩少大约六个ISDN B通道。H.261把Y及 Cb 和Cr 成分分为88像素块（block）。一个宏块（macro block）是组合4个Y矩阵块以及Cb 和Cr 成分各一块的结果。一个块组（A group o

5、f blocks ）由311个宏块组成。如此，一个 QCIF图像由3个块组组成，而一个CIF图像由12个块组组成。,3.H.261图象类型,Decoded Sequence,3. H.261 Codec,3. H.261 Codec,4.H.261 比特流,H.261比特流,* Picture Start Code - PSC 图象开始码 * Temporal Reference - TR 时间参考 * Picture Type - PType 图象类型 * Groups of Blocks - GOB 块组 Group Number - Grp 组号 Group Quantization V

6、alue - GQuant组量化值,6.1.2 H.263,1.概述 H.263标准出版在1996年，是一个替换H.261的ITU-T标准。H.263被设计来作低的位传输率传输。早期 的设计要求数据率在64Kbit/s之下，当然后来做了更正。作为ITU-T标准H.320系列（推荐用于在传统GSTN 电话网络上通过V.34调制解调器的实时声音、数据和视频) 的一部分，H.263适用于很宽的位率范围（不只是低位率应用）。,2. H.263图象格式,H.263支持五种分辨率。除了支持H.261的QCIF和CIF外，H.263也支援SQCIF、4CIF和16CIF。SQCIF 约为QCIF分辨率的一半

7、。4CIF和16CIF分别对应4和16倍CIF的分辨率。支持4CIF和16CIF意谓着codec无疑地能与其他的高位输率编码标准如MPEG等竞争 .,图像格式,3.H.263编码,H.263 包括四个可选可协商的参数以改进性能： 无限制的运动矢量模式； 基于语法的算术编码模式； 先进的预测模式； 前向和后向帧预测（类似于MPEG中的 P 和 B帧）。 借助改进的可协商的选项，H.263通常能使用少一半的位率而达到H.261一样质量的性质。,6.1.3 H.264,1.概述 H.264是ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像编码专家组(MPEG)的联合视频组(JVT)开发的

8、一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分。2002年6月JVT第5次会议通过了H.264的FCD板。H.264的压缩率比MPEG-2高23倍，1Mb/s速率的图像效果接近MPEG-2中DVD的图像质量，是目前手机电视中最为理想的信源压缩编码标准。,H.264,H.264是DPCM加变换编码的混合编码模式。它不用众多的选项，获得比H.263好得多的压缩性能；增强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用范围较宽，以满足不同速率、不同解析度及不同传输(存储)场合的需求；它的基本系统是开放的。,2.

9、H.264 编码,H.264 编码,H.264在编码框架上还是沿用以往的MC-DCT结构，即运动补偿加变换编码的混合结构，因而保留了先前标准的一些特点，如不受限制的运动矢量、对运动矢量的中值预测等。然而，由于它采用了以下技术，因而在性能上有了很大的提高。,H.264 编码,(1)帧内预测: 帧内预测编码就是用周围邻近的象素值来预测当前的象素值，然后对预测误差进行编码。这种预测是基于块的，对于亮度分量，块的大小可以在1616和44之间选择，1616块有4种预测模式，44块有9种预测模式；对于色度分量，预测是对整个88块进行的，有4种预测模式。除了DC预测外，其他每种预测模式对应不同方向上的预测。

10、,H.264 编码,(2)帧间预测: 更精细的预测精度 预测时所用块的大小可变 多参考帧 去块效应滤波器,H.264 编码,(3)熵编码 : H.264标准采用的熵编码有两种：一种是基于内容的自适应变长编码(CAVLC)与统一的变长编码(UVLC)结合；另一种是基于内容的自适应二进制算术编码(CABAC)。CAVLC与CABAC根据相临块的情况进行当前块的编码，以达到更好的编码效率。CABAC比CAVLC压缩效率高，但要复杂一些。,6.1.4H.265/HEVC和H.264/AVC区别,Video Codec Team,1. 编解码框架差异,H.265仍然采用混合编解码，编解码结构域H.264

11、基本一致，主要的不同在于： 编码块划分结构：采用CU、PU及TU的递归结构 并行工具：增加了Tile以及WPP等并行工具集以提高编码速度 基本细节：各功能块的内部细节有很多差异 滤波器：在去块滤波之后增加了SAO（sample adaptive offset）滤波模块,1. 编解码框架差异,在H.264基础上增加了SAO滤波器,2. 压缩性能比较,PSNR计算方式 H.265/HEVC HM-9.0 和H.264 JM-18.4 的BD-rate 比较： All Intra case: 22% Random Access case: 34% Low Delay case: 37%,3. 各模块

12、技术差异汇总,3.各模块技术差异汇总(续),4. 块划分结构,采用CU (Coding Unit)、PU(Prediction Unit)和TU(Transform Unit)的块划分结构 这三者之间的关系主要是以LCU为基本编码单元，在LCU递归划分为CU块，每个CU块可以划分成不同的PU块，同时也在CU的基础上可以进行TU块的递归划分,5.帧内预测模式,H.264帧内预测方向,H.265帧内预测方向,6.帧间预测,本质上H.265是在H.264基础上增加插值的抽头系数个数，改变抽 头系数值以及增加运动矢量预测值的候选个数，以达到减少预测残差的目的。 H.265与H.264一样插值精度都是亮

13、度到1/4，色度到1/8精度，但插值滤波器抽头长度和系数不同 H.265的增加了运动矢量预测值候选的个数，而H.264预测值只有一个,H.265空域候选项,H.265时域共同位置候选项,7.去块滤波,本质上H.265的去块滤波与H.264的去块滤波及流程是一致的，做了如下最显著的改变： 滤波边界： H.264最小到4x4边界滤波；而H.265适应最新的CU、PU和TU划分结构的滤波边缘，最小滤波边界为8x8， 滤波顺序：H264先宏块内采用垂直边界，再当前宏块内水平边界；而H.265先整帧的垂直边界，再整帧的水平边界,8.SAO滤波,SAO(sample adaptive offset)滤波其

14、实就是对去块滤波后的重建像素按照不同的模板进行分类，并对每一种分类像素进行补偿, 分类模板分为BO(Band offset)和EO(Edge offset)。,BO分类,EO分类模板：,9.Tile,Tile： 将图像分割为矩形区域。其主要目的增强并行处理性能。每个tile区域相当于一幅子图像，可以独立的以LCU块为单位进行编解码。一个Tile块为基本的并行单元，每个Tile为一个子码流,10.WPP,WPP: 全称为wavefront parallel process，以LCU行为基本的编码单位。以一行LCU块为基本的并行单元，每一行LCU为一个子码流,11.Dependent slice,

15、Dependent slice：该技术可以理解为对原先Slice NALU的数据划分，使其可以适合更加灵活的打包方式。Slice 和dependent slice 的示意图如下,12.其他相关技术,Transform_skip模式：transform_skip_flag，该模式不进行变换，但是要进行量化，该模式对文本桌面视频有较好效果 内部比特深度增加：为了保证中间预测、变换以及量化过程中的内部比特精度，以达到更好的压缩性能,6.2 MPEG-x,1.概述 MPEG开发的标准通常称为MPEG标准。到目前为止，已经开发和正在开发的MPEG标准有： MPEG-1：信息技术用于数据速率高达大约1.5

16、 Mbit/s的数字存储媒体的活动图像和伴音编码（Information technology - Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s），由五个部分组成，标准号ISO/IEC 11172。 MPEG-2：信息技术活动图像和伴音信息的通用编码（Information technology - Generic coding of moving pictures and associated audio information），由九个部分

17、组成，标准号ISO/IEC 13818。,1.概述,MPEG-4：甚低位率音视编码（Very-low bitrate audio-visual coding），由八个部分组成，标准号ISO/IEC 14496。 MPEG-7：多媒体内容描述接口（Multimedia Content Description Interface），由七个部分组成，标准号ISO/IEC 15938。 MPEG-21：多媒体框架（Multimedia Framework），这是一个正投入开发的标准。2001年9月通过技术报告。已开始了四个部分，标准号ISO/IEC 21000。,2.MPEG1,(1)Part 1:

18、Systems 第1部分“系统”涉及了数据流组合的问题。数据流从符合MPEG-1标准的视频和音频组件出来，携带着定时信息，需要将这些数据流组合，形成一个单一的数据流。这是一个重要的功能，因为一旦组合成一个单一的流，数据才能适合数字储存或传输。,MPEG1,2.MPEG1,(2)Part 2: Video 第2部分“视频”规定了一种编码的表示，可用于将625行和525行两种视频序列压缩成大约1.5Mbps位率。第2部分开发主要用于操作存储介质，这些介质提供大约1.5Mbps连续传输速率。当然，也可更广泛地使用第2部分，因为它采用的是通用的方法。,2.MPEG1,(3)Part 3: Audio

19、第3部分“音频”规定了一种可以用于压缩音频序列（包括单声和立体声两种）的编码表示。,2.MPEG1,(4)Part 4: Compliance testing 第4部分“依从测试”详细说明如何测试比特数据流和解码器是否满足MPEG-1前三个部分(Part1，2和3)中所规定的要求。这些测试可像下面那样使用： 编码器制造商和用户，验证编码器是否产生合理的位流。 解码器制造商和用户，验证解码器是否满足第1、2和3 部分关于解码器能力规定的要求。 应用，验证所得到的位流特性是否满足该应用要求。例如已编码的图片尺寸是否超过该应用允许的最大值。,2.MPEG1,(5)Part 5: Software s

20、imulation 第5部分“软件仿真”从技术上看不是一个标准，而是一个技术报告，给出了用软件实现MPEG-1标准前三个部分的结果。,3.MPEG2,MPEG-2标准现在由9部分及若干勘误和修正案组成 (1)系统 MPEG-2的第1部分涉及了视频、音频以及其他数据的基本流组合成单一或多个流，以便适合储存或运输的问题。规定了两种形式的流：程序流（program stream）和运输流（transport stream）。每一种流都被优化以满足各种不同应用的要求。,MPEG2,程序流类似于MPEG-1的系统多路复用，是将一个或者多个有共同时间基的已包装基本数据流（PES，Packetised El

21、ementary Streams）组合成单个流的结果。程序流用在出现错误相对比较少的环境下，适合使用软件处理的应用。程序流包长度可能可变且长度相对大些。 运输流将一个或者多个有独立时间基的已包装基本流（PES，Packetised Elementary Streams）组合成单个流。共享一个共同时间基的基本流形成程序流。运输流用在出现错误相对比较多的环境下，例如在有损失或者有噪声的存储或传输系统中。运输流包188个字节长。,3.MPEG2,3.MPEG2,(2) Part 2- Part 5 MPEG-2第2部分建立在MPEG-1标准强劲的视频压缩能力上，提高了很广范围的编码工具。第3部分是M

22、PEG-1音频的后向兼容的多声道扩展。第4和5部分与MPEG-1的第4和5部分相对应。第7部分是多声道声音编码算法标准 。第8部分原计划用于采样精度为10比特的视频编码。由于工业界缺乏兴趣而终止。,3.MPEG2,(3)DSM-CC MPEG-2第6部分数字存储媒体命令和控制（DSM-CC，Digital Storage Media Command and Control）扩展，是一组协议，提供了控制功能和操作规范，用于管理MPEG-1和MPEG-2的数据流。这些协议可支持在单机和异构网络(即用类似设备构造但运行不同协议的网络)两种环境下的应用。在DSM-CC模型中，服务器(server)和客

23、户器(client)都被认为是DSM-CC网络的用户(user)，DSM-CC定义了一个称为会话和资源管理SRM(Session and Resource Manager)的实体，用来集中管理网络中的会话和资源。,MPEG2 DSM-CC参考模型,3.MPEG2,(4)RTI MPEG-2第9部分是系统解码器实时接口扩展规范，这是与运输流(Transport Stream)解码器的实时接口（RTI，real-time interface）标准，它可以用来适应来自网络的载送运输流。第10部分是DSM-CC的一致性测试。,MPEG2 RTI参考模型,4.MPEG4,（1）组成 第 1 部分：系统（ Systems）； 第 2 部分：视频（ Visual）； 第 3 部分：音频（ Audio ）； 第 4 部分：一致性测试（ Conformance Testing ）； 第 5 部分：参考软件（ Reference Software）；,4.MPEG4,（1）组成 第 6 部分：递交多媒体集成框架（ Delivery Multimedia Integration Framework (DMIF) ）； 第 7 部分：优化的 MPEG-7 工具软件（