h.264演示文稿.ppt

1、h.264 h.264 视频编码标准视频编码标准 提纲 1 视频压缩编码技术 2 编码基本原理 3 h.26x视频编码标准 4 h.264/avc11、视频压缩编码技术 根据采用的信源模型分： 基于波形的编码 把预测编码、变换编码组合起来的基于块的混合编码方法 itu-t发布的第一个数字视频标准h.261、h.263、h.264，及mpeg-1、mpeg-2、mpeg4 基于内容的编码 先把视频帧分成对应于不同物体的区域，然后分别对其进行编码。 mpeg-422、编码基本原理 1、预测编码：取像素预测值与实际值之差。（同一幅图像的邻近像素之间有着相关性，发生突变的概率很小，且同帧图像中邻近行之

2、间对应位置的像素之间也有较强相关性） 帧内预测编码 帧间预测编码 2、变换编码 dct变换 3、熵编码 变长编码（哈夫曼编码)、算术编码33、h.26x视频编码标准 1、 h.261 2、 h.26343.1、h.261 h.261是itu-t为在综合业务数字网(isdn)上开展双向声像业务(可视电话、视频会议)而制定的，速率为64kb/s的整数倍。 h.261只对cif（公共中间层）和qcif两种图像格式进行处理：发送方先把彩电制式转换成cif格式，经h.261编码后，再由cif格式转换到接收方彩电制式。 cif : 352x288, progressive, 4:2:0；qcif: 176

3、x144, progressive, 4:2:0 每帧图像分成图像层、宏块组(gob)层、宏块(mb)层、块(block)层来处理。5 详细制定了视频编码的各个部分：运动补偿的帧间预测、dct变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等。63.2、h.263 h.263是最早用于低码率视频编码的itu-t标准。 h.263是itu-t为低于64kb/s的窄带通信信道制定的视频编码标准。它是在h.261基础上发展起来的，其标准输入图像格式可以是s-qcif、qcif、cif、4cif或者16cif的彩色4 2 0亚取样图像。h.263与h.261相比采用了半象素的运动补偿，并增加了

4、4种有效的压缩编码模式。74、h.264/avc 简介 编解码 名词解释 编码格式 编码基本原理 应用84.1 简介 h.264是itu-t的视频编码专家组（vceg）和iso/iec的活动图像编码专家组（mpeg）的联合视频组（jvt：joint videoteam）开发的一个新的数字视频编码标准，它既是itu-t的h.264，又是iso/iec的mpeg-4的第10部分。 9 h.264用大运算量来换取高压缩率、高画质用大运算量来换取高压缩率、高画质 超高压缩率，其压缩率为mpeg-2的2倍以上，mpeg-4的1.5至2倍。 h.264才标准化，运算顺序还有改善的空间。104.2 编解码

5、规定了一个编了码的视频比特流的句法，和该比特流的解码方法。 编解码器和基于以前标准的编解码器主要不同在于功能细节。 视频内容的变化，有时空间细节很多，有时大面积平坦，采用自适应技术自适应技术。 信道在环境恶劣下多变，要求采取相应自适应自适应方法来对抗。114.2.1 编码器功能块组成并没有什么区别12 采用变换与预测的混合编码方法，输入的帧或场fn以宏块为单位处理 按帧内或帧间预测方法处理 如果采用帧内预测编码，其预测值由当前片中已编码的参考图象经运动补偿（mc）后得出。131、预测值pred和当前块相减后，产生一个残差块dn，经块变换、量化后产生一组量化后的变换系数x ,再经熵编码，与解码所

6、需的一些边信息一起组成一个压缩后的码流，经nal供传输和使用。2、实现重建图像功能。使残差图像经反量化、反变换后得到的dn与预测p相加，得到ufn。再经环路滤波器去除编码解码环节中产生的噪声。滤波后输出fn即为重建图像（可用作参考图像）。144.2.2 解码器15 帧间预测解码步骤 由编码器nal输出的压缩后比特流，经熵解码得到量化后的一组变换系数x，再经反量化、反变换得到残差dn。 fn-1经mc后得到pred（与编码器中的相同） dn与pred相加产生ufu，再经滤波得到重建图像。164.3 名词解释 片 一个视频图像可编码成一个或多个片，每片包含整数个宏块（mb）。设片的目的是为了限制误

7、码的扩散与传输，故相互间应保持独立。 片组:是一个编码图像若干个mb的一个子集，可包含一个或若干个片。 一个片组中，每片的mb按光栅扫描次序进行编码。 还有一种片组，叫灵活的宏块排序(fmo)。是指将一幅图像中的宏块分成几个组，分别独立编码，通过设置宏块次序映射表(mbamap)来任意地指配宏块到不同的片组。17档次和级 基本档次 利用i片和p片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（cavlc）。主要用于可视电话、会议电视、无线通信等实时视频通信。 主要档次 支持隔行视频，采用b片的帧间编码和采用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码（caba

8、c）。主要用于数字广播电视与数字视频存储。 扩展档次 支持码流之间有效的切换（sp和si片）、改进误码性能（数据分割），但不支持隔行视频和cabac ，主要应用于流媒体中。1819冗余片片组与aso（任意片次序）cavlci片p片加权预测b片数据分割sp和si片cabac接口扩展档次基本档次主要档次 冗余片方法 前边提到了当使用无反馈的系统时，就不能使用参考帧选择的方法来进行错误恢复，应该在在编码时增加冗余的片来增强抗误码性能编码时增加冗余的片来增强抗误码性能。20 数据分割dp 组成片的编码数据存放在3个独立的dp中。 分割a：片头和片中每个宏块头的数据 分割b：帧内和si片宏块的编码残差数

9、据 分割c：帧间宏块的编码残差数据 214.4编码格式 视频编码层（vcl） 负责高效的视频内容表示 vcl数据即编码处理后的输出，它表示被压缩编码后的视频数据序列 网络提取层（nal） 在vcl数据传输或存储之前，这些编码的vcl数据先被映射或封装进nal单元中。22234.4.1 网络提取层（nal） nal以nalu为单元来支持编码数据在基于分组交换技术网络中的传输。网络层和传输层的rtp封装只针对基于nal单元本地nal接口。 分组网络中：每个nal单元以独立的分组传输，在解码之前重新排序。 电路交换环境中：传输之前须在每个nal单元之前加上起始前缀码，使解码器能够找出nal单元的起始

10、位置。24nal头rbspnal头rbsp nal头 ：nalu 类型，用bit代表nalu 中32种不同类型特征。 ：用于重构过程中标记一个nal单元的重要性，如为时表示此nalu 没有用于预测；高于，表示用于无漂移重构，且值越高，丢失此nalu 的影响越大。(bit) ：用于适应不同种类的网络环境。默认为，当网络识别到单元中存在比特错误时置为。（bit）25rbsp序列sps：序列参数集，针对一连续视频序列的参数。sei：序列增强信息。pps：图像参数集，对应一个序列中某幅或几幅图像图像定界符：视频图像的边界。poc：图像序列号，标识图像的播放顺序。26spsseippsi片p片图像定界符

11、p片4.5 特征 帧内预测 帧间预测 整数变换 熵编码 sp/si片27284.5.1 帧内预测 帧内预测编码就是用周围邻近的象素值来预测当前的象素值，然后对预测误差进行编码。 对i帧帧的编码是利用空间相关性而非时间相关性而实现的。 预测块预测块是基于已编码重建块和当前块形成的。 编码模式 对于亮度分量，块的大小可以在1616和44之间选择，1616块有4种预测模式，44块有9种预测模式。 对于色度分量，预测是对整个88块进行的，有4种预测模式，类似于1616 亮度块预测模式。29 i_pcm编码模式，编码器直接传输图像像素值，而不经过预测和变换。 允许编码器精确地表示像素值 提供表示不规则图

12、像内容的准确值，而不引起重大的数据量增加。 严格限制宏块解码比特数，但不损害编码效率 参考预测块左上方或上方的已编码块的邻近像素点，被引入空间域空间域。30 44亮度预测模式31九种模式：32模式0由a、b、c、d垂直推出相应像素值模式1由i、j、k、l水平推出相应像素值模式2由ad及il平均值推出所有像素值模式3由45方向像素内插得出相应像素值模式4由45方向像素内插得出相应像素值33 帧内预测模式信号化 帧内预测以绝对误差和（sae）为标准选取最佳预测模式。 传送预测模式给解码器。344.5.2 帧间预测仍旧使用运动估计和运动补偿消除时间冗余仍旧使用运动估计和运动补偿消除时间冗余 。 预测

13、时所用块的大小可变（从预测时所用块的大小可变（从1616到） 由于基于块的运动模型假设块内的所有象素都做了相同的平移，在运动比较剧烈时或者在运动物体的边缘处，这一假设会与实际出入较大，从而导致较大的预测误差，这时减小块的大小减小块的大小可以使假设在小的块中依然成立。可以使假设在小的块中依然成立。 小的块所造成的块效应相对也小，一般来说小的块可以提高预测的效果。3536h.264一共采用了7种方式对一个宏块进行分割。每种方式下块的大小和形状都不相同，这就使编码器可以根据图像的内容选择最好的预测模式。37与仅使用1616块进行预测相比，可以使码率降低15以上。大的分割尺寸适合于平坦区域，小尺寸适合

14、于多细节区域。 亚像素运动矢量的使用（更精细的预测精亚像素运动矢量的使用（更精细的预测精度）度） 运动矢量运动矢量 由于活动图像邻近帧中景物存在一定的相关性，可将其分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，得出两者的空间位置相对偏移量。38 在h.264中，亮度分量的运动矢量使用1/4像素精度，色度分量为1/8像素精度。亚像素位置的亮度和色度像素并不存在于参考图像中，需利用邻近已编码点进行内插而得。 如此精细的预测精度，较之整数精度可以使码率降低20以上。3940 多参考帧多参考帧 h.264 编码标准与以往标准的最大不同：在运动估计中采用多参考预测帧来提高预测精度。 h

15、.264支持多参考帧预测(最多5个) 。这适用于视频序列中含有周期性运动的情况。 较之只使用一个参考帧，使用5个参考帧可以使码率降低510。4142 去块效应滤波器去块效应滤波器 其作用是消除经反量化和反变换后重建图像中由于预测误差产生的块效应块效应，即块边缘处的象素值跳变。 基于块的帧内和帧间预测残差的dct变换的系数量化过程相对粗糙，因而反量化过程恢复的变换系数带有误差。 运动补偿预测中的运动补偿块可能是从不同帧的不同位置上的内插点数据复制而来，运动补偿块的匹配不可能是绝对准确的。43 分类 后置滤波器 只处理编码环路外显示缓冲区的数据。 环路滤波器 处理编码环路中的数据，经过滤波后的图像

16、将根据需要放在缓存中用于帧间预测帧间预测。注意：对于帧内预测帧内预测，使用的是未经过滤波的重建图像。 h.264中的去块效应滤波器能够根据图像内容做出判断，只对由于块效应产生的象素值跳变进行平滑，而对图像中物体边缘处的象素值不连续给予保留，以免造成边缘模糊。444.5.3 整数变换 h.264对帧内或帧间预测的残差进行离散余弦变换dct编码，并改变为近似的整数变换。 如把dct正交变换时用的系数1，0.414变成2，1；cos（/8），cos （/8）2变成1/（5）1/2，1/5。45 优势 使原来必须用浮点运算进行的余弦函数运算，可用整数运算进行。 还削减了系数的种类，使运算量减少。 变换

17、的单位是 44块，而不是以往常用 88块，有助于减小块效应。464.5.4 熵编码 对于片层以上的数据，h.264采用exp-golomb码， 而对于片层(含)以下的数据， 如果是残差，h.264有两种熵编码方式：基于上下文的自适应变长码(cavlc)和基于上下文的自适应二进制算术编码(cabac)； 如果不是残差，h.264采用exp-golomb码或cabac编码，视编码器的设置而定。 47cavlc 在cavlc中，h.264采用若干vlc码表，不同的码表对应不同的概率模型。 编码器能够根据上下文，如周围块的非零系数或系数的绝对值大小，在这些码表中自动地选择，尽可能地与当前数据的概率模型

18、当前数据的概率模型匹配，从而实现上下文自适应的功能。48cabac 算术编码是一种高效的熵编码方案，其每个符号所对应的码长被认为是分数。 在cabac中，每编码一个二进制符号，编码器就会自动调整对信源概率模型自动调整对信源概率模型(一个一个“状状态态”)的估计，的估计，随后的二进制符号就在这个新的概率模型基础上进行编码。 与cavlc编码中预先设定好若干概率模型的方法相比，码率降低大约10%。494.5.5 sp/si 帧 sp 编码原理和p类似，仍是基于帧间预测的运动补偿预测编码 与p的差异在于sp帧能够参照不同参考帧重构出相同的图像帧。 si si则是基于帧内预测的编码技术，其重构图像的方法和sp完全相同。50应用1、流间切换、流间切换 视频服务器应该可根据网络条件调整编码码率，实现带宽的自适应性。 sp 片的主要目的便是用于不同码流的切换片的主要目的便是用于不同码流的切换 问题：设切换前传输码流中最后一帧为p1,n-1，切换后的目标码流第一帧为p2,n+1(假设是p帧)，由于p2,n+1的参考帧不存在，直接切换显然会导致严重失真，而且这种失真会向后传递。 一种简单的解决方法就是传输帧内编码的p2，但是一般