《多媒体技术》第5章.ppt

1、1,第5章 视频编码,2,提 纲,视频基本概念 视频编码原理 视频编码标准简介,3,视频基本概念,数字视频是自然视觉图像在时间和空间上采样后的表现结果 自然视觉图像在某个时间点上被采样，从而形成一帧或一场 采样以某一固定间隔重复进行，从而获得运动视频图像 1/25秒或1/30秒,4,视频基本概念,视觉图像的表现精度需要用某种方法度量，以衡量一个视觉处理(通信)系统的性能 主观评价标准非常耗时，并且对观察者的反映很敏感 客观评价标准易于实现，但不能准确的匹配人的主观感觉,5,视频基本概念,6,视频基本概念,典型的自然视频场景是由多个对象组成的，每个对象具有各自的形状、深度、纹理以及亮度等 自然场

2、景的颜色和亮度会随着场景缓慢变化(连续) 典型的自然视频场景的特点分为空域和时域两类 纹理变化，对象形状，颜色 对象运动，亮度变化，摄像头移动，视角变化等,7,视频基本概念,自然视觉图像在时域和空域上都是连续的 采用数字形式表示自然视觉图像涉及到自然场景在空域和时域上的采样 空域采样 由视频图像平面上的一个矩形网格组成 时域采样 由时间轴上固定间隔的静态帧组成 每个时空域上的采样点（像素）由一组表示亮度和色度的数字来描述,8,视频基本概念,空域采样 采样分辨率影 响采样图像视 觉质量,9,视频基本概念,更高的时域采样率（帧率）可以获得更平滑的视频场景，但是需要存储更多的采样点 帧率低于10帧/

3、秒有时用在低码率视频通信中 运动会明显抖动，显得不够自然 帧率在1020帧/秒之间是低码率视频通信的典型值 图像平滑，但具有快速运动的场景会出现抖动 2530帧/秒之间是电视图像的典型帧率,10,视频基本概念,视频信号可以被采样成一系列完整的帧(逐行采样)，也可以采样成一系列交织的场(隔行采样) 在交织视频序列中，在每个时域采样间隔上采样一帧图像中一半的数据(一场) 一场包含一帧完整图像的所有奇数行或偶数行,11,视频基本概念,12,视频基本概念,常用的视频格式,13,视频编码原理,视频压缩(编码)是将大数据量的原始视频序列精简为小数据量的比特流的过程 对于一个分辨率为QCIF大小的彩色视频序

4、列，每个分量采用8比特量化，在帧率为每秒30帧的情况下，数据量为9M比特/秒 视频压缩时通过去除图像中的冗余来实现的 冗余是指为了可信的重建原始数据而不需要的部分,14,视频编码原理,视频数据中包含的大量统计冗余可以通过无损压缩有效的去除 但无损压缩能够获得的压缩比很有限，最好的如JPEG-LS能够获得3-4倍的压缩 有损压缩对于获得高压缩比是非常必要的 在不明显影响观察者视觉质量的条件下，消除更多的主观冗余，来获得压缩比的提高,15,视频编码原理,大部分视频编码方法都利用时域和空域冗余进行压缩,16,视频编码原理,视频编码器主要包含三个功能模块 时域模型 空域模型 熵编码器,17,视频编码原

5、理,时域模型的输入是未压缩的视频序列，通过利用相邻视频帧之间的相似性减小时域冗余 通过相邻帧对当前编码帧进行预测，并通过对预测误差进行补偿(运动补偿)来改善质量 时域模型的输出是残差帧以及一系列模型参数，如用来描述如何进行补偿的运动矢量,18,视频编码原理,空域模型的输入是残差帧，利用残差帧内相邻像素间的相似性来减小空间冗余 首先对残差值进行变换，用频域内的变换系数表示 对变换系数进行量化，去除不重要的值，保留少数量的重要系数，为残差帧提供精简表示 空域模型的输出是一系列量化后的变换系数,19,视频编码原理,时域模型(运动矢量)和空域模型(系数)的参数通过熵编码器进行压缩 去除了数据中的统计冗

6、余，生成压缩码流,20,视频编码原理,时域模型的目标是通过得到一个预测帧，并在当前帧中减去预测帧，来达到减少帧间冗余的目的 预测越精确，输出的残差帧能量越小 预测精度的提高可以通过在当前编码帧和参考帧之间进行运动补偿实现,21,视频编码原理,Kell在1929年提出通过只传输两帧之间变化的部分来减少数据量 Intra和Skip 局限：除了简单的重复外，不能提供更精确的预测 以参考帧的内容为基础，进行微小的修改(调整)，可以获得更好的预测效果 发展成为现在的混合视频编码框架,22,视频编码原理,最简单的时域预测是用当前帧的前一帧作为预测,23,帧间预测编码,Frame Difference是指活

7、动图象序列的某一固定象素位置(m , n)上，当前帧的图象亮度值X (m ,n)与上一帧的亮度值X-1(m ,n)之差，即 统计资料表明：对于变化较为缓慢的256级灰度的黑白图象序列帧间差值超过阈值3的象素大约不到4%；对于变化较为剧烈的256级亮度值的彩色电视图象序列，帧间差值超过阈值6的象素数平均只有7.5%，而色度信号平均只有7.5%。这些是帧间压缩编码的依据。,24,帧间差值,残差帧中的能量是由于帧间的对象运动造成的,25,条件帧间修补法,Conditional Frame Replenishment CFR称条件帧间修补法，对第帧的当前象素X (m ,n)的预测值定义为 其中X-1(

8、m n)为第-1帧中对应象素X-1(m ,n)的复原值， 进而定义当前象素X(m ,n)的帧间差值,26,规定一个阈值TH，若满足 则认为当前象素X(m ,n)位于图象的背景区或相对静止部分，隔几帧才传输一次。 反之若 则认为当前象素X(m ,n)位于图象的运动物体区，需用全码传送。,27,进一步的改进是此时传输FD(m ,n)，而不是传输X(m ,n)本身，在接收端则通过 获得X(m ,n)的复原值。,4.4 预测编码,多媒体技术基础及应用,28,帧间预测编码条件补充法,若帧间对应像素的亮度差超过阈值，则把这些像素存入缓存中，并以恒定的传输速度传送； 阈值以下的像素不传送，在接收端用上一帧相

9、应像素值来代替。 只传送图像中亮度差超过阈值的像素，且传送的只是帧间差值，可以得到较好的压缩比。 上述预测法(CFR)可获得平均1bit/象素，压缩比为8的结果。,4.4 预测编码,多媒体技术基础及应用,29,帧间预测编码条件次取样,条件补充法还可以和内插法相结合应用，称为条件次取样 ； 在时间轴采用次取样，对于未取样的当前场的某一点，可以用隔场的四个邻点的亮度均值作为该点亮度的预测值。,4.4 预测编码,多媒体技术基础及应用,30,条件次取样（续一）,图中两场像素取样点错开半个像素，称为梅花状取样。在时间轴采用次取样。,4.4 预测编码,多媒体技术基础及应用,31,条件次取样（续二）,在时间

10、轴采用次取样。预测值为So=(SaSbScSd)/4; 如果像素的亮度实际值与预测值之间的差值小于阈值，则此像素信息就不传输； 如果这个差值超过阈值，则补充传送。,32,视频编码原理,对象运动会造成两帧之间的变化 刚性对象运动或非刚性对象运动 镜头运动：平移、拉伸、旋转等 光线变化 观察相邻帧之间像素的移动轨迹,33,视频编码原理,如果每个像素的运动轨迹都是完全知道的，那么可以对当前帧中的大部分像素进行精确的预测 但这不是一种可实用的方法 计算像素运动轨迹需要大量的迭代过程，计算复杂度非常高 需要将每个像素的运动轨迹传送到解码器 基于块的运动估计与补偿 一种实用的运动补偿方法是对当前帧中的矩形

11、“块”进行,34,运动补偿预测,目前从H.261到MPEG-1，MPEG-2都无一例外地采用“简单帧间预测运动补偿”(或者“简单帧间预测+有条件地切换为帧内编码”)的技术框架。 Motion Compensation运行补偿简写为MC 对于运动部分只占整个画面较小的会议电视和可视电话，压缩比可以提高很多。 关键是运动向量的计算,35,运动补偿预测技术通常由下面几方面组成： 把图象分割为静止和运动两部分，并假设运动物体仅作平移。 估计物体的位移值。 用位移估值(即运动矢量)进行运动补偿预测。 预测信息编码,36,运动估值示意图,例如图中将当前预测值的位置沿物体平移的方向错开Dx个象素再进行预测，

12、称运动补偿预测。,37,视频编码原理,对当前帧中每个包含MXN个像素的块进行如下过程：,38,视频编码原理,1. 在参考帧中寻找一个MXN大小的匹配区域 将当前帧中的MXN块和参考帧中某些或所有的MXN区域进行比较，寻找最佳匹配 常用的匹配准则是使当前块减去候选匹配区域后得到的残差能量最小 该过程称作运动估计 2. 经过运动估计后选择的匹配区域即是当前MXN块的预测，将其与当前块相减 该过程称作运动补偿,39,视频编码原理,3. 对残差块编码，将其和运动矢量一起传输 运动矢量是当前块和匹配块之间的偏移 解码器接收到运动矢量和残差编码后，进行反向操作，即可重建当前帧,40,运动预测与补偿技术示意

13、,41,视频编码原理,基于块的运动补偿具有以下几个优点： 和矩形的视频帧形状相吻合 和基于块的变换相吻合 对于大部分视频序列都能表现出较好的时域模型 不足： 真实对象很少具有整齐的边缘来和块的矩形边缘匹配 对象的运动通常不是整像素距离 许多种对象运动很难用基于块的方法进行补偿 变形运动、旋转等,42,视频编码原理,许多视频标准都采用16x16大小的宏块来作为运动补偿的基本处理单元 在4：2：0格式下，一个宏块包括,43,视频编码原理,44,视频编码原理,运动估计与补偿中有几个可以调整的因素： 1. 参考帧可以是时域上的前向帧，后向帧，或是多个参考帧的预测组合 2. 对于当前帧和参考帧之间变化剧

14、烈的情况(如场景切换)，这时宏块不采用运动补偿，可能更有效。所以编码器需要能在帧间编码和帧内编码之间进行切换,45,视频编码原理,3. 对象运动很少具有16x16的整齐边界，采用可变块大小运动补偿会更有效 4. 由于对象的运动通常不是整像素距离，对参考帧插值后进行分像素运动补偿会更有效,46,视频编码原理,更小的块尺寸可以带来更好的运动补偿效果 但更小的块尺寸也会带来更大的计算复杂度 需要更多的搜索过程 需要传送的运动矢量数量会增加 折衷办法是使块大小随着图像性质自适应的调整 对于平坦、一致性的区域，选择较大的块尺寸 对于细节丰富，运动复杂的区域，选择较小的块尺寸,47,视频编码原理,分像素运动估计和补偿包括搜索插值得到的分像素位置，以及原有的整像素位置，选择匹配最准确的整像素或分像素点作为匹配输出,48,视频编码原理,半像素与整像素之间的增益比1/4像素与半像素之间的增益更加明显 分像素运动补偿带来性能增益