第四讲 数字电视压缩原理.ppt

1、第四讲 数字电视压缩原理,一 数字电视信号压缩的必要性和可能性,1.1 压缩的必要性：,电视信号数字化后：数码率高，数据量大。 例如：4：2：2编码、8比特量化的SDTV信号，其数码率为216 Mbps。若按每2bit构成一个周期，则传输这样一路数字电视信号需要有108MHz的通道带宽。 4：2：2编码、8比特量化时，一帧SDTV图像的数据量约为8.6Mb，要记录10分钟的电视节目就需要130Gb的存储器容量。 综上所述，要实现数字电视信号的有效存储和传输，就需要采取措施降低其数据量和数码率,1.2 压缩的可能性,压缩过程：去除图像中与信息无关或对图像质量影响不大的部分，即冗余部分。电视信号中

2、存在很多这样的冗余部分，这就为压缩提供了可能性。,电视信号的冗余性表现在以下几个方面： 空间相关冗余 时间相关冗余 视觉冗余 熵冗余,空间相关冗余,水平相关 垂直相关,时间相关冗余（帧间相关冗余）,tt1,tt2,人眼视觉冗余,人眼视觉特性： 对静止或缓慢运动图像的灰度等级及图像细节的分辨力高 对快速运动图像的灰度等级及图像细节的分辨力低 观察大面积图像时，对灰度等级分辨力高，对细节分辨力低 观察细节时，对灰度等级分辨力低，对细节分辨力高,利用人眼的视觉特性,对静止或缓慢运动图像： 减小帧率 在图像细节部分选择较高的取样频率和较低的量化比特数 在大面积像块区域选择较低的取样频率和较高的量化比特

3、数 对快速运动图像： 提高帧率 降低取样频率和量化比特数,自信息量 定义：指某个随机事件（或消息）发生后所提供的信息数量的多少,任意随机事件的自信息量为该事件发生概率的倒数的对数。,熵冗余,信源熵（信源每个符号的平均信息量）：,P(xi)是符号xi出现的概率,平均码长（每个符号的平均编码长度）：,熵冗余平均码长信息熵,li 是符号xi 的编码码长,例如： 某一图像总共可出现4个灰度级，对每个灰度级进行二进制定长编码时，码长为2比特，即 L 2bit / 符号。 当每个灰度级出现的概率相等，即都为1/4时：,当每个灰度级出现的概率不相等时： 设灰度级14的概率分别为1/8、3/8、3/8、1/8

4、，,熵冗余L H 21.810.19 bit / 符号,熵冗余 L H 220 bit / 符号,若采用变长编码方式，对概率大的符号赋予短码，对概率小的符号赋予长码，则可降低平均码长L,熵冗余1.8751.810.065 bit / 符号,例如，灰度级1 3/8 1 灰度级2 3/8 01 灰度级3 1/8 001 灰度级4 1/8 000,所以，采用变长编码可降低信源熵冗余,二 压缩编码方式,2.1 压缩方式分类,按无损压缩和有损压缩进行分类： 无损压缩编码、有损压缩编码,按帧内压缩和帧间压缩进行分类： 帧内压缩编码、帧间压缩编码,按压缩编码原理进行分类： 预测编码、变换编码、熵编码,2.2

5、 预测编码,2.2.1 预测编码的基本原理 预测编码传送的不是实际像素值，而是实际值与其预测值之间的差值，即预测误差。 像素的预测值由其在时间和空间上相邻的若干个像素的线性组合产生，它反映了在预测区域内各像素的共性部分，因此用像素的实际值减去其预测值就可基本去除像素间的相关性。,en en x Xn x,Xn en Xn x,若不考虑量化器的影响，则有 Xn Xn （无损压缩）,x：量化误差,预测编码的压缩效果取决于预测器的预测精度，精度越高，预测误差越小，量化时所需的量化比特数就越少，压缩率也就越高。 一般来说，参与预测的像素数越多，预测值就越精确，但同时预测器电路组成也就越复杂。 利用相关

6、像素值x1、 x2 xn-1来预测当前像素值：,a1、a2an-1称为相关系数，且满足：,2.2.2 帧内预测编码,由距X7最近的四个像素 X6、X4 、X3、X2参与对X7的预测。 相关系数为：a61/2、 a4 a21/8、 a31/4，则： 1/2 X6 1/8 X4 1/4 X3 1/8 X2,D6TS（TS为取样周期） D4THTS（TH为行周期） D3TH D2THTS,2.2.3 帧间预测编码,2.3 变换编码,2.3.1 变换编码基本原理,通过一种线性运算关系将空间域的图像信号变换到变换域或频率域的正交矢量空间，然后进行编码。,变换编码的特点： 在变换域中描述视频图像要比在空间

7、域中简单； 视频图像的相关性明显下降，信号的能量主要集中在少数几个变换系数上，采用量化和熵编码可有效地压缩其数据量； 可充分利用人眼的视觉特性； 具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码； DCT等变换有快速算法，能实现实时视频处理。,2.3.2 离散余弦变换,设图像块的样点数为NN，其样值方阵用f(x,y)表示，则二维离散余弦变换的公式为：,图像分块及变换： 通常将图像分解成88的像素块，然后进行DCT变换。变换后得到由88频域系数组成的矩阵。,F00：DC系数，代表该像素块的直流分量或平均亮度值 其它为AC系数,一般电视图像的构成都是以大、中面积内容为主，精细内

8、容较少，因而可估计到，系数矩阵中左上方的系数值会大些，而越接近右下角，系数值会越小,DCT系数量化: 利用人眼的视觉冗余性,对系数矩阵左上角附近的系数进行细量化（量化间隔小）而对右下角附近的系数进行粗量化（量化间隔大），然后对量化后的系数取整。其具体实现方法: F(u,v)F(u,v)/Q(u,v),Z 形扫描和游程编码:,Z形读出： 79，0，2，1，1，1，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0 游程

9、编码： （0，79），（1，2）（0，1），（0，1）（0，1），（2，1） EOB,游程编码: 将一维序列用二维数组 (run,level) 表示。run：表示连零的长度 level:表示连零之后出现的第一个非零值 当所有值都为零时用符号EOB表示,2.4 熵编码,按信源符号出现概率的不同分配给不同长度的码字比特数。即出现概率大的符号编码码字短，出现概率小的符号编码码字长。也称可变长编码（VLC） 前提条件：必须知道每个符号的出现概率 特点：具有单义可译性。即：任何一个长码都不会是另两个短码复合而成，任何一个短码不会是另一个长码的前缀。 因此，收信端可从接收到的码字串中分断开每个码字，不会发

10、生码字混淆。,基本原理： 将信源发出的符号按出现概率的大小次序排列； 对两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加之后作为一个新符号的概率； 对符号概率重新排队后再取两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加； 依此类推，直到所有概率相加得到1为止； 由后向前沿各支路逐一写出“0”、“1”，此码字即为霍夫曼编码码字。,2.4.1 霍夫曼编码,例如：设信源各符号出现的概率为：xi： x1 x2 x3 x4 x5 x6 x7 x8 Pi： 0.20 0.19 0.18 0.17 0.15 0.10 0.005 0.005,符号(xi),概率(Pi),x1,x2,

11、x3,x4,x5,x6,x7,x8,0.20,0.19,0.18,0.17,0.15,0.10,0.005,0.005,0.01,0.11,0.26,0.35,0.39,0.61,1.00,码字(wi),01,00,111,110,101,1001,10001,10000,信源熵：,采用等长编码方式时，每个符号需要3bit，即平均码长为3bit/符号，熵冗余为0.38 bit/符号。 采用可变长编码时，平均码长为：,熵冗余为0.11 bit/符号,像素块矩阵经DCT变换、量化和Z形扫描后：,2.4.2 DCT系数的熵编码,DC系数：差值编码（DPCM），熵编码； 即：DIFFDCi DCi-1

12、 对DIFF进行熵编码 AC系数：游程编码，熵编码,DC系数的DIFF熵编码（查表法）,编码码字码字1码字2 若DIFF2，则码字为 01110,AC系数熵编码（表1）,AC系数熵编码（表2）,AC系数游程编码： （1，2）（0，1），（0，1）（0，1），（2，1） EOB,对于（1，2）：AC系数为2，前面有1个零 查表1可知，其对应的“游程/位长”是1/2，码字2为01 查表2可知，1/2对应的码字1为11011 所以， 对（1，2）进行熵编码的码字为1101101,2.5 运动估计与运动补偿,运动估计：对运动物体的位移作出估计，即求出运动矢量 运动补偿：按照运动矢量，对上一帧做位移，然

13、后求出对当前帧的预测值。,运动补偿帧间预测编码方框图：,运动估计,块匹配法： 将图像分成若干个大小为MN的子像块，假定同一子像块内所有像素具有相同的位移。 假定帧间最大水平位移和最大垂直位移分别为Wx和Wy个像素； 对于当前帧的每一个块在前一帧相应位置开辟大小为 ( M+2 Wx )( N+2 Wy ) 的一块搜索区； 在搜索区内求出当前帧对应块的最佳匹配块； 求出运动矢量。,M+2Wx,N+2Wy,N,M,j,i,j：垂直位移量 i：水平位移量,块匹配准则： 均方误差（MSE）最小准则,绝对误差均值（MAD）最小准则,最大归一化互相关函数（NCCF）准则,搜索方法： 穷尽搜索法：对搜索区域内

14、的每一点都用匹配准则进行计算。,二维对数法,三步搜索法,分块全搜索法：,三 视频压缩国际标准,1、视频编码图像格式,H.261,2、视频压缩标准概述,视频电话和视频会议压缩编码标准 CCITT 1984年开始研究，1990年正式成为标准 应用：视频电话、视频会议，传输网络为ISDN（综合业务数据网，64kb/s2.048Mb/s） 图像格式：CIF、QCIF，最大帧频为30Hz，逐行扫描 码率：p64kb/s（p130）。 p1、2时，只支持QCIF格式，用于视频电话。 p6时，支持CIF格式，可用于视频会议。 压缩方式：DCT、帧间预测编码,JPEG,Joint Photographic E

15、xperts Group （静止图像专家组） 静止图像压缩标准 1986年开始研究，1992通过标准的第一部分 应用：静止图像的压缩 压缩方式：DCT,88 像素块,Z形扫描,DCT变换 系数量化,DC:DPCM,AC:RLC,熵编码,熵编码,Motion JPEG,JPEG 2000,静止图像压缩标准 1997年开始研究，2000通过标准 应用：静止图像的压缩 压缩方式：小波变化 特点：良好的低比特率压缩性能 按照图像质量或分辨率的累进式传输 支持有损和无损压缩 对码流的随机存取和感兴趣区域（ROI）的编码,Motion JPEG 2000,MPEG-1,Moving Picture Exp

16、ert Group （活动图像专家组） 视频及其伴音的压缩标准 1988年开始研究，1992成为正式标准 应用：数字存储媒体（如VCD等），交互式多媒体系统 图像格式：SIF（4:2:0），逐行扫描 码率：1.5Mb/s 压缩方式：DCT，帧间预测编码,MPEG-2,活动图像及其伴音信息的通用编码 1990年开始制定，1994年成为正式标准 应用：SDTV，HDTV，DVD等 图像格式：CCIR 601等多种格式（4:2:2，4:4:4，4:2:0），逐行扫描，隔行扫描 压缩方式：DCT，帧间预测编码 有多种档次：5个型，4个级 与MPEG-1兼容,H.263,低码率图像压缩编码标准 ITU-

17、T 1995推出草案 应用：视频电话、多媒体通信、移动通信、远程监控系统等，传输网络为PSTN（公用电话交换网） 图像格式：CIF、QCIF、sub-QCIF（Y：12896，CR/CB：6448），最大帧频为30Hz，逐行扫描 压缩方式：DCT、帧间预测编码,MPEG-4,基于内容的压缩编码标准 1993年开始制定，1999年成为正式标准 应用：交互式多媒体应用、移动通信、个人通信等 图像格式：多种格式，逐行扫描，隔行扫描 特点： 编码对象是图像中的音频和视频对象（AV对象） 形状编码 分级编码,MPEG-7 多媒体内容描述接口 由MPEG组织于1996开始研究，2001年公布 目的：对各种

18、多媒体信息的描述进行标准化，从而使用户对感兴趣的素材进行快速而高效的检索。 MPEG-7包括：描述符、描述方案、描述定义语言、编码方案。 应用：数字图书馆、数据库、多媒体目录服务等,MPEG-21 多媒体框架 目标：建立一个交互式的多媒体框架，协调各个标准之间的配套衔接。通过网络和设备可存取、使用并交互操作各种多媒体对象，实现多种业务。,四、MPEG-2视频部分,4.1 MPEG概况,MPEG：属于ISO/IEC下属的联合技术委员会 任务：制定活动图像的压缩编码标准，压缩码率为,1.5Mb/s,10Mb/s,40Mb/s,MPEG-1（1992，ISO/IEC 11172）,MPEG-2（19

19、94，ISO/IEC 13818）,MPEG-3（1992，撤销）,MPEG视频部分框图,4.2 MPEG-2的型和级,4.3 图像编码帧类型,I帧（帧内编码帧）,仅利用该帧图像本身的信息进行编码 DCT、量化、熵编码等 I帧提供了进入压缩图像数据序列的随机访问点，便于对图像进行编辑。 一般应用中，一秒钟出现两个I帧 压缩比：（25）：1,P帧（前向预测帧）,利用前面最靠近的I帧或P帧图像作参考帧，经运动预测编码得到的图像。 压缩比：（510）：1 P帧可以作为B帧和后面的P帧的参考帧 P帧会使误码传递下去,B帧（双向预测帧）,利用过去及将来的I帧或P帧作参考帧，经运动预测编码得到的图像。 压缩比：（2030）：1 B帧不用作参考帧 B帧不会使误码传递下去 通常在两个参考帧之间安排两个B帧,编码图像的显示顺序和传送顺序,图像的显示顺序,图像的传送顺序,4.4 MPEG2视频编、解码器框图,编码器,解码器,4.5 视频基本码流（ES流）的组成,像块,宏块,宏块条,像块,像块,宏块,宏块,宏块条,宏块条,图像,图像,图像,图像组,图像组,图像组,图像序列,4.5.1 像块,88像素阵列，DCT变换单元 可以是Y像块或CB 、CR像