多媒体技术 (5)

1、2022年3月18日多媒体技术 1/56主要内容主要内容n 多媒体数据压缩编码的重要性和分类多媒体数据压缩编码的重要性和分类n 量化量化n 统计编码统计编码n 预测编码预测编码n 静态图像压缩静态图像压缩编码的国际标准编码的国际标准2022年3月18日多媒体技术 2/564.4 预测编码预测编码 预测编码是统计冗余数据压缩理论的三个重要预测编码是统计冗余数据压缩理论的三个重要分支之一，用预测编码主要是减少数据在时间和空分支之一，用预测编码主要是减少数据在时间和空间上的相关性。间上的相关性。 预测编码的基本原理预测编码的基本原理 自适应预测编码自适应预测编码 帧间预测编码帧间预测编码2022年3

2、月18日多媒体技术 3/564.4.1 预测编码的基本原理预测编码的基本原理 如果有一个数，通过数据模型可以精确的产生如果有一个数，通过数据模型可以精确的产生数据源，就不需要传输了。数据源，就不需要传输了。 通过以往的样本值通过以往的样本值 预测预测 ，将预测值与，将预测值与实际值相减，对差进行编码。实际值相减，对差进行编码。2022年3月18日多媒体技术 4/564.4.1 预测编码的基本原理预测编码的基本原理预测编码的基本思想：预测编码的基本思想：这时差值很小，可以减少编码码位。这时差值很小，可以减少编码码位。 建立一个数学模型建立一个数学模型 利用以往的样本利用以往的样本数据数据 对新样

3、本值进行预测对新样本值进行预测 将预将预测值与实际值相减测值与实际值相减 对其差值进行编码对其差值进行编码预测编码的分类预测编码的分类: : 线性预测线性预测 非线性预测编码非线性预测编码线性预测也称作线性预测也称作差值差值脉冲编码调制法脉冲编码调制法，简，简称称DPCM2022年3月18日多媒体技术 5/561) DPCM的基本原理的基本原理 一幅二维静止图像，设空间坐标一幅二维静止图像，设空间坐标(i,j) 像素点的实像素点的实际灰度为际灰度为 f(i,j)，f(i,j)是根据以前已出现的像素点的是根据以前已出现的像素点的灰度对该点的预测灰度，也称预测值或估计值。灰度对该点的预测灰度，也称

4、预测值或估计值。f(i,j) -像素点的实际灰度值像素点的实际灰度值 f(i,j)-像素点的预测灰度值像素点的预测灰度值实际值和预测值之间的差值，以下式表示：实际值和预测值之间的差值，以下式表示：e(i,j) = f(i,j) - f(i,j) -实际值和预测值之差实际值和预测值之差将将e(i,j)定义为预测误差。定义为预测误差。2022年3月18日多媒体技术 6/56DPCM的编、解码原理图的编、解码原理图DPCMDPCM系统系统编码器编码器 量化器量化器预测器预测器解码器解码器预测器预测器发发送送接接收收信道信道传输传输2022年3月18日多媒体技术 7/56DPCM的编、解码原理图的编、

5、解码原理图发送端不带量化器发送端不带量化器-可逆的无失真的可逆的无失真的DPCMDPCM编码，编码， 是信息保持编码是信息保持编码发送端若带量化器发送端若带量化器-有失真的有失真的DPCMDPCM编码编码 2022年3月18日多媒体技术 8/56举例举例：一个三阶预测系统：一个三阶预测系统如图如图：这是一幅像素（：这是一幅像素（i,ji,j）的预）的预 测域图，图中示出（测域图，图中示出（i,ji,j） 像素的三个相邻像素，像素的三个相邻像素，构成三阶预测器。其中构成三阶预测器。其中a a1 1, ,a a2 2 , ,a a3 3称预测系数，都是待定参数。称预测系数，都是待定参数。如果预测器

6、中预测系数是固定不变的常数，称之为线性预测。如果预测器中预测系数是固定不变的常数，称之为线性预测。2) 最佳线性预测最佳线性预测2022年3月18日多媒体技术 9/56举例举例：一个三阶预测系统：一个三阶预测系统 当当a1、a2、a3满足使预测误差最小，且保持固满足使预测误差最小，且保持固定不变时，便构成最佳线性预测器。定不变时，便构成最佳线性预测器。 预测误差：预测误差：2) 最佳线性预测最佳线性预测2022年3月18日多媒体技术 10/564.4 预测编码预测编码 预测编码的基本原理预测编码的基本原理 自适应预测编码自适应预测编码 帧间预测编码帧间预测编码2022年3月18日多媒体技术 1

7、1/56自适应技术的概念：自适应技术的概念： 是预测器的预测系数和量化器的量化参数，能是预测器的预测系数和量化器的量化参数，能够根据图像的局部区域分布特点而自动调整。够根据图像的局部区域分布特点而自动调整。ADPCM-ADPCM-自适应差值脉冲编码调制自适应差值脉冲编码调制 ADPCMADPCM系统包括：系统包括： 自适应预测自适应预测-即预测系数的自适应调整即预测系数的自适应调整 自适应量化自适应量化-即量化器参数的自适应调整即量化器参数的自适应调整 4.4.2 自适应预测编码自适应预测编码2022年3月18日多媒体技术 12/56 从上一个问题的讲述可知一个三阶预测器的预从上一个问题的讲述

8、可知一个三阶预测器的预测值计算公式为：测值计算公式为：现在增加一个可变参数现在增加一个可变参数m m，得到，得到其中其中m m是一个自适应参数，是一个自适应参数，m m的取值根据量化误差的的取值根据量化误差的大小自适应调整。大小自适应调整。4.4.2 自适应预测编码自适应预测编码自适应预测：自适应预测：2022年3月18日多媒体技术 13/564.4.2 自适应预测编码自适应预测编码自适应预测：自适应预测：2022年3月18日多媒体技术 14/564.4.2 自适应预测编码自适应预测编码1) 概念概念 根据图像局部区域的特点，自适应地修改和调根据图像局部区域的特点，自适应地修改和调整量化器的参

9、数。包括量化器输出的动态范围，量整量化器的参数。包括量化器输出的动态范围，量化器判决电平（量化器步长）等。化器判决电平（量化器步长）等。自适应量化：自适应量化：2022年3月18日多媒体技术 15/564.4.2 自适应预测编码自适应预测编码 利用视觉阈值曲线导出自适应量化特性利用视觉阈值曲线导出自适应量化特性: 当预测误差值小时，将量化器的输出动态范围减当预测误差值小时，将量化器的输出动态范围减 小，量化器步长减小；小，量化器步长减小； 当预测误差大时，将量化器的输出范围扩大，量当预测误差大时，将量化器的输出范围扩大，量 化器步长扩大。化器步长扩大。 参数改变的原则：量化误差低于该误差下的参

10、数改变的原则：量化误差低于该误差下的视觉阈视觉阈 值值，将误差掩盖。，将误差掩盖。自适应量化：自适应量化：2022年3月18日多媒体技术 16/56视觉阈值：视觉阈值： 所谓视觉阈值是指，恰恰可以被人们眼睛所谓视觉阈值是指，恰恰可以被人们眼睛看到的失真看到的失真(误差误差)值，低于此值的失真值，低于此值的失真(误差误差)人眼觉察不出，高于此值的失真人眼觉察不出，高于此值的失真 (误差误差) 就被看就被看到了。所以视觉可见度阈值是确定某像素所允到了。所以视觉可见度阈值是确定某像素所允许失真度的一个度量。许失真度的一个度量。2022年3月18日多媒体技术 17/564.4.2 自适应预测编码自适应

11、预测编码2) 自适应量化的方法自适应量化的方法 先定义一视觉掩盖函数先定义一视觉掩盖函数M M， f2f1ff4f3自适应量化：自适应量化： 当四个差值当四个差值 e1, e2, e3, e4 中有一个较大数值，那么对中有一个较大数值，那么对预测时所形成的量化误差，预测时所形成的量化误差，构成构成“掩盖效应掩盖效应”，即掩盖量，即掩盖量化噪声，使人眼难以察觉。化噪声，使人眼难以察觉。2022年3月18日多媒体技术 18/564.4 预测编码预测编码 预测编码的基本原理预测编码的基本原理 自适应预测编码自适应预测编码 帧间预测编码帧间预测编码2022年3月18日多媒体技术 19/564.4.3

12、帧间预测编码帧间预测编码 帧间编码技术处理的对象是序列图像（运动图帧间编码技术处理的对象是序列图像（运动图像）。对于序列图像，把几帧的图像存储起来利用像）。对于序列图像，把几帧的图像存储起来利用帧间相关性进一步消除图像信号的冗余度，提高压帧间相关性进一步消除图像信号的冗余度，提高压缩比。缩比。2022年3月18日多媒体技术 20/564.4.3 帧间预测编码帧间预测编码 帧间帧间DPCM预测编码，是预测编码，是以先前帧或场的图像以先前帧或场的图像信号为基础信号为基础的。帧间的。帧间DPCM与帧内与帧内DPCM原理一样，原理一样，只是预测值是由先前帧（或场）的信号产生。即用只是预测值是由先前帧（

13、或场）的信号产生。即用先前帧（或场）图像的亮度或色差信号进行预测，先前帧（或场）图像的亮度或色差信号进行预测，然后对当前像素的实际值与预测值之间的预测误差然后对当前像素的实际值与预测值之间的预测误差进行编码。进行编码。2022年3月18日多媒体技术 21/564.4.3 帧间预测编码帧间预测编码计算计算|H-G|H-A|H-L|H-G|H-A|H-L|的值，选取这三个值最小的进行预测的值，选取这三个值最小的进行预测: : 若若|H-G|(|H-G|(前一像素与再前一个像素差前一像素与再前一个像素差) )最小，则用同一场最小，则用同一场 同一扫描行上的前一个像素同一扫描行上的前一个像素H;H;

14、若若|H-A|(|H-A|(同一场前一扫描行像素差同一场前一扫描行像素差) )最小，则用同一场上最小，则用同一场上 一扫描行上的像素一扫描行上的像素B;B; 若若|H-L|(|H-L|(帧间像素差帧间像素差) )最小，则上一帧对应位置像素最小，则上一帧对应位置像素M MZ Z像素像素-当前当前被预测的像素被预测的像素2022年3月18日多媒体技术 22/564.4.3 帧间预测编码帧间预测编码 条件补充法条件补充法 若帧间各对应像素的亮度差超过阈值，则把这些像若帧间各对应像素的亮度差超过阈值，则把这些像 素存在缓冲存储器中，并以恒定的传输速度传送；素存在缓冲存储器中，并以恒定的传输速度传送；

15、而对于阈值以下的像素则不传送，在接收端用上一而对于阈值以下的像素则不传送，在接收端用上一 帧相应像素值来代替。帧相应像素值来代替。 据统计，在可视电话中用条件补充法传送的像据统计，在可视电话中用条件补充法传送的像素只占全部像素的素只占全部像素的6%左右。左右。2022年3月18日多媒体技术 23/564.4.3 帧间预测编码帧间预测编码 运动补偿法运动补偿法 运动补偿方法是跟踪画面内的运动情况对其加运动补偿方法是跟踪画面内的运动情况对其加以补偿之后再进行帧间预测。视频的相邻帧间的运以补偿之后再进行帧间预测。视频的相邻帧间的运动部分具有连续性，即当前画面上的图像可以看成动部分具有连续性，即当前画

16、面上的图像可以看成是前面某时刻画面上图像的位移，位移的幅度值和是前面某时刻画面上图像的位移，位移的幅度值和方向在画面各处可以不同。方向在画面各处可以不同。 运动补偿预测是用先前的局部图像来预测当运动补偿预测是用先前的局部图像来预测当前的局部图像。前的局部图像。2022年3月18日多媒体技术 24/564.4.3 帧间预测编码帧间预测编码 运动补偿法运动补偿法 利用运动位移信息与前面某时刻的对象对当前画利用运动位移信息与前面某时刻的对象对当前画 面图像进行预测的方法，称为面图像进行预测的方法，称为前向预测前向预测。 根据某时刻的图与位移信息预测该时刻之前的图根据某时刻的图与位移信息预测该时刻之前

17、的图 像，称为像，称为后向预测后向预测。 MPEG的运动补偿将画面分成若干的运动补偿将画面分成若干 16*16的子图的子图像块，并根据一定的条件分别进行帧内预测、前向像块，并根据一定的条件分别进行帧内预测、前向预测、后向预测等。预测、后向预测等。 2022年3月18日多媒体技术 25/56主要内容主要内容n 多媒体数据压缩编码的重要性和分类多媒体数据压缩编码的重要性和分类n 量化量化n 统计编码统计编码n 预测编码预测编码n 静态图像压缩编码的国际标准静态图像压缩编码的国际标准2022年3月18日多媒体技术 26/564.6 静态图像压缩编码的国际标准静态图像压缩编码的国际标准 国际标准化协会

18、国际标准化协会(ISO)，国际电子学委员会，国际电子学委员会(IEC)，国际，国际电信协会电信协会(ITU)等国际组织，于等国际组织，于90年代领导制定了三个重要年代领导制定了三个重要的多媒体国际标准：的多媒体国际标准： JPEG标准标准 H.261标准标准 MPEG标准标准 JPEG是联合图像专家小组的英文缩写是联合图像专家小组的英文缩写 。 JPEG 算法被确定为算法被确定为JPEG 国际标准，它是国际上，国际标准，它是国际上，彩色、灰度、彩色、灰度、静止图像静止图像的第一个国际标准。的第一个国际标准。 JPEG标准标准不仅适于静态图像的压缩，电视图像序列的帧内图像的不仅适于静态图像的压缩

19、，电视图像序列的帧内图像的压缩编码，也常采用压缩编码，也常采用JPEG压缩标准。压缩标准。2022年3月18日多媒体技术 27/56JPEG 标准定义了两种基本压缩算法：标准定义了两种基本压缩算法：n 基于基于DCT变换有失真的压缩算法变换有失真的压缩算法n 基于空间预测编码基于空间预测编码DPCM的无失真压缩算法的无失真压缩算法4.6 静态图像压缩编码的国际标准静态图像压缩编码的国际标准无失真编码器预测器预测器：采用的是基于：采用的是基于DPCM预测编码方法。预测编码方法。熵编码器熵编码器：对经预测器所得差值进行无失真的熵编码：对经预测器所得差值进行无失真的熵编码无失真预测编码原理框图无失真

20、预测编码原理框图2022年3月18日多媒体技术 28/56v 基于基于DCT的有失真压缩编码处理过程图的有失真压缩编码处理过程图将图像分成将图像分成8 8* *8 8的块的块进行进行DCTDCT变换变换根据量化表进行量化根据量化表进行量化根据熵编码表进行熵编码根据熵编码表进行熵编码 压缩编码压缩编码 64个像素值64个DCT系数64个量化后系数输出处处理理总总过过程程2022年3月18日多媒体技术 29/56(1) 各步骤的具体实现各步骤的具体实现 将图像分成将图像分成8 8* *8 8的块的块分法：分法：从左到右，从上到下从左到右，从上到下黑白图像：黑白图像：6464个灰度值个灰度值彩色图像

21、：彩色图像：6464个亮度分量，个亮度分量，6464个色度分量个色度分量v 基于基于DCT的有失真压缩编码的有失真压缩编码2022年3月18日多媒体技术 30/56 进行进行DCTDCT变换变换JPEGJPEG在编码时用的是离散余弦正变换（在编码时用的是离散余弦正变换（FDCTFDCT） v 基于基于DCT的有失真压缩编码的有失真压缩编码DCT变换变换把原始图像分成把原始图像分成8 88 8的多个子块的多个子块的同时将原始图的同时将原始图像的采样数据从像的采样数据从无符号整数变成无符号整数变成有符号的整数，有符号的整数，以此作为以此作为 DCTDCT的的输入。输入。DCTDCT变换系数变换系数

22、(64(64个基信号个基信号的幅值的幅值) )2022年3月18日多媒体技术 31/56 根据量化表进行量化根据量化表进行量化 在在JPEG标准中采用线性均匀量化器，对标准中采用线性均匀量化器，对DCT系数系数进行量化处理，多对一的映射产生误差。进行量化处理，多对一的映射产生误差。 量化定义为：对量化定义为：对64个个DCT系数除以量化步长，系数除以量化步长，4舍舍5入取整。入取整。DCTDCT系数系数量化器步长量化器步长v 基于基于DCT的有失真压缩编码的有失真压缩编码2022年3月18日多媒体技术 32/56JPEG推荐亮度量化表v 基于基于DCT的有失真压缩编码的有失真压缩编码JPEG推

23、荐色度量化表2022年3月18日多媒体技术 33/56v 基于基于DCT的有失真压缩编码的有失真压缩编码 根据量化表进行量化根据量化表进行量化2022年3月18日多媒体技术 34/56 DCDC系数编码和系数编码和ACAC系数的行程编码系数的行程编码量化后得到的仍是量化后得到的仍是6464个系数个系数, ,其中：其中： DC系数系数：对应于：对应于u=0，v=0的系数，的系数， 称做直流分量，即称做直流分量，即DC系数。系数。AC系数系数：其余：其余63个系数称做个系数称做AC系系 数，即交流分量。数，即交流分量。 v 基于基于DCT的有失真压缩编码的有失真压缩编码2022年3月18日多媒体技

24、术 35/56对对DC-DC-差分编码差分编码v 基于基于DCT的有失真压缩编码的有失真压缩编码 DCDC系数编码和系数编码和ACAC系数的行程编码系数的行程编码2022年3月18日多媒体技术 36/56对对AC-“Z”字型编码字型编码v 基于基于DCT的有失真压缩编码的有失真压缩编码 DCDC系数编码和系数编码和ACAC系数的行程编码系数的行程编码2022年3月18日多媒体技术 37/56v 基于基于DCT的有失真压缩编码的有失真压缩编码ACAC系数行程编码码字：系数行程编码码字： DCDC系数编码和系数编码和ACAC系数的行程编码系数的行程编码2022年3月18日多媒体技术 38/56 熵

25、编码熵编码 对量化后的对量化后的DC系数，和行程编码后的系数，和行程编码后的AC系数进行基系数进行基于统计特性的熵编码。于统计特性的熵编码。JPEG建议使用两种熵编码方法：建议使用两种熵编码方法： 哈夫曼编码哈夫曼编码 自适应二进制算术编码自适应二进制算术编码v 基于基于DCT的有失真压缩编码的有失真压缩编码熵编熵编码可码可分成分成两步两步进行进行第一步：第一步：把把DC和和AC系数转换成一个中间格式的符号序列系数转换成一个中间格式的符号序列第二步：第二步：给这些符号赋以变长码字给这些符号赋以变长码字2022年3月18日多媒体技术 39/56符号符号1 1：第一个字节（：第一个字节（NNNN-

26、NNNN-行程，行程，SSSS-SSSS-尺寸）尺寸）符号符号2 2：第二个字节（幅值：第二个字节（幅值-下一个非零值的实际值）下一个非零值的实际值）v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码交流系数交流系数AC的中间格式，由两个符号组成：的中间格式，由两个符号组成： 符号符号1(行程，尺寸行程，尺寸) 符号符号2(幅幅 值值)第一步：第一步：把把DC和和AC系数转换成一个中间格式的符号序列系数转换成一个中间格式的符号序列2022年3月18日多媒体技术 40/56需说明的是：需说明的是： 关于符号关于符号1 1：当两个非零：当两个非零 ACAC系数之间连续零的个数超系数之

27、间连续零的个数超过过1515时，用增加扩展符号时，用增加扩展符号1“1“（1515，0 0）”的个数来扩充。的个数来扩充。对对于于88块的块的63个个AC系数最多增加三个系数最多增加三个“(15(15，0)”0)”扩展符号扩展符号1 1。块结束。块结束(EOB)(EOB)以以(0(0， 0)0)表示。表示。符号符号1 1：第一个字节（：第一个字节（NNNN-NNNN-行程，行程，SSSS-SSSS-尺寸）尺寸）符号符号2 2：第二个字节（幅值：第二个字节（幅值-下一个非零值的实际值）下一个非零值的实际值）v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码2022年3月18日多媒体

28、技术 41/56对对直流系数直流系数DCDC系数的差，系数的差， 符号符号1 1：只代表尺寸信息，用以表示：只代表尺寸信息，用以表示DCDC系数差值的幅值系数差值的幅值所需的比特数；所需的比特数； 符号符号2 2：表示差值的幅值大小。：表示差值的幅值大小。v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码2022年3月18日多媒体技术 42/56 可变长度熵编码就是对符号可变长度熵编码就是对符号1、2序列的统计编码。对序列的统计编码。对DC系数和系数和AC系数中的符号系数中的符号1，查，查“哈夫曼码表哈夫曼码表”进行编码。进行编码。0行程长度超过行程长度超过15，有多个符号，有多

29、个符号1 块结束块结束 EOB，只有符号，只有符号1（00）v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码第二步：第二步：可变长度熵编码，即给这些符号赋以变长码字可变长度熵编码，即给这些符号赋以变长码字2022年3月18日多媒体技术 43/56 设设“NNNN”的值为的值为“n”，SSSS的值为的值为“s”则符号则符号1可可以写成：以写成：符号符号1（n,s） 【例如例如】符号符号1（3，4）表示非零两个符号之间有）表示非零两个符号之间有3个个 “0”，下一个非零符号用，下一个非零符号用4比特，对符号比特，对符号 1的的 编码就是在编码就是在AC系数表中系数表中 ,查查3/4

30、所对应的编码。所对应的编码。v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码2022年3月18日多媒体技术 44/56熵编码符号结构熵编码符号结构v 基于基于DCT的有失真压缩编码的有失真压缩编码 熵编码熵编码符号符号2中的幅值代表非零中的幅值代表非零AC系数的数值，其范围如下表所示：系数的数值，其范围如下表所示：2022年3月18日多媒体技术 45/56512512* *51285128* *8 8图像图像88* *8 8系数系数量化量化例：某亮度子块按例：某亮度子块按Z字形排列序列如下：字形排列序列如下：K 0 1 2 3 4 5 6 7 8 9-30 31 32-63系数

31、系数 12 5 -2 0 2 0 0 0 1 0 -1 0请按请按JPEG基本系统编码给出该子块的编码基本系统编码给出该子块的编码解：解：1) 对于对于DC系数系数12q 查熵编码符号查熵编码符号2结构表结构表(P155表表4.5)得得4q 查亮度查亮度DC系数表系数表(P156)得得101q 12二进制表示为二进制表示为1100 所以得到编码为：所以得到编码为：1011100 ZZ(0)=122022年3月18日多媒体技术 46/56对对AC系数系数ZZ(1)=5q 查表查表4.5得得3q 因为与因为与ZZ(0)间无间无0个数，所以个数，所以NNNN=0,则符号序列为则符号序列为0/3q 查

32、亮度查亮度AC系数表系数表(P157表表4.8)得得100q ZZ(1)=5 为为101 所以得到编码为所以得到编码为100101 ZZ(1)=5K 0 1 2 3 4 5 6 7 8 9-30 31 32-63系数系数 12 5 -2 0 2 0 0 0 1 0 -1 02022年3月18日多媒体技术 47/563) 对对AC系数系数ZZ(2)=-2q 查表查表4.5得得2q 因为与因为与ZZ(1)间无间无0个数，所以个数，所以NNNN=0,则符号序列为则符号序列为0/2q 查亮度查亮度AC系数表系数表(P157表表4.8)得得01q ZZ(2)=-2 为为01 所以得到编码为所以得到编码为0101 ZZ(2)=-2zz(k)中非零值的实际值的编码规定如下：中非零值的实际值的编码规定如下：若若zz(k)0，附加位为，附加位为zz(k)的最低的最低B位；位；若若zz(k)15,所以先编一个所以先编一个F/0,查表查表11111111001q ZZ(31)=-1查表查表4.5得得1q 22-16=6个个0，所以，所以NNNN=6,则符号序列为则符号序列为6/1q 查亮度查亮度AC系数表系数表(P157表表4.8)得得q ZZ(31)=-1 为为0 所以得到所以得到ZZ(9)-ZZ(31)编码为编码为 11111111001+ +0K 0 1 2