多媒体技术量化和变换编码和预测编码

1、本单元的内容量化变换编码预测编码1本单元的内容量化变换编码预测编码2一个典型的信号压缩系统如图所示为什么要量化3一个典型的信号压缩系统如图所示。为什么要量化通过时间轴上采样和幅度量化将连续信号变成离散数字信号4一个典型的信号压缩系统如图所示。为什么要量化通过时间轴上采样和幅度量化将连续信号变成离散数字信号5一个典型的信号压缩系统如图所示。为什么要量化通过变换将信号的能量集中在少数几个变换系数上去除信号中的相关性6一个典型的信号压缩系统如图所示。为什么要量化信号压缩真正体现在量化阶段 7一个典型的信号压缩系统如图所示。为什么要量化一般先是行程编码，然后Huffman编码或算术编码进一步提高压缩比

2、 8量化之前需要规定量化级，比如8级，16级等量化时将取样值与量化级比较，若取样值在某个量化级的覆盖区间之内，则规定它取这个量化级的代表值，我们称其为码字。 一个量化器只能取有限多个量化级，从而量化过程不可避免地会引起量化误差。量化原理9量化器定义 设编码操作在Rk上进行，X为在Rk上给定了概率分布函数的一个随机向量。x为X的取值。A是随机向量取值空间，则A的一个N级量化器Q=Y, 由以下三部分组成：码本集： 对A的分割： 由下式定义的映射： 在以上定义中，当k 1时，所定义的是向量量化器；当k = 1时，即为标量量化器。 10例如：码本集：Y = y1,y2,yN 分割 依Y将R划分为N个子

3、空间R1, R2, , RN，且 Ri的区间表示为Ri=xi, xi+1), i = 1, 2, , N 产生的量化误差定义为 量化器定义 11量化可以分为两类： (1) 标量量化：输入信号的所有分量使用同一个量化器进行量化，每个分量的量化都和其它分量无关，也称为零记忆量化。 (2)矢量量化：从码本集合中选出最适配于输入信号的一个码字作为输入信号的近似，这种方法以输入信号与选出的码字之间失真最小为依据。 矢量量化与标量量化相比有更大的数据压缩能力。 矢量量化也可以与其他的编码方法一同使用。 矢量量化常常是与变换编码相结合使用，在图像进行变换之后，按一定方式形成多维向量组，然后到码本中寻找最佳码

4、字。 量化分类 12标量量化标量量化: 均匀量化 （恒定量化步长） 非均匀量化（量化步长可变）带死区的量化： 当 称 为死区 13均匀量化标量量化14标量量化的输入/输出特性采用阶梯形函数的形式 带死区的量化器标量量化非带死区的量化器15输出代表点集Y = y1,y2,yN 存在一种最优分割依Y将R划分为N个子空间R1, R2, , RN，且 Ri的区间表示为Ri=xi, xi+1）, i = 1, 2, , N 如果是最优的，yi是Ri的质心。标量量化是将区间上的点映射为质心的操作， 产生的量化误差定义为 最优标量量化器定义 16均方误差为 最优量化是使 最小，就可得如下解： （1）（2）是

5、非线性方程组， Lloyd给出了一种迭代法，给出了数值解。当均匀分布时，就构成了最优均匀标量量化器： 最优标量量化17 LBG算法18LBG算法希望设计一个具有K维N码字的码本空间的向量量化器，给出一个初始码本 其对应的量化器记为Q0若能找到一种新的码本 其对应的量化器记为Q1。则称量化器被优化了一次。 重复这个过程我们去寻找Y2, Y3, , Ym19初始化，给定N, 0，假设初始码本及训练集分别为 对于，对 训练集进行划分，将训练集分为如果停止，并令 为最终码本令 形成新的码本 否则继续。划分的原理为 :转向2）其中 是 中矢量的个数 LBG算法如果 那么 并计算20LBG算法的局限性最优

6、量化器是对于训练向量集而言的，对于实际的未经训练的输入向量是否还是最优的却很难说，这要依赖于训练向量集的代表性到底真实到何种程度。 由于优化分割的过程并没有依据什么数据结构方面的规则或限制，而是自由进行，这就使得对码本进行有效组织时遇到了极大的困难。在某些情况下根本无法找到真正具有代表性的训练向量集。 21用LBG算法对Lenna图像进行向量量化的结果，压缩后PSNR = 25.21dB 22本单元的内容量化变换编码预测编码23为什么变换变换是信号实现时域和变换域(频域)映射关系的运算通常经正变换将信号在变换域分解，然后由反变换重建信号：当 有当，有24为什么变换变换的本质就是将信号在一组基函

7、数上投影，得到一组投影值，即信号的变换域表达。变换的目的就是将一个实际的物理信号分解为变换域(频域)上有限的或无限的小的信号“细胞”，以便了解信号的性质，提取信号的有用信息25现有图像/视频编码国际标准的基本框架都是采用预测、变换、熵编码等技术将图像/视频信号压缩成一定码率的码流，其核心技术之一是变换。变换是对信号改造和加工的过程，它有助于去除信号中冗余（相关性）和实现信号能量集中，正是图像/视频编码技术的理论基础。实际应用中通常采用正交变换。为什么变换26图像/视频压缩处理中常用的变换包括： 离散傅里叶变换 DFT 离散余弦变换 DCT KarhunenLoeve变换 KL 离散小波变换KL

8、变换由于去除信号中的相关性最彻底，因而被称为“最佳变换”。但KL变换的基是不固定的，需要存储变换基，计算复杂性高，使得KL变换的应用不现实。为什么变换27为什么变换图像/视频压缩处理中常用的变换人们发现在信号满足一阶马尔科夫过程时，DCT是KL变换的很好的逼近。DCT有固定的基与明确的物理含义，使得DCT广泛应用于图像/视频压缩，成了变换编码的主要工具。静止图像压缩编码的国际标准JPEG和视频编码标准H.264都采用了DCT变换编码 28为什么变换变换通过将信号的能量集中在少数变换系数上给出信号的紧致表达，便于后续的压缩处理。对于图像而言，采用符合人的视觉系统特征的量化方式，大多数高频系数在量

9、化后会很小或者为零，量化后的变换系数矩阵变成了一个稀疏矩阵。选择适当的扫描方式将二维矩阵表示的系数表示为一维向量，使得一维向量表示的系数具有零系数连续出现的特点，这样通过行程编码可以得到高压缩比。29 KarhunenLoeve（KL）变换以图像统计特性为基础的一种正交变换，也称为特征向量变换或主分量变换KL变换的目的：去图像的相关性相关性：用协方差矩阵度量以下图像为例描述KL的算法 KL变换30KL变换 一幅256256图像分成1024个88的块 每个88的块按照行（或列）的顺序排成一个64维 的向量 向量 的维数 定义随机向量 使得其取值范围为 31KL变换 KL正变换 KL逆变换 A是正

10、交矩阵，mx是向量X的平均值 32KL变换 KL正变换 KL逆变换 A是正交矩阵，mx是向量X的平均值 如何选取A33向量X的协方差矩阵34为 Cx的特征向量和相应的特征值，特征向量已正交化处理A的定义实对称矩阵可正交相似对角阵，Cx是实对称矩阵35不妨将特征值按照递减的顺序排列降维重构的误差？原图像的重构（无损）原图像的降维重构（有损）36KL变换说明Y向量的协方差矩阵Cy非对角线元素是协方差，协方差为零，表示向量分量间的相关性甚小，X向量的协方差矩阵Cx非对角线元素非零，说明相关强。37KL变换说明KL变换后能量高度集中，压缩效果明显；KL变换是在最小方差意义下最优。主要缺点： KL变换的

11、矩阵计算复杂，该矩阵不是固定不变的，而是随着输入图像的不同而改变, 没有通用的变换矩阵和快速算法38 正变换 U=Tu 反变换 u=T-1u=UTu正交变换的特性39定义是 的 标准正交基对于 有正交变换的特性40定义是 的 标准正交基对于 有正交变换的特性41定义是 的 标准正交基对于 有？正交变换的特性42对于 有正交变换的特性43正交变换的特性 正变换 反变换 44正变换逆变换45常用的正交变换46余弦（DCT）变换 47偶延拓余弦（DCT）变换 48其中偶函数，正弦项 相互抵消余弦（DCT）变换 49余弦（DCT）变换 50考虑基底的标准化和正变换和逆变换的对称性正变换逆变换51考虑基

12、底的标准化和正变换和逆变换的对称性正变换逆变换基向量52垂直方向水平方向二维可分离变量的正交变换可分离变量变换通过分别对图像块列和行实施一维变换实现53垂直方向水平方向可分离变量变换通过分别对图像块列和行实施一维变换实现二维可分离变量的正交变换转置后继续对列实施变换相当于对行实施变换54垂直方向水平方向可分离变量变换通过分别对图像块列和行实施一维变换实现二维可分离变量的正交变换是正交矩阵55垂直方向水平方向可分离变量变换通过分别对图像块列和行实施一维变换实现二维可分离变量的正交变换基图像表达形式56列向量行向量二维可分离变量的正交变换可分离变量变换的基图像表达的一般形式：其中：57二维可分离变

13、量的正交变换可分离变量变换的基图像表达的一般形式：58二维可分离变量的正交变换可分离变量变换的基底（基图像）可分离变量变换的基图像表达的一般形式：59离散余弦变换(DCT)编码X的离散余弦变换(DCT)为Y, X ,Y是N N 块.逆变换IDCT正变换FDCT逆变换有形式60Example: N = 4对于44的 DCT变换，变换矩阵 A :离散余弦变换(DCT)编码61Example Calculating the DCT ofX is 44 block of samples from an image:离散余弦变换(DCT)编码62余弦变换基图像44 DCT Basis patterns8

14、 8 DCT Basis patterns离散余弦变换(DCT)编码63DCT transform离散余弦变换(DCT)编码64Reconstructed block变换后图像块的能量保持不变，并且图像块的能量集中在DC和低频部分，当只保留DC系数时，其他系数均设为0，逆变换重构的图像的每个像素值是原图像块的均值，重构的结果如图(a)所示，当只保留两个重要系数，其他系数均设为0时，重构结果为图(b)，图(c)和图(d)是保留3个重要系数和5个重要系数重构的结果。图(a)到 图(d)，重构的图像块越来越逼近原图像块。离散余弦变换(DCT)编码65原是图像数据变换系数后的量化表量化后的结果离散余弦

15、变换(DCT)编码6667JPEG (Joint Photographic Experts Group)是1986年制定的国际静态图像压缩标准，采取的核心压缩算法是DCT算法（Discrete Cosine Transform)。 离散余弦变换(DCT)编码68DCT算法在历史上起到了很重要的作用，一幅640480的彩色图像，大小为3640480921，600BYTE，使用64K/S的ISDN网络进行传输，大约需要1.9分钟。JPEG压缩后大约38，400 BYTE,传输只需要4.8秒。离散余弦变换(DCT)编码69这是512512的lena灰度图像，在JPEG压缩100倍后成像，已经在一定程

16、度意义上失去了应用价值 70尽管JPEG算法在过去和现在很多领域还发挥者巨大作用，但由于算法是将整体图像分割成小块（88或1616)进行变换，当压缩比高时由于数据损失，在块与块 之间就会出现分割的现象： 离散余弦变换(DCT)编码JPEG算法的问题71本单元的内容量化变换编码预测编码72预测编码：根据某一模型，利用信号以往的样本值对新样本值进行预测 , 对预测误差进行编码。对于相关性较强的信号，如果建立合适的模型, 误差信号的幅值将远远小于原始信号,从而可以用较少的电平类对其误差信号量化得到较大的数据压缩效果。 预测编码基本原理73问题：能否精确地预测数据源输出？ 答案 ： 否 数据源是不确定

17、的几乎没有一个实际的系统能找到可以精确预测输出的模型 能找到的最优预测模型是以某种最小误差意义下的预测模型。 预测编码基本原理74对于静止图像，由于相邻像素具有很强的相关性，这样当前像素的灰度（颜色）值可用前面已经出现的像素值进行预测，得到一个预测值，对实际值与预测值的差值进行编码，对于视频信号，图像帧间的相关性具有很强的相关性，通过帧间预测，对残差图像编码。预测编码是当今主流技术并且还会流行于未来。预测编码基本原理75预测编码PCM脉冲编码调制PCM（pulse code modulation） 输入是模拟信号，输出是PCM样本，低通滤波器可以滤除掉指定频带以外的信号，波形滤波器可以理解为采

18、样器。76预测编码PCMPCM 理论完善、研究最早、应用最广泛的编码技术，主要应用于语音通信。对于图像信号 灰度图像： 量化级别为256 ，8位的PCM编码 彩色图像： R,G,B或 Y,U,V彩色信号分别以8位 的PCM 编码77预测编码 DPCM差分脉冲编码调制 DPCM （Differential pulse code modulation）是预测编码方法中最主要的方法78预测编码 DPCMDPCM工作原理 源信号 预测信号 误差信号 量化 量化产生的误差 79预测编码 DPCMDPCM工作原理 理想系统重建信号信号的重建误差=量化误差 当解码器能精确地获得预测信号时80预测编码 DPCM 实际系统