相关信源编码.ppt

1、5.3 相关信源编码,5.3.1 预测编码 5.4 变换编码,常用的解除相关性的措施是预测和变换，其实质都是进行序列的一种映射。它们既适应于离散信源，也可用于连续信源。一般来说，预测编码有可能完全解除序列的相关性，但必需确知序列的概率特性；变换编码一般只解除矢量内部的相关性，但它可有许多可供选择的变换方法，以适应不同的信源特性。,预测编码是数据压缩三大经典技术（统计编码、预测编码、变换编码）之一，它是建立在信源数据相关性之上的。由信息理论可知，对于相关性很强的信源，条件熵可远小于无条件熵，因此人们常采用尽量解除相关性的办法，使信源输出转化为独立序列，以利于进一步压缩码率。,5.3.1 预 测

2、编 码,预测编码(Predictive Coding)是数据压缩三大经典技术(统计编码、预测编码、变换编码)之一。预测编码是建立在信号(语音、图像等)数据的相关性之上，较早用于信源编码的一种技术。 它根据某一模型，利用以往的样本值对新样本进行预测，以减少数据在时间和空间上的相关性，达到压缩数据的目的。,由于非线性的复杂性，大部分预测器均采用线性预测函数。科尔莫戈罗夫(Kolmogorov)、维纳(Wiener)、卡尔曼(Kalman)等人在20世纪40年代对线性预测理论就作出了杰出贡献，他们建立了以最小均方量化误差为准则的最优预测理论与方法，广泛应用于通信工程和航天航空飞行器的控制等方面，促进

3、了数字技术的迅速发展，形成了用于数据压缩的预测编码理论。,预测器对样本的预测，通常是利用样值的线性或非线性函数关系预测现时的系统输出。,要实现最佳预测就是要找到计算预测值的预测函数。,一、 预测编码的基本原理 对于有记忆信源，信源输出的各个分量之间是有统计关联的，这种统计关联性可以加以充分利用，预测编码就是基于这一思想的技术。它不直接对信源输出的信号进行编码，而是将信源输出信号通过预测变换后再对信源输出与被预测值的差值进行编码，其原理图如图3-1所示。,图31 预测编码原理图,设信源第i瞬间的输出值为ui，而根据信源ui的前k(ki)个样值，给出的预测值为,(31),式中：f（）预测函数。 f

4、可以是线性也可以是非线性函数。线性预测函数 的实现比较简单，这时预测值为,（32）,式中：aj预测系数。,则第i个样值的预测误差值为：,（33）,根据信源编码定理，若直接对信源输出ui进行编码， 则其平均码长 应趋于信源熵：,(34),若对预测变换后的误差值e进行编码，其平均码长 应趋于误差信号熵：,(35),显然，从信息论观点，预测编码能压缩信源数码率 的必要条件为,(36),可以证明预测差值的概率分布比原始信号的概率分布要集中，所以H(E)H(U)，则式（36）成立。信源通过预测以后数据压缩(或连续时的频带压缩)倍数就越大。,二、 预测方法 预测就是从已收到的符号来提取关于未收到的符号信息

5、，从而预测其最可能的值作为预测值；并对它与实际值之差进行编码，达到进一步压缩码率的目的。由此可见，预测编码是利用信源的相关性来压缩码率的；对于独立信源，预测就没有可能，因而预测编码也就无用了。 预测的理论基础主要是估计理论。估计就是用实验数据组成一个统计量，作为某一物理量的估值或预测值。,最常见的估计是利用某一物理量在干扰下测定的实验值，这些值是随机变量的样值，可根据随机量的概率分布得到一个统计量作为估值。 若估值的数学期望等于原来的物理量，就称这种估计为无偏估计；若估值与原物理量之间的均方误差最小，就称之为最佳估计。用来预测时，这种估计就成为最小均方误差的预测，所以也就认为这种预测是最佳的。

6、,1.线性预测 若样值和预测值之间呈线性关系,这种预测称为线性预测,否则称为非线性预测。常用的几种线性预测方案有： （1）前值预测，即 。 （2）一维预测，即用ur的前面已知的k个已知样值预测ur的值，预测公式如式（32）所示。 （3）二维预测，也称为非线性预测，即预测值与样值之间为非线性关系。,在图像数据压缩中，一维预测就是用同一扫描行中的前几个已知的样值预测一个新值，而二维预测就是不但要用ur的同一扫描行以前的几个已知的采样值，还要用ur的前几行中的采样值来预测ur 。,2.最优预测 最优线性预测就是按照某种准则,选择线性预测系数使得预测误差为最小。最基本、最常用的准则是均方误差(MSE,

7、MeanSq uareError），换句话说就是使 2e=Ee2r为最小。,三、预测编码的基本类型 预测编码，特别是线性预测编码已在信息与通信系统的信息处理中被广泛地采用，本章总结出了其中最常用的三种。,1DPCM型 DPCM即差分脉冲遍码调制，其工作原理如图32所示。 图32中，信源输出序列ui即为DPCM输入序列。ui与预测值 相减得误差值ei，再将ei量化成数字序列xi。经信道传输后变成yi序列。在接收端将接收到的yi与在接收端形成的预测值 相加，可得恢复后的信源序列 ,同时又将 反馈到接收端线性预测器,以求得下一瞬间的预测值 。由于预测误差ei的熵(或者方差)远远低于输入序列ui的熵(

8、或者差值)，所以经预测后可以很大程度地提高压缩信源的数码率。,图32 DPCM型原理图,差分脉码调制和增量调制这两种方法常用于语音编码，当然也能用于图像编码。语言和图像这两种常见的信源，邻值间的相关性一般都是相当强的，因为采样频率必须较高，才能保证质量。从采样定理可知，采样频率必须大于信号频带的两倍。对于语音信号，若频带过小，会丢失高频分量而影响音质。对于图像信号，频带意味着水平清晰度，频带不够就使图像模糊。采样频率足够高，相邻样值的时间间隔就小，相关系数就会接近1，适宜用差值编码。,2. DPCM编译码原理,最简单的DPCM是增量调制，又称为M。 这时差值的量化级定为2。也就是当差值为正时，

9、用“1”表示；差值为负时，用“0”代表。每个差值只需1比特。一般地说，要减少量化失真，则必须增加取样频率fm，即不能再采用常用的2fm，其中fm为信源上限频率。 在译码时，为相反变换，即规定一个增量值，当收到“1”时在前一个值中加上一个值作译码输出；收到“0”时，则在前一个值中减去一个值作为译码输出。,图35 DPCM增量调制编、译码原理,图36 DPCM增量调制编、译码器的输入、输出波形 （a）编码器输入及编码输出;（b）译码器的恢复波形,3.2 变 换 编 码,众所周知，信源序列往往具有很强的相关性，要提高信源的效率首先要解除信源的相关性。解除相关性可以在时域上进行(这就是上节中介绍的预测

10、编码)，也可以在频域，甚至在广义频域内进行，这就是要在本节中介绍的域变换编码。,在信号分析中，对连续的模拟信号，如果它是周期性的,则可采用傅氏级数展开，若是非周期性的,则可采用傅氏积分(变换)来表示，但无论是级数还是积分,都属于一类正交变换，是从时域展开成频域的变换。同理,对离散的数据序列信号也可引入同样的离散傅氏变换。而且，还可以进一步将其推广为广义的频域变换。,在这一节中，首先从解除相关性的需求入手，寻求最佳的域变换。 上一节讨论的在空间和时间域上压缩信源数据冗余量的预测编码的最大特点是直观、简洁、易于实现，特别是容易设计出具有实时性的硬件结构。但是预测编码的不足在于压缩能力有限。 具有更

11、高压缩能力的方法和目前最为成熟的方法是变换编码，特别是正交变换编码方法和目前尚处于研究阶段的小波变换编码，这两种方法都具有很强的数据压缩能力。,变换编码的基本原理就是将原来在空间域上描述的信号，通过一种数学变换(例如，傅里叶变换、正交变换等)变换到变换域(如频率域、正交矢量空间)中进行描述。 简单地讲，即把信号由空间域变换到变换域中，用变换系数来描述。这些变换系数之间的相关性明显下降，并且能量常常集中于低频或低序系数区域中，这样就容易实现码率的压缩，而且还大大降低了实现的难度。,一、 变换编码的基本原理 设信源输出为一个一维消息U(u1，u2，un)，经变换后输出为X(x1，x2，xn)，故有

12、： XPU 由正交性 A T AA 1 AI，则有： UP 1XP T X 式中： P实正交变换矩阵； P T 矩阵P的转置矩阵； P 1矩阵P的逆矩阵； I单位矩阵。,如果经正交变换后，只传送M（Mn）个样值，而将余下的n-M个较小的样值丢弃。这时接收端恢复的信号为,式中：,如何选择正交矩阵 P，使M值较小，且使被丢弃的nM个取值足够地小，以至于既能得到最大的信源压缩率，同时又使丢弃掉nM个取值以后，所产生的误差不超过允许的失真范围是我们关心的问题。 因此，正交变换的主要问题可归结为在一定的误差准则下，寻找最佳或准最佳的正交变换，以达到最大限度地消除原消息源之间的相关性。,1、 卡胡南列夫变

13、换(KLT),下面介绍几种常用的正交变换方法。,在变换编码方法中最关键的是正交变换的选择，最佳的正交变换是KL变换，这一变换的基本思想是由Karhunen和Loeve两人分别于1947年和1948年单独提出的，主要用于图像信源的压缩。由于KL变换使变换后随机矢量的各分量之间完全独立，因而它常作为衡量正交变换性能的标准，在评价其它变换的性能时，常与KL变换的结果进行比较。,KL变换的最大缺点是计算复杂，而且其变换矩阵与信源有关，实用性不强。为此人们又找出了各种实用化程度较高的变换，如离散傅里叶变换（DFT）、离散余弦变换（DCT）、沃尔什变换（WHT）等等，其中性能较接近KL变换的是离散余弦变换

14、（DCT），在某些情况下，DCT能获得与KL变换相同的性能，因此DCT也被称为准最佳变换。,2、离散余弦(DCT)变换 以求和形式表示的一维DCT定义为,(342),式中,（343）,其矢量形式为,式中：,离散余弦变换（DCT）形式为,离散余弦的反变换(IDCT)的求和形式为,(345),式中:,其矢量形式为,(346),离散余弦的反变换(IDCT)的形式为,(347),3.2.4 变换编码方法的特性 下面以图像信源为例，说明变换编码的特性。正交变换方法最重要的特点是能量主要集中分布在信号的低频或低序区域，使大多数变换系数为零或很小的数值。若在信源质量允许的条件下，可以舍弃能量较小的系数，或者分配其很少的比特，这就是正交变换能实现高压缩率的根本原因所在。 虽然DPCM方法也能使变换系数出现很多的零或小幅值系数，但是它的这些幅值分布在全空间范围内，对每个系数均需要编码。正交变换方法按统计规律集中分布在一定的区域上，无需对每个系数编码。,变换域中的能量与原来空间域中的信号能量保持不变。 正交