《编码理论》课件第9章

第9章限失真信源编码

9.1离散信源信息率失真理论9.2连续信源信息率失真理论9.3量化编码9.4预测编码9.5变换编码 9.1离散信源信息率失真理论

9.1.1失真函数及保真度准则

由于只涉及信源编码问题。所以可以将信道编码和译码看成是信道的一部分。这样接收者收到消息后所产生的失真（或误差）只是由信源编码带来的。从直观感觉可知，若允许失真越大，信息传输率可越小;若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真（或误差）是有关的。为了定量地描述信息传输率和失真的关系，可以略去广义的无扰信道，所谓广义无扰信道是指，把信道编码、信道、信道译码这三部分看成一个没有任何干扰的广义信道。这样通信系统可简化成如图9-1所示。图9-1简化的通信系统1．基本离散信源失真

设离散无记忆信源：信源符号通过信道传输到接收端，则接收端的接收量为对应于一对（u,v），定义一个非负函数：d(ui,vj)≥0，(i＝1，2，…，n；j＝1，2，…，m)(9-1)由于信源U有n个符号，而接收V有m个符号，所以d(ui,vj)就有n×m个，这n×m个非负的函数可以排成矩阵形式，即（9-2）称它为失真矩阵，它是n×m阶矩阵。

失真函数有多种形式，应尽可能符合信宿的主观特性；也就是主观上的失真感觉应与d(ui,vj)的值相对应。越大，所感觉到的失真也越大，而且最好成正比。当ui＝vj时，d应等于零，表示没有失真，当ui≠vj时，d为正值。设x为信源输出信息，y为信宿收到信息，则常用失真函数有：

均方失真： d(x,y)＝(x－y)2

绝对失真： d(x,y)＝|x－y|

相对失真： d(x,y)＝|x－y|/|x|

汉明失真：均方失真和绝对失真只与(x－y)有关，而不是分别与x及y有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量对数成正比，但在数学处理中就要困难得多。其实选择一个合适的失真函数，要完全与主观特性匹配已是非常困难的，更不用说还要易于数学处理。前三种失真函数适用于连续信源，最后一种失真函数适用于离散信源，汉明失真函数表示当接收符号与发出信道符号相同时，就不存在失真和错误，所以失真度为零。当接收到符号与发送符号不同时，就存在失真。而且认为只要发送符号与接收符号不同所引起的失真都相同，失真度为常数，这里常数值为1（称为汉明失真）。

[例9-1]二元对称信源，信源U＝{0，1}，接收变量V＝{0,1}在汉明失真定义下，失真函数为：

d(0,0)＝d(1,1)＝0

d(0,1)＝d(1,0)＝1它表示当信源发送符号0（或符号1）而接收到的符号仍是0（或符号1）时，则认为无失真或无错误存在。反之，若发送信源符号0（或符号1）而信宿接收符号1（或符号0）时，则认为有错误，并且这两种错误后果是等同的。失真矩阵为

[例9-2]设信源U＝{0,1},接收变量V＝{0,1,2}定义失真函数为：

d(0,0)＝d(1,1)＝0,d(0,1)＝d(1,0)＝1,d(0,2)＝d(1,2)＝0.5

则失真矩阵：

【例9－3】信源U＝{0,1,2},接收变量V＝{0,1,2},均方失真函数为d(ui,vj)＝(ui－vj)2,求失真矩阵。

解由失真定义得失真矩阵为因为信源U和信宿接收量V都是随机变量，所以单个符号失真度d(ui,vj)也是随机变量。那么，现在定义传输一个符号引起的平均失真，即信源平均失真为（9-3）式中ui

—信源输出符号，i＝1，2，…，n；

p(ui)—信源符号ui对应概率；

vj—信宿接收符号；j＝1,2,…，m；

p(vj|ui)—广义无扰信道传递概率。

单个符号的失真度d(ui,vj)描述了某个信源符号通过传输后失真的大小，对于不同的信源符号和不同的接收符号，其值是不同的。但平均失真度已对信源和信道进行了统计平均，所以此值是描述某一信源在某一广义无扰信道（或称为试验信道）传输下的失真大小，是从总体上描述整个系统的失真情况。

[例9-4]等概信源，通过信道转移概率矩阵P的信道传输，失真测度为均方失真测度，求平均失真。信道转移概率矩阵为０１２解:

2.N次扩展信源失真

从基本离散信源失真度出发，可以定义N次无记忆扩展信源的失真函数和平均失真度。扩展信源失真度（失真函数）：（9-4）式中：S——信源的一个输出序列，Y—信宿的一个接收序列，式（9－4）表明，扩展信源的失真度等于序列中对应单个信源符号失真度之和，单个符号失真度为d(S,Y)/N。

由此可得N次扩展信源平均失真度为（9-5）则单个信源符号平均失真度：（9-6）当信源与信道都是无记忆时，N次扩展信源平均失真度：（9-7）式中：—扩展信源中第l个分量平均失真度。此时单个信源符号平均失真度：（9-8）若平均失真度不大于所允许的失真D，即：（9－9）称式（9-9）为保真度准则。

N次扩展信源的保真度准则是：平均失真度D(N)不大于允许失真ND，即(9-10)

[例9-5]离散无记忆信源，离散无记忆信道分别为因失真测度为汉明失真测度。求平均失真及二次扩展信源的单个符号平均失真。解:由式（9-3）可计算得对上述信源作二维扩展，可得扩展信源概率分布为二次扩展信道矩阵由式（9-4）得二次扩展信源失真矩阵，将其除2得单个符号失真矩阵为由式（9-5）得二次扩展信源平均失或者根据式（9-8）也可得二次扩展信源平均失真9．1．2信息率失真函数

在信源给定，又定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给信宿的信息传输率R尽可能地小。或者说，在满足保真度准则下，寻找信源必须传输给信宿的信息率R的下限值。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息I(U；V)来表示，这就变成了在满足保真度准则的条件下（D

≤D）,寻找平均互信息I(U；V)的最小值。可以在D失真许可的试验信道集合BD中寻找某一个信道p(vj|ui)，使I(U；V)取最小值。由于平均互信息I(U;V)是p(vj|ui)的U型凸函数，所以在BD集合中，极小值存在。这个最小值就是在D

≤D条件下，信源必须传输的最小平均信息量。即：

（9-11）

（9-12）式中：S——信源的一个输出序列；

Y——信宿的一个接收序列；

BND——所有满足保真度准则D(N)≤ND的试验信道的集合。

在研究信息率失真函数R(D)时，引用的条件概率p(v|u)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。N次无记忆扩展信源的信息率失真函数RN(D)：

（9-13）9.1.3信息率失真函数定义域及性质

1．R(D)的定义域(Dmin,Dmax)

1)Ｄmin和R(Dmin)（9-14）（9-15）

则可得信源的最小平均失真度为（9-16）(9-17)

但是，式(9-17)能否成立是有条件的，它与失真矩阵形式有关、只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零时，式(9-17)才成立。否则R(0)可以小于H（U），它表示这时信源符号集中合些符号可以压缩，合并，而不带来任何失真。即（9-18）（9－18）

解：由式(9-16)可知最小允许失真度为

由式（9-15）得满足最小允许失真度的试验信道是一个无噪无损的试验信道，信道矩阵为[例9-7]设信源及失真矩阵分别为：信宿 求及其对应的信道。解：由式（9-16）计算得由式（9-15）可知，使平均失真度达到最小值的信道必须满足

[例9-8]改变例9-7的失真矩阵使，求对应失真矩阵Ｄ’及对应信道？

解：若失真矩阵改成失真矩阵Ｄ’与失真矩阵Dij之间满足则同样，集合中的信道必满足（9-19）(9-20)取最小值不取最小值(9-21)那么，通过试验信道的平均交互信息量(9-22)(9-23)的约束条件下，信宿V不需获取信源U任何信息量。当然，信源U也就不需输出任何信息量，均可满足保真度准则 。所以，这时的信源U的信息率失真函数为（9－24）[例9-9]设二元离散信源解：由（9-20）式得最大允许失真度j=22.函数的性质

无论是离散信源还是连续，函数都有以下特性：

(1)信息率失真函数有

或写成对于离散信源，只有当失真矩阵中每行至少有一个零元素，并每一列最多只有 一个零元素时，才有;(9-25)(9-26)(9-27)的条件下，使(9-28)最小化。在原则上，应用拉格朗日乘子法可以求出解来，但如果要得到明显的解析表达式，那是比较因难的，通常只能用参量形式来表达。即便如此，除简单情况外，实际计算仍然是相当困难的。尤其是对于约束条件式(9－25)，它是求解R(D)函数的最主要障碍。因为应用拉格朗日乘子法解得的一个或几个p(vj|ui)很可能是负的。在这种情况下，首先必须假设某些p(vj|ui)＝0，再重新计算，这会使得计算复杂化。目前，可采用有效的迭代算法在电子计算机上求解R(D)函数。(9-29)(9-30)式中计算公式(9-31)（9-32）极小值对应的试验信道9.1.5离散信源计算

对基本离散信源，若规定失真函数为汉明失真度，其失真矩阵对于一般试验信道的信道矩阵其平均失真度（9－34）（9－35）（9－36）试验信道集合BD中的所有试验信道的平均错误传递概率Pe都等于允许失真度D，即有（9－37）另一方面，由式(9－34)和(9－35)可知，式(9－37)中的的Pe数学表达式为（9－38）这个表达式在数学上与费诺不等式中的Pe完全相同，因此由费诺不等式有(9－39)（9－40）（9－41）这就是在汉明码失真度下，离散信源U的信息率失真函数的一般表达式。

【例9－10】设二元离散信源（9－42）这个信道是唯一的试验信道，其平均交互信息量就等于信息率失真函数：（9-43）因为（9-42）式所示信道矩阵中每列只有一个非零元素“1”，所以其疑义度，信息率失真函数（9－44）由式（9－20）得最大允许失真度为（j=2）（9－45）这个信道也是唯一的试验信道，其平均交互信息量就等于信息率失真函数:（9－46）显然，式（9－45）所示为试验信道的噪声熵H(V|U)=H(V)，所以,当允许失真度D取最大允许失真度 时，信源U的信息率失真函数为（9－47）允许失真度D处于最小允许失真度Dmin=0与最大允许失真度Dmax=ω之间，即0<D<ω，给定二元离散信源U的信息熵H(U)=H［ω,1-ω］=H(ω)，由式（9－41）可得给定二元离散信源U的信息率失真函数为在汉明失真度下，二元离散信源R（D）表达式（9－48）图9-2二元离散信源函数

由图9-2可看出，当二元离散信源U的概率分布确定时，信息率失真函数R(D)是允许失真度D的函数。允许失真度D越大，R(D)函数越小，信源U可压缩程度就越大；允许失真度D越小，R(D)函数就越大，信源可压缩程度就越小。另一方面，对于同一允许失真度D来说，信源U的概率分布ω越接近1／2，信源分布越均匀，R(D)函数越大，信源U可压缩程度越小；信源U的概率分布ω越不接近1／2，信源分布越不均匀，R(D)函数越小，信源U可压缩程度越大。9.1.6保真度准则下的信源编码定理

定理9－1（限失真信源编码定理）设离散无记忆信源U的失真函数为R（D），给定允许失真D，则当信息率R>R（D），只要信源序列长度L足够长，一定存在一种编码方法，其译码平均失真小于或等于D＋ε，即，ε为任意小的正数；反之，若R<R（D），则无论采用什么样的编码方法，其平均译码失真必大于D,即 。

如果是二元信源，对于任意小的ε(ε>0)，每一个信源符号的平均码长满足如下公式:

该定理指出，在失真限度内使信息率任意接近R（D）的编码方法是存在的，然而，要使信息率小于R（D），平均失真一定会超过失真限度D。这个定理证明了允许失真D确定后，总存在一种编码方法，使编码的信息传输率R大于R（D）且可任意接近R（D），而平均失真小于允许失真D。反之，若R<R（D），那么编码的平均失真将大于D。如果用二进制符号进行编码的话，在允许一定量失真D情况下，平均每个信源符号所需二元码符号的下限值就是R（D）。由此可见，信息率失真函数R（D）确实是在允许失真度为D的情况下信源信息压缩的下限值。当信源给定后，无失真信源压缩的极限值是信源熵H（U）；而有失真信源压缩极限值是信息率失真函数R（D）。第一类问题是，符合实际信源的R(D)函数的计算相当困难。首先，需要对实际信源的统计特性有确切的数学描述。其次，需要对符合主客观实际的失真给予正确的度量，否则不能求得符合主客观实际的R(D)函数。例如，通常采用均方误差来表示信源的平均失真度。但对于图像信源来说，当采用均方误差较小的编码方法时，人们视觉感到失真较大，所以，人们仍采用主观观察来评价编码方法的好坏。因此，如何定义符合主观和客观实际情况的失真测度就是件较困难的事。第三，即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，而信息率失真函数R(D)的计算还是较困难的。 9.2连续信源信息率失真理论

9.2.1连续信源数学模型及熵

基本连续信源数学模型为其中R是全实数集，是连续变量X取值范围，p(x)为x的概率密度。定义连续信源的熵（差熵）为：（9－49）

同理，可定义两个连续变量x，y的联合熵和条件熵：(9－50)(9－51)(9－52)这样定义的差熵具有可加性、凸状性和极值性，不存在非负性和变换不变性等。9.2.2连续信道互信息

设基本连续信道如图9－3所示。其输入和输出都是单个连续型随机变量的信道，可用模型{X,p(y｜x),Y}来描述单符号连续信道。图9-3基本连续信道

图9－3中，X是输入连续型随机变量，取值于［a,b］或实数域R；Y是信道输出连续型随机变量，取值于［a′,b′］或实数域R；信道的传递概率密度函数为p(y｜x),并满足：（9－53）信宿接收Y满足：信道输入X满足：(9-54)(9-55)定义X和Y之间平均互信息为：(9-56a)(9-56b)(9-56c)9.2.3连续信源的信息率失真函数

定义连续信源平均失真度为（9－57）式中：d(x,y)—连续信源失真函数；P(x)—连续信源X的概率密度；P(y|x)—信道传递概率密度。根据连续信源平均失真度的定义，可求得平均互信息I(X；Y)＝h(Y)－h(Y|X),则连续信源的信息率失真函数为（9－58）式中：BD—满足 所有广义无扰信道集合；inf—指下确界。严格地说，连续集合中可能不存在极小值，但下确界是存在的。 9.3量化编码

9.3.1均匀量化

标量量化中最简单的方法是均匀量化，也叫做线性量化。设量化器输入为x，对应的实数值域空间为R，量化器输出为y，对应的实数值域空间为Rc，则x和y的关系为y＝Q（x）（9－59）

设Rc对应取值范围[a0,an],a0可为负无限，an可为正无限，所谓均匀量化就是将区间[a0,an]分割为n个相等距离且互不重叠的子区间[ai,ai＋1]，取每个小区间的中点值作为量化值yi，即ai≤x≤ai＋1

时，yi＝(ai＋1＋ai)/2,若x的概率分布函数为P（x），则：（9－60）均匀量化的量化误差为e＝x－Q(x)＝x－yi(x)（9－61）量化器均方误差为（9－62）量化器输入方差为（9－63）可得量化器的信噪比SNR(SignalNoiseRate)为（9－64）

量化器一般有3个工作特性区域：

1)正常量化区

当输入x[ao,an]时，量化器能得到正常的量化输出；

2)限幅区

当x<ao

或x>an时，量化器只能分别输出常量ao＋Δ/2和an－Δ/2。量化器此时处于限幅或过载工作状态，将会产生较大的失真。

3.空载区

当－Δ/2<x－ai<Δ/2时，将有两种情况：

（1）当输入x＝ai时，由于某种因素，使得x稍高于ai，则量化器输出上一级量化值yi＋1；当输入x稍低于ai时；则输出下一级量化值yi－1，这时产生的误差为±Δ，量化器输出在两个量化级间往返跳动，形成一个矩形波输出，结果将产生量化时得点状噪声。

（2）输入x在ai之上或之下，量化输出分别输出恒定值yi

＝ai＋Δ/2或yi－1

＝ai－Δ/2。9.3.2最优量化

将样本值量化总是要带来误差的，因此，人们在设计量化器时，总希望其误差越小越好，即寻求最优量化误差。所谓最优量化,就是使量化器的均方误差σ2e为最小或量化器的信噪比SNR最大的量化。根据信息熵的理论可以推断，量化误差最小的最优量化器对量化器输入区间的分割应该是非均匀的。由于最优量化与p（x）有关，因而区间分割也与p（x）有关，尤其当N足够大时，可以近似认为在各个子区间［ai，ai＋1］上的概率分布p（x）为一常数，也就是说，在各子区间上可被视为均匀分布，即P（x）≈P（yi），x[ai,ai＋1](9－65)最优量化就是使量化器的均方误差σ2e为最小，将式（9－62）分别对ai和yi求导，并令其为零，即(9－66)(9－67)i＝1,2,…,n

(9－68)(9－69)

这里求出的ai和yi的值就是最优量化时的值。可见ai的最佳位置是输出yi－1和yi的中点,yi

最佳位置概率密度P(x)在ai

和ai＋1区间的概率中心。一般情况下，ai和yi是互相制约、相互依赖的，不容易求出解析解，所以只能用递推公式获得近似解。Max—Livod采用迭代方法如下：

(1)任取y0；

(2)由 ,计算a1；

(3)根据公式（9－68）计算y1；

(4)重复步骤(2)、(3)，分别计算出a2，y2，a3，y3…，直至最后求得yn－1；

(5)检验yn是否为［an－1，an］的概率中心，即式 是否成立，或在允许的一定的误差范围内成立；

(6)若步骤(5)满足，则过程结束;否则，重新选y0，并重复上述操作步骤。由上述可知，对于已知概率分布模型及其数字特征的数据过程，能较容易地依据概率分布安排量化器的电平划分，得到最小量化误差的最优量化器。如果概率分布是均匀的，那么，采用均匀量化器是较为理想的。对一些常见概率分布，如Gauss、Laplace、Gamma等其最优量化器是惟一存在的；而对于概率分布模型未知的随机过程，其优化量化器的设计较为困难，虽然Max-Livod算法能解决此问题，但在实现上仍是有较大难度的。主要原因是该算法不易用硬件实现，而且其执行时间也因y0的不同而不同。均匀量化器虽然不是最优量化器，但其设计思想简单，易于硬件实现，因此，在不少的数字化系统中至今仍然采用。然而，对于一些数字化后其数据量十分庞大的系统，若采用均匀量化器，势必要有大的存储空间，否则将影响其量化速度。这时最好采用记忆量化器(矢量量化)。倘若对量化精度要求较高，显然采用非均匀量化器要比均匀量化器好。9.3.3矢量量化

要想得到性能好的编码，仅采用标量量化是不可能的。在最佳编码中,如将离散信源的多个符号联合编码则可提高效率，而连续信源也是如此。当把多个信源联合起来形成多维矢量后再对矢量进行标量量化时，其自由度将更大，并且在同样的失真下，量化级数可进一步减少，码率可进一步压缩。我们把这种量化叫做矢量量化。

实验证明，即使各信源符号相互独立，多维量化通常也可压缩信息率，从而引起了人们对矢量量化的兴趣并成为当前连续信源编码的一个研究热点。可是当维数较大时，矢量量化目前尚无解析方法，则只能求助于数值计算；而且联合概率密度也不易测定，还需采用训练序列等方法。一般来说，高维矢量联合是很复杂的，虽已有不少方法，但其实现尚有不少困难，有待于进一步研究。设信源构成的矢量（矢量量化器输入）为：X＝（X1，X2，…，XN），Xj＝（xj1，xj2，…,xjk），XRK（K维欧几里德空间），把Rk划分成J＝2n个互不相交的子空间R1，R2，…，RJ，求出每个子空间的质心Yi，所有的Yi构成Y＝{Y1，Y2，…，YJ}，Y为量化器的输出空间，也叫码书（或码本），Yi叫码字或码矢，J叫码书的长度。

对J阶K维的矢量量化，实质上是判断输入矢量XjRk属于哪个子空间Ri，然后输出该子空间代表变量Yi，即：Yi＝Q（Xj），1≤i≤J，1≤j≤N

（9－70）这里Yi就是Xj的编码。实际编码时，在发送端只需记录代表变量Yi的下标i，所以编码过程是把X映射到I＝{1，2，…，J}；而译码过程是在接收端依据收到的I代码，查找码书Y，获得码字Yi，用来代替Xj。由于总的码字个数J一般远小于总的输入信号NK，所以矢量量化的压缩能力非常大。传输或存储一个变量所需比特为lbJ（一般J＝2n），它是一个K维变量，就是K个输入信号，所以每个输入信号的平均比特只有lbJ/K，称之为压缩比。适当选取码书长度J和码字维数K，可以获得很大压缩比。矢量量化中码书的码字越多，维数越大，失真就越小。只要适当地选择码字数量，就能控制失真量不越过某一给定值，因此码书控制着矢量的大小。矢量量化每输入一个矢量Xj，都要和J个码矢Yi逐一比较，搜索其最接近的码矢Yi。由于两者均为K维矢量，所以工作量很大。9.4预测编码

9.4.1基本原理对于有记忆信源，信源输出的各个分量之间是有统计关联的，这种统计关联性可以加以充分利用。预测编码就是基于这一思想的技术。它不直接对信源输出的信号进行编码，而是将信源输出信号通过预测变换后再对信源输出与被预测值的差值进行编码，其原理图如图9－4所示。图9－4预测编码原理图设信源第i瞬间的输出值为ui，而根据信源的前k(k<i)个样值，给出的预测值为：(9－71)式中：f（）为预测函数。

f()可以是线性函数也可以是非线性函数。线性预测函数实现比较简单，这时的预测值为（9－72）式中：aj为预测系数。则第i个样值的预测误差值为（9－73）根据信源编码定理，若直接对信源输出ui进行编码，则其平均码长Lu应趋于信源熵：(9－74)若对预测变换后的误差值e进行编码，其平均码长Le应趋于误差信号熵：(9－75)

显然，从信息论观点，预测编码能压缩信源数码率的必要条件为(9－76)由于信息熵是概率分布的泛函数，故概率分布越均匀，熵就越大；概率分布越不均匀，熵就越小。可以证明预测差值的概率分布要比原始信号的概率分布集中，即H(E)≤H(U)，所以式（9－76）成立。信源通过预测以后数据压缩(或连续时的频带压缩)倍数就越大。从预测编码原理可以看出，实现预测编码要进一步考虑三个方面的问题：首先是预测误差准则的选取，这个问题决定预测质量标准；其次是预测函数的选取；最后一个问题是预测器输入数据的选取。后两个问题决定预测质量的好坏。关于预测函数的选取，一般是采用工程上比较容易实现的线性预测，一旦线性方程确定下来，预测的精度与k值大小将有直接关系。k愈大，预测愈精确，但设备愈复杂；k愈小，精度愈差，但设备愈简化，所以k值大小要根据设计要求和实际效果而确定。关于预测器输入数据的选取，是指选取何处的原始数据作为预测器的输入依据。一般可分为开环、闭环和开环闭环两者的混合这三类。关于预测误差准则的选取，是指预测误差所依据的标准。目前大致可采用四种类型准则，它们分别是：最小均方误差(MMSE)准则；功率包络匹配(PSEM)准则；预测系数不变性(PCIV)准则；最大误差(ME)准则。其中,最小均方误差准则是最基本、最常用的准则;而预测系数不变性的主要特点是它预测系数与输入信号统计特性无关，因而能对多种混合信号进行有效的预测;最大误差准则主要用于遥测数据压缩。可以证明，在均方误差准则下，按条件期望值进行预测是最佳预测。然而它必须知道ui的联合概率密度函数，这一般是很困难的。但是对于广义平稳正态过程，只要已知二阶矩相关函数就等效于已知ui的联合概率密度函数。这时，线性预测与最佳预测是等效的。因为对正态信源，线性无关与统计独立是完全等效的。所以，能完全解除线性相关性的信源即是符合统计独立的无记忆信源。9.4.2预测方法

1.线性预测

若样值和预测值之间呈线性关系,则称为线性预测,否则称为非线性预测。常用的几种线性预测方案有：

（1）前值预测，即 。

（2）一维预测，即用ur前面已知的k个样值预测ur的值，预测公式如式（9－72）所示。

（3）二维预测，也称为非线性预测，即预测值与样值之间是非线性关系。

3.自适应预测

当信源是一个平稳随机过程时，可以使用固定参数预测器进行预测；当信源为非平稳过程或总体平稳，但局部不平稳时，再利用固定参数来设计预测器就不合理了。对这种信源应采用自适应预测编码的方法。所谓自适应预测，就是预测器的预测系数不固定，随信源特性而有所变化。如果充分利用信源的统计特性及其变化，重新调整预测参数，这样就使得预测器随着输入数据的变化而变化，从而得到较为理想的输出。有些信源的统计特性从整体上看是非平稳过程，但在一定的时间（或范围）内把它看做平稳过程，还是合理的，例如，图像的平坦区，语音信源的基音段。因此，可以把信源看成多个平稳子过程构成的组合信源。可以证明组合信源模型的熵低于把非平稳信源作为单一平稳信源的熵，这样采用自适应预测可进一步减小预测误差和降低数码率。自适应预测方法很多，一般可分为线性自适应预测和非线性自适应预测两大类。9.4.3

DPCM编译码原理

预测编码,特别是线性预测编码已在信息与通信系统的信息处理中被广泛地采用，差分脉码调制（DPCM）便是常用的一种。

1．DPCM型工作原理

DPCM即差分脉码调制，其工作原理如图9－5所示。图9-5DPCM型原理图

2．DPCM编、译码原理

实际应用预测来解除相关性从而压缩码率常采用差值编码或前值预测编码。这在信源序列的相关性很强和邻值间的相关系数接近1时是很有效的，也是最常被应用的方法。此时预测值是相邻两个符号值之差或者就是前一个符号的值，并对此预测值进行编码。这种方法不但可用于连续信源，也可用于离散信源。差分脉码调制(DPCM)和增量调制这两种方法常用于语音编码，当然也能用于图像编码。语音和图像这两种常见的信源，其邻值间的相关性一般都是相当强的，因此采样频率必须较高，才能保证质量。由采样定理可知，采样频率必须大于信号频带的两倍。对于语音信号，若频带过小，则会丢失高频分量而影响音质；而对于图像信号，频带即意味着水平清晰度，频带若不够就会使图像模糊。若采样频率足够高，相邻样值的时间间隔就小，其相关系数也就会接近1，因此适宜用差值编码。差值编码中的差分脉码调制的工作原理已在前面介绍过,下面介绍DPCM的编、译码原理。最简单的DPCM是增量调制，又称为M。这时差值的量化级定为2。也就是当差值为正时，用“1”表示；差值为负时，则用“0”代表。每个差值只需一比特。一般地说，要减少量化失真，则必须增加取样频率，即不能再采用常用的2，其中为信源上限频率。在译码时，为相反变换，即规定一个增量值，当收到“1”时在前一个值中加上一个值作译码输出；收到“0”时，则在前一个值中减去一个值作为译码输出。其原理图如图9-6所示，编译码器的输入输出波形如图9-7所示。如果在信道中不传送预测误差，而是传送线性预测器中的各项系数(参量)，往往传送参数所需的数码率远远低于传送原始信源数据的数码率。在接收端可以采用一随机噪声序列代替原来接收到的序列，则在一定条件下也可再现原始信源输出序列。显然，它也是一种变型线性预测编码，在语音压缩中，称它为线性预测声码器(Vocoder)，可见，它是DPCM的一个特例。由于在DPCM型中，量化器位于反馈环内故又称为闭环型，它可以使环内残存量化误差大为减少。

图9－6

DPCM增量调制编、译码原理图9－7

DPCM增量调制编、译码器的输入、输出波形（a）编码器输入及编码输出;（b）译码器的恢复波形由上述分析可见,估值和实际值之间存在着两类误差,一类是量化误差,另一类是过载误差。一般情况下，量化误差的绝对值小于Δ。当阶梯曲线跟不上连续曲线的上升斜率（或下降斜率）时而产生的误差称为过载误差（或失真）。当所选的级差Δ小时，易产生过载失真，此时的量化失真可较小；反之，Δ大时，量化失真将增大，而过载失真就减少。过载失真与信号的斜率有关，斜率越大，越容易出现过载。下面讨论量化误差对系统的影响。

由式(9－72)可知，线性预测器的响应为（9－77）其Z变换为（9－78）可见，线性预测器的响应为（9－79）式中：aj——第j项加权系数；k——预测阶次。由图9－5中接收部分的框图可知：（9－80）故（9－81）式(9－81)表明,线性预测器为一全极点滤波器，故又称为全极点模型。DPCM预测误差信号为（9－82）经过量化后为：(9－83)式中：qi——量化误差(或量化噪声)。在接收端恢复后的重建信号为(无传输差错时)（9－84）将式(9－82)、(9－83)代入式(9－84)得：（9－85）

9.5变换编码

X＝PU(9－86)由正交性ATA＝A－1A＝I，则有U＝P－l

X＝PTX

(9－87)式中：P—实正交变换矩阵；

PT—矩阵P的转置矩阵；

P－l—矩阵P的逆矩阵；

I—单位矩阵。如果经正交变换后只能传送M（M<n）个样值，而将余下的n-M个较小的样值丢弃。这时接收端恢复的信号为(9－88)式中：如何选择正交矩阵P，使M值较小，且使被丢弃的n－M个取值足够地小，以至于既能得到最大的信源压缩率，同时又使丢弃掉n－M个取值以后，所产生的误差不超过允许的失真范围是我们所关心的问题。因此，正交变换的主要问题可归结为：在一定的误差准则下，寻找最佳或准最佳的正交变换，以达到最大限度地消除原消息源之间的相关性。正交变换为什么能解除相关性呢？下面讨论这个问题。由矩阵代数理论可知：对于任意两个随机变量x、y间的相关性可以用x、y的协方差(相关距)来表示。一个信源变量U的各分量间的相关性用信源各分量间协方差矩阵ΦU表示，其定义为（9－89）可以证明U的协方差矩阵ΦU是一个实对称矩阵，它能反映变量U各分量间的相关性。若各分量之间互不相关，则协方差矩阵ΦＵ只有主对角线上有非零元素。主对角线上的非零元素代表各分量间的方差，即自相关性；非对角线上的元素表示各分量之间的协方差，即互相关性。

由矩阵代数可知，对于一个实对称矩阵A(A＝AT的矩阵)，必存在一个正交矩阵P，使得：（9－90）式中：λ1λ2…λn——实对称矩阵A的n个特征根。信源U经正交变换后的输出X协方差矩阵可定义为（9－91)式中：ΦX——信源U正交变换后的信号X的协方差矩阵；X——信源U经正交变换后的矢量；P——正交变换矩阵；PT——正交变换矩阵P的转置矩阵。为了达到信源压缩的目的，希望通过矩阵P的正交变换后，ΦX只保留主对角线上的部分自相关值，即希望其值随i与j值增大而迅速减小，从而只需取M（M<n）个数值。同时希望各互相关分量均为0,即最大限度地消除原来信源间的相关性。这也就是研究正交变换的主要指导思想。下面给出最佳的正交变换和准最佳的正交变换的概念。所谓最佳，是指在一定的条件（即准则）下的最佳，而这些准则既有客观的，也有主观的。这里是按照客观统计上的最小均方误差准则(MMSE)寻求最佳的正交变换。最佳变换是指变换后的协方差矩阵ΦX为理想对角线矩阵,这表明,经正交交换后完全消除了互相关性。所谓准最佳变换，是指变换后的协方差矩阵ΦX是近似对角形矩阵。由矩阵代数的相似变换理论可知，任何矩阵都可相似于约旦(Jordan)标准型所构成的矩阵。而约旦标准型就是准对角形矩阵，即矩阵的主对角线上均为特征值λi(i＝1，2，…，n)，而在对角线下仅有若干个不为0的1值。而所谓相似变换，是指总能找到一非奇异矩阵P使得P－1AP＝B，这时称A与B相似，如果P为正交矩阵，则有P－1AP＝PTAP