信息理论编码课程PPT第6章限失真信源编码

第6章限失真信源编码1无失真编码与有失真编码对比无损确定信道无失真编码的中心任务对冗余度进行压缩编码后熵不变，属保熵编码。有噪信道有失真编码的中心任务对信息率进行压缩编码后的信息率得到压缩，属熵压缩编码。有失真编码的失真范围受限，所以又称为限失真编码。无失真编码有失真编码信源编码的实质：对信源进行信息处理。信源信道（信源编码器）将编码器看作信道：2引入有失真的熵压缩编码的原因保熵编码并非总是必需的例：人眼无须接受信源发出的全部视觉信息保熵编码并非总是可能例：对连续信号进行数字处理时不可能根除量化误差降低信息率（熵压缩编码）有利于传输和处理连续信源的实际熵为无穷大

对连续信源进行熵压缩编码是绝对必需的保熵编码时需用无穷长的码元串传输无穷长的码元串势必造成无限延时3说明有失真的熵压缩编码主要针对连续信源，但其理论同样适用于离散信源。由于离散信源处理起来比连续信源简单得多，以下将从离散信源开始有失真编码的讨论。4主要内容6.1失真测度6.2信息率失真函数及其性质6.3限失真信源编码定理总结56.1失真测度将r×s个失真度排成矩阵形式:

衡量编码器输入符号与输出符号之间的误差或失真。——失真度（或失真函数）、非负实值函数失真矩阵

一般失真函数定义为

信源信道（信源编码器）6r×s个失真度——平均失真度或平均失真

取统计平均平均失真度信源信道（信源编码器）7例设信源取值于{0，1}，编码器输出取值于{0，1，2}，编码器相当于一个2元删除信道（BEC）。规定失真度或失真函数为求失真矩阵d。解：失真矩阵为8失真度的函数形式

失真度函数的选取原则：使用非负函数，其形式可根据实际需要而定。

误码失真：绝对失真：均方失真：相对失真：

9失真矩阵为：例：这种失真称为汉明失真例：对称信源r=s，定义失真度为：当r=s=3时，失真矩阵为：10符号序列的失真度

符号的失真度N长输入序列N长输出序列N长序列的失真度：N长序列的平均失真度：符号平均失真度当信源和信道（信源编码器）均无记忆时：

式中是符号平均失真度信源信道（信源编码器）11连续信源的平均失真度连续随机变量的平均失真度离散随机变量的平均失真度126.2信息率失真函数限失真编码：对平均失真度加以限制（保真度准则）！！这意味着对编码器（信道orPV|U）施加了相应的限制。限失真编码问题，就是对于给定的信源，在满足保真度准则的前提下，使信息率压缩到尽可能小。（1）保真度准则

（2）D允许(试验)信道：满足保真度准则的所有信道所有D允许信道的转移概率组成一个集合

注：BD中任一转移概率PV|U都与一个D允许信道（编码器）对应。1.D允许(试验)信道信源信道（信源编码器）132.信息率失真函数的定义保真度准则

所有D允许信道的转移概率组成一个集合

在BD中寻求一个PV|U（即寻求一个特定的编码器）使I(U;V)最小，这个最小的平均互信息量定义为信息率失真函数，简称为率失真函数，记为R(D)，即:信源信道（信源编码器）141、R(D)的定义域是(1)和允许失真度D的最小值为0，即不允许有失真，这时编码器相当于无噪信道。

R(0)的最大值为H(U)，即R(0)≤H(U)。3.信息率失真函数的性质

因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0。而就是在R(D)=0的情况下，的最小值。R(D)的值域是(2)和15信息率失真函数的性质

1、的定义域是

2、是D的下凸函数

3、是定义域上的非增函数

R(D)DH(U)Dmax016例设信源X，符号集为，等概分布给定失真测度为设计一种单符号压缩算法使得平均失真D=1/2，并求压缩后的信息传输率R.176.3限失真信源编码定理说明：

设离散无记忆平稳信源的信息率失真函数为，只要满足，当信源序列足够长时，一定存在一种编码方法，其译码失真小于或等于，其中是任意小的正数；反过来，若，则无论采用什么样的编码方法，其译码失真必大于D。香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在以下两方面的问题：1、符合实际信源的R(D)函数的计算相当困难。1）需要对实际信源的统计特性有确切的描述2）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，R(D)的计算也比较困难2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。18总结限失真信源编码的中心任务，是在允许的失真范围内（即失真范围受限），把编码后的信息率压缩到最小的编码方式。失真矩阵:

失真度（失真函数）：非负实值函数平均失真度：19这意味着对编码器（信道、PV|U）施加了相应的限制。D允许信道：满足保真度准则的信道。所有D允许信道的转移概率组成一个集合

保真度准则：如果要求平均失真度D小于某个给定的值D，即要求信息率失真函数：BD中任一转移概率都与一个D允许信道（编码器）对应，在BD中寻求一个PV|U（即寻求一个特定的编码器）使I(U;V)最小，这个最小的平均互信息量称为信息率失真函数，简称为率失真函数，记为R(D)，即20香农第三定理

设离散无记忆平稳信源的信息率失真函数为