限失真信源编码之第七章

1,第7章 限失真信源编码,2,内容提要 数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R (D) 就是在给定失真测度条件下，对信源熵可压缩的最低程度。本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R (D) 的计算很烦琐，一般情况只能用参数法求解。,3,第7章 限失真信源编码,7.1 失真测度7.2 信息率失真函数7.3 信息率失真函数的计算7.4 限失真信源编码定理和逆定理7.5 熵压缩编码具体方法,4,7.0 导言,为了追求更有效的压缩或传输，对有些信息可以允许有一定的失真，例如某些图像和语音的应用。 另一方面，由于受到信息存储、处理或传输设备的限制，而不得不对信源输出的信号作某种近似的表示。,在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R(D)。,5,7.1 失真测度,什么是失真？,如何度量失真的大小？,显然，不同的应用有不同的度量方法，不同的人对失真的看法也可能不一样。,失真测度d( x, y ),平方误差失真测度,绝对值误差失真测度,6,7.1.1 失真函数,7,失真矩阵,常用的失真函数,8,常用的失真函数(2),9,绝对值误差失真测度,信源输出符号X = 0, 1, 2，信道输出符号Y= 0, 1, 2，给出失真测度 d i j= xi -yj i, j= 0, 1, 2 则失真测度矩阵为,10,长为N的信源符号序列的失真函数,11,12,7.1.2 平均失真,注意以上是针对单个符号信源，我们还需要考虑长度为N的信源符号序列的情况。,13,14,7.2 信息率失真函数,7.2.1 D失真许可信道,15,D失真许可信道,7.2.2 信息率失真函数的定义,16,信息率失真函数,17,关于率失真函数的讨论,18,7.2.3 率失真函数R(D)的性质,19,7.2.3 率失真函数R(D)的性质,1. R(D)的定义域,20,关于定义域的讨论,21,22,23,关于上界的讨论,前面讨论的是R(D)定义域的下界问题，接下来讨论其上界问题,24,25,2. R(D)是关于D的下凸函数 （证明过程不要求）,率失真函数R(D)的性质,3. R(D)在定义域内是严格递减函数（证明过程不要求）,（证明过程不要求）,26,27,7.3 率失真函数的计算,7.3.1 应用参量表示式计算R(D),28,R(D)的计算,29,30,31,我们用一个例子来看一下R(D)的具体求解过程,32,例7.6（续1）,33,例7.6（续2）,34,例7.6（续3）,35,例7.6（续4）,36,37,例7.7（续1）,38,例7.7（续2）,39,40,例7.8（续1）,41,例7.8（续2）,42,7.3.2 二元信源和离散等概率信源的R(D),43,例7.9（续1）,44,例7.9（续2）,45,例7.9（续3）,46,例7.10（续1）,47,例7.10（续2）,48,49,50,51,52,53,54,7.4 限失真信源编码定理和逆定理,7.4.1 限失真信源编码定理,55,说明:(1)如果是二元信源，对于任意小的 0，每一个信源符号的平均码长满足如下公式,则 在失真限度内使信息率任意接近R（D）的编码方法存在。,(2) 该定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知，因而就不能像无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上，迄今尚无合适的可实现的编码方法来接近R（D）这个界