有关信息率失真函数的基本概念.ppt

1、2020/9/9,1,第4章 信息率失真函数,2020/9/9,2,信息率失真函数,主要内容： 限失真信源编码定理 信息率失真函数 保真度准则下的信源编码定理 教学基本要求： 掌握率失真函数的定义、性质、计算 掌握保真度准则下的信源编码定理 重点和难点： 率失真函数(离散信源，连续信源)的计算 保真度准则下的信源编码定理,2020/9/9,3,本章主要内容,4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源的R(D)的计算,2020/9/9,4,理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要 H(X)=C 则传输必失真。 实际上“消息完全无

2、失真传送”的不可实现性 要做到无失真信源编码，要求H(X)RC；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要求信息率R也无限大，要无失真传送，也就要求信道容量C必须为无穷大。 而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受影响。,2020/9/9,5,有些失真没有必要完全消除（限失真信源编码） 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话，即使语音信号有一些失真，接电话的人也能听懂。 放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映24幅静态画面

3、。 信息率失真理论信息率失真函数 香农定义了信息率失真函数R(D) 定理指出： 在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D).,2020/9/9,6,信息率失真函数极小值问题,I(X;Y)是P（X）和P（Y/X）的二元函数。 在讨论信道容量时： 固定P（Y/X）, I(X;Y)是P（X）的函数。离散情况下， I(X;Y)是 的上凸函数，因此必有I(X;Y)的极大值。 在讨论信息速率时： 固定 ,I(X;Y)是 的下凸函数，因此必有I(X;Y)的极小值。 但是若X和Y统计独立，即这样极小值就变成0，此时极小值就没有意义了。 引入一个失真函数R(D)，计算在失真度D一定的情况下，

4、信息率R的极小值,2020/9/9,7,信息率与失真的关系,信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真。 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越少，信道传输消息所需的信息率也越小。 描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。 信息率失真理论的应用： 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。,2020/9/9,8,4.1 主要内容,失真函数 平均失真 信息率失真函数 信息率失真函数的基本性质,2020/9/9,9,失真函数,由于信息率与失真有关，为了定量地描述

5、信息率和失真的关系，必须先规定失真的测度标准。即失真函数，失真函数 用来表示信源接收到的消息和发送的消息之间的误差。 具体地：每一对 ，指定一个非负函数 称为单个符号的失真度（失真函数），它表示信源发出一个符号 ，在接收端收到 所引起的误差或失真。该失真函数记作：,distortion,2020/9/9,10,失真函数,其它表示收发误差的失真函数： 平方误差失真函数或均方失真函数 绝对失真函数 相对失真函数,2020/9/9,11,单符号离散信源的失真函数,设离散无记忆信源为 信源通过转移概率矩阵P（Y/X） 的信道传输的接收端Y 接收端Y,2020/9/9,12,失真矩阵,要描述离散信源的所

6、有失真情况，必须用矩阵来表示：即失真矩阵，记作D 若一个信源没有正确的传输，所有符号的错误传输大小都为，则可写作对角线上为0，其余为,则该单符号离散信源的失真矩阵可以写作。,2020/9/9,13,失真矩阵,若=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为,2020/9/9,14,例：已知单符号离散无记忆信源X=0,1，Y=0,1，2，失真函数为 d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1； d(0,2)= d(1,2)=0.5， 求失真矩阵： 解：,2020/9/9,15,以上离散无记忆信源的N次扩展信源的失真函数：若发送和接收的消息分别为： 则N次

7、扩展信源的失真函数可定义为,2020/9/9,16,连续信源的失真函数,连续信源的失真函数 记作：d(x,y) 例：d(x,y)=(y-x)2,2020/9/9,17,平均失真,只能表示两个特定的具体符号 之间的失真。 平均失真：平均失真为失真函数的数学期望。可以表示信道平均传输每个符号所引起的失真的大小，是从总体上对整个系统失真情况的描述。 它是信源统计特性，信道统计特性和失真度的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了，而变成一个确定的量。 人们所允许的失真都是平均意义上的失真。,2020/9/9,18,平均失真,单符号离散无记忆信源的平均失真 N次扩展信源的平均失真（传

8、输每条消息引起的平均失真）,2020/9/9,19,所以，N次扩展信源的平均失真为（前提为：无记忆信源） 说明：离散无记忆信源的N次扩展信源通过N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍,2020/9/9,20,连续信源的平均失真,因为离散信源的平均失真：,2020/9/9,21,信息率失真函数,定义：给定信源和失真函数，要使信源的平均失真 (D为给定的失真上限)，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作R(D)。 信息率失真函数示意图,2020/9

9、/9,22,单符号离散无记忆信源的信息率失真函数,2020/9/9,23,单符号离散无记忆信源的N次扩展信源的信息率失真函数,2020/9/9,24,信息率失真函数的基本性质,率失真函数的定义域(0,Dmax) 1、当平均失真D=0时，率失真函数R(D)=R(0)=H(X) 说明，没有失真时，信源的全部信息量H(X)都将传入信道。 对于连续信源，因为绝对熵为无穷大，所以当D=0时，相当于无噪信道，此时 H(X)= 而实际信道传输容量有限，所以要实现连续信源的无失真传送是不可能的，只有允许一定的失真，使R(D)变为有限值，传送才有可能,2020/9/9,25,2、当D=Dmax时，R(Dmax)

10、=0。 分析：失真值D越大，R(D)越小 ，D大到一定程度，R(D)=0 现在将所有满足R(D)=0中D的最小值，定义为R(D)定义域的上限Dmax。 即 故：R(D)的定义域为（0，Dmax）,2020/9/9,26,相当于求Dj的最小数学期望 若Ds是所有Dj中最小的一个，则取p(ys)=1，其它p(yj)=0,此时Dj的数学期望必然最小,2020/9/9,27,例：已知二元信源 解：（1）求Dmax,2020/9/9,28,2020/9/9,29,（1）,2020/9/9,30,例：已知二元信源 解：（2）求Dmin,2020/9/9,31,(2),已知：,分析：达到Dmin时，即平均失真最小。需使每输入一个符号，选取失真矩阵该行的最小失真元素，令该位置对应的输出概率最大（取1），该行其它转移输出概率均为0，此时得到平均失真才为最小。,所以：R(Dmin)=R(0)=H(X),2020/9/9,32,二、R(D)是定义域(0,Dmax)上的严格单调递减连续下凸函数,2020/9/9,33,保真度准则