信息论与编码-第5章有失真信源编码.ppt

1、1,第5章 有失真信源编码,信息论与编码 Information and Coding Theory,王永容 机械与电气工程学院 ,2,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,3,实际通信系统允许一定的失真存在。,允许压缩信源输出的信息率。,4,5.1 信息率失真函数,编码器输入X：xia1, a2,an. 编码器输出Y：yjb1, b2,bm. 无失真: xi=yj 有失真: xiyj,失真函数d(xi,yj),5,5.1 信息率失真函数,失真矩阵,6,5.1 信息率失真函数,例5.1.1. 设信源符号X0,1, 编码器输出符

2、号Y0,1,2, 规定失真函数为 d(0,0 )= d(1,1)=0 d(0,1 )= d(1,0)=1 d(0,2 )= d(1,2)=0.5 则失真矩阵为,7,1,8,汉明失真,2,平方误差失真函数,9,5.1 信息率失真函数,均方失真： 绝对失真： 相对失真： 误码失真（适用于离散信源）：,适用于连续信源,10,由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度。,11,5.1 信息率失真函数,平均失真： 平均失真 是对给定信源分布p(xi) 经过某一转移概率分布为p(yj |xi

3、) 的有失真信源编码器后产生失真的总体量度。,12,5.1 信息率失真函数,序列编码的失真 输入：X=(X1, X2,XL)，样值为: x=(x1, x2, xL) 输出：Y=(Y1, Y2,YL)，样值为: y=(y1, y2, yL) 失真函数定义为：,序列编码的平均失真：,13,5.1 信息率失真函数,有失真信源编码器模型 信源编码目的 寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题 R越小，引起的平均失真就越大。 解决方法 给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码方案使得信息率R最小。,14,5.1 信息率失真函数,信源编码器 有干扰的假想信道 信息

4、传输率R I(X;Y),有失真信源编码器模型,15,5.1 信息率失真函数,若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率p(bj|ai)完全确定，所有满足平均失真小于等于门限D的信道集合,16,5.1 信息率失真函数,信息率失真函数 信息率失真函数R(D)的物理意义： 对于给定信源，在平均失真不超过失真限度D的情况下，信息率允许压缩的最小值为R(D) 。,离散无记忆信源的信息率失真函数,17,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,18,5.2 信息率失真函数的性质,单调性,19,5.2 信息率失真函数的性质,R

5、(D)的定义域: Dmin, Dmax 0 Dmin；R(Dmin)=H(X).,20,5.2 信息率失真函数的性质,Dmax:,21,5.2 信息率失真函数的性质,R(D)的值域 0 R(D) H(X).,22,5.2 信息率失真函数的性质,例：设输入输出符号表示为X=Y=0,1, 输入概率分布p(x)= 1/3,2/3, 失真矩阵为,求Dmin, R(Dmin), Dmax, R(Dmax)? 解: 当Dmin=0时, R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号.,当R(Dmax) =0时, 有,23,5.2 信息率失真函数的性质,R(D)是关于D的下凸函数(01

6、) R(D)是关于D的连续函数,24,5.2 信息率失真函数的性质,R(D)是关于D的严格递减函数 允许的失真越大,所要求的信息率越小,离散系统信息率失真曲线,连续系统信息率失真曲线,25,5.2 信息率失真函数的性质,信道容量与信息率失真函数的比较,26,5.2 信息率失真函数的性质,当p(xi)固定，互信息量I(X;Y)是信道转移概率概率分布p(yj|xi)的下凸函数,存在极小值。信息率失真函数就是假定信源给定的情况下,在试验信道（满足保真度准则的信道）中求平均互信息的极小值,即,信道容量与信息率失真函数的比较 当p(yj|xi)固定，互信息量I(X;Y)是输入符号概率p(xi)的上凸函数

7、,存在极大值.信道容量就是假定信道固定的前提下,选择一种试验信源，使平均互信息（信息率）最大,即,27,5.2 信息率失真函数的性质,信道容量反映的是信道传输信息的能力，即信道可传输的最大信息率。研究信道容量目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，即信道编码问题。信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现。 信息率失真函数反映的是信源可压缩的程度，即在可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。研究信息率失真函数目的是用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性问题，即信源编码问题，

8、是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。,信道容量与信息率失真函数的比较,28,5.2 信息率失真函数的性质,信道容量只与信道转移概率分布有关，反映信道特性，与信源无关。 信息率失真函数只与信源概率分布有关，反映信源特性，与信道特性无关。,信道容量与信息率失真函数的比较,29,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,30,5.3 限失真信源编码定理,定理. 设离散无记忆信源X的信息率失真函数为R(D),当信息速率R R(D)时, 只要信息序列长度L足够大，一定存在一个编码方法，其译码失真 D+， 为任意小的正数