[工学]信息论基础 --率失真函数 --练习与思考.ppt

2019/4/14,我相信，每一份努力，都会换来一份收获！,1,当一个人感到有一种力量推动他去翱翔时， 他是决不应该爬行的。 （美）海伦凯勒,2019/4/14,我相信，每一份努力，都会换来一份收获！,2,失真度 设离散无记忆信源为,第四章总结,2019/4/14,我相信，每一份努力，都会换来一份收获！,3,对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)0 i=1,2,n j=1,2,m 称 d(xi,yj) 为单个符号的失真度/失真函数。表示信源发出一个符号 xi，在接收端再现 yj 所引起的误差或失真。,2019/4/14,我相信，每一份努力，都会换来一份收获！,4,平均失真度定义 d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望，,2019/4/14,我相信，每一份努力，都会换来一份收获！,5,平均失真度意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性 p(xi) 、信道统计特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)，p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。,2019/4/14,我相信，每一份努力，都会换来一份收获！,6,允许平均失真度：率失真函数中的自变量 D，也就是人们规定的平均失真度 的上限值。 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度 D 的最小和最大值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选定的失真函数 d(xi , yj)，在平均失真度 的可能取值范围内。,2019/4/14,我相信，每一份努力，都会换来一份收获！,7,常用的失真函数 第一种 当a=1时称为汉明失真矩阵。 第二种/平方误差失真矩阵：d(xi,yj)=(yjxi)2,2019/4/14,我相信，每一份努力，都会换来一份收获！,8,单符号信源和单符号信道的信息率失真函数 在信源和失真度给定以后，PD 是满足保真度准则 的试验信道集合，平均互信息 I(X;Y) 是信道传递概率 p(yj /xi) 的下凸函数，所以在 PD 中一定可以找到某个试验信道，使 I(X;Y)达到最小，即 这个最小值 R(D) 称为信息率失真函数，简称率失真函数。 在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。,2019/4/14,我相信，每一份努力，都会换来一份收获！,9,求信息率失真函数的方法 信息率失真函数 R(D) 是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其 R(D)是不同的。,2019/4/14,我相信，每一份努力，都会换来一份收获！,10,对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明： 求极值问题 平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,n) 的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,n;j=1,2,m) 的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即,2019/4/14,我相信，每一份努力，都会换来一份收获！,11,特 性 信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有关，反映信道特性，与信源特性无关； 信息率失真函数 R(D)一旦求出后，就只与信源概率分布 p(xi) 有关，反映信源特性，与信道特性无关。 解决的问题 信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现； 信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。,2019/4/14,我相信，每一份努力，都会换来一份收获！,12,限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D0，和任意小的0，当信息率 RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。 信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。,2019/4/14,我相信，每一份努力，都会换来一份收获！,13,研究信道编码和率失真函数的意义 研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。 研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D 的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。,2019/4/14,我相信，每一份努力，都会换来一份收获！,14,习题1,7.1.设一个四元对称信源 接收符号为V=0,1,2,3,其失真矩阵为 求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到5个点）,2019/4/14,我相信，每一份努力，都会换来一份收获！,15,习题1,2019/4/14,我相信，每一份努力，都会换来一份收获！,16,习题2,7.2.若某无记忆信源 接收符号为V=-1/2,+1/2,其失真矩阵为 求Dmax,Dmin及达到它们的信道？,2019/4/14,我相信，每一份努力，都会换来一份收获！,17,习题2,2019/4/14,我相信，每一份努力，都会换来一份收获！,18,7.3.某二元信源 其失真矩阵为 求该信源的Dmax,Dmin和R(D)函数。,习题3,2019/4/14,我相信，每一份努力，都会换来一份收获！,19,习题3,2019/4/14,我相信，每一份努力，都会换来一份收获！,20,7.6.某二元信源 其失真矩阵为 求该信源的Dmax,Dmin和R(D)函数。,习题4,2019/4/14,我相信，每一份努力，都会换来一份收获！,21,习题4,2019/4/14,我相信，每一份努力，都会换来一份收获！,22,第一步：求i，由式(4.2.12)有,2019/4/14,我相信，每一份努力，都会换来一份收获！,23,第二步：求p(yj)，由式(4.2.11)有,2019/4/14,我相信，每一份努力，都会换来一份收获！,24,第三步：求p(yj/xi)，由式(4.2.10)有,2019/4/14,我相信，每一份努力，都会换来一份收获！,25,第四步：求D(S)，将上述结果代入式(4.2.14)有,2019/4/14,我相信，每一份努力，都会换来一份收获！,26,第五步：求R(S)，将上述结果代入式(4.2.15)有,2019/4/14,我相信，每一份努力，都会换来一份收获！,27,习题5,7.18.若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传递二个二元符号。 (1)试问信源能否在此信道中进行无失真的传输。 (2)若此信源失真度测定为汉明失真，问允许信源平均失真多大时，此信源就可以在信道中传输。,2019/4/14,我相信，每一份努力，都会换来一份收获！,28,习题5,2019/4/14,我相信，每一份努力，都会换来一份收获！,29,习题5,2019/4/14,我相信，每一份努力，都会换来一份收获！,30,设信源 ，其失真度为汉明失真度，试问当允许平均失真度 D=(1/2)p 时，每一信源符号平均最少需要几个二进制符号？,习题6,2019/4/14,我相信，每一份努力，都会换来一份收获！,31,解：失真矩阵,习题6,2019/4/14,我相信，每一份努力，都会换来一份收获！,32,设离散无记忆信源 其失真度