信息论第7章北理工课件

1、1第七章 保真度准则下的信源编码第一节 失真度和平均失真度第二节 信息率失真函数及其性质第三节 离散信源的信息率失真函数第五节 保真度准则下的信源编码定理 第六节 联合有失真信源信道编码定理第七节 有失真信源编码定理的实用意义第四节 连续信源的信息率失真函数1第七章 保真度准则下的信源编码第一节 失真度和平均失真度第7.1 失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 7.1 失真度和平均失真度 在实

2、际生活中，人们不一定要(1) “消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C 的传输率来传送信息。反之，若R C，则传输总要失真。完全无失真传送不可实现：实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。一、引 言(1) “消息完全无失真传送”的可实现性一、引 言(2) 实际中允许一定程度的失真 技术发展的需要随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理

3、大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，要想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源。如海洋地球物理勘探遥测数据，用60路传感器，每路信号1KHz，16位A/D量化，每航测1Km就需记录1盘0.5英寸的磁带，一条测量船每年就可勘测15000Km，数据流之大可见一斑。(2) 实际中允许一定程度的失真实际生活中的需

4、要实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。有些失真没有必要完全消除。实际生活中的需要在允许一定程度失真的条件下，能够把信源信息压缩到什么程度,即:最少需要多少比特数才能描述信源.也就是 在允许一定程度失真的条件下,如何能快速的传输信息.这就是信息率失真理论.在允许一定程度失真的条件下，能够把信源信息压缩到什么程度,即(3) 信息率失真理论信息率失真

5、函数香农定义了信息率失真函数R(D)。定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。(3) 信息率失真理论我们将信道编码和译码都看成是信道的一部分。又根据信道编码定理，我们可以把信道编码、信道、信道译码这三部分看成是一个没有任何干扰的广义信道。这样收信者收到消息后所产生的失真(或误差)只是由信源编码带来的。从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。为了定量地描述信息传输率和失真的关系，我们用虚拟手法

6、拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率来描述编、译码前后的关系。一般此信道称为试验信道。我们将信道编码和译码都看成是信道的一部分。信源编码信道编码信道信道译码信源译码信源信宿信源编码信道*信源译码信源信宿信源信宿试验信道UVp(vj/ui)信源编码信道编码信道信道译码信源译码信源信宿信源编码信道*信现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。设信源变量为 ，其概率分布为 对于每一对(ui,vj)，我们指定一个非负的函数二、失真度（或称失真函数）

7、接收端变量为 称为单个符号的失真度（或称失真函数）现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编 失真函数用来表征信源发出一个符号ui，而在接收端再现成符号vj 所引起的误差或失真。d(ui, vj)越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：我们称它为失真矩阵。 失真函数用来表征信源发出一个符号ui，而在接收端再现常用的失真函数第一种当i=j时，U与V的取值一样，用V来代表U就没有误差，所以定义失真函数为0；当ij时，用V代表U就有误差。这种定义认为对所有不同的i和j引起的误差都一样，所以定义失真函数为常数a。失真矩阵的特点是对角线上的元素均为

8、0，对角线以外的其它元素都为常数a。常用的失真函数当a=1时的失真函数称为汉明失真函数。 第二种：d(ui,vj)=(vjui)2这种函数称为平方误差失真函数，失真矩阵称为平方误差失真矩阵。若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平方表示。失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。当a=1时的失真函数称为汉明失真函数。三、平均失真度若已知试验信道的传递概率，则平均失真度为： 若平均失真度 不大于我们所允许的失真限度D，我们称此为保真度准则。凡满足保真度准则的这些试验信道称为D失真许可的试验信道

9、。把所有D失真许可的试验信道组成一个集合，用符号BD 表示。三、平均失真度若已知试验信道的传递概率，则平均失真度为： 平均失真度的意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(ui) 、信道统计特性p(vj/ui )和失真度d(ui,vj)的函数 。当p(ui)，p(vj/ui )和d(ui,vj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。平均失真度的意义N 次扩展信道的平均失真度N次扩展单符号离散无记忆信源Uu1,u2,ur的N次扩展信源UN =u1u2uN

10、，在信道中的传递作用相当于单符号离散无记忆信道的N次扩展信道，输出也是一个随机变量序列VN =V1V2VN 。此时输入共有rN个不同的符号信道的输出共有sN个不同的符号N 次扩展信道的平均失真度定义离散无记忆信道U P(V/U) V的N次扩展信道的输入序列i和输出序列j之间的失真函数为上式说明：离散无记忆信道的N次扩展信道输入输出之间的失真，等于输入序列i中N个信源符号ui1,ui2,uiN各自通过信道U P(V/U) V，分别输出对应的N个信宿符号vj1,vj2,vjN后所引起的N个单符号失真d(uik ,vjk)(k=1,2, ,N)之和。定义离散无记忆信道U P(V/U) V的N次N次扩

11、展的失真度 定义N次离散无记忆扩展信源和信道的平均失真度为 ，则N次扩展的失真度 “N次扩展”与“单符号”平均失真度的关系由扩展信源和扩展信道的无记忆性有 “N次扩展”与“单符号”平均失真度的关系实际上， (k=1,2, ,N)是同一信源U在 N个不同时刻通过同一信道U P(Y/U) Y所造成的平均失真度，因此都等于单符号信源U通过信道U P(Y/U) Y所造成的平均失真度，即上式说明：离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的N倍。实际上， (k=1,2, ,N)是同一信源U在N次扩展的保真度准则 离散无记忆N次扩展信源通过离散无记忆

12、N次扩展信道的保真度准则为 凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD 表示。N次扩展的保真度准则 离散无记忆N次扩展信源通过离散7.2 信息率失真函数及其性质1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在BD 中找一个信道，使平均互信息最小（求极小值）。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。7.2 信息率失真函数及其性质1、信息率失真函数 改变单符号信源和单符号信道的信息率

13、失真函数在信源和失真度给定以后，BD是满足保真 度准则 的试验信道集合，平均互信息I(U;V)是信道传递概率p(vj /ui)的下凸函数，所以在BD中一定可以找到某个试验信道，使I(U;V)达到最小，即这个最小值R(D)称为信息率失真函数.物理意义：对于给定的信源，在 的条件下，信息率允许压缩到的最小值。单符号信源和单符号信道的信息率失真函数“N次扩展”的信息率失真函数 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，在所有满足保真度准则 的N维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值RN(D)，这个最小值称为它的信息率失真函数。由信源和信道的无记忆性，可以证

14、明RN(D)=NR(D)。“N次扩展”的信息率失真函数例:设信源有2n种不同的符号，即， 且该信源为一等概信源，即 若选定失真函数为汉明失真如允许的平均失真为D=0 即：不允许有失真，则必须用下图所示的信道进行传输。此时信道的信息传输率例:设信源有2n种不同的符号，即，若D=1/2，为了满足保真度准则，我们用下列信道进行传输。 此时这个信道（信源编码方法）的平均失真为 保真度准则要求 为了能用尽保真度准则所规定的允许失真范围，可取 由于这个信道的传递概率等于1或0，所以噪声熵一定为0若D=1/2，为了满足保真度准则，我们用下列信道进行传输。 信息论第7章北理工课件这表明：如允许平均失真达到规定

15、值 ，那么我们就可以只要传送 这n个符号，并以 来代替 这n个符号，以致使信息传输率降低了 ，即信源输出信息率可压缩 所求得的 如能求出 ，则信源输出信息率可望进一步压缩。此例子使我们初步领悟到信息率失真函数的含义和作用这表明：如允许平均失真达到规定值 ，那么我们就可以只要2.信息率失真函数的性质(1) 信息率失真函数的定义域什么是率失真函数的定义域允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度 的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许失真限度D 的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(ui ,v

16、j)，在平均失真度 的可能取值范围内。2.信息率失真函数的性质(1) 信息率失真函数的定义域（1）失真度限度的最小值Dmin 这就是不允许有任何失真的情况。此时要求失真矩阵中每行至少有一个零元素，才能达到零。直观的理解就是，若信源要求无失真地传输，则信息传输率至少应等于信源输出的信息量-信源熵 R(0)=H(U)（1）失真度限度的最小值Dmin一般来说一般来说 欲让上式的和式最小，每一项均应最小，应选择合适的试验信道使和式最小。若令失真矩阵 D中某一行中的最小元素所对应的试验信道的转移概率为1，其余为0，则和式最小，即：则可得信源的最小平均失真度为： 欲让上式的和式最小，每一项均应最小，例:设

17、信源为 信宿为(0,1)失真矩阵为计算得例:设信源为 信宿为(0,连续信源有 。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真,并且R(D )为有限值时，传送才是可能的。 信息论第7章北理工课件（2）失真限度的 最大值Dmax根据R(D)的定义知，R(D)是在一定的约束条件下平均互信息的极小值。已知平均互信息是非负的，其下限值为零。由此可得，R(D)也是非 负的，它的下限值也为 零。所以当R(D)等于零 时，所对应的平均失真 度的下界就是失真限度 的 最大值 Dmax。如图所 示。（2）失真限度的 最大值Dmax根据R(D)的

18、定义知，R(设：当 时，R(D)已达到下限值“0”。若失真限度更大时，即当DDmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入U和输出V统计独立。此时 而Dmax就是在R(D)=0时所对应的平均失真度的最小值。设：当 时，R(D)已信息论第7章北理工课件则可得输入U和输出V统计独立条件下的最小平均失真。则可得输入U和输出V统计独立条件下的最小平均失真。例4.1.1 二元信源 ，相应的失真矩阵为 ，计算Dmax 及相应的试验信道矩阵。先计算Dj ： D10.6 D2=0.4所以 Dmax=min(D1 , D2)=0.4相应的试验信道矩阵为例4.1.1 二元信源

19、 ，相应的失真矩阵为结 论R(D)的定义域为 (Dmin, Dmax)；一般情况下Dmin =0， R(Dmin)=H(U)；当DDmax时， R(D)=0；当DminD Dmax时， 0R(D)H(U)。结 论信息率失真函数的性质2、 率失真函数对允许平均失真度的下凸性对任一01和任意平均失真度D，DDmax，有 RD+(1)DR(D)+(1)R(D)3、 率失真函数的单调递减和连续性由于函数R(D)具有凸状性，保证了它在定义域内是连续的。在DminD Dmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域0, Dmax内，除某些特例外，S将是D的连

20、续函数。当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大1、连续信源的信息率失真函数的参量表达式2、高斯信源的信息率失真函数7.6 连续信源的信息率失真函数1、连续信源的信息率失真函数的参量表达式7.6 连续信源的条件信源XR=(,) 信源X的概率密度函数为p(x)信道的传递概率密度函数为p(y /x)信宿YR=(,)信宿Y的概率密度函数为p(y)X和Y之间的失真度d(x,y)01、连续信源的信息率失真函数的参量表达式条件1、连续信源的信息率失真函数的参量表达式平均失真度为平均互信息为平均失真度为BD为满足保真度准则 的所有试验信道集合。信息率失真函数为相当于离散信源中求极小值，严

21、格地说，连续集合未必存在极小值，但是一定存在下确界。R(D)函数的参量表达式：一般情况，在失真度积分存在情况下， R(D) 的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。BD为满足保真度准则 的所有试验信道集合。(1) 高斯信源特性及失真度设连续信源的概率密度为正态分布函数数学期望为方差为定义其失真函数为d(u,v)=(uv)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。2、 高斯信源的信息率失真函数(1) 高斯信源特性及失真度2、 高斯信源的信息率失真函数信息论第7章北理工课件信息论第7章北理工课件根据詹森

22、不等式：根据詹森不等式：信息论第7章北理工课件下面讨论 取不同值时的R（D）函数值12下面讨论 取不同值时的R（D）函数值12(2) 曲线图说明 曲线如右图所示。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。(2) 曲线图说明当D=2时，R(D)=0 ：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当D=0时，R(D)：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；当D=2时，R(D)=0 ：这就是说，如果允许

23、失真（均方误当0D2时：即允许一定的失真，传送信源的信息率可以降低，意味着信源的信息率可以压缩，连续信源的率失真理论正是连续信源量化、压缩的理论基础。当D=0.252时，R(D)=1比特/符号：这就是说在允许均方误差小于或等于0.252时，连续信号的每个样本值最少需用一个二进制符号来传输。由香农第三定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法很困难的。当0D2时：即允许一定的失真，传送信源的信息率可以降低信道容量与信息率失真函数的比较 从数学上说，信道容量和信息率失真函数的问题，都是求平均互信息极值问题，有相仿之处，故常称为对偶问题。(1) 求极值问题(2) 特性(

24、3) 解决的问题信道容量与信息率失真函数的比较 从数学上说，信道容量(1) 求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,n)或概率密度函数p(x)的上凸函数，根据上凸函数定义，如果I(X;Y)在定义域内对p(xi) 的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(vj /ui)或条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下，I(X;Y)对p(vj /ui) 的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问

25、题，即(1) 求极值问题(2) 特 性信道容量C一旦求出后，就只与信道转移概率p(yj /xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。(2) 特 性(3) 解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。(3) 解决的问题CR(D) 的上凸函数 的下凸函数 的极大值 的条件极小值 的函数 的函数仅与信道特性有关仅与信源特性有关解决可靠性问题解决有

26、效性问题信息传输的基础信源压缩的基础CR(D) 的上凸函数 的下凸7.7 保真度准则下的信源编码定理 定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为而编码后的平均失真度如果用二元编码，则： 该定理称为香农第三定理。它告诉我们，对于任何失真度D，只要码长足够长，总可以找到一种编码C，使编码后的每个信源符号的信息传输率7.7 保真度准则下的信源编码定理 定理7.1 保真度 定理7.2（信源编码逆定理）不存在平均失真度D，而平均信息传输率 的任何信源编码。即对任意

27、码长n的信源码C，若码字个数 ，一定 该定理告诉我们：如果编码后平均每个信源符号的信息传输率R 小于信息率失真函数R(D)，就不能在保真度准则下再现信源的消息。 定理7.2（信源编码逆定理）不存在平均失真度D，而平均第六节 联合有失真信源信道编码定理 定理7.3 （信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足 则信源输出的信源序列能在此信道输出端

28、重现，其失真小于等于D。第六节 联合有失真信源信道编码定理 定理7.3 （ 定理7.5 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。 定理7.5 离散无记忆信源的S的信息率失根据信息-传输定理，我们可以认为信源编码器和信道编码器之间只是一些二元数据流。 只要满足式(7.185)后两编码器之间无需精心地设计。 信道编码器只需对输入进来的二元数据流进行编码，无需考虑这些数据流来自何方，无需考虑它来自什么样的信源。对信源编码器来说，只需针对信源考虑，考虑在满足允许失真要求的条件用最少的二元数据流来描述信源。也就是信源编码器只需产生二元数据流(也称信息流)，不用考虑数据流将流向何处。根据信息-传输定理，我们可以认为信源编码器和信道编码器之间这理论再一次地告诉我们，要在点对点的通信中有效可靠地传输信息，可以把信源编码和信道编码分成两部分进行考虑。这样可以把一个复杂的问题简单化了。正是这个理论指导了我们实际通信系统的设计。 对于实际的通信系统和通信技术来说，信源压缩编码和信道纠错编码正是两大不同的研究领域。 研究信源压缩编码的，只是针对不同的信源如文本、语