信息论与编码-第四章课件

信息论与编码-信息率失真函数信息率失真函数平均失真率和信息率失真函数失真函数、平均失真、信息率失真函数及性质离散信源和连续信源率失真函数的计算信息论与编码-信息率失真函数对于连续信源，因为其绝对熵为无限大，若要求无失真地对其进行传输，则要求信道的信息传输率也为无限大，这是不现实的。因此也就不可能实现完全无失真传输。即使对于离散信源，由于处理的信息量越来越大，使得信息的存储和传输成本很高，而且在很多场合，过高的信息率也没有必要，信息论与编码-信息率失真函数例如：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏没有影响。又如对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量，当然要在一定的限度内。等等这些，都决定了限失真信源编码的重要性。信息论与编码-信息率失真函数在限失真信源编码里，一个重要的问题就是在一定程度的允许失真限度内，能把信源信息压缩到什么程度，即最少用多少比特数才能描述信源。这个问题已经被香农解决。香农在1948年的经典论文中已经提到了这个问题，在1959年，香农又在他的一篇论文“保真度准则下的离散信源编码定理”里讨论了这个问题。研究这个问题并做出较大贡献的还有前苏联的柯尔莫郭洛夫（Kolmogorov）以及伯格（T.Berger）等。信息论与编码-信息率失真函数信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，包括信源的失真度和信息率失真函数的定义与性质，离散信源和连续信源的信息率失真函数计算信息论与编码-信息率失真函数平均失真和信息率失真函数失真函数设某信源输出的随机变量为X，其值集合为，经过编码后输出为，设对应，如果则认为没有失真。当时，就产生了失真，失真的大小，用失真函数来衡量。信息论与编码-信息率失真函数失真函数的定义为信息论与编码-信息率失真函数失真函数的定义为由于输入符号有n个，输出符号有m个，所以共有个，写成矩阵形式，就是

信息论与编码-信息率失真函数失真函数的定义为由于输入符号有n个，输出符号有m个，所以共有个，写成矩阵形式，就是

d被称为失真矩阵。信息论与编码-信息率失真函数例4－1

设信源符号,编码器输出符号

，规定失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5求失真矩阵d。信息论与编码-信息率失真函数例4－1

设信源符号,编码器输出符号

，规定失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5求失真矩阵d。解：失真矩阵为

信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：也可以按其它的标准，如引起的损失、风险、主观感觉上的差别等来定义失真函数。信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：绝对失真：信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：绝对失真：相对失真：信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：绝对失真：相对失真：误码失真：信息论与编码-信息率失真函数失真函数的函数形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等：平方失真：绝对失真：相对失真：误码失真：也可以按其它的标准，如引起的损失、风险、主观感觉上的差别等来定义失真函数。信息论与编码-信息率失真函数平均失真由于信源X和信宿Y都是随机变量，所以符号失真度函数也是一个随机变量，传输时引起的平均失真应该是符号失真度函数在信源概率空间和信宿概率空间求平均，即信息论与编码-信息率失真函数平均失真由于信源X和信宿Y都是随机变量，所以符号失真度函数也是一个随机变量，传输时引起的平均失真应该是符号失真度函数在信源概率空间和信宿概率空间求平均，即信息论与编码-信息率失真函数平均失真是符号失真函数在信源空间和信宿空间平均的结果，是描述某一信源在某一信道传输时失真的大小，是从整体上描述系统的失真情况。信源符号序列的失真从上面的单符号失真函数，可以得到信源符号序列的失真函数和平均失真度。由于序列相当于一个由单符号随机变量组成的随机矢量，仿照单符号时的情况，可得：信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，所以X共有种不同的符号序列，记为，信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，所以X共有种不同的符号序列，记为，接收到的符号为

信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，所以X共有种不同的符号序列，记为，接收到的符号为式中每一个符号取自符号集，信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，所以X共有种不同的符号序列，记为，接收到的符号为式中每一个符号取自符号集，所以Y共有种不同的符号序列，记为，

信息论与编码-信息率失真函数设信源输出的符号序列为，其中的每一个随机变量取自同一符号集，所以X共有种不同的符号序列，记为，接收到的符号为式中每一个符号取自符号集，所以Y共有种不同的符号序列，记为，则

信息论与编码-信息率失真函数失真函数矩阵应该是一个的矩阵。信息论与编码-信息率失真函数失真函数矩阵应该是一个的矩阵。故对L长的信源序列，其平均失真度为信息论与编码-信息率失真函数失真函数矩阵应该是一个的矩阵。故对L长的信源序列，其平均失真度为对于连续随机变量同样可以定义平均失真为信息论与编码-信息率失真函数平均每个符号的平均失真度为信息论与编码-信息率失真函数平均每个符号的平均失真度为当信源无记忆时，，而信息论与编码-信息率失真函数平均每个符号的平均失真度为当信源无记忆时，，而若平均失真度不大于我们所允许的失真D，即我们称此为保真度准则。信息论与编码-信息率失真函数信息率失真函数

信息论与编码-信息率失真函数信息率失真函数在信源给定，并且也定义了具体的失真函数之后，我们总是希望在满足一定的失真限度要求的情况下，使信源最后输出的信息率R尽可能地小。信息论与编码-信息率失真函数信息率失真函数在信源给定，并且也定义了具体的失真函数之后，我们总是希望在满足一定的失真限度要求的情况下，使信源最后输出的信息率R尽可能地小。也就是说，要在满足保真度准则下（），寻找信源输出信息率R的下限值。信息论与编码-信息率失真函数可以将信源编码器看成是存在干扰的假想信道，这样就可以用分析信道传输的方法来研究限失真信源编码问题。信息论与编码-信息率失真函数信源编码器假想信道可以将信源编码器看成是存在干扰的假想信道，这样就可以用分析信道传输的方法来研究限失真信源编码问题信息论与编码-信息率失真函数如果将信源编码也看成是一个信道，构成了一类假想信道，称为D允许信道（或D失真许可试验信道），信息论与编码-信息率失真函数如果将信源编码也看成是一个信道，构成了一类假想信道，称为D允许信道（或D失真许可试验信道），记为信息论与编码-信息率失真函数如果将信源编码也看成是一个信道，构成了一类假想信道，称为D允许信道（或D失真许可试验信道），记为对于离散无记忆信道，有信息论与编码-信息率失真函数我们的目的，就是要在上述允许信道中，寻找到一个信道P(Y/X)，使得从输入端传送过来的信息量最少，即I(X;Y)最小。

信息论与编码-信息率失真函数我们的目的，就是要在上述允许信道中，寻找到一个信道P(Y/X)，使得从输入端传送过来的信息量最少，即I(X;Y)最小。这个最小的互信息就称为信息率失真函数R(D)，简称为率失真函数，

信息论与编码-信息率失真函数我们的目的，就是要在上述允许信道中，寻找到一个信道P(Y/X)，使得从输入端传送过来的信息量最少，即I(X;Y)最小。这个最小的互信息就称为信息率失真函数R(D)，简称为率失真函数，即其单位是比特/信源符号。信息论与编码-信息率失真函数应当注意，在研究R(D)时，我们引用的条件概率并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码，或称信源压缩。所以改变试验信道求最小值，实质上是选择一种编码方式使信息传输率为最小，也就是在保真度准则下，使信源的压缩率最高。信息论与编码-信息率失真函数由互信息的表达式

I(X;Y)=H(Y)-H(Y/.X)=H(X)-H(X/Y)在信息传输中，可理解为信源发出的信息量H(X)与在噪声干扰条件下消失的信息量之差在信源编码中,对信源的原始信息在允许的失真限度内进行了压缩。由于这种压缩损失了一定的信息，造成一定的失真。把这种失真等效成由噪声而造成的信息损失，看成一个等效噪声信道（又称试验信道）因此信息率失真函数的物理意义是：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值。此时的信道转移概率p实际上指的是一种限失真信源编码法。信息论与编码-信息率失真函数例4－2

设信源的符号表为

A＝{a1，a2，…，an},概率分布为p(a)＝1/2n，i＝1，2，…，2n，失真函数规定为

即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。信息论与编码-信息率失真函数由信源概率分布可求出信源熵为如果对信源进行不失真编码，平均每个符号至少需要log2n个二进制码元现在假定允许有一定失真，假设失真限度为D＝1/2。也就是说，当收到100个符号时，允许其中有50个以下的差错。这时信源的信息率能减少到多少呢？每个符号平均码长能压缩到什么程度呢？信息论与编码-信息率失真函数采用下面的编码方案：信息论与编码-信息率失真函数采用下面的编码方案：按照上述关于失真函数的规定，求得平均失真D为信息论与编码-信息率失真函数由该信道模型不难看出，它是一个确定信道，即，所以信息论与编码-信息率失真函数由该信道模型不难看出，它是一个确定信道，即，所以信道输出概率分布为信息论与编码-信息率失真函数由该信道模型不难看出，它是一个确定信道，即，所以信道输出概率分布为由互信息公式可得信息论与编码-信息率失真函数则输出熵H(Y)为信息论与编码-信息率失真函数由以上结果可知，经压缩编码以后，信源需要传输的信息率由原来的log2n，压缩到log2n－[(n＋1)/2n]log(n＋1)。也就是说，信息率压缩了[(n＋1)/2n]log(n＋1)。这是采用了上述压缩编码方法的结果，所付出的代价是容忍了1/2的平均失真。如果选取压缩更为有利的编码方案，压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D)的数值（此处D＝1/2）。或超过这个极限值，那么，失真就要超过失真限度。如果需要压缩的信息率更大，则可容忍的平均失真就要更大。信息论与编码-信息率失真函数信息率失真函数的性质R(D)的定义域，即D的取值范围。（1）因为D是非负函数d(x,y)的数学期望，因此D也是非负函数，其下界为0。此时，意味着不允许失真，所以信道的信息率等于信源的熵，即信息论与编码-信息率失真函数（2）平均失真D也有一上界值

信息论与编码-信息率失真函数（2）平均失真D也有一上界值根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量I(X;Y)的最小值，其下界为0。信息论与编码-信息率失真函数（2）平均失真D也有一上界值根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量I(X;Y)的最小值，其下界为0。R(D)和D的关系曲线一般如下图所示。信息论与编码-信息率失真函数（2）平均失真D也有一上界值根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量I(X;Y)的最小值，其下界为0。R(D)和D的关系曲线一般如下图所示。当D大到一定程度，R(D)就达到其下界0，我们定义这时的D为。信息论与编码-信息率失真函数R(D)DR(D)>0R(D)=0信息论与编码-信息率失真函数

的计算：设当平均失真时，R(D)以达到其下界0。

R(D)DR(D)>0R(D)=0信息论与编码-信息率失真函数

的计算：设当平均失真时，R(D)以达到其下界0。当允许更大失真时，即时，R(D)仍只能继续是0。R(D)DR(D)>0R(D)=0信息论与编码-信息率失真函数

的计算：设当平均失真时，R(D)以达到其下界0。当允许更大失真时，即时，R(D)仍只能继续是0。因为当X和Y统计独立时，平均互信息I(X;Y)=0，可见当时，信源X和接收符号Y已经统计独立了，因此，与x无关。

R(D)DR(D)>0R(D)=0信息论与编码-信息率失真函数因此，就是在R(D)=0的条件下，看在什么分布下，能够得到平均失真D的最小值，即信息论与编码-信息率失真函数因此，就是在R(D)=0的条件下，看在什么分布下，能够得到平均失真D的最小值，即也可以改写成信息论与编码-信息率失真函数也就是说，要求的数学期望的最小值。信息论与编码-信息率失真函数也就是说，要求的数学期望的最小值。这个最小值是一定存在的。比如这样分布：当某一个使得为最小时，就取，而其余的，此时求得的的数学期望一定是最小的。信息论与编码-信息率失真函数也就是说，要求的数学期望的最小值。这个最小值是一定存在的。比如这样分布：当某一个使得为最小时，就取，而其余的，此时求得的的数学期望一定是最小的。此时，有信息论与编码-信息率失真函数例题：设输入输出符号表为X=Y={0,1}，输入概率分布为，失真矩阵为求信息论与编码-信息率失真函数

解：当Dmin=0时，R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号，信息论与编码-信息率失真函数

解：当Dmin=0时，R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号，这时信源编码器无失真，编码器的转移概率为信息论与编码-信息率失真函数当R(Dmax)=0时，信息论与编码-信息率失真函数当R(Dmax)=0时，而输出符号概率为信息论与编码-信息率失真函数当R(Dmax)=0时，而输出符号概率为编码器的转移概率为信息论与编码-信息率失真函数例题4-4：输入输出符号表同上题，失真矩阵为信息论与编码-信息率失真函数例题4-4：输入输出符号表同上题，失真矩阵为解：当时，该编码器的转移矩阵为信息论与编码-信息率失真函数例题4-4：输入输出符号表同上题，失真矩阵为解：当时，该编码器的转移矩阵为但信息论与编码-信息率失真函数例题4-4：输入输出符号表同上题，失真矩阵为解：当时，该编码器的转移矩阵为但从失真矩阵看，不管怎样转移，都将产生失真，所以Dmin不能达到零。实际应用中一般不会这样。信息论与编码-信息率失真函数求信息论与编码-信息率失真函数关于R(D)的其他性质R(D)是非负的实数，即，定义域为，当时，R(D)=0。信息论与编码-信息率失真函数关于R(D)的其他性质R(D)是非负的实数，即，定义域为，当时，R(D)=0。R(D)是关于D的下凸函数，因而也是关于D的连续函数。信息论与编码-信息率失真函数关于R(D)的其他性质R(D)是非负的实数，即，定义域为，当时，R(D)=0。R(D)是关于D的下凸函数，因而也是关于D的连续函数。R(D)是关于D的严格递减函数。信息论与编码-信息率失真函数R(D)函数的单调递减性

信息论与编码-信息率失真函数R(D)函数的单调递减性因为允许的失真越大，所要求的信息率就可以越小。信息论与编码-信息率失真函数R(D)函数的单调递减性因为允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，它是在平均失真度小于或等于允许失真度D的所有试验信道集合中，取I(X;Y)的最小值。信息论与编码-信息率失真函数R(D)函数的单调递减性因为允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，它是在平均失真度小于或等于允许失真度D的所有试验信道集合中，取I(X;Y)的最小值。当允许失真D扩大，则的集合也扩大，当然仍然包含原来满足条件的所有信道。信息论与编码-信息率失真函数R(D)函数的单调递减性因为允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，它是在平均失真度小于或等于允许失真度D的所有试验信道集合中，取I(X;Y)的最小值。当允许失真D扩大，则的集合也扩大，当然仍然包含原来满足条件的所有信道。这是在扩大了的集合中找I(X;Y)的最小值，显然或者是最小值不变，或者是变小了，所以R(D)是非增的。信息论与编码-信息率失真函数R(D)

H(X)

R(D)0DDMAXD

R(D)

0D

离散系统连续系统

信息率失真曲线信息论与编码-信息率失真函数因此，当规定了允许失真，又找到了适当的失真函数，就可以找到该失真条件下的最小信息率R(D)，信息论与编码-信息率失真函数因此，当规定了允许失真，又找到了适当的失真函数，就可以找到该失真条件下的最小信息率R(D)，用不同的方法进行数据压缩时（在允许的失真限度D内），其压缩的程度如何，可以用R(D)来衡量。信息论与编码-信息率失真函数因此，当规定了允许失真，又找到了适当的失真函数，就可以找到该失真条件下的最小信息率R(D)，用不同的方法进行数据压缩时（在允许的失真限度D内），其压缩的程度如何，可以用R(D)来衡量。由它可知是否还有压缩潜力，有多大的压缩潜力。信息论与编码-信息率失真函数因此，当规定了允许失真，又找到了适当的失真函数，就可以找到该失真条件下的最小信息率R(D)，用不同的方法进行数据压缩时（在允许的失真限度D内），其压缩的程度如何，可以用R(D)来衡量。由它可知是否还有压缩潜力，有多大的压缩潜力。因此，有关R(D)的研究也是信息论领域的一个研究热点。信息论与编码-信息率失真函数§4.2R(D)的计算已知信源的概率分布和失真函数，就可以求得信源的R(D)函数。求R(D)函数，实际上是一个求有约束问题的最小值问题。即适当选取试验信道的使平均互信息最小化，并使满足以下约束条件：信息论与编码-信息率失真函数应用拉格朗日乘子法，原则上总是可以求出上述问题的解。但一般来说，求解会是非常复杂的。这里不准备做复杂的推导过程，只给出几个结果。信息论与编码-信息率失真函数（1）当时，信息论与编码-信息率失真函数（2）当，时，，

信息论与编码-信息率失真函数（2）当，时，，（3）当，时，

，信息论与编码-信息率失真函数R(D)

(2)H(1)

(3)