信息论与编码2012-ch4 信息率失真函数2

2024/6/231

世界上那些最容易的事情中，拖延时间最不费力。2024/6/2324.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数

4.4信道容量与信息率失真函数的比较4.5限失真信源编码定理第七章信息率失真函数2024/6/2334.2离散信源的信息率失真函数对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概率离散信源的信息率失真函数2024/6/2344.2.1离散信源率失真函数的参量表达式(1)求极小值方法用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。已知信源概率分布函数p(xi)和失真度d(xi,yj)，在满足保真度准则的条件下，在试验信道集合PD当中选择p(yj/xi)，使平均互信息2024/6/235(2)离散信源的信息率失真函数已知平均互信息在(4.2)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和μi(i=1,2,…,n)，构造一个新函数4.2.1离散信源率失真函数的参量表达式2024/6/2364.2.1离散信源率失真函数的参量表达式2024/6/2374.2.1离散信源率失真函数的参量表达式2024/6/2384.2.1离散信源率失真函数的参量表达式2024/6/2394.2.1离散信源率失真函数的参量表达式第一步：求λi2024/6/23104.2.1离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi)

将解出的λi和p(yj)代入式(4.6)，可求得mn个以S为参量的p(yj/xi)。2024/6/23114.2.1离散信源率失真函数的参量表达式第四步：求D(S)

将这mn个p(yj/xi)代入(4.2)得到以S为参量的允许平均失真函数D(S)。2024/6/23124.2.1离散信源率失真函数的参量表达式第五步：求R(S)

将这mn个p(yj/xi)代入(4.1)得到以S为参量的率失真函数R(S)。2024/6/2313第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如下图。4.2.1离散信源率失真函数的参量表达式2024/6/23144.2.1离散信源率失真函数的参量表达式(3)

参量S的说明可以证明S就是R(D)函数的斜率。斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时(R(D)的斜率)：S的最小值趋于负无穷。2024/6/23154.2.1离散信源率失真函数的参量表达式当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。当D>Dmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,Dmax]内，除某些特例外，S将是D的连续函数。2024/6/2316(1)二元离散信源的率失真函数

设二元信源

计算率失真函数R(D)4.2.2二元及等概率离散信源的信息率失真函数2024/6/2317

先求出Dmax4.2.2二元及等概率离散信源的信息率失真函数2024/6/2318第一步：求λi，由式(4.7)有4.2.2二元及等概率离散信源的信息率失真函数2024/6/2319第二步：求p(yj)，由式(4.8)有4.2.2二元及等概率离散信源的信息率失真函数2024/6/2320第三步：求p(yj/xi)，由式(4.6)有4.2.2二元及等概率离散信源的信息率失真函数2024/6/2321第四步：求D(S)，将上述结果代入式(4.10)有4.2.2二元及等概率离散信源的信息率失真函数2024/6/2322第五步：求R(S)，将上述结果代入式(4.11)有4.2.2二元及等概率离散信源的信息率失真函数2024/6/2323对于这种简单信源，可从D(S)解出S与D的显式表达式。4.2.2二元及等概率离散信源的信息率失真函数2024/6/23244.2.2二元及等概率离散信源的信息率失真函数2024/6/2325第六步：通过以上步骤计算出来的R(D)和S(D)如下图

。4.2.2二元及等概率离散信源的信息率失真函数2024/6/2326(2)信息率失真函数曲线图说明若α=1，把d(xi,yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi,yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。4.2.2二元及等概率离散信源的信息率失真函数2024/6/2327R(D)不仅与D有关，还与p有关。概率分布不同，R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax)=0的含义。4.2.2二元及等概率离散信源的信息率失真函数2024/6/2328当D相同时，信源越趋于等概率分布，R(D)就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。4.2.2二元及等概率离散信源的信息率失真函数2024/6/2329关于S(D)它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同；p=0.25时定义域是D=0~0.25，即到A点为止，此时

Smax=－1.59。D>0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的；当p=0.5时，曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=0~0.5。4.2.2二元及等概率离散信源的信息率失真函数2024/6/2330(3)二元等概率离散信源的率失真函数当上述二元信源呈等概率分布时，上面式子分别退化为4.2.2二元及等概率离散信源的信息率失真函数2024/6/2331这个结论很容易推广到n元等概率信源的情况。4.2.2二元及等概率离散信源的信息率失真函数第一项是等概率信源的熵，即无失真传送信源所必须的信息率，后两项则是由于容忍一定失真可以压缩的信息率。2024/6/2332课堂练习某二元信源其失真矩阵为求该信源的Dmax,Dmin和R(D)函数。2024/6/2333课堂练习2024/6/2334(4)R(D)的意义对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真R’(D)函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是R(D)函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)函数具有更大的价值。

阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。4.2.2二元及等概率离散信源的信息率失真函数2024/6/23354.3.1连续信源的信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数4.3连续信源的信息率失真函数2024/6/2336条件信源X∈R=(－∞,∞)

信源X的概率密度函数为p(x)信道的传递概率密度函数为p(y/x)信宿Y∈R=(－∞,∞)信宿Y的概率密度函数为p(y)X和Y之间的失真度d(x,y)≥04.3.1连续信源的信息率失真函数的参量表达式2024/6/2337平均失真度为平均互信息为4.3.1连续信源的信息率失真函数的参量表达式2024/6/2338PD为满足保真度准则的所有试验信道集合。信息率失真函数为相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。R(D)函数的参量表达式：一般情况，在失真度积分存在情况下，R(D)

的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。4.3.1连续信源的信息率失真函数的参量表达式2024/6/2339(1)高斯信源特性及失真度设连续信源的概率密度为正态分布函数数学期望为方差为失真度为d(x,y)=(x－y)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3.2高斯信源的信息率失真函数2024/6/23404.3.2高斯信源的信息率失真函数(2)曲线图说明

曲线如右图。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。2024/6/23414.3.2高斯信源的信息率失真函数当D=σ2时，R(D)=0

：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当D=0时，R(D)→∞：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；2024/6/23424.3.2高斯信源的信息率失真函数当0<D<σ2时：即允许一定的失真，传送信源的信息率可以降低，意味着信源的信息率可以压缩，连续信源的率失真理论正是连续信源量化、压缩的理论基础。当D=0.25σ2时，R(D)=1比特/符号：这就是说在允许均方误差小于或等于0.25σ2时，连续信号的每个样本值最少需用一个二进制符号来传输。由香农第三定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法很困难的。2024/6/23434.3.3高斯信源的信息率失真函数连续非高斯信源对任一连续非正态信源，若已知其方差为，熵为H(X)

，并规定失真函数为，则其R(D)满足下列不等式：（正态,上限）可见，在平均功率受限条件下，正态分布R(D)函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。2024/6/23444.3.3高斯信源的信息率失真函数连续有记忆信源例：对连续有记忆信源R(D)函数计算相当复杂，下面考虑一个简单的特例：对一个广义平稳遍历马氏链信源，且有，其中。现求其R(D)函数。 下面我们仅给出结果： 而结论：

1）（越大），（越小），压缩比

2），，压缩比 2024/6/23454.3.3高斯信源的信息率失真函数下面利用连续信源的R(D)函数，分析语音的波形编码，为了分析方便，假设语音遵从平稳正态分布：例1：分析PCM编码及其压缩潜力－现有PCM编码是8KHz采样率，8位编码，8*8=64Kb/s，它认为样点间独立，且每个样点8bit，这时信噪比可达到入公用网26dB的要求，在语音编码中信噪比是

其中D为噪声（允许失真）功率，由正态分布的信息率失真函数的公式：实际语音的R(D)值要小于4.3bit，因为语音不遵从正态分布，而是近似遵从Laplace分布（一级近似）、Gamma分布（二级近似）。它们的R(D)函数值均小于正态分布的R(D)值。可见，4.3bit至PCM8bit，大约有一倍差距。

2024/6/23464.3.3高斯信源的信息率失真函数例2：若对语音编码进一步计入相关性，则其R(D)函数为：，则可算出其R(D)值，即对应压缩比（相对于PCM编码64Kb/s）若计入语音分布R(D)值小于正态分布值，以及R(D)的主观特征，在25-26dB要求下，实际R(D)值大约等于2左右，可以获得大约4倍的压缩比。信噪比（dB）35322825232014R(D)(bit)43.52.52.3421.51压缩倍数22.283.23.4245.382024/6/23474.3.3高斯信源的信息率失真函数例3：参量编码： 以英语为例，其音素大约为128~256个，按照通常讲话速率，每秒大约平均发出10个音素，这时语音信源给出的信息率为：

2024/6/2348波形编码是将时间域信号直接变换为数字代码，重建语音波形时尽量保持原语音信号的波形形状。波形编码的基本原理是在时间轴上对模拟语音按一定的速率抽样，然后将幅度样本分层量化，并用代码表示。脉冲编码调制（pulsecodemodulation，PCM）和增量调制（△M），以及它们的各种改进型自适应增量调制（ADM），自适应差分编码（ADPCM）、自适应传输编码（AdaptiveTransferCoding，ATC）和子带编码（SBC）等，都属于波形编码技术。它们能分别在64kbit/s以及16kbit/s的速率上给出高的编码质量。但当速率进一步下降时，其性能会下降较快。

语音编码技术简介2024/6/2349参量编码又称为声源编码，是将信源信号在频率域上或其它正交变换域上提取特征参量，并将其变换成数字代码进行传输。具体说，参量编码是通过对语音信号特征参数的提取和编码，重建语音信号时使其具有尽可能高的可靠性，保持原始语音的语意，但重建信号的波形同原始语音信号的波形可能会有相当大的差别。线性预测编码（LPC）及其它各种改进型都属于参量编码。该编码比特率可压缩到2~4.8kbit/s，甚至更低，但语音质量不是很好，自然度较低。

语音编码技术简介2024/6/2350混合编码将波形编码和参量编码组合起来应用，尽量保持波形编码的高质量和参量编码的低速率，在4~16kbit/s速率上能够得到高质量的合成语音。多脉冲激励线性预测编码（MPLPC），规划脉冲激励线性预测编码（KPELPC），码本激励线性预测编码（CELP）及其改进型代数码激励线性预测编码(ACELP)和矢量和激励线性预测编码(VSELP)等都是属于混合编码技术。

语音编码技术简介2024/6/23514.4信道容量与信息率失真函数的比较

从数学上说，信道容量和信息率失真函数的问题，都是求平均互信息极值问题，有相仿之处，故常称为对偶问题。(1)求极值问题(2)特性(3)解决的问题2024/6/2352(1)求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函数p(x)的上凸函数，根据上凸函数定义，如果I(X;Y)在定义域内对p(xi)或p(x)的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)或条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下，I(X;Y)对p(yj/xi)或p(y/x)的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即4.4信道容量与信息率失真函数的比较2024/6/2353(2)特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度p(y/x)有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，C亦不同。4.4信道容量与信息率失真函数的比较2024/6/2354(2)特性信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)或概率密度函数p(x)有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，R(D)亦不同。4.4信道容量与信息率失真函数的比较2024/6/2355(3)解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。4.4信道容量与信息率失真函数的比较2024/6/23564.5保真度准则下的信源编码定理

设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0，和任意小的ε>0，当信息率R>R(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度；反之，若R<R(D)，则无论用什么编码方式，必有，即译码平均失真必大于允许失真。上述定理也称为限失真信源编码定理。该定理可推广到连续平稳无记忆信源的情况。信息率失真函数也是一个界限。只要信息