信息论与编码-第11讲-信息率失真函数2

第1页2024/4/14第四章信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理4.5信息论“三大定理”总结E-mail：xxxxxx@第2页2024/4/14“4.1基本概念”小结

平均失真度离散随机变量X：

N维离散随机序列：信息率失真函数离散信息X：概率分布为P(X)，失真度为d(xi,yj)第3页2024/4/14“4.1基本概念”小结

信息率失真函数的性质定义域(Dmin,Dmax)

下凸性单调递减和连续性第4页2024/4/144.2离散信源的信息率失真函数对离散信源，求R(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值，R(D)是求平均互信息的条件极小值。4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概率离散信源的信息率失真函数第5页2024/4/144.2.1离散信源率失真函数的参量表达式(1)求极小值方法(2)离散信源的信息率失真函数(3)

参量S

的说明4.2离散信源的信息率失真函数第6页2024/4/144.2.1离散信源率失真函数的参量表达式(1)求极小值方法用拉各朗日乘子法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。4.2离散信源的信息率失真函数第7页2024/4/144.2.1离散信源率失真函数的参量表达式(1)求极小值方法已知信源概率分布函数

p(xi)

和失真度

d(xi,yj)，在满足保真度准则的条件下，在试验信道集合

PD

当中选择

p(yj/xi)，使平均互信息：4.2离散信源的信息率失真函数最小第8页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数已知平均互信息在下述的

(n+1)

个条件限制下求

I(X;Y)的极值，

4.2离散信源的信息率失真函数第9页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数4.2离散信源的信息率失真函数引入拉各朗日乘子

S和μi(i=1,2,…,n)，构造一个新函数：第10页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数其中：4.2离散信源的信息率失真函数第11页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数4.2离散信源的信息率失真函数第12页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数4.2离散信源的信息率失真函数第13页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第一步：求λi4.2离散信源的信息率失真函数第14页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第二步：求p(yj)4.2离散信源的信息率失真函数第15页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第三步：求p(yj/xi)

将解出的λi和p(yj)代入式(4-54)，可求得m·n个以S为参量的p(yj/xi)。4.2离散信源的信息率失真函数第16页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第四步：求D(S)

将这

m·n

个

p(yj/xi)

代入(4-6)得到以S为参量的允许平均失真函数

D(S)。4.2离散信源的信息率失真函数第17页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第五步：求R(S)

将这

m·n

个

p(yj/xi)

代入(4-48)得到以

S为参量的率失真函数

R(S)。4.2离散信源的信息率失真函数第18页2024/4/144.2.1离散信源率失真函数的参量表达式(2)离散信源的信息率失真函数第六步：由于

p(yj)不能是负值，参量S

的取值有一定的限制。选择使p(yj)非负的所有

S，得到

D

和

R

值，可以画R(D)曲线，如右图。4.2离散信源的信息率失真函数第19页2024/4/144.2.1离散信源率失真函数的参量表达式(3)

参量S

的说明可以证明：参量

S就是R(D)函数的斜率。参量S的特性：由于R(D)是D的单调递减函数，并且是U型凸函数，故斜率

S必为负，且是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时：S的最小值趋于负无穷（R(D)的斜率）。4.2离散信源的信息率失真函数第20页2024/4/144.2.1离散信源率失真函数的参量表达式(3)

参量S

的说明当D=Dmax

时：S达到最大；这个最大值也是某一个负值，极限是0。当D>Dmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0,Dmax]内，除某些特例外，S将是D的连续函数。4.2离散信源的信息率失真函数第21页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的信息率失真函数(2)信息率失真函数曲线图说明(3)二元等概率离散信源的率失真函数4.2离散信源的信息率失真函数第22页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数设二元信源：

计算信息率失真函数R(D)4.2离散信源的信息率失真函数第23页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数先求出Dmax4.2离散信源的信息率失真函数第24页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第一步：求λi，由式(4-58)有：4.2离散信源的信息率失真函数第25页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第二步：求p(yj)，由式(4-56)有：4.2离散信源的信息率失真函数第26页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第三步：求p(yj/xi)，由式(4-54)有：4.2离散信源的信息率失真函数第27页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第四步：求D(S)，将上述结果代入式(4-61)有：4.2离散信源的信息率失真函数第28页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第五步：求R(S)将上述结果代入式(4-62)有：4.2离散信源的信息率失真函数第29页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第五步：求R(S)对于这种简单信源，可从

D(S)

解出

S

与

D

的显式表达式：4.2离散信源的信息率失真函数第30页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第五步：求R(S)4.2离散信源的信息率失真函数第31页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(1)二元离散信源的率失真函数第六步：通过以上步骤计算出来的

R(D)

和S(D)如右图。4.2离散信源的信息率失真函数第32页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明若α=1，把d(xi

,yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以：4.2离散信源的信息率失真函数d(xi

,yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。第33页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明R(D)

不仅与

D有关，还与

p

有关。概率分布不同，

R(D)

曲线就不一样。当

p=0.25时，如果能容忍的误码率也是

0.25，不用传送信息便可达到，即R=0，这就是

R(Dmax)=0

的含义。例如：不管信源发出的是x1还是x2，都把它编成x2，则误码率就是信源发出x1的概率0.25，只送一种符号当然就不用传送信息，即R=0，这就是R(Dmax)=0的含义。4.2离散信源的信息率失真函数第34页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明当

D相同时，信源越趋于等概率分布，

R(D)

就越大。由最大离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而

R(D)

正是去除信源不确定性所必须的信息传输率。4.2离散信源的信息率失真函数第35页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明

关于S(D)

它与

p无直接关系，S(D)

曲线只有一条，p=0.5

和

p=0.25

都可以用，但它们的定义域不同；4.2离散信源的信息率失真函数第36页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明

关于S(D)p=0.25

时定义域是

D=0~0.25，即到

A

点为止，此时Smax=－1.59。D>0.25

时，S(D)

就恒为

0了。所以在

A点

S(D)

是不连续的；4.2离散信源的信息率失真函数第37页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(2)信息率失真函数曲线图说明

关于S(D)

当

p=0.5时，曲线延伸至

D=0.5处，此时

Smax=0，故

S(D)

是连续曲线，定义域为

D=0~0.5。4.2离散信源的信息率失真函数第38页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(3)二元等概率离散信源的率失真函数当上述二元信源呈等概率分布时，上面式子分别退化为：4.2离散信源的信息率失真函数第39页2024/4/144.2.2二元及等概率离散信源的信息率失真函数(3)二元等概率离散信源的率失真函数这个结论很容易推广到

n元等概率信源的情况。4.2离散信源的信息率失真函数第40页2024/4/144.3连续信源的信息率失真函数4.3.1连续信源的信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数4.3.3信道容量与信息率失真函数的比较第41页2024/4/144.3.1连续信源的信息率失真函数的参量表达式

条件信源：X∈R=(－∞,∞)

信源X的概率密度函数为：p(x)

信道的传递概率密度函数为：p(y/x)

信宿：Y∈R=(－∞,∞)

信宿Y

的概率密度函数为：p(y)X

和

Y

之间的失真度：d(x,y)≥04.3连续信源的信息率失真函数第42页2024/4/144.3.1连续信源的信息率失真函数的参量表达式平均失真度为：平均互信息为：4.3连续信源的信息率失真函数第43页2024/4/144.3.1连续信源的信息率失真函数的参量表达式PD为满足保真度准则的所有试验信道集合。信息率失真函数为：相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。4.3连续信源的信息率失真函数第44页2024/4/144.3.1连续信源的信息率失真函数的参量表达式R(D)

函数的参量表达式：一般情况，在平均失真度积分存在情况下，

R(D)

的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。4.3连续信源的信息率失真函数第45页2024/4/144.3.2高斯信源的信息率失真函数(1)高斯信源特性及失真度设连续信源的概率密度为正态分布函数：数学期望为：方差为：失真度为d(x,y)=(x－y)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3连续信源的信息率失真函数第46页2024/4/144.3.2高斯信源的信息率失真函数(2)高斯信源R(D)的特性当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。4.3连续信源的信息率失真函数图4-4第47页2024/4/144.3.2高斯信源的信息率失真函数(2)高斯信源R(D)的特性4.3连续信源的信息率失真函数当D=σ2

时，R(D)=0：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出。图4-4第48页2024/4/144.3.2高斯信源的信息率失真函数(2)高斯信源R(D)的特性4.3连续信源的信息率失真函数当D=0时，R(D)→∞：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量。图4-4第49页2024/4/144.3.2高斯信源的信息率失真函数(2)高斯信源R(D)的特性4.3连续信源的信息率失真函数当0<D<σ2

时：即允许一定的失真，传送信源的信息率可以降低，意味着信源的信息率可以压缩，连续信源的率失真理论正是连续信源量化、压缩的理论基础。图4-4第50页2024/4/144.3.2高斯信源的信息率失真函数(2)高斯信源R(D)的特性4.3连续信源的信息率失真函数当D=0.25σ2

时，R(D)=1比特/符号：这就是说在允许均方误差大于或等于

0.25σ2

时，连续信号的每个样本值最少需用一个二进制符号来传输。由香农第三定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法很困难的。图4-4第51页2024/4/144.3.3信道容量与信息率失真函数的比较

从数学上说，信道容量和信息率失真函数的问题，都是求平均互信息极值问题，有相仿之处，故常称为对偶问题。(1)

求极值问题(2)

特性(3)

解决的问题第52页2024/4/144.3.3信道容量与信息率失真函数的比较(1)求极值问题平均互信息

I(X;Y)

是信源概率分布

p(xi)(i=1,2,…,n)

或概率密度函数

p(x)

的上凸函数。根据上凸函数定义，如果

I(X;Y)

在定义域内对

p(xi)

或p(x)

的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即：第53页2024/4/144.3.3信道容量与信息率失真函数的比较(1)求极值问题I(X;Y)

又是信道转移概率分布

p(yj/xi)(i=1,2,…,n；

j=1,2,…,m)

或条件概率密度函数

p(y/x)

的下凸函数，因此在满足保真度准则条件下，I(X;Y)

对

p(yj/xi)

或

p(y/x)

的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即：第54页2024/4/144.3.3信道容量与信息率失真函数的比较(2)特性信道容量

C

一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度p(y/x)有关，反映信道特性，与信源特性无关；信息率失真函数

R(D)

一旦求出后，就只与信源概