信息论与编码05-信息率失真函数

2020/5/30,1/20,电信学院汪汉新,第四章信息率失真函数,2020/5/30,2/20,电信学院汪汉新,本章节教学内容、基本要求、重点与难点,1.教学内容：限失真信源编码定理。率失真函数。保真度准则下的信源编码的定理。2.教学基本要求：掌握率失真函数的定义、性质、计算。掌握保真度准则下的信源编码定理。3.重点与难点：率失真函数。保真度准则下的信源编码的定理。,2020/5/30,3/20,电信学院汪汉新,理论上“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要信息率R=(Klog2m)/L小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。实际上“消息完全无失真传送”的不可实现性实际的信源常常是连续的，信息率无限大，要无失真传送要求信道容量C为无穷大；实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量RC。,2020/5/30,4/20,电信学院汪汉新,有些失真没有必要完全消除（限失真信源编码）实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。打电话：即使语音信号有一些失真，接电话的人也能听懂。放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。,信息率失真理论-信息率失真函数香农定义了信息率失真函数R(D)。定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。,2020/5/30,5/20,电信学院汪汉新,信息率失真函数极小值问题I(X;Y)是P(X)和P(Y/X)的二元函数；在讨论信道容量时：固定P(Y/X)，I(X;Y)变成P(X)的函数。在离散情况下，因为I(X;Y)对p(xi)是上凸函数，所以变更p(xi)所求极值一定是I(X;Y)的极大值；在讨论信息率时：固定p(xi)，变更p(yj/xi)来求平均互信息的极值。由于I(X;Y)是p(yj/xi)的下凸函数，所求的极值一定是极小值。但若X和Y相互统计独立(p(yj/xi)=p(yj)，这个极小值就是0，因为I(X;Y)是非负的，0必为极小值，这样求极小值就没意义了。引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变成有意义了。,2020/5/30,6/20,电信学院汪汉新,信息率与失真的关系信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息所需的信息率也越小。,2020/5/30,7/20,电信学院汪汉新,失真度设离散无记忆信源为,对每一对(xi,yj)，指定一个非负函数d(xi,yj)0i=1,2,nj=1,2,m称d(xi,yj)为单个符号的失真度/失真函数。它表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。,2020/5/30,8/20,电信学院汪汉新,失真矩阵失真度还可表示成矩阵的形式称D为失真矩阵。它是nm阶矩阵。d(x,y)0,2020/5/30,9/20,电信学院汪汉新,平均失真度d(xi,yj)只能表示两个特定的具体符号xi和yj之间的失真。平均失真度：平均失真度为失真度的数学期望,2020/5/30,10/20,电信学院汪汉新,平均失真度意义是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。保真度准则人们所允许的失真指的都是平均意义上的失真。保真度准则：规定平均失真度不能超过某一限定的值D，即，则D就是允许失真的上界。该式称为保真度准则。将保真度准则作为信道传递概率的约束条件，再求信道的信息率R=I(X;Y)的最小值就有实际意义。,2020/5/30,11/20,电信学院汪汉新,试验信道单符号信源和单符号信道的试验信道当固定信源（P(X)已知），单个符号失真度也给定时，选择信道使。凡满足要求的信道称为D失真许可的试验信道，所有试验信道构成的集合用PD来表示，即,2020/5/30,12/20,电信学院汪汉新,信息率失真函数单符号信源和单符号信道的信息率失真函数在信源和失真度给定以后，PD是满足保真度准则的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj/xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即这个最小值R(D)称为信息率失真函数，简称率失真函数。在信源给定以后，总希望在允许一定失真的情况下，传送信源所必须的信息率越小越好。从接收端来看，就是在满足保真度准则的条件下，寻找再现信源消息必须的最低平均信息量，即平均互信息的最小值。,2020/5/30,13/20,电信学院汪汉新,信息率失真函数与信道容量的对偶问题平均互信息I(X;Y)既是信源概率分布p(xi)的上凸函数，又是信道传递概率p(yj/xi)的下凸函数。率失真函数R(D)是在允许失真D和信源概率分布p(xi)已给的条件下，求平均互信息的极小值（最小）问题，而信道容量C是在信道特性p(yj/xi)已知的条件下求平均互信息的极大值（最大）问题。这两个问题是对偶问题。,2020/5/30,14/20,电信学院汪汉新,求信息率失真函数R(D)的方法信息率失真函数R(D)是假定信源给定的情况下，选择试验信道，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。它反映的是信源可压缩程度。率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源，其R(D)是不同的。,2020/5/30,15/20,电信学院汪汉新,求信道容量C的方法信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。不同的信道，其容量C是不同的。,2020/5/30,16/20,电信学院汪汉新,研究信道编码和率失真函数的意义研究信道容量的意义：是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。研究信息率失真函数的意义：是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题。,2020/5/30,17/20,电信学院汪汉新,信息率失真函数的性质,率失真函数的定义域允许平均失真度：率失真函数中的自变量D，也就是人们规定的平均失真度的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大值问题。D的选取必须根据固定信源X的统计特性P(X)和选定的失真函数d(xi,yj)，在平均失真度的可能取值范围内。,2020/5/30,18/20,电信学院汪汉新,信源最小平均失真度Dmin是非负函数d(xi,yj)的数学期望，也是一个非负函数，显然其下限为0。因此允许平均失真度D的下限也必然是0，这就是不允许有任何失真的情况。允许平均失真度D能否达到其下限值0，与单个符号的失真函数有关。信源最小平均失真度Dmin：对于每一个xi，找出一个yj与之对应，使d(xi,yj)最小，不同的xi对应的最小d(xi,yj)也不同。这相当于在失真矩阵的每一行找出一个最小的d(xi,yj)，各行的最小d(xi,yj)值都不同。对所有这些不同的最小值求数学期望，就是信源的最小平均失真度。,2020/5/30,19/20,电信学院汪汉新,信源最大平均失真度Dmax信源最大平均失真度Dmax：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均失真最大，也就是函数R(D)定义域的上界值Dmax。信息率失真函数是平均互信息的极小值：当R(D)=0时，即平均互信息的极小值等于0；当DDmax时，从数学意义上讲，因为R(D)是非负函数，所以它仍只能等于0。这相当于输入X和输出Y统计独立。意味着在接收端收不到信源发送的任何信息，与信源不发送任何信息等效。或者说传送信源符号的信息率可以压缩至0。,2020/5/30,20/20,电信学院汪汉新,结论：R(D)的定义域为(Dmin,Dmax)；一般情况下Dmin=0，R