信息率失真函数.ppt

1、第4章 信息率失真函数,2,第4章 信息率失真函数,本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R(D) 。,3,第4章 信息率失真函数,平均失真和信息率失真函数 离散信源和连续信源的R(D)计算,4,4.1平均失真和信息率失真函数,失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质,5,4.1.1 失真函数,失真函数的意义 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。,6,4.1.1 失真函

2、数,失真函数的定义 假如某一信源X，输出样值为xi，xia1,an，经过有失真的信源编码器，输出Y，样值为yj， yj b1,bm。如果xiyj，则认为没有失真； 如果xiyj，那么就产生了失真。 失真的大小，用一个量来表示，即失真函数d(xi, yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为：,7,4.1.1 失真函数,失真矩阵 将所有的d(xi, yj)排列起来，用矩阵表示为 称d为失真矩阵。,8,4.1.1 失真函数,失真函数举例 例：设信源符号序列为X=0,1，接收端收到符号序列为Y=0,1,2，规定失真函数为 则其失真矩阵为：,9,4.1.1 失真函数,失真函数的数

3、值 值得注意的是，失真函数d(xi, yj)的数值是依据实际应用情况，用yj代替xi所导致的失真大小。是人为决定的。 失真函数的形式可以根据需要任意选取。,10,4.1.1 失真函数,常用的失真函数 注：前三种失真函数适用于连续信源，后一种适用于离散信源。,11,4.1.1 失真函数,符号序列的失真函数 失真函数的定义可以推广到符号序列的情况，如果假定离散信源输出符号序列X=(X1,X2,Xl,XL)，其中L长符号序列样值xi=(xi1,xi2,xil,xiL)，经信源编码后，输出符号序列Y=(Y1,Y2,Yl,YL)，其中L长符号序列样值yj=(yj1,yj2,yjl,yjL)，则失真函数定

4、义为： 其中d(xil，yjl)是信源输出xi中的第l个符号xil，经编码后输出yj中的第l个符号yjl时的失真函数。,12,4.1.2 平均失真,平均失真的定义 由于xi和yj都是随机变量，所以失真函数d(xi , yj)也是随机变量，要分析整个信源的失真大小，就需要用其数学期望或统计平均值表示，因此将失真函数的数学期望称为平均失真，记为：,13,4.1.2 平均失真,平均失真的物理含义,14,4.1.2 平均失真,消息序列的平均失真 对于L长消息序列的编码情况，其平均失真为：,15,4.1.2 平均失真,失真函数与平均失真的区别 失真函数： 描述了某个信源符号通过传输后失真的大小。 平均失

5、真： 描述某个信源在某一试验信道传输下的失真大小，它对信源和信道进行了统计平均，是从总体上描述整个系统的失真。,16,4.1.3 信息率失真函数R(D),信源编码问题的研究 如图所示，信源X经过有失真的编码器输出Y，将这样的编码器看作是存在干扰的假象信道，Y当作接收端的符号。这样就可以用分析信道传输的方法来研究限失真信源编码问题。,17,4.1.3 信息率失真函数R(D),信源编码问题的研究 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足保真度准则的条件下，即： 选择一种编码方法使信息率R尽可能小。,18,4.1.3 信息率

6、失真函数R(D),信源编码问题的研究 信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj|xi)就对应信道转移概率。,19,4.1.3 信息率失真函数R(D),D允许试验信道 由 称为D允许试验信道。,20,4.1.3 信息率失真函数R(D),信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，根据前面所述，当p(xi)一定时，互信息I是关于p(yj|xi) 的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p

7、ij，使给定的信源p(xi)经过此信道传输后，互信息I(X; Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即：,21,4.1.3 信息率失真函数R(D),信息率失真函数R(D) 在限定失真为D的条件下信源输出的最小信息速率。 PD是所有满足保真度准则的试验信道集合。,22,4.1.3 信息率失真函数R(D),信息率失真函数R(D) 对于离散无记忆信道，,23,4.1.3 信息率失真函数R(D),信息率失真函数R(D)的理解 1) 在信源给定后，我们希望在满足一定失真的情况下，使信源必须传输给收信者的信息传输率R尽可能地小； 2) 若从接收端来着，就是在满足保真度准则下，寻找再现信

8、源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。,24,4.1.3 信息率失真函数R(D),信息率失真函数与平均互信息、信道容量的比较 平均互信息I(X;Y)： 信源的概率分布p(xi)的型函数； 信道转移概率p(yj|xi)的型函数。,25,4.1.3 信息率失真函数R(D),信息率失真函数与平均互信息、信道容量的比较 信道容量C： 1）假定信道固定的前提下，选择一种试验信源使信息传输率最大。 2）它所反映的是信道传输信息的能力，是信道可靠传送的最大信息传输率。 3）一旦找到了信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而

9、变化。 4）不同的信道其信道容量不同。,26,4.1.3 信息率失真函数R(D),信息率失真函数与平均互信息、信道容量的比较 信息率失真函数R(D)： 1）假定信源给定的情况下，用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 2）它反映的是信源可以压缩的程度，是在满足一定失真度要求下信源可压缩的最低值。 3）率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。 4）不同的信源其R(D)不同。,27,4.1.3 信息率失真函数R(D),信息率失真函数与平均互信息、信道容量的比较 研究信道容量： 充分利用已给信道，使传输的信息量最大，而发生错误的概率任

10、意小。 研究信息率失真函数： 解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。,28,4.1.3 信息率失真函数R(D),信息率失真函数举例 例：设信源的符号表为A=al,a2,a2n，概率分布为p(ai)=1/2n,i=1,2,2n，失真函数规定为 即不发生差错时失真为0，出错失真为1。研究在一定编码条件下信息压缩的程度。,29,4.1.3 信息率失真函数R(D),信息率失真函数举例 由信源概率分布可求出信源熵为： 如果对信源进行不失真编码，平均每个符号至少需要log2n个二进制码元。,30,4.1

11、.3 信息率失真函数R(D),信息率失真函数举例 现在假定允许有一定失真，假设失真限度为D=1/2。设想采用下面的编码方案： 用信道模型图表示为：,31,4.1.3 信息率失真函数R(D),信息率失真函数举例 按照上述关于失真函数的规定，平均失真为： 由该信道模型图可以看出，它是一个确定信道，固有： 信道输出概率分布为：,32,4.1.3 信息率失真函数R(D),信息率失真函数举例 输出熵H(Y)为 由以上结果可知，经压缩编码以后，信源需要传输的信息率由原来的log2n压缩到log2n-(n+1)/2n)log(n+1)。也就是说，信息率压缩了log2n-(n+1)/2n)log(n+1)。这

12、是采用了上述压缩编码方法的结果，所付出的代价是容忍了1/2的平均失真。,33,4.1.3 信息率失真函数R(D),信息率失真函数举例 如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D)的数值（此处D=1/2），或超过这个极限值，那么失真就要超过失真限度。如果需要压缩的信息率更大，则可容忍的平均失真就要更大。,34,4.1.4 信息率失真函数的性质,R(D)函数的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题。,35,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (1) Dmin和R

13、(Dmin) 由于平均失真度是非负实数d(xi,yj)的数学期望，因此也是非负的实数，所以： Dmin=0 此时对应于无失真情况，相当于无噪声信道，此时信道传输的信息量等于信源熵，即： 注：只有当失真矩阵的每一行至少有一个0元素时，信源的平均失真度才能达到下限值0。,36,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (2) Dmax和R(Dmax) 由于I(X;Y)是非负函数，而R(D)是在约束条件下的I(X;Y)的最小值，所以R(D)也是一个非负函数，它的下限值是0。当R(D)为0，意味着不需要传输任何信息。 显然，D越大，直至无限大都能满足这样的情况，这里选择所有满足R(D)0

14、中D的最小值，定义为R(D)定义域的上限Dmax，即,37,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (2) Dmax和R(Dmax) 因此可以得到R(D)的定义域为：,38,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (3) Dmax的计算 因为R(D) =0，也就是I(X;Y)=0，这时试验信道输入与输出是互相独立的，所以 此时平均失真为：,39,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (3) Dmax的计算,40,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (4) 举例 例：设输入输出符号表为XY 0, 1，输入概率分布p(x)=1/

15、3, 2/3，失真矩阵为 试分析R(Dmin)、Dmax。,41,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (4) 举例 解： 当Dmin0时，R(Dmin)H(X)H(1/3, 2/3)0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为,42,4.1.4 信息率失真函数的性质,R(D)函数的定义域 (4) 举例 当R(Dmax)0时 此时输出符号概率p(b1)0, p(b2)1, a1b2, a2b2，所以这时的编码器的转移概率为,43,4.1.4 信息率失真函数的性质,R(D)函数的下凸性和连续性 1) R(D)是非负的实数，R(D) 0 其定义域为0Dmax , 其值为0H(X) 当DDmax时, R(D) 0 2) R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的下凸连续函数 3) R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。,44,4.1.4 信息率失真函数的性质,R(D)函数的下凸性和连续性 信息率失真曲线,45,4.2 离散信源的R(D)计算,离散信源的R(D)的计算 给定信源概率pi和失真函数dij，就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。