信息论与编码（第4版）课件 第4章-信息率失真函数

第4章信息率

失真函数信息论与编码（第4版）信息率失真函数2主要内容4.1信息率失真函数的概念和性质4.1.1失真函数和平均失真4.1.2信息率失真函数R(D)4.1.3信息率失真函数的性质4.1.4信息率失真函数与信道容量4.2离散信源和连续信源的R(D)计算4.1信息率失真函数的概念和性质3引言第2章的信源熵是针对不失真的情况。在实际应用中只需要保留信息的主要特征即可，因此，可以对信源输出的信息进行失真处理，降低信息率，提高传输效率。在允许一定程度的失真条件下，能够把信源信息压缩到什么程度？即至少需要多少比特的信息率才能描述信源？X={xi}，xi

{a1,…an}

信源编码器

Y={yj}，yj

{b1,…bm}4.1信息率失真函数的概念和性质4失真函数和平均失真在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将严重损伤，甚至丧失其实用价值。必须对失真程度做一个限定（失真限度）。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。X={xi}，xi

{a1,…an}

信源编码器

Y={yj}，yj

{b1,…bm}54.1信息率失真函数的概念和性质失真函数和平均失真编码器输入X：xi

{a1,…an}编码器输出Y：yj

{b1,…bm}

无失真：xi＝yj有失真：xi

yj失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为：64.1信息率失真函数的概念和性质失真函数和平均失真失真矩阵将所有的失真函数d(xi，yj)，i=1,2,…,n；j＝1,2,…,m排列起来，用矩阵表示7失真矩阵例：设信源符号序列为X＝{0,1}，接收端收到符号序列为Y＝{0,1,2}，规定失真函数为d(0,0)=d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5则失真矩阵为失真函数和平均失真4.1信息率失真函数的概念和性质8最常用的失真函数均方失真：

绝对失真：

相对失真：

误码失真：

4.1信息率失真函数的概念和性质失真函数和平均失真适用于连续信源适用于离散信源9平均失真将失真函数的数学期望称为平均失真4.1信息率失真函数的概念和性质失真函数和平均失真信源编码器

已知p(xi)和d(xi,yj)，平均失真只是符号转移概率p(yj|xi)的函数。p(yj|xi

)在此实质上代表编码方式。平均失真是对给定信源分布经过有失真信源编码器后产生失真的总体量度4.1信息率失真函数的概念和性质失真函数和平均失真其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。

序列编码的失真输入：X=(X1,X2,…,XL)，样值为:x=(x1,x2,…,xL)输出：Y=(Y1,Y2,…,YL)，样值为:y=(y1,y2,…,yL)失真函数定义为：114.1信息率失真函数的概念和性质信息率失真函数R(D)信息率失真函数R(D)问题产生对于信道容量为C的信道，传输信息传输率为R的信源时，如果R＞C，就必须对信源压缩，使压缩后信息传输率R’小于信道容量C，但同时要保证压缩所引入的失真不超过预先规定的限度D。因此，信息压缩问题就是对于给定的信源，在满足平均失真不大于D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(yj|xi)就对应信道转移概率124.1信息率失真函数的概念和性质信息率失真函数R(D)有失真信源编码器模型信源编码器

有干扰的假想信道信息传输率R

I(X;Y)信源编码器XY假想信道xi{x1,,xn}yj{y1,,ym}134.1信息率失真函数的概念和性质信息率失真函数R(D)有失真信源编码器模型信源编码目的

寻找一种编码方案，使编码后所需的信息传输率R尽量小。问题

R越小，引起的平均失真就越大。解决方法

给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码方案使得信息率R最小。14D允许试验信道平均失真由信源分布p(xi)、假想信道的转移概率p(yj|xi)和失真函数d(xi，yj)决定若p(xi)和d(xi，yj)已定，则平均失真由信道转移概率{p(bj|ai)}完全确定，所有满足平均失真小于等于门限D的信道集合PD

称为D允许试验信道

4.1信息率失真函数的概念和性质信息率失真函数R(D)15当p(xi)一定时，互信息I是关于p(yj|xi)的U型凸函数，存在极小值。在允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。定义最小的互信息为信息率失真函数R(D)，即4.1信息率失真函数的概念和性质信息率失真函数R(D)对于离散无记忆信源：

p(xi)，i＝1,2,…,n

是信源符号概率分布；

p(yj|xi)，i＝1,2,…,n

j＝1,2,…,m

是符合转移概率分布；

p(yj)，j＝1,2,…,m

是接收端收到符号概率分布。16物理意义：4.1信息率失真函数的概念和性质信息率失真函数R(D)信源编码器H(X)R无失真时：R=H(X)有失真时：R=R(D)=H(X)－H(X|Y)

H(X)H(X|Y)：由于压缩编码损失的信息对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值R(D)174.1信息率失真函数的概念和性质信息率失真函数R(D)例：设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为

即符号不发生差错时失真为0，一旦出错，失真为1试研究在一定编码条件下信息压缩的程度。解:(1)信源熵为H(X)=log2nbit/符号(2)如果对信源进行不失真编码，平均每个符号至少需要log2n个二进制码元(3)如果允许一定的失真，设失真限度D=1/2，即收到100个符号，允许有50个符号以下的差错，这时信源的信息率能减少到多少？184.1信息率失真函数的概念和性质信息率失真函数R(D)该等效试验信道是无噪有损信道H(Y|X)=0，所以I(X;Y)=H(Y)信道输出符号Y的概率分布例：设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为

即符号不发生差错时失真为0，一旦出错，失真为1试研究在一定编码条件下信息压缩的程度。采用右图方式压缩194.1信息率失真函数的概念和性质信息率失真函数R(D)例：设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为

即符号不发生差错时失真为0，一旦出错，失真为1试研究在一定编码条件下信息压缩的程度。经过压缩编码以后，需要传输的信息率减少了，代价是容忍1/2的平均失真；若选取更好的压缩方法，压缩效果可能更好；若互信息小于R(D)，则失真将超过失真限度。H(X)H(X/Y)压缩掉的信息量采用右图方式压缩204.1信息率失真函数的概念和性质信息率失真函数R(D)例：设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为

即符号不发生差错时失真为0，一旦出错，失真为1试研究在一定编码条件下信息压缩的程度。改变压缩方法，如右图所示：输出符号的概率分布压缩后的信息率R(D)：比较两种方法：第一种方法好，压缩量大。第一种压缩量：

第二种压缩量：log2

采用右图方式压缩211.R(D)函数的定义域d(x,y)≥0,所以平均失真D≥0，那么Dmin能否及如何达到0?4.1信息率失真函数的概念和性质信息率失真函数的性质给定p(xi)和d(xi,yj)后，应选择使信源编码器(试验信道)，因此有：0

Dmin；Dmin=0？条件仅当失真矩阵每行至少有一个0时Dmin才能达到0，否则Dmin≠022例：输入输出符号表为X＝Y

{0，1},输入概率分布p(x)={1/3，2/3}，失真矩阵为求Dmin以及R(Dmin)解：

R(Dmin)=H(X)=H(1/3，2/3)＝0.91bit/符号1.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质0

Dmin；Dmin=0？条件23例：输入输出符号表为X＝Y

{0，1},输入概率分布p(x)={1/3，2/3}，失真矩阵为求Dmin以及R(Dmin)解：

R(Dmin)≠H(X)1.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质0

Dmin；Dmin=0？条件更改失真矩阵241.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质0

Dmin；R(Dmin=0)=H(X)？条件仅当失真矩阵每行至少有一个0，并且每列至多只有一个0时等式R(Dmin=0)=H(X)才成立。输入等概分布给定失真矩阵选定试验信道编码输出251.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质何时Dmin=0?只有当失真矩阵中每行至少有一个零元素。何时R(0)=H(X)?只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零。否则R(0)可以小于H(X)，表示这时信源符号集中有些符号可以压缩、合并而不带来任何失真。26由于I(X;Y)是非负函数，而R(D)是在约束条件下的I(X;Y)的最小值，所以R(D)也非负，其下限值为零取满足R(D)＝0的所有D中最小的，定义Dmax，即：因此可以得到R(D)的定义域为R(Dmax)=01.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质Dmax和R(Dmax)27R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj|xi)与xi无关。即此时平均失真:给定pi和dij下，寻找一种编码方案，即求一种

pj分布使D最小1.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质Dmax和R(Dmax)28R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj|xi)与xi无关。即此时平均失真:1.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质Dmax和R(Dmax)给定pi和dij下，寻找一种编码方案，即求一种

pj分布使D最小29从上式观察可得：在j=1，…，m中，可找到

值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成1.R(D)函数的定义域4.1信息率失真函数的概念和性质信息率失真函数的性质Dmax和R(Dmax)30例：输入输出符号表为X＝Y

{0，1},输入概率分布p(x)={1/3，2/3}，失真矩阵如下，求Dmax以及R(Dmax)解：当R(Dmax)＝0时,

4.1信息率失真函数的概念和性质信息率失真函数的性质此时输出符号概率p(y1)＝0，p(y2)＝1，这时的编码器的转移概率为例：某无记忆信源，已知求：信源的最大最小失真度Dmin、Dmax及其达到Dmin和Dmax时的试验信道

314.1信息率失真函数的概念和性质信息率失真函数的性质解：达到Dmin时的试验信道为:一样大选哪个？例：某无记忆信源，已知求：信源的最大最小失真度Dmin、Dmax及其达到Dmin和Dmax时的试验信道

324.1信息率失真函数的概念和性质信息率失真函数的性质解：一样大选哪个？334.1信息率失真函数的概念和性质信息率失真函数的性质2.R(D)函数的下凸性和连续性连续性下凸性（凹函数）3.R(D)函数的单调递减性离散系统

连续系统R(D)是非负的实数定义域为0～Dmax，值为0～H(X)当D>Dmax时，R(D)

0R(D)是关于D的下凸连续函数R(D)是关于D的严格递减函数.图4.1信息率失真函数的概念和性质信息率失真函数的性质信息率失真函数与信道容量的比较信道容量C率失真函数R(D)定义上数学上固定p(yj|xi)，改变p(xi),求得I(X;Y)最大值固定p(xi),改变p(yj|xi),求得I(X;Y)最小值概念上(反映)固定信道，改变信源，使信息率最大。C只跟信道有关，反映信道传输能力固定信源，改变信道，使信息率最小。R只跟信源有关，反映信源可压缩程度通信上使传输信息量最大，Pe→0——信道编码用尽可能少的码符号传送——信源编码4.2离散信源R(D)计算R(D)的计算假设已给定信源概率pi和失真函数dij，在约束条件下求信源的R(D)函数的极小值问题。拉格朗日条件极值问题应用拉格朗日乘子法：解出pij，得到在约束条件下的极小值，即R(D)4.2离散信源R(D)计算R(D)的计算例：设输入输出符号表为X＝Y

{0，1}，输入概率分布p(x)=(p，1-p)，0<p

1/2，失真矩阵为:

求信息率失真函数R(D)解：

公式推导过程，参考本章PPT第41页后4.2离散信源R(D)计算R(D)的计算对于给定的平均失真度D，信源概率分布越均匀

(p值越接近1/2)

R(D)就越大

可压缩性越小信源概率分布越不均匀，R(D)就越小

可压缩性越大。4.2离散信源R(D)计算R(D)的计算例：设某一信源概率分布p(x)={1/2，1/2}，每秒钟发出2.66个信源符号，将此信源的输出符号送入某一二元无噪无损信道中进行传输，信道每秒钟传送两个二元信道码。试问：（1）信源能否在此信道上无失真传输？（2）若信源失真矩阵为，问信源可在此信道中传输时允许信源平均失真为多大？解：（1）由题知，信源熵H(X)=1bit/符号，则其信息传输速率Rt=2.66×H(X)=2.66bit/s，而实际无噪无损信道的信道容量Ct=2bit/s,故不能无失真传输。（2）由二元信道信息失真率公式知, R(D)=H(p)-H(D)=1-H(D)bit/符号，

Rt(D)=2.66×R(D)=2.66×[1-H(D)]bit/s4.2离散信源R(D)计算R(D)的计算例：设某一信源概率分布p(x)={1/2，2/3}，每秒钟发出2.66个信源符号，将此信源的输出符号送入某一二元无噪无损信道中进行传输，信道每秒钟值传送两个二元信道码。试问：（1）信源能否在此信道上无失真传输？（2）若信源失真矩阵为，问信源可在此信道中传输时允许信源平均失真为多大？解：若想失真后的信源信息在此信道上传输,需要信息传输率小于等于信道容量，即Rt≤Ct，得：2.66×[1-H(D)]≤2，即H(D)≥0.2481，由H(D)=-[DlogD+(1-D)log(1-D)]（要查表或者计算机计算）得：0.0415≤D≤0.5允许信源平均失真为D≥0.0415,可在此信道中传输。THANKYOU！

勤能补拙是良训,一分辛劳一分才。——华罗庚拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式对于固定的信源p(ai)和失真函数d(ai,bj)，在满足保真度准则的条件下，在试验信道PD中选择p(bj|ai)，使得平均互信息I(X;Y)取得最小值。并且和自然对数可采用拉格朗日乘子法，构造一个新的目标函数进行求解。拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式其中，S和为拉格朗日乘子。对p(bj|ai)求偏导数，并令导数为零，即拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式两边除以p(ai),并令拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式两边对j求和两边乘以p(ai),再对i求和或可求解出以S为参量的p(bj)和p(bj|ai)可得以S为参量的平均失真函数以S为参量的信息率失真函数选择使p(bj)非负的所有S,得到的D和R值，可以得到R(D)曲线.拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式[具体方法](1)选择使p(yj)非零、非负的S值，由(4.2.12)得

i(2)再由(4.2.14)、(4.2.15)解得D(S)、R(S)(3)可得R～D曲线上一点，并得R～D曲线拓展：离散信源R(D)计算离散信源信息率失真函数的参量表达式

iR(S)D(S)

二元及等概率离散信源的信息率失真函数输出符号集Y:{0,1},计算信息率失真函数R(D)设二元信源对称失真矩阵(1)求Dmax

拓展：离散信源R(D)计算

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(2)计算S和Smax由

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(2)计算S和Smax由于

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(2)计算S和Smax由于

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(2)计算S和Smax

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(2)计算S和Smax由可得令，可得显式表达式

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(3)计算R(D)由因容忍一定的失真度而可能压缩的信息率信源熵

二元及等概率离散信源的信息率失真函数拓展：离散信源R(D)计算(4)R(D)曲线和S(D)曲线(

=1)1)

=1，即d(xi,yj)为误码个数，

其数学期望为误码率

D——允许的误码率，于是

2)R(D)~D曲线还与p有关p=1/2时，若D=0.5，则R=0p=1/4时，若D=0.25，则R=000.250.5DR(D)p=1/2S(D)p=1/4A3)等概时R(D)曲线在最上，面对相同的D，等概时R(D)最大4)S(D)曲线只有一条，但定义域不同

p=1/2时，S(D)定义域：D=0~0.5，连续，Smax=0p=1/4时，S(D)定义域：D=0~0.25，在0.25处断开拓展：离散信源R(D)计算对于二元信源呈等概率分布时等概率离散信源的信息率失真函数等概率离散信源的信息率失真函数拓展：离散信源R(D)计算对于n元信源呈等概率分布时等概率离散信源的信息率失真函数拓展：离散信源R(D)计算对于n元信源呈等概率分布时信源熵因容忍一定的失真度而可能压缩的信息率信息率失真函数与信息价值香农信息论的信息量——客观信息量的重要性因人而异——主观把平均失真理解为平均损失，便可衡量价值一、例：某工厂生产：合格品—x1，p(x1)=0.99

废品—x2，p(x2)=0.01检验：合格品—y1，合格品报废—损失1元

废品—y2，废品出厂—损失100元建模型检验不正确引起的损失——信道传输失真拓展：离散信源R(D)计算信息率失真函数与信息价值拓展：离散信源R(D)计算1.产品未经检验全部出厂p(y1|x1)=p(y1|x2)=1p(y2|x1)=p(y2|x2)=0

[结论]产品未经检验全部出厂引起损失1元信息率失真函数与信息价值拓展：离散信源R(D)计算2.产品未经检验全部报废p(y1|x1)=p(y1|x2)=0p(y2|x1)=p(y2|x2)=1[结论]①产品未经检验全部报废引起损失0.99元②出厂一个废品比报废99个合格品的损失大③根据Dmax定义，

Dmax=0.99④若允许损失为0.99元，则无需检验，把产品报废即可信息率失真函数与信息价值拓展：离散信源R(D)计算3.检验完全正确p(y1|x1)=p(y2|x2)=1p(y2|x1)=p(y1|x2)=0[结论]①为达无错检验，需要0.081bit信息量②

0.081bit信息量避免了0.99元的损失

每bit价值

=0.99/0.081=12.2元/bit信息率失真函数与信息价值拓展：离散信源R(D)计算4.检验有一定误差(设错判概率为0.1)p(y1|x1)=p(y2|x2)