信息率失真理论

1、信息率失真理论信息率失真理论第第4章章 信息率失真理论信息率失真理论教学内容和要求教学内容和要求理解保真度准则，理解实验信道理解保真度准则，理解实验信道掌握二进制信源、等概率信源的信息率失真函掌握二进制信源、等概率信源的信息率失真函数数了解了解N次扩展信源的信息率失真函数次扩展信源的信息率失真函数掌握高斯信源的信息率失真函数掌握高斯信源的信息率失真函数信息率失真理论信息率失真理论一、保真度准则和实验信道一、保真度准则和实验信道1、失真度、失真度定义定义)x , x(d)x ,x(dx x xxjiji或间的非负函数或消息的与单符号等效信源收到或单符号信源发出的消息ji1ji0)x ,x(dji

2、汉明失真度汉明失真度常用于离散信源常用于离散信源表示表示信息率失真理论信息率失真理论全部全部nn个失真度个失真度失真矩阵失真矩阵)x ,x( d.)x ,x( d)x ,x( d.)x ,x( d.)x ,x( d)x ,x( d)x ,x( d.)x ,x( d)x ,x( dDnn2n1nn22212n12111汉明失真矩阵汉明失真矩阵0.11.1.011.10D信息率失真理论信息率失真理论平方误差失真度平方误差失真度常用于连续信源常用于连续信源平方误差失真函数平方误差失真函数2)x x()x , x(d2、平均失真度、平均失真度失真度的数学期望失真度的数学期望定义定义信息率失真理论信息率

3、失真理论n1in1jjijiji)x ,x(d)x x(P)x ,x(dED表示表示 babax dxd)x , x(d)x x(p)x , x(dED3、保真度准则、保真度准则平均失真度不大于给定的允许失真平均失真度不大于给定的允许失真D定义定义信息率失真理论信息率失真理论表示表示DD 4、实验信道、实验信道定义定义满足保真度准则的所有数据处理信道满足保真度准则的所有数据处理信道信息率失真理论信息率失真理论离散信源的实验信道离散信源的实验信道表示表示DD: )X/X(P)X/X(PD全部全部nn个实验信道转移概率个实验信道转移概率实验信道矩阵实验信道矩阵)x/x (P.)x/x (P)x/x

4、 (P.)x/x (P.)x/x (P)x/x (P)x/x (P.)x/x (P)x/x (P)X/X(PnnD2nD1nDn2D22D12Dn1D21D11DD信息率失真理论信息率失真理论连续信源的实验信道连续信源的实验信道DD: )x/x (p)x/x (pD实验信道转移概率密度函数实验信道转移概率密度函数信息率失真理论信息率失真理论二、单符号离散信源的信息率失真函数二、单符号离散信源的信息率失真函数信源固定时，与等效信源间的平均互信息量是数信源固定时，与等效信源间的平均互信息量是数据处理信道转移概率分布的严格下凸函数，总能据处理信道转移概率分布的严格下凸函数，总能在实验信道中找到一种信

5、道转移概率分布，使实在实验信道中找到一种信道转移概率分布，使实验信道中传输的平均互信息量在保真度准则下达验信道中传输的平均互信息量在保真度准则下达到最小到最小信源概率分布不变时，保真度准则下平均互信息信源概率分布不变时，保真度准则下平均互信息量的极小值，用量的极小值，用R(D)表示表示定义定义信息率失真理论信息率失真理论)X;X( Imin)D(R)X/X(PD表示表示1、信息率失真函数、信息率失真函数实验信道转移概率分布的实验信道转移概率分布的n个约束条件个约束条件n, 2 , 1i1)x/x (Pn1jijD保真度准则的约束条件保真度准则的约束条件D)x ,x(d)x x(PDn1in1j

6、jiji信息率失真理论信息率失真理论条件极值限制下的和在DDn, 2 , 1i1)x/x (P)X;X( In1jijD1)x/x (PD)x ,x(d)x/x (P)x(P S)X;X( I )x/x (Pn1lklDkn1kn1llkklDkijD令 )x/x (Plog)x/x (P)x(P)x (Plog)x (P)x/x (Pn1kklDn1lklDkn1kllijD信息率失真理论信息率失真理论)x(P )x/x (P)x(P)x/x (P)x (P)x/x (Pin1kkjDkijDjijD注意到)x(ePlog)x (Plog)x(P)x (Plog)x (P)x/x (Piji

7、ln1llijDn, 2 , 1jn, 2 , 1i01)x/x (PD)x ,x(d)x/x (P)x(P Sn1lklDkn1kn1llkklDk信息率失真理论信息率失真理论)x ,x(d)x(SPD)x ,x(d)x/x (P)x(P S)x/x (Pjiin1kn1llkklDkijDin1lilDiijD1)x/x (P)x/x (Pelog)x(P)x/x (Plog)x(P )x/x (Plog)x/x (P)x(P)x/x (PiijDin1kklDn1lklDkijDn, 2 , 1jn, 2 , 1i信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i0)x ,

8、x(d)x(SP)x/x (Plog)x(P)x (Plog)x(PijiiijDijin, 2 , 1jn, 2 , 1i0)x(P)x ,x(Sd)x (P)x/x (PlogiijijijD)x(Plogiii记n, 2 , 1jn, 2 , 1i02log)x (P)x/x (Ploglog2log)x (P)x/x (Plog)x ,x(SdijijDi)x ,x(SdjijDjiji信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i2)x (P)x/x (P)x ,x(SdjiijDji对对j求和求和n, 2 , 1i2)x (P1n1j)x ,x(Sdjiji乘乘P

9、(xi)对对i求和求和n, 2 , 1j2)x(P1n1i)x ,x(Sdiijin, 2 , 1jn, 2 , 1i2)x (P)x/x (P)x ,x(SdijijDji信息率失真理论信息率失真理论信息率失真函数信息率失真函数n, 2 , 1jS12)x(P) 1 (in1i)x ,x(Sdiiji的求含由n, 2 , 1i)x (PS/ 12)x (P) 2(jin1j)x ,x(Sdjji的求含由n, 2 , 1jn, 2 , 1i2)x (P)x/x (PS) 3()x ,x(SdjiijDji的含n1in1jjiijDiS)x ,x(d)x/x (P)x(PDDS)4(求的由含信息

10、率失真理论信息率失真理论n1ijijDn1jijDi)x (P)x/x (Plog)x/x (P)x(P)D(R) 5 (n1in1jjiijDin1in1jiijDij)x ,x(Sdjin1in1jijDi)x ,x(Sd)x/x (P)x(Plog)x/x (P)x(P)x (P2)x (Plog)x/x (P)x(Pjiin1iilog)x(PSD信息率失真理论信息率失真理论2、二进制信源的信息率失真函数、二进制信源的信息率失真函数21pp1pxx)X(PX21其中二进制信源0110D失真矩阵2 , 1jS12)x(P) 1 (i21i)x ,x(Sdiiji的求含由12) p1 (p

11、S211) p1 (2p2S1)21 (p1S1)21)(p1 (1S2信息率失真理论信息率失真理论)21 (p2)x (P)x (PSS21)21)(p1 ()x (P2)x (PSS21SS1212)p1 (p)x (PSS2212p) p1 ()x (P2 , 1i)x (PS/12)x (P)2(ji21j)x ,x(Sdjji的求含由信息率失真理论信息率失真理论)21 ( p2) p1 (p)x/x (PS2S11DSS2S21D2)21)(p1 (2) p1 (p)x/x (PSS2S12D2)21 (p2p)p1 ()x/x (P)21)(p1 (2p) p1 ()x/x (PS

12、2S22D2 , 1j2 , 1i2)x (P)x/x (PS) 3 ()x ,x(SdjiijDji的含信息率失真理论信息率失真理论S)x ,x(d)x/x (P)x(PDDS)4(21i21jjiijDi求的由含SS2SSS2S2)21)(p1 (2)p1 (p)p1 (2)21 (p2p)p1 (pDSSSS2S212221)21 (D1DlogSD1D2S信息率失真理论信息率失真理论21iiilog)x(PSD)D(R) 5()21)(p1 (1log)p1 ()21 (p1logpSDSSp1D1log)p1 (pD1logpD1DlogD) p1log() p1 (plogp)D1

13、log()D1 (DlogD)D(H)p(H信息率失真理论信息率失真理论的实验信道，达到的代入含)D(R)/xx (PSD1D2ijDS)D21 (p)Dp)(D1 ()21 (p2)p1 (p)x/x (PS2S11D)D21)(p1 ()Dp(D2)21)(p1 (2)p1 (p)x/x (PSS2S21D)D21 (p)Dp1 (D2)21 (p2p)p1 ()x/x (PSS2S12D)D21)(p1 ()Dp1)(D1 ()21)(p1 (2p) p1 ()x/x (PS2S22D信息率失真理论信息率失真理论0)D(H)p(H)D(R0R(p)D(RpDDmaxmax时，R(D)D0

14、.50.25p=0.25p=0.5010.811) p(H) 0(R)D(R0DDminmin时，信息率失真理论信息率失真理论求允许失真求允许失真D=1/8时的信息率失真函数时的信息率失真函数R(D)及达到及达到R(D)的实验信道的实验信道4/34/110)X(PX二进制信源0110D失真矩阵例例1)bit(267. 087log8781log8143log4341log41)D(H) p(H)D(RD=1/8时时信息率失真理论信息率失真理论12743418187)D21 ( p)Dp)(D1 ()x/x (P11D12543418581)D21 (p)Dp1 (D)x/x (P12D3614

15、3438181)D21)(p1 ()Dp(D)x/x (P21D信息率失真理论信息率失真理论363543438587)D21)(p1 ()Dp1)(D1 ()x/x (P22D信息率失真理论信息率失真理论3、等概率信源的信息率失真函数、等概率信源的信息率失真函数等概率信源等概率信源011101110D失真矩阵信息率失真理论信息率失真理论1n12n12n112n12n1n1nS2S1SnS21n, 2 , 1i2) 1n(1nSin, 2 , 1jS12)x(P) 1 (in1i)x ,x(Sdiiji的求含由信息率失真理论信息率失真理论n, 2 , 1i)x (PS/ 12)x (P) 2(j

16、in1j)x ,x(Sdjji的求含由inS2S1iSnS211)x (P2)x (P2)x (P12)x (P2)x (P)x (Pn, 2 , 1jn12) 1n(1 1)x (PiSj信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i2)x (P)x/x (PS) 3()x ,x(SdjiijDji的含项，共nji2) 1n(11)x/x (PSijD项，共) 1n(nji2) 1n(12)x/x (PSSijDn1in1jjiijDiS)x ,x(d)x/x (P)x(PDDS)4(求的由含SSSS2) 1n(12) 1n() 1n(n2) 1n(12n1D信息率失真理论

17、信息率失真理论)D1D1n1log(SD1D2) 1n(Sn1iiilog)x(PSD)D(R) 5(S2) 1n(1nlogSD)D(H) 1nlog(Dnlog)D1log()D1 (DlogD) 1nlog(Dnlog)D1 (nlog)D1D1n1log(D信息率失真理论信息率失真理论的实验信道，达到的代入含)D(R)/xx (PSD1D2ijDS项，共njiD12) 1n(11)x/x (PSijD项，共) 1n(nji1nD2) 1n(12)x/x (PSSijD0)D(H) 1nlog(Dnlog)D(R0)n1nR()D(Rn1nDDmaxmax时，nlog) 0(R)D(R0

18、DDminmin时，信息率失真理论信息率失真理论p=0.5时，二进制信源的信息率失真函数时，二进制信源的信息率失真函数)D(H2log)D(H) 5 . 0 (H)D(RD1)D21 (21)D21)(D1 ()x/x (P11DD)D21 (21)D211 (D)x/x (P12DD)D21 (21)D21(D)x/x (P21DD1)D21 (21)D211)(D1 ()x/x (P22D信息率失真理论信息率失真理论n=2时，等概率信源的信息率失真函数时，等概率信源的信息率失真函数)D(H2log)D(H1logD2log)D(RD1)x/x (P)x/x (P22D11DD12D)x/x

19、 (P)x/x (P21D12D信息率失真理论信息率失真理论三进制等概率信源，三进制等概率信源，011101110D失真矩阵求允许失真求允许失真D =1/3时的信息率失真函数时的信息率失真函数R(D)及达到及达到R(D)的实验信道的实验信道例例2D=1/3时时)D(H) 1nlog(Dnlog)D(R)bit(334. 032log3231log312log313log信息率失真理论信息率失真理论3 , 2 , 1ji32D1)x/x (PijD3 , 2 , 1j , iji611nD)x/x (PijD，习题：习题：(P129-130)4.1、4.10、4.11信息率失真理论信息率失真理论

20、三、三、N次扩展信源的信息率失真函数次扩展信源的信息率失真函数1、N次扩展信源的保真度准则和实验信道次扩展信源的保真度准则和实验信道失真度失真度)x ,x( d)x ,x( d)x ,x( d)x x x ,xxx( dNN2211N21N21jijijijjjiii平均失真度平均失真度)x ,x( d)x ,x( d)x ,x( d )x xx/x x x (P)xxx(P)x x x ,xxx( d EDNN221112N12NN21N21N21N21N21jijijin1in1in1in1jn1jn1jjiijjjiiijjjiiiN 信息率失真理论信息率失真理论)x ,x ( d)x

21、,x ( d)x ,x ( d )x/x ( P)x/x ( P)x/x ( P)x ( P)x ( P)x ( PNN221112N12NNN2211N21jijijin1in1in1in1jn1jn1jijijijiii n1in1jjiijin1in1jjiijin1in1jjiijiNNNNNNN22222221111111)x ,x( d )x/x (P)x(P)x ,x( d )x/x (P)x(P)x ,x( d )x/x (P)x(P信息率失真理论信息率失真理论DDNDDNDN如果给定允许失真如果给定允许失真ND保真度准则保真度准则DNDDDN21DD: )X/X(P)X/X(

22、PNDDND: )X/X(P)X/X(PDNNNNNND实验信道实验信道信息率失真理论信息率失真理论2、N次扩展信源的信息率失真函数次扩展信源的信息率失真函数)D(NR)X;X(NImin)X;X( Imin)ND(R)X/X(PNN)X/X(PDNNND信息率失真理论信息率失真理论四、单符号连续信源的信息率失真函数四、单符号连续信源的信息率失真函数信源概率密度函数不变时，保真度准则下平均互信源概率密度函数不变时，保真度准则下平均互信息量的下确界，用信息量的下确界，用R(D)表示表示定义定义信源固定时，与等效信源间的平均互信息量是数信源固定时，与等效信源间的平均互信息量是数据处理信道转移概率密

23、度函数的严格下凸泛函，据处理信道转移概率密度函数的严格下凸泛函，总能在实验信道中找到一种信道转移概率密度函总能在实验信道中找到一种信道转移概率密度函数，使实验信道中传输的平均互信息量在保真度数，使实验信道中传输的平均互信息量在保真度准则下达到最小准则下达到最小信息率失真理论信息率失真理论)X;X( Iinf)D(R)x/x (pD表示表示1、信息率失真函数、信息率失真函数实验信道转移概率密度函数的约束条件实验信道转移概率密度函数的约束条件bxa1x d)x/x (pbaD保真度准则的约束条件保真度准则的约束条件Dx dxd)x , x(d)x x(pDbaba 信息率失真理论信息率失真理论的变

24、分限制下和在泛函DDbxa1x d)x/x (p)X;X( IbaD信息率失真函数信息率失真函数bx a)x(S1dxe )x(p)x() 1 ()x ,x(Sd的求含由bxa)x (pS1x de )x (p)x()2()x ,x(Sd的求含由bx abxae )x (p)x()x/x (pS) 3()x ,x(SdD的含信息率失真理论信息率失真理论Sx dxd)x , x(d)x/x (p)x(pDDS)4(D求的由含 dx)x(ln)x(pSD)D(R) 5 (2、高斯信源的信息率失真函数、高斯信源的信息率失真函数2x22x2xe21)x(p 高斯信源2)x x()x , x(d 失真函数x )x(S1dxe )x(p)x() 1 ()x ,x(Sd的求含由信息率失真理论信息率失真理论)x(p)S( f)x(设1S)S(fdxe)S(fdxe )x(p)x(2)x x(S)x ,x(Sd2x22x22x2x2x2xeS2e2S)x(p)S( f)x(bxa)x (pS1x de )x (p)x()2()x ,x(Sd的求含由)x(px de )