信息论,失真函数

1、4.1 失真度与信息率失真函数失真度与信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的信息率失真函数连续信息的信息率失真函数4.4 保真度准则下的信源编码定理保真度准则下的信源编码定理第第4章章 信息率失真函数信息率失真函数4.1.1 4.1.1 失真度与平均失真度失真度与平均失真度4.1.2 4.1.2 信息率失真函数信息率失真函数4.1.3 4.1.3 信息率失真函数的性质信息率失真函数的性质1nxxX1myyY)/(ijxyp对任一对任一),(jiyx指定一个指定一个非负数非负数0),(jiyxd),(.),(),(.),(.),(),(),(.)

2、,(),(212221212111mnnnmmyxdyxdyxdyxdyxdyxdyxdyxdyxdD失真矩阵失真矩阵失真函数失真函数4.1.1 失真度与平均失真度失真度与平均失真度x1 y1x2y2xnynjiajiyxdji0),(aaaaaaa.0.011a汉明失真汉明失真0111011102)(),(ijjixyyxd2平方误差失真函数平方误差失真函数nimjjiiiijiyxdxypxpyxdED11),()/()(),(平均失真度平均失真度允许失真DD 4.1.2 信息率失真函数信息率失真函数DD D失真许可的试验信道试验信道: )/(DDxypPijD调整调整 使使R DPDR

3、D);(min)()/(YXIDRDijPxyp定义域定义域1D是允许平均失真度是允许平均失真度nijijiyxdxpD1min),(min)(当失真矩阵的每一行至少有一个零元素时，信源的当失真矩阵的每一行至少有一个零元素时，信源的平均失真度为零。平均失真度为零。最小值最小值0minD时，时，R(0)=H(X)4.1.3 信息率失真函数的性质信息率失真函数的性质)()/(jijypxyp令令mjjjypnijiimjjypnimjjijiypDypyxdxpypDyxdypxpjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDyxdxp1),()

4、(最大值最大值当当R(D)=0时，对应的平均失真最大时，对应的平均失真最大0);(YXImmnmnnDDDyxdyxdyxdyxdyxdyxd.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjypj01)(jjDDminmax下凸性下凸性2 连续和单调递减性连续和单调递减性3DH(X)R(D)maxDDD 4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.2.1 信息率失真函数的计算信息率失真函数的计算4.2.2 二元离散信源的信息率失真二元离散信源的信息率失真函数的计算函数的计算DijjiiPxypyxdxp)/(),(),(nim

5、jjijijiypxypxypxpYXI11)()/(ln)/()();(DD nixypmjij, 2 , 1 1)/(1),()/()(11jiijinimjyxdxypxpDniijijxypxpyp1)/()()(4.2.1 信息率失真函数的计算信息率失真函数的计算)()()();(11nimjjiijiD,yxdxypxpSyxI令mjijixypu1 1)(0)(ij/xyp0)()(S)()(ln)(ijiijijiu,yxdxpypxypxp0ln),()()/(lnijjijyxSdypxypi)(lniiixpu令令),()()/(jyixjiijSdeypxyp1ijij

6、imjyxSdeyp得1),()(12niiijjjyixSdexpypyp1),()()()(3将（1）式对j求和将（1）式两边乘以p(xi),再对j求和将（2）式代入（3）式)()(Sfypj代入（2）式求出 )(Sfi),()()()(11),(jijijiiyxdeypxpSDnimjyxSd4)()(ln)()()(),(11),(jjijijijiiypeypeypxpSRyxSdnimjyxSdniiixpSSD1ln)()(5)(ijxyp求出mjyxSdjyxSdjijjijieypeypxyp1),(),()()()/(得和代入将);()(YXIDxypijSdDdRnii

7、niidDdxpdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdxpDSiiini)(1 负值在公式 两边对S取导数20),()()(),(),(1jijiiijiiiyxSdyxSdnieyxdxpeapdSd两边乘以 对 求和)(jypj0)(1DdSdxpiniii0dDdSDmaxDnxpi1)()(DS)(DRSdDdR00D0 PP110 信源概率分布21 PjjDDminmaxnijiij,yxdxpD1)()(1(1)DP2DPmax2DDP(,)11()ijnSd a biiip a e 4.2.2 二元离散信源信息率失真函数的计算二元离散信源信息率

8、失真函数的计算1)1 (21sepp1)1 (21ppeS)1 (11Sep)1)(1 (12SepijijmjyxSdeyp1)(1),()1 ()()(21SSepeypyp)1)(1 ()()(21SSepypeypSSeeppyp1)1 ()(2SSepepyp1)1 ()(2),()()/(jijiijyxSdeypxyp)1 ()1 ()/(211SSepeppxyp)1)(1 ()1 ()/(212SSepeppxyp)1 ()1 ()/(221SSeppepxyp)1)(1 ()1 ()/(222SSeppepxyp将代入得和将)(iypinimjjyixSdjijiieyxd

9、ypxpSD11),(),()()()(SSee1)1ln()1 ()1ln(ln1 ln)()()(1ppeppeeSxpSSDSRSSSniii)1ln()1 (ln )1ln()1ln(ln)(ppppDDDDDDR/1/ln1DDS)()(DHpH15 . 02maxDS(D)DD0.50.25P=0.25P=0. 5()R D4.3.1 连续信源率失真函数的计算连续信源率失真函数的计算)/(),(,xypRyx定义定义0),(yxd dxdyyxdxypD),()(dxdyypxypxypyxI )()/(log)();(定义定义PD为满足保真度准则的试验信道集合为满足保真度准则的试

10、验信道集合4.3.1 连续信源率失真函数的计算连续信源率失真函数的计算);()()/(YXIInfDRcPxypD下确界下确界:InfDD dxdyexydypxxpSDyxsd),()()()( )()( dxxxpSDSR)( log)()(dDdRS 证明：222)(221)(mxexpdxxxpm)(dxxpmx)()(22 dxdyyxdxypD),()( dxyxyxpdyypdxdyyxyxpyp22)(/()()(/()(2)(),( yxyxddxyxyxpyD2)(/()(条件方差)dyyDypD)()(dxxpmx)()(22)(2log21)/(maxyeDyXh)(2

11、log21)/(yeDyXhdyyXhypYXh)/()()/(dyyDype)(log)(212log21由平均功率受限下的最大连续熵定理由平均功率受限下的最大连续熵定理根据根据詹森不等式詹森不等式：dyyDyPdyyDyP)()(log)(log)(DlogDeYXh2log21)/(DD eDYXh2log21)/(22log21)(eXh 2log21 )/()();(2DeYXhXhYXIDDR2log21)(YXN反向加性高斯实验信道DDR2log21)(1D2 0)( 2DRD2)(DRD2D2)(DS高斯信源的率失真函数C CR R( (D D) )I(X;Y)的上凸函数的上凸

12、函数I(X;Y)的下凸函数的下凸函数 I(X;Y)的极大值的极大值 I(X;Y)的条件极小值的条件极小值 的函数的函数 的函数的函数仅与信道特性有关仅与信道特性有关仅与信源特性有关仅与信源特性有关解决可靠性问题解决可靠性问题解决有效性问题解决有效性问题信息传输的基础信息传输的基础信源压缩的基础信源压缩的基础 ()jip b a ()ip aRR(D)RR(D) 、：临界值，衡量通信能否满住要求的重要界限。作业：作业：4.4 4.6 4.114/14/1324/14/110)(XPX01111011110111104.4 一个四元对称信源一个四元对称信源，接收符号，接收符号Y = 0, 1, 2, 3，其失真矩阵为，其失真矩阵为，求，求Dmax和和Dmin及信源的及信源的R(D)函数，并画出其曲线（取函数，并画出其曲线（取4至至5个点）。个点）。2/12/110)(XPX