信息理论与编码 第四章 信息率失真函数

1、第第2 2章：信源熵章：信源熵第第3 3章：信道容量章：信道容量第第4 4章：信息率失真函数章：信息率失真函数第第5 5章：信源编码章：信源编码第第6 6章：信道编码章：信道编码第第7 7章：密码体制的安全性测度章：密码体制的安全性测度4.1 4.1 信息率失真函数信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定理保真度准则下的信源编码定理4.1.1 失真函数和平均失真度失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义4.1 .3 率失真函数性质率失真函数性质实际通信系统允许一定的

2、失真存在。1打电话；2放电影，视觉暂留性。允许压缩信源输出的信息率。研究内容：信息率 允许失真1naaX1nbbY)/(ijabp对任一),(jiba指定一个非负数0),(jibad失真度失真度 （函数）),(.),(),(.),(.),(),(),(.),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadDa1 b1a2b2anbnjiajibadji0),(aaaaaaa.0.011a汉明失真0111011102)(),(ijjiabbad2平方误差失真函数平方误差失真函数平均失真度平均失真度nimjjiiiijibadabpapbadED1

3、1),()/()(),(允许失真DD N次扩展信道的平均失真度：NNXXXX21Niiixxa1,11niiaaxxNniiN, 1,1Nni, 2 , 1NNYYYY21Nmj, 2 , 1 ,11mjjbbyyNNjjjyyb.1mjjjN1,21NkjijijijjiikkNNNNjiyxdyxdyxdyyxxdbad1),( ),(),( ),(),(1111由信源和信道的无记忆性)/()/()()( 11kkkjjNkijjNkixypabpxpapNjiijnimjiDDbadabpapNDNN111 ),()/()()(DDkDNND)(NDND)(4.1.1失真函数和平均失真度

4、失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义4.1.3 率失真函数性质率失真函数性质naaax,21信源编码器信源编码器nbbby,21XY假想信道假想信道将信源编码器看作信道将信源编码器看作信道DDD D失真许可的 试验信道试验信道: )/(DDabpPijD称)/(ijabp调整 使);(min)()/(YXIDRDijPxypN次无记忆扩展信源和信道：)(: )/()(NDNDabpPijND);(min)()()/(YXIDRNDijPabPN)()(DNRDRN4.1.1失真函数和平均失真度失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义定义域：1max,

5、 0 DD=0R(D)=H(X)连续：)(lim0DRDDRmaxDD0)(DRmaxDD 0)(DR)()/(jijbpabp令mjjjbpnijiimjjbpnimjjijibpDbpbadapbpDbadbpapjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDyadap1),()(线性分配a1a21021)1 (aammnmnnDDDyxdyxdyxdyxdyxdyxd.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjypj01)(jjDDminmax下凸性210)()1 ()()1 (

6、DRDRDDR)/()/(21ijijab、pabp)()( D、RDRnimjjiijiDbadabpapD1111),()/()(nimjjiijiDbadabpapD11 22),()/()()()(log)/()();(111111DRbp)/a(bpabpapbaInimjjjijiiniijjabpapbp11i1)/()()()()()(log)()/();( 1122i22DRbp/abpapabpbaInimjjijij定义新试验信道：)/()1 ()/()/(21ijijijabpabpabpDDDDDbadabpapDnimjjiiji 2111)1 ( )1 ( ),(

7、)/()(满足保真满足保真度准则度准则)1 ()();( DDRDRYXI由 对 的下凸性：);(YXI)(ijabp);()1 ();();(21YXIYXIYXI)()1 ()( DRDR)()1 ()()1 ( DRDRDDR连续和单调递减性3DH(X)R(D)maxDDD 4.1 信息率失真函数信息率失真函数4.2 4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定保真度准则下的信源编码定理理4.2.1 离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式4.2.2 二元信源的率失真函

8、数二元信源的率失真函数DijjiiPabpbadap)/(),(),(nimjjijijibpabpabpapYXI11)()/(ln)/()();(DD niabpmjij, 2 , 1 1)/(1),()/()(11jiijinimjbadabpapDniijijabpapbp1)/()()()()()();(11nimjjiijiD,badabpapSyxI令mjijiabpu1 1)(0)(ij/abp0)()(S)()()()(ln)(ijiiiijijiu,badapapapbpabpap0ln),()()/(lnijjijbaSdbpabpi)(lniiiapu令),()()/(

9、jbiajiijSdebpabp1mjbajijiSdebp1),()(12niiijjjbiaSdeapbpbp1),()()()(3i32)(jbp1,i)(jbp)(ijabp),()()()(11),(jijijiibadebpapSDnimjbaSd4)()(ln)()()(),(11),(jjijijijiibpebpebpapSRbaSdnimjbaSdniiiapSSD1ln)()(5SdDdRniiniidDdapdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdapDSiiini)(1 负值在公式 两边对S取导数20),()()(),(),(1jij

10、iiijiiibaSdbaSdniebadapeapdSd两边乘以 对 求和)(jbpj0)(1DdSdapiniii0dDdSDmaxDnapi1)()(DS)(DR4.2.1离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式00D0PPD110max21PjjDDminmaxnijiij,badapD1)()(1(1)DP2DPmax2DDP(,)11()ijnSd a biiip a e 1)1 (21sepp1)1 (21ppeS)1 (11Sep)1)(1 (12SepijijmjbaSdeyp1)(1),()1 ()()(21SSepebpbp)1)(1 ()()

11、(21SSepbpebpSSeeppbp1)1 ()(2SSepepbp1)1 ()(2),()()/(jijiijbaSdebpabp)1 ()1 ()/(211SSepeppabp)1)(1 ()1 ()/(212SSepeppabp)1 ()1 ()/(221SSeppepabp)1)(1 ()1 ()/(222SSeppepabpnimjjbiaSdjijiiebadbpapSD11),(),()()()(SSee1)1ln()1 ()1ln(ln1 ln)()()(1ppeppeeSapSSDSRSSSniii)1ln()1 (ln )1ln()1ln(ln)(ppppDDDDDDR

12、2/12/ln21DDS)()(DHpH15 . 02maxDS(D)DD0.50.25P=0.25P=0. 5()R D4.1 信息率失真函数信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数 4.3 连续信源的信息率是真函数4.4 保真度准则下的信源编码定保真度准则下的信源编码定理理4.3.1 4.3.1 连续信源失真函数的参量表达式连续信源失真函数的参量表达式)/(),(,xypRyx定义定义0),(yxd dxdyyxdxypD),()(dxdyypxypxypyxIc )()/(log)();(定义PD为满足保真度准则的试验信道集合);()()/(YXIInfDR

13、cPxypD下确界:InfDD dxdyexydypxxpSDyxsd),()()()( )()( dxxxpSDSR)( log)()(dDdRS 证明：4.3.2 4.3.2 高斯信源的率失真函数高斯信源的率失真函数222)(221)(mxexpdxxxpm)(dxxpmx)()(222)(),( yxyxd 2)(/()( ),()/()(yxxypdxxpdxdyyxdxypxpD dxdyyxdxypD),()( dxyxyxpdyypdxdyyxyxpyp22)(/()()(/()(dxyxyxpyD2)(/()(条件方差)dyyDypD)()()(2log21)/(maxyeDy

14、XH)(2log21)/(yeDyXHcdyyXHypYXHcc)/()()/(maxdyyDype)(log)(212log21根据根据詹森不等式詹森不等式：dyyDyPdyyDyP)()(log)(log)(DlogDeYXHc2log21)/(DD eDYXHc2log21)/(22log21)(eXHceDDe2log212log21 2log21 )/()();(2DeYXHXHYXIcccDDR2log21)(YXN反向加性高斯实验信道DDR2log21)(1D2 0)( 2DRD2)(DRD2D2)(DS高斯信源的率失真函数4.34.3连续信息的率失真函数连续信息的率失真函数连续

15、率失真函数的参量表达式连续率失真函数的参量表达式高斯信源的率失真函数高斯信源的率失真函数4.3.3 信息价值信息价值 合格品x1，废品x2，生产过程抽象成信源：例例01. 099. 021aa 把检验过程看作信道，检验结果即为信道输出。0),(11bad合格品出厂：b1：检验合格b2：检验不合格废品报废：0),(22bad合格品报废：1),(21bad废品出厂：100),(12bad 0100102121aabbD 不经检验全部出厂： 0101P1元1),()/()(2121ijjiijibadabpapD不经检验全部报废： 1010P2元99. 0D检验完全正确： 1001P3元0D)/(0

16、81. 0 99. 099. 001. 001. 0 )()(符号bitLogLogXHDR)/(2 .12081.099.099.0maxbitD元元检验不十分可靠： 9 . 01 . 01 . 09 . 0P411 . 099. 009 . 099. 0D09 . 001. 01001 . 001. 0元199. 0比最大损失减少了：0.99-0.199=0.791 元)/(6 .31025. 0791. 0)/(25. 0);(bitbityxI元符号108. 0)( 892. 0)( )/()()( )/()();(2121bpbpabpapbpXYHYHYXIiijij的反函数表示用)()(DRRD)(maxRDDV)()()(maxDRRDDDRV价值率价值率SRD