信息论与编码第4章 信息率失真函数

1、第第2 2章：信源熵章：信源熵第第3 3章：信道容量章：信道容量第第4 4章：信息率失真函数章：信息率失真函数第第5 5章：信源编码章：信源编码第第6 6章：信道编码章：信道编码第第7 7章：密码体制的安全性测度章：密码体制的安全性测度4.1 4.1 信息率失真函数信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定理保真度准则下的信源编码定理实际通信系统允许一定的失真存在。1打电话；2放电影，视觉暂留性。允许压缩信源输出的信息率。研究内容：信息率 允许失真4.1.1 失真函数和平均失真度失真函数

2、和平均失真度4.1.2 率失真函数定义率失真函数定义4.1 .3 率失真函数性质率失真函数性质1naaX1nbbY)/(ijabp对任一),(jiba指定一个非负数0),(jibad失真度失真度（函数）),(.),(),(.),(.),(),(),(.),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadDa1 b1a2b2anbmjiajibadji0),(0.0.0aaaaaa11a汉明失真0111011102)(),(ijjiabbad2平方误差失真函数平方误差失真函数平均失真度平均失真度nimjjiijijibadabpapbadED11

3、),()/()(),(允许失真DD 4.1.1失真函数和平均失真度失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义4.1.3 率失真函数性质率失真函数性质naaax,21信源编码器信源编码器mbbby,21XY假想信道假想信道将信源编码器看作信道将信源编码器看作信道DD DD D失真许可的 试验信道试验信道: )/(DDabpPijD称)/(ijabp调整 使i);(min)()/(YXIDRDijPabp4.1.1失真函数和平均失真度失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义定义域：1max, 0 DD=0R(D)=H(X)连续：)(lim0DRDDRmaxDD

4、0)(DRmaxDD 0)(DR)()/(jijbpabp令mjjjbpnijiimjjbpnimjjijibpDbpbadapbpDbadbpapjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDbadap1),()(线性分配a1a21021)1 (aammnmnnDDDbadbadbadbadbadbad.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjbpj01)(jjDDminmax下凸性210)()1 ()()1 ( DRDRDDR)/()/(21ijijab、pabp)()( D、RD

5、RnimjjiijiDbadabpapD1111),()/()(nimjjiijiDbadabpapD11 22),()/()()()(log)/()();(111111DRbp)/a(bpabpapYXInimjjjijiiniijjabpapbp11i1)/()()()()()(log)()/();( 112222DRbp/abpapabpYXInimjjijiij定义新试验信道：)/()1 ()/()/(21ijijijabpabpabpDDDDDbadabpapDnimjjiiji 2111)1 ( )1 ( ),()/()(满足保真满足保真度准则度准则)1 ()();( DDRDRY

6、XI由 对 的下凸性：);(YXI)(ijabp);()1 ();();(21YXIYXIYXI)()1 ()( DRDR)()1 ()()1 ( DRDRDDR连续和单调递减性3DH(X)R(D)maxDDD 4.1 信息率失真函数信息率失真函数4.2 4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定保真度准则下的信源编码定理理4.2.1 离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式4.2.2 二元信源的率失真函数二元信源的率失真函数DijjiiPabpbadap)/(),(),(

7、nimjjijijibpabpabpapYXI11)()/(ln)/()();(DD niabpmjij, 2 , 1 1)/(1),()/()(11jiijinimjbadabpapDniijijabpapbp1)/()()()()()();(11nimjjiijiD,badabpapSYXI令mjijiabpu1 1)(0)(ij/abp0)()(S)()()()(ln)(ijiiiijijiu,badapapapbpabpap0ln),()()/(lnijjijbaSdbpabpi)(lniiiapu令),()()/(jbiajiijSdebpabp1mjbajijiSdebp1),()

8、(12niiijjjbiaSdeapbpbp1),()()()(3i32)(jbp1,i)(jbp)(ijabp),()()()(11),(jijijiibadebpapSDnimjbaSd4)()(ln)()()(),(11),(jjijijijiibpebpebpapSRbaSdnimjbaSdniiiapSSD1ln)()(5SdDdRniiniidDdapdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdapDSiiini)(1 负值在公式 两边对S取导数20),()()(1),(),(nibaSdbaSdjijiiijiiiebadapeapdSd两边乘以 对

9、 求和)(jbpj0)(1DdSdapiniii0dDdSDmaxDnapi1)()(DS)(DR4.2.1离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式11)(),(1jibaSdniiieapi),(1)(1jibaSdmjjiebp)(jbp),()()(jibaSdijijebpabpnimjbaSdjiijijiebadbpapSD11),(),()()()(iniiapSSDSRln)()()(1)(ijabp验证 是否大于等于零)(ijabp23456),()(minmin1maxjiniijjjbadapDD70,00D21,1)( 21pppaaXPXj

10、jDDminmaxnijiij,badapD1)()(,)11()ijnSd a biiip a e )1 (1pDpD 2pDD2max1)1 (21sepp1)1 (21ppeS)1 (11Sep)1)(1 (12SepijijmjbaSdebp1)(1),()1 ()()(21SSepebpbp)1)(1 ()()(21SSepbpebpSSeeppbp1)1 ()(1SSepepbp1)1 ()(2),()()/(jijiijbaSdebpabp)1 ()1 ()/(211SSepeppabp)1)(1 ()1 ()/(212SSepeppabp)1 ()1 ()/(221SSeppe

11、pabp)1)(1 ()1 ()/(222SSeppepabpnimjjbiaSdjijiiebadbpapSD11),(),()()()(SSee1)1ln()1 ()1ln(ln1 ln)()()(1ppeppeeSapSSDSRSSSniii)1ln()1 (ln )1ln()1ln(ln)(ppppDDDDDDR/1/ln21DDS容忍失真允许压缩的信息率)()(DHpH15 . 02maxDS(D)DD0.50.25P=0.25P=0.5()R D4.34.3连续信息的率失真函数连续信息的率失真函数连续率失真函数的参量表达式连续率失真函数的参量表达式高斯信源的率失真函数高斯信源的率失

12、真函数4.3.3 信息价值信息价值 合格品a1，废品a2，生产过程抽象成信源：例例01. 099. 021aa 把检验过程看作信道，检验结果即为信道输出。0),(11bad合格品出厂：b1：检验合格b2：检验不合格废品报废：0),(22bad合格品报废：1),(21bad废品出厂：100),(12bad 0100102121aabbD 不经检验全部出厂： 0101P1元1),()/()(2121ijjiijibadabpapD不经检验全部报废： 1010P2元99. 0D检验完全正确： 1001P3元0D)/(081. 0 99. 0log99. 001. 0log01. 0 )()(符号符号bitXHDR)/(2 .12081.099.099.0maxbitD元元检验不十分可靠： 9 . 01 . 01 . 09 . 0P411 . 099. 009 . 099. 0D09 . 001. 01001 . 001. 0元199. 0比最大损失减少了：0.99-0.199=0.791 元)/(6 .31025. 0791. 0)/(25. 0);(bitbitYXI元元符号符号108. 0)(