




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、信息率失真理论信息率失真理论第第4章章 信息率失真理论信息率失真理论教学内容和要求教学内容和要求理解保真度准则,理解实验信道理解保真度准则,理解实验信道掌握二进制信源、等概率信源的信息率失真函掌握二进制信源、等概率信源的信息率失真函数数了解了解N次扩展信源的信息率失真函数次扩展信源的信息率失真函数掌握高斯信源的信息率失真函数掌握高斯信源的信息率失真函数信息率失真理论信息率失真理论一、保真度准则和实验信道一、保真度准则和实验信道1、失真度、失真度定义定义)x , x(d)x ,x(dx x xxjiji或间的非负函数或消息的与单符号等效信源收到或单符号信源发出的消息ji1ji0)x ,x(dji
2、汉明失真度汉明失真度常用于离散信源常用于离散信源表示表示信息率失真理论信息率失真理论全部全部nn个失真度个失真度失真矩阵失真矩阵)x ,x( d.)x ,x( d)x ,x( d.)x ,x( d.)x ,x( d)x ,x( d)x ,x( d.)x ,x( d)x ,x( dDnn2n1nn22212n12111汉明失真矩阵汉明失真矩阵0.11.1.011.10D信息率失真理论信息率失真理论平方误差失真度平方误差失真度常用于连续信源常用于连续信源平方误差失真函数平方误差失真函数2)x x()x , x(d2、平均失真度、平均失真度失真度的数学期望失真度的数学期望定义定义信息率失真理论信息率
3、失真理论n1in1jjijiji)x ,x(d)x x(P)x ,x(dED表示表示 babax dxd)x , x(d)x x(p)x , x(dED3、保真度准则、保真度准则平均失真度不大于给定的允许失真平均失真度不大于给定的允许失真D定义定义信息率失真理论信息率失真理论表示表示DD 4、实验信道、实验信道定义定义满足保真度准则的所有数据处理信道满足保真度准则的所有数据处理信道信息率失真理论信息率失真理论离散信源的实验信道离散信源的实验信道表示表示DD: )X/X(P)X/X(PD全部全部nn个实验信道转移概率个实验信道转移概率实验信道矩阵实验信道矩阵)x/x (P.)x/x (P)x/x
4、 (P.)x/x (P.)x/x (P)x/x (P)x/x (P.)x/x (P)x/x (P)X/X(PnnD2nD1nDn2D22D12Dn1D21D11DD信息率失真理论信息率失真理论连续信源的实验信道连续信源的实验信道DD: )x/x (p)x/x (pD实验信道转移概率密度函数实验信道转移概率密度函数信息率失真理论信息率失真理论二、单符号离散信源的信息率失真函数二、单符号离散信源的信息率失真函数信源固定时,与等效信源间的平均互信息量是数信源固定时,与等效信源间的平均互信息量是数据处理信道转移概率分布的严格下凸函数,总能据处理信道转移概率分布的严格下凸函数,总能在实验信道中找到一种信
5、道转移概率分布,使实在实验信道中找到一种信道转移概率分布,使实验信道中传输的平均互信息量在保真度准则下达验信道中传输的平均互信息量在保真度准则下达到最小到最小信源概率分布不变时,保真度准则下平均互信息信源概率分布不变时,保真度准则下平均互信息量的极小值,用量的极小值,用R(D)表示表示定义定义信息率失真理论信息率失真理论)X;X( Imin)D(R)X/X(PD表示表示1、信息率失真函数、信息率失真函数实验信道转移概率分布的实验信道转移概率分布的n个约束条件个约束条件n, 2 , 1i1)x/x (Pn1jijD保真度准则的约束条件保真度准则的约束条件D)x ,x(d)x x(PDn1in1j
6、jiji信息率失真理论信息率失真理论条件极值限制下的和在DDn, 2 , 1i1)x/x (P)X;X( In1jijD1)x/x (PD)x ,x(d)x/x (P)x(P S)X;X( I )x/x (Pn1lklDkn1kn1llkklDkijD令 )x/x (Plog)x/x (P)x(P)x (Plog)x (P)x/x (Pn1kklDn1lklDkn1kllijD信息率失真理论信息率失真理论)x(P )x/x (P)x(P)x/x (P)x (P)x/x (Pin1kkjDkijDjijD注意到)x(ePlog)x (Plog)x(P)x (Plog)x (P)x/x (Piji
7、ln1llijDn, 2 , 1jn, 2 , 1i01)x/x (PD)x ,x(d)x/x (P)x(P Sn1lklDkn1kn1llkklDk信息率失真理论信息率失真理论)x ,x(d)x(SPD)x ,x(d)x/x (P)x(P S)x/x (Pjiin1kn1llkklDkijDin1lilDiijD1)x/x (P)x/x (Pelog)x(P)x/x (Plog)x(P )x/x (Plog)x/x (P)x(P)x/x (PiijDin1kklDn1lklDkijDn, 2 , 1jn, 2 , 1i信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i0)x ,
8、x(d)x(SP)x/x (Plog)x(P)x (Plog)x(PijiiijDijin, 2 , 1jn, 2 , 1i0)x(P)x ,x(Sd)x (P)x/x (PlogiijijijD)x(Plogiii记n, 2 , 1jn, 2 , 1i02log)x (P)x/x (Ploglog2log)x (P)x/x (Plog)x ,x(SdijijDi)x ,x(SdjijDjiji信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i2)x (P)x/x (P)x ,x(SdjiijDji对对j求和求和n, 2 , 1i2)x (P1n1j)x ,x(Sdjiji乘乘P
9、(xi)对对i求和求和n, 2 , 1j2)x(P1n1i)x ,x(Sdiijin, 2 , 1jn, 2 , 1i2)x (P)x/x (P)x ,x(SdijijDji信息率失真理论信息率失真理论信息率失真函数信息率失真函数n, 2 , 1jS12)x(P) 1 (in1i)x ,x(Sdiiji的求含由n, 2 , 1i)x (PS/ 12)x (P) 2(jin1j)x ,x(Sdjji的求含由n, 2 , 1jn, 2 , 1i2)x (P)x/x (PS) 3()x ,x(SdjiijDji的含n1in1jjiijDiS)x ,x(d)x/x (P)x(PDDS)4(求的由含信息
10、率失真理论信息率失真理论n1ijijDn1jijDi)x (P)x/x (Plog)x/x (P)x(P)D(R) 5 (n1in1jjiijDin1in1jiijDij)x ,x(Sdjin1in1jijDi)x ,x(Sd)x/x (P)x(Plog)x/x (P)x(P)x (P2)x (Plog)x/x (P)x(Pjiin1iilog)x(PSD信息率失真理论信息率失真理论2、二进制信源的信息率失真函数、二进制信源的信息率失真函数21pp1pxx)X(PX21其中二进制信源0110D失真矩阵2 , 1jS12)x(P) 1 (i21i)x ,x(Sdiiji的求含由12) p1 (p
11、S211) p1 (2p2S1)21 (p1S1)21)(p1 (1S2信息率失真理论信息率失真理论)21 (p2)x (P)x (PSS21)21)(p1 ()x (P2)x (PSS21SS1212)p1 (p)x (PSS2212p) p1 ()x (P2 , 1i)x (PS/12)x (P)2(ji21j)x ,x(Sdjji的求含由信息率失真理论信息率失真理论)21 ( p2) p1 (p)x/x (PS2S11DSS2S21D2)21)(p1 (2) p1 (p)x/x (PSS2S12D2)21 (p2p)p1 ()x/x (P)21)(p1 (2p) p1 ()x/x (PS
12、2S22D2 , 1j2 , 1i2)x (P)x/x (PS) 3 ()x ,x(SdjiijDji的含信息率失真理论信息率失真理论S)x ,x(d)x/x (P)x(PDDS)4(21i21jjiijDi求的由含SS2SSS2S2)21)(p1 (2)p1 (p)p1 (2)21 (p2p)p1 (pDSSSS2S212221)21 (D1DlogSD1D2S信息率失真理论信息率失真理论21iiilog)x(PSD)D(R) 5()21)(p1 (1log)p1 ()21 (p1logpSDSSp1D1log)p1 (pD1logpD1DlogD) p1log() p1 (plogp)D1
13、log()D1 (DlogD)D(H)p(H信息率失真理论信息率失真理论的实验信道,达到的代入含)D(R)/xx (PSD1D2ijDS)D21 (p)Dp)(D1 ()21 (p2)p1 (p)x/x (PS2S11D)D21)(p1 ()Dp(D2)21)(p1 (2)p1 (p)x/x (PSS2S21D)D21 (p)Dp1 (D2)21 (p2p)p1 ()x/x (PSS2S12D)D21)(p1 ()Dp1)(D1 ()21)(p1 (2p) p1 ()x/x (PS2S22D信息率失真理论信息率失真理论0)D(H)p(H)D(R0R(p)D(RpDDmaxmax时,R(D)D0
14、.50.25p=0.25p=0.5010.811) p(H) 0(R)D(R0DDminmin时,信息率失真理论信息率失真理论求允许失真求允许失真D=1/8时的信息率失真函数时的信息率失真函数R(D)及达到及达到R(D)的实验信道的实验信道4/34/110)X(PX二进制信源0110D失真矩阵例例1)bit(267. 087log8781log8143log4341log41)D(H) p(H)D(RD=1/8时时信息率失真理论信息率失真理论12743418187)D21 ( p)Dp)(D1 ()x/x (P11D12543418581)D21 (p)Dp1 (D)x/x (P12D3614
15、3438181)D21)(p1 ()Dp(D)x/x (P21D信息率失真理论信息率失真理论363543438587)D21)(p1 ()Dp1)(D1 ()x/x (P22D信息率失真理论信息率失真理论3、等概率信源的信息率失真函数、等概率信源的信息率失真函数等概率信源等概率信源011101110D失真矩阵信息率失真理论信息率失真理论1n12n12n112n12n1n1nS2S1SnS21n, 2 , 1i2) 1n(1nSin, 2 , 1jS12)x(P) 1 (in1i)x ,x(Sdiiji的求含由信息率失真理论信息率失真理论n, 2 , 1i)x (PS/ 12)x (P) 2(j
16、in1j)x ,x(Sdjji的求含由inS2S1iSnS211)x (P2)x (P2)x (P12)x (P2)x (P)x (Pn, 2 , 1jn12) 1n(1 1)x (PiSj信息率失真理论信息率失真理论n, 2 , 1jn, 2 , 1i2)x (P)x/x (PS) 3()x ,x(SdjiijDji的含项,共nji2) 1n(11)x/x (PSijD项,共) 1n(nji2) 1n(12)x/x (PSSijDn1in1jjiijDiS)x ,x(d)x/x (P)x(PDDS)4(求的由含SSSS2) 1n(12) 1n() 1n(n2) 1n(12n1D信息率失真理论
17、信息率失真理论)D1D1n1log(SD1D2) 1n(Sn1iiilog)x(PSD)D(R) 5(S2) 1n(1nlogSD)D(H) 1nlog(Dnlog)D1log()D1 (DlogD) 1nlog(Dnlog)D1 (nlog)D1D1n1log(D信息率失真理论信息率失真理论的实验信道,达到的代入含)D(R)/xx (PSD1D2ijDS项,共njiD12) 1n(11)x/x (PSijD项,共) 1n(nji1nD2) 1n(12)x/x (PSSijD0)D(H) 1nlog(Dnlog)D(R0)n1nR()D(Rn1nDDmaxmax时,nlog) 0(R)D(R0
18、DDminmin时,信息率失真理论信息率失真理论p=0.5时,二进制信源的信息率失真函数时,二进制信源的信息率失真函数)D(H2log)D(H) 5 . 0 (H)D(RD1)D21 (21)D21)(D1 ()x/x (P11DD)D21 (21)D211 (D)x/x (P12DD)D21 (21)D21(D)x/x (P21DD1)D21 (21)D211)(D1 ()x/x (P22D信息率失真理论信息率失真理论n=2时,等概率信源的信息率失真函数时,等概率信源的信息率失真函数)D(H2log)D(H1logD2log)D(RD1)x/x (P)x/x (P22D11DD12D)x/x
19、 (P)x/x (P21D12D信息率失真理论信息率失真理论三进制等概率信源,三进制等概率信源,011101110D失真矩阵求允许失真求允许失真D =1/3时的信息率失真函数时的信息率失真函数R(D)及达到及达到R(D)的实验信道的实验信道例例2D=1/3时时)D(H) 1nlog(Dnlog)D(R)bit(334. 032log3231log312log313log信息率失真理论信息率失真理论3 , 2 , 1ji32D1)x/x (PijD3 , 2 , 1j , iji611nD)x/x (PijD,习题:习题:(P129-130)4.1、4.10、4.11信息率失真理论信息率失真理论
20、三、三、N次扩展信源的信息率失真函数次扩展信源的信息率失真函数1、N次扩展信源的保真度准则和实验信道次扩展信源的保真度准则和实验信道失真度失真度)x ,x( d)x ,x( d)x ,x( d)x x x ,xxx( dNN2211N21N21jijijijjjiii平均失真度平均失真度)x ,x( d)x ,x( d)x ,x( d )x xx/x x x (P)xxx(P)x x x ,xxx( d EDNN221112N12NN21N21N21N21N21jijijin1in1in1in1jn1jn1jjiijjjiiijjjiiiN 信息率失真理论信息率失真理论)x ,x ( d)x
21、,x ( d)x ,x ( d )x/x ( P)x/x ( P)x/x ( P)x ( P)x ( P)x ( PNN221112N12NNN2211N21jijijin1in1in1in1jn1jn1jijijijiii n1in1jjiijin1in1jjiijin1in1jjiijiNNNNNNN22222221111111)x ,x( d )x/x (P)x(P)x ,x( d )x/x (P)x(P)x ,x( d )x/x (P)x(P信息率失真理论信息率失真理论DDNDDNDN如果给定允许失真如果给定允许失真ND保真度准则保真度准则DNDDDN21DD: )X/X(P)X/X(
22、PNDDND: )X/X(P)X/X(PDNNNNNND实验信道实验信道信息率失真理论信息率失真理论2、N次扩展信源的信息率失真函数次扩展信源的信息率失真函数)D(NR)X;X(NImin)X;X( Imin)ND(R)X/X(PNN)X/X(PDNNND信息率失真理论信息率失真理论四、单符号连续信源的信息率失真函数四、单符号连续信源的信息率失真函数信源概率密度函数不变时,保真度准则下平均互信源概率密度函数不变时,保真度准则下平均互信息量的下确界,用信息量的下确界,用R(D)表示表示定义定义信源固定时,与等效信源间的平均互信息量是数信源固定时,与等效信源间的平均互信息量是数据处理信道转移概率密
23、度函数的严格下凸泛函,据处理信道转移概率密度函数的严格下凸泛函,总能在实验信道中找到一种信道转移概率密度函总能在实验信道中找到一种信道转移概率密度函数,使实验信道中传输的平均互信息量在保真度数,使实验信道中传输的平均互信息量在保真度准则下达到最小准则下达到最小信息率失真理论信息率失真理论)X;X( Iinf)D(R)x/x (pD表示表示1、信息率失真函数、信息率失真函数实验信道转移概率密度函数的约束条件实验信道转移概率密度函数的约束条件bxa1x d)x/x (pbaD保真度准则的约束条件保真度准则的约束条件Dx dxd)x , x(d)x x(pDbaba 信息率失真理论信息率失真理论的变
24、分限制下和在泛函DDbxa1x d)x/x (p)X;X( IbaD信息率失真函数信息率失真函数bx a)x(S1dxe )x(p)x() 1 ()x ,x(Sd的求含由bxa)x (pS1x de )x (p)x()2()x ,x(Sd的求含由bx abxae )x (p)x()x/x (pS) 3()x ,x(SdD的含信息率失真理论信息率失真理论Sx dxd)x , x(d)x/x (p)x(pDDS)4(D求的由含 dx)x(ln)x(pSD)D(R) 5 (2、高斯信源的信息率失真函数、高斯信源的信息率失真函数2x22x2xe21)x(p 高斯信源2)x x()x , x(d 失真函数x )x(S1dxe )x(p)x() 1 ()x ,x(Sd的求含由信息率失真理论信息率失真理论)x(p)S( f)x(设1S)S(fdxe)S(fdxe )x(p)x(2)x x(S)x ,x(Sd2x22x22x2x2x2xeS2e2S)x(p)S( f)x(bxa)x (pS1x de )x (p)x()2()x ,x(Sd的求含由)x(px de )
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- DB14-T 1641-2025 设施黄瓜病虫害绿色防控技术规程
- 中医离奇病案分析
- 2025年熔化焊接与热切割作业模拟考试100题及答案
- 银行财务担保业务合同账务操作细则
- 人工智能产业园区厂房土地使用权抵押担保投资合同
- 高效节水型茶园承包经营合同样本
- Brand KPIs for neobanking PagBank in Brazil-英文培训课件2025.4
- Brand KPIs for neobanking Tandem in the United Kingdom-英文培训课件2025.4
- 2025年国际法专业考试题及答案参考
- 2025年高校教师教学能力考试试卷及答案
- 线控转向电机控制策略设计与仿真研究
- 会议效果评估模型构建-深度研究
- FIDIC标准合同范本
- 《核电厂实物保护系统定期试验规范》
- 小型企业审计工作底稿指引(2021年修订)使用说明
- 【MOOC】房地产管理-华中科技大学 中国大学慕课MOOC答案
- 公交车驾驶员职业素养与礼仪培训考核试卷
- 【MOOC】软件工程与实践导论-四川大学 中国大学慕课MOOC答案
- 2024新版《药品管理法》培训课件
- 深圳2020-2024年中考英语真题复习专题01 语法填空(解析版)
- DB37-T 1389-2024钢箱梁顶推施工技术规范
评论
0/150
提交评论