信息论-信道容量总结-(2)ppt课件

.,第三章信道容量,在相同频带下以时间换取信噪比：,3.5,连,续,信,道,信道与信息传输要求的匹配,.,第三章信道容量,在相同信噪比下以频带换取时间：,3.5,连,续,信,道,信道与信息传输要求的匹配,.,第三章信道容量,在相同的持续时间下以带宽换取信噪比：,3.5,连,续,信,道,信道与信息传输要求的匹配,.,第三章信道容量,在相同的持续时间下以带宽换取信噪比：,3.5,连,续,信,道,信道与信息传输要求的匹配,.,第三章信道容量,在相同的持续时间下以带宽换取信噪比：,3.5,连,续,信,道,信道与信息传输要求的匹配,.,第三章信道容量,信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率RC时，任何编码的Pe必大于零，当L，Pe1。信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。连续信道也有类似结论。,3.6信道编码定理,.,第三章信道容量,香农在证明这一结论时采用了出人意料的方法通常想法：先要构造一个理想的好码，然后计算这一码用于传输时的误码率。但这两点都很难实现构造具有理想性能的好码是一个极其复杂的问题，在当时根本无望解决。在N很大时计算这一理想好码在理想译码器或最大似然译码器下的误码率也是及其困难的。香农在证明过程中巧妙的回避了这两个难题，而是按照随机编码和联合典型译码方法进行论证。,3.6信道编码定理,.,第三章信道容量,香农第二定理指出，若RC，则可以使传输错误概率任意小的编码不存在。它从理论上证明平均错误译码概率Pe趋于零、信道信息传输速率R无限接近于信道容量C的抗干扰信道编码是存在的。但从实用观点来看，理论的证明尚不能令人满意。因为在证明的过程中是完全“随机地”去选择一个码。这个码是完全无规律的，因此，就无法具体构造这个码，也就无法实现和应用。但人们在理论指导下，赋予码以各种形式的代数结构，出现了代数编码、卷积码等。平均误码率Pe：指接收的错误符号数与接收的总符号数的比值，这里的错误符号是指无论用什么方法都不能纠正的那些码。在工程上，Pe通常指二进制信道的误比特率，有时也称误码率。,3.7信道编码定理的应用,.,第三章信道容量,自香农给出信道编码定理以来，引起了人们对信道编码的极大兴趣，但香农只是证明了满足这种特性的码的存在性，还不能按照其证明方法得到好码。由于随机编码所得到的码集很大，通过搜索得到好码的方法在实际上很难实现，而且即使找到其中的好码，这种码的码字也是好无结构的，这意味着译码时只能用查表的方法，在N很大时，这一译码表所需的存储量也是很难被接受的。因此真正实用的信道码还需要通过各种数学工具来构造，使码具有很好的结构性以便于译码。,3.7信道编码定理的应用,.,第三章信道容量,从香农第一和第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分。分两步进行处理，其信源压缩编码只与信源有关，不依赖于信道；而信道编码只与信道有关，不依赖于信源。这种分两步处理的方法是否与一步编码处理一样好呢？这样分两步处理是否会带来某些损失呢？根据数据处理定理，如果进行处理的是一一对应的变换，就不会增加任何新的信息损失。可以证明，信源通过信道传输，有效和可靠地传输的充要条件是HC,3.8联合信源信道编码定理,.,第三章信道容量,3.8联合信源信道编码定理,定理：信源信道编码定理若S=(S1S2Sn)是有限符号集的随机序列并满足AEP性质，又信源S极限熵HC，则错误概率远离零，即不可能在信道中以任意小的错误概率发送该随机序列。,.,第三章,信道容量,信道达到充分利用时，输入和输出符号的概率分布唯一吗？,.,达到信道容量C的时候，输入字母分布唯一吗？,反例：,令,则,输入任何分布，输出都达到C,又一例：,令输入分布(0.5,0,0.5,0）,令输入分布(0.25,0.25,0.25,0.25）,.,输出字母的唯一性定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。,证明见朱雪龙2001版信息论p132页。,例如：对称信道，达到信道容量时输出唯一（等概）,.,5.3:离散无记忆信道及其信道容量-40,输入字母在什么条件下唯一？定理：在达到信道容量时，如果输入概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。,定理不是说具有最大数目零概率的最佳分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同排列构成。,证明见朱雪龙2001版信息论p134页。,.,第三章信道容量,课堂练习,1.求下图中信道的信道容量及其最佳的输入概率分布。,（a）,(b),.,第三章信道容量,2.求下图中信道的信道容量及其最佳的输入概率分布。并求当=0和1/2时的信道容量C。,课堂练习,.,第三章信道容量,2006-10-31,41,3.若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：,试求这两个信道的信道容量，并问这两个信道是否有噪声？,课堂练习,.,第三章信道容量,4.设有一离散级联信道如下图所示：试求(1)X与Y之间的信道容量C1(2)Y与Z之间的信道容量C2(3)X与Z之间的信道容量C3，及其输入分布,课堂练习,.,第三章信道容量,5.若有一限频、限功率、白色高斯连续信道，它由两级串接功率放大器组成，其功率增益分别为G1=20db,G2=10db,而带宽为1MHz,当信道输入为2mW时，试求(1)若信道噪声功率密度为N0=210-6mW/Hz，求信道容量C=?(2)当信道输入、G2、N0均不变，而带宽变为1.5MHz，若要获得同样容量C,G1应为多少分贝？（以10为底）,课堂练习,.,第三章信道容量,课堂练习,6.设在平均功率受限高斯加性噪声连续信道中，信道带宽为3KHZ，又设（信号功率噪声功率）/噪声功率10db。(1)试计算该信道传送的最大信息率（单位时间）(2)若上述功率信噪比降为5db，要达到相同的最大信息传输率，信道带宽应是多少？（log210=3.3219）,.,)=310log2109.96103bit/s,第三章信道容量,解答：(1)平均功率受限高斯加性连续信道，W为3KHz,10log10(1+PS/PN)=101+PS/PN=10,3,PXPN,PXPN,Ct=Wlog2(1+,(2)1+,100.5,9.96103=Wlog2100.5W=6103Hz可见，在传输相同的信息传输速率下，降低信噪比就需要增加带宽,课堂练习,.,第三章信道容量,7.设连续随机变量X,已知X0,其平均值受限，即数学期望为A,试求在此条件下获得最大熵的最佳分布，并求出最大熵。,课堂练习,.,第三章信道容量,下次课预习内容,4信息率失真函数(p.133-145)4.1基本概念4.2离散信源的信息率失真函数,.,第三章信道容量,信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。,单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为,Ct实际是信道的最大信息传输速率。,(比特/信道符号),C=maxR=maxI(X;Y)p(xi)p(xi),(比特/秒),Ct=1/tmaxI(X;Y)p(xi),第三章总结,.,limCt=limWlog2(1+,)=limWlog2(1+,PN,N0W,第三章信道容量,香农公式说明,当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。当信道频带无限时，其信道容量与信号功率成正比。,)(比特/秒),PXPN,Ct=Wlog2(1+,),PXPXW,第三章总结,.,第三章信道容量,信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待