第三章总结与习题(田有亮)

01.05.2020,.,1,信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为Ct实际是信道的最大信息传输速率。,第三章总结,01.05.2020,.,2,求信道容量的方法当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。,01.05.2020,.,3,香农公式说明当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。当信道频带无限时，其信道容量与信号功率成正比。,01.05.2020,.,4,信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率RC时，任何编码的Pe必大于零，当L，Pe1。信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。,01.05.2020,.,5,习题1,3.1.设信源通过一干扰信道，接收符号为Y=y1,y2,信道传递概率如下图所示。求信源X中事件x1和x2分别含有的信息量。收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。信源X和信源Y的信息熵。信道疑义度H(X/Y)和噪声熵H(Y/X)。接收到消息Y后获得的平均互信息。,01.05.2020,.,6,习题1,解答：,互信息可以为正值也可以为负值，负值表明由于噪声的存在，接收到一个消息后，对另一个消息是否出现的不确定性反而增加了。,01.05.2020,.,7,习题1,解答：,01.05.2020,.,8,习题2,3.2.设二元对称信道的传递概率为若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。求该信道的信道容量及达到信道容量时的输入概率分布。,01.05.2020,.,9,习题2,01.05.2020,.,10,习题2,01.05.2020,.,11,习题3,3.3设有一批电阻，按阻值分70%是，30%是；按瓦分64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：设随机变量X表示电阻的瓦数，Y表示电阻的阻值，则其概率分布为,已知,，由概率的归一性：,由,，得,.,01.05.2020,.,12,习题3,01.05.2020,.,13,01.05.2020,.,14,01.05.2020,.,15,01.05.2020,.,16,01.05.2020,.,17,01.05.2020,.,18,01.05.2020,.,19,01.05.2020,.,20,3),01.05.2020,.,21,01.05.2020,.,22,01.05.2020,.,23,01.05.2020,.,24,01.05.2020,.,25,01.05.2020,.,26,01.05.2020,.,27,01.05.2020,.,28,01.05.2020,.,29,01.05.2020,.,30,01.05.2020,.,31,01.05.2020,.,32,01.05.2020,.,33,解：,01.05.2020,.,34,01.05.2020,.,35,01.05.2020,.,36,01.05.2020,.,37,01.05.2020,.,38,01.05.2020,.,39,01.05.2020,.,40,01.05.2020,.,41,01.05.2020,.,42,01.05.2020,.,43,01.05.2020,.,44,01.05.2020,.,45,01.05.2020,.,46,01.05.2020,.,47,01.05.2020,.,48,01.05.2020,.,4