第三章总结与习题(田有亮).ppt

1、2020/9/20,1,信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。,第三章总结,2020/9/20,2,求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息

2、I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。,2020/9/20,3,香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。,2020/9/20,4,信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC时，任何编码的 Pe 必大于零，当

3、 L，Pe1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。,2020/9/20,5,习题1,3.1.设信源 通过一干扰信道，接收符号为Y=y1,y2,信道传递概率如下图所示。求 信源X中事件x1和x2分别含有的信息量。 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量。 信源X和信源Y的信息熵。 信道疑义度H(X/Y)和噪声熵H(Y/X)。 接收到消息Y后获得的平均互信息。,2020/9/20,6,习题1,解答：,互

4、信息可以为正值也可以为负值，负值表明由于噪声的存在，接收到一个消息后，对另一个消息是否出现的不确定性反而增加了。,2020/9/20,7,习题1,解答：,2020/9/20,8,习题2,3.2.设二元对称信道的传递概率为 若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 求该信道的信道容量及达到信道容量时的输入概率分布。,2020/9/20,9,习题2,2020/9/20,10,习题2,2020/9/20,11,习题3,3.3 设有一批电阻，按阻值分70%是，30%是；按瓦分64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过

5、测量阻值可以得到的关于瓦数的平均信息量是多少？ 解：设随机变量X表示电阻的瓦数，Y表示电阻的阻值，则其概率分布为,已知,，由概率的归一性：,由,，得,.,2020/9/20,12,习题3,2020/9/20,13,2020/9/20,14,2020/9/20,15,2020/9/20,16,2020/9/20,17,2020/9/20,18,2020/9/20,19,2020/9/20,20,3),2020/9/20,21,2020/9/20,22,2020/9/20,23,2020/9/20,24,2020/9/20,25,2020/9/20,26,2020/9/20,27,2020/9/20,28,2020/9/20,29,2020/9/20,30,2020/9/20,31,2020/9/20,32,2020/9/20,33,解：,2020/9/20,34,2020/9/20,35,2020/9/20,36,2020/9/20,37,2020/9/20,38,2020/9/20,39,2020/9/20,40,2020/9/20,41,2020/9/20,42,2020/9/20,43,2020/9/20,44,2020/9/20,45,2020/9/20,46,2020/9/20,47,2020/9/20,48