第三章 信道与信道容量 习题解答.pdf

1 第第三三章章 信道与信道容量信道与信道容量 习题解答习题解答 1 . 设信源通过一干扰信道， 接收符号为信道传递矩阵为， 求； （ 1 ）信源中符号和分别含有的自信息量。 （ 2 ）收到消息后， 获得的关于的信息量。 （ 3 ）信源和信宿的信息熵。 （ 4 ）信道疑义度和噪声熵。 （ 5 ）接收到信息后获得的平均互信息量。 解： （ 1 ） 符号含有的自信息量： 符号含有的自信息量： （ 2 ） 根据信道转移概率： 计算联合概率： 计算信宿端概率： 计算后验概率： 计算互信息量： 收到消息后获得的关于的信息量： 收到消息后获得的关于的信息量： 收到消息后获得的关于的信息量： 收到消息后获得的关于的信息量： （ 3 ） 信源熵： 信宿熵： 2 （ 4 ） 信道疑义度： 噪声熵： （ 5 ） 平均互信息量： 2 有一个生产 A 、 B 、 C 、 D四种消息的信源其出现的概率相等， 通过某一通信系统传输时， B和 C无误， A 以 1 / 4概率传为 A ， 以 1 / 4概率误传为 B 、 C 、 D ， 而 D以 1 / 2概率正确传输， 以 1 / 2概率误传为 C ， （ 1 ） 试求其可疑度？ （ 2 ） 收到的信号中哪一个最可靠？ （ 3 ） 散布度为多少？ 解： （ 1 ） 先写出： 再根据式求各联合概率： 同样得 求 Y端概率空间的各： 同样得 3 ， 求联合熵： 比特/ 每对消息 信宿熵：比特/ 消息 得可疑度：比特/ 消息 （ 2 ） 接收可靠的依据是根据下式求， 越大表示越可靠： 可见接收信号 A最可靠。 （ 3 ） 计算信源熵： 得散布度：比特/ 消息 3 . 设二元对称信道的传递矩阵为 （ 1 ）若， 求，和； （ 2 ）求该信道的信道容量及其达到信道容量时的输入概率分布。 解： （ 1 ） 先写出： 根据公式计算联合概率： 信宿端符号分布概率： 根据公式计算： 4 求各熵： 信源熵：比特/ 消息 信宿熵：比特/ 消息 可疑度：比特/ 消息 平均互信息量：比特/ 消息 噪声熵：比特/ 消息 （ 2 ） 二元对称离散信道的信道容量： 比特/ 秒 信源等概分布时（） 达到信道容量。 4 . 某一个二元通信系统， 等概率分布发送消息：p( 0 ) =p( 1 ) = 0 . 5 ， 由于噪声干扰， 信号对称信道， 其差错率 为 1 % ， 计算该通信系统的可疑度和平均互信息量。 解： 可疑度 =理想观察者提供的附加熵：， 信源熵： 平均互信息量： 5 . 设有一批电阻， 按阻值分 7 0 % 是 2， 3 0 % 是 5， 按功耗分 6 4 % 是 1 / 8 W， 其余是 1 / 4 W。 现已知 2 阻值的电阻中 8 0 % 是 1 / 8 W， 问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 解： 设将电阻按阻值分类看成概率空间X：， 按功耗分类看成概率空间Y：， 已知：， 通过计算， 得 通过测量阻值获得的关于瓦数的平均信息量： 6 . 有一以“ 点” 和“ 划” 构成的老式电报系统， “ 点” 的长度为 3 0毫秒， “ 划” 的长度为 1 5 0毫秒， “ 点” 和“ 划” 出现的 5 概率分别为 0 . 8和 0 . 2 ， 试求信息速率为多少？ “ 点”、 “ 划” 出现的概率相等时， 信息速率为多少？ 是否“ 点”、 “ 划” 出现的概率相等时信息速率一定最高？ 是否和理论相矛盾？ 为什么？ 解： 信源熵：比特/ 消息 单位时间的符号数：消息/ 秒 信息速率：比特/ 秒 如果点、 划出现的概率相等时， 则 信源熵：比特/ 消息 单位时间符号数：消息/ 秒 信息速率：比特/ 秒 可见等概率时， 信息速率反而降低了。 但与理论不矛盾， 因为信息速率不光与信源熵有关， 还与每秒发送的 符号数有关， 该信源的两个消息是非同价代码（ 每个码元( 消息) 的时间长度不同） ， 等概率时， 信源熵提高了， 但每秒发送的符号数下降了， 因此才有此结果。 7 . 一个通信系统， 信源消息由 A 、 B 、 C 、 D四个字母组成， 采用二元代码对信源编码为 A ： 0 0 、 B ： 0 1 、 C ： 1 0 、 D ： 1 1 ， 假设系统传输每个二元代码需要 5 ms ， （ 1 ） 若信源各字母等概率出现， 计算其信源熵速率； （ 2 ） 若信源各字母出现的概率为：p(A) = 1 / 5 ，p(B) = 1 / 4 ，p(C) = 1 / 4 ，p(D) = 3 / 1 0 ， 计算其信源熵速率。 解： （ 1 ） 信源每秒输出的字母数： 信源熵： 信源熵速率： （ 2 ） 信源熵： 信源熵速率： 8 . 有一传输“ 0 ” 和“ 1 ” 的二元数字通信系统， 以 10 0 0码元/ 秒的速率传输， 传送“ 0 ” 和“ 1 ” 的概率分别为： ， 由于信道有噪声， 误码率为， 试求接收的信息速率？ 解： 先写出信道转移概率： 6 根据公式计算联合概率： 求信宿端符号概率分布： 根据公式计算后验概率： 求可疑度： 信源熵：比特/ 消息 平均互信息量：比特/ 消息 得接收熵速率：比特/ 秒 9 . 有一个传输“ 0 ” 和“ 1 ” 的二元数字通信系统， 以平均 1 0 0 0码元/ 秒的速率传输， 传送“ 0 ” 和“ 1 ” 的概率相等， 由于信道有噪声， 误码率为 0 . 1 5 ， （ 1 ） 试求信道可疑度； （ 2 ） 计算信源熵速率和接收熵速率； （ 3 ） 现有一消息共有 4 0 0 0个二元符号， 无失真地传递完该消息需要多少时间？ 解： （ 1 ） 信道可疑度： （ 2 ） 信源熵速率： 接收熵速率： （ 3 ） 一消息共有 4 0 0 0个二元符号， 该消息的信息量： 无失真地传递完该消息所需的时间： 1 0 . 有一个二元对称信道， 其信道矩阵为， 设该信源以 1 5 0 0符号/ 秒的速度传输输入符号。 现 有一消息序列共有 1 4 0 0 0个二元符号， 并设其符号等概分布， 问从信息传输的角度来考虑， 1 0秒钟内能否 将这消息序列无失真地传递完？ 解： 根据信道转移矩阵画出下图： 7 由于二元信源， 等概率分布， 信道对称， 满足山农的理想观察者原理的三个假设条件， 因此计算疑义度： 比特/ 消息 接收熵速率：比特/ 秒 而系统要求的传信率为：比特/ 秒， 大于 1 2 8 9比特/ 秒， 故 1 0秒内无法无失真传递完。 1 1 . 已知一个平均功率受限的连续信号， 通过带宽的高斯白噪声信道， 试求 （ 1 ）若信噪比为 1 0 ， 信道容量为多少？ （ 2 ）若要保持信道容量不变， 信噪比降为 5 ， 信道带宽应为多少？ （ 3 ）若要保持信道容量不变， 信道带宽降为 0 . 5 MH z ， 信号的功率信噪比应为多少？ （ 4 ）其中有什么规律可总结？ 解： 根据香农公式： （ 1 ） 信噪比为 1 0倍， 信道容量：比特/ 秒 （ 2 ） 信噪比为 5倍， 信道带宽： （ 3 ） 信道带宽为 0 . 5 MH z ， 信号的功率信噪比： （ 4 ） 说明如果信噪比降低， 则为保持信道容量不变， 必须加大信道带宽。 反之加大信道带宽， 则可降低对信 噪比的要求。 如果信道带宽降低， 则为保持信道容量不变， 必须加大信号功率信噪比。 反之加大信号功率信 噪比， 则可降低对信道带宽的要求。 1 2 . 在一个理想通信系统中， 已知信道中功率信噪比为 1 0分贝， 为了使功率节省一半又不损失信息量， 有 几种办法？ 请计算并讨论各自的优缺点。 解： 设下标 1为原状况， 下标 2为改变后状况。 由可得： ，倍 如 果 功 率 节 省 一 半 则倍 ，为 了 使 功 率 节 省 一 半 又 不 损 失 信 息 量 I ，根 据 ， 可以： （ 1 ） 加大信道带宽 W， 用带宽换取信噪比 ， ， 8 缺点是对设备要求高。 （ 2 ） 加大传输时间 T ， 用传输时间换取信噪比， 同理可得： 缺点是传输速度降低了。 1 3 . 已知理想通信系统接收机输入端的功率信噪比为 1 0分贝， 为了使接收机输出端的功率信噪比增加到 3 0分贝， 信道带宽至少应为多少？ 假设原始消息带宽为 1 5 K H z 。 如果将功率信噪比改为电压信噪比， 分贝 数改为倍数， 请重新计算. 。 解： 由可得： 1 0 d B对应 1 0倍， 3 0 d B对应 1 0 0 0倍， 利用扩频通信原理：， 将各数据代入： 解得： 如果则 将各数据代入： 解得： 1 4 . 在理想系统中， 若信道带宽与消息带宽的比为 1 0 ， 当接收机输入端功率信噪比分别为 0 . 1和 1 0时， 试 比较输出端功率信噪比的改善程度， 并说明与之间是否存在阀值效应。 解： 已知根据公式： 前者改善不明显， 后者改善明显， 故存在阀值效应。 1 5 . 设加性高斯白噪声信道中， 信道带宽 3 k H z ， 又设 试计算该信道的最大信息传输速率。 解： 该信道的最大信息传输速率：比特/ 秒 9 1 6 设电话信号的信息率为 5 . 6 1 0 4比特/ 秒， 在一个噪声功率谱为 mW