信息论往年试卷new

1、试题编号： 重庆邮电大学2009/2010学年2学期信息论基础试卷（期末）（B卷）（开卷）题 号一二三四五六七八九总 分得 分评卷人一、填空题（共15分，每空1分）1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 。2、高斯白噪声信道是指 。3、若连续信源的平均功率为 W，则最大熵为 ，达到最大值的条件是 。4、离散信源存在剩余度的原因是 和 。5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 。6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的

2、统计特性，对概率大的符号用 码，对概率小的符号用 码，这样平均码长就可以降低，从而提高编码效率。7、八进制信源的最小熵为 ，最大熵为 。8、一个事件发生概率为0.125，则自信息量为 。9、在下面空格中选择填入数学符号“，”或“” 。二、判断题（正确打，错误打）（共5分，每小题1分）1）离散无记忆等概信源的剩余度为0。 （ ）2）离散无记忆信源N次扩展源的熵是原信源熵的N倍。 ( )3）互信息可正、可负、可为零。 （ ）4）信源的真正功率永远不会大于熵功率，即。 （ ）5）信道容量与信源输出符号的概率分布有关。 （ ）三、（5分）已知信源的概率密度函数如下图所示，求信源的相对熵。四、（5分）设

3、一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为，已知信道传输概率如下图所示。试计算： （1）信源中事件的自信息量；（3分）（2）信源的信息熵；（3分）（3）共熵（3分）（4）噪声熵；（3分）（5）收到消息后获得的关于信源的平均信息量。（3分）五、（10分）一个平均功率受限的连续信道，信道带宽为10MHz，信道噪声为高斯白噪声。（1）已知信道上的信号与噪声的平均功率比值为63，计算该信道的信道容量。（2）如果信道带宽降为2MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 六、（16分）已知信源共7个符号消息，其概率空间为 （1）试用霍夫曼编码法编

4、成二进制变长码。（7分）（2）计算信源熵、平均码长和编码效率。（9分）七、（10分）设给定两随机变量和，它们的联合概率密度为求随机变量的概率密度函数，并计算变量的熵。八、（10分）设某信道的传递矩阵为 计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。九、（14分）设有一个马尔可夫信源，如果为时，为、c的概率为1/3；如果为，为、的概率为1/3；如果为，为、的概率为1/2。而且后面发的概率只与有关，又。（1） 写出转移概率矩阵。（2） 计算达到稳定后状态的极限概率。（3） 该马尔可夫信源的极限熵。信息论基础答案一、填空题（共15分，每空1分）1、若一连续消息通过某放大器，该放大器输出

5、的最大瞬时电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 。2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。3、若连续信源的平均功率为5 W，则最大熵为，达到最大值的条件是 高斯信道 。4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码

6、效率。7、八进制信源的最小熵为 0 ，最大熵为 。8、一个事件发生概率为0.125，则自信息量为 。9、在下面空格中选择填入数字符号“”或“” = 二、判断题（正确打，错误打）（共5分，每小题1分）1) 离散无记忆等概信源的剩余度为0。 （ ）2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍 （ ）3) 互信息可正、可负、可为零。 （ ）4) 信源的真正功率永远不会大于熵功率，即 （ ）5) 信道容量与信源输出符号的概率分布有关。 （ ）三、（5分）已知信源的概率密度函数如下图所示，求信源的相对熵 四、（15分）设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收信号集为，已知

7、信道出书概率如下图所示。试计算：（1） 信源中事件的自信息量；（3分）（2） 信源的信息熵；（3分）（3） 共熵;（3分）（4） 噪声熵；（3分）（5） 收到信息后获得的关于信源的平均信息量。（3分）（1）（2）（3）（4）（5）五、（10分）一个平均功率受限的连续信道，信道带宽为10MHz，信道噪声为高斯白噪声。 （1）已知信道上的信号与噪声的平均功率比值为63，计算该信道的信道蓉量。 （2）如果信道带宽降为2MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？（1）（2）六、（10分）已知信源共7个符号信息，其概率空间为（1） 试用霍夫曼编码法编成二进制变长码。（7分）（2） 计算信源熵，平均码长和编码效率。（9分）（1）（7分）（2） （3分） （3分）七、（10分）设给定两随机变量和，它们的联合概率密度为求随机变量的概率密度函数，并计算变量的熵。已知得 （2分）则 （2分）所以和独立，所以y为高斯分布因为 所以 （2分）所以 （2分）所以 （2）八、（10分）设某信道的传递矩阵为计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。解：s=4 （2分） （2分）最佳概率分布当输入概率 （2分）九、（14分）设有一个马尔可夫信源，如果为时，为、的概率为1