《信息论基础》试卷(期末)(B卷).doc

重庆邮电大学2007/2008学年2学期信息论基础试卷（期末）（B卷）（半开卷）题 号一二三四五六七八总 分得 分评卷人一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是 和 。2、离散无记忆信源存在剩余度的原因是 。3、当 时，信源熵为最大值。八进制信源的最大熵为 ，最小熵为 。4、无失真信源编码的平均码长最小理论极限制为 。5、一个事件发生概率为0.125，则自相关量为 。6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为 和 。7、噪声瞬时值的概率密度函数服从 分布，同时功率谱密度为 的噪声称为高斯白噪声。8、当 时，信源与信道达到匹配。9、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或 时，信源具有最大熵，其值为值 。9、在下面空格中选择填入数学符号“”或“”（1）H(XY) H(Y)+H(X|Y) H(Y)+H(X)（2）假设信道输入用X表示，信道输出用Y表示。在有噪无损信道中， H(X/Y) 0, H(Y/X) 0, I(X;Y) H(X)。二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。三、（16分）已知信源（1）用霍夫曼编码法编成二进制变长码；（4分）（2）计算平均码长；（4分）（3）计算编码信息率；（4分）（4）计算编码后信息传输率；（2分）（5）计算编码效率。（2分）四、（12分）已知一个平均功率受限的连续信号，通过带宽的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）五、（16分）某个信息源发出符号的概率为：假设该信息源发出的符号前后有关联，其依赖关系为：（1） 画出状态转移图（4分）（2） 计算稳态概率（4分）（3） 计算信源的极限熵（4分）（4） 计算稳态下H1，H2及其对应的剩余度。（4分）六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是，计算（1）“3和4同时出现”事件的自信息量；（2分）（2）两个点数中至少有一个是1的自信息；（2分）（3）两个点数中之和为3的自信息；（2分）（4）两个点数的各种组合（无序对）的熵。（2分） 七、（22分）设离散无记忆信源的概率空间为 ，通过二进制对称信道，其概率转移矩阵为，信道输出端的接受符号集为 （1）计算信源熵（4分）（2）损失熵；（4分）（3）噪声熵；（4分）（4）受到消息Y后获得的平均互信息量（4分）（5）该信道的信道容量（4分）（6）说明该信道达到信道容量时的输入概率分布。（2分） 信息论基础试卷答案一、填空题（共20分，每空1分）1、通信系统中，编码的主要目的有两个，分别是提高有效性和可靠性。2、离散无记忆信源存在剩余度的原因是分布不等概。3、当信源各符号无相关性、等概分布时，信源熵为最大值。八进制信源的最大熵为，最小熵为。4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。5、一个事件发生概率为0.125，则自相关量为。6、根据信原输出随机序列中随机变量前后之间有无统计依赖性，信原可以分为有记忆信源和无记忆信源。7、噪声瞬时值的概率密度函数服从高斯分布，同时功率谱密度为均匀分布的噪声称为高斯白噪声。8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。9、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。9、在下面空格中选择填入数学符号“”或“”（1） （2）假设信道输入用X表示，信道输出用Y表示。在有噪无损信道中， H(X/Y)= 0, H(Y/X)0,I(X;Y)=H(X)。二、（6分）若连续信源输出的幅度被限定在【1,3】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。解：该信源的相对熵：绝对熵为三、（16分）已知信源（1）用霍夫曼编码法编成二进制变长码；（4分）（2）计算平均码长；（4分）（3）计算编码信息率；（4分）（4）计算编码后信息传输率；（2分）（5）计算编码效率。（2分）解：（1）霍夫曼编码后的二进制变长码：S1：10， S2：00， S3：00， S4：110， S5：111，（2）平均码长：I=0.35*3+0.65*2=2.35码元/符号；（3）编码信息率：=*logr=2.35*1=2.35 bit/信源符号（4）编码后信息传输率：（5）编码效率： =98%四、（12分）已知一个平均功率受限的连续信号，通过带宽的高斯白噪声信道，试计算（1）若信噪比为10，信道容量为多少？（4分）（2）若信道容量不变，信噪比降为5，信道带宽为多少？（4分）（3）若信道通频带减为时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多少？（4分）解： （1）根据香农公式： （2）当，则 （3）当带宽减为， =120五、（16分）某个信息源发出符号的概率为：假设该信息源发出的符号前后有关联，其依赖关系为：（5） 画出状态转移图（4分）（6） 计算稳态概率（4分）（7） 计算信源的极限熵（4分）（8） 计算稳态下H1，H2及其对应的剩余度。（4分）解：（1）（2）由（3）该信源的极限熵：六、（8分）同时掷两个正常的股子，也就是各面呈现的概率都是，计算（1）“3和4同时出现”事件的自信息量；（2分）（2）两个点数中至少有一个是1的自信息；（2分）（3）两个点数中之和为3的自信息；（2分）（4）两个点数的各种组合（无序对）的熵。（2分）解：（1）P（3和4同时出现）= （2）P（1,1 or1,j or i,1）= (3) P（1,2 or2,1）= (4) 相同点出现的概率为，共6种组合不同点出现的概率为，共15种组合其熵为：事件 七、（22分）设离散无记忆信源的概率空间为 ，通过