信息论编码模拟试题一及参考答案

1、模拟试题一一、概念简答题（共 10 题，每题 5 分）1. 简述离散信源和连续信源的最大熵定理。2. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。3. 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码 长最小为多少？编码效率最高可达多少？4. 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。5. 设某二元码字 C=111000 ， 001011， 010110， 101110 ， 假设码字等概率分布，计算此码的编码效率？ 采用最小距离译码准则，当接收序列为110110时，应译成什么码字？6.

2、一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求和平均符号熵7. 分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。求：8. 二元无记忆信源，有(1 )某一信源序列由100个二元符号组成，其中有 m个“ 1”，求其自信息量?( 2)求 100 个符号构成的信源序列的熵。9. 求以下三个信道的信道容量：10. 已知一（ 3，1， 3）卷积码编码器，输入输出关系为：试给出其编码原理框图。二、综合题（共 5 题，每题 10 分）1. 二元平稳马氏链，已知 P（ 0/0 ）=0.9 ， P（1/1 ） =0.8 ，求：（1）求该马氏信源的符号

3、熵。（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（ 3）求每符号对应的平均码长和编码效率。，求：2. 设有一离散信道，其信道矩阵为1）最佳概率分布？2）当时，求平均互信息信道疑义度3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此,求：3. 设线性分组码的生成矩阵为（1 ）此（n, k）码的n=? k= ?，写出此（n, k）码的所有码字。2）求其对应的一致校验矩阵 H。3）确定最小码距,问此码能纠几位错?列出其能纠错的所有错误图样和对应的伴随式。,信道传输速度为4）若接收码字为 000110,用伴随式法求译码结果。4. 二元对称信

4、道的信道矩阵为1500 二元符号 / 秒,设信源为等概率分布,信源消息序列共有 13000 个二元符号,问：（ 1 ）试计算能否在 10 秒内将信源消息序列无失真传送完?（2）若信源概率分布为 息序列至少需要多长时间？5. 已知（ 7， 4）循环码的生成多项式，求无失真传送以上信源消，求：1）求该码的编码效率？2）求其对应的一致校验多项式3）写出该码的生成矩阵，校验矩阵，求其码字。4）若消息码式为模拟试题一答案一、概念简答题（共 10 题，每题 5 分）1. 答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指 数

5、分布的熵最大。2. 答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还表示通信前后 整个系统不确定性减少的量。3. 答：等长信源编码定理：对于任意，只要，则当 L 足够长时必可使译码差错，一定存在一种无失真编变长信源编码定理：只要 码。等长码和变长码的最小平均码长均为 ，编码效率最 高可达 100%。4. 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，

6、将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆 信道中，最小距离译码准则等效于最大似然译码准则。5. 答： 1)2)令接收序列为，则有，故接收序列应译为 0101106. 答：7. 答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的 最大值为信道容量。8. 答： 1)2)9.答：P1为一一对应确定信道，因此有P2为具有归并性能的信道，因此有P3为具有发散性能的信道，因此有10. 答：、综合题（共 5 题，每题 10 分）1. 答： 1）由得极限概率：则符号熵为2 ）新信源共

7、8 个序列，各序列的概率为信源模型为一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011， 10000， 100010， 1000113)2. 答： 1）是准对称信道，因此其最佳输入概率分布为2）当时，有3)此时可用最大似然译码准则，译码规则为且有3. 答：1) n=6, k=3，由C=mG得所有码字为: 000000 ， 001011 ， 010110， 011101 ， 100101 ， 101110， 110011 ， 1110002）此码是系统码，由G知，则3）由H可知，其任意2列线性无关，而有 3列线性相关，故有，能纠一位错错误图样 E伴随式1000001010100001100010000110001001000000100100000010014）由知 E= 010000，则4. 答：