信息论与编码试题

1、模拟试题一一、概念简答题（共10 题，每题 5 分）1. 简述离散信源和连续信源的最大熵定理。2. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。3. 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？4. 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。5. 设某二元码字 C=111000， 001011， 010110， 101110 ，假设码字等概率分布，计算此码的编码效率？采用最小距离译码准则，当接收序列为110110 时，应译成什么码字？6. 一平稳二

2、元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求和平均符号熵7. 分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。8. 二元无记忆信源，有求：（ 1）某一信源序列由 100 个二元符号组成，其中有 m个“1”，求其自信息量？（ 2）求 100 个符号构成的信源序列的熵。9. 求以下三个信道的信道容量：，10. 已知一（ 3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。二、综合题（共5 题，每题10 分）1. 二元平稳马氏链，已知 P（ 0/0 ）=0.9 ， P（1/1 ） =0.8 ，求：（ 1）求该马氏信源的符号熵。（

3、2）每三个符号合成一个来编二进制 Huffman 码 , 试建立新信源的模型，给出编码结果。（ 3）求每符号对应的平均码长和编码效率。2. 设有一离散信道，其信道矩阵为，求：（ 1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（ 3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此3. 设线性分组码的生成矩阵为，求：（ 1）此（ n， k）码的 n=？ k= ？，写出此（ n， k）码的所有码字。（ 2）求其对应的一致校验矩阵 H。（ 3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（ 4）若接收码字为 000110，用伴随式法求译码结果。

4、4. 二元对称信道的信道矩阵为，信道传输速度为1500 二元符号 / 秒，设信源为等概率分布，信源消息序列共有13000 个二元符号，问：（ 1）试计算能否在10 秒内将信源消息序列无失真传送完？（ 2）若信源概率分布为息序列至少需要多长时间？，求无失真传送以上信源消5. 已知（ 7， 4）循环码的生成多项式，求：（ 1）求该码的编码效率？（ 2）求其对应的一致校验多项式（ 3）写出该码的生成矩阵，校验矩阵。（ 4）若消息码式为，求其码字。模拟试题一答案一、概念简答题（共10 题，每题 5 分）1. 答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受

5、限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。2. 答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为表示从 Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。3. 答：等长信源编码定理：对于任意，只要，则当 L 足够长时必可使译码差错。变长信源编码定理：只要码。，一定存在一种无失真编等长码和变长码的最小平均码长均为高可达 100%。，编码效率最4. 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应

6、的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。5. 答： 1）2）令接收序列为，则有，故接收序列应译为010110。6. 答：7. 答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。8. 答： 1）2）9. 答： P1 为一一对应确定信道，因此有。P2 为具有归并性能的信道，因此有。P3 为具有发散性能的信道，因此有。10. 答：二、综合题（共5 题，每题10 分）1. 答： 1）由

7、得极限概率：则符号熵为2）新信源共8 个序列，各序列的概率为信源模型为一种编码结果（依信源模型中的序列次序）为0，11，1001， 1010，1011， 10000，100010， 1000113）2. 答： 1）是准对称信道，因此其最佳输入概率分布为。2）当，时，有则3）此时可用最大似然译码准则，译码规则为且有3. 答： 1）n=6，k=3，由 C=mG可得所有码字为：000000， 001011， 010110， 011101， 100101， 101110， 110011， 1110002）此码是系统码，由G知，则3）由 H 可知，其任意2 列线性无关，而有3 列线性相关，故有，能纠一位错。错误图样E伴随式100000101010000110001000011000100100000