信息论与编码试题

1、模拟试题一一、概念简答题（共10题，每题5分）简述离散信源和连续信源的最大熵定理。什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。设某二元码字C=111000，001011，010110，101110，假设码字等概率分布，计算此码的编码效率？采用最小距离译码准则，当接收序列为110110时，应译成什么码字？戸（0）=04戸=0.6平稳二元信源，它在任意时间，不论以前发

2、出过什么符号，都按发出符日（胪）,丹（兀竺兀）辄护号，求和平均符号熵分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量?2）求100个符号构成的信源序列的熵。9.求以下三个信道的信道容量：0P1P20.10.20.30.4000000000.30.700P30000000.40.210.已知一（3，1，3）卷积码编码器，输入输出关系为：00000.10.3卩1(/)=询)=+&(/_3)v3(0=盘(7)+讥/一2)+囂(/一3)试给出其编码原理框图。二、综合

3、题(共5题，每题10分)1.二(1)(2)(3)元平稳马氏链，已知P(0/0)=0.9，P(1/1)=0.8，求：求该马氏信源的符号熵。每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。求每符号对应的平均码长和编码效率。ro.70.10.22.设有一离散信道，其信道矩阵为(1)最佳概率分布？0.20.10.7，求：当壬3时，求平均互信息信道疑义度H(xrr)=?3)输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此3.设线性分组码的生成矩阵为求：(1)此(n，k)码的n=？k=？，写出此(n，k)码的所有码字。求其对应的一致校验矩阵H。确定最小码距

4、，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式若接收码字为000110，用伴随式法求译码结果。0.90.1一0.10.9一二元对称信道的信道矩阵为L，信道传输速度为1500二元符号/秒，设信源为等概率分布,信源消息序列共有13000个二元符号，问：试计算能否在10秒内将信源消息序列无失真传送完？(0)=0.7,(1)=0.3若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？g(x)=X+X+1已知(7,4)循环码的生成多项式，求:求该码的编码效率？h(x)=?求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。=1+x+x2（4）若消息码式为，求其码字。模拟

5、试题一答案一、概念简答题（共10题，每题5分）1.答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。丹（羞）=一$（聲）陀F（兀）2答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。s00牛”田S3答：等长信源编码定理：对于任意，只要，则当L足够长时必可使译码差错log.3=1.5995加打符号F(0)=P(0)P(0/0)+FF(0门)P(

6、0)+F=11.答：1)由则符号熵为心小琢汕符号得极限概率:P=f戸=|2)新信源共8个序列，各序列的概率为如牡)的卓必円(000001010011100101110111信源模型为|0.540.060.0130.0530.060.0070.0530.313100011一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，庄=1工F（孕）阳=0.682加打符号3）77-log22_811%2答：1）是准对称信道，因此其最佳输入概率分布为01）一0（花）一二2）当心mx时，有X)=0.55A)=O-1A)=0-35则（X；F）=0.12竝/符号

7、H(X!Y)=抗俯号3）此时可用最大似然译码准则，译码规则为=兀Dp住）=吃Ps=|0-2+0.1+0.2=0.25且有.3.答：1)n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，11100010111010012）此码是系统码，由G知，110011，则H=Qr/=0110101010013）由H可知，其任意2列线性无关，而有3列线性相关，故有心_3，能纠一位错。错误图样E伴随式100000101010000110001000011000100100000010010000001001S=EHr4)由知E50000，则0101104答:1）信道容量为l-WA0.D=0.531歸符号3)4)信源序列信息量为13000 x7/(0.5)=13000扯而10秒内信道能传递的信息量为10 x10 x0.531=7965皿故不能无失真地传送完。2)此时信源序列信息量为13000 x(0.0.7)=11456.77躲信息传输率为M温F=0.4558劲符号.