信息论与编码试卷HWord版

1、一 填空题（本题15空，每空1分，共15分）1 互信息量I(xi;yj)被定义为（ 自信息量I（xi） ）和（ 条件自信息量I（xi/yj） ）两个不确定度之差，是不确定度被消除的部分，即从yj得到的关于（ xi ）的信息量。2 最大后验概率译码指的是（即选取最大的后验概率就可使译码差错最小）。在（输入等概）时，最大后验概率译码即为最大似然译码。BSC信道的最大似然译码即为（求最小汉明距离的一种译码算法）。3 信息传输率的定义为（信道中每个信源符号传输的信息量），经信源编码后，信源符号变成了码元符号进入信道传输，此时信息传输率指的是（平均每个码元载荷的信息量）；信息传输速率被定义为（单位时间内

2、传输的信息量），单位为bit/s。4 若同时抛掷一对色子，设每个色子各面朝上出现的概率均为1/6，则“2和6同时出现”这一事件的自信息量为（log218=4.17）bit，“两个点数中至少有一个1”这一事件的自信息量为（）bit，“两个3同时出现”这一事件的自信息量为（ 5.17 ）bit。5 常用的差错控制方法有（ 前向纠错 ）、（ 检错重发 ）和混合纠错。6 码距与检、纠错能力之间的关系是（ 检错能力+纠错能力dmin+1 ）。制 作 人： 陈瑞 焦良葆 年 月 日课程名称： 信息论与编码B 所以编码效率为二 判断题（本题10小题,每小题1分,共10分） 12345678910（1） 完备

3、码是一种监督位得到充分利用的码。（ ）（2） (n,k)线性分组码的最小汉明距离dminn-k。（ ）（3） 由香农公式可以看出，随着带宽无限增加，信道容量也可无限增大。（ ）（4） 任意线性分组码中必包含全0码字。（ ）（5） 码字集合1，01，000，0010，0011是唯一可译码。（ ）（6） 信息率失真函数R(D)的值域为0，H(X)。（ ）（7） K-L变换是按均方误差最小准则来计算的一种非正交变换。（ ）（8） 信源的不确定度具有可加性。（ ）（9） 任一非系统码的生成矩阵都可以通过行运算转变成系统形式，结果是映射规则不变，码集发生线性变化。（ ）（10） 非平稳有记忆随机序列实际

4、信源，其极限熵是不存在的；解决方法是假设其为离散平稳随机序列信源，极限熵存在。（ ）三 名词解释（本题4小题,每小题5分,共20分）1全损信道X与Y相互独立，此时I(X;Y)=0，从Y中无法提取关于X的信息，信道能传输的平均信息量为0，即信源发出的信息量在信道上全部损失掉了，称为全损信道。2随机错误错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引起的。3 变换编码变换编码是一种限失真信源编码方法，经变换后的信号的样值能更有效地编码，即通过变换解除或减弱信源符号间的相关性，再将变换后的样值进行

5、标量量化，达到压缩码率的目的。4非奇异码信源符号和编出的码字是一一对应的，则该码为非奇异码。四 计算题（本题3小题,共25分）1. 已知一个信源包含8个符号消息，它们的概率分布如下表：ABCDEFGH0.10.180.40.050.060.10.070.041）设信源每秒钟内发出一个符号，求该信源的熵及信息传输速率；2）对这8个符号作二进制码元的哈夫曼编码，并计算编码效率。 （4+4=8分）解：1）（2分）2 一组CRC循环冗余校验码，其生成多项式为（X5+X4+X2+1）。假设发送段发送的信息帧中所包含的信息是（1010001101）。试求附加在信息位后的CRC校验码。 （6分）答：生成CR

6、C基本原理是：1）信息多项式乘以X5，得到X5（X9+x7+x3+x2+1）=X14+x12+x8+x7+x5；2）除以生成多项式（X5+X4+X2+1），得到余数为X3+x2+x 011103）信息帧的CRC校验码即为01110，发送的帧为T=101000110101110。3研究(8,4)系统线性分组码，其校验方程为：，其中m0m3是信息位，C3C0是校验位。1) 求出此分组码的生成矩阵G和校验矩阵H。（码字排列为m1m4C0C3）2) 求此码的最小距离dmin。3) 若输入信息m=(1010)，试求对应的输出码字。4) 若接收序列R=（10111010），如何判断接收是否有错？（2+2+

7、2+2=8分）解：1）由一致校验方程，易得出生成矩阵校验矩阵 （2分）2）16组码字为00000000、00011011、00101101、00110110、01001110、01010101、01100011、01111000、10000111、10011100、10101010、10110001、11001001、11010010、11100100、111111111 （2分）3）输入信息m=(1010)，对应的输出码字为10101010。 （2分）4）1011的正确码字应该是10110011，所以有错，判断是否有错，只需计算RHT是否为零，如为零则无错，不为零则有错。 （2分）五综合题（

8、本题3小题,共30分） 1一离散无记忆信源X的概率空间为求：1）该信源的熵H（X）；2）对该信源进行二次扩展的概率空间，并求；3）由此确定与之间的关系。（2+3+3=8分）解: 1）=1.565 bit/符号 （2分）2） X1X1 X1X2 X1X3 X2X1 X2X2 X2X3 X3X1 X3X2 X3X3 9/64 3/32 9/64 3/32 1/16 3/32 9/64 3/32 9/64=1.56 （3分）3）= （3分）2一个（3，1，2）卷积码，G（D）=（1+D，1+D+D2，1+D2），试：1） 画出该码的编码器框图；2） 求该卷积码的状态图；3） 求该码的自由距离df（用网格图或梅森公式均可） （4+4+2=10分）解：1）编码器结构图：（4分）2）状态图为：（4分）3）网格图为：自由距离df=3+2+2=7 （2分）3 设发送端有3种等概符号（x1，x2，x3），接收端收到3种符号（y1，y2，y3），信道的转移概率矩阵为：1） 求接收端收到一个符号后得到的信息量；2） 计算噪声熵；3） 求接收端收到一个符号y2的错误概率；4） 计算发送端看的平均错误概率；5） 计算发送端的H（X）和H（X/Y）。 （2+2+2+2+4=12分）解：1）由发送符号的概率以及转移矩阵可得出接收端各个符号的概率，分别是：接收端收到一个符号后得到的信息量