信息论与编码试卷H

1、 填空题一分）15空，每空1分，共（本题15 自信息量 y)被定义为（I（xi/yj） ）两个不。1 互信息量I(xI（xi） ）和（ 条件自信息量 ji ）的信息量。y得到的关于（ xi 确定度之差，是不确定度被消除的部分，即从 j )xy/maxp(ij就可使译码差错最最大后验概率译码指的是（即选取最大的后验概率2 B 信息论与编码课程名称： 信道的最大似然BSC小）。在（输入等概）时，最大后验概率译码即为最大似然译码。 日 年 月 制 作 人：陈瑞 焦良葆 译码即为（求最小汉明距离的一种译码算法）。 信息传输率的定义为（信道中每个信源符号传输的信息量），经信源编码后，信源符号3 变成了码

2、元符号进入信道传输，此时信息传输率指的是（平均每个码元载荷的信息 。量）；信息传输速率被定义为（单位时间内传输的信息量），单位为bit/s 这”和6同时出现若同时抛掷一对色子，设每个色子各面朝上出现的概率均为4 1/6，则“2 这一事件的自信息量1”“两个点数中至少有一个bit一事件的自信息量为（log18=4.17），2 3671.?1log 211。）bit”这一事件的自信息量为（ 5.17 同时出现为（）bit，“两个3 ）和混合纠错。 检错重发）、（5 常用的差错控制方法有（ 前向纠错 ）。d+1 检错能力+纠错能力6 码距与检、纠错能力之间的关系是（ min 所以编码效率为 1 /

3、6 二 判断题（本题10小题,每小题1分,共10分） 1 2 3 4 5 6 7 8 9 10 （1完备码是一种监督位得到充分利用的码。 ） （ ） （2(n,k)线性分组码的最小汉明距离dn-k。 ） min （ ） C?Wlog(1?SNR)可以看出，随着带宽无限增加，信道容量也可无限增） （3由香农公式 大。 （ ） （4） 任意线性分组码中必包含全0码字。 （ ） （5） 码字集合1，01，000，0010，0011是唯一可译码。 （ ） （6） 信息率失真函数R(D)的值域为0，H(X)。 （ ） （7） K-L变换是按均方误差最小准则来计算的一种非正交变换。 （ ） （8） 信源的

4、不确定度具有可加性。 ） （ （9） 任一非系统码的生成矩阵都可以通过行运算转变成系统形式，结果是映射规则不 变，码集发生线性变化。 ）（ ） （10非平稳有记忆随机序列实际信源，其极限熵是不存在的；解决方法是假设其为 离散平稳随机序列信源，极限熵存在。 （ ） 三 名词解释（本题4小题,每小题5分,共20分） 1 全损信道 X与Y相互独立，此时I(X。Y)=0，从Y中无法提取关于X的信息，信道能传输的平均信 息量为0，即信源发出的信息量在信道上全部损失掉了，称为全损信道。 2 随机错误 错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错误是 互相独立的，通常不是成片

5、地出现错误。这种情况一般是由信道的加性随机噪声引起的。 变换编码3 变换编码是一种限失真信源编码方法，经变换后的信号的样值能更有效地编码，即通过变换 解除或减弱信源符号间的相关性，再将变换后的样值进行标量量化，达到压缩码率的目的。2 / 6 非奇异码4 信源符号和编出的码字是一一对应的，则该码为非奇异码。 分）,共25四 计算题（本题3小题 个符号消息，它们的概率分布如下表： 已知一个信源包含81. H G E F A B C D 0.04 0.07 0.06 0.1 0.1 0.18 0.4 0.05 ）设信源每秒钟内发出一个符号，求该信源的熵及信息传输速率；1 分）4+4=8 （2）对这8

6、个符号作二进制码元的哈夫曼编码，并计算编码效率。 分） 2解：1）（ 245）。假设发送段发送的信息+X一组CRC循环冗余校验码，其生成多项式为（X+1+X2 分）（6CRC帧中所包含的信息是（1010001101）。试求附加在信息位后的校验码。 基本原理是：答：生成CRC 5714212875593 +x+x+xX1）信息多项式乘以；，得到X（X+x+x+x+x=X+1） 22354 01110 +xX）除以生成多项式（+X+XX+1），得到余数为+x 2 。01110校验码即为，发送的帧为T=101000110101110CRC3）信息帧的 3 / 6 3 研究(8,4)系统线性分组码，其

7、校验方程为： c?m?m?m?3102 ?c?m?m?m?2101 ?c?m?m?m? 3120?c?m?m?m ?，其中mm是信息位，CC是校验位。4230 0303 1) 求出此分组码的生成矩阵G和校验矩阵H。（码字排列为mmCC） 3410 2) 求此码的最小距离d。 min 3) 若输入信息m=(1010)，试求对应的输出码字。 4) 若接收序列R=（10111010），如何判断接收是否有错？（2+2+2+2=8分） 解：1）由一致校验方程，易得出生成矩阵 分）（校验矩阵 2 、00000000、00011011、01010101、001011010011011001001110为）2

8、16组码字 、110010011011000110101010100111000111100001100011、10000111、 111111111 、1101001011100100、 4d? （2分） min （。）输入信息3m=(1010)，对应的输出码字为10101010 2分） T是否为1011，所以有错，判断是否有错，只需计算的正确码字应该是10110011RH）4 分）2 零，如为零则无错，不为零则有错。（ 分）小题3,共30 五综合题（本题 x,xx?321 X?331? ?)PX(,?884? 的概率空间为 X1 一离散无记忆信源 1求：）；（）该信源的熵HX 2?X ?)

9、P(X2)HX(? ）对该信源进行二次扩展的概率空间； ，并求2 2)H(X)(HX）由此确定分）与之间的关系。（2+3+3=83 ?pH?X()logpii2 分）2（符号=1.565 bit/）: 1解 i 4 / 6 9/64 3/32 9/64 3/32 1/16 3/32 9/64 3/32 9/64lo分=1.56分1+1+D+），试1+一个2）卷积码）画出该码的编码器框图）求该卷积码的状态图4+4+2=1分d（用网格图或梅森公式均可）求该码的自由距解）编码器结构图 （4分） ）状态图为2 ： 4分）（ 3）网格图为： 分）df=3+2+2=7 （2自由距离 5 / 6 设发送端种等概符号xxx），接收端收种符号yyy），道的转移概率矩阵为）求接收端收到一个符号后得到的信息量）计算噪声熵）求接收端收到一个符y的错误概率）计算发送端看的平均错误概率X/）2+2+2+2+4=1分）计算发送端）解）由发送符号的概率以及转移矩阵可得出接收端各个符号的概