信息论与编码J

信息论与编码J一 填空题（本题15空，每空1分，共15分 ）1 设在一8行8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。如将方格按顺序编号，则令乙猜测棋子所在方格顺序号的信息量为（ ）bit；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（ ）bit。2 信源熵用来表征信源的（），平均自信息量是（）的量度；平均互信息量I(X;Y)的物理含义是（），I(Y;X)的物理含义是（ ）。3 传输信道中常见的错误有（）、（）和混合错误三种；差错控制方式主要有（ ）、（ ）和混合方式三种。4 设C = 11100, 01001, 10010, 00111是一个二元码，该码的最小距离dmin=（），则该码最多能检测出（）个随机错，最多能纠正（）个随机错。真矩阵dij=（），平均失真D=（ ）。二 判断题（本题10小题,每小题1分,共10分） （1） 对于独立信源，不可能进行预测编码。 （ ）（3） 一般情况下，互信息满足：0I(X;Y) min(H(X),H(Y)。（ ）（4） 码字集合100，101，0，11是唯一可译码。（ ）（7） 对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。（ ）（8） 二维离散平稳有记忆信源的熵满足：H(X1,X2)H(X1)+H(X2)。 （ ）（9） 线性分组码中任意两个码字的模2加仍为一个有用码字。（ ）（10）马尔可夫序列的联合概率具有时间推移不变性。（ ）三 名词解释（本题4小题，每小题5分，共20分）1 噪声熵2 即时码3 马尔可夫信源4 信道容量四 计算题（本题3小题，共25分）1 设有离散无记忆信源X，其概率分布为P（X）=0.37，0.25，0.18，0.12，0.05，0.03，求：1）信源符号熵H(X)；2）用哈夫曼编码编成二元变长码，并计算其编码效率；3）如要求译码错误小于10-3，采用定长编码达到2）中的编码效率，需要多少个信源符号一起编码？ （3+4+4=11分）2 设C = 00000000, 00001111, 00110011, 00111100是一个二元码。试：1）计算码C中所有码字之间的距离及最小距离；2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。所有码字的补构成的集合称为此码的补码。求码C的补码以及补码中所有码字之间的距离和最小距离，它们与1）中的结果有什么关系？3）试将2）中的结果推广到一般的二元码。（2*3=6分）五 综合题（本题3小题，共30分）2 设某卷积码的转移函数矩阵为G（D）=（1+D，1+D2），1）试画出该卷积码的编码器结构图；2）求该卷积码的状态图；3）求该码的自由距离df。（3+4+3=10分）3 一个二进制二阶马尔可夫信源的原始信源为X0,1，这时的状态空间为S：S1=00，S2=01，S3=10，S4=11，共有nm=22=4个不同的状态。已知其一步转移概率为：0/0000P(0/00)p(0/S1)p(S1/S1)=0.81/0001P(1/00)p(1/S1)p(S2/S1)=0.20/0110P(0/01)p(0/S2)p(S3/S2)=0.51/0111P(1/01)p(1/S2)p(S4/S2)=0.50/1000P(0/10)p(0/S3)p(S1/S3)=0.51/1001P(1/10)p(1/S3)p(S2/S3)=0.50/1110P(0/11)p(0/S4)p(S3/S4)=0.21/11