信息论与编码理论B卷答案

1、2011-2012信息论与编码理论1一、单项选择题(每题 3分，总计15分)1.当底为e时，熵的单位为(CA奈特 B哈特C2下列关系式中(B ) 正确。A I (X； Y)>I(X)BC H(X|Y)>H( Y|X) D3.下列(D )陈述是正确的。A Shannon编码是最优码)。奈特/符号H(X,Y) >I(X;Y) l(X;Y) <H(X;Y)B LZ卷答案哈特/符号C4.5.Huffman编码可以不需要知道信源的分布 下列数组中(A (1 , 1,下列(DA )不满足二个字母上的1) B (2,2,2,2) C (3,3,3)是只对输出对称的。编码是异字头码D典

2、型序列的数目不一定比非典型的多Kraft不等式。(4, 4, 4)5 2、"11、3.20.40.4'3 33622 102 0.2 0.4 rOO厶B0.40.20.4CD1 1 13 30.4 0.4 0.2<26 3>卫.40.40.2 丿1 2.3 3；A2分,二、填空题(每空1.若二元离散无记忆中总计20分)p(0) = 0.25 ,p(1) =0.75，则当给出有5个1,则其自信息为200 -5log23比特，100比特的信源序列，其中整个序列的熵为100(2 - 3 log 2 3)比特/符号.42.若某离散信道信道转移概率矩阵为0.50.250.2

3、50.50.25特/符号；转移概率矩阵为0.50.250.250.250.25 0.2510.250.2510.25，则其信道容量为log2 3-1.5比0.5 j0.5 ，则其信道容量为0.50.25jlog21.5比特/符号。3.两个相同的BSC做级联信道,其信道转移矩阵分别为信道转移矩阵为h2 p + 2p2L 2p-2p22p-2p2 1-2p+2p2."卩!,则级联信道的P，无穷多个级联后的矩阵为卩5 0.5。fO.5 0.5-4 .若一个信道的输入熵为H(X) =2.6比特/符号，输出熵为 H(Y) = 2.3比特/符号,I(X; Y)=1.7比特/符号，则H(X, Y)

4、 =3.2比特/符号,散布度为 0.6比特/符号。5 .在二元LZ编码中，若信源有 K个，某段信源序列共有 M个字典，则码长(iOg2 M + log 2 K 下6 存在D元唯一可译码，其平均码长必小于log D三、判断题(每题 2分，总计10 分)1. 概率小的事件自信息大(2 )2. 若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。(X )3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。4. 平均互信息是下凸函数。（咒）5. 算数编码需要知道信源的分布。（V）四、计算题（55分）1） （15分）设随机变量 X,Y的联合概率分布如下：X01011441012Z

5、=XY。分别求 H(X),H (Y ),H(X |Y ),I(X;Z)。解：X的分布率为X01P1122则H（X） =1比特/符号.丫的分布率为Y01P13443则H(Y) =2 -1092 3比特/符号.p(X =0, Y =1)2p(X 7丫 7=聲(:翥叭1, p(X "*1" P(Y =1)p(X =1 |Y »P(XF丫 ")=0, p(x =1 |Y » P(X f YT P (Y=0)P(Y=1)H(X |Y) = p(0,0) log 2 p(0|0) p(0,1)log2 p(0|1) p(1,0)l

6、og2 p(1|0) p( 1,1) log 2 p(1|1)1111231=log 21 log 2 0 log 2 log 2 = log 2 3 比特 / 符号.4432342_ p(X =0,Z=1)=0P(Z =1)=p1122p(X =0|Z =0) = p(x =0，Z =0) p(x =0|Z =1)P(z=0)p(X =1|Z =0)=p(W)=0,p (X=1|Z=1) =pujP (Z=1)l(X;Z) = p( 0,0)log2ppX味+p (0,1)- + p-衆号)+ p(1,1)-蹈=0比特/符号.2）（ 20分）若离散无记忆信源的概率分布为y b c d、0.1

7、 0.2 0.3 0.4丿 分别构造二元，三元 Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano 编码，Shannon-Fano-Elias 编码。 并求中二元 Hufman编码的编码效率。（只列出式子即可）解：对信源按概率从大到小排序，U =! d C10.4 0.30.20.1丿,建立码树则有二元 Hufman编码：a T 000, b T 001, CT 01, d T 104 0.3 0.2 0.10丿要进行三元Hufman编码，则需要添加一个空信源，成为U = 建立码树则有三元 Huffman编码：aT 00, bT 01, ct 1, dT 2Sha

8、nnon编码如下:信源码长累加概率码字d2000C20.401b30.7101a40.91110Fano编码如下：信源概率第1次分组第2次分组第3次分组码字d0.400C0.31010b0.110110a0.11111 Shannon-Fano-Elias 编码信源概率F(x)F(x)l(x)二元 T (x)码字a0.10.10.0550.0000100001b0.20.30.240.0001000001c0.30.60.4530.011011d0.410.830.110110 二元 Huffman 编码的平均码长为 i = 3x0.1+3x0.2+2x0.3+1x0.4 =1.9H(U) H

9、(U) H(0.1,0.2,0.3,0.4)编码效率为n =R l log 21.93） （ 20分）若离散无记忆信道的信道转移矩阵为2 ，用两种方法求该信道容量。34丿方法0.5L0.250.5 和 J0.5log0.5 + 0.5log 0.5- "10.75 丄 p10.25log0.25 + 0.75log0.75f0.811281.叩-M43T 1：0.750.811281卜1 2-0.8112810.622562 + 2® =log(0.384763+0.649773)卩0 1=卩.5J (0.25C =109(2=log 1.034536 = 0.0345-1_ 1.3774381(p,1-p)=(0.3429795,0.6570205)时达到信道容量，为 0.0345.(w(0),w(1) =(2 04,24) =(0.37191