《信息论》期末考试B卷答案

:号学：名姓班级CGOON:号学：名姓班级CGOON业专程工息信院学程工息信气电题试试考末期期学季秋年学OOONQ05北方民族大学试卷课程代码：01100622课程:信息理论及编码 B卷答案说明：此卷为《信息理论及编码》 B卷答案一、概念简答题（每小题6分，共30分）1、比较平均自信息（信源嫡）与平均互信息的异同。答：平均自信息为HXPailogPa,表示信源的平均不确定度， 也表示平i1均每个信源消息所提供的信息量。 （3分）Py x平均互信息IX;YPxylog 。表示从丫获得的关于每个X的平均信息量，X,Y Py也表不发X前后Y的平均不确定性减少的量，还表不通信前后整个系统不确定性减少的量。TOC\o"1-5"\h\z （3 分）2、简述香农第一定理。 LHs答：对于离散信源S进彳Tr元编码，只要其满足士N , （3分）Nlogr当N足够长，总可以实现无失真编码。 （3分）3、简述唯一可译变长码的判断方法？答：将码C中所有可能的尾随后缀组成一个集合 F,当且仅当集合F中没有包含任一码字时，码C为唯一可译变长码。构成集合 F的方法： （2分）首先，观察码C中最短的码字是否是其他码字的前缀。 若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀， 再将由这些尾随后缀产生的新的尾随后缀列出。依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止。 （2分）接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出， 得到尾随后缀集合F。 （2分）4、简述最大离散嫡定理。答：最大离散嫡定理为：对于离散无记忆信源，当信源等概率分布时嫡最大。…… （3分）（3分）对于有m个符号的离散信源，其最大嫡为 logm。（3分）5、什么是汉明距离；两个二元序列 i1230210,j0210210,求其汉明距离。TOC\o"1-5"\h\z答：长度相同的两个码字之间对应位置上不同的码元的个数，称为汉明距离。 （3分）Di,j5 （3 分）二、判断题（每小题2分，共10分）1、信息是事物运动状态或存在方式的不确定性的描述。 （V）2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。 （V）3、二元霍夫曼码一定是最佳即时码。 （V）4、单符号离散信源的自信息和信源嫡都是一个确定值。 （X）5、平均错误概率只与译码准则有关系。 （X）三、计算题（每小题10三、计算题（每小题10分，共40分）X a101、设离散无记忆信源 3Px38a21a32a431 1 1 。其发生的消息为8 4 4202123021302201320200231201320,求：（1）此消息的自信息是多少？（ 2）在此消息中平均每个符号携带的自信息是多少？Ia910gP0 510gP1 1110gP2 510gP3答：（1）自信息量 （5分）59.74比特(2)I59.74301.99比特符口(5分)2、计算以下2个信道的信道容量答:P为准对称信道,其信道容量C1logrH(P1,P2(2)I59.74301.99比特符口(5分)2、计算以下2个信道的信道容量答:P为准对称信道,其信道容量C1logrH(P1,P2,,ps)NklogM(2分)其中3个子矩阵为B1B2，所以1,N3Si概率Wi（1上0下）Wi（0上1下）lis10.411002s20.200112s30.10111003s40.10101013s50.05101101004s60.05101001014s70.05100101104s80.05100001114计算其平均码长和编码效率。答：霍夫曼编码如下表所示(6分)平均码长L1Mi—,M22则C1 log22 1,M3 ,3 3H(1,1,1Mi—,M22则C1 log22 1,M3 ,3 3H(1,1,1,1)3366110g1)6 30.0407(bit/symbol)(4分)P2为一一对应信道，其信道容量C2maxH(X)log242(bit/symbol)(4分)3、信源空间为S

P(s)SiS2S3S4S5S60.40.20.10.10.050.05S7 S80.050.05,试构造二元霍夫曼码，并0.05440.1320.220.42 2.6(码符号/信源符号)(2分)编码效率H(S)L1(0.4l0g041 1 1、0.2log20.1log40.05log )2.60.97(20.2 0.1 0.054、设某二元码为4、设某二元码为C(1分)(1分)00000011011011111010°(D计算此码的最小距离dmin；(2)计算此码的码率R,假设码字等概率分布；（3）采用最小距离译码准则，接收到序列00100,01010,00111和00101应译成什么码字。TOC\o"1-5"\h\z答：（1） dmin3 （3分）⑵rlogmbg40.4比特4 （3分）n5 /g付w（3）序列00100译成00000, （1 分）序列01列0译成11010,序列00111译成10111,

序列00101译成01101 (1分)四、综合题(20分)一、…0.9„0._, 0.90.11、二兀对称信道的信道矩阵为 P ，信道传输速度为1500二元符号/秒，设信源为等概率0.10.9分布，信源消息序列共有 13000个二元符号，问：(1)试计算能否在10秒内将信源消息序列无失真传送完？(2)若信源概率分布为P(0)0.7,P(1)0.3,求无失真传送以上信源消息序列至少需要多长时间？答：(1)此信道为二元对称信道，信源等概分布时，信道传输率达最大-C。信源嫡H(S)log21(bit/symbol) (1 分)(1分)H(P)10.9log20.90.1log2(1分)1500100.5317965(bit)1500100.5317965(bit)130001(bit),所以10秒内不能传完。(3分)(2)信源不等概分布，信息传输率达不到 C- 1 1(2)信源不等概分布，信息传输率达不到 C- 1 1H(S)0.7log0.3log—0.7 0.30.36020.521090.88129(bit/symbol)(1分)130000个信源符号所含信息量为:130000H(S)11456.77(bit)(2分)P(y)0.70.30.90.10.10.90.660.34(1分)0.9P(xy)0.10.70.30.10.70.630.07130000个信源符号所含信息量为:130000H(S)11456.77(bit)(2分)P(y)0.70.30.90.10.10.90.660.34(1分)0.9P(xy)0.10.70.30.10.70.630.070.90.30.030.27(1分)信息传输率:RI(X;Y)P(XiyRI(X;Y)P(Xiyj)log2XYP(yj/xi)

P