信息论与编码理论1B卷答案

第1页共5页20112012信息论与编码理论1B卷答案一、单项选择题（每题3分，总计15分）1当底为时，熵的单位为（C）。EA奈特B哈特C奈特/符号D哈特/符号2下列关系式中B正确。ABXIYI,YXIHCD|HI3下列（D）陈述是正确的。ASHANNON编码是最优码BLZ编码是异字头码CHUFFMAN编码可以不需要知道信源的分布D典型序列的数目不一定比非典型的多4下列数组中（A）不满足二个字母上的KRAFT不等式。A1，1，1B2,2,2,2C3,3,3D（4，4，4）5下列（D）是只对输出对称的。ABCD3162204321204二、填空题（每空2分，总计20分）1若二元离散无记忆中，则当给出比特的信源序列，其中5P75P0有个，则其自信息为比特，整个序列的熵为比特/符号53LOG023LOG42122若某离散信道信道转移概率矩阵为，则其信道容量为500比特/符号；转移概率矩阵为，则其信道容量为513LOG22比特/符号。L23两个相同的BSC做级联信道，其信道转移矩阵分别为，则级联信道的P1信道转移矩阵为，无穷多个级联后的矩阵为。2211PP504若一个信道的输入熵为比特/符号，输出熵为比特/符号，6XH32YH第2页共5页比特/符号，则32比特/符号，散布度为06比特/符号。71YXI,YXH5在二元LZ编码中，若信源有个，某段信源序列共有个字典，则码长KM。KM22LOGL6存在元唯一可译码，其平均码长必小于。D1LOGDU三、判断题（每题2分，总计10分）1概率小的事件自信息大（）2若一个码字集合中的码字长度满足KRAFT不等式，则其必为逗点码。（）3若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（）4平均互信息是下凸函数。（）5算数编码需要知道信源的分布。（）四、计算题（55分）1）（15分）设随机变量的联合概率分布如下YX,。分别求。XYZ,|,ZXIYH解的分布率为01P2则比特/符号1XH的分布率为YY01P43则比特/符号3LOG422YH0104102ZX01020第3页共5页,0,0|YPXPYXP11,01|0YPXPXP30,|1,|Y21|0LOG,0|LOG,|22PPYXH1|LOG,0|1LOG,22PP比特/符号334L2L42Z01P21,00,0|ZPXZXP1,01|0ZPXPZXP0,1,1|1P,|则1|LOG1,0|LOG,10|LOG1,0|LOG0,2222XPXPXPXPZXI0比特/符号2）（20分）若离散无记忆信源的概率分布为403210DCBAU分别构造二元，三元HUFFMAN编码（要求码长方差最小，但不需求出），SHANNON编码，FANO编码，SHANNONFANOELIAS编码。并求中二元HUFFMAN编码的编码效率。（只列出式子即可）1021第4页共5页解对信源按概率从大到小排序,建立码树则有二元HUFFMAN编102340ABCDU码,0A,1B,C要进行三元HUFFMAN编码,则需要添加一个空信源,成为,012304EABCDU建立码树则有三元HUFFMAN编码,0A,1BCSHANNON编码如下信源码长累加概率码字D2000C20401B307101A4091110FANO编码如下信源概率第1次分组第2次分组第3次分组码字D0400C03010B010110A01111111SHANNONFANOELIAS编码信源概率XFXL二元XF码字A0101005500000100001B020302400001000001C030604530011011D0410830110110二元HUFFMAN编码的平均码长为19L401201编码效率为94,2LOGHUR第5页共5页3）（20分）若离散无记忆信道的信道转移矩阵为，用两种方法求该信道容量。4312方法一方法二令输入概率为时达到了信道容量,则代入中,得到关于的1PYXIP函数,另其导数为0,解得,则当34297501,P时达到信道容量,为657,34