信息论与编码理论1(B卷答案)

1、B卷答案2011-2012信息论与编码理论1一、单项选择题（每题3分，总计15分）1 .当底为e时，端的单位为（C ）A奈特 B哈特 C奈特/符号D哈特/符号2 .下列关系式中（B ）正确。a z（x；r）i（x） b （x,y）/（x；r）3 .下列（D ）陈述是正确的。A Shannon编码是最优码B LZ编码是异字头码C Huffman编码可以不需要知道信源的分布D典型序列的数目不一定比非典型的多4 .下列数组中（A ）不满足二个字母上的Kraft不等式.A （1, 1, 1） B 222） C （333） D （4, 4, 4）5 .下列（D ）是只对输出对称的。> 74 22

2、4S S2 40.0./nlD、 / 2-31-32-3 1-32-31-3C>1 1 JZ4 4 2S S S4 2 4 o o O2 4 4 o o O / IB、1 , 1-21-3 1-61-6 1-31-2A二、填空题（每空2分，总计20分）1.若二元离散无记忆中p（0） = 0.25,=0.75,则当给出100比特的信源序列，其中3有5个1,则其自信息为2005Iog, 3腐，整个序列的燧为100（2-二log2 3）比特/符号. -4 一2.若某离散信道信道转移概率矩阵为0.50.250.250.250.50.250.250.250.5，则其信道容量为log2 3 l.5比

3、'0.5 0.25 0.25-特/符号；转移概率矩阵为0.25 0.25 0.5，则其信道容量为log2 3-1.5比特/符号。0.25 0.5 0.25_p 1 - p3.两个相同的BSC做级联信道，其信道转移矩阵分别为，则级联信道的U-p 借道转移矩阵为11一2 + 22P- 2p-,无穷多个级联后的矩阵为尸°，5L2p 2P2 l 2p +2P20.5 0.5.4.若一个信道的输入炳为，（X） = 2.6比特/符号，输出炳为（丫）= 2.3比特/符号,/（x；y）= i.7比特/符号，则（x.y）=比特/符号,散布度为比特/符号。5 .在二元LZ编码中，若信源有K个，某

4、段信源序列共有"个字典，则码长 A咋2例：+jog。6 .存在。元唯一可译码，其平均码长必小于丝巴+1 , log。三、判断题（每题2分，总计10分）1 .概率小的事件自信息大（V ）2 .若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。（X ）3 .若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（J ）4 .平均互信息是下凸函数。（x ）5 .算数编码需要知道信源的分布。（J ）四、计算题（55分）1）（15分）设随机变量x,y的联合概率分布如下:50104141|0£ 2z = xy.分别求（x）,”（y）,（x y）j（x；z）0解：x的分布

5、率为X01P£ 2£ 2则（X） = 1比特/符号.y的分布率为Y%01P£ 4343则H(Y) = 2 log 2 3比特/符号.4-0(10£ 20102p(x =oiy = o)=p(x =o,y = o) p(y = o)-= Lp(X= O = D=(X=OJ = D P(Y = 1)3P(X = 11 y = 0) = "(X = LL = 0)=0, p(x = 11 y = 1)= (X = L L = D =- P(Y = 0)P(Y = 1)3H(XY) = - p(0,0) log 2 ”(010)- p(0.1) log

6、 2 p(Oll) 一 (1,0) log 2 p(l 10) - p(l,l) k)g2 p(lll)11112 31= -Iog2 l-log2 -01og20 log2 - = -log2 3-比特/符号.4323 42Z01P£ 2£ 2(x=mz" =与HU(x"z心型32:。储=。）=韦寻Umxszw崂奈%/XI11)/XX =1)/（x；z）= mo）iog2 统詈+p（o）bg2 塔既+p（l,o）叫 悬黑 + * =0比特/符号.2） （20分）若离散无记忆信源的概率分布为10.1 0.2 0.3 0.4J分别构造二元，三元Huffma

7、n编码（要求码长方差最小，但不需求出），Shannon编码，Fano 编码，Shannon-Fano-Elias 编码。 并求中二元Huffman编码的编码效率。（只列出式子即可）解:对信源按概率从大到小排序，U= C "，建立码树则有二元Huffman编10.4 0.3 0.2 0.1J码：。一ooq 7（x）,c oi, 4 - 1（ d c b a要进行三元Huffman编码，则需要添加一个空信源，成为U =.10.4 0.3 0.2 0.10J建立码树则有三元Huffman编码：。00. - 01, c 7 1, >2Shannon编码如卜：信源）码长累加概率码字d20

8、00C201b3101a41110Fano编码如下:信源概率第T次分组第2次分组第3次分组码字d0.0C1010b10110a1111: Shannon-Fano-Elias 编码信源概率（X）斤（X）/(.V)二元月冷码字a500001b40001C3011cl13110 二元 Huffman 编码的平均码长为7 = 3x0.1 + 3x0.2 + 2x0.3 + 1x0.4 =编码效率为n = H(U) = H(U) = "(0.1,020.3,0.4)-才一八 og2L93） （20分）若离散无记忆信道的信道转移矩阵为方法一：0.50.250.50.75_Airo.5 夕Jo.

9、251-21 - 4r ,用两种方法求该信道容量。4>/7() |_r 0.5 log 0.5 + 0.5 log 0.5 IF -1 _/?J_1_0.25 log 0.25 + 0.75 log 0.75_j = - 0.8112810.75-0.8112813-12 -0.811281 1.377438-0.622562C = Iog(2A + 2') = Iog(0.384763+ 0.649773)=log 1.034536= 0.0345(vv(0), vv(l) = (2品j = (0.371918 ,0.628082 )(q(O)M)=(以0),卬T 0.5 0.5L0.25 0.75