(完整word版)信息论试卷.doc

1、一、选择题1、下列那位创立了信息论。(C)A. 牛顿B. 高斯C. 香农D. 哈夫曼2、下列不属于消息的是。(B)A. 文字B. 信号C. 图像D. 语言3、同时扔两个正常的骰子， 即各面呈现的概率都是 1/6，若点数之和为 2，则得到的自信息量为 (B) 。A. -log36 bitB. log36 bitC. -log18 bitD. log18 bit4、下列说法不正确的是(C)A. 异字头码肯定是唯一可译的B. 逗点码是唯一可译的C. 唯一可译码不必满足 Kraft 不等式D. 无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman 编码 (A)A. 0 ， 10

2、， 11B. 00 ， 01， 10， 110C. 01 ， 10D. 001 ， 011， 100，1016、下列物理量不满足非负性的是(D)A. H(X)B. I(X;Y)C. H(Y|X)D. I(x j;y j)7、信源的输出与信道的输入匹配的目的不包括(D)A. 符号匹配B. 信息匹配C. 降低信道剩余度D. 功率匹配8、在串联系统中，有效信息量的值(B)A. 趋于变大B. 趋于变小C. 不变D. 不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。(F)提示：对

3、数函数3、两个事件之间的互信息量可正，可负，也可能为0。 (T)4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。(T)5、 Huffman编码是唯一的。(F)提示：不唯一6、概率大的事件自信息量大。(F)提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。(T)8、平稳的离散无记忆信道不可用一维概率描述。(F)提示：可以三、填空题1、必然事件的自信息是0。2、根据码字所含的码元的个数，编码可分为等长编码和不等长编码。3、不等长D 元码，码字最长限定为N，则至多有D(D N - 1)/(D - 1)个码字。4、实现准对称DMC 信道容量的输入分布为等概分布

4、。5、各随机变量彼此统计独立，相应的信源就称做无记忆信源。6、 U=a1 ， a2， a3， =0.25， P2=0.5， P3=0.25，则 H(U) = 1.5 bit。7、设信源 X 包含 4 个不同的离散消息， 当且仅当X 中各个消息出现的概率为0.25 时，信源熵达到最大值，为2 bit 。8、平均互信息量I(X;Y) 与信源熵和条件熵之间的关系I(X;Y)=H(X)-H(X/Y)。四、计算题1、设离散无记忆信源Ss1s2s3s4s5s6s7s8P0.220.200.180.150.100.080.050.02码符号集 X=0 ，1，2， 3 ，现对该信源S 进行四元哈夫曼编码，试求

5、信源熵H(S) 、平均码长 L 和编码速率 。解：进行四元哈夫曼编码，得s1:1s2:2s3:3s4:00s5:01s6:02s7:030 s8:031平均码长为8Lpili 1.47（码元 / 信源符合）i 1信源熵为H4(S)H (S)1.375（ bit / 信源符合）log 24编码速率H 4(S)0.9353L2、从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5% ，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量， 平均每个回答中含有多少信息量？如果问一位女士， 则答案中含有的平均自信息量是多少？解：由已知可得

6、男女色盲概率分布如下：Mm色盲m 正常Ff1色盲f2正常)1(2()()P0.070.93P0.0050.995MF所以，问一位男士时他的回答“是”的信息量为：I(m1) = -log p(m1) = -log 0.07= 3.837bit/ 符号问一位男士时他的回答“否”的信息量为：I(m2) = -log p(m2) = -log 0.93= 0.105bit/ 符号问男士时平均每个回答中含信息量为：H(M)2p( mi)(0.07 log 0.070.93log 0.93)0.366bit / 符号i1问女士时答案中各含信息量为：H (F)2p(f i)(0.005 log 0.0050.995log 0.995)0.045