信息理论与编码基础一new

1、信息理论与编码基础（一）一、判断题(每空1分，共10分)            1有记忆信源输出符号之间是统计相关的。（   ）  2条件熵不大于无条件熵。（   ）  3离散信源的序列熵等于各个符号熵之和。 （   ）  4互信息量可为正值、负值或零 （   ） &#

2、160;5平均互信息I(X;Y)是输入信源概率分布p(ai),i=1,2,.n的下凸函数。（    ）  6当信源的符号数一定时，符号间的记忆长度越长，极值熵¥H越小，从而HH0就越大，这说明冗余度越大，意味着信源可压缩的程度越大。 （   ）7在限失真信源编码中，容许的失真度D越大，所要求的信息率R就越小。（   ） 8某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，其容量为H(X)。（   

3、;） 9克拉夫特不等式可以判别唯一可译码的存在性，也可以用克拉夫特不等式来判别某码组是否为唯一可译码。（   ） 10若要求纠正1个差错，同时检测2个差错，则要求最小码距dmin= 4。（   ）二  填空题(每空1分，共10分) 1加密编码主要用于解决信息传输中的_(有效性、可靠性、安全性)。 2一信源有五种符号a,b,c,d,e，先验概率分别为Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625，则符号“a”的自信息量为  

4、;        bit，此信源的熵为         bit/符号。 3对称DMC信道的输入符号数为n，输出符号数为m，信道转移概率矩阵为pij，则该信道的容量为          。 4采用m进制编码的码字长度为Ki，码字个数为n，则克劳夫特不等式为    

5、0;    ，它是判断         的充要条件。 5信源编码的概率匹配原则是：概率大的信源符号用         ，概率小的信源符号用          。（短码或长码） 6某离散无记忆信源X，其符号个数为n，则当信源符号呈  

6、0;      分布情况下，信源熵取最大值         。三、计算题 （本题共4小题；第 1小题10分，第2小题14分，第3小题14分，第4小题10分，共48分） 1从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多

7、少？2已知二元信道的传递矩阵为 ，其中úû试求：（1）H(X)，H(X/Y)，H(Y/X) 和I(X；Y)；（8分） （2）求该信道的信道容量及其达到信道容量时的输入概率分布。（6分） 3 有一个二元对称信道，其信道矩阵为 。设该信源以1500bit/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，多少秒钟内能将这消息序列无失真的传递完？4 一个四元对称信源þ ，接收符号Y = 0, 1

8、, 2, 3，其失真矩阵为úúúúû 求这信源的Dmin、Dmax。四、证明题（本题共2小题，每小题4分，共 8分）  1 证明：平均互信息量同信息熵之间满足：I(X;Y)=H(X)+H(Y)-H(XY)。2 证明：有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证： H(Y)  H(Z)五、综合题（共24分）  1设有一单符号离散无记忆信源X，其概率分布为： P（

9、X）=0.2，0.19，0.18，0.17，0.15，0.1，0.01，求： （1）编二进制香农码，并计算其平均码长；（8） （2）用费诺编码编成二元变长码，并计算其平均码长；（8分） （3）用哈夫曼编码编成二元变长码，并计算其平均码长；（8）信息理论与编码试卷答案B 一、判断题（(对划“”，错划“×”，本题共10 小题；每小题 1分，共10分） 1   2  3×  4  5×  6  7  8×  9×