西安邮电大学信息论及编码复习题已修改.doc

一、选择题（共15题）1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H(X2)=(B )A、1.75比特/符号； B、3.5比特/符号；C、9比特/符号； D、18比特/符号。2、信道转移矩阵为，其中两两不相等，则该信道为DA、一一对应的无噪信道B、具有并归性能的无噪信道C、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法正确的是：（ A ）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、条件熵一定不大于C4、在串联系统中，有效信息量的值（ B）A、趋于变大B、趋于变小C、不变D、不确定 5、若BSC信道的差错率为P，则其信道容量为：（ C ）A、 B、 C、 D、6、设信道输入为 xm，输出为y，若译码准则是当P(y | xm)P(y | xm)，对所有m m时，将 y判为m，则称该准则为（ D ） A 最大后验概率译码准则 B 最小错误概率准则 C 最大相关译码准则 D 最大似然译码准则 7、 线性分组码不具有的性质是（ C ） A 任意多个码字的线性组合仍是码字 B 最小汉明距离等于最小非 0重量 C 最小汉明距离为3 D 任一码字和其校验矩阵的乘积 cmHT=08.条件熵H（XY） C H（X）。 （A）小于 （B）大于 （C）小于等于 （D）大于等于9.联合熵 C 。 （A）小于 （B）大于 （C）小于等于 （D）大于等于10.相对熵总是 D 。 （A）为正 （B）为负 （C）非正 （D）非负11. B 是最佳码。 (A)Fano 编码 (B)Huffman编码 (C)Shannon编码 (D)算术编码12.字母表为0，1，情况下的Shannon编码码长为 B 。 (A) (B) (C) (D) 13.字母表为0，1，情况下的Shannon-Fano-Elias编码码长为 A 。 (A) (B) (C) (D) 14.译码错误概率最小的译码为 B 。 (A) 最大似然译码 (B)最大后验概率译码 (C) 最小距离译码 (D)择多译码15.下列 D 不属于距离空间的公理。 (A) 非负性 (B)对称性 (C) 三角不等式 (D)反对称性二、填空题（共29题）1、(7,4)线性分组码中，接受端收到分组R的位数为_7_ ，伴随式S可能的值有_8 种,差错图案e的长度为 7 ，系统生成矩阵Gs为_4*7_ 行的矩阵，系统校验矩阵Hs为_ 3*7 行的矩阵，Gs和Hs满足的关系式是 。2、 一张1024512像素的16位彩色BMP图像能包含的最大信息量为 。3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式 。4、设有一个信道，其信道矩阵为 ，则它是 信道（填对称，准对称），其信道容量是 比特/信道符号。5、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。6、 必然事件的自信息是 0 。 7、 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 8、 对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。9、 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。10、 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。11、 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_个码元错误，最多能纠正_1_个码元错误。12、 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。13、 平均错误概率不仅与信道本身的统计特性有关，还与_译码规则_和_编码方法_有关14、必然事件的自信息量是_，不可能事件的自信息量是_。 15、一信源有五种符号a， b， c， d， e，先验概率分别为 Pa=0.5， Pb=0.25， Pc=0.125， Pd=Pe=0.0625。符号“a”的自信息量为_bit，此信源的熵为_bit/符号。 16、如某线性分组码的最小汉明距 dmin=6，最多能纠正_ _个随机错。 17、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是_。 18、克劳夫特不等式是唯一可译码_的充要条件。00，01，10，11是否是唯一可译码？_。 19、在Shannon信息论中，最重要的概念是 20、通信系统一般由 5个部分组成。21、字母表为0，1，且取值空间=a, b, c, d, e下的概率分布为 P(a)=0.2, P(b)=0.5, P(c)=0.1, P(d)=0.1, P(e)=0.1则C（）的一种可行的Huffman编码是 。22、 唯一可译码的码长必须满足 。23、二元无噪信道的信道转移矩阵为 。24、二元对称信道的信道转移矩阵为 。25、二元删除信道的信道转移矩阵为 。27、信道转移矩阵为 p(y|x)= 时，该信道的容量为 。 28、信道转移矩阵为0.6 0.2 0.20.2 0.2 0.6 P(y|x)=时，该信道的容量为 。 29、（2nR，n）码的码率为 。三、 判断题 （共15题）1信息就是一种消息。 （ ）2信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 （ ）3概率大的事件自信息量大。 （ ）4互信息量可正、可负亦可为零。 （ ）5信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （ ） 6对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ） 7非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ）8信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ ）9信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )10校验矩阵的各行是线性无关的。（ ） 11冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。（ ） 12当信道固定时，平均互信息是信源分布的型凸函数。 （ ） 13互信息 I(X;Y)与信息熵 H(Y)的关系为：I(X;Y)H(Y)。（ ）14信道容量随信源概率分布的变化而变化。（ ） 15一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（ ） 三、计算题（共6题）【2. 5】设离散无记忆信源=其发生的消息为（202120130213001203210110321010021032011223210），求：（1） 此消息的自信息是多少？（2） 在此消息中平均每个符号携带的信息量是多少？【3.1】 设信源 通过一干扰信道，接收符号为Y=，信道传递概率如图3. 2所示，求 (1)信源X中事件和分别含有的自信息。(2)收到消息 (J=1, 2)后，获得的关于（i=1,2)信息量。 (3)信源X和信源Y的信息墒。 (4)信道疑义度H(XY)和噪声熵H(YX)。 (5)接收到信息Y后获得的平均互信息。5 设二元对称信道的传递矩阵为(1)若P(0)=3/4, P(1)=1/4，求H(X)，H(XY)，H(YX)和I(X; Y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布。【5.22】有两个信源X和Y如下：（1） 分别用霍夫曼码编成二元变长唯一可译码，并计算编码效率。（2） 分别用香农编码法编成二元变长唯一可译码，并计算编码效率（即选取是大于或等于的整数）。（3） 分别用费诺编码方法编成二元变长唯一可译码，并计算编码效率。（4） 从X，Y两种不同信源来比较这三种编码方法的优缺点。【5.12】求概率分布为信源的二元霍夫曼码。讨论此码对于概率分布为的信源也是最佳二元码。【5.14】设信源符号集 （1） 求H(S)和信源剩余度。（2）