信息论与编码复习题

1、第二章 复习题一、填空题1、信息的 可度量性 是建立信息论的基础。2、 统计度量 是信息度量最常用的方法。3、 熵 是香农信息论最基本最重要的概念。4、事物的不确定度是用时间统计发生 概率的对数 来描述的。5、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。6、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。7、自信息量的单位一般有 比特、奈特和哈特 。8、必然事件的自信息是 0 。9、不可能事件的自信息量是 .10、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。11、数据处理定理：当消息经过多级处理后，随着处理器

2、数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 13、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。14、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。 15、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 二、判断题1. 当随机变量和相互独立时，条件熵等于信源熵.（ 对 ）2.必然事件和不可能事件的自信息量都是（错） 3.信息就是一种消息。（ 错 ）4、概率大的事件自信息量大。错 ） 5、互

3、信息量可正、可负亦可为零,(对 ）6、信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。错 ） 7、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。对 ）8、自信息量是p（ai）的单调递减函数。（对）9、单符号离散信源的自信息和信源熵都具有非负性。（对）10、单符号离散信源的自信息和信源熵都是一个确定值。（错）11、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。（对）12当随即变量X和Y相互独立时，条件熵等于信源熵。（对）13当随即变量X和Y相互独立时，I（X；Y）=H（X）（错）14、信源熵具有严格的下凸性。（错）15、平均互信息量I

4、（X；Y）对于信源概率分布p（ai）和条件概率分布p（bj/ai）都具有凸函数性。对）17、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。 （错）18、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。 （对）三、名词解释 1、离散信源:信源输出的是一个个符号，这些符号的取值是有限的或可数的。 2、自信息量: 一个随机事件发生某一结果后所带来的信息量称为自信息量 3、条件自信息量 4、联合自信息量 6、信源熵:各离散消息自信息量的数学期望7、联合熵 8、噪声熵 9、损失熵 10、互信息量 11平均互信息量 12、离散平稳无记忆信源 13、马尔可夫信源:以信

5、源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。14、信源冗余度2.16第3章 复习题一、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。解：信道传输矩阵如下可以看出这是一个对称信道，L=4,那么信道容量为二、在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道 所以由BSC信道的信道容量计算公式得到：3.1 设信源通过一干扰信道，接收符号 为Y = b1, b2 ，信道转移矩阵为，求(1) 信源X中事件a1和事件a

6、2分别包含的自信息量；(2) 收到消息bj (j=1,2)后，获得的关于ai (i=1,2)的信息量；(3) 信源X和信宿Y的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；(5) 接收到信息Y后获得的平均互信息量。第5章 复习题 第6章 复习题1. 证明：为(15, 5)循环码的生成多项式，并写出信息多式为时的码多项式（按系统码的形式）。由定理可知（n，k）循环码的生成多项式g(x)为xn+1的因子， g(x)为n-k次多项式，本题目中知：为一个10次多项式，n-k=15-5=10并且：所以：是的一个因子，也是循环码的生成多项式。按系统码构造多项式如下：2. 令(15, 11)循环码的生成多项式为，计算（1）若信息多项式为，试求编码后的系统码字；（2）求接收码组的校正子多项式。(1)解题过程如下：（2）校正多项式如下所示：3. 已知(7,4)汉明码的生成阵为： 求：该码的全部码