信息论与编码复习题

1、第二章 复习题一、填空题1、信息的 可度量性 是建立信息论的基础。2、 统计度量 是信息度量最常用的方法。3、 熵 是香农信息论最基本最重要的概念。4、事物的不确定度是用时间统计发生 概率的对数 来描述的。5 随机矢量 描述。6 其发生概率对数的负值 。7、自信息量的单位一般有 比特、奈特和哈特 。8、必然事件的自信息是 0 。9、不可能事件的自信息量是 。10、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。与输出消息之间的平均互信息量 趋于变小 。12X的N次扩展信源的熵等于离散信源X的熵的 N倍 。13、对于 n 元 m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。

2、14的不确定性就 越大 ，获得的信息量就越小。15的统计不均匀性。二、判断题1. 当随机变量 X 和 Y 相互独立时，条件熵 H(X |Y) 等于信源熵 H(X) .（ 对 ）2.必然事件和不可能事件的自信息量都是0 . （错）3.信息就是一种消息。（ 错 ）4、概率大的事件自信息量大。 （ 错 ）5 对 ）6、信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （ 错 ）7、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（ 对 ）8、自信息量是 p（ai910、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。（对）12、 当随即变量

3、X和 Y13、 当随即变量 X和 Y相互独立时，（；）（） 1415、平均互信息量（X）对于信源概率分布（a）和条件概率分布（b/a）iji都具有凸函数性。 （对）17、m 阶马尔可夫信源和消息长度为 m 的有记忆信源，其所含符号的依赖关系相同。 （错）18、利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极限熵。（对）三、名词解释1 2 3 4 6 7、联合熵 8、噪声熵 9、损失熵 10、互信息量 11平均互信息量 12、离散平稳无记忆信源 13、马尔可夫信源14、信源冗余度第 3 章 复习题一、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。X1 2Y1 21 21

4、 2解：信道传输矩阵如下1 1 0 02 21 12 200P Y|X1 10 02 2110 02可以看出这是一个对称信道，那么信道容量为21 1C log4H , ,0,02 2 LlogL p b |a log p b |ajijij1112log42 log2bit二、在有扰离散信道上传输符号0 和 1，在传输过程中每100 个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000 个符号，求此信道的信道容量。0.99 0.01P 0.01 0.99课本 P99 3.1 P 100 3.11P 101 3.14第 5章 复习题课本 P166 5.1 5.2 5.3 5

5、.4第 6 章 复习题 x x x x x1 x8542(x) x x1m4由定理可知（n，k）循环码的生成多项式 g(x)为 x+1 的因子， 为 n-k 次多项式，本题目中知： ( )g x x 为一个 10 次多项式，x x x x x108542n-k=15-5=10并且：( 1)mod( 1)0 x15x10 x x x x x8542所以：x x x x x x1是x1518542按系统码构造多项式如下：m(x) x x14m(x)x (x x1)x x x xnk410141110b(x)(m(x)x )mod(x x x x x x1)nk108542 x x x x876c(

6、x) x x x x x x x141110876(x) x x1 g4(x) x x 1m108(x) x x x1r144解题过程如下：m(x) x x 18m(x)x m(x)x x x xnk44b(x)(m(x)x )mod(x x1) x 1nk42c(x)m(x)x b(x) x x x x 1nk42c(1010000000010101)（2）校正多项式如下所示：r(x)g(x)s(x) x x x1 g(x) x 1433. 已知(7,4)汉明码的生成阵为：1 0 0 0 1 1 10 1 0 0 1 0 1G 0 0 1 0 0 1 10 0 0 1 1 1 0求：该码的全部码 字，监督阵，若接 收到码字为 1001100 时，译码器的输出。 c m m m0123c m m m4. 已知(8,4)系统线性码的监