信息论典型试题及答案.doc

2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。解：(1)(2) (3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2.3 设离散无记忆信源，其发出的信息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：(2) 此消息中平均每符号携带的信息量是：2.5 设信源，求这个信源的熵，并解释为什么H(X) log6不满足信源熵的极值性。解：不满足极值性的原因是。2.6 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)2)3)2.7 为了传输一个由字母A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表A，“01”代表B，“10”代表C，“11”代表D。每个二元码脉冲宽度为5ms。 (1) 不同字母等概率出现时，计算传输的平均信息速率?(2) 若每个字母出现的概率分别为 1/5，1/4，1/4，3/10，试计算传输的平均信息速率?解：(1)平均每个字母含有的信息量为：则传输的平均信息率为：R=H(X)/t=2/(2*5*10-3)=200(bit/s)(2)字母出现概率不同时，此时传输的平均信息速率为：R=H(X)/t=1.985(2*5*10-3)=198.5(bit/s)2.10 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；(3) 计算(2)中序列的熵。解：(1)(2) (3) 2.12 给定声音样值X的概率密度为拉普拉斯分布，求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：2.16黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此平稳离散信源的熵H2(X);(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。解：(1)（2）黑白气象传真图的消息前后有关联时，由其前后的依赖关系可知，黑色白色同时出现的联合概率为：则信源的联合熵为：H(X1X2)=1.426 bit/symbolH2(X)=1/2*H(X1X2)=0.713 bit/symbol（3）上述两种信源的剩余度分别为：H(X) H2(X)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。第三章3.1 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。(1) 试问这个信源是否是平稳的？(2) 试计算H(X2), H(X3/X1X2)及H；(3) 试计算H(X4)并写出X4信源中可能有的所有符号。解：(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号”(2) (3) 3.3 设信源发出二重延长消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如题13表所示，求该二次扩展信源的共熵H（XY）。ABC1/21/31/6D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6解：根据公式：，先画出二重延长消息的联合概率密度：ABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以：3.4 有两个二元随机变量X和Y，它们的联合概率为Y Xx1=0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。解：(1)Z = XY的概率分布如下：(2)(3)3.6 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其最佳输入分布；解：1）2）其最佳输入分布为3.7某信源发送端有两个符号： ， ，每秒发出一个符号。接收端有三种符号： ，转移概率矩阵 (1) 计算接收端的平均不确定性； (2) 计算由于噪声产生的不确定性H(Y/X)； (3) 计算信道容量。解:(1) p(y1)=1/2 p(y2)=1/4+1/4a p(y3)=1/4(1-a)得(2)H(Y/X)=3/2-a/2(3) C=0.16 3.8 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道所以由BSC信道的信道容量计算公式得到：3.14 电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。解：每个像素携带的信息量信息速率3.16 一个平均功率受限的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。 (1) 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量； (2) 若信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？ (3) 若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大? 解：(1)根据香农公式得：(2)根据香农公式：(3)根据香农公式： 第五章5.1将下表所列的信源进行六种不同的二进制编码。（1） 求这些码中哪些是惟一可译码。（2） 哪些码是非延长码（3） 对所有惟一可译码求出其平均码长。消息C1C2C3C4C5C61/2000000001/4001011010101001/1601001111011011001011/1601101111110111011011101/161000111111110101111101111/1610101111111111011011111011解：（1）C1、C2、C3、C6是惟一可译码 （2）C1、C3、C6是即时码（3） 5.20 已知二元信源0,1，其p0=1/8，p1=7/8。试对序列11111110111110进行算术编码，并计算此序列的平均码长。解：信源序列的联合概率信源符号序列的算术码字的码长累计概率算术码字为101000100复习题纲第一章 绪论题纲：I. 什么是信息？ II. 什么是信息论？ 需掌握的问题：1. 信息的定义是什么？（Shannon信息论定义）2. 信息的性质是什么？并给与说明。3. 什么是信息论，它研究内容的是什么？ 例1：画出通信系统模型图，并说明每一部分的作用。例2：选派中南大学的100m冠军参加奥运会100m决赛对比赛结果无任何影响。第二章 信源熵题纲：I. 信源的数学模型及分类 II. 离散信源熵 1. 自信息 2. 信息熵3. 熵的基本性质（6个）III. 离散无记忆信源的扩展信源IV. 离散平稳信源1. 平稳信源的概念2. 联合熵、平均符号熵、条件熵和极限熵V. 连续信源熵1. 单符号连续信源的熵（相对熵定义）2. 最大熵定理（几种特殊连续信源的熵）VI. 信源的冗余度 1. 信源效率 2. 信源冗余度3. 结论：记忆长度越长，信源信息量越小VII. 离散无失真信源编码定理1. 信源编码器（信息传输率和编码效率）2. 香农第一定理需掌握的问题：1. 信源的数学模型和分类是什么？ 2. 自信息量的大小如何计算？（公式） 3. 自信息量公式中对数的底数不同单位分别是什么？（单位的中英文名称） 4. 自信息量的含义是什么？（它对什么量的度量） 5. 联合自信息量、条件自信息量、自信息量之间的关系是什么？ 6. 自信息的性质是什么？（能够证明）说明各个性质的含义。 7. 互信息量的大小如何计算？（公式） 8. 互信息量的含义是什么？互信息量在通信系统模型中描述哪部分的信息量？ 9. 联合互信息量、条件互信息量、互信息量之间的关系是什么？ 10. 互信息的性质是什么？ 11. 熵的表达式、单位、含义是什么？ 12. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？ 13. 熵的性质是什么？ 14. 联合熵、条件熵和熵的关系。 15. 平均互信息的定义是什么？平均互信息的表达式怎么推导？ 16. 平均互信息的含义？ 17. 信道疑义度、损失熵和噪声熵的含义？ 18. 平均互信息的性质？（能够证明，并说明每个性质的含义） 19. 自信息量、熵、互信息、平均互信息之间的关系？ 20. 离散平稳信源的熵如何计算？ 21. 平均符号熵、极限熵的定义和公式。 22. 信源冗余度如何计算？ 23. 提高通信效率的手段？ 24. 信源信息量的大小随信源记忆长度变化的规律是什么？ 25. 相对熵和绝对熵的区别是什么？ 26. 能够计算均匀分布、正态分布连续信源的熵。 27. 能够描述无失真信源编码定理例1：.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；2） 假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)0.1，P(白/黑)0.2，P(黑/黑)0.8，求其熵H2(X) ；例2：每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？例3：有两个二元随机变量X和Y，它们的联合概率为： X Y x1=0 x2=1 y1=0 1/8 3/8 y2=1 3/8 1/8求H(Y)、H(XY)、H(X/Y)、I(Y;X)第三章 信道容量题纲：I. 信道的数学模型及分类 1. 信道的分类、数学模型2. 单符号离散信道 III. 信道疑义度与平均互信息 1. 信道疑义度定义 2. 平均互信息（两种特殊信道：无损信道和全损信道；四条性质）3. 离散无记忆的扩展信道的平均互信息 IV. 离散信道的信道容量1. 信道容量的定义2. 几种特殊离散信道的信道容量a. 无噪无损信道b. 有噪无损信道c. 无噪有损信道d. 对称离散信道e. 离散无记忆N次扩展信道的信道容量V. 连续信道的信道容量1. 连续单符号加性高斯噪声信道的信道容量2. 香农公式VI. 信源与信道的匹配（R达到C）VII. 信道编码定理需掌握的问题：1. 信道如何分类，数学模型是什么？ 2. 二元对称信道和二元删除信道的信道转移矩阵是什么？ 3. 信道容量的定义是什么？信道容量的含义如何理解？ 4. 能够计算无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量。 5. 一般信道容量求解的本质是什么? 6. 离散无记忆N次扩展信道的信道容量：a.信源无记忆 b.信道无记忆 c.信源、信道都无记忆。 7. 能够描述信道编码定理例1：什么是平均自信息量与平均互信息，比较一下这两个概念的异同？例2：二元对称信道如图。1）若P(0)=3/4，P(1)=1/4，求H(X)和I(X;Y)； 2）求该信道的信道容量和最佳输入分布。例3：有一个二元对称信道，其信道矩阵为。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有12000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？若在这消息中P(0)=1/4 P(1)=3/4 分析结论会怎样？例4：我们知道，“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备，它可以在一个音频电话线上传输二进制数据，并且没有太高的错误率。现在，我们上网用的“猫”的速度已可达到56Kbps了，但是，如果你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps(而一般链路典型的信噪比是30dB)第四章 信息率失真函数提纲I. 失真度 II. 平均失真度 III. 信息率失真函数 IV. 保真度准则下的信源编码定理V. 信息率失真函数的定义以及性质需掌握的问题1. 失真度如何表示？ 2. 平均失真度如何计算？ 3. 信息率失真函数的定义是什么？ 4. 什么是保真度准则？5. 能够描述保真度准则下的信源编码定理6. 信息率失真函数的定义以及性质是什么？例1：什么是保真度准则？例2：某信源X0,1概率为0.3，0.7，对其进行编码符号Y0,1，规定失真函数为d(0,0)=d(1,1)=0，d(0,1)=d(1,0)=1(1) 写出失真矩阵(2) 如果条件概率是，求出平均失真第五章 信源编码提纲：I. 基本概念 1. 编码器 2. 二元码 3. 等长码 4. 变长码 5. 奇异码 6. 非奇异码 7. 同价码 8. 码的N次扩展码 9. 唯一可译码 10. 码树和Kraft不等式II. 编码方法 1. Shannon码 2. Fano码 3. Huffman码 4. 游程编码5. 算术码需掌握的问题：1. 通信系统的三个性能指标是什么？为了提高这三个性能指标的三种编码分别是什么？ 2. 香农信息论中的三个编码定理分别是什么？三个编码定理分别适用于何种场合？ 3. 描述编码器的概念。 4. 解释二元码、等长码、变长码、奇异码、非奇异码、同价码、码的N次扩展码、唯一可译码。 5. 变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。 6. 什么是即时码? 7. Kraft不等式是什么？ 8. 掌握Shannon码、Fano码、Huffm