《信息论习题课》PPT课件.ppt

1、1,习题课,任课老师：唐贵进 江苏省图像处理与图像通信重点实验室,2,香农在1948年发表了一篇论文， 为信息论创立奠定了基础，论文名字叫什么？（ 通信的数学理论） 在信息论中，重点关注通信系统的三项指标，分别是什么？各通过什么编码来实现？三者编码顺序如何？ （信源编码的目的是提高通信系统的什么性？信道编码的目的是提高通信系统的什么性？） 叙述条件熵与绝对熵的关系、多条件熵与单条件熵的关系、联合熵与熵的和的关系 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大变大还是变小？ 问：冗余度来自哪两个方面？,3,什么是信息不增性：数据处理过程中只会。 率失真函数研究的是什么？信源还是信道？

2、 在无失真的信源中，信源输出由 来度量； 在有失真的信源中，信源输出由 来度量。 能获得最佳码的编码方法主要有哪些？ 请写出香农公式，并说明香农限为多少？ 问：哈夫曼编码方法得到的码唯一码吗？为什么？ 克劳夫特不等式的作用？答：判断唯一可译码存在的判据 最大熵定理： 限峰功率最大熵定理：对于定义域一定的随机变量X，当它是均匀分布时具有最大熵 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵,4,Shannon三大极限定理是： 无失真信源编码定理 、 信道编码定理 、 限失真信源编码定理 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第二极

3、限定理； 限失真信源编码定理称为第三极限定理,5,什么是随机差错、什么是突发差错？ 从系统角度，运用纠检错码进行差错控制的基本方式大致分为哪三类？ 从功能角度讲，差错码可分为两类：一类用于发现差错，叫 ；另一类能自动纠正差错，叫 。 有扰离散信道编码定理内容是什么？ 正定理：只要传信率R小于信道容量C，总存在一种信道码（及解码器），可以以所要求的任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R的上边界，如果R C，就不可能有任何一种编码能使差错概率任意小。,6,可以有哪三种方法减小差错概率？ 答：增加信道容量、减小码率、增加码长 信道编码纠错能力的获取可以归结为两条，

4、一条是利用冗余度，另一条是噪声均化。（p131） 采用噪声均化的方法以获得纠错能力的提高，一般有哪三种方法？（增加码长-补充计算、卷积、交织） 什么是最大后验概率译码？什么是最大似然译码？两者等效于的前提条件是什么？（p133-134）,7,线性分组码：,什么是系统码？（p136） 对一个码的生成矩阵进行系统化，不会改变码集。 对线性分组码的生成矩阵系统化的过程中采用的是行运算，而不是列运算。 伴随式与差错图案是一一对应的吗？为什么？ 线性分组码的最小距离等于码集中非零码字的最小重量。 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。 最小距离为dmin时检错和纠

5、错能力,8,加密时使用的密钥与解密时使用的密钥允许不同吗？ 根据密钥的性质，密码体制可分为哪两种密码体制?请举例 明文消息的冗余度越小，破译密文的难度越大。说法对吗? 一个理想的保密系统，应满足对合法用户能安全、保密地给出信源明文的全部信息，即I(M；C，K)= H(M) ；而对窃听者应使之得不到任何明文信息，即I(M；C)= 0 。 保密系统的密钥量越小，密钥熵H(K)就越 小 ，其密文中含有的关于明文的信息量I(M；C)就越 大 。H(M)、H(K)及I(M；C)三者间的关系为 I(M；C)H(M) H(K) 。 DES的中文名称是什么？（数据加密标准）。它采用的是什么密码体制。IDEA呢？（国际数据加密算法）RSA是什么密码体制？,密码学相关内容,9,计算题,1. 自信息量的计算 2. 熵的计算 3. 马尔可夫信源状态转移图 4. 平稳分布、极限熵 5. 信道容量（包括级联信道如课本p54例3-4）的计算，怎么达到信道容量 6. Dmin、Dmax、R(Dmin) 、R(Dmax)以及编码器转移概率矩阵 7. 信源编码方法：香农