信息论与编码

1、信息论与编码课程总结吴腾31202130通信1204信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、 传输、处理、控制和利用一般规律的科学。它主要研究如何提高信息系统的可靠性、有效 性、保密性和认证性，以使信息系统最优化。本书系统地论述信息论与纠错编码的基本理论91共内容包括信息的定义和度 量；离散信源和连续信源的信息熵；信道和信道容量；平均失真度和信息率失真函数；三 个香农信息论的基本定:无失真信源编码定理、限失真信源编码定理和信道编码定理； 若干种常见实用的无失真信源编码方法，以及信道纠错编码的基本内容的分析方法。第1章首先讨论处信息的概念，进而讨论信息论这一学科的

2、研究对象，目的和内容， 并简述本学科的发展历史现状和动向本章需掌握的大多是记忆性内注要记住香农 （C.E.Shannob在1948年发表的论文通信的数学理论为信息论奠定了理论基础。通 信系统模型以及其五个部分（信息源，编码器，信道，译码器信宿）第2章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信 息测度一熵及其性质从而引入信息理论的一些基本概念和重要结本章内容是香农信 息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量件熵，联合熵 的的概念和求法及其它们之间的关系散无记忆的扩展信源的信息熵外要记住信源 的数学模型。第3章首先讨论离散信息信道的统计特性和数学模型，

3、然后定量的研究信道传输的平 均互信息及其性质并导出信道容量及其计算方法;点要掌握信道的数学模型平均互 信息的性质和算法以及与信息熵，件熵之间的关系会求一些特殊信道的信道容動： 无噪无损信道，对称信道，准对称信道以及一般信道的信道容量的求法。第4章讨论随机波形信源的统计特性和它的信息测度，以及波形信道的信道容量等问 题。重点要掌握连续信源的差熵，联合差熵，条件熵，平均互信息的性质和求法以及它们 之间的关系注意:连续差熵与离散熵求法之间的区别外还要掌握均匀分布连续信源， 指数分布，正太分布连续信源的熵以及信道容量的求法。第5章着重讨论对离散信息源进行无失真编码的要求，方法及理论的极限，并得出一 个

4、极为重要的极限定理-书农第一定理。重点要掌握等长码，变长码，奇异码，非奇异 码的定义，回即时码得树图构造法惟一可译码的判断法克拉夫特不等式的应用以及求 码的平均长度。第6章讨论一般信道中存在噪声或干扰，信息传输会造成下，怎样使在有噪信道中消 息通过传输后发生的错误最少在有噪信道中无错误传输可达的最大信息传输重点要掌握在最小错误概率准则与最大似然译码准则下的平均错误概率距离和最小距离的求法以及理解有噪信道编码定理和逆定理。第7章 本学期并未涉及到，这里就不在叙述。第8章主要讨论典型的霍夫曼编码，费诺编码，香农一费诺一诶利斯编码的原理和方法。重点要掌握霍夫曼编码（最佳即时码费诺编码，香农一费诺一诶

5、利斯编码的编码 方法及相应的编码效率。第9章主要讨论纠错码理论的基础内容。重点掌握纠错码的概念及纠错能力，线性码得生成矩阵与校验矩阵。信息论课程的外延很广果程内容与很多其他专业课有着紧密的联这些内容或者在其他专业课中进行不同角度的探讨者在其他专业课程中得到应用息论课程的纵 向内容很深，通常把信息论的目标和重点锁定在狭义信息论也就是三大块内容信息 的统计测度信道容量和信息率失真函数以及香农的三个重要定理一一无失真离散信源 编码定理有噪信道编码定理和保真度准则下的信源编码定理型的例子就是Uffman 编码，信息论课程中作为一种变长信源编码方这里主要讨论该编码方法为什么是最优 的（也就是更接近于香农

6、第一定理的极限）；这个内容还出现在数据结构课程中，该课程 主要从算法的角度讨论最优二叉树的生成和遍历问题；此外,它还出现在离散数学课程中该课程主要是用树的数学形式对二元关系这种离散问题进行研究和讨论；计算机体系结构课程中计算机指令操作码的优化表示也用到了 Huffman码。另一个非常典型的例子是计算机网络课程里的术，ATM信元首部有位的首部差错控制字段EC）,它是根据首部其余32位计算出来的，用来编码的多项式 为，这个码多项式问题在信息论的循环码（纠错码的一种）中有详细论述。此外，在多媒 体技术课程中对图片、声音、视频等信息的压缩处理，也应用了大量的信息论内容。一般在讨论编码定理的同时会简要地

7、介绍几种编码方法无失真离散信源编码方法有Shannoi、Fane码和Huffma码，纠错编码有线性分组码和循环码fl果需要对编码内容进行深入探讨，可以将其组成独立的课程，如信源编码课程、纠错编码课程、密码学 以及数据压缩原理等等。例如，对于专门的信源编码课程，就可以从离散信源、连续信源 和相关信源的角度对编码的理论和方法进行全方位和深入的介绍。心得体会：1基本概念的理解信息论与编码的基本概念比较多也比较抽象，比如熵、自信息、互信息等。对于每个概念的理解，要由浅入深，深入分析它们的含义及物理意义。比如互信息，互信 息量是信源发出符号，信宿收到y符号，流经信道的信息量也是信宿收到的信息量， 是收到

8、y符号前后对信源发出符号不确定的差异不确定的差异大小就是收到的信息量。 一定要注意互信息不是不确定1而,是不确定性的差在学习新概念时要经常与已学概念 进行对比，分析与已有概念间的区别与联躱刻探讨其物理意义的差另避免知识点之 间的混淆。2数学推导与证明信息论与编码有大量的数学运算和数学推导证于这些运算和证明须由浅入深， 一步步掌握。比如香农第一定理的证明可以先从简单的例子引入如一个离散信源进行 编码，如果考虑符号之间的记忆应该如何编码考虑记忆关系应该如何编似这两个 编码的过程可以得到这样一个认考虑符号之间的记忆关3那么有些符号序列发生的 概率很小，可以不予编码，需要编码的序列数减少，则每个序列对应的码长也就减小。这 就是信源压缩的思路把不等概率和记忆关系都考虑进接下来严谨的数学证明就比较 好理解了。在证明的过程中一定要把定理或公式所表达的物理含义和道理弄明白道 每个式子或者符号表示什么含义。3相关课程的涉及信息论与编码有一个特色：在信道编码与计算部分涉及大量的高等数学、概率论 性代数、近世代数的知识。如在求解连续信源的差熵，联合熵，条件熵时就会用到大量微 积分的知识，熟练的运用这些知识对求解信息论中的一些问题很有帮助。“信息论与编码是一门具有广泛的数学理论与知识有实际工程背景的课程两 者缺一不可对我们数学系信息与计算科学专业的学生来说然具有较好的数学基础和 数学思