《信息论与编码理论1》课程教学大纲

1、信息论与编码理论1课程教学大纲课程名称信息论与编码理论1课程编码131530005课程类型（学院内）跨专业课程适用范围信息安全学分数3先修课程数学分析、高等代数、信息安全数学基础、概率论.学时数48其中实验学时其中实践学时考核方式考试制定单位数学与信息科学学院执笔者 审核者一、教学大纲说明（一）课程的性质、地位、作用和任务信息论与编码理论是信息安全专业非常重要的专业基础课之一。本课程有两方面内容：信息论和编码理论，需要两个学期来完成教学任务。信息论部分比较全面地论述了通信的基本模型，讨论了如何提高通信的效率以及从理论上能够提高到什么程度。而编码理论则考虑在有噪音的信道中如何检错和纠错。这是一门

2、理论与实践结合得非常好的一门课。一方面，该课程要求学生有较好的数学基础，最简单的线性码只用到了向量空间的概念，再难一点的BCH码则用到了有限域的概念。这门课中还用到其它的基础数学知识，例如：数学分析、高等代数、概率与数理统计、初等数论、近世代数甚至代数几何的知识等。另一方面，这也是一门应用性非常强的一门专业基础课。说这门课的应用性强是指，在我们的生活中已经离不开它，从电话传真手机电视等通信业务到计算机工程和网络技术等IT产业甚至在数据压缩图像处理等多媒体技术领域等都离不开信息论和编码理论。最后编码理论方面任何新的理论突破都能够给上述行业和产业以及人们的生活带来突飞猛进的提高。因此教好和学好这门

3、课，对于激发学习兴趣，提高理论水平都有很重要的作用。（二）教学目的和要求了解：连续信源和连续信道的数学模型。了解编码理论在现实生活中的应用，如数据压缩、图像压缩技术等。理解：马尔可夫信源。掌握：熵的概念，掌握熵在通信模型中的应用。掌握信道容量、熵等概念并能够进行计算。掌握Shannon通信模型，Huffman编码,Shannon编码,Fano编码；掌握编码理论的基本概念，如最小码距，纠错原理，检错能力和纠错能力等。掌握常用线性码的编码和解码算法。（三）课程教学方法与手段本课程将采用课堂讲授为主学生自学为辅并与习题课相结合的教学方式。由于本课程涉及到诸如代数、数论和有限域等数学专业基础知识，而且

4、也用到无线电通信方面的一些基本概念，因此本课程的内容主要由老师授课，约占内容的百分之九十五，百分之五的内容可由学生自学。同时布置足够的习题，使得学生们能够对比较抽象和比较陌生的内容有一定程度上的理解。（四）课程与其它课程的联系信息论与编码理论涉及到较多的数学知识，例如：微积分、线性代数、概率与数理统计、初等数论、近世代数、有限域以及区组设计等方面的数学知识。因而先俢课程有：数学分析、高等代数、概率与数理统计、信息安全数学基础等。（五）教材与教学参考书教材：傅祖芸，赵建中信息论与编码(第2版)，电子工业出版社， 2014年。 教学参考书：1、沈世镒，陈鲁生，信息论与编码理论（第2版），科学出版社

5、， 2010年。2、王育民,李晖,梁传甲，信息论与编码理论，高等教育出版社，2005年。二、课程的教学内容、重点和难点第1章 绪论介绍信息的概念，信息论研究的对象、目的和内容，信息论发展简史与信息科学信息论的研究内容，研究方法，介绍Shannon的通信模型，提出研究信息论要解决的问题。介绍编码理论的基本定义和基本研究问题。第2章 离散信源及其信息测度介绍信源的数学模型及分类，离散信源的信息熵，自信息，信息熵，信息熵的基本性质，信息熵的唯一性定理，离散无记忆的扩展信源，离散平稳信源，马尔可夫信源，信源冗余度与自然语言的熵 。 重点：熵的理解和应用。难点：马尔可夫信源的模型。第3章 离散信道及其信

6、道容量介绍信道的数学模型及分类，平均互信息及平均条件互信息，平均互信息的特性，信道容量及其一般计算方法，离散无记忆扩展信道及其信道容量，独立并联信道及其信道容量 ，串联信道的互信息和数据处理定理，信源与信道的匹配 。 重点：信道容量的计算。难点：信道容量的计算。第5章 无失真信源编码定理介绍编码器，等长码，等长信源编码定理，变长码， 变长信源编码定理。 重点：Kraft不等式。难点：唯一可译变长码的判断法。第6章 有噪信道编码定理介绍错误概率和译码规则，错误概率与编码方法。重点：编码方法。难点：错误概率和译码规则。第7章 保真度准则下的信源编码介绍失真度和平均失真度，信息率失真函数及其性质，二元信源和离散对称信源的R(D)函数。重点：R(D)函数的性质。难点：R(D)函数的定义域。第8章 无失真的信源编码介绍霍夫曼（Huffman）码，费诺（Fano）码，香农费诺埃利斯码，游程编码和MH编码，算术编码，字典码，LZ-77编码算法，LZ-78编码算法，LZW编码算法，KY（KiefferYang）编码算法。 重点：香农费诺埃利斯码，LZ系列编码。难点：香农费诺埃利斯码。三、学时分配教学内容各教学环节学时分配采用何种多媒体教学手段章节主要内容学时分配讲授实验讨论习题实践其它第1章绪论22ppt第2章离散信源及其信息测度12102ppt