信息论与编码教案(共18页)

1、精选优质文档-倾情为你奉上赣南师范学院物理与电子信息工程学院教 案授课教师：朱赟授课对象：电子信息工程授课学期：第六学期总学时：32学时使用教材：电子工业出版社信息论与纠错编码张丽华第 1 次课教案教学组织一、自我介绍:略二、课程介绍：1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。

2、课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。2、 知识要求：通过一个学期的学习要达到如下要求:1)掌握平均信息量熵的概念，了解信息论的基本知识和信道容量的计算。2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。4)掌握伪随机码的基本概念，m序列码的产生及应用。先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。3、能力要求：本课

3、程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。 4、考试成绩计算方法： 平时成绩 30%（主要包括作业和出勤）期终考试 70% 5 课程性质: 学科基础课：电子信息类专业基础课 研究生考试课程6 进度安排 4学分32理论学时 16周 2学时/周7 学习方法与注意事项1 、学习、目的、方法2 、课程框架（理清）3 、听课与笔记4 、实用方法与公式5 、预习与复习（书、笔记）6 、作业（多练习）8 教材及参考书教材:信息论与纠错编码 张丽华 电子工业出版社参考书:1 王新梅等编著，纠错码-原理与方法（修订版），西安电子科技大学出版社，2001 年。2 张

4、宗橙编著，纠错编码原理和应用，电子工业出版社，2004年。3 日江藤良纯等主编，纠错编码原理及应用，科学出版社，2004年。4 美S.林著，陈太一译，纠错编码入门，人民邮电出版社，1976年。5 姜丹编著，信息论与编码，中国科学技术大学出版社，2001年。9 主要内容（1）信息及信息的度量（2）离散信源及信源熵,离散信道及信道容量（3）信源编码定理和信道编码定理（4）平均失真测度和信息率失真函数,率失真编码定理（5）线性分组码（6）循环码和卷积码三 授课.一、讲授内容第一章 信息论基础 1.1信息的概念1.2数字通信系统1.3 信源及其数学模型二、教学目的及要求要求学生明确本课程的学习目的及要

5、求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。要求学生掌握信源的基本概念和特点及信源的描述，掌握离散无记忆信源、离散有记忆信源与马尔可夫信源的特点与描述方法。三、教学重点本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容。信源的分类，离散信源与连续信源，无记忆信源与有记忆信源，马尔可夫信源。四、教学难点如何理解信息的概念、信息论及编码技术，有记忆信源，马尔可夫信源。五、本讲计划学时及时间分配计划2个学时，主讲信息的基本概

6、念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果。课程导入5分钟；本课程的学习目的、要求及方法介绍20分钟；信息的基本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果讲授55分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：主要介绍本课程的教学内容、教学重点与难点、考核方式及教材与参考书。新课讲解：第一章 信息论基础1.1信息的概念1.2数字通信系统1.3 信源及其数学模型小结：本次课主要对信息的基

7、本概念和特点，信息论研究的对象、目的和内容，信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果进行讲解，给学生对信息论与编码这门课程有初步印象。对无记忆信源、有记忆信源、马尔可夫信源进行详细讲解，并对其中重难点进行总结概括。七、课外学习辅导安排及作业布置1、 信息、信号、消息的定义是什么？三者的关系如何？2、 寻找阅读和信息论与编码发展的有关资料。3、 通信系统的各个主要组成部分是什么？八、其他无第 3 次课教案一、讲授内容第2章 信息的度量2.1 自信息量和互信息量 二、教学目的及要求要求学生掌握自信息量、离散信源熵、互信息的概念及其求解方法，了解数据处理中信息的变化方式，熟悉并掌握

8、熵的一些基本性质。三、教学重点自信息量、离散信源熵、互信息的概念及其求解方法、数据处理中信息的变化方式、熵的性质。四、教学难点离散信源熵、互信息的概念及其求解方法、熵的性质。五、本讲计划学时及时间分配计划2个学时，主讲离散信源熵和互信息的基本概念和特点。课程导入5分钟；自信息量概念及其求解方法介绍10分钟；离散信源熵的概念及其求解方法讲授15分钟，互信息的概念及其求解方法讲授25分钟，数据处理中信息的变化方式讲授10分钟，熵的性质讲授15分钟，课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：对上次课的重

9、点进行复习，简单介绍本次课的主要内容，并提出问题：信息可否度量？信息量如何来量测？小结：本次课主要对自信息量、离散信源熵、互信息、数据处理中信息的变化与熵的性质进行讲解，最好对其中涉及到的重难点进行总结概括。七、课外学习辅导安排及作业布置教材P41 2-3第 4 次课教案一、讲授内容第2章 信息的度量2.2 离散集的平均自信息量 二、教学目的及要求要求学生掌握离散序列信源熵的概念与求解方法，掌握离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。三、教学重点离散序列信源熵的概念与求解方法、离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法。四、教学难点离散有

10、记忆信源的序列熵的概念、特点与求解方法。五、本讲计划学时及时间分配计划2个学时，主讲离散序列信源熵。课程导入5分钟；离散序列信源熵的概念与求解方法介绍20分钟；离散无记忆信源的序列熵的基本概念、特点与求解方法讲授25分钟，离散有记忆信源的序列熵的概念、特点与求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本次课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：对上次课的重点进行复习，简单介绍本次课的基本内容，问题的提出：a如何描述离散无记忆序列信源的序列熵？b。如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏信源）的序列熵？小结本次课

11、主要对离散无记忆信源的序列熵、离散有记忆信源的序列熵进行详细讲解，最好对其中涉及到的重难点进行总结概括。七、课外学习辅导安排及作业布置教材P41 2-4八、其他无第 5 次课教案一、讲授内容第2章 信息的度量2.3 离散集的平均互信息量 二、教学目的及要求要求学生掌握连续信源熵和互信息的基本概念，掌握幅度连续的单个符号信源熵的求解方法，了解波形信源熵的求解方法已经最大熵定理。三、教学重点连续信源熵和互信息的基本概念、幅度连续的单个符号信源熵的求解方法、波形信源熵的求解方法已经最大熵定理。四、教学难点波形信源熵的求解方法已经最大熵定理。五、本讲计划学时及时间分配计划2个学时，主讲连续信源熵和互信

12、息。课程导入5分钟；幅度连续的单个符号信源熵概念及求解方法介绍25分钟；波形信源熵的概念及求解方法讲授25分钟，最大熵定理的讲解25分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：对上次课的重点进行复习，简单介绍本次课的主要内容。小结：本次课主要对幅度连续的单个符号信源熵、波形信源熵、最大熵定理进行讲解，最后对涉及到的重难点知识进行总结概括。七、课外学习辅导安排及作业布置教材P43 2-20八、其他无第 2 次课教案一、讲授内容第1章 信息论基础1.4 信道及其数学模型 二、教学目的及要求要求学生

13、掌握信道的基本概念，了解信道的分类，掌握信道参数与信道容量的定义及其求解方法。三、教学重点信道的基本概念、信道的分类、信道参数与信道容量的定义及其求解方法。四、教学难点信道参数与信道容量的定义及其求解方法五、本讲计划学时及时间分配计划2个学时，信道的基本概念。课程导入5分钟；信道的基本概念阐述10分钟；信道的分类讲授15分钟；信道参数的概念讲解20分钟；信道容量的定义及其求解方法讲授30分钟；课堂练习及课后习题讲解15分钟，本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量

14、问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。小结：本次课首先介绍了本章的主要内容，并对3.1小节进行详细讲解，总结其中的重难点。七、课外学习辅导安排及作业布置教材P68 3-1八、其他无第 9 次课教案一、讲授内容第4章离散信道的信道容量4.1信道容量的定义4.2离散无记忆信道容量的计算4.3组合信道的容量 二、教学目的及要求要求学生掌握离散单个符号信道及其容量的基本概念， 无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。三、教学重点无干扰离散信道、对称DMC信道

15、、准对称DMC信道与一般DMC信道的信道容量定义及其求解方法。四、教学难点对称DMC信道、准对称DMC信道与一般DMC信道的新的容量定义及其求解方法。五、本讲计划学时及时间分配计划2个学时，主讲离散单个符号信道及其容量的基本概念。课程导入5分钟；无干扰离散信道的信道容量阐述15分钟；对称DMC信道的信道容量讲授25分钟；准对称DMC信道的信道容量讲解25分钟；一般DMC信道的信道容量定义及其求解方法讲授15分钟；课堂练习及课后习题讲解10分钟，本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：信道中存在的干扰使输出信号与输入信号之间没有

16、固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。小结：本次课主要介绍了离散单个符合信道及其容量的概念，并对无干扰离散信道、对称DMC信道、准对称DMC信道与一般DMC信道分别进行详细讲解，总结其中的重难点。七、课外学习辅导安排及作业布置教材P68 3-4第 11 次课教案一、讲授内容第6章率失真编码6.1失真测度与平均失真6.2信息率失真函数R（D）6.3率失真函数的计算6.4率失真信源编码定理 二、教学目的及要求要求学生掌握平均失真和信息率失真函数的基本概念，掌握失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息

17、率失真函数与信道容量的比较。三、教学重点失真函数的计算、平均失真的计算、信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。四、教学难点信息率失真函数R(D)的计算、信息率失真函数的性质、信息率失真函数与信道容量的比较。五、本讲计划学时及时间分配计划2个学时，主讲平均失真和信息率失真函数的基本概念。课程导入5分钟；失真函数的概念及其计算方法讲解15分钟；平均失真的概念与计算方法讲授20分钟；信息率失真函数R(D)的概念与计算方法讲解20分钟；信息率失真函数的性质讲授15分钟；信息率失真函数与信道容量的比较讲解10分钟；课堂练习与习题讲解10分钟；本节课知识点总结

18、5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：失真在传输中是不可避免的，如何用数学方法来描述失真，并且降低失真显得格外重要。小结：本次课主要对失真函数、平均失真、信息率失真函数R(D)、信息率失真函数的性质、信息率失真函数与信道容量的比较分别进行详细讲解，总结其中的重难点。七、课外学习辅导安排及作业布置 教材P82 4-1八、其他第 6 次课教案一、讲授内容第3章 离散信源无失真编码3.1 概述3.2 等长码及等长编码定理 二、教学目的及要求要求学生了解信源编码的内容，掌握信源编码的定义，掌握无失真信源编码的内容：定长编码原理、变长编码原理。三、教

19、学重点信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理。四、教学难点无失真信源编码的内容：定长编码原理、变长编码原理。五、本讲计划学时及时间分配计划2个学时，主讲信源编码的定义、无失真信源编码的内容：定长编码原理、变长编码原理、最佳编码原理。课程导入5分钟；信源编码的定义讲解20分钟；无失真信源编码讲授20分钟；定长编码原理讲解20分钟；变长编码原理讲授20分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：怎样才能做到尽可能不失真而又快速的传递信息呢？首先需要解决一个问题：在不失真或允许

20、一定失真的条件下，如何用尽可能少的符号来传送信源信息，这就要引入信源编码。小结：本次课主要对信源编码的定义，无失真信源编码的内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P115 5-2八、其他无第 8 次课教案一、讲授内容第3章 离散信源无失真编码3.4 变长码的编码方法 二、教学目的及要求要求学生了解信源编码的内容，掌握信源编码的定义，最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。三、教学重点最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huf

21、fman）编码。四、教学难点最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码五、本讲计划学时及时间分配计划2个学时，主讲信源编码的定义、无失真信源编码的第三个内容：最佳变长编码原理。课程导入5分钟；信源编码的定义复习10分钟；无失真信源编码复习15分钟；最佳变长编码原理以及常用的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码讲授50分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：最佳

22、码：对于某一信源和某一码符号集来说，若有一唯一可译码，其平均码长小于所有其他唯一可译码的平均长度。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。小结：本次课主要对最佳变长编码及实现最佳变长编码的三种方法进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P115 5-7八、其他无第 7 次课教案一、讲授内容第3章 离散信源无失真编码3.3 变长码及变长码编码定理二、教学目的及要求要求学生掌握限失真编码定理的内容，掌握常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。三、教学重点限失真编码定理，常用信源编码的几种方法：游程编码

23、、算术编码、矢量量化、预测编码、变换编码。四、教学难点常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。五、本讲计划学时及时间分配计划2个学时，主讲限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码。课程导入5分钟；限失真编码定理讲解20分钟；常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码讲解55分钟；课堂练习与习题讲解15分钟；本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：对上次课的主要知识点进行复习，对本次课的主要内容进行简单介绍。小结：本次

24、课主要对限失真编码定理，常用信源编码的几种方法：游程编码、算术编码、矢量量化、预测编码、变换编码内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P115 5-14第 10 次课教案一、讲授内容第5章有噪信道编码5.1信道编码的基本概念5.2译码规则及错误概率5.3信道编码定理5.4费诺引理及信道编码逆定理 二、教学目的及要求要求学生掌握有扰离散信道的编码定理，掌握差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。三、教学重点有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随即编码、信道编码定理。四、教学难点差错和差错控制系统分类、矢量空间与码空间、

25、随机编码、信道编码定理。五、本讲计划学时及时间分配计划2个学时，主讲有扰离散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理。课程导入5分钟；有扰离散信道的编码定理讲解20分钟；差错和差错控制系统分类讲解15分钟；矢量空间与码空间讲授15分钟；随机编码讲授15分钟；信道编码定理讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：信道编码的目的是为了改善通信系统的传输质量，对不同类型的信道，要对症下药，设计不同类型的信道编码，才能收到良好效果。小结：本次课主要对有扰离

26、散信道的编码定理、差错和差错控制系统分类、矢量空间与码空间、随机编码、信道编码定理内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-1、6-2八、其他无第 12 次课教案一、讲授内容第7章 线性分组码 7.1 纠错码的基本概念 7.3 线性分组码的编码 二、教学目的及要求要求学生掌握纠错编码码的基本原理与分析方法（纠错编码的基本思路）、纠错译码的基本原理与分析方法，译码方法最优译码与最大似然译码三、教学重点纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法最优译码与最大似然译码。四、教学难点纠错译码的基本原理与分析方法，译码方法最优译码与最大似然译码

27、。五、本讲计划学时及时间分配计划2个学时，主讲纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法最优译码与最大似然译码。课程导入5分钟；纠错编码码的基本原理与分析方法讲解25分钟；纠错译码的基本原理与分析方法讲解20分钟；最优译码讲授20分钟；最大似然译码讲授15分钟；课堂练习与习题讲解10分钟；本节课知识点总结5分钟。六、实施步骤利用多媒体课件对主要知识点进行讲述，并辅以板书详解，具体如下：课程引入：检错与纠错原理：一旦10，01，接收端无法发现错误，插入1位监督码后具有检出1位错码的能力，但不能予以纠正。在只有1位错码的情况下，可以判决哪位是错码并予以纠正，可以检出2位

28、或2位以下的错码。小结：本次课对纠错编码码的基本原理与分析方法、纠错译码的基本原理与分析方法，译码方法最优译码与最大似然译码内容进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-12八、其他无第 17 次课教案一、讲授内容第7章 线性分组码7.4 线性码的纠检错能力 7.5 标准阵列和译码7.6 汉明码 二、教学目的及要求要求学生掌握线性分组码的编码原理，以及线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，了解分组码的扩展、缩短与循环冗余校验。三、教学重点线性分组码的生成矩阵与校验矩阵、伴随式与标准阵

29、列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。四、教学难点码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码、分组码的扩展、缩短与循环冗余校验。五、本讲计划学时及时间分配计划2个学时，主讲线性分组码的编码原理与特点。课程导入5分钟；线性分组码的生成矩阵与校验矩阵讲解20分钟；伴随式与标准阵列译码讲解15分钟；码距、纠错能力、MDC码及重量谱讲授15分钟；完备码、循环码、BCH码与RS码讲授25分钟；分组码的扩展、缩短与循环冗余校验讲解15分钟；本节课知识点总结5分钟。六、实施步骤课程引入：对上次课主要知识点进行复习

30、，并对本次课的主要内容进行简单介绍。小结：本次课主要对线性分组码的生成矩阵与校验矩阵、伴随式与标准阵列译码、码距、纠错能力、MDC码及重量谱、完备码、循环码、BCH码与RS码，分组码的扩展、缩短与循环冗余校验进行详细介绍，总结其中的重点与难点。以课堂练习为主，教材P202 6-13八、其他无第 16 次课教案一、讲授内容第9章 卷积码 9.1 卷积码基本概念 9.2 卷积码的数学描述 二、教学目的及要求要求学生掌握卷积码的基本概念和描述方法，掌握卷积码的最大似然译码维比特算法，了解卷积码的性能与距离特点。三、教学重点卷积码的基本概念和描述方法、卷积码的最大似然译码维比特算法、卷积码的性能与距离特点。四、教学难点卷积码的最大似然译码维比特算法、卷积码的性能与距离特点。五、本讲计划学时及时间分配计划2个学时，主讲卷积码的基本概念和描述方法、卷积码的最大似然译码维比特算法、卷积码的性能