信息论与编码教学大纲.doc

信息论与编码课程教学大纲一、课程基本信息课程编号081011506课程名称信息论与编码课程英文名称information theory and coding 总学时数56授课学时44实践学时实验学时习题课学 时12设计学时学 分4开课单位江西蓝天学院电子信息工程系类型、层次统招、本科适用专业通信工程、信息安全、计算机信息技术、信号与信息处理等先修课程概率论与数理统计、线性代数、信号与系统、通信原理、c+程序设计等课程类别专业必修课主要教学参考书信息论与编码（第2版），清华大学出版社，曹雪虹、张宗橙编写 2009年2月信息论与纠错编码（第2版）电子工业出版社，孙丽华、陈荣伶编著 2009年8月本课程 任务和 目 的信息论与编码是通信工程、信息安全、计算机信息技术等专业本科生必修的专业理论课程，通过本课程的学习，使学生了解和掌握信息度量和信道容量的基本概念和理论、典型信源和信道特性、信源编码定理和信道编码定理，以及信源编码和信道编码的基本理论和方法和技术，为以后深入学习信息与通信类课程，为将来从事信息处理方面的实际工作打下坚实的基础。教学大纲制订单 位电子信息工程系电子信息教研室教学大纲制订时间2010-2二、课程内容及基本要求第一章 绪论 课程内容：1信息论之父-香农；信息论与香农信息论的形成与发展；香农信息论的中心问题及其局限性；2信息、消息、信号、信息的本质、信息的广义性；3通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1了解信息论之父-shannon(香农) 和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3熟悉通信系统的基本模型及各模块的主要功能。本章重点 香农信息论的中心问题、通信系统模型本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章 信源、信息量和信息熵课程内容：1无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源；2非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息；3熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4数据处理中信息的变化、连续信源熵；5凸函数、互信息量的凸性，冗余度。基本要求：1了解并掌握信源的分类与特点；2理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均互信息之间的关系；3理解马尔可夫信源的概念、理解离散序列信源熵的概念；4理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质；5理解凸函数的含义和性质；了解凸函数在信息论中的应用。本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章 信源编码课程内容：1编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3限失真信源编码；常用信源编码-游程编码、算术编码、预测编码、变换编码。基本要求：1理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用；2理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编码的特点与编码原理；3掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费诺编码原理；掌握哈夫曼编码原理；4了解常用限失真信源编码方法算术编码、游程编码、预测编码及变换编码的编码原理。本章重点：编码的分类、平均码长、定长码、变长码、哈夫曼编码本章难点：香农编码、费诺编码、哈夫曼编码第四章 信息率失真函数课程内容：1失真函数、失真矩阵、均方失真、绝对失真、相对失真、误码失真、平均失真；2信息率失真函数；信息率失真函数的性质：下凸性、连续性和单调递减性；信息率失真函数与信道容量的比较；信息率失真的计算。基本要求：1了解失真函数及其意义并掌握信息失真的几种表示；掌握失真函数的性质；2理解信息率失真与信道容量的联系与区别；3掌握信息率失真的计算。本章重点：失真函数、平均失真、信息率失真的计算本章难点：信息率失真的性质第五章 信道及其容量课程内容：1信道的分类；信道的参数；信道的描述；信道容量；2离散单符号无干扰信道及其容量；对称离散无记忆信道及其容量；准对称离散无记忆信道及其容量；一般离散无记忆信道及其容量；3离散序列信道及其容量；4连续单符号加性干扰信道及其容量；独立并行信道及其容量；串行信道及其容量；和信道及其容量。基本要求：1了解信道概念及分类；理解离散信道模型；掌握信道容量的含义；2掌握离散无记忆信道及信道容量的计算；掌握单符号加性干扰信道特点其容量计算；掌握独立并行信道、串行信道、和信道等的特点与容量的计算；3掌握离散序列无记忆连续信道容量特点及其计算。本章重点：信道分类与信道模型、无干扰离散无记忆信道、加性干扰无记忆信道本章难点：离散序列信道及容量第六章 信道编码课程内容：1信道编码的基本概念；译码规则；错误概率；信道编码定理；2差错与差错控制系统分类；信道纠错编码基本思想与方法、译码方法；3线性分组码的概念；系统码；对偶码；生成矩阵；监督矩阵；码距；码重；分组码的检错与纠错能力；线性分组码的实现；汉明码的概念；汉明码的构造；4循环码的定义；循环的多项式描述；循环码的生成多项式与生成矩阵；循环码的校验多项式与校验矩阵；循环码的生成多项式的编码实现；循环码的校验多项式的编码实现；循环码的译码；伴随式概念与计算；bch码的概念；bch码的特征与编码方法；5卷积码的概念；卷积码的矩阵描述和多项式描述；卷积码的状态图形表示；卷积码的树图表示；卷积码的网格图表示；卷积码的最大似然译码-维特比译码；维特比译码步骤。基本要求：1了解信道编码的目的、信道译码规则；理解错误概率（误码率）的概念；了解信道编码定理；理解信道纠错编码基本思想与方法、译码方法；理解并掌握差错控制系统分类与方法；2理解线性分组码的概念；掌握线性分组码的生成矩阵、监督矩阵的定义、特点与计算；掌握几种特殊线性分组码的特点；理解系统码的概念；掌握系统码的编码与译码；理解最小汉明距离的概念及其意义；理解并掌握伴随式的概念和计算；理解检错与纠错性能的含义；3理解循环码的概念与特点；理解并掌握循环的多项式描述；掌握循环码的生成多项式与生成矩阵的含义与计算；掌握循环码的校验多项式与校验矩阵的含义与计算；掌握循环码的生成多项式的编码实现；掌握循环码的校验多项式的编码实现；掌握伴随式概念与循环码的译码；掌握循环码的编码和编码电路的设计；4了解卷积码的概念及其特点；理解卷积码的多项式描述；掌握卷积码的状态转移图与栅格画法；了解维特比译码算法。本章重点：线性分组码、循环码、卷积码本章难点：循环码、卷积码三、实验环节和基本要求略。四、学时分配表： 教学环节教学时数课程内容讲课实验实践习题课讨论课设计其他小计第一章 绪论22第二章 信源、信息量与熵12214第三章 信源编码10414第四章 信息率失真函数628第五章 信道、信道容量66第六章 信道编码 8412 总 计441256五、课程教学大纲的有关说明1本课程本属理论性较强、较抽象的课程，课堂教学应淡化和简化严格数学形式的推导过程，学生学习听课的积极性会更高。2本课程教学过程中应多采用启发式、互动式教学方法，将枯燥繁杂的数学推导过程变得易于学生接受。六、考核方式本门课程采取多种考核方式，包括：课堂提问与