信息论与编码教学大纲v2-王启军.doc

信息论与编码教学大纲 安徽大学 计算机科学与技术 学院 2017 年 4 月课程性质与设置目的要求（前言）信息论与编码课程是信息安全专业的专业基础课，是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。学习本课程的要求是：学习者应了解通信系统各部分的主要组成以及作用、香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。先修课程要求：数学分析概率论本课程计划34学时，2学分。选用教材：信息论与编码第3版 陈运等著 电子工业出版社考核方法：考试+平时成绩教学进程安排表：周次学时数教 学 主 要 内 容教学环节备注12第一章概述讲授22信源与信息熵2.1基本概念：信源的描述与分类讲授32信源与信息熵2.2离散信源熵的基本概念和性质讲授42第二章信源与信息熵2.3多符号离散平稳信源熵（序列熵）讲授52第三章无失真离散信源编码3.13.2小节讲授62第三章无失真离散信源编码3.33.5小节讲授72第8章限失真信源编码讲授82第四章离散信道容量讲授92第四章离散信道容量多符号离散信道的信道容量讲授102第五章纠错编码讲授112第五章纠错编码纠错编译码的基本原理与分析方法（补充）讲授122第五章纠错编码第5.2节线性分组码讲授132第五章纠错编码第5.4小节卷积码讲授142第五章纠错编码第5.3小节循环码讲授152第九章密码安全性的信息论测度方法讲授162第九章密码安全性的信息论测度方法IDEA、PKC等加密编码方法（补充）讲授172复习讲授第一章：绪论一、学习目的 要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。本章计划2学时。二、课程内容第一节 信息的概念知识要点：信息的概念及自信息的定义，通信系统模型第二节 信息论研究的对象、目的和内容知识要点：信息论研究的对象、目的和内容第三节：信息论发展简史知识要点：信息论发展简史三、重点、难点提示重点：本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容难点：如何理解信息的概念、信息论及编码技术四、思考与练习1、信息、信号、消息的定义是什么？三者的关系如何？第二章：离散信源及其测度 一、学习目的通过本章的学习，了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系；掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。本章计划8学时。二、课程内容第一节 信源的数学模型及分类知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源知识要点：马尔可夫信源定义，马尔可夫信源熵第四节 信息剩余度知识要点：信息剩余度以及自然语言熵三、重点、难点提示重点：自信息量、离散信源熵的概念及其求解方法、熵的性质。离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法难点：离散信源熵概念及其求解方法、熵的性质。四、思考与练习习题2.1、2.2、 2.3第三章：无失真离散信源编码 一、学习目的 通过本章学习了解其它一些无失真信源编码方法。理解渐近等分割性及典型序列，算术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。本章为4学时。二、课程内容第一节 等长码及等长信源编码定理知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。第二节 变长码及变长信源编码定理知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。第三节 编码方法知识要点：香农编码，费诺编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。三、重点、难点提示重点：最佳变长编码以及最佳变长编码的三种编码方法：香农（Shannon）编码；费诺（Fano）编码；哈夫曼（Huffman）编码。难点：哈夫曼（Huffman）编码，及其对相同概率的处理。四、思考与练习习题3.1、 3.2、 3.3、 3.4第四章：离散信道及其信道容量 通过本章的学习，理解互信息量和平均互信息量的含义以及平均互信息量与信息熵、条件信息熵、联合信息熵的关系；了解几种特殊信道（包括扩展、归并、强对称）的信道容量计算方法。本章为6学时。二、课程内容第一节 信道数学模型及分类知识要点：信道数学模型及不同的分类，信道矩阵。第二节 平均互信息及特点知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。第三节 信道容量及一般计算方法知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。三、重点、难点提示重点：信道的基本概念、信道的分类,平均互信息量的定义及其性质；信道参数与信道容量的定义及其求解方法难点：信道参数与信道容量的定义及其求解方法四、思考与练习习题4.5、4.6、 4.18第五章：纠错编码通过本章学习，了解检错码与纠错码的方法。主要包括线性分组码、循环码和卷积码的构造和译码。本章为10学时。二、课程内容第一节 错误概率与译码规则和编码方法知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。第二节 有噪信道编码定理知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。三、重点、难点提示重点：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码难点：卷积码的构造和译码四、思考与练习习题5.2、5.9、5.16第九章：密码安全性的信息论测度方法通过本章的教学，了解加密编码的基础知识、数据加密标准（DES）、IDEA等，理解密码安全性的信息论测度推导。本章4学时。二、课程内容第一节 加密编码的基础知识、数据加密标准（DES）知识要点：保密性与真实性，DES编码流程。第二节 IDEA、PKC等加密编码方法知识要点：国际数据加密算法、公开密钥加密法、模拟信号加密、通信网络中的加密、信息安全和确认技术三、重点、难点提示重点：数据加密标准（DES）、IDEA等，理解密码安全性的信息论测度推导。难点：密码安全性的信息论测度推导。四、思考与练习无阅读书目（或参考文献）（注：阅读书目或参考文献如不分章节或单元编列，可集中在大纲后面统一列出。另课程教学大纲字体由院系作统一要求。）1