《信息论基础》课程教学大纲

《信息论基础》课程教学大纲课程代码：ABXX0509课程中文名称:信息论基础课程英文名称：Information

Theory

Fundation

课程性质：必修课程学分数：2课程学时数：32授课对象：信息与计算科学专业本课程的前导课程：概率论与数理统计一、课程简介信息论基础是信息类专业本科生必修的一门专业基础课。信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，是研究信息的产生、获取、度量、变换、传输、处理、识别及其应用的重要基础学科，其影响渗透到许多应用领域。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。二、教学基本内容和要求第一章：信息论与信息论方法概述学时：2学时（讲课2学时）本章主要需要了解信息论的产生、发展、应用及最新研究成果；理解什么是信息，什么是信息科学和信息论；掌握信号与信息处理的一般理论基础。本章讲授要点：本章主要介绍了信息论的研究范畴和研究方法。重点：理解信息论的研究对象、方法和适用的范围。难点：信号与信息处理的一般理论基础。第一节信息第二节通信系统模型第三节信息论的形成与发展习题：无第二章：信息论的统计度量学时：6学时（讲课6学时）本章主要需要了解熵、自信息量、互信息量这三个基本概念；理解离散和连续情况下的熵、自信息量、互信息量这三个基本概念的主要性质；掌握离散或连续情况下熵、自信息量、互信息量的计算。本章讲授要点：本章主要介绍了量度信息量的方法，利用概率论中已经发展起来的一整套描述随机事件的理论和方法，对离散和连续情况下的熵、互信息量、自信息量这三个基本概念及其主要性质进行介绍和讨论。重点：熵、自信息量、互信息量这三个基本概念及其主要性质难点：离散或连续情况下熵、自信息量、互信息量的计算。第一节自信息量和条件自信息量第二节互信息量和条件互信息量第三节离散集的平均自信息量第四节离散集的平均互信息量-习题：教材上第二章后习题。第三章：离散信源学时：4学时（讲课4学时）本章主要需要了解信源的含义及分类；理解信源的统计特性及各类离散信源的信息测度；掌握离散信源熵和冗余度的计算。本章讲授要点：本章主要介绍了离散信源及其信息测度的计算。重点：信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。难点：信源熵和冗余度的计算。第一节信源的数学模型及其分类第二节离散无记忆信源第三节离散无记忆信源的扩展信源第四节离散平稳信源第五节马尔可夫信源习题：教材上第三章后习题。第四章：离散信道及其容量学时：4学时（讲课4学时）本章主要需要了解信道的定义及划分；理解离散信道的统计特性和数学模型；掌握信道传输的平均互信息量及其性质。本章要点：离散信道的统计特性和数学模型，信道容量的计算。重点：无记忆、无反馈、固定参数的离散信道及其容量难点：信道容量的计算第一节信道的数学模型及其分类第二节离散无记忆信道第三节离散无记忆扩展信道第四节信道的组合第五节信道容量习题：教材上第四章后习题。第五章：无失真信源编码学时：4学时（讲课4学时）本章主要需要了解各相关基本概念；理解对离散信源进行无失真信源编码的要求、方法及理论极限；掌握香农第一定理。本章讲授要点：本章主要介绍了无失真离散信源编码问题。重点：变长信源编码定理难点：变长码的编码方法第一节编码器第二节分组码第三节定长码第四节变长码习题：教材上第五章后习题。第六章：有噪信道编码学时：4学时（讲课4学时）本章中主要需要了解相关译码规则；理解有噪信道编码定理；掌握编码方法与错误概率的计算。本章讲授要点：本章主要讨论了有噪信道编码定理，研究了信道的可靠性问题。重点：有噪信道编码定理。难点：错误概率的计算。第一节噪声信道的编码问题第二节错误概率与编码方法第三节有噪信道编码定理第四节错误概率的上界习题：教材上第六章后习题。第七章：限失真信源编码学时：2学时（讲课2学时）本章中主要需要了解信源的失真度和信息率失真函数的定义与性质；理解保真度准则下的信源编码定理；掌握离散信源的信息率失真函数计算。本章讲授要点：本章主要介绍了信息率失真理论的基本内容。重点：离散无记忆信源的信息率失真度和信息率失真函数。难点：离散无记忆信源的信息率失真函数的计算。第一节失真测度第二节信息率失真函数第三节限失真信源编码定理和逆定理第四节信息率失真函数的计算习题：教材上第七章后习题。第八章：连续信源和波形信道学时：2学时（讲课2学时）本章主要需要了解连续信源的统计特性和它的信息测度；理解连续信源的信息率失真函数，以及波形信道的信道容量；掌握连续信源的熵、波形信道的信息传输率和信息容量的计算。本章讲授要点：本章主要介绍了连续信源和波形信道的信息测度。重点：连续信源的统计特性和它的信息测度，信息失真函数。难点：连续信源熵的计算及变换。第一节连续信源的特征第二节连续信道的信道容量第三节连续信道的信道编码定理第四节连续信道的信息率失真函数习题：教材上第八章后习题。第九章：纠错编码学时：2学时（讲课2学时）本章中主要需要了解纠错码的分类；理解纠错码的基本概念及线性分组码的编码方式；掌握线性分组码相关问题的计算。本章讲授要点：本章主要介绍了纠错码编码的一些基本概念和基本方法。重点：纠错码的基本概念及线性分组码的编码方式。难点：线性分组码的相关计算。第一节纠错码的基本概念第二节纠错码分类第三节线性分组码第四节几种重要的纠错码习题：教材上第九章后习题。第十章：信息论方法在信号处理中的应用学时：2学时（讲课2学时）本章中主要需要了解最大熵谱估计的机理，以及最小误差熵准则。本章讲授要点：本章简单介绍了信息论方法在信号处理中的应用。重点：最大熵谱估计的机理，最小误差熵准则。难点：最小误差熵估计与卡尔曼滤波。第一节最大熵谱估计第二节最小误差熵估计与卡尔曼滤波三、实验教学内容及基本要求无实验内容。四、教学方法与手段各章节尽量采用板书与多媒体结合的方式进行教学。五、教学学时分配章节与内容课时作业量备注第1章2第2章6第3章4第4章4第5章4第6章4第7章2第8章2第9章2第10章2合计32六、考核方式与成绩评定标准1、考核方法：考查2、成绩评定课程总成绩＝大作业（课程论文）+平时成绩。大作业（课程论文）占70%，平时成绩占30%七、教学参考资源1、参考书目：（1）傅祖芸编著，《"十二五"普通高等教育本科国家级规划教材·电子信息科学与工程类专业精品教材·信息论:基础理论与应用(第4版)》，电子工业出版社，2015（2）杨孝先,杨坚编著，《信息论基础》，中国科学技术大学出版社，2011（3)石峰

,

莫忠息

编著，《信息与计算科学专业系列教材:信息论基