《信息论与编码》课程教学大纲

《信息论与编码》教学大纲一、课程基本信息课程名称信息论与编码InformationTheoryandCoding课程编码OSI223911030开课院部海洋与空间信息学院课程团队通信网络组学分3.0课内学时52讲授40实验0上机12实践0课外学时52适用专业通信工程授课语言中文先修课程线性代数、概率论与数理统计课程简介（必修）本课程是通信工程专业的一门核心专业基础课程。本课程主要内容包括：信息的概念；通信系统的模型；信息的统计度量；信源的数学模型、信源熵、各类熵的性质及相互关系、信源的相关性与剩余度；定长编码定理、无失真信源编码定理、各种常用的信源编码方法；信道的数学模型、常见信道的信道容量、信道的组合、信道的剩余度、信源和信道的匹配；译码规则、有噪信道编码定理和常用的信道编码方法等。通过对此课程的学习，使学生对香农信息理论有较全面和系统地了解,能运用香农信息论的基础理论和方法，识别和判断信息传输中影响系统有效性、可靠性的关键因素；对通信系统的各个组成部分进行数学抽象和建模；并能通过独立检索文献，对优化通信系统的有效性、可靠性的可行方案进行分析和评价。Thiscourseisacoreprofessionalbasiccourseforcommunicationengineeringmajor.Themaincontentsofthiscourseinclude:theconceptofinformation;Themodelofcommunicationsystem;Statisticalmeasurementofinformation;Themathematicalmodelofinformationsource,thenatureandrelationshipofinformationsourceentropy,varioustypesofentropy,correlationandresidualdegreeofsource;Fixedlengthcodingtheorem,undistortedsourcecodingtheorem,variouscommonlyusedsourcecodingmethods;Mathematicalmodelofchannel,channelcapacityofcommonchannels,Channelcombination,channelresidualdegree,sourceandchannelmatching;DecodingRules,noisychannelcodingtheoremandcommonlyusedchannelcodingmethods,etc.Throughthestudyofthiscourse,studentscanhaveamorecomprehensiveandsystematicunderstandingofShannon'sinformationtheory,andcanusethebasictheoriesandmethodsofShannon'sinformationtheorytoidentifyandjudgetheeffectivenessofthesystemaffectedbyinformationtransmission,keyfactorsofreliability;Carryoutmathematicalabstractionandmodelingoneachcomponentofthecommunicationsystem;Andthroughindependentliteratureretrieval,tooptimizetheeffectivenessofthecommunicationsystem,thereliabilityoffeasibleschemesisanalyzedandevaluated.负责人大纲执笔人审核人二、课程目标序号代号课程目标OBE毕业要求指标点任务自选1M1目标1：掌握信息的统计度量方法、各类熵的性质与相互关系、无失真信源编码定理、有噪信道编码定理等基本定理和相关编码方法，能分析信源和信道的统计特性，针对通信系统中采用的信源编码和信道编码，识别和判断影响信息传输的有效性、可靠性的关键因素。并能在学习过程中培养学生爱国主义情怀和激发学生的社会责任感。是2.12M2目标2：能运用信息论中通信系统的模块化分析和数学建模的方法及理论，对通信系统中的各个组成部分如信源、信道、信宿、信源编译码器、信道编译码器等进行数学抽象和建模。是2.23M3目标3：能够独立检索文献，并能通过文献研究，从分析系统采用的信源编码及信道编码的性能的角度，对优化通信系统的有效性、可靠性的可行方案进行分析和评价。是2.3三、课程内容序号章节号标题课程内容/重难点支撑课程目标课内学时教学方式课外学时课外环节1第1章第1章绪论本章重点难点：信息的概念，信息、信号、消息的区别与联系。/////21.11.1信息信息的一般含义,信号、消息、与信息三者之间的区别与联系。M11讲授//31.21.2通信系统的模型通信系统基本模型的组成及各部分的功能。M10.5讲授1复习41.31.3信息论的形成和发展(思政结合点）信息论研究的对象、目的和内容，信息论的发展历史和研究及应用现状。介绍信息论在人工智能中的应用，以机器学习中关于学习目标选择的计算表达均可以应用信息(熵)理论函数优化方式予以解释或描述，信息论准则已经应用在生成式对抗网络(GAN)学习中等例子，说明信息论会给人工智能等众多学科研究带来新的发展空间，激发学生内在潜力和学习动力,激励学生为提升国家未来综合国力做贡献。M10.5讲授//5第2章第2章信息的统计度量本章重点难点：信息的度量、熵的计算、熵的含义和各类熵之间的关系。/////62.12.1自信息量和条件自信息量自信息量和条件自信息量的定义、含义和性质。M11讲授//72.22.2互信息量和条件互信息量互信息量和条件互信息量的定义、含义和性质；联合事件互信息量。M11讲授//82.32.3离散集的平均自信息量平均自信息量的定义、熵的含义、熵函数的数学性质；联合熵和条件熵的定义和含义；各种熵的关系；加权熵的定义和性质。M12讲授2复习92.42.4离散集的平均互信息量平均条件互信息量和平均互信息量的定义和性质；平均条件互信息量和平均互信息量的区别和联系；平均互信息量和各类熵的关系。M11讲授//102.52.5连续随机变量的互信息量和相对熵连续随机变量的互信息量的定义和性质；连续随机变量的信息量的度量方法、绝对熵和相对熵的定义和性质。M11讲授i2作业复习11第3章第3章离散信源本章重点难点：离散无记忆信源的数学模型、离散无记忆信源的扩展信源模型及其熵的计算；信源的相关性与剩余度的含义。/////123.13.1信源的数学模型离散信源的数学模型与分类。M1,M20.5讲授2作业133.23.2离散无记忆信源离散无记忆信源的定义、数学模型。M1,M21讲授//143.33.3离散无记忆扩展信源离散无记忆扩展信源的数学模型和熵。M1,M21讲授//153.43.4离散平稳信源离散平稳信源的数学定义；二维离散平稳信源的熵的计算；N维离散平稳信源的的数学模型、联合熵和熵的链规则、极限熵的定义和性质；马尔可夫信源。M1,M22.5讲授讨论2复习自学163.53.5信源的相关性与剩余度信源的相关性和剩余度的定义、意义和计算。M1,M20.5讲授2作业复习17第4章第4章离散信道及其容量本章重点难点：信道的数学模型、平均互信息的两个定理；信道容量的概念、常用信道的信道容量计算方法；信源与信道的匹配。/////184.14.1信道的数学模型及其分类信道的分类，各类信道数学模型M11讲授//194.24.2离散无记忆信道离散无记忆信道的定义、单符号离散无记忆信道数学模型M1,M21.5讲授//204.34.3离散无记忆扩展信道离散无记忆扩展信道的数学模型及平均互信息量；平均互信息量I(XN,YN)的两个定理的证明和意义。M1,M21讲授1复习214.44.4信道的组合并联信道、串联信道信道模型及信道容量；级联信道的两个定理的证明；M1,M21讲授1复习224.54.5信道容量信道容量的定义；几种常见离散无噪信道的信道容量的计算；离散对称信道的信道容量的计算；离散无记忆N次扩展信道的信道容量的计算。M1,M21.5讲授5作业自学23第5章第5章无失真信源编码本章重点难点：变长无失真信源编码定理；常见的信源编码。/////245.15.1编码器信源编码的概念和分类；信源编码的方法；通信中对信源编码的要求；信源编码的目的。M2,M31讲授4查阅文献255.25.2定长码定长编码的要求；信源存在唯一可译定长编码的条件；定长信源编码定理；定长编码的编码速率和编码效率。M1,M32讲授讨论2复习265.35.3变长码变长码的特点、编码要求；即时码的构成；kraft不等式；变长编码定理；常见的变长编码的编码方法。M1,M34讲授4查阅文献作业27第6章第6章有噪信道编码本章重点难点：信道编码的目的、有噪信道编码定理/////286.16.1噪声信道的编码问题信道编码的概念；错误概率和译码规则；两种常用的译码规则；费诺不等式。M1,M22讲授讨论//296.26.2错误概率与编码方法简单重复编码；消息符号个数；（5，2）线性码；汉明距离。M12讲授讨论1复习306.36.3有噪信道编码定理有噪信道编码定理（香农第二定理）的证明和意义M11讲授//316.46.4错误概率的上界错误概率的上界与损失熵的关系M11讲授5自学32第7章第7章纠错编码本章重点难点：线性分组码的特性，生成矩阵，监督矩阵；线性分组码和卷积码的编、译码方法；/////337.17.1纠错码的基本概念纠错码的基本概念；分组码、系统码和非系统码定义；汉明距离的定义和性质。M1,M30.5讲授3查阅文献347.27.2纠错码分类（思政结合点）错误类型和纠错方式；纠错码分类。介绍华为牵头的Polar码方案3GPP会议上正式被采纳为5GeMBB控制信道的编码方案的相关情况，并结合华为事件，教导学生维护国家利益，培养学生的爱国主义情怀，激发学生社会责任感。M1,M31讲授3查阅文献357.37.3线性分组码校验矩阵与生成矩阵；纠错码的纠错和检错能力与最小距离的关系；线性分组码的伴随式；汉明码；循环码。M1,M33讲授4自学查阅文献作业367.47.4卷积码卷积码的基本概念、卷积码的解析表示法和图形表示法，卷积码的译码方法。M1,M33讲授讨论4自学查阅文献作业37上机1上机1信源编码仿真查阅常用信源编译码方法及其Matlab仿真的相关文献，并利用Matlab完成至少两种信源编码的仿真，对比分析不同信源编码的性能。M36上机2查阅文献上机报告38上机2上机2信道编码仿真查阅常用信道编译码方法及其Matlab仿真的相关文献，利用Matlab设计并仿真一个包含信源编码和信道编码的数字传输系统，对比分析在不采用同信道编码时系统的可靠性。M36上机2查阅文献上机报告四、考核方式序号考核环节操作细节总评占比1平时测验11、开卷测验，成绩采用百分制，卷面成绩总分100分。2、考核对信息的统计度量、信源的数学模型、各类熵的性质与意义、各类熵及平均互信息量的相互关系、定长编码理论、变长编码理论、常见的信源编码方法的掌握情况，对信源统计特性分析能力及各类信源的建模能力，针对通信系统中采用的信源编码，识别和判断影响信息传输的有效性关键因素的能力。题型是客观题、综合题等。20%2平时测验21、开卷测验，成绩采用百分制，卷面成绩总分100分。2、考核对信道的统计特性、信道容量、信道的组合、译码规则、有噪信道编码定理和常用的信道编码方法的掌握情况，对各类信道的建模能力，针对通信系统中采用的信道编码和译码规则，识别和判断影响信息传输的可靠性关键因素的能力。题型是客观题、综合题等。20%3上机1、本课程12个学时上机。2、成绩采用百分制，根据上机完成情况评分。3、考核学生独立检索文献，并能通过文献研究，针对信源和信道的特性选择合适的信源和信道编码，实现系统性能优化的能力。10%4期末考试1、半开卷考试，成绩采用百分制，卷面总分100分。允许学生带一面A4大小的手写资料进入考场，其余资料一律不允许带入考场。2、主要考核学生对信息论基本理论和知识的掌握能力，学生综合运用所学知识分析问题、解决问题的能力，题型主要有客观题、简答题、综合题等。50%五、评分细则序号课程目标考核环节大致占比评分等级1M1平时测验125