《信息论基础》课程教学大纲

《信息论基础》教学大纲一、课程基本信息课程名称信息论基础FoundationofInformationTheory课程编码SCC262411030开课院部理学院课程团队信息论基础学分3.0课内学时48讲授48实验0上机0实践0课外学时48适用专业信息与计算科学授课语言中文先修课程数学分析（3-1）、高等代数（2-1）、数学分析（3-2）、高等代数（2-2）、数学分析（3-3）、概率论课程简介（必修）信息论基础是各高等院校内信息科学相关专业的重要基础课。信息论，又称为通信的数学理论，以信息论的奠基人、当代伟大的数学家和美国杰出的科学家香农的著名论文《通信的数学理论》为理论基础，以数理统计为主要工具来研究信息的度量、传输和处理。在很多情况下，由于信息量巨大，信源消息是不可能完全发送出去的，因而需要对消息进行有效的压缩处理；另一方面，在很多信道中往往存在干扰，因而导致消息在传输过程中会出现差错，因而需要对消息进行检错和纠错处理，以使得在接收方能够收到可靠消息。这就构成信息论的中心问题：即为设计有效而可靠的通信系统提供理论依据。本课程的目的是使学生深刻理解与信息度量相关的基本概念，牢固掌握描述通信系统极限性能的三个基本定理，了解这三个基本定理在传输、处理一些实际系统的基本应用。为学生进一步学习后续专业课程打下坚实的基础。通过本课程的学习，使学生掌握一套系统地分析通信系统基本问题的理论，提高学生解决实际问题的能力。Elementsofinformationtheoryisanimportantbasiccourseforspecialtiesofinformationscienceinallkindsofuniversitiesorcolleges.Theoreticallybasedon“Amathematicaltheoryofcommunication”,onefamousarticlebyShannon,whoisacontemporarygreatmathematiciansandanAmericanfamousscientistandcalledthefounderofinformationtheory,informationtheoryconcernsaboutthemeasures,transmissionsandprocessingofinformationbymeansofprobabilitiesandstatistics.Inmanycases,duetothehugeamountofinformationandtheconstraintsofphysicalcondition,itisimpossibletotransmitthecompletesourcemessage.Thusitisnecessarytoefficientlycompresstheoriginalsourcemessage.Ontheotherhand,thereoftenexistssignalinterferenceinchannels,whichwillresultinsomeerrorsinthemessagetransmittedbythesechannels.Therefore,itisnecessarytocheckandcorrecterrorsbypreprocessinginformation.Theabovetwoproblemsconsistofthemaincontentsofinformationtheory,i.e.,providingatheoreticalbasisforthedesignofaneffectiveandreliablecommunicationsystem.Thegoalofthiscourseistomakestudentsdeeplyunderstandthebasicconceptsrelevanttoinformationmeasures,firmlygraspthethreefundamentalTheoremswhichdescribetheultimateperformanceofcommunicationsystems,andlearntheirbasicapplicationsofthethreeTheoremsintransmittingandprocessingsomerealsystems.Andlearningthiscoursecanalsoprovideasolidfoundationforthestudentstostudysubsequently.Additionally,throughlearningthiscourse,thestudentswillgraspaseriesoftheoriesofsystematicallyanalyzingthebasicproblemsofcommunicationsystemsandtheirabilitiesofsolvingrealproblemswillalsobeimproved.负责人大纲执笔人审核人二、课程目标序号代号课程目标OBE毕业要求指标点任务自选1M1目标1：培养学生的信息思维，并掌握对信息的基本研究方法是3.23.22M2目标2：通过本课程的学习，使学生掌握信息数据处理的基本方法，具备较强的数据处理能力是3.23.2三、课程内容序号章节号标题课程内容/重难点支撑课程目标课内学时教学方式课外学时课外环节1111.1信息的概念和发展历史信息论的诞生，信息论的作用，信息的定义。M11讲授1自学21.21.2信息论的研究对象及主要内容通信系统模型，香农信息论的中心问题、局限性，信息定义的广义性。M11讲授1自学32.12.1离散变量的非平均互信息非平均互信息，自信息，条件互信息和联合互信息。M1,M24讲授6作业，自学42.22.2熵的概念和性质熵，条件熵，熵的性质；离散集平均互信息，信息处理定理。M1,M24讲授4作业，自学52.32.3连续型随机变量的熵连续随机变量的互信息、熵和联合熵。M1,M21讲授1作业，自学63.13.1信源及其分类记忆信源，无记忆信源；简单信源，马尔科夫信源。M1,M21讲授1作业，自学73.23.2离散无记忆信源的等长编码典型序列集，信源划分定理，可达速率，编码效率。M1,M21讲授2作业，自学83.33.3信源的不等长编码定理。Kraft不等式，不等长编码定理。M1,M24讲授3作业，自学93.43.4最佳不等长编码Huffman编码，Shannon-Fano编码，算术编码，LZ编码。M1,M23讲授4作业，自学104.14.1信道分类离散信道，连续信道，恒参信道，随参信道，无记忆和有记忆信道M1,M22讲授3作业，自学114.24.2离散无记忆信道及信道容量DMC的信道容量定理，最佳分布；对称DMC容量的计算，一般DMC容量的计算M1,M24讲授6作业，自学124.34.3信道的组合积信道，和信道。M1,M22讲授2作业，自学135.15.1信道编码的相关问题信道编码的分类，编码和译码准则，离散信道的译码M1,M21讲授1作业，自学145.25.2信道编码定理信道编码定理的内容M1,M21讲授2作业，自学156.16.1线性分组码线性分组码的定义，生成矩阵，校验矩阵，码的扩展和缩短。M1,M22讲授3作业，自学166.26.2汉明码汉明码定义，编码和译码方法。M1,M22讲授2作业，自学176.36.3Hadamard码Hadamard码定义，编码和译码方法。M1,M22讲授3作业，自学186.46.4循环码循环码的定义、编码方法和纠错性能。M1,M22讲授3作业，自学196.56.5BCH码和Reed-Solomon码BCH码和Reed-Solomon码的编码和译码方法M1,M22讲授3作业，自学207.17.1网络信息论与网络编码概述网络信息论主要研究内容及发展历程，网络编码简介及优缺点M1,M22讲授2作业，自学217.27.2线性网络编码局部编码核、全局编码核，四类线性网络编码，线性多播的译码矩阵M1,M22讲授2作业，自学227.37.3量子纠错码量子位、量子态和量子码，量子错误群，量子纠错M1,M22讲授2作业，自学237.47.4量子码的构造量子码的界，由经典码构造量子码，量子MDS码M1,M22讲授2作业，自学四、考核方式序号考核环节操作细节总评占比1考勤与课堂表现1.通过刷卡点名、随机点名等方式进行考勤；2.通过随机检查学生上课的精神状态及回答问题的积极性和准确性等考察课堂表现；3.采用等级制，分为A,B,C,D四个等级。10%2平时作业1.每周布置3-4道题目，平均每次课1道题以上。2.成绩采用等级制，分为A,B,C,D四个等级，根据作业完成准确性、是否按时上交、是否独立完成评分。3.考核学生对信息论基础的基本知识的掌握能力，学生综合运用所学知识分析问题、解决问题的能力，作业题型主要有证明、分析和计算题。20%3大作业1.本课程要求学生以课程学习总结的方式，对信息论基础课程总体理解进行学习心得体会总结，进行一定的应用拓展思考，并给出利用信息论解决实际问题的具体案例。2.成绩采用等级制，分为A,B,C,D四个等级，根据学生对课程的学习态度，总体理解深度，对知识的具体应用环境的理解深度给出评分标准。3.考核学生对信息论基础这门课程的整体理解程度，学生对信息论具体应用的理解和实践能力。25%4期末考试1.闭卷考试，成绩采用百分制，卷面成绩总分100分。2.主要考查学生对信息论基础的基本知识的掌握程度，学生综合运用所学知识分析问题、解决问题的能力，题型主要有选择题、填空题、证明题、计算提，应用题等。45%五、评分细则序号课程目标考核环节大致占比评分等级1M1考勤与课堂表现20%A-无迟到早退现象，上课精神饱满，回答问题积极。B-偶有迟到早退现象，上课精神状态尚可。C-经常迟到或早退，上课不积极。D-经常迟到或早退，上课不积极，并且旷课6次以上2M1平时作业40%A-作业完成准确，按时上交，独立完成B-作业基本正确，按时上交，独立完成C-作业完成错误，不按时上交，或者有抄袭现象D-作业完成错误很多，不按时上交，并不交作业3次以上。3M1大作业40%A-无拷贝现象，对课程总体能形成自己的在逻辑上的理解，且理解有一定见解和深度，并对课程的应用背景有一定了解和认识。B-无拷贝现象，对课程总体能形成自己的在逻辑上的理解，但理解不深，对课程的应用背景有一定了解。C-有少量拷贝现象，对课程总体不能形成自己的在逻辑上的理解。D-拷贝很多，对课程基本上一无所知。4M2平时作业25%A-作业完成准确，按时上交，独立完成B-作业基本正确，按时上交，独立完成C-作业完成错误，不按时上交，或者有抄袭现象D-作业完成错误很多，不按时上交，并不交作业3次以上。5M2大作业25%A-无拷贝现象，对课程总体能形成自己的在逻辑上的理解，且理解有一定见解和深