必修课-自然语言处理 课程大纲

《自然语言处理》课程大纲课程信息课程名称：自然语言处理（NaturalLanguageProcessing）课程代码：CST5551课程性质：必修课学时学分：40学时/2.5学分开课学期：6适用专业：计算机科学与技术、数据科学与大数据技术、智能科学与技术先修课程：线性代数（或矩阵论）、概率论与数理统计、微积分、Ｃ语言程序设计（或python/java/c++任何一种编程语言）、算法设计与分析后续课程：智能科学综合实践课程简介本课程主要包含九个重要部分：预备知识、深度神经网络、语言模型预训练、生成式文本摘要、情感分析、信息抽取、机器阅读理解、机器翻译、对话系统等。其中：预备知识主要包括自然语言处理的基础概念和技术，如基础数学知识（概率论、线性代数），为后续学习打下基础；深度神经网络涵盖深度学习的基本原理及其在自然语言处理中的应用，包括但不限于前馈神经网络、卷积神经网络（CNN）、循环神经网络（RNN）及其变体；语言模型预训练重点介绍现代自然语言处理中基于大规模语料库的预训练方法及其简单应用；生成式文本摘要讲解如何使用自然语言处理技术自动生成简洁准确的文本摘要；情感分析深入解析识别文本中表达的情感倾向的技术和方法，从基本的情感分类到更复杂的观点挖掘，探索不同模型在实际应用中的表现及其优化策略；信息抽取介绍从非结构化文本中提取结构化信息的方法，如命名实体识别、关系抽取等关键技术，以及如何构建知识图谱来支持更高级的应用；机器阅读理解探讨让计算机理解并回答关于给定文档的问题的能力，涵盖基于注意力机制的模型、问答系统设计等内容；机器翻译讨论自动将一种语言转换为另一种语言的技术，从统计机器翻译过渡到神经机器翻译的发展历程；对话系统研究构建能够与人类进行有效沟通的智能系统。力求跟踪自然语言处理的发展脉络、技术理论、产业成果并以翔实的形态进行展现教学。课程目标目标1：使学生掌握自然语言处理基本思想原理、流行算法和技术，着重讲述自然语言处理的前沿任务：语言模型训练及典型自然语言处理相关应用问题等。同时，将方法与理论（统计机器学习理论/计算学习理论/数据挖掘理论/信息学理论）紧密结合，掌握自然语言处理的基本思想、概念和常见算法；目标2：使学生理解概率论、统计、认知科学等基础交叉学科知识和思想在计算机相关问题的建模发挥的作用，理解相关模型的思想本质，学生对自然语言领域的研究对象、研究目标和研究方法有全局性的了解，熟悉自然语言处理领域主流神经网络模型架构和大模型相关高效微调技术的性能、特点及实现方法。课程目标对毕业要求的支撑关系课程目标支撑的毕业要求二级指标点课程目标1 2.1能综合运用数学、自然科学、工程科学以及智能科学与技术专业的基本原理，识别、判断和表达智能科学与技术领域复杂工程问题的关键环节。课程目标2 2.2对智能科学与技术领域复杂工程问题的一个系统或者过程，能选择或建立模型，对关键影响因素进行分析。教学设计及对课程目标的支持预备知识本章主要介绍一些背景知识和基本概念，包括概率论的基本概念、信息论的基本概念、图论的基本概念、机器学习的基本概念与自然语言处理的基础概念等。教学目标了解自然语言处理相关基础知识了解自然语言处理基本技术方法本章教学支持课程目标1。教学重点自然语言处理的基础概念。教学难点学习概率论中相关知识思想，应用分析解决实际自然语言中问题。教学环节设计结合现代机器学习以及自然语言处理的发展，开展文献阅读与讨论，较全面地介绍自然语言处理领域的核心概念、任务和方法。思政元素自然语言处理是研究人类语言的学科，是人工智能领域皇冠上的明珠。自然语言处理涉及到诸多算法和技术，而且发展日新月异，因此，为了更好的研究自然语言处理，需要树立终身学习观念；工匠精神是精益求精的态度、是刻苦耐劳的品格、是与时俱进的品质，科学研究需要工匠精神，作为科研工作者或工程师，我们需要从一开始就树立和培育工匠精神。深度神经网络本章的主要知识点包括简单线性神经网络与常见的激活函数、如何对深度神经网络进行训练优化、经典的深度神经网络模型——前馈神经网络、卷积神经网络及其中具体的卷积层和池化层结构、循环神经网络及其基本结构。教学目标了解简单的神经网络了解常见的激活函数了解模型训练优化基础本章教学支持课程目标1、2、3。教学重点卷积神经网络、循环神经网络。教学难点如何对深度神经网络进行训练优化。教学环节设计针对教学内容展开讨论，重视理解和掌握基本原理和方法，从数理基础、方法与应用、前沿专题三个层次培养学生的科学思维方法。思政元素神经网络是一种受生物神经系统启发的计算模型，通过多层非线性变换对输入数据进行特征提取与表示学习，这一过程是一个不断选择和发展的过程、是一个研究局部与整体的过程。在过去百余年中，我国经历了风风雨雨，经过不断的选择和发展，最终迎来了中华民族的伟大复兴，实践已经证明了我国的发展道路、发展理论、国家制度和民族文化是行之有效的，我们要树立四个自信，坚定不移的沿着中国特色社会主义道路实现中华民族伟大复兴。语言模型预训练本章的主要知识点包括自然语言处理相关语言模型基础理论以及相关具体处理技术等。语言模型LanguageModel，N-Gram；链式规则ChainRule；掩码预训练模型BERT；数据稀疏Sparseness，Zipf定律ZipfLaw，平滑技术Smoothing/Good-TuringSmoothing,Katz回退KatzBackoff等；相似度计算Similarity，TF-IDF，欧式距离EuclideanDistance，余弦距离Cosine，生成式预训练语言模型GPT。教学目标了解语言模型预训练基础技术了解相关前沿预训练模型本章教学支持课程目标1、2。教学重点语言模型的核心理论细节。教学难点掌握自然语言处理的基本思想、概念和常见算法：如TF-IDF，语言模型，自注意力模块，编码器架构，基础微调方法等。教学环节设计对应设计课堂讨论，语言模型在真实场景中的应用。思政元素培养“数据科学思维”，作为决策主体的“人”的主观作用被发挥到极致，即人的世界观、人生观、价值观对决策起决定作用。生成式文本摘要本章的主要知识点包括生成式文本摘要极其相关应用等。文本摘要任务：TextSummarizationTask序列生成架构：SequenceGenerationArchitecture长期依赖问题：Long-TermDependencyProblem门控循环单元：GatedRecurrentUnit(GRU)长短记忆神经网络：LongShortTermMemoryNetwork(LSTM)梯度裁剪与正则化：GradientClippingandRegularization双向卷积神经网络：CNNwithBidirectionalContext层级式卷积神经网络：HierarchicalConvolutionalNeuralNetwork基于双向LSTM的文本摘要：BidirectionalLSTM-BasedTextSummarization基于预训练语言模型的文本摘要：PretrainedLanguageModel-BasedTextSummarization教学目标了解文本摘要任务特点了解文本摘要任务相关基础模型了解文本摘要任务相关预训练模型本章教学支持课程目标1、2。教学重点门控循环单元教学难点文本摘要的理论与方法，以及相关模型与技术，如LSTM、梯度裁剪、双向卷积神经网络等。教学环节设计对应设计了第1、2个实验环节。思政元素“家是最小的国，国是最大的家”，国家通用语言文字中的每个字词都承载着对国和家的认同，词与句的关系，也正如家与国的关系，二者相辅相成，互不分离，文本摘要是研究局部与整体的关系，同样可以映射到国与家之间的关系；我国的国家通用语言文字有其独特性，即词与词之间是没有间隔的，这也是研究中文自然语言处理技术必须要攻破的问题，正是一代又一代的自然语言科研工作者们的不断努力，才有了文本摘要技术的不断进步，生动体现了科研工作者们的使命担当意识，因此要继往开来，在实践中培养使命担当意识，这样才能更好的解决问题。情感分析本章的主要知识点包括自然语言中情感分析等基础理论知识。情感分析任务：SentimentAnalysisTask方面抽取任务：AspectExtractionTask通用注意力机制框架：GeneralAttentionMechanismFramework图神经网络：GraphNeuralNetwork(GNN)图注意力网络：GraphAttentionNetwork教学目标了解情感分析任务的基本概念；了解情感分析任务的基础模型与理论知识。本章教学支持课程目标1、2。教学重点情感分析任务的技术特点。教学难点理解通用注意力机制框架。教学环节设计对应设计习题与讨论。思政元素情感分析任务是自然语言处理中一项基础而关键的研究方向，旨在通过计算方法自动识别和理解文本中所蕴含的主观情感倾向，它不仅关注“说了什么”，更聚焦于“表达了怎样的态度”——是褒是贬、是喜是忧、是支持还是反对。如果仅停留在字面语义层面，便难以捕捉语言背后的情绪色彩与立场意图，这正是情感分析超越表层信息、深入语用本质的体现。透过现象看本质，在情感分析中同样适用，作为新时代的科研工作者，我们不仅要提升情感分析模型的准确率与鲁棒性，更要具备政治敏锐性和家国情怀，在技术研究中坚守正确价值导向，助力构建清朗网络空间，服务国家舆情治理与国际传播能力建设，以扎实的技术能力守护国家文化安全与科技主权。信息抽取本章的主要知识点包括自然语言中信息抽取等基础理论知识。命名实体识别：NamedEntityRecognition(NER)隐马尔可夫模型：HiddenMarkovModel(HMM)条件随机场：ConditionalRandomField(CRF)实体链接：EntityLinking(EL)联合实体识别与消歧：JointEntityRecognitionandDisambiguation关系抽取：RelationExtraction(RE)事件抽取：EventExtraction预训练信息抽取模型：PretrainedInformationExtractionModels教学目标了解信息抽取的基础理论知识；了解信息抽取相关应用模型。本章教学支持课程目标1、2。教学重点信息抽取的技术特点。教学难点理解信息抽取基础模型和预训练模型。教学环节设计对应设计习题与讨论。思政元素鼓励实事求是的科学精神，培养学生学会具体情况具体分析，通过现象看本质，从根本上找到解决问题的方法。机器阅读理解本章的主要知识点包括机器阅读理解技术理论与方法。机器阅读理解任务：MachineReadingComprehension双向注意力流模型：BidirectionalAttentionFlowModelR网络模型：RecurrentNetworkforExtractiveReadingComprehension阅读验证模型：ReadingVerificationModel回溯式阅读模型：Iterative/Backward-ReasoningReadingModel预训练机器阅读理解模型：PretrainedMachineReadingComprehensionModel教学目标了解机器阅读理解的基础理论知识；了解机器阅读理解基础应用模型。本章教学支持课程目标1、2。教学重点机器阅读理解的技术特点。教学环节设计理解并掌握机器阅读理解基础应用模型。思政元素不论科研、抑或工程项目，培养集体意识是十分必要的。机器翻译本章的主要知识点包括机器翻译技术理论与方法。机器翻译任务：MachineTranslationTask循环神经网络：RecurrentNeuralNetwork卷积神经网络：ConvolutionalNeuralNetwork自注意力机制：Self-AttentionMechanism贪婪搜索算法：GreedySearchAlgorithm束搜索算法：BeamSearchAlgorithm领域适应问题：DomainAdaptationProblem迁移学习：TransferLearning教学目标了解机器翻译任务的基础理论知识；了解机器翻译相关模型的技术和应用。本章教学支持课程目标1、2。教学重点自注意力机制。教学难点学习掌握基础机器翻译模型的理论与知识以及网络构建与参数性能优化，如卷积神经网络，循环神经网络等；教学环节设计对应设计习题与讨论。思政元素树立终身学习态度，在不断学习中完善知识体系；培养工匠精神，以求真务实的治学态度刻苦钻研。学时分配序号主要内容支撑课程目标学时分配1预备知识课程目标1课内42深度神经网络课程目标1、2课内43语言模型预训练课程目标1、2课内44生成式文本摘要课程目标1、2课内85情感分析课程目标1、2课内66信息抽取课程目标1、2课内67机器阅读理解课程目标1、2课内48机器翻译课程目标1、2课内4总计40教与学教学方法主要的教学环节包括课堂授课、研讨、课后作业等环节。本课程的教学设计特色主要体现在如下两个方面：1）问题引导的教学方法。将围绕课程教学的重难点，精心设计若干探究性问题，创造良好的讨论氛围，引导同学深入思考，加深所学重、难点知识的理解和应用。2）强调理论与实践相结合，强化创新思维。该课程的教学与实验相配合，实验内容与理论课程教学进度同步，通过实验加深对所学理论知识的理解，提升学生应用理论知识解决实际问题的能力,通过实验也可以引导学生进一步深入探究，充分发挥理论知识，进行思考与创新。学习方法“自然语言处理”是一门理论性和实践性都很强的课程，学习过程中，首先要注重对课程涉及的基本知识理论的掌握与应用，要引导学生积极参与课堂讨论、深刻理解基础原理与算法本质，从数理基础、方法与应用、前沿专题三个层次培养学生的科学思维方法；其次，要站在系列课程的角度学习，本课程的学习需要线性代数、概率论与数理统计、微积分、编程语言程序设计、算法设计与分析等前导课的知识和技术支撑；第三，独立完成课程配套开设的实验，通过实验，加强对课程理论知识的理解，使学生真正做到理论与实际相结合，能够将所学的相关理论知识与真实应用下的场景落地相结合，通过实践项目引导学生进一步深入探究，鼓励积极思考与创新，培养学生实际分析问题、解决问题的能力。课程评价课程成绩构成课程最终成绩由考勤、课后作业与阅读笔记报告、实验及课堂展示成绩、课程报告综合而成，各部分成绩的比例如下：平时成绩：20%。这部分成绩为形成性评价成绩，包括课后作业、随堂测验、课程论文、课堂表现等部分的成绩构成。期末考试成绩：80%。本课程期末考试采用书面闭卷考试形式。课程考核成绩评定如表1所示：表1自然语言处理技术课程考核与成绩评定课程目标考核与评价方式及成绩占所在项的比例(约)平时成绩期末考试成绩155%60%245%40%总成绩平时总成绩×0.2+期末考试总成绩×0.8考核与评价标准平时成绩考核与评价标准表2课程目标1平时成绩评定标准等级评定标准优秀（90-100