自然语言处理（第1章）教案 预备知识

预备知识参考学时4学时。教学目标（能力要求）学生能理解概率论中概率的基本要素、随机变量及分布函数学生掌握信息论中的自信息、熵、交叉熵与互信息等核心概念及其在NLP中的应用；学生能熟悉图的基本结构、遍历算法（DFS/BFS）及最短路径算法（Dijkstra）；学生能了解机器学习中监督/无监督/强化/迁移等学习范式，掌握模型评估与过拟合/欠拟合的识别；让学生认识NLP的发展阶段、核心任务（如分词、NER、句法分析）及其面临的主要挑战。教学重点和难点教学重点：建立NLP所需的跨学科知识框架，理解概率、信息论与机器学习在NLP中的基础作用；教学难点：将抽象的概率与信息论概念与NLP任务结合理解；掌握图论算法在文本结构分析中的应用。教学主要内容概率论基本概念（35分钟）概率的基本要素随机变量与分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式图的遍历算法：深度优先搜索（DFS）与广度优先搜索（BFS）单源最短路径算法：Dijkstra算法机器学习基本概念（45分钟）机器学习方法分类机器学习基本步骤过拟合与欠拟合的识别与应对模型评估与模型选择自然语言处理基本概念（40分钟）NLP发展四阶段：特征工程→架构工程→目标工程→提示工程NLP核心挑战NLP常规任务NLP典型应用教学过程与方法概率论基本概念（35分钟）概率的基本要素介绍概率的基本要素，包括样本空间和事件空间的定义；介绍概率度量的定义及其性质，介绍条件概率随机变量与分布函数介绍PMF和PDF，期望和方差的计算公式及其性质。介绍离散随机变量和连续随机变量常见的分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义介绍自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式介绍图相关的基本概念以及路径的概念图的遍历算法:深度优先搜索(DFS)与广度优先搜索(BFS)介绍DFS和BFS算法，并以PPT中的图为例进行讲解，可以结合代码实践进行讲解单源最短路径算法:Dijkstra算法介绍最短路径算法Dijkstra算法并结合实践讲解机器学习基本概念(45分钟)机器学习方法分类介绍机器学习的各种学习方法，包括监督学习、无监督学习、强化学习、半监督学习、迁移学习、增强学习、具身智能、元学习等概念。其中监督学习、无监督学习、半监督学习可以结合实例一起介绍。强化学习可以结合当前主流的强化学习算法进行介绍。具身智能可以结合当前产业实践进行介绍。机器学习基本步骤介绍机器学习的基本步骤，包括从模型设计、目标函数设计、模型训练到评估应用的整个流程，可以结合某个模型的实例进行讲解。过拟合与欠拟合的识别与应对介绍欠拟合和过拟合，以及遇到这两种情况如何解决。模型评估与模型选择以二分类为例介绍模型评估使用的相关指标，包括准确率、精准率、召回率、F1四大指标，并结合PPT中的实例进行课堂互动。介绍ROC曲线和AUC指标的概念自然语言处理基本概念(40分钟)NLP发展四阶段:特征工程-架构工程-目标工程-提示工程介绍NLP发展的四个阶段，及每个阶段的一些经典算法，每个阶段的经典算法可以结合一个实例进行讲解以加深学生对该阶段的印象。如结合分类任务介绍贝叶斯算法。结合序列生成任务介绍RNN。结合NER等经典任务介绍BERT。结合当前LLM的广泛应用介绍提示工程。NLP核心挑战介绍NLP当前面临的核心挑战。NLP常规任务介绍NLP几大常规任务的内容，包括中文分词、词性标注、命名实体识别、依存句法分