教案-《人工智能应用导论》4-2 文本预处理与特征提取

教案（2学时）本任务是项目四核心技术链条的关键环节，标志着从“准备数据”到“加工数据”的跃迁。原始的中文评论文本对于机器学习模型而言是“天书”，无法直接理解。本课将引导学生学习如何将原始文本转化为机器可读、可分析的数值特征。这涉及两大核心步骤：首先，通过中文分词和停用词过滤对文本进行清洗和标准化；其次，使用TF-IDF算法将清洗后的文本转换为能反映词语重要性的数值向量。此环节旨在培养学生处理非结构化文本数据的能力，理解特征工程在NLP任务中的决定性作用。本任务核心在于实现中文文本的“数字化”转换。学生首先需掌握中文分词的必备性及jieba库的使用，并理解停用词过滤的意义，学会构建和使用停用词列表。这是文本清洗的关键。随后，学生需理解TF-IDF（词频-逆文档频率）的基本思想，它能够量化一个词语在一篇文档中的重要性。最后，学生将运用scikit-learn的TfidfVectorizer，将预处理后的文本批量转换为特征矩阵，同时准备好对应的标签向量，为模型训练做好数据输入准备。任务成果是得到代表影评的数值特征矩阵和对应的情感标签。素质目标中文分词的操作与jieba.lcut()函数的使用。停用词列表的构建与基于列表的过滤操作。TfidfVectorizer的fit_transform方法的使用及结果的解释（特征矩阵形状）。理解TF-IDF公式背后“突出重要词汇，抑制常见词汇”的直观意义。理解特征矩阵的“稀疏性”及其含义。将“文本->分词列表->过滤后字符串->TF-IDF向量”这一转换流程在代码中连贯实现。本节课采用“问题驱动-原理铺垫-动手转化”的设计思路。首先抛出“机器如何阅读中文？”的核心问题，通过对比中英文差异，自然引出分词的必要性。接着，用生动例子讲解TF-IDF的思想，避免复杂公式。教学主体是连贯的代码实现：先定义一个完整的预处理函数，再应用至整个数据集；随后实例化向量化器，完成特征提取。每个步骤都要求学生打印并观察中间结果如分词后的列表、过滤后的字符串、矩阵形状，强化理解。通过大量可视化让抽象过程变得具体。2.3教学资源与环境1.超星学习通平台、智慧职教复习上节课创建的df，再次观察review列中的原始中文句子。思考：如果让你教一个不认识中文的外国朋友快速判断一句影评的好坏，你会让他关注句子里的哪些词？1.【复习数据】打开上节课的代码文件，查看数据。2.【关键词思考】尝试从影评中找出可能决定情感倾向的关键词。教学目标达成情况：学生是否都能成功实现中文分词和停用词过滤？学生是否能理解TF-IDF的基本思想（即使不能精确计算）？学生是否能正确使用TfidfVectorizer生成特征矩阵X和标签y？教学方法有效性：中英文对比和“选拔关键词”的比喻，是否有效降低了理解门槛？“定义函数->应用函数->向量化”的代码教学流程是否清晰连贯？让学生反复打印观察中间结果，是否加深了他们对每个步骤的理解？学生参与度与学习效果：学生在编写预处理函数时，对列表推导式的掌握情况如何？从打印出的特征矩阵形状看，学生是否理解了数据维度的概念？思政元素融入效果：在讲解中文分词和处理时，是否提升了学生对处理母语文本技术的关注和自信？强调特征工程“工匠精神”时，学生是否在数据清洗环节表现出更仔细的态度？存在问题与改进措施：TF-IDF原理对于部