Python中文自然语言处理基础与实战（第2版）（微课版）-第2章 语料库 教案

第2章语料库教案1.教案基本信息课程名称Python中文自然语言处理基础与实战课程类别选修适用专业人工智能类相关专业总学时64学时（其中理论32学时，实验32学时）总学分4.0学分本章学时6学时（其中理论3学时，实验3学时）章节名称第2章语料库授课教师授课时间2.教学目标知识目标了解语料库的特点、用途和发展历程掌握语料库的种类和构建原则熟悉中文开源语料库和网络在线语料库理解网络爬虫获取语料的基本原理能力目标能够使用requests库发起HTTP请求获取网页内容能够使用BeautifulSoup解析HTML并提取文本能够构建和分析小型语料库能够进行文本预处理和词频统计分析素质目标培养数据收集和处理的规范化意识建立网络数据获取的法律和伦理观念提升文本数据分析和可视化能力养成科学严谨的研究态度3.教学重点与难点教学重点语料库的概念、特点和用途语料库的种类分类和构建原则网络爬虫的基本实现方法文本预处理和词频统计技术教学难点语料库构建原则的理解和应用requests和BeautifulSoup库的使用中文文本的清洗和预处理方法繁简体转换和编码问题处理解决策略通过具体实例讲解语料库构建原则提供详细的代码示例和逐步演示使用多个实际案例练习文本处理重点讲解中文处理的特殊性4.教学内容与知识结构主要知识点语料库概述模块语料库的定义和特点语料库在NLP中的用途语料库发展历程语料库分类模块平衡语料库与专业语料库双语/多语语料库静态与动态语料库注释语料库和多模态语料库构建原则模块代表性、平衡性、多样性高质量、透明性、可追溯性伦理和法律要求可持续性和可扩展性获取技术模块开源语料库资源网络爬虫技术文本清洗和预处理语料库构建实践知识结构关系语料库概述为理论基础层分类和原则为方法论层获取技术为实践应用层项目实战为综合运用层5.教学方法与手段理论教学方法概念讲授法：系统讲解语料库基本概念分类比较法：对比不同类型语料库特点案例分析法：分析真实语料库构建案例原则导向法：以构建原则指导实践实践教学方法代码演示法：现场演示爬虫和处理代码项目驱动法：通过具体项目学习技术渐进式教学：从简单到复杂逐步深入问题解决法：解决实际数据处理问题教学工具和平台Python开发环境（Anaconda）JupyterNotebook交互式编程requests和BeautifulSoup库在线语料库资源网站6.教学过程设计课时安排总览课时类型内容第1课时理论课语料库概述与特点用途第2课时理论课语料库种类与构建原则第3课时理论+实验语料库获取方法与爬虫基础第4课时实验课网络在线语料获取实践第5课时实验课语料分析与处理实战第6课时实验课构建电影评论语料库项目各课时教学环节设计第1课时（理论）：语料库概述与特点用途导入环节（10分钟）展示ChatGPT、百度翻译等AI应用界面提问：这些AI系统是如何学习语言的？引出语料库在NLP中的重要作用新课讲授（30分钟）语料库的定义和发展历程（8分钟）语料库的8个主要特点详解（12分钟）语料库在NLP中的8种用途（10分钟）案例分析（8分钟）分析搜狗新闻语料库、人民日报语料库等实例讨论不同语料库的应用场景课时小结（2分钟）总结语料库的重要性和基本特点预告下节课语料库分类内容第2课时（理论）：语料库种类与构建原则复习导入（5分钟）回顾语料库的定义和特点提问：如何分类不同的语料库？新课讲授（35分钟）语料库的6种主要类型（18分钟）平衡语料库与专业语料库对比双语/多语语料库特点静态与动态语料库区别语料库构建的7个核心原则（17分钟）代表性、平衡性、多样性质量控制和伦理要求讨论环节（8分钟）分组讨论：如何为特定应用选择合适的语料库类型？各组分享讨论结果课时小结（2分钟）强调构建原则的重要性介绍下次实验课安排第3课时（理论+实验）：语料库获取方法与爬虫基础理论讲授（25分钟）中文开源语料库资源介绍（10分钟）网络在线语料库概述（5分钟）网络爬虫基本原理和技术栈（10分钟）技术演示（20分钟）requests库基本用法演示（8分钟）BeautifulSoup解析HTML演示（12分钟）实践练习（40分钟）学生跟随完成简单网页获取练习（20分钟）练习HTML解析和文本提取（20分钟）答疑总结（5分钟）解答学生遇到的问题总结技术要点第4课时（实验）：网络在线语料获取实践实验准备（5分钟）检查开发环境和网络连接准备实验所需的库和代码模板实验讲解（15分钟）讲解《西游记》网页获取案例分析代码结构和关键步骤强调中文编码处理要点学生实践（60分钟）完成网页获取和文本提取（25分钟）实现繁简体转换功能（15分钟）进行文本清洗和预处理（20分钟）成果展示（10分钟）学生展示获取的文本片段分享遇到的问题和解决方案第5课时（实验）：语料分析与处理实战实验目标说明（5分钟）介绍网络在线语料分析任务说明分析流程和预期结果技术讲解（20分钟）文本清洗的正则表达式方法（8分钟）停用词处理和词频统计技术（7分钟）文本预览和分析方法（5分钟）实践操作（55分钟）完成文本获取和清洗（20分钟）实现词频统计和分析（20分钟）生成分析报告和可视化（15分钟）结果讨论（10分钟）对比分析不同文本的词频特征讨论分析结果的意义第6课时（实验）：构建电影评论语料库项目项目介绍（10分钟）介绍电影评论语料库构建任务分析CSV数据格式和字段含义明确项目目标和评价标准代码讲解（20分钟）pandas数据读取和处理方法（8分钟）文本预处理函数设计（7分钟）语料库构建流程分析（5分钟）项目实施（50分钟）实现数据读取和预处理（20分钟）构建语料库文件（15分钟）测试和验证语料库（10分钟）进行语料库质量分析（5分钟）项目总结（10分钟）展示构建的语料库总结项目经验和技术要点7.实验/实践设计实验一：网络在线语料获取实验目的掌握使用requests库获取网页内容的方法学会使用BeautifulSoup解析HTML文档熟练处理中文编码和繁简体转换实验内容访问古腾堡项目网站获取中文文本使用requests获取网页HTML内容使用BeautifulSoup提取纯文本进行繁简体转换和编码处理实验步骤安装并导入required库（requests,bs4,opencc）编写网页获取函数实现HTML解析和文本提取添加繁简体转换功能测试并验证结果预期结果成功获取指定网页的文本内容正确处理中文编码问题实现繁简体自动转换实验二：语料分析与处理实验目的掌握文本预处理的基本方法学会使用正则表达式清洗文本熟练进行词频统计和分析实验内容对获取的文本进行清洗处理使用jieba进行中文分词去除停用词并统计词频生成词频分析报告实验三：电影评论语料库构建实验目的学会从结构化数据构建语料库掌握pandas处理CSV数据的方法理解语料库构建的完整流程实验内容读取并分析电影评分CSV数据提取和预处理评论文本构建电影评论语料库文件验证和分析语料库质量评价标准代码实现正确性（35%）数据处理质量（25%）结果分析合理性（20%）实验报告完整性（20%）8.课后作业与拓展理论巩固作业完成课后选择题（1-5题）总结语料库构建的7个核心原则比较分析3种不同类型语料库的特点和应用调研并介绍2个中文开源语料库实践编程任务访问古腾堡项目，获取《孔雀东南飞》文本并分析构建一个新闻文本语料库（至少包含50篇文章）比较不同网站文本的词频分布特点实现自动化的语料库质量评估工具拓展阅读材料《语料库语言学教程》相关章节网络爬虫技术与应用文献中文文本处理技术综述开源语料库项目案例研究思考讨论题如何平衡语料库的代表性和专业性？网络爬虫获取数据时需要注意哪些法律和伦理问题？如何评价一个语料库的质量好坏？人工智能时代，语料库面临哪些新的挑战和机遇？9.教学评价过程评价课堂参与（15%）：提问回答和讨论参与度实验操作（45%）：代码编写和调试能力问题解决（25%）：遇到困难时的解决策略团队协作（15%）：小组讨论和互助表现结果评价理论掌握（25%）：语料库概念和原则理解技术应用（45%）：爬虫和数据处理技能项目质量（20%）：语料库构建完成度创新思维（10%）：方法改进和创新应用评价标准优秀（90-100分）：理论掌握扎实，技术应用熟练，项目质量高，有创新亮点良好（80-89分）：理论理解正确，技术基本掌握，项目完成良好中等（70-79分）：理论基本理解，技术需要指导，项目基本完成及格（60-69分）：理论有欠缺，技术掌握不足，项目完成困难特别注意在进行网络爬虫实验时，必须遵守以下原则：遵守网站的robots.txt规定控制请求频率，避免对服务器造成压力仅用于学习目的，不得商业使用尊重版权，合理使用原则10.教学反思教学效果自评学生对语料库概念的理解程度网络爬虫技术的掌握情况文本处理技能的熟练度项目完成的质量和创新性学生反馈记录收集学生对课程难度的反馈了解学生对实验设计的建议记录技术学习中的常见问题评估学生的兴趣和参与度改进措施根据学生基础调整技术难度增加更多实际应用案例优化实验指导的详细程度加强编程基础技能训练下次授课调整建议增加更多中文语料库实例提供更详细的错误处理指导设计更多层次的练习题加强理论与实践的结合11.教学资源教材和参考书目主教材：《Python中文自然语言处理基础与实战》第二版，肖刚张良均，人民邮电出版社参考书：《语料库语言学教程》杨惠中《Python网络爬虫从入门到实践》崔庆才《自然语言处理入门》何晗在线资源链接搜狗实验室：/labs/古腾堡项目：/中文电子文本项目：/清华大学NLP实验室：/开发环境和工具必需软件：Python3.11+,Anaconda核心库：requests,beautifulsoup4,jieba,opencc,pandas推荐IDE：Jupyter