数据采集与预处理技术-P8T1-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号29授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目八任务一文本数据采集与预处理课程思政设计：1.网络法治与合规采集——教材明确要求遵循网站robots.txt协议、合理设置请求频率。课堂把合规要求讲在技术实现之前，讲清爬虫不是想爬什么就爬什么，采集范围是任务所需字段而不是整站数据。2.数据安全与社会责任——敏感词过滤不只是技术动作。平台日均200万条评论里混杂违禁信息与虚假宣传内容，严重污染内容生态并带来合规风险。课堂讲清过滤是平台的法定义务，不是可选项。3.工匠精神与细节意识——多语言文本在编码、字符集、文本规范上存在差异，一个不留神就是满屏乱码。课堂要求统一转为UTF-8编码并当场验证，讲清乱码一旦产生就难以还原。4.辩证思维与方法选择——词典分词快但认不出新词，统计分词准但要大量标注数据。课堂讲清两种方法各有代价，选择依据是场景而不是优劣。教学目标：知识目标：能说出文本数据采集的两条主要途径及其各自的优缺点；能说出多语言数据在编码、字符集、文本规范三个方面的差异，以及统一转为UTF-8编码的做法与理由；能说出文本清洗中噪声字符与敏感信息两类处理对象的具体内容与处理方法；能说出基于词典匹配与基于统计机器学习两类分词方法的原理与各自缺点；能说出词性标注与命名实体识别各自的作用。能力目标：能用requests发送API请求，设置请求头与查询参数，并把返回的评论数据保存为JSON文件；能用re.sub去除HTML标签与特殊符号；能构建敏感词词典并实现违规评论过滤函数；能用jieba对中文评论做分词处理；能按语言字段区分中英文评论并分别走切分与标注两条分支。素质目标：养成采集前先看robots协议与频率限制的习惯，不拿到数据就往下做；养成处理多语言文本前先统一编码的习惯；养成敏感内容必须过滤后才入库的习惯，不把原始评论直接送进分析环节。教学重难点及解决方法：教学重点：文本清洗两条正则表达式的写法；敏感词词典过滤函数的实现；jieba分词与按语言分支处理。教学难点：基于词典与基于统计两类分词方法的选择依据；多语言编码差异导致乱码的排查。学生容易把分词当成一句函数调用而不知道背后有两条技术路线，对保存文件时不写编码参数会写出转义字符这一点也容易忽略。解决方法：针对难点：把直播带货这类新词写在黑板上，问词典分词会切成什么，学生自己发现词典里没有就切不出来，再讲统计方法靠字的组合概率识别边界；乱码用反例演示——先用错误编码打开一个UTF-8文件并投屏乱码，再改回UTF-8投屏正常文本，两屏并列说明不可逆。针对重点问题：采用边讲边练，每讲完一条正则或一个函数即在课程在线教学平台推送1～2道限时练习当堂消化；把整个流程整理成采集—清洗—过滤—分词—标注五步固定流程，每步都有可打印的处理条数，学生能自行判断进度；实操期间教师巡视，重点检查保存文件时是否写了编码参数、过滤与分词的先后顺序；课后按练习正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（requests、re、json、jieba、NLTK）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode。数据与素材：教材示例多语言商品评论数据（twitter_comments.json，含中英文评论与语言字段）。教学资源：①教材《数据采集与预处理技术》第209–211页正文、示例代码与配套数据集；②本课程课件与演示代码（含API采集脚本、清洗与过滤脚本、分词标注脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交评论采集与预处理完整脚本，按采集完成度、清洗与过滤正确性、分词结果三项评分；②随堂测验：下课前5题（两条采集途径、正则含义、过滤与分词的顺序、两类分词差别），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交完整脚本与运行截图，附采集条数、过滤后条数、分词条数三个数字。课前预习：平台3道诊断题（爬虫与API的差别、常见编码），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接项目七：上一项目用sklearn完成了标准化、归一化与降维，处理的是表格里的数字。提问：如果数据不是表格而是一段话、一张图、一段录音，这些办法还管用吗？2.给出本次任务情境：某国际电商平台日均产生200万条涵盖多语言的用户评论，这些评论是洞察用户心声、优化商品与服务的宝贵资源。3.点明问题：其中混杂着无意义字符、重复内容乃至违禁信息和虚假宣传内容，严重污染了平台的内容生态，带来了巨大的合规风险。4.投屏几条原始评论样例，让学生逐条指出里面哪些是无意义字符、哪些可能是违规内容。5.讲清本次课要解决的两件事：怎么把文本合规地采回来，怎么把采回来的原始文本处理成可供分析的高质量语料。6.点明本任务流程：API与爬虫采集→正则清洗→敏感词过滤→分词与词性标注。【学生活动】口述项目七处理过的三类尺度问题；看投屏的原始评论，逐条指出噪声与可能的违规内容；对比表格数据与文本数据在结构上的差别。【设计意图】对应知识目标1与能力目标1。以项目七刚处理完的数值型数据为参照，学生在上一项目建立的处理流程在这一环节失效，认知冲突自然产生；先让学生自己在原始评论里挑出问题，后面的清洗与过滤动作才有明确对象；把采集与预处理两件事分开讲，学生知道本任务包含两个性质不同的阶段，直接回应思政中的网络法治。环节一任务情境：200万条评论怎么变成语料（8分钟）任务驱动法直观演示法（投屏＋数据）网络法治：采集要合规不是想爬就爬【教师活动】1.讲网络爬虫技术：针对电商平台、社交媒体等网页数据，运用Scrapy、BeautifulSoup等工具爬取用户评论、商品描述等文本信息。2.强调三条注意事项：遵循网站robots.txt协议；合理设置请求频率，避免对目标网站造成过大访问压力；可设置随机的请求头和代理IP，模拟真实用户浏览器行为，提高爬虫的稳定性和成功率。3.讲API接口调用：利用社交媒体平台、跨境电商平台提供的开放API，如微博API、TwitterAPI、亚马逊电商开放API等，以结构化方式获取文本数据。4.讲API方式的要求：通常需要申请API密钥，遵循其数据获取规则和频率限制。5.并列两条路的优缺点并板书对照：通过API获取的数据质量较高、稳定性较好，能有效避免爬虫可能面临的法律风险和数据格式不一致问题；爬虫则覆盖面更广且不需要申请密钥。6.讲多语言数据采集的三个挑战：不同语言文本在编码、字符集、文本规范上存在差异。7.讲应对办法：在采集过程中要确保正确识别和转换字符编码，防止出现乱码问题，常用的方法是统一将文本转为UTF-8编码格式。8.提问：为什么统一编码要放在采集阶段而不是留到后面？引导学生说出乱码一旦产生就难以还原。【学生活动】记录两条路各自的优缺点；说出API方式需要申请什么、要遵守什么；说出统一编码为什么必须在采集阶段完成。【设计意图】对应知识目标1、2。两条路并列讲，学生先知道有得选，后面讲API实操时清楚自己选的是哪一条；把法律风险讲在爬虫项里而不是留到最后，直接落实思政中的网络法治；统一编码放在采集阶段讲，是因为它与乱码不可逆直接相关，学生的理解落在流程顺序上而不是孤立知识点上。环节二文本数据采集两条路（15分钟）讲授＋板书对比讲授案例分析规范意识：频率与协议都要守【教师活动】1.讲噪声字符的三类：HTML标签、特殊符号、无意义的空白字符。2.讲去除办法：利用正则表达式匹配并剔除HTML标签模式，使文本保留纯文本内容。3.板演两条正则并逐段说明每个符号的含义：第一条用re.sub去掉HTML标签，其中点表示任意字符、星号表示重复、问号表示非贪婪匹配；第二条用re.sub去掉特殊符号，其中方括号内加脱字符表示取反，字母w与字母s分别代表字母数字下划线与空白字符。4.现场演示：对一条含标签的评论执行清洗，投屏清洗前后两段文本。5.讲过滤敏感信息：识别并屏蔽违禁词、虚假宣传词等，构建敏感词词典，通过字符串匹配及时检测文本中的违规内容，一旦发现立即进行替换或直接删除。6.讲替换与删除两种处理的选择：替换保留评论的其余信息，删除则整条丢弃。让学生先讨论，再说明本案例选择删除。7.演示敏感词词典的写法与过滤函数的结构：遍历每条评论，判断文本中是否包含敏感词，包含则跳过，不包含则加入结果列表。8.强调词典规模：实际应用中词典规模更大且不断更新，课堂示例只放三个词是为了讲清结构。【学生活动】跟做两条正则，记录清洗前后的文本；说出替换与删除两种处理的差别；在自己机器上构造一个含三个词的词典并跑通过滤函数。【设计意图】对应能力目标2、3。两条正则逐符号讲清，学生以后改规则时知道动哪里，而不是死记硬背；清洗前后投屏对比，学生看到的是可观察的结果而不是抽象描述；替换与删除的选择单独拿出来讨论，把技术动作讲成业务取舍，直接落实思政中的数据安全。环节三文本清洗：正则与敏感词（18分钟）讲授＋板演讲练结合（投屏＋Jupyter）数据安全：违规内容必须先过滤【教师活动】1.讲基于词典匹配的分词：采用预先构建的词典，将文本切分成独立的词汇单元。讲优点：简单高效。讲缺点：对新词的识别能力较弱，需要定期更新词典以适应语言的发展变化。2.举例：把直播带货这类新词写在黑板上，问词典里没有它时会切成什么，让学生自己说出会被切成单个的字。3.讲基于统计与机器学习的分词：如条件随机场模型、神经网络分词模型。讲原理：这类方法通过学习文本的统计特征自动识别词汇边界。讲优点：对新词和未登录词有较好的识别效果。讲缺点：模型训练需要大量标注数据，且计算资源需求相对较高。4.并列两种方法的优缺点并板书对照。5.讲本案例的选择：中文评论用jieba分词，它结合了词典与统计两类思路，开箱即用，适合作入门工具。6.演示jieba用法：导入jieba，对每条评论调用切分方法并把结果转成列表存入新字段。7.讲语言分支：按评论的语言字段判断，中文走jieba切分，英文走词性标注，本环节先讲中文分支。【学生活动】说出词典分词遇到新词会出什么问题；记录两种分词方法各自的代价；跟做jieba分词，记录切分结果。【设计意图】对应知识目标4，落实能力目标4。新词的例子是理解两类方法差别的关键，学生自己说出切不出来的结论，理解才落在方法本身而不是结论上；两种方法的代价并列板书，直接落实思政中的辩证思维；按语言分支处理这一步单独讲，是因为它是多语言场景的通用写法，学生以后遇到新语种知道该往哪里加分支。环节四分词技术两条路线（15分钟）讲授＋板书对比讲授讲练结合辩证思维：快与准各有代价【教师活动】1.讲词性标注方法：运用Brill算法、HMM模型等对分词后的词汇标注词性。2.讲作用：准确的词性标注有助于后续的语法分析和语义理解，从而提取文本中的关键信息成分。3.讲命名实体识别技术：借助深度学习模型识别文本中的人名、地名、商品品牌等实体信息。4.讲作用：这对于挖掘用户的地域偏好、品牌关注点等具有重要意义。5.演示对英文评论调用NLTK库做词性标注，说明英文分词靠空格、难点在标注，与中文难点在切分正好相反。6.并列中文与英文两条处理路径的差别并板书：中文先切分再标注，英文直接标注。7.讲本案例的产出形态：清洗后的评论文本、分词结果列表、词性标注结果，三者共同构成后续语义分析与情感计算的输入。8.让全班跑通英文分支的词性标注，教师逐机确认输出。【学生活动】记录中英文两条处理路径的差别；跟做英文词性标注，记录标注结果；说出命名实体识别能挖出哪两类信息。【设计意图】对应知识目标5。中英文路径并列是本环节的核心，学生看到难点位置正好相反，就理解了为什么多语言场景不能套用同一套流程；把产出形态讲清楚，学生知道自己做的每一步在整条链上处于什么位置；逐机确认输出，把个别环境差异在课堂内解决掉。环节五词性标注与命名实体（15分钟）讲授＋板书对比演示讲练结合系统观念：中英文路径难点正相反【教师活动】1.布置任务：把前面学的内容整合成完整脚本，完成多语言商品评论的采集、清洗、过滤与分词。2.示范四段结构：API采集并保存为JSON文件、加载并清洗文本、过滤违规评论、按语言分支分词与标注。3.逐段演示：用requests发送API请求，设置请求头与查询参数，把返回数据保存为JSON文件；用json.load读回数据；定义清洗函数处理HTML标签与特殊符号；遍历评论执行清洗；构建敏感词词典并执行过滤；按语言字段分别走jieba切分与词性标注。4.强调三个常见错误：保存文件时必须写明编码为utf-8，否则中文会变成转义字符；ensure_ascii要设为False才能保留原文；过滤必须在分词之前完成，否则被删掉的文本白切了。5.投屏各环节的处理条数，让学生看到过滤前后数量的变化。6.学生实操期间巡视，重点检查编码参数是否写全、过滤与分词的先后顺序、语言分支判断是否正确。【学生活动】独立实现完整脚本并运行，记录采集条数、过滤后条数、分词条数三个数字；核对三个数字的递减关系；与同桌比对结果条数，差异明显的互相检查过滤条件。【设计意图】对应能力目标1～4，是本次课的综合产出。四段顺序与环节二的采集、环节三的清洗、环节四的分词完全对应，学生在整条链上走一遍而不是分段练习；三个数字递减是可自检的硬指标，学生不依赖教师也能判断流程是否走通；顺序单独强调，是因为它与项目六的先清洗后处理、项目七的先标准化后降维同构，学生在本课程中第四次遇到顺序问题，此处巩固。环节六综合实施：评论清洗与分词（14分钟）项目教学法演示—实操—巡视同伴互校细节意识：编码写错满屏乱码【教师活动】1.引导学生用三句话小结：①文本采集两条路，API稳、爬虫广，两条都要守规矩；②清洗去噪声、过滤挡违规，顺序是先清洗、后过滤、再分词；③分词有词典与统计两条路，快与准各有代价。2.板书知识框架：采集→清洗→过滤→分词→标注，学生拍照记录。3.课程在线教学平台推送当堂检测5题（两条采集途径及优缺点、正则符号含义、过滤与分词的顺序、两类分词差别、中英文路径差别），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务处理图片与视频，请课前思考一段文字和一张图在处理方式上