数据采集与预处理技术 教案 项目八 非结构化数据采集与预处理技术

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号29授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目八任务一文本数据采集与预处理课程思政设计：1.网络法治与合规采集——教材明确要求遵循网站robots.txt协议、合理设置请求频率。课堂把合规要求讲在技术实现之前，讲清爬虫不是想爬什么就爬什么，采集范围是任务所需字段而不是整站数据。2.数据安全与社会责任——敏感词过滤不只是技术动作。平台日均200万条评论里混杂违禁信息与虚假宣传内容，严重污染内容生态并带来合规风险。课堂讲清过滤是平台的法定义务，不是可选项。3.工匠精神与细节意识——多语言文本在编码、字符集、文本规范上存在差异，一个不留神就是满屏乱码。课堂要求统一转为UTF-8编码并当场验证，讲清乱码一旦产生就难以还原。4.辩证思维与方法选择——词典分词快但认不出新词，统计分词准但要大量标注数据。课堂讲清两种方法各有代价，选择依据是场景而不是优劣。教学目标：知识目标：能说出文本数据采集的两条主要途径及其各自的优缺点；能说出多语言数据在编码、字符集、文本规范三个方面的差异，以及统一转为UTF-8编码的做法与理由；能说出文本清洗中噪声字符与敏感信息两类处理对象的具体内容与处理方法；能说出基于词典匹配与基于统计机器学习两类分词方法的原理与各自缺点；能说出词性标注与命名实体识别各自的作用。能力目标：能用requests发送API请求，设置请求头与查询参数，并把返回的评论数据保存为JSON文件；能用re.sub去除HTML标签与特殊符号；能构建敏感词词典并实现违规评论过滤函数；能用jieba对中文评论做分词处理；能按语言字段区分中英文评论并分别走切分与标注两条分支。素质目标：养成采集前先看robots协议与频率限制的习惯，不拿到数据就往下做；养成处理多语言文本前先统一编码的习惯；养成敏感内容必须过滤后才入库的习惯，不把原始评论直接送进分析环节。教学重难点及解决方法：教学重点：文本清洗两条正则表达式的写法；敏感词词典过滤函数的实现；jieba分词与按语言分支处理。教学难点：基于词典与基于统计两类分词方法的选择依据；多语言编码差异导致乱码的排查。学生容易把分词当成一句函数调用而不知道背后有两条技术路线，对保存文件时不写编码参数会写出转义字符这一点也容易忽略。解决方法：针对难点：把直播带货这类新词写在黑板上，问词典分词会切成什么，学生自己发现词典里没有就切不出来，再讲统计方法靠字的组合概率识别边界；乱码用反例演示——先用错误编码打开一个UTF-8文件并投屏乱码，再改回UTF-8投屏正常文本，两屏并列说明不可逆。针对重点问题：采用边讲边练，每讲完一条正则或一个函数即在课程在线教学平台推送1～2道限时练习当堂消化；把整个流程整理成采集—清洗—过滤—分词—标注五步固定流程，每步都有可打印的处理条数，学生能自行判断进度；实操期间教师巡视，重点检查保存文件时是否写了编码参数、过滤与分词的先后顺序；课后按练习正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（requests、re、json、jieba、NLTK）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode。数据与素材：教材示例多语言商品评论数据（twitter_comments.json，含中英文评论与语言字段）。教学资源：①教材《数据采集与预处理技术》第209–211页正文、示例代码与配套数据集；②本课程课件与演示代码（含API采集脚本、清洗与过滤脚本、分词标注脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交评论采集与预处理完整脚本，按采集完成度、清洗与过滤正确性、分词结果三项评分；②随堂测验：下课前5题（两条采集途径、正则含义、过滤与分词的顺序、两类分词差别），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交完整脚本与运行截图，附采集条数、过滤后条数、分词条数三个数字。课前预习：平台3道诊断题（爬虫与API的差别、常见编码），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接项目七：上一项目用sklearn完成了标准化、归一化与降维，处理的是表格里的数字。提问：如果数据不是表格而是一段话、一张图、一段录音，这些办法还管用吗？2.给出本次任务情境：某国际电商平台日均产生200万条涵盖多语言的用户评论，这些评论是洞察用户心声、优化商品与服务的宝贵资源。3.点明问题：其中混杂着无意义字符、重复内容乃至违禁信息和虚假宣传内容，严重污染了平台的内容生态，带来了巨大的合规风险。4.投屏几条原始评论样例，让学生逐条指出里面哪些是无意义字符、哪些可能是违规内容。5.讲清本次课要解决的两件事：怎么把文本合规地采回来，怎么把采回来的原始文本处理成可供分析的高质量语料。6.点明本任务流程：API与爬虫采集→正则清洗→敏感词过滤→分词与词性标注。【学生活动】口述项目七处理过的三类尺度问题；看投屏的原始评论，逐条指出噪声与可能的违规内容；对比表格数据与文本数据在结构上的差别。【设计意图】对应知识目标1与能力目标1。以项目七刚处理完的数值型数据为参照，学生在上一项目建立的处理流程在这一环节失效，认知冲突自然产生；先让学生自己在原始评论里挑出问题，后面的清洗与过滤动作才有明确对象；把采集与预处理两件事分开讲，学生知道本任务包含两个性质不同的阶段，直接回应思政中的网络法治。环节一任务情境：200万条评论怎么变成语料（8分钟）任务驱动法直观演示法（投屏＋数据）网络法治：采集要合规不是想爬就爬【教师活动】1.讲网络爬虫技术：针对电商平台、社交媒体等网页数据，运用Scrapy、BeautifulSoup等工具爬取用户评论、商品描述等文本信息。2.强调三条注意事项：遵循网站robots.txt协议；合理设置请求频率，避免对目标网站造成过大访问压力；可设置随机的请求头和代理IP，模拟真实用户浏览器行为，提高爬虫的稳定性和成功率。3.讲API接口调用：利用社交媒体平台、跨境电商平台提供的开放API，如微博API、TwitterAPI、亚马逊电商开放API等，以结构化方式获取文本数据。4.讲API方式的要求：通常需要申请API密钥，遵循其数据获取规则和频率限制。5.并列两条路的优缺点并板书对照：通过API获取的数据质量较高、稳定性较好，能有效避免爬虫可能面临的法律风险和数据格式不一致问题；爬虫则覆盖面更广且不需要申请密钥。6.讲多语言数据采集的三个挑战：不同语言文本在编码、字符集、文本规范上存在差异。7.讲应对办法：在采集过程中要确保正确识别和转换字符编码，防止出现乱码问题，常用的方法是统一将文本转为UTF-8编码格式。8.提问：为什么统一编码要放在采集阶段而不是留到后面？引导学生说出乱码一旦产生就难以还原。【学生活动】记录两条路各自的优缺点；说出API方式需要申请什么、要遵守什么；说出统一编码为什么必须在采集阶段完成。【设计意图】对应知识目标1、2。两条路并列讲，学生先知道有得选，后面讲API实操时清楚自己选的是哪一条；把法律风险讲在爬虫项里而不是留到最后，直接落实思政中的网络法治；统一编码放在采集阶段讲，是因为它与乱码不可逆直接相关，学生的理解落在流程顺序上而不是孤立知识点上。环节二文本数据采集两条路（15分钟）讲授＋板书对比讲授案例分析规范意识：频率与协议都要守【教师活动】1.讲噪声字符的三类：HTML标签、特殊符号、无意义的空白字符。2.讲去除办法：利用正则表达式匹配并剔除HTML标签模式，使文本保留纯文本内容。3.板演两条正则并逐段说明每个符号的含义：第一条用re.sub去掉HTML标签，其中点表示任意字符、星号表示重复、问号表示非贪婪匹配；第二条用re.sub去掉特殊符号，其中方括号内加脱字符表示取反，字母w与字母s分别代表字母数字下划线与空白字符。4.现场演示：对一条含标签的评论执行清洗，投屏清洗前后两段文本。5.讲过滤敏感信息：识别并屏蔽违禁词、虚假宣传词等，构建敏感词词典，通过字符串匹配及时检测文本中的违规内容，一旦发现立即进行替换或直接删除。6.讲替换与删除两种处理的选择：替换保留评论的其余信息，删除则整条丢弃。让学生先讨论，再说明本案例选择删除。7.演示敏感词词典的写法与过滤函数的结构：遍历每条评论，判断文本中是否包含敏感词，包含则跳过，不包含则加入结果列表。8.强调词典规模：实际应用中词典规模更大且不断更新，课堂示例只放三个词是为了讲清结构。【学生活动】跟做两条正则，记录清洗前后的文本；说出替换与删除两种处理的差别；在自己机器上构造一个含三个词的词典并跑通过滤函数。【设计意图】对应能力目标2、3。两条正则逐符号讲清，学生以后改规则时知道动哪里，而不是死记硬背；清洗前后投屏对比，学生看到的是可观察的结果而不是抽象描述；替换与删除的选择单独拿出来讨论，把技术动作讲成业务取舍，直接落实思政中的数据安全。环节三文本清洗：正则与敏感词（18分钟）讲授＋板演讲练结合（投屏＋Jupyter）数据安全：违规内容必须先过滤【教师活动】1.讲基于词典匹配的分词：采用预先构建的词典，将文本切分成独立的词汇单元。讲优点：简单高效。讲缺点：对新词的识别能力较弱，需要定期更新词典以适应语言的发展变化。2.举例：把直播带货这类新词写在黑板上，问词典里没有它时会切成什么，让学生自己说出会被切成单个的字。3.讲基于统计与机器学习的分词：如条件随机场模型、神经网络分词模型。讲原理：这类方法通过学习文本的统计特征自动识别词汇边界。讲优点：对新词和未登录词有较好的识别效果。讲缺点：模型训练需要大量标注数据，且计算资源需求相对较高。4.并列两种方法的优缺点并板书对照。5.讲本案例的选择：中文评论用jieba分词，它结合了词典与统计两类思路，开箱即用，适合作入门工具。6.演示jieba用法：导入jieba，对每条评论调用切分方法并把结果转成列表存入新字段。7.讲语言分支：按评论的语言字段判断，中文走jieba切分，英文走词性标注，本环节先讲中文分支。【学生活动】说出词典分词遇到新词会出什么问题；记录两种分词方法各自的代价；跟做jieba分词，记录切分结果。【设计意图】对应知识目标4，落实能力目标4。新词的例子是理解两类方法差别的关键，学生自己说出切不出来的结论，理解才落在方法本身而不是结论上；两种方法的代价并列板书，直接落实思政中的辩证思维；按语言分支处理这一步单独讲，是因为它是多语言场景的通用写法，学生以后遇到新语种知道该往哪里加分支。环节四分词技术两条路线（15分钟）讲授＋板书对比讲授讲练结合辩证思维：快与准各有代价【教师活动】1.讲词性标注方法：运用Brill算法、HMM模型等对分词后的词汇标注词性。2.讲作用：准确的词性标注有助于后续的语法分析和语义理解，从而提取文本中的关键信息成分。3.讲命名实体识别技术：借助深度学习模型识别文本中的人名、地名、商品品牌等实体信息。4.讲作用：这对于挖掘用户的地域偏好、品牌关注点等具有重要意义。5.演示对英文评论调用NLTK库做词性标注，说明英文分词靠空格、难点在标注，与中文难点在切分正好相反。6.并列中文与英文两条处理路径的差别并板书：中文先切分再标注，英文直接标注。7.讲本案例的产出形态：清洗后的评论文本、分词结果列表、词性标注结果，三者共同构成后续语义分析与情感计算的输入。8.让全班跑通英文分支的词性标注，教师逐机确认输出。【学生活动】记录中英文两条处理路径的差别；跟做英文词性标注，记录标注结果；说出命名实体识别能挖出哪两类信息。【设计意图】对应知识目标5。中英文路径并列是本环节的核心，学生看到难点位置正好相反，就理解了为什么多语言场景不能套用同一套流程；把产出形态讲清楚，学生知道自己做的每一步在整条链上处于什么位置；逐机确认输出，把个别环境差异在课堂内解决掉。环节五词性标注与命名实体（15分钟）讲授＋板书对比演示讲练结合系统观念：中英文路径难点正相反【教师活动】1.布置任务：把前面学的内容整合成完整脚本，完成多语言商品评论的采集、清洗、过滤与分词。2.示范四段结构：API采集并保存为JSON文件、加载并清洗文本、过滤违规评论、按语言分支分词与标注。3.逐段演示：用requests发送API请求，设置请求头与查询参数，把返回数据保存为JSON文件；用json.load读回数据；定义清洗函数处理HTML标签与特殊符号；遍历评论执行清洗；构建敏感词词典并执行过滤；按语言字段分别走jieba切分与词性标注。4.强调三个常见错误：保存文件时必须写明编码为utf-8，否则中文会变成转义字符；ensure_ascii要设为False才能保留原文；过滤必须在分词之前完成，否则被删掉的文本白切了。5.投屏各环节的处理条数，让学生看到过滤前后数量的变化。6.学生实操期间巡视，重点检查编码参数是否写全、过滤与分词的先后顺序、语言分支判断是否正确。【学生活动】独立实现完整脚本并运行，记录采集条数、过滤后条数、分词条数三个数字；核对三个数字的递减关系；与同桌比对结果条数，差异明显的互相检查过滤条件。【设计意图】对应能力目标1～4，是本次课的综合产出。四段顺序与环节二的采集、环节三的清洗、环节四的分词完全对应，学生在整条链上走一遍而不是分段练习；三个数字递减是可自检的硬指标，学生不依赖教师也能判断流程是否走通；顺序单独强调，是因为它与项目六的先清洗后处理、项目七的先标准化后降维同构，学生在本课程中第四次遇到顺序问题，此处巩固。环节六综合实施：评论清洗与分词（14分钟）项目教学法演示—实操—巡视同伴互校细节意识：编码写错满屏乱码【教师活动】1.引导学生用三句话小结：①文本采集两条路，API稳、爬虫广，两条都要守规矩；②清洗去噪声、过滤挡违规，顺序是先清洗、后过滤、再分词；③分词有词典与统计两条路，快与准各有代价。2.板书知识框架：采集→清洗→过滤→分词→标注，学生拍照记录。3.课程在线教学平台推送当堂检测5题（两条采集途径及优缺点、正则符号含义、过滤与分词的顺序、两类分词差别、中英文路径差别），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务处理图片与视频，请课前思考一段文字和一张图在处理方式上的差别。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～5，属形成性评价。三句话小结把本任务压缩成三条可复述的准则，其中第二条专门承载流程顺序；知识框架与环节二的两条采集路、环节四的两条分词路对应，学生能在项目八内部形成统一图景；预告下一任务时用文字与图片的差别制造衔接，保持整条链的连续性。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目八任务一（第209–211页），标注不理解的代码行。2.复习项目四的网络爬虫知识，本节在文本场景下沿用其中的合规要求。3.完成课程在线教学平台3道课前诊断题（爬虫与API的差别、常见文本编码），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第209–211页本节练习。2.提交评论采集与预处理完整脚本与运行截图，附采集条数、过滤后条数、分词条数三个数字。二、拓展提升（选做，A／B二选一）A.把敏感词处理由删除改为替换，重做一遍，对比两种方式下保留的评论条数与文本内容差别。B.在词典中补充五个自己认为常见的违规词后重跑，记录过滤条数的变化并说明词典更新对结果的影响。三、思政拓展（选做）结合本次课讲的robots协议与请求频率，写100字感想，谈谈用爬虫采集数据时守住法律与伦理边界为什么比拿到数据更重要。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号30授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目八任务二图像和视频数据采集与预处理课程思政设计：1.版权意识与授权边界——教材明确要求注意图片的版权问题、遵循网站的使用条款、避免侵权纠纷。课堂把授权讲在采集之前，讲清批量下载不等于有权使用。2.责任意识与内容把关——平台面临着图片模糊、内容与商品无关、甚至包含未授权品牌标识等侵权元素的严峻挑战，这些问题直接影响内容的有效性和用户体验，甚至可能引发法律纠纷。课堂讲清自动化处理是平台的把关责任而不是可选项。3.辩证思维与存储权衡——视频码率和分辨率要在存储空间与画质需求之间取得平衡。课堂讲清技术参数都是取舍，没有一组参数适用于所有场景。4.个人信息保护——图像中的人物与视频中的人物画面属于个人信息，处理须授权、须脱敏。课堂明确教学演示用教材样例素材，不涉及真实人物画面。教学目标：知识目标：能说出图像和视频数据采集的三条途径及其各自的注意事项；能说出图像增强的三种常用方法及其适用情形；能说出目标检测与图像语义分割在输出形态上的区别；能说出视频切片抽帧的作用与固定间隔抽取关键帧的思路；能说出光流法在视频内容识别中的作用；能说出视频码率与分辨率的权衡原则。能力目标：能用PIL打开图片文件并做对比度调整；能实现批量图像增强函数并遍历整个输入目录；能在输出目录不存在时自动创建；能说明FFmpeg在格式转换与视频抽帧中的作用；能说出YOLOv5与U-Net两个模型各自解决什么问题。素质目标：养成采集图片前先确认版权与使用条款的习惯，不下载了就用；养成处理前先判断画质是否需要增强的习惯，不一律套增强；养成在存储空间与画质之间做明确取舍的习惯，并能说出取舍理由。教学重难点及解决方法：教学重点：批量图像增强函数的实现；遍历目录与自动创建输出目录；目标检测与语义分割的分工。教学难点：目标检测与语义分割的区别；视频码率与分辨率的权衡。学生容易把两种图像理解技术混为一谈，对增强参数不是越大越好这一点也常凭直觉判断。解决方法：针对难点：拿同一张商品图并列投屏两种结果——目标检测给出一个边框和标签，语义分割把商品、背景、人物分别涂成不同颜色，学生看图就知道一个管图里有什么、一个管每一块像素是什么；权衡用一组数字讲清：同样十分钟的视频，高码率清晰但占用大，低码率省空间但细节丢失，学生按平台场景自行选择并说明理由。针对重点问题：采用边讲边练，每讲完一种增强方法或一段代码，即在课程在线教学平台推送1～2道限时练习当堂消化；把采集—增强—检测—抽帧整理成四步固定流程，每步都有可观察的输出；实操期间教师巡视，重点检查输出目录是否自动创建、增强参数是否说明过理由；课后按练习正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（PIL、os）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode、FFmpeg、图像浏览工具。数据与素材：教材示例商品图片集（raw_images目录，含清晰与模糊两类样本）、样例开箱视频。教学资源：①教材《数据采集与预处理技术》第212–213页正文、示例代码与配套素材；②本课程课件与演示代码（含批量增强脚本、目标检测与语义分割对比图、抽帧脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交批量图像增强脚本与增强结果，按目录处理完整性、参数选择理由、输出正确性三项评分；②随堂测验：下课前5题（三条采集途径、三种增强方法、目标检测与语义分割的区别、码率权衡），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交完整脚本与增强前后对比图，附所调参数与理由。课前预习：平台3道诊断题（图片版权与采集途径），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务一：上一任务把杂乱的评论文本清洗成了可供分析的语料。提问：换成图片和视频，还能用正则去噪吗？2.给出本次任务情境：用户日均上传的50万张商品实拍图与大量开箱视频，以其生动、直观的特点，极大地增强了商品展示的真实感与说服力。3.点明问题：平台同时面临着图片模糊、内容与商品无关，甚至包含未授权品牌标识等侵权元素的严峻挑战，这些问题直接影响内容的有效性和用户体验，甚至可能引发法律纠纷。4.投屏一组对比图：清晰商品图、模糊商品图、含无关内容的图各一张，让学生逐张判断是否可用。5.追问：50万张图靠人一张张看要多久？引导学生说出必须自动化处理。6.点明本任务：建立一套针对图像和视频媒体的自动化处理管线，包括采集、格式统一、质量增强与内容识别四个环节。【学生活动】口述上一任务文本预处理的四个步骤；逐张判断投屏图片是否可用并说明理由；估算人工审核50万张图所需时间。【设计意图】对应知识目标1。以任务一刚建立的文本处理流程为参照，学生自然会尝试套用，随即发现正则等办法对图片无效，认知冲突来自媒介形态的差别；先让学生自己判断图片可用与否，后面的质量增强与内容识别才有明确判据；用50万这个数量级把自动化讲成必然选择而不是技术偏好，直接回应思政中的内容把关。环节一任务情境：50万张实拍图怎么自动把关（8分钟）任务驱动法直观演示法（投屏＋图片对比）责任意识：内容把关是平台责任【教师活动】1.讲网络图片爬取：借助图像爬虫工具从电商平台、论坛等网站批量获取商品图片。2.强调两条约束：注意图片的版权问题，遵循网站的使用条款，避免侵权纠纷。3.讲提高采集质量的做法：在爬取过程中可通过设置过滤条件提高采集图片的质量和相关性，例如只爬取分辨率高于一定阈值的图片，以确保图片的可用性。4.讲视频流采集：通过FFmpeg等工具采集用户上传的视频流，可对视频进行实时转码、格式转换，以统一存储格式，并提取关键帧进行初步内容分析。5.讲采集过程中的权衡：要合理控制视频码率和分辨率，平衡存储空间和画质需求，在保证视频内容可识别的前提下，尽量减少存储空间占用。6.讲电商平台图片视频API：部分电商平台开放了商品图片视频的API，允许开发者按照规定的权限和配额获取相关数据；这种方式获取的数据具有较高的组织性和规范性，便于后续处理。7.讲API方式的约束：要注意API的使用限制和数据授权范围，确保合规使用数据。8.并列三条途径的优缺点并板书对照，强调共同前提都是合规。【学生活动】记录三条途径各自的约束条件；说出分辨率阈值过滤的作用；说出码率与分辨率的权衡原则。【设计意图】对应知识目标1。三条途径都是在讲采集，但每条的注意点不同：图片侧重版权、视频侧重存储、API侧重授权范围，分开讲学生才知道约束在哪一层；把版权讲在技术实现之前，直接落实思政中的版权意识；码率与分辨率的权衡单独成句，为环节五讲视频处理预埋依据。环节二图像视频采集三条路（15分钟）讲授＋板书对比讲授案例分析版权意识：下载不等于有权使用【教师活动】1.讲图像增强的目的：采用直方图均衡化、对比度调整、锐化等方法提升图像质量，使模糊图片更清晰，细节更突出。2.讲直方图均衡化：对于暗部细节较多的商品图片，可通过直方图均衡化增强其对比度，让商品特征更明显。投屏同一张暗部图的增强前后两版。3.讲对比度调整：直接改变明暗差异，适合整体偏灰的图片。投屏增强前后两版。4.讲锐化：突出边缘与纹理，适合细节模糊的图片。投屏增强前后两版。5.并列三种方法的适用情形并板书对照，强调方法选择要看图片问题出在哪，不是一律套用。6.示范PIL的用法并逐句讲解：从PIL导入Image与ImageEnhance；定义增强函数，先判断输出目录是否存在，不存在则创建；遍历输入目录下的每个文件；拼接完整路径并打开图片；构造对比度增强器；调用增强方法增强；保存到输出目录。7.讲参数含义：本例增强倍数取1.5，表示把原有对比度放大到1.5倍；取1.0则不变，取值过大反而会丢掉暗部与亮部细节。8.让学生把参数分别改成1.0与3.0各跑一次，对比三张结果图。【学生活动】记录三种增强方法各自的适用情形；跟做批量增强，记录处理的文件数量；把参数改成1.0与3.0各跑一次，说出三张结果图的差别。【设计意图】对应能力目标1、2、3。三种方法并列讲并各自投屏，学生看到效果差别才知道方法是针对问题选的；把参数讲成可调取值而不是固定写法，学生用1.0与3.0各跑一遍就能自己得出结论，直接落实思政中的辩证思维；自动创建输出目录这一步单独讲清，是因为它是批量处理脚本的通用骨架，学生以后写别的批量任务能直接复用。环节三图像增强三种方法（18分钟）对比演示讲练结合（投屏＋Python）辩证思维：增强不是越大越好【教师活动】1.讲目标检测与识别：运用卷积神经网络模型识别图像中的商品主体、违禁物品；在大量标注数据上训练模型后，模型能够准确定位并识别图片中的关键物体，从而实现对违规内容的筛选和过滤。2.讲输出形态：目标检测给出的是边框与标签，回答图里有什么、在哪里。3.讲图像语义分割：利用U-Net等模型对图像进行像素级分类，区分商品、背景、人物等不同区域。4.讲输出形态：语义分割给出的是每个像素属于哪一类，回答每一块是什么。5.并列两者并板书对照：一个是框级，一个是像素级。6.讲语义分割的用途：为后续的内容理解分析提供更细致的图像信息，例如分析商品在图片中的占比和位置，评估图片的构图合理性。7.投屏同一张商品图的目标检测结果图与语义分割结果图，让学生自己说出两张图分别回答了什么问题。8.讲本案例中的作用：目标检测负责筛出含违禁物品的图片，语义分割负责判断商品在图中的占比是否合理，两者共同完成内容把关。9.提醒模型前提：这类模型需要在大量标注数据上训练，课堂演示使用现成结果，重点是让学生看懂输出形态而不是训练过程。【学生活动】观察两张结果图，说出它们分别回答了什么问题；说出目标检测与语义分割在输出形态上的区别；说出语义分割能支撑的两项分析。【设计意图】对应知识目标3。同一张图的两种结果并列投屏是本环节的核心，学生看到图就能说出差别，比文字定义有效得多；把用途讲成内容把关的两道关卡，学生会用而不是只会说名词；提醒模型前提，避免学生误以为课堂演示等于自己训练了模型，直接落实思政中的求实态度。环节四目标检测与语义分割（18分钟）对比演示直观演示法（投屏＋结果图）求实态度：看懂输出不等于会训练【教师活动】1.讲视频切片与抽帧：根据视频时长和内容特点，将视频分割为多个片段，并按固定间隔抽取关键帧图片，便于后续分析处理。2.举教材例子：对于开箱视频，可根据时间每隔几秒抽取一帧，生成一系列能够反映视频内容的图片序列。3.讲抽帧的价值：把连续视频转成离散图片序列，减少数据处理量，同时让后续的图像分析方法可以直接复用。4.讲视频内容识别：结合光流法分析视频动作特征，识别视频中的人物行为和场景变化，判断视频是否包含违规内容或与商品无关的片段。5.讲音视频同步分析：利用音视频同步分析技术，关联视频画面和音频解说，更全面理解视频主题和内容重点。6.讲三条的衔接：切片抽帧解决数据量大，光流法解决动作识别，音视频同步解决单靠画面看不全。7.提问：一段十分钟的开箱视频，抽帧间隔设几秒合适？让学生按总帧数算一笔账，教师补充说明间隔太大漏内容、太小则浪费存储。8.讲与安全意识的连接：视频中出现人物画面时涉及个人信息，处理须先确认授权范围。【学生活动】记录抽帧间隔与总帧数的对应关系；说出光流法能识别的两类内容；讨论十分钟视频的抽帧间隔并说明理由。【设计意图】对应知识目标4、5、6。三条技术按解决的问题排列，学生记住的先是问题再是方法；抽帧间隔的算法交给学生自己算，把固定间隔从一个参数变成可讨论的决策；个人信息提醒放在视频内容识别之后讲，是因为学生刚看到人物行为分析，此时提出授权问题最自然，直接落实思政中的个人信息保护。环节五视频切片抽帧与内容识别（13分钟）讲授＋板书问题驱动法讲练结合个人信息保护：人物画面须先确认授权【教师活动】1.布置任务：把前面学的内容整合成完整脚本，完成商品图片的批量增强处理。2.示范三段结构：导入工具与设定目录、定义批量增强函数、调用函数并处理整个目录。3.逐段演示并说明每段的输出：第一段导入PIL的Image与ImageEnhance以及os，设定输入目录与输出目录两个变量；第二段定义函数，先判断输出目录是否存在、不存在则创建，再遍历目录逐个处理；第三段调用函数，传入两个目录名。4.投屏执行结果，让学生数出输出目录中的文件数量是否与输入目录一致。5.讲三个常见错误：目录中若混入非图片文件会在打开时报错；输出目录与输入目录同名会覆盖原图；增强倍数取值过大细节会丢失。6.学生实操期间巡视，重点检查输出目录设定、增强倍数理由、是否对全部文件执行了处理。7.收尾讲本案例的落脚点：批量增强把模糊的实拍图变得清晰可用，为后续的目标检测与内容把关提供了合格输入。【学生活动】独立实现完整脚本并运行，记录处理的文件数量；核对输出目录文件数与输入目录是否一致；与同桌比对增强倍数与结果图，差异明显的互相检查目录设定。【设计意图】对应能力目标1、2、3，是本次课的综合产出。文件数量一致是可自检的硬指标，学生不依赖教师也能判断批量处理有没有漏；三个常见错误单独点名，让学生的检查有明确目标；与同桌比对增强倍数制造同伴校验，把个人错误在课堂内消化掉；收尾把增强接到内容把关上，让学生知道自己这一步在整条管线里的位置。环节六综合实施：批量图像增强（13分钟）项目教学法演示—实操—巡视同伴互校规范意识：先建目录再写文件【教师活动】1.引导学生用三句话小结：①图像视频采集三条路，共同前提是合规；②增强有三种方法，选哪个看问题出在哪，参数不是越大越好；③目标检测管图里有什么，语义分割管每块像素是什么。2.板书知识框架：采集→增强→检测→分割→抽帧，学生拍照记录。3.课程在线教学平台推送当堂检测5题（三条采集途径、三种增强方法、目标检测与语义分割的区别、抽帧作用、码率权衡），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务处理音频，请课前思考一段录音和一张图在处理方式上的差别。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～6，属形成性评价。三句话小结把本任务压缩成三条可复述的准则，其中第二条承载辩证思维；知识框架与环节二的三条采集路、环节四的两种图像理解技术对应，学生能在项目内形成统一图景；预告下一任务时用录音与图片的差别制造衔接，保持整条链的连续性。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目八任务二（第212–213页），标注不理解的代码行。2.复习任务一的文本预处理流程，本节在图像场景下沿用其中的顺序意识。3.完成课程在线教学平台3道课前诊断题（图片版权与三条采集途径），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第212–213页本节练习。2.提交批量图像增强脚本与增强前后对比图，附所调增强倍数与理由。二、拓展提升（选做，A／B二选一）A.把增强倍数分别改为0.5、1.5、2.5各跑一次，对比三张结果图并说明哪个取值适合本批图片。B.在输入目录中混入一个非图片文件，观察程序报错信息，说明加一句文件类型判断能怎样避免中断。三、思政拓展（选做）结合本次课讲的图片版权与使用条款，写100字感想，谈谈在批量采集商品图片时怎样既完成任务又不踩侵权红线。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号31授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目八任务三音频数据采集与预处理课程思政设计：1.个人信息保护与授权前提——声纹属于敏感个人信息，采集须授权、处理须脱敏。课堂把授权讲在技术实现之前，明确本任务只讲原理与用途，不做真实声纹采集。2.技术向善与合规使用——教材技能强化场景包含教学合规风险，课堂讲清内容识别的目的是保障教学质量与学习体验，不是用来监控个人，技术用途要有边界。3.辩证思维与传统现代——传统语音识别方法泛化能力弱，深度学习方法需要大量数据与算力。课堂讲清两类方法各有代价，选择依据是场景而不是新旧。4.前沿视野与隐私计算——教材聚焦前沿提到边缘计算与联邦学习，课堂讲清技术进步与隐私保护可以并行，数据处理能力提升了不等于可以放弃授权。教学目标：知识目标：能说出音频数据采集的三条途径及其各自的适用场景；能说出噪声抑制与回声消除两项语音增强技术各自的适用场合；能说出传统语音识别方法与深度学习语音识别框架的原理与各自局限；能说出声纹识别的两个步骤，以及说话人辨认与说话人确认的区别；能说出梅尔频率倒谱系数与线性预测倒谱系数在语音处理中的作用；能说出非结构化数据预处理与大模型结合的三个应用方向。能力目标：能用librosa加载音频文件并指定采样率；能构造叠加噪声的训练样本并完成语音增强演示；能调用语音识别API把客服通话录音转录为文本；能说明语音识别客户端初始化所需的三项配置与语种参数的含义；能说出音频经转录变成文本后如何接入文本预处理流程。素质目标：养成处理音频前先确认授权范围的习惯，不拿到录音就往下做；养成先降噪再转录的习惯，顺序不清会导致结果不可用；养成说明技术局限的习惯，不只说自己用了哪种方法。教学重难点及解决方法：教学重点：语音增强与语音识别的先后顺序；librosa加载音频与API转录的代码实现；声纹识别的两个步骤。教学难点：梅尔频率倒谱系数与线性预测倒谱系数在语音处理中的作用；传统与深度学习两类语音识别方法的选择。学生容易把特征提取当成黑箱，对不降噪直接转录会导致错字明显增多这一点缺乏直观认识。解决方法：针对难点：用同一段含噪音频走两条路并列投屏两条转录文本——不降噪直接转录的结果错字连篇，降噪后的可读，学生自己比对就能得出顺序结论；两类识别方法用对比表讲清，一个依赖人工设计特征加声学语言模型、泛化弱，一个靠大规模数据训练、适应多口音多语速但吃数据与算力。针对重点问题：采用边讲边练，每讲完一段代码即在课程在线教学平台推送1～2道限时练习当堂消化；把采集—增强—转录—声纹整理成四步固定流程，每步都有可观察的输出；实操期间教师巡视，重点检查采样率参数、增强与转录的先后顺序、语种参数是否正确；课后按练习正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影、广播教学软件与音响；Python3.9运行环境（librosa、numpy、tensorflow、aip）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode、音频播放工具。数据与素材：教材示例音频文件（live_audio.wav直播音频、customer_service_call.wav客服通话录音）。教学资源：①教材《数据采集与预处理技术》第214–219页正文、示例代码、项目小结与技能强化案例；②本课程课件与演示代码（含语音增强脚本、API转录脚本、两条转录文本对照）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交语音增强与音频转录完整脚本，按增强执行情况、转录结果、顺序正确性三项评分；②随堂测验：下课前5题（三条采集途径、两项增强技术、两类识别方法、声纹两步、辨认与确认），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交完整脚本与运行截图，附降噪前后两条转录文本的对比。课前预习：平台3道诊断题（音频采集途径、采样率概念），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务二：上一任务把50万张实拍图变得清晰可用。提问：换成一段录音，还能用直方图均衡化吗？2.给出本次任务情境：日均10万小时的直播带货音频与客服通话录音，是分析用户需求、评估客服质量、挖掘商业线索的数据富矿。3.点明问题：这些音频数据通常录制于复杂的声学环境，充斥着背景噪声、无关对话和回声干扰，且可能包含敏感信息或虚假宣传，其价值挖掘面临巨大技术挑战。4.播放一段含背景噪声的音频片段，让学生试着听清其中在说什么。5.讲清本次课要解决的两件事：怎么把音频采回来，怎么把音频转成可分析的文本与其他特征。6.点明本任务流程：采集→语音增强→语音识别转录→声纹识别。7.强调本任务是项目八的收尾，也是与任务一的衔接点：音频转成文本后，就能直接用任务一学的分词与词性标注继续处理。【学生活动】口述任务二处理图像的四个环节；试听含噪音频并说出听清了多少内容；对录音与图片在处理方式上的差别给出猜想。【设计意图】对应知识目标1。以任务二的图像增强为参照，学生自然会尝试套用，随即发现对音频无效，认知冲突来自媒介形态的差别；先让学生亲耳听不清，后面的降噪环节才有明确必要性；把与任务一的衔接提前点明，学生知道自己做的每一步最终会并回文本处理链，直接回应思政中的技术向善。环节一任务情境：10万小时录音怎么变成文本（8分钟）任务驱动法直观演示法（播放＋对比）技术向善：处理是为了挖掘价值【教师活动】1.讲麦克风阵列采集：在直播场景中，可以采用麦克风阵列采集主播和用户的声音，通过波束成形技术抑制背景噪声，突出人声主体，提升音频清晰度；合理布置麦克风位置和数量，结合音频信号处理算法，可有效降低环境噪声干扰，提高语音识别的准确率。2.讲电话录音系统：客服通话系统通常配备专业的电话录音设备，将通话音频实时录制并存储；同时，对录音进行基本预处理，如音频格式转换、去除静音片段等操作，以便后续高效分析处理，确保音频数据的完整性和可用性。3.讲音频流捕获：通过音频接口或虚拟音频设备捕获直播平台、语音聊天应用中的音频流数据，可对音频进行实时监测、录制和分析，及时发现并处理违规语音内容；捕获过程中要确保音频数据的实时性和连续性，避免数据丢失或中断影响分析效果。4.并列三条途径的适用场景并板书对照：麦克风阵列适合直播现场，电话录音系统适合客服场景，音频流捕获适合线上实时监听。5.讲共同前提：音频涉及人声与声纹，采集须先确认授权范围，用途也要先说清楚。6.提问：三条路里哪一条在普通机房里做不了？引导学生说出麦克风阵列与电话录音系统都需要专用设备，课堂实操走音频文件路线。7.讲清本环节与后续环节的关系：采集方式是场景决定的，但不管哪条路采来的音频，后面都要走同一套增强与转录流程。【学生活动】记录三条途径各自的适用场景；说出三条路的共同前提；说出课堂实操为什么走音频文件路线。【设计意图】对应知识目标1。三条途径按场景分列，学生记住的是场景而不是孤立名词；把授权前提讲在技术实现之前，直接落实思政中的个人信息保护；点明课堂只走文件路线，学生不会因为在机房里见不到麦克风阵列而产生认知落差，也为环节六的实操留出合理预期。环节二音频采集三条路（15分钟）讲授＋板书对比讲授案例分析个人信息保护：采集声纹必须先授权【教师活动】1.讲噪声抑制：基于谱减法、深度学习模型去除音频中的背景噪声，保留清晰的人声部分。举例：在嘈杂的直播环境中，利用深度学习模型识别并抑制环境噪声，使主播声音更纯净，提升用户收听体验。2.讲回声消除：在语音通话场景中，采用自适应滤波技术消除回声，避免声音循环干扰，让通话双方声音清晰可辨，确保沟通顺畅。3.并列两项技术的适用场合并板书：噪声抑制针对环境噪声，回声消除针对通话回声，两者解决的是两类不同的干扰。4.讲顺序：增强必须在识别之前完成，噪声不先处理掉，转录出来的文本错字会明显增加。5.演示音频加载：导入librosa；用librosa.load加载音频文件并指定采样率为16000。讲清第二个参数是采样率，16000是语音识别的常用取值。6.演示构造含噪训练数据：生成与音频同形状的随机数作为噪声样本，叠加到原音频上。讲清这是为训练模型造数据的方法，属于数据增强。7.讲模型结构：输入层后接两层一维卷积，第一层64个卷积核用relu，输出层1个卷积核用sigmoid；编译时优化器取adam、损失取均方误差。8.讲训练与预测：用部分数据模拟训练，再对整个音频做预测，把结果展平后保存。9.提醒：本例模型是为讲清流程而简化的，实际应用中的模型要复杂得多。【学生活动】记录两项增强技术的适用场合；跟做音频加载，说出采样率取值；把噪声强度调整后重跑，说出听感差别。【设计意图】对应能力目标1、2，落实知识目标2。两项技术并列讲，学生知道增强不是单一动作；顺序单独成句强调，是因为它是环节四能出好结果的前提；把模型简化这一事实讲明，避免学生误以为课堂演示等同于工业级降噪，直接落实思政中的技术向善与求实态度。环节三语音增强：降噪与回声消除（15分钟）讲授＋板书分步演示讲练结合流程意识：先降噪再转录【教师活动】1.讲传统语音识别方法：利用线性预测倒谱系数、梅尔频率倒谱系数等特征提取方法，结合声学模型和语言模型，将语音信号转换为文本内容。讲优点：在特定语种、特定场景下有一定效果。讲局限：泛化能力相对较弱，对复杂多变的语音环境适应性较差。2.讲两个特征名的作用：LPCC与MFCC提取的是语音信号中的声学特征，是把波形转成可计算向量的关键一步。3.讲深度学习语音识别框架：如百度的DeepSpeech、DeepVoice等，基于RNN、CNN、Transformer等深度学习架构。4.讲优点：通过大规模数据训练实现高准确率语音识别；这些模型能够学习语音信号的复杂特征，适应多种口音、语速和背景环境，显著提升语音转文字的效率和质量。5.并列两类方法并板书对照：传统方法依赖人工设计特征加声学语言模型，深度学习方法靠数据自己学特征。6.演示API调用：从aip导入AipSpeech；配置APP_ID、API_KEY、SECRET_KEY三项；初始化客户端；定义读取音频文件的函数；调用识别方法，传入音频内容、格式与采样率，并设置语种参数；打印结果。7.讲语种参数：dev_pid取1536表示普通话，可根据实际需求选择。8.讲API方式的价值：不需要本地训练模型，适合教学与中小规模场景；代价是依赖网络与服务商，且音频要上传到外部。9.追问：含个人信息的录音能不能直接上传？引导学生说出要先脱敏或先取得同意。【学生活动】记录两类识别方法各自的局限；跟做API转录，记录转录文本；说出语种参数1536的含义；讨论含个人信息的录音该如何处理。【设计意图】对应知识目标3，落实能力目标3、4。两类方法并列讲，学生知道识别也有路线之分而不是只有一种；把API的代价连同价值一起讲，直接落实思政中的辩证思维；追问个人信息录音能不能上传，把技术便利与隐私边界放在一起讨论，是全课思政落点最实的一处。环节四语音识别两条路线（18分钟）对比讲授分步演示讲练结合隐私边界：便利不等于可以上传【教师活动】1.讲特征提取：提取音频中的声学特征，如梅尔频率倒谱系数、线性预测倒谱系数等，这些特征能反映说话人的生理和行为特征，是声纹识别的关键依据。2.讲声纹建模与识别：利用高斯混合模型、支持向量机、深度神经网络等方法对声纹特征建模，形成说话人的声纹模型。3.讲两个任务的区别：说话人辨认是判断说话的人是谁，说话人确认是判断说话的人是不是声称的那个人。4.讲用途：可用于识别不同客服人员或主播的身份，分析其工作表现和语音特点。5.讲合规边界：声纹属于敏感个人信息，用于身份识别前须取得单独同意；课堂只讲原理与用途，不做真实声纹采集，也不保存任何人的声纹模型。6.讲与前面环节的联系：声纹识别用的特征提取方法与环节四讲的语音识别特征提取是同一套MFCC与LPCC，用途不同但来源相同。7.让学生说出辨认与确认的差别，并各举一个应用场景。【学生活动】说出声纹识别的两个步骤；说出辨认与确认的差别并各举一例；说出声纹处理前必须完成的合规动作。【设计意图】对应知识目标4、5。两个任务并列讲清，学生不会把辨认与确认混为一谈；把合规边界单独成句并明确课堂不采集，直接落实思政中的个人信息保护；指出与环节四的共用特征，学生能把两个环节串成一条技术链，