数据采集与预处理技术-P9T1-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号32授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目九任务一AI在数据采集中的应用课程思政设计：1.技术向善与合规底线——AI让爬虫更强，也让越界更容易。课堂讲清强化学习能绕过反爬机制，但绕得过不代表可以做，采集仍须守robots协议与网站服务条款。2.辩证思维与代价意识——AI提升了采集效率，代价是技术门槛与资源消耗上升。课堂讲清不是所有场景都要上AI，能用规则解决的就不必堆模型。3.系统观念与全局意识——六大组件各司其职又互相依赖，任何一个掉链子整条管道就断。课堂讲清单点强不等于整体强。4.求实态度——教材核心实现代码需扫描二维码获取，课堂不伪装成能当场敲代码。教师说明代码来源与获取方式，学生知道演示材料从哪来。教学目标：知识目标：能说出传统数据采集方式面临的四个关键问题及其成因；能说出人工智能应对数据采集难题的三条技术路线及其各自解决的问题；能说出智能数据采集平台包含的六个核心组件及其分工；能说出孤立森林与随机森林在平台中的不同作用；能说出端到端数据采集管道的五个环节及其先后顺序；能说出多模态处理与实时数据流处理在采集体系中的位置。能力目标：能识读智能数据采集平台架构图，说出图中每个组件对应的技术名称与作用；能把一项具体的采集难题对应到合适的AI技术路线上；能按五步顺序复述端到端采集管道的执行过程；能说明实时数据流处理系统与数据质量监控系统各自的保障对象。素质目标：养成先判断场景是否真的需要AI再谈选型的习惯，不为用AI而用AI；养成看架构图先看组件分工再看依赖关系的习惯；养成引用教材配套资源时说明来源的习惯。教学重难点及解决方法：教学重点：传统采集四个难题与AI三条技术路线的对应关系；智能采集平台六大组件的分工。教学难点：架构图中六个组件与具体技术选型的对应；端到端管道五步的先后顺序。学生容易把组件当成六个孤立名词，对管道为什么必须按这个顺序串起来说不出理由。解决方法：针对难点：把图9-1投屏后逐组件追问它不干活会怎样——数据源管理器不动就不知道去哪采、AI爬虫不动动态页面就采不到、NLP处理器不动评论就只是一串字，学生从失效后果反推分工；五步管道用一条数据从进入到入库的旅程串讲，每一步都问这一步不做下一步拿什么，顺序理由由学生自己补出来。针对重点问题：采用边讲边练，每讲完一条难题或一类组件即在课程在线教学平台推送1～2道限时练习当堂消化；把四个难题与三条路线画成一张连线对照表，学生人手一份并当场连线；讲架构时让学生在图上描出一条数据的走向，口述它经过了哪些组件；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教材配套资源（图9-1智能数据采集平台架构图）、演示文稿。数据与素材：教材情境中的大型电商平台购物季场景数据描述（日均访问量10亿次、商品SKU超5000万）。教学资源：①教材《数据采集与预处理技术》第221–222页正文与图9-1智能数据采集平台架构图；②本课程课件（含架构图分解版、四个难题与三条路线连线对照表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。说明：教材本节核心实现代码需扫描二维码获取，课堂以架构识读与流程推演为主，代码由教师从教材配套资源调取后演示。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：在架构图上描出一条数据的走向并口述经过的组件，按组件完整度、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（四个难题、三条技术路线、六大组件、五步管道、实时监控作用），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交连线对照表与五步管道的顺序说明。课前预习：平台3道诊断题（传统采集的难题、常见AI技术名词），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接项目八：上一项目把文本、图像视频、音频三类非结构化数据各自处理成了可分析的形态。提问：如果把数据量翻到全书的顶格，靠前面学的办法还够不够？2.给出本次情境：某大型电商平台在某购物季面临巨大的数据挑战，平台日均访问量突破10亿次，商品SKU超过5000万。3.说明涌入的数据类型：用户行为数据、商品信息、物流轨迹、客服对话等多源异构数据如潮水般涌入。4.点明结论：传统的数据采集方式已无法应对这种规模和复杂度的数据洪流。5.讲本项目的定位：项目九是全书技能拓展，不讲新的基础操作，而是讲人工智能如何给前面学到的采集与预处理提速。6.点明本任务流程：先看传统方式卡在哪，再看AI用什么办法接手，最后看整套智能采集平台怎么搭起来。7.说明本任务的课堂形式：教材本节核心实现代码需扫描二维码获取，课堂以架构识读与流程推演为主，代码由教师从教材配套资源调取后演示。【学生活动】口述项目八处理过的三类非结构化数据；记录本次情境的两个数量级；对本任务为什么不安排上机实操给出猜想。【设计意图】对应知识目标1。以项目八刚处理过的非结构化数据为起点，把规模从单批数据推到全平台洪流，学生在已有经验上直接感受量级变化带来的失效；先讲清本项目的拓展定位，学生不会把AI当成又一套孤立工具；把课堂形式与代码来源讲在开头，学生的预期与后面的教学形式一致，不产生落差，也直接回应思政中的求实态度。环节一情境导入：10亿次访问挡在传统工具前（8分钟）任务驱动法情境导入（投屏＋数据）求实态度：代码有出处不凭空演示【教师活动】1.讲第一个难题数据源异构性：来自Web端、移动App、小程序的数据格式各异，传统工具处理效率低下。举例说明同一份用户行为在三个端上的字段名与结构都不一致。2.讲第二个难题实时性要求：秒杀、直播带货等场景需要毫秒级数据采集和处理，人工配置采集规则已跟不上业务变化。追问：秒杀开始时价格每分钟都在变，靠人改规则来得及吗？3.讲第三个难题数据质量问题：用户评论、商品描述等非结构化数据占比超过60%，仅依靠传统正则表达式难以精准提取关键信息。联系项目八的实操经验说明正则能去标签但抽不出情感。4.讲第四个难题动态网页挑战：竞品价格监控面临反爬机制，JavaScript渲染的动态页面让传统爬虫失效。讲清传统爬虫拿到的是未渲染的空壳页面。5.并列四个难题并板书，逐条标注它卡在采集流程的哪一段。6.提问：四个难题里哪一个靠多写几条规则就能解决？引导学生说出四个都不是靠堆规则能解决的。7.点明过渡：面对这些挑战，平台需要引入人工智能技术，构建智能化数据采集体系，实现数据采集的智能化转型。【学生活动】记录四个难题并各举一个自己见过的例子；说出四个难题分别卡在采集流程的哪一段；对哪一个能靠堆规则解决发表看法。【设计意图】对应知识目标1。四个难题按采集流程分段讲，学生看到问题不是孤立的而是分布在整条链上，后面的AI方案才能逐条对应；把项目八的正则经验拿来做对照，学生用自己亲手做过的事理解新方法的必要性；先问能不能靠堆规则解决，把AI的引入讲成必然选择而不是赶时髦，直接回应思政中的辩证思维。环节二传统采集的四个难题（18分钟）讲授＋板书问题驱动法案例分析辩证思维：堆规则解决不了这四个【教师活动】1.讲第一条路线计算机视觉：利用计算机视觉技术自动识别商品图片中的关键信息。联系项目八的目标检测与语义分割，说明这里是把已学技术用在采集环节而不是处理环节。2.讲第二条路线自然语言处理：通过自然语言处理技术智能解析用户评论中的实体与情感。联系项目八的分词与命名实体识别，说明AI在正则抽不出的情感与实体上补位。3.讲第三条路线强化学习：借助强化学习动态优化爬虫策略以应对反爬虫机制。讲清与前两条的差别——前两条处理采到的数据，这一条处理采数据的动作本身。4.并列三条路线并板书，逐条标注它解决的是四个难题中的哪一个。5.讲清对应关系的交叉性：计算机视觉与非结构化占比高对应，自然语言处理同样对应非结构化难题但对象不同，强化学习对应动态网页挑战，而实时性要求要靠三条路线加后面的流式处理共同解决。6.发下连线对照表，让全班把四个难题与三条路线连起来，教师逐桌检查。7.当场讲评连线错误最多的一组。【学生活动】记录三条路线各自解决的问题；在连线对照表上完成四个难题与三条路线的连线；说出哪一条路线处理的是采集动作本身而不是采集到的数据。【设计意图】对应知识目标2，落实能力目标2。三条路线按处理对象分列，学生不会把计算机视觉与自然语言处理混为一谈；把对应关系讲成交叉而不是一对一，学生理解真实系统里技术是组合使用的；连线练习是本环节的核心动作，学生动手连一遍比听讲记得牢，逐桌检查把理解偏差当场纠正。环节三AI的三件应对武器（18分钟）讲授＋板书连线练习讲练结合系统观念：三条路线各管一段【教师活动】1.投屏图9-1智能数据采集平台架构图，说明本图是本环节的核心识读对象。2.讲第一个组件数据源管理器：统一管理Web端、移动App、小程序等多个数据来源。3.讲第二个组件AI爬虫：承担实际抓取动作，其中集成强化学习策略以应对动态网页。4.讲第三个组件自然语言处理NLP处理器：对用户评论文本做实体与情感解析。5.讲第四个组件计算机视觉CV处理器：对商品图片做内容识别。6.讲第五个组件智能调度器：负责任务排期与资源分配。7.讲第六个组件质量控制器：对采集结果做质量把关。8.讲图中的关键技术与组件的对应：OCR引擎对应PaddleOCR，用于从图片中提取文字；NLP处理器对应BERT，用于文本理解；CV处理器对应ResNet50，用于图像特征提取；强化学习部分对应Q-Network，用于爬虫策略优化；机器学习部分对应随机森林，用于辅助判断；实时数据采集对应Kafka，用于承接数据流。9.逐组件追问：如果这个组件不干活，整条管道会断在哪？让学生从失效后果反推分工。10.让全班在图上描出一条数据从进入到入库的走向。【学生活动】记录六个组件的名称与分工；说出三个关键技术与组件的对应关系；回答每个组件失效时管道会断在哪；在图上描出一条数据的走向。【设计意图】对应知识目标3、4，落实能力目标1。从失效后果反推分工是本环节的核心动作，学生记住的是组件为什么必须存在而不是六个名词；把图里的英文技术名逐个对应到中文组件，学生看到架构图不再发怵；描数据走向让抽象的架构变成一条可跟随的路径，为下一环节讲管道顺序做好准备，直接落实思政中的系统观念。环节四智能采集平台六大组件（16分钟）架构识读直观演示法追问法系统观念：单点强不等于整体强【教师活动】1.点明实施方案的执行顺序，讲清五步不是并列关系而是先后依赖。2.第一步初始化各核心组件：包括数据源管理器、AI爬虫、NLP处理器、CV处理器、智能调度器和质量控制器。讲清这一步必须先做，组件没起来后面无处安放。3.第二步构建端到端的数据采集管道：把上一步的六个组件串成一条可运行的链路。4.第三步实现基于强化学习的智能爬虫，处理动态网页内容：讲清这一步解决的是四个难题中的动态网页挑战。5.第四步通过多模态处理器对商品图文、用户评论文本进行综合分析：讲清这一步同时用上计算机视觉与自然语言处理两条路线。6.第五步搭建实时数据流处理系统和数据质量智能监控系统，确保采集数据的时效性与准确性：讲清这一步解决的是实时性要求。7.逐步追问：这一步不做，下一步拿什么？让学生自己补出顺序理由。8.讲清本方案的落点：全面提升了数据采集的效率和质量。9.让全班按五步复述，教师补充纠正。【学生活动】按五步顺序复述实施方案；说出每一步不做下一步会缺什么；说出第五步解决的是四个难题中的哪一个。【设计意图】对应知识目标5，落实能力目标3。五步按依赖关系串讲而不是按并列关系罗列，学生看到的是一条链而不是五件事；逐步追问不做会怎样，顺序理由由学生自己补出来，理解落在逻辑上而不是记忆上；把每步对应回环节二的四个难题，两个环节形成闭环，学生知道自己学的不是新孤立知识。环节五端到端采集管道五步（15分钟）讲授＋板书追问法讲练结合流程意识：组件没起来管道就跑不动【教师活动】1.讲多模态处理的含义：对商品图文、用户评论文本做综合分析，把图片信息与文字信息放在一起理解。2.讲价值：单看图片不知道用户评价，单看文字不知道商品长什么样，两者合起来才完整。3.讲实时数据流处理系统：对应架构图中的Kafka与Flink，负责承接并转发持续涌入的数据流。讲清它解决的是秒杀、直播带货这类毫秒级场景。4.讲数据质量智能监控系统：对采集结果持续把关，与项目八的内容把关是同一思路，区别是这里监的是流入的数据而不是已存的文件。5.并列两个系统的保障对象并板书：一个保障时效性，一个保障准确性。6.讲两者的关系：流式系统负责快，质量监控负责准，只快不准等于把脏数据放进来，只准不快则赶不上业务节奏。7.讲清本任务的完整闭环：四个难题→三条路线→六大组件→五步管道→两个保障系统。8.提醒合规底线：强化学习能让爬虫绕过反爬机制，但绕得过不代表可以做，采集仍须遵守robots协议与网站服务条款。【学生活动】记录两个系统各自的保障对象；说出只快不准与只准不快的后果；对AI让爬虫变强后该如何约束发表看法。【设计意图】对应知识目标6，落实能力目标4。两个系统并列讲并各自说明保障对象，学生知道快与准是两件事；把只快不准与只准不快的后果讲透，直接落实思政中的辩证思维；合规底线放在最后讲，是因为学生刚看到AI能绕过反爬，此时提出法律与伦理边界最自然也最必要。环节六多模态处理与实时监控（10分钟）对比讲授讲授＋板书归纳小结网络法治：绕得过不等于可以做【教师活动】1.引导学生用三句话小结：①传统采集卡在异构、实时、质量、动态网页四个地方；②AI靠视觉、语言、强化学习三条路线分别接手；③平台由六大组件组成，按五步管道跑起来，靠流式和质控两个系统保快保准。2.板书知识框架：难题→路线→组件→管道→保障，学生拍照记录。3.课程在线教学平台推送当堂检测5题（四个难题、三条路线、六大组件、五步管道、两个系统），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务是本课程的最后一次课，讲AI在数据预处理中的应用，请课前复习项目六讲过的缺失值与异常值处理办法。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～6