数据采集与预处理技术 教案 项目九 技能拓展 AI 赋能数据采集与预处理

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号32授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目九任务一AI在数据采集中的应用课程思政设计：1.技术向善与合规底线——AI让爬虫更强，也让越界更容易。课堂讲清强化学习能绕过反爬机制，但绕得过不代表可以做，采集仍须守robots协议与网站服务条款。2.辩证思维与代价意识——AI提升了采集效率，代价是技术门槛与资源消耗上升。课堂讲清不是所有场景都要上AI，能用规则解决的就不必堆模型。3.系统观念与全局意识——六大组件各司其职又互相依赖，任何一个掉链子整条管道就断。课堂讲清单点强不等于整体强。4.求实态度——教材核心实现代码需扫描二维码获取，课堂不伪装成能当场敲代码。教师说明代码来源与获取方式，学生知道演示材料从哪来。教学目标：知识目标：能说出传统数据采集方式面临的四个关键问题及其成因；能说出人工智能应对数据采集难题的三条技术路线及其各自解决的问题；能说出智能数据采集平台包含的六个核心组件及其分工；能说出孤立森林与随机森林在平台中的不同作用；能说出端到端数据采集管道的五个环节及其先后顺序；能说出多模态处理与实时数据流处理在采集体系中的位置。能力目标：能识读智能数据采集平台架构图，说出图中每个组件对应的技术名称与作用；能把一项具体的采集难题对应到合适的AI技术路线上；能按五步顺序复述端到端采集管道的执行过程；能说明实时数据流处理系统与数据质量监控系统各自的保障对象。素质目标：养成先判断场景是否真的需要AI再谈选型的习惯，不为用AI而用AI；养成看架构图先看组件分工再看依赖关系的习惯；养成引用教材配套资源时说明来源的习惯。教学重难点及解决方法：教学重点：传统采集四个难题与AI三条技术路线的对应关系；智能采集平台六大组件的分工。教学难点：架构图中六个组件与具体技术选型的对应；端到端管道五步的先后顺序。学生容易把组件当成六个孤立名词，对管道为什么必须按这个顺序串起来说不出理由。解决方法：针对难点：把图9-1投屏后逐组件追问它不干活会怎样——数据源管理器不动就不知道去哪采、AI爬虫不动动态页面就采不到、NLP处理器不动评论就只是一串字，学生从失效后果反推分工；五步管道用一条数据从进入到入库的旅程串讲，每一步都问这一步不做下一步拿什么，顺序理由由学生自己补出来。针对重点问题：采用边讲边练，每讲完一条难题或一类组件即在课程在线教学平台推送1～2道限时练习当堂消化；把四个难题与三条路线画成一张连线对照表，学生人手一份并当场连线；讲架构时让学生在图上描出一条数据的走向，口述它经过了哪些组件；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教材配套资源（图9-1智能数据采集平台架构图）、演示文稿。数据与素材：教材情境中的大型电商平台购物季场景数据描述（日均访问量10亿次、商品SKU超5000万）。教学资源：①教材《数据采集与预处理技术》第221–222页正文与图9-1智能数据采集平台架构图；②本课程课件（含架构图分解版、四个难题与三条路线连线对照表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。说明：教材本节核心实现代码需扫描二维码获取，课堂以架构识读与流程推演为主，代码由教师从教材配套资源调取后演示。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：在架构图上描出一条数据的走向并口述经过的组件，按组件完整度、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（四个难题、三条技术路线、六大组件、五步管道、实时监控作用），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交连线对照表与五步管道的顺序说明。课前预习：平台3道诊断题（传统采集的难题、常见AI技术名词），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接项目八：上一项目把文本、图像视频、音频三类非结构化数据各自处理成了可分析的形态。提问：如果把数据量翻到全书的顶格，靠前面学的办法还够不够？2.给出本次情境：某大型电商平台在某购物季面临巨大的数据挑战，平台日均访问量突破10亿次，商品SKU超过5000万。3.说明涌入的数据类型：用户行为数据、商品信息、物流轨迹、客服对话等多源异构数据如潮水般涌入。4.点明结论：传统的数据采集方式已无法应对这种规模和复杂度的数据洪流。5.讲本项目的定位：项目九是全书技能拓展，不讲新的基础操作，而是讲人工智能如何给前面学到的采集与预处理提速。6.点明本任务流程：先看传统方式卡在哪，再看AI用什么办法接手，最后看整套智能采集平台怎么搭起来。7.说明本任务的课堂形式：教材本节核心实现代码需扫描二维码获取，课堂以架构识读与流程推演为主，代码由教师从教材配套资源调取后演示。【学生活动】口述项目八处理过的三类非结构化数据；记录本次情境的两个数量级；对本任务为什么不安排上机实操给出猜想。【设计意图】对应知识目标1。以项目八刚处理过的非结构化数据为起点，把规模从单批数据推到全平台洪流，学生在已有经验上直接感受量级变化带来的失效；先讲清本项目的拓展定位，学生不会把AI当成又一套孤立工具；把课堂形式与代码来源讲在开头，学生的预期与后面的教学形式一致，不产生落差，也直接回应思政中的求实态度。环节一情境导入：10亿次访问挡在传统工具前（8分钟）任务驱动法情境导入（投屏＋数据）求实态度：代码有出处不凭空演示【教师活动】1.讲第一个难题数据源异构性：来自Web端、移动App、小程序的数据格式各异，传统工具处理效率低下。举例说明同一份用户行为在三个端上的字段名与结构都不一致。2.讲第二个难题实时性要求：秒杀、直播带货等场景需要毫秒级数据采集和处理，人工配置采集规则已跟不上业务变化。追问：秒杀开始时价格每分钟都在变，靠人改规则来得及吗？3.讲第三个难题数据质量问题：用户评论、商品描述等非结构化数据占比超过60%，仅依靠传统正则表达式难以精准提取关键信息。联系项目八的实操经验说明正则能去标签但抽不出情感。4.讲第四个难题动态网页挑战：竞品价格监控面临反爬机制，JavaScript渲染的动态页面让传统爬虫失效。讲清传统爬虫拿到的是未渲染的空壳页面。5.并列四个难题并板书，逐条标注它卡在采集流程的哪一段。6.提问：四个难题里哪一个靠多写几条规则就能解决？引导学生说出四个都不是靠堆规则能解决的。7.点明过渡：面对这些挑战，平台需要引入人工智能技术，构建智能化数据采集体系，实现数据采集的智能化转型。【学生活动】记录四个难题并各举一个自己见过的例子；说出四个难题分别卡在采集流程的哪一段；对哪一个能靠堆规则解决发表看法。【设计意图】对应知识目标1。四个难题按采集流程分段讲，学生看到问题不是孤立的而是分布在整条链上，后面的AI方案才能逐条对应；把项目八的正则经验拿来做对照，学生用自己亲手做过的事理解新方法的必要性；先问能不能靠堆规则解决，把AI的引入讲成必然选择而不是赶时髦，直接回应思政中的辩证思维。环节二传统采集的四个难题（18分钟）讲授＋板书问题驱动法案例分析辩证思维：堆规则解决不了这四个【教师活动】1.讲第一条路线计算机视觉：利用计算机视觉技术自动识别商品图片中的关键信息。联系项目八的目标检测与语义分割，说明这里是把已学技术用在采集环节而不是处理环节。2.讲第二条路线自然语言处理：通过自然语言处理技术智能解析用户评论中的实体与情感。联系项目八的分词与命名实体识别，说明AI在正则抽不出的情感与实体上补位。3.讲第三条路线强化学习：借助强化学习动态优化爬虫策略以应对反爬虫机制。讲清与前两条的差别——前两条处理采到的数据，这一条处理采数据的动作本身。4.并列三条路线并板书，逐条标注它解决的是四个难题中的哪一个。5.讲清对应关系的交叉性：计算机视觉与非结构化占比高对应，自然语言处理同样对应非结构化难题但对象不同，强化学习对应动态网页挑战，而实时性要求要靠三条路线加后面的流式处理共同解决。6.发下连线对照表，让全班把四个难题与三条路线连起来，教师逐桌检查。7.当场讲评连线错误最多的一组。【学生活动】记录三条路线各自解决的问题；在连线对照表上完成四个难题与三条路线的连线；说出哪一条路线处理的是采集动作本身而不是采集到的数据。【设计意图】对应知识目标2，落实能力目标2。三条路线按处理对象分列，学生不会把计算机视觉与自然语言处理混为一谈；把对应关系讲成交叉而不是一对一，学生理解真实系统里技术是组合使用的；连线练习是本环节的核心动作，学生动手连一遍比听讲记得牢，逐桌检查把理解偏差当场纠正。环节三AI的三件应对武器（18分钟）讲授＋板书连线练习讲练结合系统观念：三条路线各管一段【教师活动】1.投屏图9-1智能数据采集平台架构图，说明本图是本环节的核心识读对象。2.讲第一个组件数据源管理器：统一管理Web端、移动App、小程序等多个数据来源。3.讲第二个组件AI爬虫：承担实际抓取动作，其中集成强化学习策略以应对动态网页。4.讲第三个组件自然语言处理NLP处理器：对用户评论文本做实体与情感解析。5.讲第四个组件计算机视觉CV处理器：对商品图片做内容识别。6.讲第五个组件智能调度器：负责任务排期与资源分配。7.讲第六个组件质量控制器：对采集结果做质量把关。8.讲图中的关键技术与组件的对应：OCR引擎对应PaddleOCR，用于从图片中提取文字；NLP处理器对应BERT，用于文本理解；CV处理器对应ResNet50，用于图像特征提取；强化学习部分对应Q-Network，用于爬虫策略优化；机器学习部分对应随机森林，用于辅助判断；实时数据采集对应Kafka，用于承接数据流。9.逐组件追问：如果这个组件不干活，整条管道会断在哪？让学生从失效后果反推分工。10.让全班在图上描出一条数据从进入到入库的走向。【学生活动】记录六个组件的名称与分工；说出三个关键技术与组件的对应关系；回答每个组件失效时管道会断在哪；在图上描出一条数据的走向。【设计意图】对应知识目标3、4，落实能力目标1。从失效后果反推分工是本环节的核心动作，学生记住的是组件为什么必须存在而不是六个名词；把图里的英文技术名逐个对应到中文组件，学生看到架构图不再发怵；描数据走向让抽象的架构变成一条可跟随的路径，为下一环节讲管道顺序做好准备，直接落实思政中的系统观念。环节四智能采集平台六大组件（16分钟）架构识读直观演示法追问法系统观念：单点强不等于整体强【教师活动】1.点明实施方案的执行顺序，讲清五步不是并列关系而是先后依赖。2.第一步初始化各核心组件：包括数据源管理器、AI爬虫、NLP处理器、CV处理器、智能调度器和质量控制器。讲清这一步必须先做，组件没起来后面无处安放。3.第二步构建端到端的数据采集管道：把上一步的六个组件串成一条可运行的链路。4.第三步实现基于强化学习的智能爬虫，处理动态网页内容：讲清这一步解决的是四个难题中的动态网页挑战。5.第四步通过多模态处理器对商品图文、用户评论文本进行综合分析：讲清这一步同时用上计算机视觉与自然语言处理两条路线。6.第五步搭建实时数据流处理系统和数据质量智能监控系统，确保采集数据的时效性与准确性：讲清这一步解决的是实时性要求。7.逐步追问：这一步不做，下一步拿什么？让学生自己补出顺序理由。8.讲清本方案的落点：全面提升了数据采集的效率和质量。9.让全班按五步复述，教师补充纠正。【学生活动】按五步顺序复述实施方案；说出每一步不做下一步会缺什么；说出第五步解决的是四个难题中的哪一个。【设计意图】对应知识目标5，落实能力目标3。五步按依赖关系串讲而不是按并列关系罗列，学生看到的是一条链而不是五件事；逐步追问不做会怎样，顺序理由由学生自己补出来，理解落在逻辑上而不是记忆上；把每步对应回环节二的四个难题，两个环节形成闭环，学生知道自己学的不是新孤立知识。环节五端到端采集管道五步（15分钟）讲授＋板书追问法讲练结合流程意识：组件没起来管道就跑不动【教师活动】1.讲多模态处理的含义：对商品图文、用户评论文本做综合分析，把图片信息与文字信息放在一起理解。2.讲价值：单看图片不知道用户评价，单看文字不知道商品长什么样，两者合起来才完整。3.讲实时数据流处理系统：对应架构图中的Kafka与Flink，负责承接并转发持续涌入的数据流。讲清它解决的是秒杀、直播带货这类毫秒级场景。4.讲数据质量智能监控系统：对采集结果持续把关，与项目八的内容把关是同一思路，区别是这里监的是流入的数据而不是已存的文件。5.并列两个系统的保障对象并板书：一个保障时效性，一个保障准确性。6.讲两者的关系：流式系统负责快，质量监控负责准，只快不准等于把脏数据放进来，只准不快则赶不上业务节奏。7.讲清本任务的完整闭环：四个难题→三条路线→六大组件→五步管道→两个保障系统。8.提醒合规底线：强化学习能让爬虫绕过反爬机制，但绕得过不代表可以做，采集仍须遵守robots协议与网站服务条款。【学生活动】记录两个系统各自的保障对象；说出只快不准与只准不快的后果；对AI让爬虫变强后该如何约束发表看法。【设计意图】对应知识目标6，落实能力目标4。两个系统并列讲并各自说明保障对象，学生知道快与准是两件事；把只快不准与只准不快的后果讲透，直接落实思政中的辩证思维；合规底线放在最后讲，是因为学生刚看到AI能绕过反爬，此时提出法律与伦理边界最自然也最必要。环节六多模态处理与实时监控（10分钟）对比讲授讲授＋板书归纳小结网络法治：绕得过不等于可以做【教师活动】1.引导学生用三句话小结：①传统采集卡在异构、实时、质量、动态网页四个地方；②AI靠视觉、语言、强化学习三条路线分别接手；③平台由六大组件组成，按五步管道跑起来，靠流式和质控两个系统保快保准。2.板书知识框架：难题→路线→组件→管道→保障，学生拍照记录。3.课程在线教学平台推送当堂检测5题（四个难题、三条路线、六大组件、五步管道、两个系统），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务是本课程的最后一次课，讲AI在数据预处理中的应用，请课前复习项目六讲过的缺失值与异常值处理办法。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～6，属形成性评价。三句话小结把本任务压缩成三条可复述的准则，三条环环相扣；知识框架与环节二的四个难题、环节三的三条路线、环节四的六大组件完全对应，学生能在一次课内形成从问题到方案到落地的完整图景；预告下一任务时指向项目六，把AI预处理与已学的传统办法对照起来，保持整门课的连续性。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目九任务一（第221–222页），重点看情境导入部分与图9-1。2.复习项目八的文本与图像预处理流程，本节讲AI如何给这些环节提速。3.完成课程在线教学平台3道课前诊断题（传统采集的难题、常见AI技术名词），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第221–222页本节练习。2.提交四个难题与三条技术路线的连线对照表，并写出端到端采集管道五步的顺序说明。二、拓展提升（选做，A／B二选一）A.在图9-1上任选一个组件，说明它若失效会导致整条管道断在哪一步，并提出一条补救办法。B.另选一个自己熟悉的行业场景（如交通、医疗、农业），仿照本任务的写法列出该场景传统采集的三个难题，并说明可用哪条AI路线应对。三、思政拓展（选做）结合本次课讲的强化学习可绕过反爬机制，写100字感想，谈谈技术能力提升之后为什么更要把法律与伦理边界讲在前面。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号33授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目九任务二AI在数据预处理中的应用课程思政设计：1.求实态度与数据诚实——AI推断出来的时间戳是估计值不是真值。课堂要求在报告中标注为修复值，讲清修复不等于还原，不能把推断值当成原始记录使用。2.审慎判断与业务把关——算法判定的异常不一定是业务异常，促销价就是正常的低价。课堂讲清算法给分、业务定线，任何删除动作都要有业务依据。3.辩证思维与传统现代——AI能自动扫描、自适应新数据，但不等于传统办法就该丢掉。课堂讲清项目六的四步清洗流程依然成立，AI是在它之上提速。4.技术向善与责任担当——处理效率提升的同时，误删真实业务的风险也在提升。课堂讲清快不等于准，数据从业者对每一条被删掉的记录都有说明责任。教学目标：知识目标：能说出本次案例数据集面临的五类数据质量问题及其具体表现；能说出传统人工与规则清洗在数据规模面前力不从心的三个原因；能说出AI数据预处理方案四个步骤的名称与先后顺序；能说出质量报告涵盖的四项内容；能说出时间异常处理器所依据的两类上下文信息；能说出孤立森林与局部异常因子两种算法各自的擅长点与融合方式；能说出数值型与类别型缺失值各自采用的填充统计量。能力目标：能把五类数据质量问题逐一对应到项目六学过的处理办法上；能复述AI预处理四步流程并说明每一步不做的后果；能说明归一化分数融合加业务规则这一做法中算法与业务各自的分工；能说出中位数填充相比均值填充的优势与适用条件。素质目标：养成先出报告再动手处理的习惯，不做不打招呼的清洗；养成区分推断值与真实值的习惯，不在报告里把修复值当原始值；养成每删一条记录都能说出业务依据的习惯。教学重难点及解决方法：教学重点：五类数据质量问题与项目六处理办法的对应；AI预处理四步流程的顺序；孤立森林与局部异常因子的互补与融合。教学难点：时间异常为什么可以修复而不是删除；算法判定与业务规则的分工。学生容易把算法给出的异常分数当成最终结论，对促销这类正常低价会被误判这一点缺乏概念。解决方法：针对难点：拿同一条价格为0的记录讲两条路——传统办法直接删，AI办法先问它是不是赠品订单，学生自己说出有些价格为0是真实业务；促销价单独举例，把促销期间的低价记录投屏，问算法会不会把它判成异常，学生看到正常业务被误判，自然理解业务规则要兜在算法后面。针对重点问题：采用边讲边练，每讲完一类问题或一个步骤即在课程在线教学平台推送1～2道限时练习当堂消化；把五类问题与项目六处理办法画成一张两栏对照表，学生人手一份；四步流程逐步追问这一步不做下一步拿什么，顺序理由由学生自己补出来；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教材配套资源（图9-2AI数据预处理技术流程）、演示文稿。数据与素材：教材情境中的电子产品销售记录数据集描述（56万条记录，含时间与价格异常、类别编码与品牌缺失）。教学资源：①教材《数据采集与预处理技术》第223–224页正文与图9-2AI数据预处理技术流程，第225页为参考文献；②本课程课件（含五类问题两栏对照表、四步流程分解图、促销价误判示例）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。说明：教材本节核心实现代码需扫描二维码获取，课堂以流程推演为主，代码由教师从教材配套资源调取后演示。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成五类问题两栏对照表并复述四步流程，按对应准确性、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（五类问题、传统困境、四步流程、两种算法、填充统计量），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交两栏对照表与四步流程的顺序说明。课前预习：平台3道诊断题（项目六的缺失值与异常值处理办法），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务一：上一任务讲了AI怎样给数据采集提速。提问：数据采回来之后的清洗环节，AI又能做什么？2.给出本次情境：某大型电商平台在进行年度销售数据分析时，数据分析团队需要处理包含56万条电子产品销售记录的数据集，用于构建智能推荐系统和销售预测模型。3.点明问题：团队在初步探索中发现了诸多数据质量问题，这些严重影响了后续分析的准确性。4.承接项目六：这五类问题在项目六都讲过处理办法，请学生先回忆当时是怎么做的。5.提问：56万条记录一条条看要多久？让学生自己估算并报数。6.点明本任务：看AI怎么处理同一批问题，以及它比传统办法强在哪里、代价又是什么。7.讲清本任务的课堂形式：教材本节核心实现代码需扫描二维码获取，课堂以流程推演为主，代码由教师从教材配套资源调取后演示。【学生活动】回忆项目六处理缺失值与异常值的办法；口述上一任务讲的AI采集三条路线；估算人工检查56万条记录所需的时间。【设计意图】对应知识目标1。以项目六已学的清洗办法为起点，学生带着可对照的经验进入本任务，AI的价值才有参照系；先让学生自己估算人工工作量，数量级带来的无力感由数据本身给出而不是教师叙述；把不安排上机的原因讲在开头，学生的课堂预期与教学形式一致，直接回应思政中的求实态度。环节一情境导入：56万条记录人肉检查行不行（8分钟）任务驱动法情境导入（投屏＋数据）求实态度：先说清材料来源再讲方法【教师活动】1.讲第一类时间异常：部分订单的时间戳显示为1970-01-01，这明显是系统错误导致的异常值。讲清1970-01-01是时间戳计时的零点，出现它说明时间戳没有被正确写入。2.讲第二类缺失值普遍：23%的产品类别编码缺失，5%的品牌信息缺失。投屏图9-2中标注的具体比例22.9%与4.8%，说明教材文字取整与图中精确值的关系。3.讲第三类数据不一致：同一产品在不同订单中的类别编码可能不同。4.讲第四类异常价格：存在价格为0或异常高的记录。5.讲第五类重复记录：部分订单可能存在重复提交的情况。6.并列五类问题并板书，逐类标注它在项目六里对应的处理办法：缺失值用填充、异常时间用筛选剔除、数据不一致要核对主数据、异常价格用区间筛选、重复记录用去重。7.发下两栏对照表，让全班把五类问题与项目六办法连起来。8.提问：五类问题里哪一类靠一条规则就能全部解决？引导学生说出五类都不是。【学生活动】记录五类问题并各举一个自己见过的例子；在两栏对照表上把五类问题与项目六办法连起来；说出哪一类能靠一条规则全部解决。【设计意图】对应知识目标1，落实能力目标1。五类问题与项目六办法两两连线，学生看到的是同一批问题的两种处理代际，认知起点不是陌生的；把22.9%与23%的关系讲清，学生知道教材文字与图面数据的来源差异，养成核对习惯；先问能不能靠一条规则解决，把AI的引入讲成必要选择，直接回应思政中的辩证思维。环节二五类数据质量问题（18分钟）讲授＋板书连线练习讲练结合辩证思维：五类问题都不是一条规则能解决的【教师活动】1.讲第一个原因：人工检查56万条记录需要耗费大量人力，错误率高。让学生把环节一估算的时间乘以记录条数再感受一次。2.讲第二个原因：简单规则清洗又可能误删有效信息。举例：把价格为0的记录全部删掉，可能删掉的是赠品订单这类真实业务。3.讲第三个原因：随着业务的快速发展，每天都有新的数据加入，传统方法无法适应这种变化。讲清规则要不断重写，业务一变规则就失效。4.讲AI的三点不同：通过机器学习算法自动识别异常模式，不需要人先把模式列出来；智能填充缺失值，而不是一律填均值；动态调整清洗规则，以适应每天新增的数据。5.讲代价：这三点的代价是需要算法与算力支撑，且结论不再像规则那样一眼可解释。6.点明结论：引入AI不仅大幅提升了处理效率，还显著改善了数据质量。7.强调立场：AI不是要取代项目六学的办法，而是在它之上提速，四步清洗流程依然成立。【学生活动】记录三个原因并各举一例；说出AI的三点优势与一项代价；口述为什么传统办法不该被丢掉。【设计意图】对应知识目标2。三个原因按人力、准确性、适应性分列，学生知道传统办法卡的不是一处；把AI的代价连同优势一起讲，避免学生把AI当成万能解，直接落实思政中的辩证思维；明确AI不取代项目六办法，学生把新旧知识接成一条链而不是二选一，为后面四步流程讲顺序打下基础。环节三传统清洗为什么顶不住（12分钟）讲授＋板书问题驱动法对比讲授承前启后：AI提速不取代已学办法【教师活动】1.讲第一步构建数据质量评估类：对数据集进行系统性扫描，生成涵盖缺失值、时间异常、价格异常和数据一致性的质量报告。2.讲报告的四项内容并板书，逐项说明它对应五类问题中的哪一类。3.讲为什么必须先出报告：不知道问题有多少、分布在哪，后面的处理就没有依据，动手顺序也无从安排。4.联系项目六：这与项目六讲的先出报告再执行去重是同一条原则，AI版本只是把扫描与报告生成自动化了。5.讲AI在这里的价值：不用人逐个字段去查，一次扫描就把四类问题都量化出来。6.投屏图9-2的流程起点，说明质量报告是整条链的入口。7.讲产出形态：一份可核对的质量报告，各项问题都给出数量与比例，后续三步按报告推进。8.提问：如果跳过这一步直接修数据会怎样？引导学生说出修哪里、修多少都没有依据。【学生活动】记录质量报告的四项内容；说出它与项目六哪条原则对应；说出跳过报告直接修数据会有什么后果。【设计意图】对应知识目标4，落实素质目标1。把报告放在第一步讲，学生先建立先评估后动手的习惯，这一习惯与项目六同源，在本课程最后一次课上被再次确认；逐项对应五类问题，学生知道报告不是形式而是后面三步的依据；追问跳步后果，让顺序原则由学生自己说出来而不是被灌输。环节四步骤一：数据质量评估（15分钟）讲授＋板书流程图示讲练结合流程意识：先出报告再动手处理【教师活动】1.讲第二步实现基于用户行为时序上下文推断的时间异常处理器，利用用户历史和产品信息智能修复异常时间戳。2.讲推断时用到的两类信息：同一用户在其他订单上的时间规律；同一产品的时间分布。讲清推断不是凭空猜，而是用上下文约束出来的。3.对比传统办法：项目六处理异常时间是直接筛选剔除，AI做法是修复它。4.讲修复的价值：这条记录的其他字段还有用，删掉等于丢掉一笔真实交易。5.讲清楚边界：推断出来的时间是估计值而不是真值，报告中必须标注为修复值，不能当作原始记录使用。6.讲两种思路的关系：删除与修复并存，选哪个看业务需要——只要干净的数据就删，要保住交易量就修。7.提问：如果某条记录既没有用户历史也没有产品信息可参照，还能修吗？引导学生说出这类记录只能保留原样或剔除。8.强调本环节的核心立场：能修就修，但修过的一定要标出来。【学生活动】记录两条推断依据；说出删除与修复两种思路各自的适用情形；说出推断得到的时间戳在报告中该如何标注。【设计意图】对应知识目标5，突破难点时间异常为什么可以修复。两条推断依据讲透，学生知道AI不是凭空猜而是有约束的推断；把标注为修复值单独成句强调，直接落实思政中的数据诚实，这是本任务思政落点最实的一处；两种思路并存讲清，学生不会以为AI办法一出传统办法就作废，直接呼应环节三的立场。环节五步骤二：时间异常的智能修复（17分钟）对比讲授问题驱动法讲练结合数据诚实：推断值要标注不是原始值【教师活动】1.讲第三步集成孤立森林与局部异常因子两种无监督算法，通过归一化分数融合，并结合业务规则进行价格异常检测。2.讲无监督的含义：不需要先标注哪些是异常，算法自己从数据分布里找出离群的点。3.讲两个算法的擅长点：孤立森林擅长找出全局稀疏的点，局部异常因子擅长找出局部密度异常的点，两者互补。4.讲融合方式：通过归一化分数融合。讲清两个算法各自打分，先把分数归一到同一区间再合并，避免一个算法的分数尺度压过另一个。5.讲业务规则的作用并举例：算法判定的异常不一定是业务异常，促销期间的低价就是正常价格。投屏促销期低价记录，问学生算法会不会把它判成异常。6.讲分工：算法给分，业务定线。任何删除动作都要有业务依据，不能直接按算法分数执行。7.讲第四步应用基础填充器：对数值型和类别型缺失值分别进行中位数和众数填充。8.讲为什么数值型用中位数：中位数不受极端值影响，比均值更抗极值。讲为什么类别型用众数：类别没有平均数，只能取出现最多的类别。9.对比项目六：项目六讲过均值填充，这里讲的中位数与众数是同一问题