数据采集与预处理技术-P9T2-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号33授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目九任务二AI在数据预处理中的应用课程思政设计：1.求实态度与数据诚实——AI推断出来的时间戳是估计值不是真值。课堂要求在报告中标注为修复值，讲清修复不等于还原，不能把推断值当成原始记录使用。2.审慎判断与业务把关——算法判定的异常不一定是业务异常，促销价就是正常的低价。课堂讲清算法给分、业务定线，任何删除动作都要有业务依据。3.辩证思维与传统现代——AI能自动扫描、自适应新数据，但不等于传统办法就该丢掉。课堂讲清项目六的四步清洗流程依然成立，AI是在它之上提速。4.技术向善与责任担当——处理效率提升的同时，误删真实业务的风险也在提升。课堂讲清快不等于准，数据从业者对每一条被删掉的记录都有说明责任。教学目标：知识目标：能说出本次案例数据集面临的五类数据质量问题及其具体表现；能说出传统人工与规则清洗在数据规模面前力不从心的三个原因；能说出AI数据预处理方案四个步骤的名称与先后顺序；能说出质量报告涵盖的四项内容；能说出时间异常处理器所依据的两类上下文信息；能说出孤立森林与局部异常因子两种算法各自的擅长点与融合方式；能说出数值型与类别型缺失值各自采用的填充统计量。能力目标：能把五类数据质量问题逐一对应到项目六学过的处理办法上；能复述AI预处理四步流程并说明每一步不做的后果；能说明归一化分数融合加业务规则这一做法中算法与业务各自的分工；能说出中位数填充相比均值填充的优势与适用条件。素质目标：养成先出报告再动手处理的习惯，不做不打招呼的清洗；养成区分推断值与真实值的习惯，不在报告里把修复值当原始值；养成每删一条记录都能说出业务依据的习惯。教学重难点及解决方法：教学重点：五类数据质量问题与项目六处理办法的对应；AI预处理四步流程的顺序；孤立森林与局部异常因子的互补与融合。教学难点：时间异常为什么可以修复而不是删除；算法判定与业务规则的分工。学生容易把算法给出的异常分数当成最终结论，对促销这类正常低价会被误判这一点缺乏概念。解决方法：针对难点：拿同一条价格为0的记录讲两条路——传统办法直接删，AI办法先问它是不是赠品订单，学生自己说出有些价格为0是真实业务；促销价单独举例，把促销期间的低价记录投屏，问算法会不会把它判成异常，学生看到正常业务被误判，自然理解业务规则要兜在算法后面。针对重点问题：采用边讲边练，每讲完一类问题或一个步骤即在课程在线教学平台推送1～2道限时练习当堂消化；把五类问题与项目六处理办法画成一张两栏对照表，学生人手一份；四步流程逐步追问这一步不做下一步拿什么，顺序理由由学生自己补出来；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教材配套资源（图9-2AI数据预处理技术流程）、演示文稿。数据与素材：教材情境中的电子产品销售记录数据集描述（56万条记录，含时间与价格异常、类别编码与品牌缺失）。教学资源：①教材《数据采集与预处理技术》第223–224页正文与图9-2AI数据预处理技术流程，第225页为参考文献；②本课程课件（含五类问题两栏对照表、四步流程分解图、促销价误判示例）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。说明：教材本节核心实现代码需扫描二维码获取，课堂以流程推演为主，代码由教师从教材配套资源调取后演示。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成五类问题两栏对照表并复述四步流程，按对应准确性、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（五类问题、传统困境、四步流程、两种算法、填充统计量），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交两栏对照表与四步流程的顺序说明。课前预习：平台3道诊断题（项目六的缺失值与异常值处理办法），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务一：上一任务讲了AI怎样给数据采集提速。提问：数据采回来之后的清洗环节，AI又能做什么？2.给出本次情境：某大型电商平台在进行年度销售数据分析时，数据分析团队需要处理包含56万条电子产品销售记录的数据集，用于构建智能推荐系统和销售预测模型。3.点明问题：团队在初步探索中发现了诸多数据质量问题，这些严重影响了后续分析的准确性。4.承接项目六：这五类问题在项目六都讲过处理办法，请学生先回忆当时是怎么做的。5.提问：56万条记录一条条看要多久？让学生自己估算并报数。6.点明本任务：看AI怎么处理同一批问题，以及它比传统办法强在哪里、代价又是什么。7.讲清本任务的课堂形式：教材本节核心实现代码需扫描二维码获取，课堂以流程推演为主，代码由教师从教材配套资源调取后演示。【学生活动】回忆项目六处理缺失值与异常值的办法；口述上一任务讲的AI采集三条路线；估算人工检查56万条记录所需的时间。【设计意图】对应知识目标1。以项目六已学的清洗办法为起点，学生带着可对照的经验进入本任务，AI的价值才有参照系；先让学生自己估算人工工作量，数量级带来的无力感由数据本身给出而不是教师叙述；把不安排上机的原因讲在开头，学生的课堂预期与教学形式一致，直接回应思政中的求实态度。环节一情境导入：56万条记录人肉检查行不行（8分钟）任务驱动法情境导入（投屏＋数据）求实态度：先说清材料来源再讲方法【教师活动】1.讲第一类时间异常：部分订单的时间戳显示为1970-01-01，这明显是系统错误导致的异常值。讲清1970-01-01是时间戳计时的零点，出现它说明时间戳没有被正确写入。2.讲第二类缺失值普遍：23%的产品类别编码缺失，5%的品牌信息缺失。投屏图9-2中标注的具体比例22.9%与4.8%，说明教材文字取整与图中精确值的关系。3.讲第三类数据不一致：同一产品在不同订单中的类别编码可能不同。4.讲第四类异常价格：存在价格为0或异常高的记录。5.讲第五类重复记录：部分订单可能存在重复提交的情况。6.并列五类问题并板书，逐类标注它在项目六里对应的处理办法：缺失值用填充、异常时间用筛选剔除、数据不一致要核对主数据、异常价格用区间筛选、重复记录用去重。7.发下两栏对照表，让全班把五类问题与项目六办法连起来。8.提问：五类问题里哪一类靠一条规则就能全部解决？引导学生说出五类都不是。【学生活动】记录五类问题并各举一个自己见过的例子；在两栏对照表上把五类问题与项目六办法连起来；说出哪一类能靠一条规则全部解决。【设计意图】对应知识目标1，落实能力目标1。五类问题与项目六办法两两连线，学生看到的是同一批问题的两种处理代际，认知起点不是陌生的；把22.9%与23%的关系讲清，学生知道教材文字与图面数据的来源差异，养成核对习惯；先问能不能靠一条规则解决，把AI的引入讲成必要选择，直接回应思政中的辩证思维。环节二五类数据质量问题（18分钟）讲授＋板书连线练习讲练结合辩证思维：五类问题都不是一条规则能解决的【教师活动】1.讲第一个原因：人工检查56万条记录需要耗费大量人力，错误率高。让学生把环节一估算的时间乘以记录条数再感受一次。2.讲第二个原因：简单规则清洗又可能误删有效信息。举例：把价格为0的记录全部删掉，可能删掉的是赠品订单这类真实业务。3.讲第三个原因：随着业务的快速发展，每天都有新的数据加入，传统方法无法适应这种变化。讲清规则要不断重写，业务一变规则就失效。4.讲AI的三点不同：通过机器学习算法自动识别异常模式，不需要人先把模式列出来；智能填充缺失值，而不是一律填均值；动态调整清洗规则，以适应每天新增的数据。5.讲代价：这三点的代价是需要算法与算力支撑，且结论不再像规则那样一眼可解释。6.点明结论：引入AI不仅大幅提升了处理效率，还显著改善了数据质量。7.强调立场：AI不是要取代项目六学的办法，而是在它之上提速，四步清洗流程依然成立。【学生活动】记录三个原因并各举一例；说出AI的三点优势与一项代价；口述为什么传统办法不该被丢掉。【设计意图】对应知识目标2。三个原因按人力、准确性、适应性分列，学生知道传统办法卡的不是一处；把AI的代价连同优势一起讲，避免学生把AI当成万能解，直接落实思政中的辩证思维；明确AI不取代项目六办法，学生把新旧知识接成一条链而不是二选一，为后面四步流程讲顺序打下基础。环节三传统清洗为什么顶不住（12分钟）讲授＋板书问题驱动法对比讲授承前启后：AI提速不取代已学办法【教师活动】1.讲第一步构建数据质量评估类：对数据集进行系统性扫描，生成涵盖缺失值、时间异常、价格异常和数据一致性的质量报告。2.讲报告的四项内容并板书，逐项说明它对应五类问题中的哪一类。3.讲为什么必须先出报告：不知道问题有多少、分布在哪，后面的处理就没有依据，动手顺序也无从安排。4.联系项目六：这与项目六讲的先出报告再执行去重是同一条原则，AI版本只是把扫描与报告生成自动化了。5.讲AI在这里的价值：不用人逐个字段去查，一次扫描就把四类问题都量化出来。6.投屏图9-2的流程起点，说明质量报告是整条链的入口。7.讲产出形态：一份可核对的质量报告，各项问题都给出数量与比例，后续三步按报告推进。8.提问：如果跳过这一步直接修数据会怎样？引导学生说出修哪里、修多少都没有依据。【学生活动】记录质量报告的四项内容；说出它与项目六哪条原则对应；说出跳过报告直接修数据会有什么后果。【设计意图】对应知识目标4，落实素质目标1。把报告放在第一步讲，学生先建立先评估后动手的习惯，这一习惯与项目六同源，在本课程最后一次课上被再次确认；逐项对应五类问题，学生知道报告不是形式而是后面三步的依据；追问跳步后果，让顺序原则由学生自己说出来而不是被灌输。环节四步骤一：数据质量评估（15分钟）讲授＋板书流程图示讲练结合流程意识：先出报告再动手处理【教师活动】1.讲第二步实现基于用户行为时序上下文推断的时间异常处理器，利用用户历史和产品信息智能修复异常时间戳。2.讲推断时用到的两类信息：同一用户在其他订单上的时间规律；同一产品的时间分布。讲清推断不是凭空猜，而是用上下文约束出来的。3.对比传统办法：项目六处理异常时间是直接筛选剔除，AI做法是修复它。4.讲修复的价值：这条记录的其他字段还有用，删掉等于丢掉一笔真实交易。5.讲清楚边界：推断出来的时间是估计值而不是真值，报告中必须标注为修复值，不能当作原始记录使用。6.讲两种思路的关系：删除与修复并存，选哪个看业务需要——只要干净的数据就删，要保住交易量就修。7.提问：如果某条记录既没有用户历史也没有产品信息可参照，还能修吗？引导学生说出这类记录只能保留原样或剔除。8.强调本环节的核心立场：能修就修，但修过的一定要标出来。【学生活动】记录两条推断依据；说出删除与修复两种思路各自的适用情形；说出推断得到的时间戳在报告中该如何标注。【设计意图】对应知识目标5，突破难点时间异常为什么可以修复。两条推断依据讲透，学生知道AI不是凭空猜而是有约束的推断；把标注为修复值单独成句强调，直接落实思政中的数据诚实，这是本任务思政落点最实的一处；两种思路并存讲清，学生不会以为AI办法一出传统办法就作废，直接呼应环节三的立场。环节五步骤二：时间异常的智能修复（17分钟）对比讲授问题驱动法讲练结合数据诚实：推断值要标注不是原始值【教师活动】1.讲第三步集成孤立森林与局部异常因子两种无监督算法，通过归一化分数融合，并结合业务规则进行价格异常检测。2.讲无监督的含义：不需要先标注哪些是异常，算法自己从数据分布里找出离群的点。3.讲两个算法的擅长点：孤立森林擅长找出全局稀疏的点，局部异常因子擅长找出局部密度异常的点，两者互补。4.讲融合方式：通过归一化分数融合。讲清两个算法各自打分，先把分数归一到同一区间再合并，避免一个算法的分数尺度压过另一个。5.讲业务规则的作用并举例：算法判定的异常不一定是业务异常，促销期间的低价就是正常价格。投屏促销期低价记录，问学生算法会不会把它判成异常。6.讲分工：算法给分，业务定线。任何删除动作都要有业务依据，不能直接按算法分数执行。7.讲第四步应用基础填充器：对数值型和类别型缺失值分别进行中位数和众数填充。8.讲为什么数值型用中位数：中位数不受极端值影响，比均值更抗极值。讲为什么类别型用众数：类别没有平均数，只能取出现最多的类别。9.对比项目六：项目六讲过均值填充，这里讲的中位数与众数是同一问题的升级处理。10.并列四步并板书，讲清四步按依赖排列。【学生活动】记录两个算法各自的擅长点；说出促销价会被算法怎样误判；说出数值型与类别型各自用什么统计量填充及理由。【设计意图】对应知识目标6、7，突破难点算法判定与业务规则的分工。两个算法互补讲清，学生知道为什么要用两个而不是一个；促销价误判的示例是本环节的核心，学生看到正常业务被误判，业务规则兜底就不再是抽象要求；中位数与众数逐个讲理由，学生把填充统计量从记忆项变成可解释的选择，直接落实思政中的责任担当。环节六步骤三、四：异常检测与填充（15分钟）对比讲授案例分析讲练结合业务把关：算法给分业务定线【教师活动】1.引导学生用三句话小结：①五类问题项目六都讲过，AI的价值是自动扫描与自适应；②AI流程四步走，先出报告再动手；③时间异常能修则修但必须标注，价格异常要过算法与业务两道关。2.板书知识框架：五类问题→传统困境→评估→修时间→查价格→补缺失，学生拍照记录。3.全书收束：点明本任务是本课程的最后一次课，把九个项目串成一条线——项目一至项目五解决把数据采回来，项目六至项目八解决把数据洗干净，项目九解决用人工智能给这条链提速。4.课程在线教学平台推送当堂检测5题（五类问题、传统困境、四步流程、两种算法、填充统计量），限时5分钟，系统自动批改，当场讲评错误率最高的一题。5.布置作业：完成教材第223–225页本节练习，提交两栏对照表与四步流程的顺序说明。【学生活动】口述三句话小结；跟随教师回顾九个项目的分工；独立完成检测；记录作业要求。【设计意图】覆盖知识目标1～7，属形成性评价