数据采集与预处理技术-P6T3-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号21授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目六任务三数据冗余清理课程思政设计：1.科学精神与严谨态度——674条重复记录分散在56万余条数据中，占比仅约0.12%，肉眼绝对看不出来，却足以让计数统计偏高、平均值失真。课堂让学生先凭肉眼判断这批数据是否干净，再用代码揭晓实况，体会数据质量问题是看不见的，只能靠方法查出来。2.责任意识与审慎判断——教材把重复记录分为完全重复与部分重复两类，并明确指出部分重复需要依据业务逻辑判断是否视为重复。课堂反复强调：同一用户在极短时间内购买相同商品，可能是真实的重复购买行为，也可能是系统故障导致的重复提交，不能一律删除，避免把真实业务当成脏数据处理掉。3.工匠精神与参数意识——drop_duplicates的keep参数取first、last还是False，决定保留哪一条、删掉哪一条，一个参数就是一次业务判断。借此让学生认识到代码里的每个参数都连着业务后果，不是随手填的默认值。4.职业担当——重复记录在系统、操作、业务三个层面都有成因，其中多渠道数据重复统计、不同部门重复报送属于管理问题。课堂明确数据从业者的责任是如实报告重复情况与成因，而不是悄悄删掉让报表好看。教学目标：知识目标：能说出数据冗余的定义，区分完全重复记录与部分重复记录并说明判定差异；能从系统、操作、业务三个层面说明重复记录的成因；能说出重复记录对统计分析、存储与处理效率的具体影响；能说清drop_duplicates方法中keep参数三种取值的含义与后果。能力目标：能用duplicated().sum()统计完全重复记录数量，并计算重复比例；能用drop_duplicates()完成去重并对比去重前后行数；能用duplicated(subset=[...])按指定字段组合检测重复，区分订单级重复与用户—商品—时间级重复；能用groupby配合apply与duplicated分析重复记录在各品牌、各地区上的分布特征并排序取头部；能根据业务要求选择正确的keep取值完成去重；能实现教材完整去重流程complete_deduplication_pipeline(df)，依次完成重复记录报告生成、去重操作执行与质量验证三个步骤；能根据剩余重复记录是否为零判断去重是否彻底。素质目标：养成数据清洗按顺序推进的习惯——先出报告再执行去重、最后验证，不做不打招呼的删除；养成处理部分重复记录时先问业务再动手的审慎态度；养成用重复比例、剩余重复数等可核对指标自我校验的习惯，不依赖感觉判断清洗是否完成。教学重难点及解决方法：教学重点：duplicated与drop_duplicates两个方法的配合使用；subset参数按业务字段去重；keep参数三种取值的选择。教学难点：完全重复与部分重复的判定差异。学生易把按order_id检出的重复等同于完全重复，进而误删；对keep=False会连同首次出现的记录一并删除这一点也容易忽略，导致数据量意外减少。解决方法：针对难点：先用同一批数据分别跑duplicated()与duplicated(subset=['order_id'])，把两个数字并列投屏，让学生看清两者不是一回事——前者要求所有字段全同，后者只要求订单号相同；keep参数采用三路对照演示，对同一批重复记录分别用三种取值处理并当场打印结果行数，用可观察的行数差异说明False会额外删掉首条。针对重点问题：采用边讲边练，每讲完一类检测或去重操作即用课程在线教学平台推送1～2道限时练习当堂消化；把检测与去重组织成报告—执行—验证三步固定流程，每步都有可打印的指标，学生能自行判断进度；实操期间教师巡视，重点检查subset字段组合是否由业务含义决定、keep取值是否说明过理由；课后按检测正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（NumPy、pandas）；课程在线教学平台。软件与工具：Anaconda、JupyterNotebook、PyCharm/VSCode。数据与素材：教材配套电商销售数据集（电子产品销售分析.csv，56万余条记录，含674条完全重复记录）、任务二清洗后的数据集。教学资源：①教材《数据采集与预处理技术》第163–166页正文、示例代码与配套数据集；②本课程课件与演示代码（含keep参数三路对照脚本、完整去重流程脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交complete_deduplication_pipeline(df)代码与三步输出结果，按报告完整性、去重顺序、验证结论三项评分；②随堂测验：下课前5题（完全重复与部分重复辨析、keep参数后果、subset用法），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交去重报告，写明检测到的重复数量、采用的去重依据与保留策略。课前预习：平台3道诊断题（duplicated与drop_duplicates辨析），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务二：上一任务已经把缺失值补齐、把异常时间与异常价格清理掉，数据看起来干净了。现在请学生凭肉眼判断——这份清洗过的数据还有没有问题？2.现场对清洗后的数据做分组统计并投屏，指出部分品牌的销售金额数值异常偏高。提问：清洗已经做过了，为什么结果还是偏高？3.运行df.duplicated().sum()，揭晓实况：56万余条记录中有674条完全重复的记录。4.追问：674条在56万条里只占约0.12%，这么小的比例，管不管？让学生先表态再算一笔账——若按品牌统计，这674条会落到哪些品牌上。5.点明本次课任务：把数据冗余查出来、判断清楚、清理干净，并说明每一步依据什么。【学生活动】凭肉眼观察清洗后的数据并给出判断；观看投屏的分组结果，指出偏高的品牌；记录674条完全重复这一实况；对0.12%的比例是否值得处理发表看法。【设计意图】对应知识目标1与能力目标1。承接任务二的同一份数据，学生在上一任务已经建立了清洗过的预期，此处打破预期形成认知冲突；先让学生凭肉眼判断再揭晓，是为了说明数据质量问题靠肉眼查不出来，只能靠方法，直接回应思政中的严谨态度；用0.12%这个具体比例引发争议，让后面的检测与去重动作有明确必要性，而不是照着教材走流程。环节一任务情境：清洗之后为什么还是偏高（8分钟）任务驱动法直观演示法（投屏＋数据对比）严谨态度：看不见的问题只能靠方法查【教师活动】1.给出数据冗余的定义：数据集中存在相同或高度相似的记录，这些记录提供重复信息，没有增加新的数据价值。2.讲两类重复记录：完全重复记录是所有字段的值都完全相同，通常由系统错误或操作失误造成；部分重复记录是大部分字段相同但某些字段存在差异，需要依据业务逻辑判断是否视为重复。举例说明：同一笔订单的时间、订单号、商品信息、用户信息全都相同属完全重复；同一用户在极短时间内购买相同商品则属部分重复，可能是真实购买也可能是重复提交。3.讲三层成因，逐层配实例：系统层面——数据库连接超时导致重复提交、网络不稳定造成重复传输、系统故障后的回滚与重新处理、跨系统数据同步错误；操作层面——网页响应慢时用户重复点击、数据导入重复执行、手工录入误操作、备份恢复时的重复创建；业务层面——多渠道销售数据重复统计、促销活动期间订单重复处理、退款退货流程中的数据重复记录、不同部门重复报送。4.讲四项影响：计数统计偏高、平均值计算偏差、分组统计失真、时间序列出现异常峰值；此外还占用额外存储、降低查询处理效率、增加传输负担。结合导入案例说明：这些偏差最终会造成企业战略规划与资源配置的失误。5.强调本次课的判断原则：完全重复可以放心删，部分重复必须先问业务。【学生活动】记录两类重复的判定差别，并各举一个自己见过的例子；把导入案例的成因归入系统、操作、业务三层之一；说明计数偏高与平均值偏差的区别。【设计意图】对应知识目标2、3。把成因分成三层讲，是为了让学生明白重复记录不只是技术故障，也可能是管理问题，为后面思政中的如实报告埋伏笔；两类重复的判定差别是本节后续所有操作的依据，必须先立清楚，否则学生会一路删到底；四项影响逐条对应具体统计动作，学生能把抽象影响落到自己会算的指标上。环节二数据冗余的成因与影响（12分钟）讲授＋板书案例分析对比讲授职业担当：成因要如实报告不悄悄删掉【教师活动】1.讲duplicated方法的原理：返回一个布尔型Series，重复记录标记为True，首次出现的记录标记为False。强调这个取值的含义——首次出现的不算重复，后面再出现的才算。2.板演基本检测四步，边写边讲每步输出什么：len(df)打印数据总行数；df.duplicated().sum()统计重复记录数量；len(df.drop_duplicates())打印去重后行数；用重复数÷总行数×100计算重复比例并格式化为两位小数。3.现场跑一遍，投屏本数据集的结果：总记录数、重复记录数、去重后行数、重复比例。4.强调三步之间的数量关系：总行数－去重后行数＝重复记录数，学生可用这个等式自检自己有没有做对。【学生活动】跟做四步检测，记录本数据集的四个数字；用数量关系等式自检结果是否自洽；把去重前后的行数差说出来。【设计意图】对应能力目标1、2。先把duplicated的True／False含义讲透，学生才能理解为什么sum出来的数字不等于重复组数而是多余的条数；四步里的比例计算是关键，因为下一环节要按不同字段比较重复程度，只有比例可横向比较；给出可自检的数量等式，学生不依赖教师也能判断自己做对了没有，直接落实素质目标3。环节三重复记录的基本检测（15分钟）讲授＋板演讲练结合（投屏＋Jupyter）求实态度：用等式自检不凭感觉判断【教师活动】1.讲subset参数：duplicated(subset=['列名1','列名2'])，用于指定判断重复所依据的列。强调指定了subset之后，只有这些列的组合完全相同才算重复，其他列不同也算重复。2.并列演示三类检测并投屏三个数字：df.duplicated()检测完全重复；df.duplicated(subset=['order_id'])检测订单号重复；df.duplicated(subset=['user_id','product_id','event_time'])检测同一用户对同一商品在同一时间的记录重复。3.追问：三个数字为什么不一样？哪个最大？为什么订单号重复会比完全重复多？引导学生认识到判定标准越宽松，检出的重复越多。4.讲分布特征分析：用groupby('brand').apply(lambdax:x.duplicated().sum())统计各品牌的重复记录数，再用布尔筛选与sort_values取头部若干条；同样方法按local地区统计。强调这一步的意义是找出重复集中在哪些品牌、哪些地区，为溯源提供线索。5.强调业务含义：subset里放哪些列，是由业务流程决定的，不能随便填。【学生活动】跟做三类检测，记录三个数字并说明大小关系的原因；完成按品牌与按地区的分布统计，报出重复最多的品牌与地区；说出自己选的subset组合对应什么业务含义。【设计意图】对应能力目标3、4，突破难点完全重复与部分重复的判定差异。三个数字并列是本环节的核心演示动作——学生看到数字不同，自然会产生为什么的疑问，此时再讲判定标准的宽严，比先讲理论有效；分布特征分析把检测从数数字推进到找源头，为下一环节按业务去重提供依据；反复强调subset由业务决定，直接落实素质目标2。环节四按业务字段检测与分布特征分析（18分钟）对比演示问题驱动法讲练结合（Python＋pandas）审慎判断：字段由业务决定不能随便填【教师活动】1.讲drop_duplicates的keep参数三值含义：keep='first'保留第一条（默认值）、keep='last'保留最后一条、keep=False删除所有重复记录（包括首次出现的那一条）。2.三路对照演示：对同一批重复记录分别用三种取值处理，当场打印每次结果的行数，投屏三个数字。重点讲解keep=False为什么行数掉得最多——它连首次出现的记录也删掉了。3.讲基于特定列的去重：drop_duplicates(subset=['order_id'],keep='first')按订单号去重并保留首条；再演示subset=['user_id','product_id','event_time']的多字段去重。4.提问：处理订单号重复时该保留首条还是末条？让学生先讨论，再说明保留策略取决于业务上哪条记录更可信——通常保留首条，但若末条包含状态更新则保留末条。5.强调操作顺序：先删完全重复，再按业务字段去重；顺序颠倒会先误删部分真实记录。【学生活动】跟做三路对照，记录三个行数并说明差异原因；完成按订单号与按用户—商品—时间两种去重；讨论并说明自己选择的keep取值及理由。【设计意图】对应知识目标4与能力目标5，突破难点keep=False的后果。三路对照用可观察的行数差异替代口头警告，学生看到数字就能记住区别；保留策略与业务可信度挂钩，把技术参数讲成业务决策，直接落实素质目标2与思政中的参数意识；操作顺序单独强调，是因为它与任务二的四步顺序同构，学生在项目六里第二次遇到先清后填类的顺序问题，此处巩固。环节五去重策略与keep参数（20分钟）三路对照演示分组讨论讲练结合（Python＋pandas）工匠精神：一个参数就是一次业务判断【教师活动】1.布置任务：把前面学的方法整合成完整去重流程complete_deduplication_pipeline(df)，依次完成重复记录报告生成、去重操作执行、质量验证三个步骤。2.示范函数骨架，边写边讲三步顺序为什么不能颠倒——先出报告才知道有多少重复、依据什么去重；执行去重时先删完全重复再按订单号去重；最后必须验证，不验证就不知道干净了没有。3.演示三步各自的打印内容：第一步打印总记录数、完全重复记录数及其占比、订单号重复数及其占比；第二步先执行drop_duplicates()打印完全重复去重后行数，再执行drop_duplicates(subset=['order_id'],keep='first')打印订单去重后行数；第三步用duplicated().sum()检查剩余重复记录，等于零则打印去重完成，否则提示需进一步处理。4.点明工程规范：函数内先df.copy()建副本，原始数据保留以便比对；每步都打印，过程可追溯。5.学生实操期间巡视，重点检查三步顺序、subset依据、验证是否真的执行了。【学生活动】独立实现完整去重流程并运行，记录三步各自的输出数字；核对最终剩余重复记录是否为零；与同桌比对去重后行数，差异明显的互相检查subset与keep的写法。【设计意图】对应能力目标6、7，是本次课的综合产出。三步结构与任务二的四步结构同构但更精简，学生在重复中巩固先报告、后执行、再验证的工程流程；剩余重复数作为可核对的硬指标，学生能自行判断去重是否彻底，不依赖教师逐个批改；与同桌比对行数制造同伴校验，把个人错误在课堂内消化掉。环节六综合实施：完整去重流程（12分钟）项目教学法演示—实操—巡视同伴互校规范意识：三步顺序固定每步留输出【教师活动】1.引导学生用三句话小结：①完全重复可以放心删，部分重复要先问业务；②判定标准越宽松检出的重复越多，subset由业务决定；③去重按报告—执行—验证三步走，最后必须验证。2.板书知识框架：定义→成因→检测→去重→验证，学生拍照记录。3.课程在线教学平台推送当堂检测5题（完全重复与部分重复辨析、keep参数后果、subset用法），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务「数据标签与索引」将在本任务去重后的数据上继续处理，索引乱了同样会让统计出错，请课前思考。【学生活动】口述三句话小结；独立完成检