数据采集与预处理技术-P6T2-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号20授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目六任务二缺失值与异常值处理课程思政设计：1.科学精神与实事求是——教材给出的处理顺序是先分析缺失机制、再决定处理方式。课堂要求学生在处理记录中写明每一步的判断依据，缺失与异常如实标注，不编数、不掩盖，确立数据从业者最基本的职业底线。2.工匠精神与质量意识——本数据集564169条销售记录中，商品类别代码缺失129370条（约23%）、品牌缺失27224条（约5%）。一个字段的处理方式错了，整份品类报表的结论就错了。借此让学生体会数据清洗不是可有可无的收尾工序，而是决定分析结论对错的关键环节。3.责任意识与职业操守——异常值不等于错误值。课堂反复强调删除前先判断它是不是真实业务，不因图省事而整行删掉可疑记录，避免把真实的极端业务当成脏数据处理掉。4.合规意识——课堂使用教材配套数据集与学校自建样例数据，不涉及含真实个人信息的业务数据，处理结果仅用于教学。教学目标：知识目标：能说出缺失值的定义与四类常见成因，区分完全随机缺失、随机缺失、非随机缺失三类机制并说明三者差别；能说明缺失值检测中数量统计与比例计算两个层面及其结合的必要性；能说清删除法与填充法两条处理路线各自的适用条件；能说出固定值填充、统计量填充、业务规则填充三种做法的结果差别与选择线索；能说出异常值的四类来源及其对均值等统计指标的影响。能力目标：能用isnull().sum()统计各字段缺失数量并计算缺失比例；能用notnull()拆分缺失组与非缺失组、对比关键指标以判断缺失是否存在规律；能用dropna(subset=列名)做按列删除并说明不指定列名时的后果；能用fillna()完成固定值填充、统计量填充，能用自定义函数配合apply完成业务规则填充；能针对具体字段在删除、固定值填充、统计量填充、业务规则填充之间做出选择并说明理由；能用to_datetime与dt访问器发现时间异常值、用describe与条件筛选发现价格异常值；能实现综合清洗函数clean_ecommerce_data(df)，按正确顺序完成时间异常清理、价格异常清理、缺失值填充与数据质量检查；能对比清洗前后行数与保留率，判断清洗结果是否合理。素质目标：养成先查数据质量再谈分析的职业习惯，缺失与异常如实记录；养成工程规范习惯——清洗在副本上进行、代码加注释、每步打印中间结果、处理过程可追溯可复现；在小组协作与投屏互评中能用准确的技术语言说明自己的判断依据，并接受他人检查。教学重难点及解决方法：教学重点：缺失值的检测与统计方法；删除法与三种填充法的结果差别与选择线索；时间异常值与价格异常值的发现与处置。教学难点：缺失机制判断与处理方式的对应关系。学生易跳过机制判断、一律用均值或众数填充；清洗四步的执行顺序易颠倒，先填充再清理会把本该删除的脏记录一并填上值。解决方法：针对难点：按机制先行组织教学，先讲三类缺失机制再讲处理方法，确立先判断、后处理的顺序；把删除、固定值填充、众数填充、业务规则填充四种做法分两个环节并列演示，投屏对比同一字段在四种做法下的取值分布，用可见的结果差异替代口头强调；综合清洗函数环节抽取两份典型错误（保留率过低、顺序颠倒）投屏共评，把个人错误转化为全班经验。针对重点问题：采用边讲边练，每个知识点讲完即用课程在线教学平台推送1～2道限时练习当堂消化；实操期间教师巡视，重点检查是否在副本上操作、四步顺序是否正确、数据保留率是否落在75%～80%的合理区间；课后按检测正确率推送分层强化题。教学环境及平台：实训机房（多媒体），每人一机，配备投影与广播教学软件；Python3.9运行环境（NumPy、pandas）；课程在线教学平台。软件与工具：Anaconda、PyCharm/VSCode、JupyterNotebook。数据与素材：教材配套电商销售数据集（电子产品销售分析.csv，564169条记录）、学校自建样例数据集（不含真实个人信息）。教学资源：①教材《数据采集与预处理技术》第158–162页正文、示例代码与配套数据集；②本课程课件与演示代码（含四种缺失值处理方式对比脚本）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：提交综合清洗函数代码与清洗前后行数对比，按四步顺序、副本操作、保留率合理性三项评分；②随堂测验：下课前5题（缺失机制判断、处理方式选择、isnull与notnull辨析），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交清洗函数代码与处理记录，写明每一步的判断依据。课前预习：平台3道诊断题，统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.投屏展示教材案例：某电商企业对一批电子产品销售数据做月度分析，报表出来后发现品类销售额占比合计不足80%，且出现1970年的订单。提问：是报表算错了，还是数据本身有问题？2.现场读入教材配套数据集电子产品销售分析.csv，运行()，投屏结果——全表564169条记录，商品类别代码字段缺失129370条（约23%），品牌字段缺失27224条（约5%）。3.追问：两列缺失比例相差近五倍，能用同一种办法处理吗？如果整行删除，23%的比例会丢掉多少条记录？4.点明本次课任务：把这份带病的数据清洗到可以直接做分析的程度，并且要说明每一步为什么这么做。5.讲清本次课的路线：先看清楚缺在哪、为什么缺，再决定怎么处理，然后处理异常值，最后把四步整合成一个可复用的清洗函数。【学生活动】观察投屏结果，记录两个字段的缺失数量与比例；估算整行删除会损失的记录数；对能不能直接删发表看法并说明理由。【设计意图】对应知识目标1与能力目标1。沿用本项目任务一已经读取过的同一份数据，学生够得着；把23%缺失这个具体数字摆到眼前，让后面删除法与填充法的比较有可衡量的尺度，而不是凭感觉；五步路线在开头就讲明，学生知道每一段落在整条链上的位置；环节七再回到这份数据核对清洗结果，首尾形成闭环。环节一任务情境与数据质量事故（8分钟）任务驱动法直观演示法（投屏＋数据集）实事求是：正视数据缺陷不掩盖不编数【教师活动】1.给出缺失值定义：数据集中某些位置没有存储值，在本数据集中表现为空白或NaN。2.讲三类缺失机制，逐条配本数据集实例：完全随机缺失——缺失与任何信息无关，如录入员随机漏填；随机缺失——缺失与已知变量有关但与缺失值本身无关，如高价商品更常漏填品牌；非随机缺失——缺失与缺失值本身有关，如品牌越不知名越不被填写。强调第三种缺失本身携带信息，一律填充会引入系统性偏差。3.板演检测流程：df.isnull().sum()统计各列缺失数量；再除以len(df)乘100算缺失比例；用pandas.DataFrame把数量与比例并成一张表，只打印缺失数量大于0的行。强调数量与比例两个都要看——数量大不代表问题重，比例才是决策尺度。4.板演缺失规律判断：用notnull()把brand缺失组与非缺失组分开，分别算price均值并对比，说明两组价格差异明显时缺失就不是随机的。5.讲清这一步在整个流程里的位置：机制判断的结果直接决定后面选哪一种处理办法，跳过它就会一律填均值。6.布置当堂小练：学生各自统计样例数据集的缺失比例，并判断其中一个字段的缺失更接近哪一类机制。【学生活动】跟做检测代码，得到本数据集的缺失统计表并截图；分组对比brand缺失组与非缺失组的平均价格，判断缺失是否随机，派代表报出结论与依据；完成当堂小练并说明理由。【设计意图】对应知识目标1、2、3与能力目标1、2。先讲机制再讲方法，确立先判断、后处理的操作顺序，直接针对学生见缺失就填均值的惯性；isnull与notnull放在同一个问题里出现，学生在对比中记住两者区别；分组对比价格均值让抽象的缺失机制落到可计算的量上，机制这个词从此有了可执行的判据。环节二缺失值的检测与统计（13分钟）讲授＋板书讲练结合分组讨论科学精神：先判断后处理不凭经验下结论【教师活动】1.给出两条处理路线及适用条件：删除法适用于缺失比例小、删掉后不影响分析结论的字段；填充法适用于缺失具有业务含义或不宜删除的字段。2.板演删除法：dropna(subset=['brand'])，讲清subset参数的作用是只在指定列上有缺失时才删这一行。3.现场演示不指定subset的后果：任何列有缺失的行都会被删除。本数据集category_code缺失23%、brand缺失5%，两列叠加后投屏剩余行数，学生自己看损失了多少条。4.立即对照：指定subset=['brand']再跑一遍，投屏剩余行数，两次数字并排。提问：为什么只加了一个参数，差别这么大？5.讲清结论：删除法的代价是丢信息，代价大小取决于删的是哪一列，不是取决于删了多少行。6.板演固定值填充：category_code填未知类别、brand填无品牌。现场演示并投屏填充后brand的取值分布，讲清这种做法保留业务含义——缺失的那批记录仍然知道自己是没有品牌的，而不是被归入某个真实品牌。7.讲清固定值填充新增了一个类别，后续做占比分析时这个类别要单独说明，不能悄悄混进真实品类里。8.强调工程规范：删除与填充之前先df.copy()建副本，清洗在副本上进行，原始数据保留以便比对。【学生活动】跟做两次删除（不指定subset与指定subset），记录行数差并说出原因；跟做固定值填充并观察取值分布中新增的类别；在自己的副本上完成操作；说出删除法与固定值填充各丢了什么、各保了什么。【设计意图】对应知识目标3与能力目标3、4，突破难点处理方式的选择。先用不指定subset的灾难性结果给学生一个可核对的数字，subset参数的作用不需要口头强调就已经显明；固定值填充紧接着演示，两条路线在同一个字段上对比，取舍的代价落到可见的行数与取值分布上；副本操作作为规范动作在本环节首次出现并在后面反复出现，形成习惯。环节三删除法与固定值填充（11分钟）对比演示问题驱动法讲练结合（Python＋pandas）工程规范：清洗在副本上做原始数据要留着【教师活动】1.讲统计量填充：用众数、均值或中位数填入缺失位置。2.板演众数填充：brand填众数，现场演示并投屏填充后的取值分布。3.讲清失真在哪里：本不存在的品牌变成了主流品牌，那批真实没有品牌的记录被凭空归到某一类，品类销售报表因此偏斜。4.追问：本数据集的brand属于非随机缺失——品牌越不知名越不被填写，用众数填等于把不知名的都写成知名的。这个偏差是系统性的，样本量再大也不会自己抵消。5.讲业务规则填充：定义fill_brand_by_price(row)，按price大于500填高端品牌、大于100填中端品牌、其余填经济品牌，用apply(函数名,axis=1)按行应用。6.现场演示并投屏结果分布，讲清这种做法借用了另一个可靠字段的信息，填进去的值有业务解释。7.追问：brand该用哪一种？先让学生举手投票，再各跑一遍看结果差别，投屏四种做法的取值分布并排。8.归纳四种做法的选择线索：缺失比例极小且删掉不影响结论用删除；字段是类别且缺失本身有意义用固定值；数值字段且分布集中用统计量；能找到可靠关联字段用业务规则。9.讲清判定顺序：先看缺失机制，再看字段类型，最后看有没有可关联的字段，三步走完答案通常只剩一个。【学生活动】投票选择brand的处理方式并说明理由；跟做众数填充与业务规则填充，记录两种结果下brand取值分布的差异；在自己的副本上完成填充；口述四种做法的选用线索与三步判定顺序。【设计意图】对应知识目标3、4与能力目标3、5，突破难点缺失机制判断与处理方式的对应关系。四种做法分两个环节演示完，结果当场可见，比口头强调不能随便填更有说服力；投票再验证制造认知冲突，学生亲历填充值必须服从字段业务含义这一原则；最后归纳成一条三步走的判定顺序，学生拿到的是判断路径而不是四个孤立选项，换一份数据也能自己走通。环节四统计量填充与业务规则填充（14分钟）对比演示问题驱动法归纳小结（Python＋pandas）工匠精神：一个字段的处理方式决定一份报表的对错【教师活动】1.给出异常值定义：明显偏离大部分数据的数值，既可能是真实的极端情况，也可能是错误数据。讲四类来源——录入错误、设备故障、系统错误（如明显不合理的日期）、真实但罕见的极端情况。2.强调判断原则：异常不等于错误，删除前必须先判断它是不是真实业务。3.板演时间异常值：pd.to_datetime(df['event_time'])转换后，用df[df['event_time'].dt.year<2000]筛出年份早于2000的记录，本数据集中即1970-01-01一类系统默认时间。4.给出两种处置：直接筛除，或用pd.NaT把异常时间置为缺失值。说明时间类型的缺失值用NaT而非NaN，两者不能混用。5.追问：1970年的订单更像系统错误还是真实业务？让学生表态，讲清这类时间戳通常来自默认值或转换失败，属于系统错误一类。6.板演价格异常值：print(df['price'].describe())看最小值、最大值与四分位；用df[df['price']==0]与df[df['price']>10000]分别捞出零价与天价记录。7.讲处置：零价一般筛除，确需保留的用中位数填充——median不受极端值影响，比均值稳健。8.提问：为什么这里用中位数而不是均值？让学生算一遍被天价拉偏的均值与不受影响的中位数，把两个数字报出来。9.提醒天价不一定该删：万元以上的专业设备在电商平台上真实存在，删之前先看品类，别把真实的极端业务当成脏数据处理掉。【学生活动】跟做时间异常值与价格异常值的检测，报出本数据集捞出的可疑记录条数；对1970年订单属于哪一类来源表态；分别用均值与中位数填充同一批零价记录，对比两者差异并报出数值；说出天价记录删之前还要看什么。【设计意图】对应知识目标5与能力目标6、7。时间异常与价格异常分属两种类型，分别演示才能让学生掌握按字段类型选检测手段的方法，而不是背一段代码；均值与中位数的对比把稳健统计量这一概念落到可观察的数值差异上，为项目七的标准化处理铺垫；天价未必该删这一提醒与责任意识目标呼应，学生建立的是判断习惯而不是删除反射。环节五异常值的发现与处理（16分钟）讲授＋板演探究式学习Python软件验证责任意识：异常不等于错误删除前先判断【教师活动】1.布置任务：把前面学的方法整合成一个可复用的函数clean_ecommerce_data(df)，依次完成时间异常值清理、价格异常值清理、缺失值填充、数据质量检查四件事。2.示范函数骨架，边写边讲四步顺序为什么不能颠倒——先清时间异常，再清价格异常，最后填缺失；若先填缺失，会把本该删掉的脏记录也填上值，白填一遍且掩盖问题。3.讲清每一步用哪一种办法：时间异常按前面判断属系统错误，直接筛除；价格零价筛除、天价按品类判断后处置；brand按业务规则填充，category_code用固定值填充。4.演示函数体内的打印语句：每完成一步打印一次剩余行数，最后打印清洗后缺失统计与数据保留率，让清洗过程可追溯。5.讲清保留率的合理区间：保留率过低说明删多了，本数据集按上述四步通常落在75%～80%。6.学生实操期间巡视，重点检查三处：是否在副本上操作、四步顺序是否正确、数据保留率是否落在合理区间。7.抽取2份典型结果投屏共评：一份保留率过低（误用dropna()全列删除），一份顺序颠倒（先填充后清理）。【学生活动】独立实现清洗函数并运行，记录原始数据行数、清理异常时间后行数、清理异常价格后行数与最终行数；与同桌核对保留率，差异明显的互相检查代码；被抽中者说明自己的四步顺序与理由。【设计意图】对应能力目标8、9，是本次课的综合产出。四步顺序是学生最容易出错的地方，放在函数设计里讲比单独强调更有效；把前面环节判断过的处置办法在函数里逐一落实，学生看到的是决策被代码化而不是重新决策；保留率作为可核对的硬指标，学生能自我判断做得对不对，不依赖教师逐个批改；两份典型错误投屏共评，把个人错误转化为全班经验。环节六综合清洗函数的设计与实现（21分钟）项目教学法演示—实操—巡视投屏共评规范意识：过程留痕结果可复现【教师活动】1.引导学生用三句话小结：①缺失先看机制再选方法；②异常不等于错误，删除前先判断；③清洗在副本上做，四步顺序不能颠倒。2.回到环节一那份带病数据：投屏清洗前后的行数对比与保留率，核对是否落在75%～80%区间。3.回应开局的报表问题：品类销售额占比不足80%根在数据不在算法，缺失的23%类别代码被当成空值排除了；现在类别已按未知类别单列，占比能算全。4.点明本次课的分量：数据清洗不是可有可无的收尾工序，而是决定分析结论对错的关键环节。5.板书知识框架：定义→机制→检测→处理→验证，学生拍照记录。6.课程在线教学平台推送当堂检测5题（缺失机制判断、处理方式选择、isnull与notnull辨析），限时5分钟，系统自动批改，当场讲评错误率最高的一题。7.布置作业并预告：下一任务「数据冗