数据采集与预处理技术-P1T1-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号1授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目一任务一认识数据采集与预处理课程思政设计：1.职业认同与岗位意识——本课是课程第一节课，用入职第一天的真实情境把学生带入岗位角色，讲清数据处理不是附属工作而是分析工作的起点与基础。2.质量意识与责任担当——业界那句垃圾进、垃圾出要讲透。课堂讲清前期数据质量直接决定后续结论的可靠性，数据从业者对每一个被采用的数字都有责任。3.求实态度——采集必须走合法正当的途径，教材四条采集来源里爬虫一条特别标注了公开与合规。课堂讲清技术能力越强，越要先问有没有资格采。4.耐心细致与时间观——据统计这一环节可能占据整个数据分析项目时间的60%~80%。课堂讲清愿意在前期下笨功夫，是数据从业者的基本功而不是低效率。教学目标：知识目标：能说出数据采集的定义及其在数据分析工作中的位置；能说出传感器采集、系统日志采集、网络爬虫采集、人工录入采集四种采集来源各自的原理与典型场景；能说出数据预处理的定义与清洗、转换、整合、归约四项任务；能说出原始数据常见的四类质量问题及其具体表现与影响；能说出数据采集与预处理基本流程的六个步骤及其先后顺序。能力目标：能把一份杂乱数据的具体问题归入缺失、错误、重复、格式不统一四类中的对应类别；能按六步顺序复述数据采集与预处理的完整流程；能看懂Python读取数据的三段代码，并说出head、info、describe三句各自看什么。素质目标：养成先看清数据质量再谈分析的习惯，不拿到数据就直接做结论；养成按流程推进的习惯，不做跳步的处理；养成记录数据来源与采集方式的习惯。教学重难点及解决方法：教学重点：数据采集四条来源的辨识；原始数据四类质量问题的归类；基本流程六步的顺序。教学难点：四类质量问题的区分与归类；六步流程中质量验证环节的闭环作用。学生容易把格式不统一当成数据错误，对验证不通过要退回重做这一点也常忽略。解决方法：针对难点：把环节一中小明遇到的问题逐条投屏，让学生当场归到四类中，日期写成01/15/2024这类单独拿出来讨论，讲清它不是错值而是格式问题，学生自己说出两者的处理办法不一样；六步流程画成带回路的图，在第六步与第四步之间画一条退回箭头，学生看到箭头就知道验证不是收尾而是把关。针对重点问题：采用边讲边练，每讲完一类采集来源或一类质量问题即在课程在线教学平台推送1～2道限时练习当堂消化；把四类问题与四类采集来源各做一张归类卡片，学生人手一份；讲流程时让全班按六步复述，教师当场补正；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：演示用Python运行环境（pandas），仅用于教师投屏演示，本次课学生不上机。数据与素材：教材示例学生信息文件（student_info.csv）。教学资源：①教材《数据采集与预处理技术》第11–13页正文与示例代码；②本课程课件（含四条采集来源卡片、四类质量问题归类卡片、带退回箭头的六步流程图）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成四类质量问题归类卡片并复述六步流程，按归类准确性、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（四条采集来源、四类质量问题、六步流程、三个查看语句、垃圾进垃圾出），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交四类质量问题归类说明与六步流程的顺序说明。课前预习：平台3道诊断题（数据来源有哪些、常见数据问题），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.课程开篇：讲本课程的性质与定位——《数据采集与预处理技术》是一门把原始数据变成可用数据的技能课，九个项目串成一条从采集到清洗的链条。2.给出情境：小明是一名刚入职的数据分析助理，入职第一天，主管交给他一项任务——分析公司上个月的销售情况。3.讲他打开电脑看到的三类存放位置：有的在Excel表格里，有的在业务系统的数据库中，还有一些客户反馈信息存储在文本文件里。4.讲他遇到的三类具体问题：有的日期格式不统一，有的存在空白单元格，还有一些明显不合理的数值。5.提问：如果你是小明，第一步先做什么？让学生先表态再追问理由。6.讲清他的两个困惑：这些分散的数据该如何整合在一起？那些不完整、不准确的数据又该如何处理？7.点明本任务：这两个问题正是数据采集与预处理要解决的核心问题；只有将原始数据采集齐全、清洗干净、转换成统一规范格式，才能为后续的分析工作打好坚实的基础。【学生活动】听情境并记录小明遇到的三类数据存放位置与三类具体问题；对第一步先做什么发表看法并说明理由。【设计意图】对应知识目标1。本任务是本课程第一节课，用入职第一天这个具体场景把学生带入岗位角色，比直接抛定义更容易建立代入感；先让学生自己说第一步做什么，教师再引出本课主题，学生的初始猜想与后面讲的六步流程形成对照；把两个困惑明确列出，本任务的全部内容都围绕这两条展开，直接回应思政中的职业认同。环节一情境导入：入职第一天的那个难题（10分钟）情境导入任务驱动法（投屏＋讲述）职业认同：数据工作是分析的地基【教师活动】1.给定义：数据采集是指从各种数据源中获取原始数据的过程，是数据分析工作的第一步。2.讲比喻：数据采集就像是厨师准备食材的过程——要做一道菜，首先需要从菜市场、超市等不同地方购买各种原料。3.讲第一类传感器采集：传感器是一种能够感知周围环境并将信息转换为电信号的设备。举例：智能手环通过传感器采集用户的心率、步数；工厂生产线监测设备的温度、振动；气象站记录温度、湿度、风速。4.讲第二类系统日志采集：日志是计算机系统或应用程序自动记录的运行信息。举例：网站服务器记录每一次用户访问的时间、页面、停留时长；手机App记录用户的点击行为、使用时长；银行系统记录每一笔交易的详细信息。5.讲第三类网络爬虫采集：网络爬虫是一种自动访问网页并提取公开信息的程序。举例：电商平台通过合规爬虫采集竞争对手的公开商品价格信息；舆情监测系统采集社交媒体上的公开用户评论；学术研究机构采集公开发表的论文和报告。强调这里的两个关键词是公开与合规。6.讲第四类人工录入采集：这是最传统的数据采集方式，通过人工将信息输入计算机系统。举例：医院护士将患者的体温、血压录入电子病历系统；超市收银员将商品信息录入销售系统；问卷调查中将受访者的回答录入数据库。7.并列四类来源并板书，逐类标注典型场景与后续要讲的对应项目。8.提问：四类里哪一类最适合采集竞争对手的公开价格？哪一类最容易出错？让学生先答。9.点明后续：本课程的后续项目会逐个讲这些采集方式的技术实现。【学生活动】记录四类采集来源并各举一个自己见过的例子；说出采集竞争对手公开价格该用哪一类；说出哪一类最容易出错及理由。【设计意图】对应知识目标2。四类来源按技术性质分列，学生先知道数据从哪来，后面讲预处理时才知道问题从哪带来；爬虫一类单独强调公开与合规两个关键词，把法律边界讲在技术实现之前，直接回应思政中的求实态度；把四类与后续项目对应起来，学生对整门课的地图有初步印象。环节二什么是数据采集四条来源（18分钟）讲授＋板书案例分析讲练结合网络法治：采集要公开也要合规【教师活动】1.给定义：数据预处理是指对采集到的原始数据进行清洗、转换、整合、归约等操作，使其达到分析要求的过程。2.讲比喻：如果说数据采集是买菜，那么数据预处理就是洗菜、切菜——只有将食材处理干净、切成合适的形状，才能下锅烹饪。3.讲第一类数据缺失：某些记录中的部分字段没有值。举例：用户注册时没有填写年龄，订单信息中缺少收货地址。讲影响：这些缺失的数据会影响分析的完整性和准确性。4.讲第二类数据错误：数据中存在明显不合理或错误的值。举例：年龄显示为200岁、价格显示为负数、日期格式混乱等。讲影响：这些错误数据如果不加以处理，就会严重干扰分析结果。5.讲第三类数据重复：同一条信息在数据中出现多次。举例：用户多次刷新页面导致同一次访问被记录多次，系统故障导致订单被重复提交。讲影响：重复数据会导致统计结果偏高。6.讲第四类格式不统一：来自不同系统或渠道的数据，其格式可能各不相同。举例：日期有的写成2024-01-15，有的写成01/15/2024；性别有的用男女表示，有的用M/F表示。讲影响：格式不统一会给数据整合带来困难。7.并列四类问题并板书，逐类标注表现与影响。8.把01/15/2024这个例子单独拿出来问：它算错误还是格式问题？让学生讨论后说明它本身没有错，只是与另一套写法不一致，两者处理办法不同。9.讲预处理的四项任务：数据清洗、数据转换、数据整合和数据归约，说明这些内容将在后续任务中详细介绍。10.让学生把小明遇到的三类问题归入四类中。【学生活动】记录四类问题并各举一例；参与讨论01/15/2024算错误还是格式问题；把小明遇到的三类问题归入四类中。【设计意图】对应知识目标3、4，突破难点四类问题的区分。四类问题按表现与影响并列讲，学生记住的是问题长什么样；把日期写法这个例子单独拿出来讨论，学生自己说出它与错误值的差别，归类能力才真正建立；与环节一小明的三类问题当场对应，两个环节形成闭环，学生看到情境里的问题在知识里都有位置。环节三什么是数据预处理与四类质量问题（18分钟）讲授＋板书对比讲授讲练结合严谨态度：格式不一致不等于数据错【教师活动】1.点明数据采集与预处理虽然是数据分析的前期准备工作，但其重要性不可忽视。2.讲业界广为流传的一句话：垃圾进，垃圾出。讲清意思是如果输入的数据质量很差，那么无论使用多么先进的分析方法，得出的结论也不会可靠。3.讲金融风控例子：银行需要通过分析用户的信用数据来判断其贷款风险。如果采集的数据不全面，比如缺少用户的收入信息，或者数据存在错误，比如将还款记录弄混，那么风控模型就可能做出错误的判断，导致不该放贷的用户获得贷款，或者优质客户被拒之门外。4.讲电商推荐例子：平台需要根据用户的浏览和购买记录来推荐商品。如果用户行为数据采集不完整，或者存在大量重复和错误的记录，那么推荐系统就无法准确理解用户的喜好，推荐的商品可能与用户需求相差甚远，从而影响用户体验和平台销售额。5.并列两个例子并板书共同结构：数据质量出问题→模型判断出错→业务结果受损。6.讲时间占比：在实际工作中，数据分析人员往往需要花费大量时间在数据采集与预处理上；据统计，这一环节可能占据整个数据分析项目时间的60%~80%。7.提问：60%~80%这个比例说明了什么？引导学生说出前期工作决定了后续分析的上限。8.点明结论：因此，高质量的数据采集与预处理是数据分析成功的基础和前提。【学生活动】记录两个行业案例并各说出一个后果；说出两个例子的共同结构；对60%~80%这个比例说明什么发表看法。【设计意图】对应知识目标5。两个行业案例分列讲但都归结到同一条因果链，学生记住的是一个结构而不是两个故事；把60%~80%摆出来让学生自己解读，比例带来的冲击由数据本身给出，直接回应思政中的质量意识与时间观；把结论讲在本环节最后，前面的案例与比例都成了它的支撑而不是装饰。环节四为什么要重视：垃圾进垃圾出（12分钟）案例分析讲授＋板书问题驱动法质量意识：前期质量决定结论上限【教师活动】1.点明数据采集与预处理是一个系统性的工作，通常包含六个步骤。2.第一步明确需求：在开始采集数据之前，需要明确分析的目标是什么，需要哪些数据来支撑分析。举例：如果要分析用户的购买行为，就需要采集用户的基本信息、浏览记录、购买记录等数据。3.第二步确定数据源：根据需求确定数据从哪里获取。数据源可能包括企业内部的数据库、日志系统，也可能包括企业外部的公开数据、第三方数据等。4.第三步数据采集：使用合适的技术手段从各个数据源获取数据。不同类型的数据源需要使用不同的采集方法，例如数据库需要通过SQL语句，网页需要通过爬虫抓取。5.第四步数据预处理：对采集到的原始数据进行清洗、转换、整合、归约等操作，解决数据中存在的质量问题，使其满足分析要求。6.第五步数据存储：将处理好的数据存储到合适的位置，以便后续分析使用。存储方式可以是数据库、数据仓库，也可以是文件系统。7.第六步质量验证：对处理后的数据进行检查，确保数据的完整性、准确性和一致性均符合要求。8.讲清六步的闭环：第六步验证不合格要退回第四步重做，画一条从第六步指向第四步的退回箭头。9.讲清需求与数据源两步的关系：需求不明确，数据源就无从确定；这两步不做，后面全是无的放矢。10.让全班按六步复述，教师当场补正。【学生活动】按六步顺序复述流程；说出验证不合格要退回哪一步；说出需求与数据源两步的关系。【设计意图】对应知识目标6，突破难点六步流程的闭环作用。六步按依赖顺序讲而不是罗列，学生看到的是一条链；退回箭头是本环节的关键一笔，学生看到箭头就明白验证不是收尾动作而是把关动作，直接落实思政中的耐心细致；让全班复述而不是教师总结，便于当场发现理解缺口。环节五基本流程六步（15分钟）讲授＋板书流程图示讲练结合流程意识：验证不合格要退回重做【教师活动】1.说明本环节是教师投屏演示，学生同步记录代码；本次课不上机实操，上机从项目二开始。2.给出案例：有一个记录学生信息的CSV文件student_info.csv，需要将其读取到Python中进行查看。3.逐句投屏演示：导入Pandas库；用read_csv读取文件；打印数据预览并输出前5行；打印数据基本信息；打印数据统计摘要。4.逐句讲清每段输出看什么：head看前5行的字段名与内容；info看有多少行多少列、每列的数据类型、是否存在缺失值；describe看数值列的统计摘要。5.投屏实际运行结果，逐项读出本数据集的行数、列数、各列类型与缺失情况。6.讲这三句的作用：这三句就是初步了解数据质量状况的入口，为后续的预处理工作做好准备。7.讲清使用Python进行数据采集与预处理的基本流程：首先导入相关库，然后读取数据，最后对数据进行查看和分析。8.讲清本次演示的定位：这只是感性认识，在后续的学习中将逐步掌握更多的数据处理技术和方法。【学生活动】记录三段代码与各自的输出内容；跟着教师读出本数据集的行数、列数与缺失情况；口述使用Python处理数据的基本流程。【设计意图】对应能力目标3。本环节定位为教师投屏演示而非学生实操，与本次课的理论教学定位一致，学生的课堂预期在环节开头就被明确，不产生落差；逐句讲清每段输出看什么，学生知道这三句不是要背的代码而是读数据的三个角度；把演示定位讲明，避免学生以为数据查看只有这三句，也为项目二的上机留出衔接。环节六综合演示：Python初体验（12分钟）演示—模仿直观演示法（投屏＋记录）循序渐进：先看懂再上手【教师活动】1.引导学生用三句话小结：①采集是买菜、预处理是洗菜切菜，两步缺一不可；②原始数据的问题有缺失、错误、重复、格式不统一四类；③工作六步走，最后一步是质量验证，不合格要退回重做。2.板书知识框架：采集四条来源→四类质量问题→六步流程→初体验，学生拍照记录。3.课程在线教学平台推送当堂检测5题（四条采集来源、四类质量问题、六步流程、三个查看语句、垃圾进垃圾出），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务讲数据的三种类型与各自的预处理流程，请课前观察自己手机里哪些数据是表格、哪些是文本