数据采集与预处理电子教案 P5-T5-实践与拓展

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P5-T5授课周次第周章节项目5数据预处理实践本次学时2学时（90分钟）课题任务5实践与拓展授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解实践与拓展的基本概念和原理。②熟悉相关工具的基本使用方法。💪能力目标（技能培养）①学会使用Kettle进行数据预处理。②学会使用pandas进行数据预处理。③学会使用FlumeInterceptor进行日志数据预处理。二、教学重点与难点（核心知识点）类别内容教学重点1.使用Kettle处理HDFS上的数据并写回HDFS。2.使用Kettle采集并处理MongoDB数据库中的数据。3.学会使用Kettle处理HDFS上的数据并写回HDFS。4.学会使用Kettle采集并处理MongoDB数据库中的数据。5.Kettle中有两种脚本文件：和。其中，用于完成针对数据的基础转换，而用于完成整个工作流的控制。6.Kettle主要由4个组件组成，分别为、、和组件。教学难点1.使用Kettle处理HDFS上的数据并写回HDFS。2.使用Kettle采集并处理MongoDB数据库中的数据。3.学会使用Kettle处理HDFS上的数据并写回HDFS。三、教学过程设计（90分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入5分钟1.情景导入：展示实践与拓展在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现实践与拓展？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化40分钟1．使用Kettle进行数据清洗。（1）创建一个新的转换“旅游信息数据预处理”，将创建过程截图。（2）创建数据库连接。创建一个planedemo数据库连接（使用MySQL中的planedemo数据库的trip表），将连接创建的设置截图。（3）创建一个表输入，将其设置截图。（4）拆分酒店字段，将酒店字段以空格作为分隔符拆分为“酒店”“类型”“评分”字段，并将创建设置截图。（5）使用正则表达将类型字段中的“3.9分/5分”样式的内容替换为“舒适型”，并将创建设置过程截图。（6）将数据中的“评分”字段中的NULL值替换为“4.0”，并将设置过程截图。（7）将“评分”字段的数据由“4.7分/5分”样式经过剪切字符串截取为“4.7”样式，并将设置过程截图。（8）将数据按照“类型”字段进行升序排列，并将设置过程截图。（9）将数据按照“类型”进行分组，并对分组后的“评分”数据求平均值，将设置过程截图。（10）将“分组”运行结果截图。（11）将结果输出到Excel表格，并将设置和运行结果截图。通过数据预处理技术的学习，培养学生发现问题、解决问题的数据思维，以及科学严谨的实验态度。理实一体化40分钟2．使用pandas进行数据清洗。使用的招聘网站初始数据集来自多个网站及平台，且为多次采集汇总，因此数据集中不可避免地存在一些脏数据（即源数据不在给定的范围内、对于实际业务无意义、数据格式非法，或者在源系统中存在不规范的编码或含糊不清的业务逻辑）。请分析数据集，根据题目要求实现数据清洗。（1）如果一个公司的数据中存在岗位名称和工作地点相同的数据，可认为是重复数据，删除重复项并保留第一次出现的行，输出剩余数据条数，格式如下所示。*****去重后数据条数为：***条*****（2）在“学历”这一字段中，属性的范围为“初中、中专、高中、大专、本科、硕士、博士”，其他属性的数据归为异常数据。删除异常数据，并输出剩余数据条数，格式如下所示。*****删除异常数据后的条数为：***条*****（3）对于空数据，若一行中存在的空字段大于等于3则删除整行数据，并输出剩余的数据行数，格式如下所示。*****去空后数据总条数为：***条*****（4）工资数据给出的一般是一个范围，数据格式也很不标准，例如“千/月、万/月、万/年”等，需要进行统一，取数据范围的平均值。示例如下。结尾是“天”或“小时”的一般属于兼职，无须考虑（即只考虑千/月、万/月、万/年3种情况）。若遇到薪资为空值的情况，删除相应数据即可。处理完成后输出数据前10行，并输出数据条数，格式如下所示。*****清洗后总条数为：***条*****（5）最后将结果保存为.csv文件，以便数据分析使用。通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结5分钟1.梳理本次课程的核心知识点2.对比总结实践与拓展的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目5数据预处理实践中与实践与拓展相关的课后练习题。③拓展练习：自行查阅资料，尝试将实践与拓展应用到一个新的场景中，记录