数据采集与预处理电子教案 P5-T4-用Flume Interceptor对日志信息进行数据预处理

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P5-T4授课周次第周章节项目5数据预处理实践本次学时4学时（180分钟）课题任务4用FlumeInterceptor对日志信息进行数据预处理授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解用FlumeInterceptor对日志信息进行数据预处理的基本概念和原理。②熟悉相关工具的基本使用方法。💪能力目标（技能培养）①学会使用Kettle进行数据预处理。②学会使用pandas进行数据预处理。③学会使用FlumeInterceptor进行日志数据预处理。二、教学重点与难点（核心知识点）类别内容教学重点1.学习FlumeInterceptor的相关基础知识。2.使用FlumeInterceptor实现“北京公交线路信息”数据的预处理。3.熟悉FlumeInterceptor的相关基础知识。4.学会使用FlumeInterceptor完成数据的预处理。教学难点1.学习FlumeInterceptor的相关基础知识。2.使用FlumeInterceptor实现“北京公交线路信息”数据的预处理。3.熟悉FlumeInterceptor的相关基础知识。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示用FlumeInterceptor对日志信息进行数据预处理在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现用FlumeInterceptor对日志信息进行数据预处理？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟将当前时间戳（单位为毫秒）加入EventsHeader，键为timestamp，值为当前时间戳。时间戳拦截器配置文件为mytime.conf，代码如下。#命名Agent上的组件a1.sources=r1a1.sinks=k1a1.channels=c1#配置Source信息a1.sources.r1.type=Syslogtcpa1.sources.r1.port=50000a1.sources.r1.host=74#根据实际情况设置a1.sources.r1.channels=erceptors=erceptors.i1.preserveExisting=erceptors.i1.type=timestamp#配置Sink信息a1.sinks.k1.type=hdfs通过数据预处理技术的学习，培养学生发现问题、解决问题的数据思维，以及科学严谨的实验态度。理实一体化77分钟a1.channels.c1.transactionCapacity=100在设置好环境变量的情况下，进入Flume目录，执行Flume启动命令，如图5-92所示。Flume终端启动成功，其启动信息如图5-93所示。此时，打开另一个终端，使用curl命令向50000端口发送请求信息，如图5-94所示，使Flume获取生成时间戳的日志信息。Flume的返回信息如图5-95所示。在HDFS中查看生成的日志文件，如图5-96所示。2．设置主机名拦截器将运行FlumeAgent的主机名或IP地址加入EventsHeader，键为host（也可自定义）。创建并编辑配置文件myhost.conf，代码如下。参数|默认值|说明type|—|类型名称为statickey|key|事件头的键value|Value|键对应的值preserveExisting|True|设置为True时，若事件中报头已经存在该键，则不会替换键值；设置为False时，无论事件中报头是否存在该键，都会覆盖或添加该键的值参数|默认值|说明type|—|类型名称为REGEX_FILTER通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结用FlumeInterceptor对日志信息进行数据预处理的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目5数据预处理实践中与用FlumeInterceptor对日志信息进行数据预处理相关的课后练习题。③拓展练习：自行查阅资料，尝试将用FlumeInterceptor对日志信息进行数据预处理应用到一个新的场景中，记录操作步骤。五