数据采集与预处理电子教案 P3-T1-Flume的安装和配置

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P3-T1授课周次第周章节项目3日志数据采集实践本次学时4学时（180分钟）课题任务1Flume的安装和配置授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解Flume的特点，熟悉Flume的工作原理。②熟悉Flume运行的核心Agent，识记Source、Channel、Sink的概念。💪能力目标（技能培养）①学会Flume的安装和不同应用场景下的配置。②学会通过Flume采集数据并上传到HDFS的方法。③学会通过Flume采集数据并上传到HBase的方法。二、教学重点与难点（核心知识点）类别内容教学重点1.完成Flume相关基础知识的学习。2.完成Flume的安装。3.使用Flume采集数据的常用方式，即通过配置Flume的Agent信息，以及定义Flume的数据源、采集方式和输出目标，完成数据采集的关键参数配置工作。4.熟悉Flume的相关基础知识。5.学会Flume的安装和在不同应用场景下的配置。6.Flume的工作原理教学难点1.完成Flume相关基础知识的学习。2.完成Flume的安装。3.使用Flume采集数据的常用方式，即通过配置Flume的Agent信息，以及定义Flume的数据源、采集方式和输出目标，完成数据采集的关键参数配置工作。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示Flume的安装和配置在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现Flume的安装和配置？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟③Sink：用于激活被选择的Sink群中特定的Sink，实现负载均衡控制。3．Flume组件常用配置分析（1）Source①AvroSource。AvroSource负责监听Avro端口，接收来自外部Avro客户端的事件流。利用AvroSource可以达到多级流动、扇出流、扇入流等效果。另外，它还可以接收（通过Flume提供的）Avro客户端发送的日志信息。AvroSource主要属性的说明如下。Channels：接收客户端数据源事件流的Channel。type：类型名称，这里应为Avro。bind：需要监听的主机名或IP地址。port：监听的端口。Avro：Flume通过Avro方式在两台主机之间进行数据传输，Flume可以监听和收集指定端口的日志，使用Avro的Source需要说明被监听的主机的IP地址和端口号，这里将Agent名称均设置为a1。AvroSource的配置示例如表3-1所示。表3-1AvroSource的配置示例②ExecSource。ExecSource可以通过指定的操作读取日志，使用Exec时需要指定Shell命令。ExecSource的配置示例如表3-2所示。表3-2ExecSource的配置示例③Spooling-directorySource。通过Flume日志采集工程实践，培养学生严谨细致的工程素养和精益求精的工匠精神。理实一体化77分钟a1.channels.c1.transactionCapacity=100#将Source、Sink绑定到Channela1.sources.r1.channels=c1a1.sinks.k1.channel=c1Flume-ngAvro-client-c.-Hmaster-p4141-F/data/bigdata/apache-Flume-1.8.0-bin/20yyxxxxABC/log.00#spool.conf配置文件a2.Sources=r2a2.Sinks=k2a2.channels=c2#配置Source信息a2.Sources.r2.type=spooldira2.Sources.r2.channels=c2a2.Sources.r2.spoolDir=/data/bigdata/apache-flume-1.8.0-bin/20yyxxxxABC/spoola2.Sources.r2.fileHeader=true#配置Sink信息通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结Flume的安装和配置的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目3日志数据采集实践中与Flume的安装和配置相关的课后练习题。③拓展练习：自行查阅资料，尝试将Flume的安装和配置应用到一个新的场景中，记录操