数据采集与预处理电子教案 P3-T2-使用Flume采集数据并上传到集群

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P3-T2授课周次第周章节项目3日志数据采集实践本次学时4学时（180分钟）课题任务2使用Flume采集数据并上传到集群授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解Flume的特点，熟悉Flume的工作原理。②熟悉Flume运行的核心Agent，识记Source、Channel、Sink的概念。💪能力目标（技能培养）①学会Flume的安装和不同应用场景下的配置。②学会通过Flume采集数据并上传到HDFS的方法。③学会通过Flume采集数据并上传到HBase的方法。二、教学重点与难点（核心知识点）类别内容教学重点1.学习Flume日志采集的相关基础知识。2.使用Flume采集数据并存储到HDFS中。3.使用Flume采集数据并存储到HBase中。4.熟悉Flume的相关基础知识。5.学会将采集的日志数据转存到HDFS中的方法。6.学会将采集的日志数据转存到HBase中的方法。教学难点1.学习Flume日志采集的相关基础知识。2.使用Flume采集数据并存储到HDFS中。3.使用Flume采集数据并存储到HBase中。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示使用Flume采集数据并上传到集群在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现使用Flume采集数据并上传到集群？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟（3）mv：移动或重命名文件/文件夹。（4）rm：删除文件/空文件夹。（5）put：上传文件。（6）mkdir：创建空文件夹。1．Flume采集数据上传到HDFS进入Flume的conf目录，创建hdfs.conf配置文件，并编辑此配置文件，代码如下。#hdfs.conf配置文件hdfsAgent.sources=hdfsSourcehdfsAgent.sinks=hdfsSinkshdfsAgent.channels=hdfsChannel#配置Source信息hdfsAgent.sources.hdfsSource.type=spooldirhdfsAgent.sources.hdfsSource.channels=hdfsChannelhdfsAgent.sources.hdfsSource.spoolDir=/data/bigdata/apache-flume-1.8.0-bin/20yyxxxxABC/hdfshdfsAgent.sources.hdfsSource.fileHeader=true通过Flume日志采集工程实践，培养学生严谨细致的工程素养和精益求精的工匠精神。理实一体化77分钟配置示例|说明agenttest.channels=c2|为Agent的Channel命名agenttest.sinks=k2|为Agent的Sink命名agenttest.sinks.k2.type

=org.apache.flume.Sink.hbase.HBaseSink|设置type的值agenttest.sinks.k2.table=test_hbase_table|设置HBase的table的名称agenttest.sinks.k2.columnFamily=f2|设置HBase的columnFamilyagenttest.sinks.k2.serializer

=org.apache.flume.Sink.hbase.RegexHbaseEventSerializer|设置serializer的处理类agenttest.sinks.k2.serializer.regex

=

RegularExpression|设置相应的正则表达式agent.sinks.hbaseSink-2.serializer.colNames=column-1,column-2,column-3,column-4|指定前面正则表达式匹配到的数据对应的HBase的familycolumn-2列族中的4个column列名agenttest.sinks.k2.channels=c2|指定Sink使用的Channel参数|默认值|说明channel|—|为Agent的Channel命名type|—|设定type的名称，此处需要将其设置为org.apache.flume.Sink.AsyncHBaseSinktable|—|设置HBase的表名参数|默认值|说明通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结使用Flume采集数据并上传到集群的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目3日志数据采集实践中与使用Flume采集数据并上传到集群相关的课后练习题。③拓展练习：自行查阅资料，尝试将使用Flume采集数据并上传到集群应用到一