数据采集与预处理电子教案 P4-T1-使用Sqoop将数据导入HDFS

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P4-T1授课周次第周章节项目4使用Sqoop进行数据迁移本次学时4学时（180分钟）课题任务1使用Sqoop将数据导入HDFS授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解使用Sqoop将数据导入HDFS的基本概念和原理。②熟悉相关工具的基本使用方法。💪能力目标（技能培养）①学会使用Sqoop将数据导入HDFS。②学会使用Sqoop将数据导入Hive。③学会使用Sqoop将数据从HDFS导出到MySQL。④学会使用Sqoop将数据从Hive导出到MySQL。二、教学重点与难点（核心知识点）类别内容教学重点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由MySQL导入HDFS。3.熟悉Sqoop的相关基础知识。4.学会使用Sqoop实现将数据由MySQL导入HDFS。5.import和export通用参数6.数据导入工具import参数教学难点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由MySQL导入HDFS。3.熟悉Sqoop的相关基础知识。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示使用Sqoop将数据导入HDFS在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现使用Sqoop将数据导入HDFS？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟CREATETABLEbeijing_businfo(bus_idINTPRIMARYKEYAUTO_INCREMENT,bus_namevarchar(1000),bus_typevarchar(1000),bus_timevarchar(1000),bus_pricevarchar(1000),bus_company_namevarchar(1000),bus_update_timevarchar(1000),all_linesvarchar(5000),last_update_datedatetime)DEFAULTCHARACTERSET=utf8执行beijing_businfo.sql脚本，将数据导入beijing_businfo数据表，命令如下。SOURCE/opt/beijing_businfo.sql创建数据表part_businfo，这里只需要复制beijing_businfo数据表的结构，命令如下。CREATETABLEpart_businfoLIKEbeijing_businfo通过企业级数据迁移案例，培养学生的数据质量意识和对数据精准性、完整性的职业责任感。理实一体化77分钟3．增量导入增量导入是指每次只导入新增加或需要更新的数据，这种方式可以大大降低数据库服务器的负担。进行增量导入时，需要使用--incremental选项，通过append模式导入数据。在MySQL的part_businfo数据表中现有300条数据，在beijing_businfo数据表中有331条数据，现在将beijing_businfo数据表中bus_id>300的数据追加到part_businfo数据表中，然后将part_businfo数据表中的新增数据增量导入HDFS。将beijing_businfo数据表中bus_id>300的数据追加到part_businfo数据表，命令如下。INSERTINTOpart_businfoSELECT*FROMbeijing_businfoWHEREbus_id>300;参数|说明--fetch-size<n>|从数据库中批量读取记录-m,--num-mappers<n>|使用n个map任务并行导入数据-e,--query<statement>|导入的查询语句--split-by<column-name>|设置按照哪个列去分割数据--table<table-name>|导入的源表表名--target-dir<dir>|导入HDFS的目标路径--warehouse-dir<dir>|HDFS存放表的根路径--where<whereclause>|指定导出时所使用的查询条件-z,--compress|启用压缩通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结使用Sqoop将数据导入HDFS的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目4使用Sqoop进行数据迁移中与使用Sqoop将数据导入HDFS相关的课后练习题。③拓展练习：自行查阅资料，尝试将使用Sqoop将数据导入HDFS应用到一个新的场景中