数据采集与预处理电子教案 P4-T2-使用Sqoop将数据导入Hive

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P4-T2授课周次第周章节项目4使用Sqoop进行数据迁移本次学时4学时（180分钟）课题任务2使用Sqoop将数据导入Hive授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解使用Sqoop将数据导入Hive的基本概念和原理。②熟悉相关工具的基本使用方法。💪能力目标（技能培养）①学会使用Sqoop将数据导入HDFS。②学会使用Sqoop将数据导入Hive。③学会使用Sqoop将数据从HDFS导出到MySQL。④学会使用Sqoop将数据从Hive导出到MySQL。二、教学重点与难点（核心知识点）类别内容教学重点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由MySQL导入Hive。3.熟悉Sqoop的相关基础知识。4.学会使用Sqoop实现将数据由MySQL导入Hive。教学难点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由MySQL导入Hive。3.熟悉Sqoop的相关基础知识。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示使用Sqoop将数据导入Hive在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现使用Sqoop将数据导入Hive？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化78分钟（2）导入所有表将MySQL中sqoop数据库的所有数据表导入Hive中的sqoop数据库，命令如下。sqoopimport-all-tables\--connectjdbc:mysql://master:3306/sqoop?useSSL=false\--usernameroot\--password123456\--hive-import\--hive-databasesqoop\--m1运行代码，部分运行结果如图4-14所示。在Web端查看导入结果，默认存放目录为/user/hive/warehouse/，如图4-15所示。在Hive命令行窗口中查看导入结果，如图4-16所示。2．增量导入由于--hiveimport与--incremental冲突，增量导入不能直接导入Hive表，但可以导入Hive表对应的HDFS目录。为MySQL中的beijing＿businfo数据表添加一行记录，如下所示。通过企业级数据迁移案例，培养学生的数据质量意识和对数据精准性、完整性的职业责任感。理实一体化77分钟INSERTINTObeijing_businfoVALUES(332,"北京555路公交车路线","测试增量导入线路","","","","","",NOW());增量导入数据前查看/user/hive/warehouse/sqoop.db/beijing_businfo/part-m-00000文件内容，可以看到最后的记录的bus_id为331，如图4-17所示。为实现数据的增量导入，执行如下命令。sqoopimport\--connectjdbc:mysql://master:3306/sqoop?useSSL=false\--usernameroot\--password123456\--tablebeijing_businfo\--num-mappers1\--hive-import\--fields-terminated-by"\t"\--hive-databasesqoop\--hive-tablebeijing_businfo--incrementalappend\--check-columnbus_id\通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结使用Sqoop将数据导入Hive的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目4使用Sqoop进行数据迁移中与使用Sqoop将数据导入Hive相关的课后练习题。③拓展练习：自行查阅资料，尝试将使用Sqoop将数据导入Hive应用到一个新的场景中，记录操作步骤。五、教学备注