数据采集与预处理电子教案 P4-T3-使用Sqoop将数据导出到MySQL

数据采集与预处理课程教案课程思政版·理实一体化课程名称数据采集与预处理课程类型专业核心课（理实一体化）教案编号P4-T3授课周次第周章节项目4使用Sqoop进行数据迁移本次学时4学时（180分钟）课题任务3使用Sqoop将数据导出到MySQL授课类型理论+实践授课地点计算机实训室授课班级授课日期年月日授课教师教室/实训室计算机实训室一、教学目标目标维度具体内容🎯课程思政目标（价值塑造）通过本任务的学习，培养学生：①精益求精的工匠精神和严谨细致的工作态度；②遵守职业规范、保护数据安全的职业道德意识；③团队协作、共同解决技术问题的合作精神。📚认知目标（知识传授）①了解使用Sqoop将数据导出到MySQL的基本概念和原理。②熟悉相关工具的基本使用方法。💪能力目标（技能培养）①学会使用Sqoop将数据导入HDFS。②学会使用Sqoop将数据导入Hive。③学会使用Sqoop将数据从HDFS导出到MySQL。④学会使用Sqoop将数据从Hive导出到MySQL。二、教学重点与难点（核心知识点）类别内容教学重点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由HDFS导出到MySQL。3.使用Sqoop实现将数据由Hive导出到MySQL。4.熟悉Sqoop的相关基础知识。5.学会使用Sqoop实现将数据由HDFS导出到MySQL。6.学会使用Sqoop实现将数据由Hive导出到MySQL。教学难点1.学习Sqoop的相关基础知识。2.使用Sqoop实现将数据由HDFS导出到MySQL。3.使用Sqoop实现将数据由Hive导出到MySQL。三、教学过程设计（180分钟理实一体化）教学环节时间教学内容与活动课程思政融入课程导入10分钟1.情景导入：展示使用Sqoop将数据导出到MySQL在实际项目中的应用案例2.回顾上节课的知识点，建立知识联系3.提出本节课的学习问题：如何实现使用Sqoop将数据导出到MySQL？4.明确本次任务目标和学习路径创设真实应用情境，激发学习兴趣，潜移默化融入思政元素，引导学生思考技术与社会的关系。理实一体化约78分钟--columns\"bus_id,bus_name,bus_type,bus_time,bus_price,bus_company_name,bus_update_time,all_lines,last_update_date"\--num-mappers4\--export-dir/user/root/beijing_businfo/\--update-modeallowinsert\--update-keybus_id\--input-fields-terminated-by','--columns选项用于设定选择列并控制它们的排序。当导出数据文件和目标表字段列顺序完全一致时可以省略，否则以英文逗号为间隔选择和排列各个列。没有被包含在--columns之后的列名或字段需要具备默认值或允许为空值。否则数据库会拒绝接收使用Sqoop导出的数据，导致Sqoop作业失败。--export-dir选项用于设定导出目录，在执行导出操作时必须指定这个选项。同时，还需要具备--table或--call选项，--table用于设定数据库中对应的表，--call用于设定调用某个存储过程。执行命令，命令执行信息如图4-20所示。数据导出成功后，执行“SELECT*FROMbeijing_businfoORDERBYbus_id;”命令查看导出的数据，结果如图4-21所示。需要注意的是，使用Sqoop导出数据时，实际上是通过独立的INSERT语句来添加每一行记录。如果导出记录数非常大（如100万条记录），导出过程会非常缓慢。为了解决这个问题，可以使用Sqoop的批量插入功能。使用Sqoop可以每次插入多条记录（即批量插入），例如每次插入10条记录，命令如下。sqoopexport\--connect"jdbc:mysql://master:3306/hdfs?useUnicode=true&characterEncoding=utf-8"\--usernameroot\--password123456\通过企业级数据迁移案例，培养学生的数据质量意识和对数据精准性、完整性的职业责任感。理实一体化约77分钟--tablebeijing_businfo\--columns\"bus_id,bus_name,bus_type,bus_time,bus_price,bus_company_name,bus_update_time,all_lines,last_update_date"\--num-mappers4\--export-dir/user/root/beijing_businfo/\--update-modeallowinsert\--update-keybus_id\--input-fields-terminated-by','\--batch执行命令，批量插入命令执行信息如图4-22所示。数据导出成功后，执行“SELECT*FROMbeijing_businfoORDERBYbus_id；”命令查看导出的数据，结果如图4-23所示。（2）将Hive中beijing_businfo目录下的数据导出到MySQL数据库hdfs中的beijing_businfo数据表。将MySQL数据库hdfs中的beijing_businfo数据表清空，命令如下。DELETEFROMbeijing_businfo;将Hive中beijing_businfo目录下的数据导出到MySQL数据库hdfs中的beijing_businfo数据表，命令如下。sqoopexport\通过独立实践操作，培养学生自主探究能力和解决实际问题的技术应用能力，强调规范操作和数据安全意识。课堂总结15分钟1.梳理本次课程的核心知识点2.对比总结使用Sqoop将数据导出到MySQL的关键操作步骤3.布置课后作业：完成课后练习题，预习下一任务4.预告下一次课程内容归纳总结知识要点，强化职业规范意识，鼓励学生持续学习、精益求精，以工匠精神要求自己。四、课后作业①复习并整理本次课程的核心知识点，撰写不少于200字的学习心得。②完成教材项目4使用Sqoop进行数据迁移中与使用Sqoop将数据导出到MySQL相关的课后练习题。③拓展练习：自行查阅资料，尝试将使用Sqoop将数