任务6.2 使用Sqoop实现中国工业产品产量数据迁移

使用Sqoop实现中国工业产品产量数据迁移任务描述在部署好Sqoop之后，小需要配合数据迁移工程师，将散落在各个系统中的历史工业产品产量数据迁移至大数据平台，其中就包含在MySQL中的数据。在本任务中，小数将对大数据平台进行测试，将MySQL数据库中的中国工业产品产量数据迁移至HDFS上，并进行简单的数据查询操作。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机，且主节点已部署MySQL和Sqoop。任务描述与任务环境中国工业产量数据来源于国家统计局统计的1998-2022年的工业产量数据，该数据集包括指标、年份、产量3个特征，部分中国工业产量数据如下。数据示例指标年份产量笔记本计算机产量(万台)202222717.83钢材产量(万吨)2022134033.48集成电路产量(万块)202232418500轿车产量(万辆)20221044.95水泥产量(万吨)2022212927.18原盐产量(万吨)20225359.88中成药产量(万吨)2022244.66重轨产量(万吨)2022355.49目录1使用Sqoop迁移MySQL表数据至HDFS在MySQL中创建数据表2中国工业产品产量数据是存储在某大型制造企业的系统数据库里，此处模拟存储在MySQL数据库中。在MySQL中创建表的实现流程如下。在MySQL中创建数据表在MySQL中创建数据库，数据库名为sqoop_data，并查看所有数据库。创建数据库在准备创建数据表时，可以选择不预先创建数据库，而是直接在默认数据库中建立数据表。这种方法虽然可行，但从数据管理的角度来看，它并非最佳方案。不创建独立数据库而直接在默认数据库中构建数据表，可能会导致数据组织不够清晰，从而在未来的数据维护、更新和检索过程中带来不便。因此，为了确保数据结构的合理性和管理的便捷性，建议在创建数据表之前先定义并创建相应的数据库。使用“usesqoop_data;”命令切换到创建的数据库sqoop_data。切换数据库创建数据表industrail_product_output，表字段包括“指标”“年份”和“产量”3列。创建MySQL表在MySQL中，若表名或字段名涉及关键字、中文、特殊字符或标点符号时，通常会使用反引号将其括起来，确保能够正常识别。查看表的字段及特征构成。创建MySQL表先将数据“1998-2022年中国工业产品产量.csv”上传至master虚拟机/opt/data目录下。通过load命令将数据导入创建好的表中导入数据至MySQL表中在将本地数据导入至MySQL中的数据表之前，应确保启用了客户端和服务器中的“local_infile”功能。启动客户端“local_infile”功能方法为在登录MySQL时加上“--local_infile”参数，如“mysql-uroot-p123456--local_infile”；启动服务器中的“local_infile”功能方法为进入MySQL后执行“setgloballocal_infile=ON;”命令。查看industrail_product_output表中的前10行数据。验证数据是否导入成功目录1使用Sqoop迁移MySQL表数据至HDFS在MySQL中创建数据表2启动Hadoop集群，之后通过import命令把MySQL中的表数据导入到HDFS中。使用Sqoop迁移MySQL表数据至HDFS在Linux操作系统中，若需要将一段长代码进行换行处理以提升可读性或便于管理，可以在代码行的末尾添加反斜杠符号“\”，这样系统会认为命令尚未结束，从而允许将代码延续到下一行。这种做法在处理复杂或长度超过终端窗口宽度的命令时尤为有用，通过恰当的换行，可以更有效地输入、查看和编辑代码，进而提高工作效率和代码维护的便捷性。import命令参数说明。使用Sqoop迁移MySQL表数据至HDFS参数参数解释参数--connect连接关系型数据库的URL数据库主机地址为master，端口号为3306，数据库名称为sqoop_data--driver指定JDBC驱动类的名称com.mysql.cj.jdbc.Driver--username连接数据库的用户名root--password连接数据库的密码123456--table指定要导入的表industrail_product_output--target-dir指定数据将要存储的目标目录保存到HDF的/production_data/mysql_data--num-mappers指定并行度，即同时运行的Map任务数量设置Map任务的并行度为1使用“hdfsdfs-ls/production_data/mysql_data_hdfs”命