10 sqoop录播视频Sqoop应用

Sqoop应用,本课目标,掌握Sqoop的使用使用Sqoop导入MySQL到HDFS和Hive使用Sqoop导出HDFS数据到MySQL,2/23,Sqoop产生背景,工作中，我们经常遇到下面的场景通常通过开发MapReduce来实现导入：MapReduce输入为DBInputFormat，输出TextInputFormat导出：MapReduce输入为TextInputFormat，输出DBOutputFormat,3/23,Sqoop概述,Sqoop=Sql+Hadoop基于Hadoop与RDBMS间的数据传输工具，是Apache顶级项目,4/23,Sqoop版本,Sqoop1稳定版本是1.4.6，本课程以Sqoop1.x为例进行讲解,5/23,Sqoop架构,Sqoop通过Map任务来传输数据，不需要Reducer,6/23,Sqoop部署,下载地址：,7/23,Sqoop常用命令,8/23,使用Sqoop导入MySQL数据到HDFS-1,sqoopimport-connectjdbc:mysql:/localhost/sqoop-usernameroot-passwordroot-tableemp-m1-columnsempno,ename,job,sal,comm-target-diremp_column-delete-target-dir,9/23,使用Sqoop导入MySQL数据到HDFS-2,常用参数说明,10/23,使用Sqoop导入MySQL数据到HDFS-3,使用指定压缩格式及存储格式,sqoopimport-connectjdbc:mysql:/localhost/sqoop-usernameroot-passwordroot-tableemp-m1-columnsempno,ename,job,sal,comm-target-diremp_parquet-delete-target-dir-as-parquetfile-compression-press.SnappyCodec,11/23,使用Sqoop导入MySQL数据到HDFS-4,使用指定的分隔符,sqoopimport-connectjdbc:mysql:/localhost/sqoop-usernameroot-passwordroot-tableemp-m1-columnsempno,ename,job,sal,comm-target-diremp_column_split-delete-target-dir-fields-terminated-byt-lines-terminated-byn,12/23,使用Sqoop导入MySQL数据到HDFS-5,导入指定条件的数据,sqoopimport-connectjdbc:mysql:/localhost/sqoop-usernameroot-passwordroot-tableemp-m1-columnsempno,ename,job,sal,comm-target-diremp_column_where-delete-target-dir-wheresal2000,13/23,使用Sqoop导入MySQL数据到HDFS-6,导入指定查询语句的数据,sqoopimport-connectjdbc:mysql:/localhost/sqoop-usernameroot-passwordroot-tableemp-m1-columnsempno,ename,job,sal,comm-target-diremp_column_query-delete-target-dir-queryselect*fromempwhereempno=7900and$CONDITIONS,14/23,使用Sqoop导入MySQL数据到HDFS-7,eval的使用使用eval工具,我们可以评估任何类型的SQL查询-options-file的使用可以将sqoop脚本封装为opt文件，然后使用sqoop-options-filexxx.opt进行调用,sqoopeval-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-queryselect*fromemp,15/23,使用Sqoop导出HDFS数据到MySQL-1,准备导出表导出所有字段,createtableemp_demoasselect*fromempwhere1=2,sqoopexport-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-tableemp_demo-export-dir/user/hadoop/emp-m1,HDFS数据目录,16/23,使用Sqoop导出HDFS数据到MySQL-2,导出指定字段,注意,每执行一次，就会插入数据到MySQL中，所以应先根据条件将表中的数据删除后再导出,sqoopexport-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-tableemp_demo-columnsempno,ename,job,sal,comm-export-dir/user/hadoop/emp_column-m1,17/23,使用Sqoop导出HDFS数据到MySQL-3,导出表时指定分隔符,sqoopexport-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-tableemp_demo-columnsempno,ename,job,sal,comm-export-dir/user/hadoop/emp_column_split-fields-terminated-byt-lines-terminated-byn-m1,18/23,使用Sqoop导出HDFS数据到MySQL-4,批量导出,注意,默认每读取一行HDFS文件数据便插入一条记录至RDBMS，批量导出提高一次导出的记录数,sqoopexport-Dsqoop.export.records.pre.statement=10-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-tableemp_demo-export-dir/user/hadoop/emp-m1,19/23,使用Sqoop导入MySQL数据到Hive-1,参数说明,20/23,使用Sqoop导入MySQL数据到Hive-3,导入表的所有字段到Hive,sqoopimport-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-delete-target-dir-tableemp-hive-import-create-hive-table-hive-tableemp_import-m1,21/23,使用Sqoop导入MySQL数据到Hive-3,导入表的指定字段到Hive创建Hive表,createtableemp_column(empnoint,enamestring,jobstring,mgrint,hiredatestring,saldouble,commdouble,deptnoint)rowformatdelimitedfieldsterminatedbytlinesterminatedbyn;,sqoopimport-connectjdbc:mysql:/localhost:3306/sqoop-usernameroot-passwordroot-delete-target-dir-tableemp-columnsempno,ename,job,sal,comm-