2023学年完整公开课版教学Sqoop简介

主讲：张义0102目录Sqoop概念Sqoop版本对比03安装部署Sqoop概念1Sqoop概念Hadoop业务的大致开发流程以及Sqoop在业务中的地位：Sqoop概念

Sqoop可以理解为【SQL–to–Hadoop】，正如名字所示，Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具。它可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop版本对比2Sqoop版本对比Sqoop1和Sqoop2对比：两个版本，完全不兼容，Sqoop1几乎无法平滑升级到Sqoop2版本号划分区别Apache版本：1.4.x(Sqoop1);1.99.x(Sqoop2)CDH版本:Sqoop-1.4.3-cdh4(Sqoop1);Sqoop2-1.99.2-cdh4.5.0(Sqoop2)Sqoop2相对Sqoop1的改进引入Sqoopserver，集中化管理connector等访问方式多样化：CLI(command-lineinterface，命令行界面)，WebUI，RESTAPI引入基于角色的安全机制在架构上，sqoop2引入了sqoopserver（具体服务器为tomcat），对connector实现了集中的管理。其访问方式也变得多样化了，其可以通过RESTAPI、JAVAAPI、WEBUI以及CLI控制台方式进行访问。另外，其在安全性能方面也有一定的改善，在sqoop1中我们经常用脚本的方式将HDFS中的数据导入到mysql中，或者反过来将mysql数据导入到HDFS中，其中在脚本里边都要显示指定mysql数据库的用户名和密码的，安全性做的不是太完善。在sqoop2中，如果是通过CLI方式访问的话，会有一个交互过程界面，你输入的密码信息不被看到。安装部署3安装部署1、下载

下载地址：/dist/sqoop/1.4.6/

下载sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz2、解压安装tar-zxvfsqoop-1.4.6.bin__hadoop-1.0.0.tar.gz-C/datacd/datamvsqoop-1.4.6.bin__hadoop-1.0.0/sqoop1chmod-R775/data/sqoop1chown-Rhadoop:hadoop/data/sqoop1安装部署3、配置环境变量vim/etc/profileexportSQOOP_HOME=/data/sqoop1exportPATH=$PATH:$SQOOP_HOME/binsource/etc/profile安装部署4、其他配置（1）下载mysql驱动包，mysql-connector-java-5.1.40-bin.jar，把jar包丢到到$SQOOP_HOME/lib下面（2）接下来修改sqoop的配置文件cd/data/sqoop1/confcpsqoop-env-template.shsqoop-env.shvimsqoop-env.sh#指定各环境变量的实际配置#SetHadoop-specificenvironmentvariableshere.#Setpathtowherebin/hadoopisavailable#exportHADOOP_COMMON_HOME=#Setpathtowherehadoop-*-core.jarisavailable#exportHADOOP_MAPRED_HOME=#setthepathtowherebin/hbaseisavailable#exportHBASE_HOME=#Setthepathtowherebin/hiveisavailable#exportHIVE_HOME=安装部署5、验证是否成功#列出所有数据库sqooplist-databases--connectjdbc:mysql://ip:port--usernameusername--passwordpw