Hadoop2.2.0Hbase0.98.1Sqoop1.4.4Hive0.13完全安装手册.docx

Hadoop2.2.0+Hbase0.98.1+Sqoop1.4.4+Hive0.13完全安装手册文档时间2014/7/04各软件版本Hadoop2.2.0Hbase0.98.1Sqoop1.4.4Hive0.13前言：3一. Hadoop安装（伪分布式）41. 操作系统42. 安装JDK41 下载并解压JDK42 配置环境变量43 检测JDK环境43. 安装SSH51 检验ssh是否已经安装52 安装ssh53 配置ssh免密码登录54. 安装Hadoop61 下载并解压62 配置环境变量63 配置Hadoop64 启动并验证8前言：网络上充斥着大量Hadoop1的教程，版本老旧，Hadoop2的中文资料相对较少，本教程的宗旨在于从Hadoop2出发，结合作者在实际工作中的经验，提供一套最新版本的Hadoop2相关教程。为什么是Hadoop2.2.0，而不是Hadoop2.4.0本文写作时，Hadoop的最新版本已经是2.4.0，但是最新版本的Hbase0.98.1仅支持到Hadoop2.2.0，且Hadoop2.2.0已经相对稳定，所以我们依然采用2.2.0版本。一. Hadoop安装（伪分布式）1. 操作系统Hadoop一定要运行在Linux系统环境下，网上有windows下模拟linux环境部署的教程，放弃这个吧，莫名其妙的问题多如牛毛。2. 安装JDK1 下载并解压JDK我的目录为：/home/apple/jdk1.82 配置环境变量打开/etc/profile，添加以下内容：export JAVA_HOME=/home/apple/jdk1.8export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar执行source /etc/profile ，使更改后的profile生效。执行以下命令，赋予JDK运行的权限：chmod 777 /home/apple/jdk1.8/bin/*chmod 777 /home/apple/jdk1.8/lib/*3 检测JDK环境执行 java version ，查看结果，如出现如下提示，则说明JDK已成功配置：3. 安装SSH1 检验ssh是否已经安装Ubuntu系统可以通过如下命令来查看ssh是否已经安装：netstat -an| grep 22如果已安装，可跳过第二步。2 安装sshUbuntu系统可以通过如下命令来安装ssh：sudoapt-getinstallssh3 配置ssh免密码登录通过如下命令来配置ssh免密码登录：ssh-keygen-tdsa-P-f/.ssh/id_dsacat/.ssh/id_dsa.pub/.ssh/authorized_keys输入如下命令验证免密码登录是否成功：ssh localhost如出现如下界面，则表示登录成功：4. 安装Hadoop1 下载并解压我的目录为：/home/apple/hadoop-2.2.02 配置环境变量打开/etc/profile，添加以下内容：export HADOOP_HOME=/home/apple/hadoop-2.2.0export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib/nativeexport YARN_HOME=$HADOOP_HOMEexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行source /etc/profile ，使更改后的profile生效。执行以下命令，赋予Hadoop运行的权限：chmod 777 /home/apple/hadoop-2.2.0/bin/*chmod 777 /home/apple/hadoop-2.2.0/sbin/*3 配置Hadoop修改$HADOOP_HOME/etc/hadoop目录下的配置文件。core-site.xml添加以下内容： hdfs:/localhost:9000 hadoop.native.lib truehadoop-env.sh修改以下内容：export JAVA_HOME=/home/apple/jdk1.8hdfs-site.xml添加以下内容： dfs.replication 1 .dir file:/home/apple/hadoop-2.2.0/hdfs/namenode dfs.datanode.data.dir file:/home/apple/hadoop-2.2.0/hdfs/datanode 这里的两个地址，是你namenode和datanode两个节点上，希望hdfs文件存储的位置。mapred-site.xml.template改为mapred-site.xml，添加以下内容： yarn yarn-site.xml添加以下内容： yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler 4 启动并验证用如下命令启动或关闭Hadoop：start-all.shstop-all.sh如果一切正常，使用jps命令你会看到如下信息：访问8088端口可以查看job信息访问50070端口可以查看namenode信息：二. Hbase安装1. 下载并解压解压从官网下的hbase-0.98.1-hadoop2-bin.tar.gz包到本地目录，我的目录为/home/apple/hbase-0.98.1。2. 配置环境变量打开/etc/profile，添加以下内容：export HBASE_HOME=/home/apple/hbase-0.98.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:执行source /etc/profile ，使更改后的profile生效。执行以下命令，赋予Hbase运行的权限：chmod 777 /home/apple/hbase-0.98.1/bin/*3. 配置Hbase打开HBASE_HOME/conf/hbase-env.sh，添加以下内容：export JAVA_HOME=/home/apple/jdk1.8/export HBASE_MANAGES_ZK=true打开HBASE_HOME/conf/hbase-site.xml，添加以下内容： hbase.rootdir hdfs:/localhost:9000/hbase hbase.cluster.distributed true hbase.masterlocalhost:60000 hbase.zookeeper.quorum localhost 4. 启动Hbase用如下命令启动和关闭Hbase：start-hbase.shstop-hbase.sh注意：必须先启动Hadoop，再启动Hbase；先关闭Hbase，再关闭Hadoop启动后，使用jps查看Hbase进程：如有错误或Hbase进程未启动，可通过HBASE_HOME/ logs/ hbase-apple-master-机器名.log来查看启动过程信息。5. 验证Hbase用如下命令进入Hbase：hbase shell通过list命令，查看所有表名：三. Sqoop安装1. 下载并解压解压从官网下的sqoop-1.4.4.bin_hadoop-2.0.4-alpha.tar.gz包到本地目录，我的目录为/home/apple/sqoop-1.4.4。2. 配置环境变量打开/etc/profile，添加以下内容：export SQOOP_HOME=/home/apple/sqoop-1.4.4export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SQOOP_HOME/bin执行source /etc/profile ，使更改后的profile生效。执行以下命令，赋予Sqoop运行的权限：chmod 777 /home/apple/sqoop-1.4.4/bin/*3. 配置Sqoop打开SQOOP_HOME/conf/sqoop-env.sh，添加以下内容：export HADOOP_COMMON_HOME=Hadoop路径export HADOOP_MAPRED_HOME= Hadoop路径/share/hadoop/mapreduceexport HBASE_HOME=Hbase路径（不用Hbase可不填）export HIVE_HOME= Hive路径（不用Hive可不填）4. 启动与验证SqoopSqoop无需启动即可使用，我们通过一条链接mysql数据库的命令，来验证Sqoop是否可用：sqoop list-databases -connect jdbc:mysql:/localhost:3306/ -username root -password root如果运行成功，我们会看到所有的数据库名称列表：四. Hive安装1. 下载并解压解压从官网下的apache-hive-0.13.0-bin.tar.gz包到本地目录，我的目录为/home/apple/hive-0.13。2. 配置环境变量打开/etc/profile，添加以下内容：export HIVE_HOME=/home/apple/hive-0.13export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin执行source /etc/profile ，使更改后的profile生效。执行以下命令，赋予Sqoop运行的权限：chmod 777 /home/apple/hive-0.13/bin/*3. 配置Hive打开HIVE_HOME/conf/hive-site.xml，添加以下内容： javax.jdo.option.ConnectionURL jdbc:mysql:/30:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore dat