Hadoop安装部署手册

1、1 安装环境介绍1.1 软件环境1） CentOS6.5 x642） Jdk 1.7 x643） Hadoop 2.6.2 x644） Hbase-0.98.95） Zookeeper- 集群环境集群中包括3个节点：1个Master，2个Slave机器名称IP地址HadoopZooKeepermyidHbaseMaster.Hadoop50NameNodeserver.11HMaserSlave1.Hadoop 51 DataNodeserver.22HRegionServerSlave2.Hadoop 10.1

2、.11.152 DataNodeserver.33HRegionServer2 安装前的准备.2.1 下载JDK2.2 下载Hadoophadoop-2.6.0.tar.gz是发行包，但只有32位hadoop-2.6.0-src.tar.gz是源码包，用于自己编译成64位版本2.3 下载Zookeeper2.4 下载Hbase3 开始安装3.1 CentOS安装配置1） 安装3台CentOS6.5 x64（使用Basic Server模式，其他使用默认配置，安装过程略）2） Master.Hadoop配置a) 配置网络vi /etc/sysconfig/network-

3、scripts/ifcfg-eth0修改为：DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=50NETMASK=GATEWAY=54保存，退出（esc+:wq+enter），使配置生效service network restartb) 配置主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master.Hadoop修改为：保存，退出（esc+:wq+enter），使配置生效hostname Master.Hadoopc) 配置hostsvi

4、/etc/hosts修改为：50 Master.Hadoop51 Slave1.Hadoop52 Slave2.Hadoopd) 关闭系统防火墙service iptables stopchkconfig iptables offe) 禁止SELINUXvi /etc/sysconfig/selinux修改为：#SELINUX=enforcingSELINUX=disabledf) 调整系统文件限制vi /etc/security/limits.conf在最后增加如下内容* soft nofile 65535* hard nofile 65

5、535vi /etc/pam.d/login修改以下文件：增加如下内容：session required /lib/security/pam_limits.so以上调整，需要重启系统才能生效g) 配置用户新建hadoop用户和组，设置hadoop用户密码groupadd hadoopuseradd hadoop -g Hadooppasswd hadooph) 无密码密钥对切换到hadoop用户，生成密码对su Hadoopssh-keygen -t rsa -P ''生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默

6、认存储在"/home/hadoop/.ssh"目录下。a) 把id_rsa.pub追加到授权的key里面去cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysb) 修改.ssh目录的权限以及authorized_keys 的权限chmod 600 /.ssh/authorized_keysc) 用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容su rootvi /etc/ssh/sshd_config其中三行内容改为启用，如下所示RSAAuthenticat

7、ion yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys保存，退出（esc+:wq+enter），重新启动SSH服务，使设置生效service sshd restart3） Slave1.Hadoop、Slave1.Hadoop配置相同的方式配置Slave1和Slave2的IP地址，主机名和hosts文件，新建hadoop用户和组及用户密码等等操作机器名称IP地址Slave1.Hadoop 51 Slave2.Hadoop 52 3.2

8、 无密码登陆配置1） 配置Master无密码登录所有Slavea) 使用hadoop用户登陆Master.Hadoopb) 把公钥复制所有的Slave机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopSlave1.Hadoop:/scp /.ssh/id_rsa.pub hadoopSlave2.Hadoop:/c) 在Slave机器上进行配置cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub测试Master到Slave的ssh登陆ssh Slave1.Hadoop2） 配置Sl

9、ave无密码登录Mastera) 使用hadoop用户登陆Slaveb) 把公钥复制Master机器上。使用下面的命令格式进行复制公钥scp /.ssh/id_rsa.pub hadoopMaster.Hadoop:/c) 在Master机器上将公钥追加到authorized_keys中cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub测试Slave到Master的ssh登陆ssh Master.Hadoop3.3 安装JDK所有的机器上都要安装JDK，先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装

10、JDK以及配置环境变量，需要以"root"的身份进行。1） 将jdk安装包jdk-7u71-linux-x64.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf jdk-7u71-linux-x64.tar.gz3） 配置环境变量vi /etc/profile增加如下内容：export JAVA_HOME=/usr/local/jdk1.7.0_71export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$PATH:

11、$JAVA_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效java version4） 验证是否安装成功rm f jdk-7u71-linux-x64.tar.gz5） 删除jdk的安装包scp -r /usr/local/jdk1.7.0_71 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/jdk1.7.0_71 rootSlave2.Hadoop:/usr/local/6） 在Slave上重复以上步骤，安装JDK（以下为从Master复制jdk到Slave）3.4 安装Hadoop因

12、为官网没有64位版的haoop2.6.0发行包，需要手动由源代码编译（编译过程另附文件说明），编译后的文件为hadoop-2.6.0.tar.gz，以下使用root身份进行安装。1） 将hadoop安装包hadoop-2.6.0.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf hadoop-2.6.0.tar.gz3） 在"/usr/local/hadoop-2.6.0"下面创建tmp文件夹mkdir /usr/local/hadoop-2.6.0/tmp4） 编辑<HADOOP_HOME>/etc

13、/hadoop/hadoop-env.shvi /usr/local/hadoop-2.6.0/etc/hadoop/hadoop-env.sh修改JAVA_HOME的配置：export JAVA_HOME=/usr/local/jdk1.7.0_715） 编辑<HADOOP_HOME>/etc/hadoop/core-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml修改为：<configuration><property> <name>fs.defaultFS</nam

14、e> <value>hdfs:/Master.Hadoop:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.6.0/tmp</value></property><property> <name>io.file.buffer.size</name> <value>4096</value></

15、property></configuration>新变量fs.defaultFS 代替旧的6） 编辑<HADOOP_HOME>/etc/hadoop/hdfs-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/hdfs-site.xml修改为：<configuration><property><name>.dir</name><value>/usr/local/hadoop-2.6.0/dfs/nam

16、e</value><final>true</final></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-2.6.0/dfs/data</value><final>true</final></property><property><name>dfs.replication</name><value>

17、;2</value></property></configuration>dfs.replication值需要与实际的DataNode节点数要一致，本文为27） 编辑<HADOOP_HOME>/etc/hadoop/yarn-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/yarn-site.xml修改为：<configuration><property><name>yarn.resourcemanager.hostname</name><value

18、>Master.Hadoop</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>Master.Hadoop:8032</value></pr

19、operty><property><name>yarn.resourcemanager.scheduler.address</name><value>Master.Hadoop:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>Master.Hadoop:8031</value></property>&

20、lt;property><name>yarn.resourcemanager.admin.address</name><value>Master.Hadoop:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>Master.Hadoop:8088</value></property></configuration>8） 编

21、辑<HADOOP_HOME>/etc/hadoop/mapred-site.xml默认没有mapred-site.xml文件，需要复制一份mapred-site.xml.template为 mapred-site.xml即可cp /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xmlvi /usr/local/hadoop-2.6.0/etc/hadoop/mapred-site.xml修改为：<configur

22、ation><property><name></name><value>yarn</value><final>true</final></property></configuration>9） 编辑 <HADOOP_HOME>/etc/hadoop/slavesvi /usr/local/hadoop-2.6.0/etc/hadoop/slaves修改为：Slave1.HadoopSlave2.Hadoop10） 把该文件

23、夹的读权限分配给普通用户hadoopchown R hadoop:hadoop /usr/local/hadoop-2.6.0rm -f /usr/local/hadoop-2.6.0.tar.gz11） 删除hadoop的安装包12） 配置环境变量vi /etc/profile增加如下内容：export HADOOP_HOME=/usr/local/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile保存，退出（esc+:wq+enter），使配置生效13） 在Slave上重复以

24、上步骤，安装Hadoop（以下为从Master复制hadoop到Slave）scp -r /usr/local/hadoop-2.6.0 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/hadoop-2.6.0 rootSlave2.Hadoop:/usr/local/14） 测试和启动在Slave上进行如上配置后，使用使用hadoop用户启动服务hdfs namenode format第一次启动需要在Master.Hadoop 执行无错误后，启动服务（先启动HDFS）/usr/local/hadoop-2.6.0/sbin/start-dfs.s

25、h再启动yarn/usr/local/hadoop-2.6.0/sbin/start-yarn.sh在Master 验证启动进程jps在Slave 验证启动进程jps15） 网页查看集群50:5007050:80883.5 安装Zookeeper1） 以root身份将zookeeper-3.4.6.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf zookeeper-3.4.6.tar.gz3） 创建data文件夹mkdir /usr/local/zookeeper-3.4

26、.6/data4） 根据zoo_sample.cfg创建zoo.cfg并修改cp /usr/local/zookeeper-3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper-3.4.6/conf/zoo.cfgvi /usr/local/zookeeper-3.4.6/conf/zoo.cfg修改为：dataDir=/usr/local/zookeeper-3.4.6/dataserver.1=Master.Hadoop:2888:3888server.2=Slave1.Hadoop:2888:3888server.3=Slave2.Hadoop:2

27、888:38885） 在dataDir目录下创建myid文件，设为1，Slave1.Hadoop，Slave2.Hadoop的myid为2，3echo "1" > /usr/local/zookeeper-3.4.6/data/myid6） 配置环境变量vi /etc/profile增加如下内容：export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6export PATH=$PATH:$ ZOOKEEPER_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效chown -

28、R hadoop:hadoop /usr/local/zookeeper-3.4.6/7） 把该文件夹的读权限分配给普通用户hadoop8） 删除安装包rm -f /usr/local/zookeeper-3.4.6.tar.gzsu hadoop/usr/local/zookeeper-3.4.6/bin/zkServer.sh start9） 用hadoop用户启动ZooKeeper集群需要在Master和Slave上分别启动服务/usr/local/zookeeper-3.4.6/bin/zkServer.sh status10） 安装验证/usr/local/zookeeper-3.4

29、.6/bin/zkServer.sh stop11） 停止服务指令为3.6 安装Hbase1） 以root身份将hbase-0.98.9-hadoop2-bin.tar.gz上传到服务器/usr/local/目录下2） 解压缩文件cd /usr/localtar zxvf hbase-0.98.9-hadoop2-bin.tar.gzmv hbase-0.98.9-hadoop2 hbase-0.98.93） 编辑<HBASE_HOME>/conf/hbase-env.shvi /usr/local/hbase-0.98.9/conf/hbase-env.sh修改为：export

30、JAVA_HOME=/usr/local/jdk1.7.0_71export HBASE_MANAGES_ZK=falseexport HBASE_PID_DIR=/usr/local/hbase-0.98.9/pids使用独立的ZooKeeper时需要修改HBASE_MANAGES_ZK值为false，为不使用默认ZooKeeper实例4） 编辑<HBASE_HOME>/conf/hbase-site.xmlvi /usr/local/hbase-0.98.9/conf/hbase-site.xml在configuration里添加：<property><nam

31、e>hbase.rootdir</name><value>hdfs:/Master.Hadoop:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master</name><value>hdfs:/Master.Ha

32、doop:60000</value></property><property><name>hbase.zookeeper.quorum</name><value>Master.Hadoop,Slave1.Hadoop,Slave2.Hadoop</value></property><property><name>perty.dataDir</name><value>/usr/local/zookeeper-3.4.

33、6/data</value></property>5） 编辑<HBASE_HOME>/conf/regionservers文件vi /usr/local/hbase-0.98.9/conf/regionservers删除localhost，添加如下内容：Master.HadoopSlave1.HadoopSlave2.Hadoop6） 配置环境变量vi /etc/profile增加如下内容：export HBASE_HOME=/usr/local/hbase-0.98.9export PATH=$PATH:$HBASE_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效7） 删除安装包rm -f /usr/local/hbase-0.98.9chown -R hadoop:hadoop /usr/local/hbase-0.98.9/8） 把该文件夹的读权限分配给普通用户hadoop9） 在Slave上执行以上操作（或拷贝配置好的hbase文件夹，然后执行第6、8）scp -r /usr/local/hbase-0.98.9 rootSlave1.Hadoop:/usr/local/scp -r /usr/local/hbase-0.98.9 rootS