hadoop2.6集群搭建手册

1、Hadoop2.6 集群安装手册 1. 系统情况CentOS 7 x64,6G内存，7台机器2.集群规划3. 搭建准备（1） 修改Linux主机名 命令：vim /etc/hostname修改后保存退出。（2） 修改IP 命令：vim /etc/sysconfig/network-scripts/ifcfg-eno16777984,下面#号标识表示要修改的地方，BOOTPROTO=static一定要修改。 DEVICE=eth0BOOTPROTO=static #HWADDR=00:0C:29:BF:45:8BIPV6INIT=yesNM_CONTROLLED=yesONBOOT=yesTYP

2、E=EthernetUUID=99339c27-0884-46c0-85d5-2612e5c1f149IPADDR= # NETMASK= #GATEWAY=54 #（3）修改主机名和IP的映射关系命令：vim /etc/hosts修改如下：(4)关闭防火墙 查看防护墙状态 service iptables status /centos7 以后版本：firewall-cmd -state 关闭 service iptables stop /centos7 以后版本：systemctl stop firewalld.service关闭开机

3、启动chkconfig iptables off /centos7 以后版本：(5) 安装JDK，配置环境变量等 rpm -ivh jdk-7u79-linux-x64.rpm 将java添加到环境变量 vim /etc/profile在文件的末尾添加如下内容export JAVA_HOME=/usr/java/jdk1.7.0_79export PATH=$PATH:$JAVA_HOME/bin刷新配置source /etc/profile 验证：java -version5. 安装步骤说明：1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于sta

4、ndby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Act

5、ive NameNode挂掉了，会自动切换Standby NameNode为standby状态1安装配置zooekeeper集群（在hadoop05上）zookeeper-3.4.6下载地址： 1.1解压tar -zxvf zookeeper-3.4.6.tar.gz -C /hadoop/ 1.2修改配置cd /hadoop/zookeeper-3.4.6/conf/cp zoo_sample.cfg zoo.cfgvim zoo.cfg修改：dataDir=/hadoop/zookeeper-3.4.6/tmp在最后添加：server.1=hadoop05:2888:3888server.

6、2=hadoop06:2888:3888server.3=hadoop07:2888:3888保存退出然后创建一个tmp文件夹mkdir /hadoop/zookeeper-3.4.6/tmp再创建一个空文件touch /hadoop/zookeeper-3.4.6/tmp/myid最后向该文件写入IDecho 1 /hadoop/zookeeper-3.4.6/tmp/myid1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)scp -r /hadoop/zookeeper-3.4.6/

7、 hadoop06:/hadoop/scp -r /hadoop/zookeeper-3.4.6/ hadoop07:/hadoop/注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.6/tmp/myid内容hadoop06：echo 2 /hadoop/zookeeper-3.4.6/tmp/myidhadoop07：echo 3 /hadoop/zookeeper-3.4.6/tmp/myid2. 安装配置hadoop集群（在hadoop01上操作）Hadoop-2.6.0下载地址：2.1解压tar -zxvf hadoop-2.6.0.tar.g

8、z -C /hadoop/2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）#将hadoop添加到环境变量中vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.7.0_79export HADOOP_HOME=/hadoop/hadoop-2.6.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下cd /hadoop/hadoop-2.6.0/etc/hado

9、op以下都使用NotePad+修改:打开NppFTP窗口，建立ssh链接。2.2.1修改hadoo-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_792.2.2修改core-site.xmlfs.defaultFShdfs:/ns1hadoop.tmp.dir/hadoop/hadoop-2.6.0/tmpha.zookeeper.quorumhadoop05:2181,hadoop06:2181,hadoop07:21812.2.3修改nodes.ns1nn1,nn2d

10、node.rpc-address.ns1.nn1hadoop01:9000node.http-address.ns1.nn1hadoop01:50070node.rpc-address.ns1.nn2hadoop02:9000node.http-address.ns1.nn2hadoop02:50070node.shared.edits.dirqjournal:/hadoop05:8485;hadoop06:8485;hadoop07:8485/ns1dfs.journalnode.edits.dir/hadoop/

11、hadoop-2.6.0/node.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodssshfenceshell(/bin/true)dfs.ha.fencing.ssh.private-key-files/home/hadoop/.ssh/id_rsadfs.ha.fencing.ssh.connect

12、-timeout300002.2.4修改yarn2.2.5修改yarn-site.xml yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id yrc yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 hadoop03 yarn.resourcemanager.hostname.rm2 hadoop04 yarn.resourcemanag

13、er.zk-address hadoop05:2181,hadoop06:2181,hadoop07:2181 yarn.nodemanager.aux-services mapreduce_shuffle2.2.6修改slaves(slaves是指定子节点的位置，因为要在hadoop01上启动HDFS、在hadoop03启动yarn，所以hadoop01上的slaves文件指定的是datanode的位置，hadoop03上的slaves文件指定的是nodemanager的位置)hadoop05hadoop06hadoop072.2.7配置免密码登陆#首先要配置hadoop01到hadoop0

14、2、hadoop03、hadoop04、hadoop05、hadoop06、hadoop07的免密码登陆#在hadoop01上生产一对钥匙ssh-keygen -t rsa#将公钥拷贝到其他节点，包括自己ssh-coyp-id hadoop01ssh-coyp-id hadoop02ssh-coyp-id hadoop03ssh-coyp-id hadoop04ssh-coyp-id hadoop05ssh-coyp-id hadoop06ssh-coyp-id hadoop07#配置hadoop03到hadoop04、hadoop05、hadoop06、hadoop07的免密码登陆#在had

15、oop03上生产一对钥匙ssh-keygen -t rsa#将公钥拷贝到其他节点ssh-coyp-id hadoop04ssh-coyp-id hadoop05ssh-coyp-id hadoop06ssh-coyp-id hadoop07#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hadoop02到hadoop01的免登陆在hadoop02上生产一对钥匙ssh-keygen -t rsassh-coyp-id -i hadoop01测试：在hadoop1上：ssh hadoop02，如果成功不需要密码登录到hadoop02，其他类似。 2.4将配置好的hadoop拷贝到

16、其他节点scp -r /hadoop/ hadoop02:/scp -r /hadoop/ hadoop03:/scp -r /hadoop/hadoop-2.6.0/ roothadoop04:/hadoop/scp -r /hadoop/hadoop-2.6.0/ roothadoop05:/hadoop/scp -r /hadoop/hadoop-2.6.0/ roothadoop06:/hadoop/scp -r /hadoop/hadoop-2.6.0/ roothadoop07:/hadoop/#注意：严格按照下面的步骤！2.5启动zookeeper集群（分别在hadoop05、h

17、adoop06、tcast07上启动zk）cd /hadoop/zookeeper-3.4.6/bin/./zkServer.sh start#查看状态：一个leader，两个follower./zkServer.sh status2.6启动journalnode（分别在在hadoop05、hadoop06、tcast07上执行）cd /hadoop/hadoop-2.6.0sbin/hadoop-daemon.sh start journalnode#运行jps命令检验，hadoop05、hadoop06、hadoop07上多了JournalNode进程2.7格式化HDFS#在hadoop0

18、1上执行命令:hdfs namenode -format#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.6.0/tmp，然后将/hadoop/hadoop-2.6.0/tmp拷贝到hadoop02的/hadoop/hadoop-2.6.0/下。scp -r tmp/ hadoop02:/hadoop/hadoop-2.6.0/2.8格式化ZK(在hadoop01上执行即可)hdfs zkfc -formatZK2.9启动HDFS(在hadoop01上执行)sbin/start-dfs.sh2.10启动Y

19、ARN(#注意#：是在hadoop03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)sbin/start-yarn.sh下面是启动成功后各个机器进程，3，4一样，5，6，7一样 到此，hadoop-2.6.0配置完毕，可以统计浏览器访问::50070NameNode hadoop01:9000 (active):50070NameNode hadoop02:9000 (standby)验证HDFS H

20、A首先向hdfs上传一个文件hadoop fs -put /etc/profile /test/hadoop fs -ls /然后再kill掉active的NameNodekill -9 通过浏览器访问：:50070NameNode hadoop02:9000 (active)这个时候hadoop02上的NameNode变成了active再执行命令：刚才上传的文件依然存在！手动启动那个挂掉的NameNodesbin/hadoop-daemon.sh start namenode通过浏览器访问：01:50070NameNode had

21、oop01:9000 (standby)验证YARN：运行一下hadoop提供的demo中的WordCount程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out 统计的部分结果6. Sqoop安装sqoop安装：安装在一台节点上就可以了。1.上传sqoopSqoop1.4.4下载链接：2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里7. 安装1.上传hbase安装包hbase-1.0.2下载地址：http:/

22、/hbase/2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_79/告诉hbase使用外部的zk export HBASE_MANAGES_ZK=falsevim hbase-site.xml hbase.rootdir hdfs:/ns1/hbase hbase.cluster.distributed true hbase

23、.zookeeper.quorum hadoop04:2181,hadoop05:2181,hadoop06:2181 vim regionservershadoop03hadoop04hadoop05hadoop063.2拷贝hbase到其他节点scp -r /hadoop/hbase-1.0.2/ hadoop02:/hadoop/scp -r /hadoop/hbase-1.0.2/ hadoop03:/hadoop/scp -r /hadoop/hbase-1.0.2/ hadoop04:/hadoop/scp -r /hadoop/hbase-1.0.2/ hadoop05:/had

24、oop/scp -r /hadoop/hbase-1.0.2/ hadoop06:/hadoop/4.将配置好的HBase拷贝到每一个节点并同步时间。5.启动所有的hbase分别启动zk./zkServer.sh start,如果zookeeper集群没停止，可以不用这步启动hbase集群start-dfs.sh启动hbase，在主节点上运行：start-hbase.sh主节点有个HMaster，从节点用HRegionServer进程 6.通过浏览器访问hbase管理页面01:16010 7.为保证集群的可靠性，要启动多个HMasterhbase-daemon.sh st

25、art master8. 安装Hive只在一个节点上安装即可1. 上传tar包apache-hive-1.2.0-bin下载地址：http:/mirrors.noc.im/apache/hive/mysql-5.5.47-linux2.6-x86_64.tar.gz下载地址：2.解压tar -zxvf hive-0.9.0.tar.gz -C /hadoop/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量安装mysql在hadoop01上安装：解压tar包cd /softwaretar -xzvfmysql-5.6.21-linux-glibc2.5

26、-x86_64.tar.gzmvmysql-5.6.21-linux-glibc2.5-x86_64mysql-5.6.21添加用户与组groupadd mysqluseradd -r -g mysql mysqlchown -R mysql:mysql mysql-5.6.21安装数据库su mysqlcdmysql-5.6.21/scripts./mysql_install_db -user=mysql -basedir=/software/mysql-5.6.21-datadir=/software/mysql-5.6.21/dataexit配置文件cd/software/mysql-5

27、.6.21/support-filescp my-f /etc/fcp mysql.server /etc/init.d/mysqlvim/etc/init.d/mysql #若mysql的安装目录是/usr/local/mysql,则可省略此步修改文件中的两个变更值basedir=/software/mysql-5.6.21datadir=/software/mysql-5.6.21/data配置环境变量vim /etc/profileexport MYSQL_HOME=/software/mysql-5.6.21export PATH=$PATH:$MYSQL_HOME/bin保存退出. /etc/