hadoop-ha-qjm+hbase部署手册.doc

1、 该部署手册仅适用了hadoop-2.0.3alpha版本，不适用于之前的版本。应该适用于之后的 版本，待验证。 部署步骤如下：1. 首先，关闭iptablesService iptables stop并在chkconfig 里面关闭掉 A、 命名nameservices及namenode主机名的端口等，目前只支持2个namenode的HA，该 步骤的主要修改/hadoop-2.0.3-alpha/etc/hadoop /hdfs-site.xml文件，添加的内容如下 services mycluster nodes.mycluster nn1,nn2 node.rpc-address.mycluster.nn1 activenode:8020 node.rpc-address.mycluster.nn2 standbynode:8020 node.http-address.mycluster.nn1 activenode:50070 node.http-address.mycluster.nn2 standbynode:50070B、设置Quorum Journal Manager (QJM) to share edit logs between the Active and Standby NameNodes。在hdfs-site.xml文件中的设置如下： node.shared.edits.dir qjournal:/hadoopslave5:8485;hadoopslave6:8485; hadoopslave7:8485/mycluster dfs.journalnode.edits.dir /home/hadoop_space/data这里的node.shared.edits.dir指定namenode存储共享日志的一个journalnode群。这里的hadoopslave567是任意一台机器，并非是namenode。Dfs.journalnode.edits.dir是上面journalnode群中机器本地存储的日志文件的地址。这里的journalnode应该是奇数个。C、添加客户端尝试activeNamenode的实现类，在hdfs-site.xml中添加如下文件： vider.mycluster Onode. ha.ConfiguredFailoverProxyProvider 指定客户端用于HA切换的代理类，不同的NS可以用不同的代理类 以上示例为Hadoop 2.0自带的缺省代理类 D、设置防止脑裂的ssh及其私钥文件，在hdfs-site.xml中添加如下文件，其中 dfs.ha.fencing.ssh.private-key-files文件是该主机设置ssh到其他机器时生成的私钥文 件，注意名称不要写错！有的是rsa的，示例中是dsa的，注意区分细节。 dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa dfs.ha.fencing.ssh.connect-timeout 30000三台服务器都修改hadoop-2.0.3-alpha/etc/hadoop/slaves 文件， 里面加上hostnameE、设置其他的一些属性，该部分同之前的版本相比没有变化，在hdfs-site.xml文件中添加 内容如下： dfs.replication 1 .dir /usr/local/policehaauto/datahadoop/name dfs.datanode.data.dir /usr/local/policehaauto/datahadoop/data dfs.permissions false F、设置fs的默认路径，在core-site.xml中设置如下： fs.defaultFS hdfs:/mycluster hadoop.tmp.dir /usr/local/policehaauto/datahadoop/tmp G、修改hadoop-env.sh,将JAVA_HOME指向正确的目录，将设置后hadoop进程号文件的所 在目录，修改的内容如下：export JAVA_HOME=/usr/java/jdk1.6.0_21export HADOOP_PID_DIR=/usr/local/policehaauto/hadoop-2.0.3-alpha以上是HA手动切换NameNode的具体配置信息，以下是启动hadoop集群的步骤：步骤1、把JNS一组机器上的journalnode都启来，指令是：hadoop-daemon.sh start journalnode步骤2、在任意一台namenode上执行命令：hdfs namenode format命令，对namenode 进行格式化。步骤3、在第一台namenode机器上，执行命令启动 namenode，hadoop-daemon.sh start namenode。步骤4、在另一台namenode机器上，执行命令hdfs namenode -bootstrapStandby。步骤5、关闭所有已经启动的namenode进程。步骤6、在任意一台机器上执行 start-dfs.sh，此时两个namenode都被启动，并都处于 standby状态，可以通过命令hdfs haadmin failover nn1 nn2将nn2设置为 active，并在此时进行相关上传文件测试。（我没执行）2、 接下来是进行HA autofailover的设置，在进行此操作之前确保之前的配置能够正常运行。A、 hadoopHA的autofailover依赖于zookeeper集群，请先部署好zookeeper集群，建议 zookeeper集群数是3个或5个。B、 在部署自动failover之前，先停止掉上面已经启动的hadoop集群(zookeeper集群不 用停止)，即在任意一个namenode上执行stop-dfs.sh，目前不支持从非autofailover 到自动failover的热切换。C、 设置autofailover设置需要在hdfs-site.xml中添加如下的内容： dfs.ha.automatic-failover.enabled true D、zookeeper集群，在hdfs-site.xml中添加如下的内容： ha.zookeeper.quorum pmaster:2181,datanode1:2181,datanode2:2181 Zookeeper 在/opt/hadoopcluster/hadoopdata/zookeeperdata/data/myid里面设置节点顺序E、在zookeeper集群中初始化znode，在任意一个namenode节点上执行如下命令： hdfs zkfc formatZK (进入到/hadoop-2.0.3-alpha/bin，执行./hdfs zkfc -formatZK) （在重新添加节点或者更换节点的时候这一步是必须的，只有这样才能监听数据节点的 心跳，才能使一个节点处于active一个处于standby）。F、启动整个hadoop集群(本测试只针对dfs系统)，在任意一个namenode节点上执行 命令：start-dfs.sh,该命令将启动两个namenode及在两个namenode上分别启动进程 zkfc及datanode。在NameNode上会看到如下的进程：至此，hadoop HA NameNode自动切换的配置完成，可以进行相应的测试，进行验证。3、 给hadoop HA 集群添加hbase。具体操作如下： A、配置hbase-env.sh 文件：（在相应的位置添加上相应的内容）# The java implementation to use. Java 1.6 required.export JAVA_HOME=/usr/java/jdk1.6.0_21# Extra Java CLASSPATH elements. Optional.export HBASE_CLASSPATH=/home/lxchbase/hbase-0.95.0-hadoop2/conf# The maximum amount of heap to use, in MB. Default is 1000.export HBASE_HEAPSIZE=16000# The directory where pid files are stored. /tmp by default.export HBASE_PID_DIR=/home/lxchbase/hbase-0.95.0-hadoop2/conf在配置文件的末尾添加上：export HBASE_MANAGES_ZK=false/表示这里使用hadoop集群已经配置好的zookeeper集群 B、配置hbase-site.xml文件： hbase.rootdirhdfs:/ns1/hbaseThe directory shared by region servers.hbase.cluster.distributedtruehbase.master.port60000hbase.zookeeper.quorumhadoopslave5,hadoopslave6,hadoopslave7 hbase.hregion.memstore.flush.size 134217728 Memstore will be flushed to disk if size of the memstore exceeds this number of bytes. Value is checked by a thread that runs every hbase.server.thread.wakefrequency. hbase.hregion.max.filesize 21474836480 Maximum HStoreFile size. If any one of a column families HStoreFiles has grown to exceed this value, the hosting HRegion is split in two. Default: 10G. dfs.block.size 268435456 The default block size 67108864 for new files. C、配置regionservers文件：把相应的节点添加到这个文件中。 D、替换hbase/lib下面的jar包，把hadoop下相对应的jar包拷到hbase的lib下。 E、测试hbase是否安装成功： 在管理节点进去到hbase的bin节点下执行start-hbase.sh会启动三台服务器的hbase，启动之后在地址栏中输入4:60010，看到hbase管理界面，看hbase是否启动成功。（注意：这里的hbase是hbase-0.95.0-hadoop2版本！）Only in lib2: hadoop-annotations-2.0.2-alpha.jarOnly in lib: hadoop-annotations-2.0.3-alpha.jarOnly in lib2: hadoop-auth-2.0.2-alpha.jarOnly in lib: hadoop-auth-2.0.3-alpha.jarOnly in lib2: hadoop-common-2.0.2-alpha.jarOnly in lib2: hadoop-common-2.0.2-alpha-tests.jarOnly in lib: hadoop-common-2.0.3-alpha.jarOnly in lib: hadoop-common-2.0.3-alpha-tests.jarOnly in lib2: hadoop-hdfs-2.0.2-alpha.jarOnly in lib2: hadoop-hdfs-2.0.2-alpha-tests.jarOnly in lib: hadoop-hdfs-2.0.3-alpha.jarOnly in lib: hadoop-hdfs-2.0.3-alpha-tests.jarOnly in lib2: hadoop-mapreduce-client-app-2.0.2-alpha.jarOnly in lib: hadoop-mapreduce-client-app-2.0.3-alpha.jarOnly in lib2: hadoop-mapreduce-client-common-2.0.2-alpha.jarOnly in lib: hadoop-mapreduce-client-common-2.0.3-alpha.jarOnly in lib2: hadoop-mapreduce-client-core-2.0.2-alpha.jarOnly in lib: hadoop-mapreduce-client-core-2.0.3-alpha.jarOnly in lib2: hadoop-mapreduce-client-hs-2.0.2-alpha.jarOnly in lib: hadoop-mapreduce-client-hs-2.0.3-alpha.jarOnly in lib: hadoop-mapreduce-client-hs-plugins-2.0.3-alpha.jarOnly in lib2: hadoop-mapreduce-client-jobclient-2.0.2-alpha.jarOnly in lib2: hadoop-mapreduce-client-jobclient-2.0.2-alpha-tests.jarOnly in lib: hadoop-mapreduce-client-jobclient-2.0.3-alpha.jarOnly in lib2: hadoop-mapreduce-client-shuffle-2.0.2-alpha.jarOnly in lib: hadoop-mapreduce-client-shuffle-2.0.3-alpha.jarOnly in lib2: hadoop-minicluster-2.0.2-alpha.jarOnly in lib2: hadoop-yarn-api-2.0.2-alpha.jarOnly in lib: hadoop-yarn-api-2.0.3-alpha.jarOnly in lib2: hadoop-yarn-client-2.0.2-alpha.jarOnly in lib: hadoop-yarn-client-2.0.3-alpha.jarOnly in lib2: hadoop-yarn-common-2.0.2-alpha.jarOnly in lib: hadoop-yarn-commo