Hadoop+HBase+Zookeeper集群的配置.doc

Hadoop +HBase + Zookeeper集群的配置文档环境l OS ：ubuntu-10.04.2-desktopl Hadoop ：Hadoop-0.20.2l HBase ：HBase-0.20.6l Zookeeper ：Zookeeper-3.3.3l JDK ：JDK-4本集群有三台机器IP对应分别如下：28:ubuntu (namenode,SecondarNameNode,HMaster,HQuorumPeer,HRegionServer,DateNode)31:test1 (DataNode,HRegionServer,HquorumPeer)32:test2(DataNode,HRegionServer,HquorumPeer)由于机器所限，为了模拟更多的节点，在Namenod节点上同时部署了DataNode，HRegionServer，SecondarNameNode，同时又作为HBase的主节点。Hadoop集群的部署详见Hadoop集群部署手册安装和部署HBase修改机器的hosts文件修改所有机器的/etc/hosts文件将下面的内容添加进去:28 ubuntu31 test1 32 test2安装通过命令tar zxvf hbase-0.20.6.tar.gz加压到当前文件夹修改HBase的配置文件编辑所有机器上的hbase安装目录conf目录下的hbase-site.xml、hbase-default.xml、hbase-env.sh几个文件Hbase-site.xml编辑这个文件要注意hbase.rootdir参数，这个参数必须与你的hadoop集群里的core-site.xml文件里保持一致才可以。在就是hbase该项不识别机器的IP，只能使用机器的hostname才可以。Hbase.zookeeper.quorum个数必须为奇数。 hbase.rootdir hdfs:/ubuntu:54310/hbase hbase.cluster.distributed true hbase.master ubuntu hbase.zookeeper.quorum ubuntu,test1,test2 zookeeper.session.timeout 60000 perty.clientPort 2222Hbase-default.xml这个配置文件只需修改前面的hbase.rootdir和hbase.cluster.distributed这两项 hbase.rootdir hdfs:/ubuntu:54310/hbase hbase.master.port 60000 hbase.cluster.distributed false Hbase-env.sh修改代码如下export JAVA_HOME=/usr/lib/jvm/java-6-sun-4export HBASE_HOME=/home/zhangfeng/hbase-0.20.6export PATH=$PATH:/home/zhangfeng/hbase-0.20.6/binexport HBASE_OPTS=$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalModeexport HBASE_MANAGES_ZK=trueexport HADOOP_HOME=/home/zhangfeng/hadoop-0.20.2export HBASE_MANAGES_ZK=true修改regionservers文件将所有的DataNode节点的主机名称加进去就可以了test1test2ubuntu安装Zookeeper在所有机器上安装Zookeeper，我的安装目录是个hbase及hadoop的根目录在同级通过命令 tar zxvf zookeeper-3.3.3.tar.gz然后修改zookeeper安装目录下的conf下的zoo_sample.cfg，将其重命名为zoo.cfg。修改配置如下：# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.dataDir=/home/zhangfeng/zookeeper-3.3.3/data# the port at which the clients will connectclientPort=2181并在文件最后将所有的zookeeper服务添加上，如下：server.1=ubuntu:2888:3888server.2=test1:2888:3888server.3=test2:2888:3888到这里我们已经将三台机器的集群部署好了，下面我们看看我们部署的集群是否正确。首先启动hadoop集群：NameNode：Test1:DataNodeTest2:DataNode其次启动hbase(HMaster)Test1:HRegionServerTest2:HR