Hadoop大数据平台构建与应用第12章ZOOKEEPER与集群HADOOP安装应用课件

1、第12章ZOOKEEPER与集群HADOOP安装应用ZOOKEEPER介绍安装ZOOKEEPER集群上安装HADOOP-配置过程集群上安装HBASE第1页，共15页。目录页12.1ZOOKEEPER介绍12.1.1Zookeeper的作用12.1.2zookeeper选举机制12.2安装ZOOKEEPER12.2.1为安装Zookeeper的目录赋权12.2.2下载、解压zookeeper安装包12.2.3修改Zookeeper配置文件zoo.cfg12.2.4创建zkdata和zkdatalog文件夹12.2.5创建文件myid，用数字标示当前节点12.2.6配置环境变量12.2.7远程复制

2、分发12.2.8启动ZooKeeper集群12.2.9Zookeeper启动错误及解决方法12.3集群上安装HADOOP-配置过程12.4集群上安装HBASE第2页，共15页。12.1Zookeeper介绍1、Zookeeper对Hadoop的作用Zookeeper 从程序员的角度来讲可以理解为Hadoop的整体监控系统。如果NameNode,HMaster宕机后，这时候Zookeeper就会重新选出Leader。这是它最大的作用所在。2、Zookeeper对HBase的作用同理，HBase有HMaster，使用Zookeeper的事件处理能确保整个集群只有一个HMaster,负责检查HReg

3、ionServer联机和宕机、存储访问控制列表等，保障HBase的正常运行。HBase对Zookeeper而言是一种强依赖关系。12.1.1Zookeeper的作用第3页，共15页。12.1Zookeeper介绍1、集群角色在ZooKeeper中，基本有两种角色：Leader；Follower一个ZooKeeper集群同一时刻只会有一个Leader，其他都是Follower。2、Zookeeper选举投票过程1）第1个节点启动的zk进程，会向集群进行组播投票，投自己；2）第2个节点启动的zk进程，会向集群进行组播投票，也投自己（因为自己的id大）；3）1和2两个zk进程都会收到第二轮投票，各自

4、得一票，那就继续投票；4）1在这一轮会投票给2，因为2的id比1大，2也会投票给自己，此时2得两票，2得多数票，顺利当选Leader，1自动切换为Follower；12.1.2 zookeeper选举机制第4页，共15页。12.2安装Zookeeper为了能够将今后建立的文件夹或文件能够远程复制到/opt目录下，需要增加opt目录的权限，将其赋予读写与执行的全部权限，请在集群的三台机器上分别完成赋权任务：$ sudo chown R haoop:haoop /opt #三台机器上分别完成用户授权12.2.1为安装Zookeeper的目录赋权第5页，共15页。12.2安装Zookeeper下载：

5、/apache/zookeeper/。下载zookeeper-3.4.10.tar.gz安装包为了减少重复安装，我们采取在集群的一台机器上安装Zookeeper并配置完成后，再将安装目录和环境配置通过scp远程拷贝分发给集群的其他节点。设定在master虚拟机上完成zookeeper安装任务。下载zookeeper安装包并复制到master虚拟机的“下载”目录下。然后执行解压命令$ sudo tar -zxvf /下载/zookeeper-3.4.10.tar.gz -C /opt/$ cd /opt/$ sudo mv zookeeper-3.4.10/ zookeeper #修改路径名称1

6、2.2.2下载、解压zookeeper安装包第6页，共15页。12.2安装Zookeeper1、修改配置文件存在过程进入/opt/zookeeper/conf目录，该目录下，有一个zookeeper配置文件的模板，即zoo_sample.cfg文件，将其拷贝一份，命名为为“zoo.cfg”并对其做配置修改。2、配置文件的说明tickTime； dataDir； clientPort ； initLimit； syncLimit； server.A = B:C:D ；Zookeeper常用端口的说明如下：2181-Zookeeper服务器开放给client(客户端)连接的端口2888-Zooke

7、eper服务器之间进行通信的端口3888-Zookeeper和外部进程进行通信的端口12.2.3修改Zookeeper配置文件zoo.cfg第7页，共15页。12.2安装Zookeeper安装Zookeeper过程中，要在Zookeeper的目录中，手动先行创建zkdata和zkdatalog两个文件夹。zkdata文件夹的作用是保存数据的目录；zkdatalog文件夹则是指定Zookeeper产生日志保存的路径。创建文件夹的操作如下：$ cd /opt/zookeeper/$ sudo mkdir zkdata$ sudo mkdir zkdatalog12.2.4创建zkdata和zkda

8、talog文件夹第8页，共15页。12.2安装Zookeeper进入刚创建的zkdata文件夹，创建文件myid。里面内容为一个数字，用来标识当前的主机。集群的各机器分别对应一个数字，查看zoo.cfg文件中配置的server.X中X是什么数字，则当前节点的myid文件中就输入这个数字。$ cd /opt/zookeeper/zkdata$ sudo vim myid$ echo 1 myid #master主机对应数值为1；slave1为2；slave2为3$ cat myid #查看确认myid的内容是否为112.2.5创建文件myid，用数字标示当前节点第9页，共15页。12.2安装Zo

9、okeeper配置环境变量可以在每台机器上分别操作完成,也可以在master设置好，分发给slave1，slave2；修改配置文件如下：$ sudo vim /.bashrc在文件的最前面增加以下配置内容：export ZOOKEEPER_HOME=/opt/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/bin配置之后要使.bashrc生效。12.2.6配置环境变量第10页，共15页。12.2安装Zookeeper1、分发Zookeeper安装文件已经在一台机器master上配置完成ZooKeeper，现在可以将该配置好的安装文件远程拷贝到集群中的各个结

10、点对应的目录下：$ scp -r /opt/zookeeper slave1:/opt/$ scp -r /opt/zookeeper slave2:/opt/2、修改slave1和slave2的myid3、远程分发环境变量配置文件并使其生效12.2.7远程复制分发第11页，共15页。12.2安装Zookeeper在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：$ zkServer.sh start #以下为启动提示内容Zookeeper启动是否成功，主要查看其状态是否正常，执行如下命令：$ zkServer.sh status三台之中会有一个“Mode:

11、 leader”，其他两个是“Mode: follower”，如上显示则表明Zookeeper安装正确，启动正常。三个节点启动Zookeeper成功，通过jps查看可以发现进程：“QuorumPeerMain”，此为Zookeeper的运行进程12.2.8启动ZooKeeper集群第12页，共15页。12.2安装Zookeeperstart启动正常，status查看状态又显示”Error”错误：出现Error contacting service. It is probably not running.问题。说明启动zk时显示启动成功,但是去查询他的状态时发现是没有启动成功的。造成的原因有很多

12、，教材中有列出。12.2.9Zookeeper启动错误及解决方法第13页，共15页。12.3集群上安装Hadoop-配置过程1、解压Hadoop压缩包2、配置环境变量3、编辑hadoop环境配置文件hadoop-env.sh4、设置core-site.xml5、hdfs-site.xml配置6、yarn-site.xml配置7、配置mapred-site.xml8、编写slavs文件9、分发hadoop10、在master中格式化NameNode(不可在其他节点上进行)11、启动HDFS，查看及验证第14页，共15页。12.4集群上安装HBase1、解压HBase在集群的任何一台机器上完成。2