Docker环境下利用Ambari界面部署HDP.doc

代 号名 称Docker环境下利用Ambari界面部署HDP单 位编 写校 对审 核标 审批 准航天恒星科技有限公司编 号密 级非密阶 段Z页 数141文档控制变更记录版本号日期作者段落、图或表增加/修改/删除简单描述更改单编号目 录1 集群配置11.1 集群组成11.2 系统和软件版本12 启动Docker Container22.1 安装docker22.2 制作镜像22.3 启动Ambari-Server节点22.4 启动Ambari-Agent节点22.5 修改hosts23 HDP安装部署31 集群配置1.1 集群组成本次部署由于虚拟机限制，总共有2个Docker Container，如下所示：主机ip主机名Docker镜像Cpu（每个2核）内存作用amb0.mycorp.komambari-stack-ambar-server，ambari-agent，namenode，nagios server，ganlia server，datanodeamb1.mycorp.komambari-stack-ambari-agent，snamenode，datanode上表中的Docker镜像是利用Dockerfile生成的镜像。首先从Github上克隆/sequenceiq/docker-ambari.git到本地，然后修改其中的Dockerfile，修改方法为在“EXPOSE 8080”前增加：最后根据这个Dockerfile生成docker镜像。1.2 系统和软件版本系统采用CentOS6.5，Docker版本为1.1.2，ambari-server和ambari-agent为1.6.0，HDP版本为2.1。2 启动Docker Container2.1 安装docker使用yum install docker.io安装docker。2.2 制作镜像制作过程见1.1。2.3 启动Ambari-Server节点使用命令docker run -d -p 8080 -h amb0.mycorp.kom -name amb0 ambari-stack -tag ambari-server=true建立主机名为amb0.mycorp.kom的container，其中 -tag ambari-server=true表示该container上运行ambari-server。2.4 启动Ambari-Agent节点使用命令 docker run -d -e SERF_JOIN_IP= -dns -entrypoint /usr/local/serf/bin/start-serf-agent.sh -e KEYCHAIN=$KEYCHAIN -name amb1 -h amb1.mycorp.kom ambari-stack -log-level debug建立主机名为amb1.mycorp.kom的container，其中 -e SERF_JOIN_IP=表示该container上运行ambari-agent需要连接的ambari-server。以上两步之后运行docker ps -a 可以看到当前正在运行的container，例如：2.5 修改hosts通过docker inspect命名可以查看各个container的信息，从中获取到各个container的IP地址，然后使用ssh登陆到各节点，修改hosts文件，是每个container都知道其他container主机名对应的IP地址，例如：3 HDP安装部署通过docker ps -a的运行结果，可以看到ambari-server container的8080端口映射到主机上为49153。可以通过http:/主机IP:49153访问，用户名和密码都是admin，访问界面如下所示：用admin登录，出现如下界面，接下来可以安装hdp，首先命名集群，选择下一步，操作如下所示：然后选择安装的hdp的版本，本次部署用HDP2.1，所以选择HDP2.1，然后点击下一步：然后在“Target Hosts”方框中填写部署hdp的集群，本次部署填写如下；因为我们运行的ambari-agent，所以选择Perform manual registration on hosts and not use SSH的方框，然后点击“Register and Confirm”按钮：接下来会进行集群的注册和验证，出现下述画面代表成功，可以点击“Status”栏中的“Success”或者“Failed”查看日志，如下图所示：日志显示如下图所示：接下来下一步，显示“选择服务”界面，默认是全选，由于机器性能只选择HDFS、Nagios、Ganglia和Zookeeper，如下图所示：然后点击下一步，接下来显示的是“指定主节点”的界面，这个根据实际情况在下拉菜单中选择，尽可能均匀分配，如下图所示：然后点击下一步，接下来显示的是“指定从节点和客户端”的界面，这个根据实际情况选择服务，尽可能均匀分配，这里是全选，如下图所示：然后点击下一步，接下来显示的是“配置服务选项”的界面，这个根据机器性能配置，这里主要修改了HDFS中的NameNode directories、SecondaryNameNode Checkpoint directory和DataNode directories，Zookeepe中的ZooKeeper directory还有Nagios中标红的内容，如下图所示：然后点击下一步，接下来显示的是“复查”界面，显示了集群配置服务的情况，没有问题，点击“部署”按钮，如下图所