周末班06it18掌ambari hadoop集群管理工具

1、Ambari Hadoop集群管理工具徐培成Ambari介绍Ambari洋麻，大麻槿集群管理工具基于web的管理工具，用于管理、监控apache hadoop集群，支持Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig and Sqoop。Ambari下载下载Ambari仓库cd /etc/apt/source.list.d/仓库文件目录wget /ubuntu12/2.x /updates/2.1.2/ambari.listambari.listdeb /ubuntu12/2.x/update

2、s/2.1.2 Ambari mainAmbari安装与配置安装与配置apt-key adv -recv-keys -keyserver B9733A7A07513CADapt-get updateapt-get install ambari-server配置管理服务器ambari-server setup修改webui端口号8080-5050/etc/ambari-server/conf/pertiesclient.api.port=5050Ambari启动与登录启动管理服务器sudo ambari-server startsudo ambari-server stops

3、udo ambari-server restart登录到服务器 username:adminpassword:adminAmbari原理Ambari-ServerAmbari-AgentAmbari-AgentAmbari-AgentAmbari原理Ambari-Server向agent机器发送指令，控制agentAmbari-agent接受server的指令进行执行定期向server发送agent node的状态信息agent不需要安装，server可以在配置期间自动将agent安装到node上。Ambari FAQambari-server需要在root用户下安装ambari-server

4、的配置和启动也需要在root进行ambari-server运行前需要保证root账号可以无密登录到集群中的其他node。ambari-server机器上执行生成秘钥$su root$ssh-keygen -t rsa -P -f /.ssh/id_rsaAmbari FAQambari-server运行前需要保证root账号可以无密登录到集群中的其他node。ambari-agent机器上执行su rootssh-keygen -t rsa -P -f /.ssh/id_rsa复制server上的rsa_id.put到agent机器上scp .Ambari FAQroot身份重新配置sudo

5、ambari-server setup.账号信息使用rootroot身份重新启动ambari-serversudo ambari-server stopsudo ambari-server startAmbari、HDP、HDP UTILS本地化介绍ambari是apache的hadoop集群管理软件。HDP是hortonworks的软件栈，里面包含了hadoop生态系统的所有软件项目，比如HBase、ZooKeeper、Hive、Pig等等。HDP UTILS是工具类库。Ambari、HDP、HDP UTILS本地化介绍对于大型集群，如果在每个节点上安装hadoop集群，默认都需要访问外网，

6、则带宽和性能都是收到严重影响，好的方式是将以上HDP软件栈和ambari等软件安装在自己的局域网网络中，通过内网访问安装以上软件。Ambari、HDP、HDP UTILS本地化过程1.下载以上三中仓库的软件包(tar.gz文件)ambari-2.1.0-centos7.tar.gzHDP--centos7-rpm.tar.gzHDP-UTILS-0-centos7.tar.gz2.在局域网搭建web 服务器。本文以win7下使用Tomcat为例3.解压tar文件到web 服务器根目录下。$tomcat_home/webapps/ROOT/Ambari、HDP、HDP

7、 UTILS本地化过程4.修改解压目录下的repo仓库文件，主要是将url地址指向局域网地址。$tomcat_home/ambari/./ambari.repo#VERSION_NUMBER=2.1.0-1470Updates-ambari-2.1.0name=ambari-2.1.0 - Updatesbaseurl= gpgcheck=1gpgkey= /RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1Ambari、HDP、HDP UTILS本地化过程4.修改解压目录下的repo仓库文件，主要是将url地址执行局域网地址。$tomcat_

8、home/HDP/./hdp.repoHDP-name=HDP Version - HDP-baseurl= gpgcheck=1gpgkey= /RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1Ambari、HDP、HDP UTILS本地化过程4.修改解压目录下的repo仓库文件，主要是将url地址执行局域网地址。$tomcat_home/HDP/./hdp.repo续HDP-UTILS-0name=HDP Utils Version - HDP-UTILS-0baseurl= gpg

9、check=1gpgkey= enabled=1priority=1Ambari、HDP、HDP UTILS本地化过程5.启动web 服务器$tomcat_home/bin/startup.bat6.复制ambari.repo文件到ambari server主机/etc/yum.repo.d/目录下。Ambari、HDP、HDP UTILS本地化安装ambari server(centOS为例)1.复制ambari.repo文件到ambari server主机 /etc/yum.repo.d/目录下。2.yum repolist查看列表3.yum install ambari-server/安装4.ambari-server setup/配置5.ambari-server start/启动Ambari、HDP、HDP UTILS本地化安装hadoop集群1.进入ambari管理界面