安装Hadoop环境实战演练

1、安装Hadoop环境实战演练1. 软件下载在离线安装服务器前，需要在内网搭建一台HTTP服务器，以供安装相应的软件。软件需要提前下载到本地，这里不再赘述如何下载。1.1. Linux安装包CentOS下载地址：/centos/6/isos/x86_64/如果您有DVD安装包（CentOS-6.5-x86_64-bin-DVD1to2），无需下载。1.2. Hadoop安装包CDH: CM: Impala: 官网地址: 注：在下载RPM包是请将noarch目录下面的包一并下载。2. Yum源配置2.1. 搭建HTTP服务器默认安装的Cent

2、OS系统自带了Apache的HTTP服务，将其启动即可。# service httpd start在浏览器中输入：http:/localhost 验证1.1. Linux源在安装Hadoop前，可能会需要除安装系统时带的组件外，还需要其它一些未安装的组件，这时就需要Linux安装包。再创建yum软件源前，请先删除或者备份系统自带的源。# cd /etc/yum.repos.d/# rm rf *.repo1.1.1. 虚拟机镜像源请将镜像加载到虚拟光驱中，在服务器的文件夹中建立软连接，连接到虚拟光驱。CentOS bin安装包包括两个ISO镜像，建议建立两个虚拟光驱，将两个镜像全部加载进来。#

3、 cd /var/www/html# ln s /media/CentOS_6.5_Final centos # ln s /media/CentOS_6.5_Final_ centos2创建系统软件源# cd /etc/yum.repos.d/在此目录下面创建 centos.repo的源，内容如下：1.1.2. 硬盘源直接将系统安装盘的内容拷贝到硬盘上，在http服务器目录的文件夹中建立软连接，连接到系统安装盘所在的文件夹上。# cd /var/www/html# ln s /tmp/CentOS_6.5_Final centos # ln s /tmp/CentOS_6.5_Final_

4、centos2创建系统软件源# cd /etc/yum.repos.d/在此目录下面创建 centos.repo的源，内容如下：1.2. Hadoop源Hadoop源有三部分CDH、CM、Impala，我们借助CM在所有节点上进行安装批量安装Hadoop，并在日后进行管理。Cloudera Manager （CM） 是业内第一家使用图形化界面管理Hadoop集群的工具。使用CM可将部署时间从几天缩短到几小时， 它提供一个集群范围内的、实时的运行节点及服务视图，它能够用来改变跨集群内的配置。它还包括了报告和诊断工具来观察集群的性能和利用率。将下载下来的CDH、CM、Impala等上传到HTTP服

5、务器，暂定放在 tmp文件夹下面，并生成rpm包的系统校验文件repodata文件夹，同时在http目录下面创建软链接。如果没有安装ftp服务，请先安装ftp服务。创建CM源，如果是用CM进行安装Hadoop，只需要创建CM源，安装CM，当用CM进行批量安装时，选择系统本地源时，CM会创建相应的数据源。1. 安装ftp服务（可选）# yum install vsftp2. 创建repo源校验，如果系统没有安装组件createrepo，请先安装。# yum install createrepo# cd /tmp# createrepo CDH# createrepo CM# createrepo

6、 Impala3. 创建软链接# cd /var/www/html# ln s /tmp/CDH cdh4 # ln s /tmp/CM manager# ln s /tmp/Impala impala4. 创建系统源# cd /etc/yum.repos.d# vi myrepo.repo2. Linux环境配置2.1. 创建用户在所有的结点服务器上建立相同的用户名ai和密码asiainfo。添加此设置为了cm批量安装时输入相同的用户名和密码。# useradd ai# passwd ai2.2. 网络配置为每台机器配置固定IP，并设置开机自动连接。安装完cm后尽量不要修改IP, cm在安装

7、时会绑定IP, 修改IP会造成cm不能正确识别主机.2.3. 修改主机名(hostname)用root用户打开network，修改为你想要的名字# vi /etc/sysconfig/network2.4. 关闭selinux# vi /etc/selinux/config2.5. 子节点互通配置# vi /etc/hosts2.6. 用户sudo功能设置添加此设置为了cm批量安装时输入相同的用户名和密码。安装下图红框里面内容格式修改为aiALL=(ALL)NOPASSWD:ALL# vi /etc/sudoers2.7. 关闭防火墙关闭防火墙，并加入到开机自启动里面，即开机就关闭防火墙。#

8、service iptables stop# service iptables status# vi /etc/rc.local2.8. 配置ssh免key(可选)# ssh-keygen -t rsa -P '' -f /.ssh/id_rsa# ssh-copy-id 38 (38是你具体要和谁免key，自己也要和自己设置免key)2.9. 配置时间同步(需重写)2.9.1. 修改时区:2.9.2. 使用pdsh同步上传pdsh并解压# tar -xvf pdsh-2.26.tar进入pdsh目录，执行如下命令# ./configure -w

9、ith-ssh -without-rsh # make # make install 在156主节点上执行下面命令，目的是将ip为 157、158的机器的时间和56这台机器同步，同步的时间是 13:51:19，# pdsh -w ssh:56,157,158 date -s 13:51:19使用这种同步必须配置ssh免key2.9.3. 使用NTP server同步主节点需要设置的部分3. Hadoop安装3.1. 安装cm借助cm的bin包安装校验cm。通常用bin包离线安装时会报错找不到数据源，其实只需安装bin中设定的rpm安装顺序安装即可。如果不放心最后

10、可以用bin包在执行一遍验证。下载地址：RPM包安装顺序：# rpm -i jdk-6u31-linux-amd64.rpm# rpm -i cloudera-manager-daemons-4.8.2-1.cm482.p0.101.el6.x86_64.rpm# rpm -i cloudera-manager-server-4.8.2-1.cm482.p0.101.el6.x86_64.rpm# rpm -i cloudera-manager-agent-4.8.2-1.cm482.p0.101.el6.x86_64.rpm# rpm -i cloudera-manager-server-d

11、b-4.8.2-1.cm482.p0.101.el6.x86_64.rpm# rpm -i enterprise-debuginfo-4.8.2-1.cm482.p0.101.el6.x86_64.rpm# ./cloudera-manager-installer.bin -skip_repo_package=1在浏览器中输入网址 0:7180/cmf/login 用户名/密码：admin/admin3.2. 安装CDH选择Free版输入集群中所有的IP或者host, 每行一个，回车换行。这步需要选的很多，比照下面的来选（做）就OK。确保输入的路径和HTTP服务器配置的路径一致, 在浏览器中可以访问。如：0/manager/0/impala/http:/