多机环境下的hadoop平台搭建过程说明.docx

多机环境下的hadoop平台搭建过程说明一、引言多机环境下的hadoop平台搭建是通过在每台机器上部署hadoop来构成一个hadoop的集群运行环境。本文的环境搭建是针对是每台机器安装的是双系统（windows和linux）或者单linux系统，而非windows下的linux虚拟机。并且，本文hadoop部署之前下载了如下的程序：ubuntu 12.10、hadoop 0.21.0、jdk1.6.0_37 for linux。这些程序均可以从网上下载，其中jdk1.6.0_37 for linux（此处下载的是64位的）是直接从官网上下载。本文的环境搭建选择了三台机器，其中一台机器要作为master,而另外两台机器要作为slaves。二、部署过程说明参考网上相关资源，本文所采取的部署过程分为三个阶段：单机部署阶段、多机环境下的配置阶段、和启动运行阶段。单机部署阶段主要是在每台机器上安装和配置unbuntu、JDK 和hadoop程序；第二阶段主要是进一步配置每台机器，以构成hadoop集群环境；第三个阶段主要是启动hadoop。各个阶段的详细操作步骤如下。2.1、单机部署阶段单机部署阶段主要是对集群环境中的每台机器，进行ubuntu、JDK和hadoop的安装与配置。该阶段要做的工作与单机版的hadoop平台搭建类似。2.1.1、安装ubuntu10.10ubuntu的安装按照提示来就行，此处不做说明。2.1.2、安装jdk第一步：在usr下面新建一个文件夹Java, 然后将jdk复制过来sudomkdir /usr/Javasudo cp jdk的路径 /usr/Java第二步：进入到Java目录下，改变文件权限为可执行cd /usr/Java sudo chmod u+x jdk1.6.0_37.bin第三步：安装sudo ./jdk1.6.0_23.bin(现象为Unpacking.加一连串解压信息）2.1.3、安装hadoop0.21.0第一步：将hadoop0.21.0.tar.gz复制到usr的local目录下sudo cp hadoop的路径 /usr/local注：从网上下载的hadoop往往是压缩成rar的，这里需要现在本地解压，然后提取出来的文件里面就会出现hadoop0.21.0.tar.gz）第二步：进入到local目录下，解压hadoop0.21.0.tar.gzcd /usr/localsudo tar -xzf hadoop0.21.0.tar.gz第三步：为了方便管理，将解压后的文件夹名改为hadoopsudo mv hadoop0.21.0 hadoop第四步：创建一个名为hadoop的用户和用户组1、创建一个名为hadoop的用户组 sudo addgroup hadoop2、创建一个名为hadoop的用户，归到hadoop用户组 sudo adduser -ingroup hadoop hadoop注：创建用户名需要输入用户的密码，本人测试用户的密码可以设置。在设置完密码之后，还需要输入用户的一些信息，可以不填，都敲回车，用系统默认的即可。3、用gedit打开etc下的sudoers文件sudo gedit /etc/sudoers4、在 root ALL=(ALL) ALL 下面添加如下一行hadoop ALL=(ALL) ALL注：添加 hadoop ALL=(ALL) ALL 的意义在于能让hadoop用户使用“sudo”命令2.1.4、配置JAVA环境变量第一步：用gedit打开etc下的profile文件sudo gedit /etc/profile第二步：在文件最后加入如下几行export CLASSPATH=.:/usr/Java/jdk1.6.0_37/lib:/usr/Java/jdk1.6.0_37/jre/lib:$CLASSPATHexport PATH=.:/usr/Java/jdk1.6.0_37/bin:/usr/Java/jdk1.6.0_37/jre/bin:/usr/local/hadoop/bin:$PATH注：如果采用的是不同版本的jdk，这里要注意修改jdk的名称第三步：保存后关闭gedit，并重启机器sudo reboot第四步：重启后用hadoop用户登录，验证配置是否成功java -version 注：1）此处注意要是以hadoop用户登录系统，后续的所有部署过程都是在hadoop用户名下，2）此语句执行后如显示了jdk版本的话说明配置成功，如果没有则需检查profile中路径是否正确 第五步：修改hadoop文件夹的权限，保证hadoop用户能正常访问其中的文件 sudo chown hR hadoop/usr/local/hadoop2.1.5、创建ssh-key第一步：确保网络通畅，然后装载ssh服务sudoapt -get install openssh-server注：如果此语句执行失败且结果为“.没有可利用的包”的话，可以先执行 sudoapt-get update,以更新各个链接。执行此句要花较长时间，并且一直显示下载数据。第二步：创建ssh-keyssh -keygen -t rsa P注：此语句执行后会要你填写key的保存位置，直接照着系统给出的那个默认位置填，也就是括号里的那个路径，如果全都照此文档操作的话那么括号中路径应该为/home/hadoop/.ssh/id_rsa）第三步：将此ssh-key添加到信任列表中，并启用此ssh-keycat /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys第四步：启动ssh服务sudo service ssh start注：1，在终端输入“ssh localhost”可以测试ssh是否安装好，如果有错误提示,类似ssh: connect to hostlocalhost port 22: Connection refused，说明你没有安装ssh-client，此时只需要在终端输入：sudoapt-get install openssh-client 2，此处也可以通过命令 “ps -e |grepssh ” 来查看ssh 服务是否真的启动 了，正常情况下命令执行之后应该显示两条内容，分别是两个服务，一个是ssh-agent,一个是sshd。如果 只有 ssh-agent,那么应用命令 sudo /etc/sbin/ssh 启动sshd服务 ，如果 出现 如下类似的问题，则 进入 （sudo gedit /etc/ssh/sshd_config）将出现 问题的一句（这里是line25）注释掉就行了/etc/ssh/sshd_config: line 25: Bad configuration option:syntax/etc/ssh/sshd_config: terminating, 1 bad configuration options2.2、多机环境下的配置阶段2.2.1、/etc/hosts文件的配置修改对hosts文件的修改主要是为了建立集群中各个主机的主机名与相应ip地址之间的映射关系。因此，该步需要对每台机器的hosts的文件进行修改。本安装环境下的各个主机名与IP地址的关系如下（IP地址此处隐去）： master slave1 slave2基于该映射关系，各个机器的hosts文件的配置如下（各个机器的配置一样）： localhost master slave1 slave2注：1) 此处各配置文件中的master和slaves均为各个机器的主机名，主机名可通过hostname命令查看2) 配置文件中与localhost之间的映射是自带的2.2.2、多机的ssh-key配置第一步：进入master主机，在终端输入如下命令：scp/home/hadoop/.ssh/id_rsa.put hadoop:/home/hadoop/scp/home/hadoop/.ssh/id_rsa.put hadoop:/home/hadoop/注：这里主要是将master机器的ssh-key值拷贝到各个slaves主机。这里可能在拷贝的过程需要输入slave主机的密码，输入即可。第二步：进入各个slave主机，在终端输入如下命令以将ssh-key添加到信任列表中，以在master主机和各个slaves主机之间建立无需密码的链接：cat /id_rsa.pub /.ssh/authorized_keys注：为了验证ssh服务是否配置成功，回到master主机上，终端键入ssh hadoop如果没有出错，并且进入slave主机，则说明无密码的ssh服务配置成功。这里初次也可能有输入密码的提示，直接输入ip为的主机密码就可以了。实际上，如果你键入”ssh ”，程序也可能会提示你输入hadoop密码，输入即可。2.2.3、JAVA_HOME环境变量的配置进入master主机，配置conf目录下的hadoop-env.sh中的JAVA_HOME。在master主机终端输入如下命令：cd /usr/local/hadoopsudo gedit conf/hadoop-env.sh注：打开后在文档的上部某行有“#exportJAVA_HOME=.”字样的地方，去掉“#”，然后在等号后面填写你的jdk路径，完全按此文档来的话应改为export JAVA_HOME=/usr/Java/jdk1.6.0_37 2.2.4、master和slaves文件的配置修改该步操作是在master主机的终端上执行。目标主要是对/usr/local/hadoop/conf下的master 和slaves文件进行修改。/usr/local/Hadoop/conf/masters的配置如下:master(此处为master主机的主机名)/usr/local/Hadoop/conf/slaves的配置如下:slave1slave2(此处都为slaves主机的主机名)2.2.5、core-site、mapred-site和hdfs-site文件的配置修改进入master主机，做如下三步。第一步：配置conf目录下的core-site.xmlsudo gedit conf/core-site.xml注：打开后标签中是空的，所以在空的地方加入如下配置 hdfs:/master主机名:9000 hadoop.tmp.dir /home/hadoop/tmp 第三步：配置conf目录下的mapred-site.xmlsudogedit conf/mapred-site.xml注：打开后标签中也是空的，添加如下配置 mapred.job.tracker master主机名:9001 第三步：配置hdfs-site.xml文件sudo gedit conf/hdfs-site.xml注：打开后标签中也是空的，添加如下配置 dfs.replication 3 注：上述前两步的标红的master主机名要在实际中替换成实际的master主机名2.2.6、复制master的配置文件到各个slaves这里主要是将2.2.1，以及2.2.3-2.2.5节中修改的各个配置文件复制到各个slaves的同样目录下。所用命令如下：/拷贝JAVA_HOME环境变量的配置文件scp/usr/local/hadoop/conf/hadoop-env.sh hadoop: /usr/local/hadoop/conf/scp/usr/local/hadoop/conf/hadoop-env.sh hadoop: /usr/local/hadoop/conf/拷贝master和slaves文件scp/usr/local/hadoop/conf/master hadoop: /usr/local/hadoop/conf/scp/usr/local/hadoop/conf/master hadoop: /usr/local/hadoop/conf/scp/usr/local/hadoop/conf/slave hadoop: /usr/local/hadoop/conf/scp/usr/local/hadoop/conf/slave hadoop: /usr/local/hadoop/conf/2.3、启动运行阶段2.3.1、格式化namenode (首次运行必需)第一步：进入/usr/local/hadoop目录cd /usr/local/hadoop第二步：格式化namenodehadoop namenode format注：此步操作以及以后的操作都是在master主机上进行。并且注意这里的格式化命令里边的na