Ubuntu 虚拟机 安装Hadoop 教程.docx

Ubuntu+虚拟机 安装Hadoop教程在虚拟机中安装的Ubuntu系统下搭建Hadoop集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。采用的简单方法是宿主机使用Serv-U建立一个FTP然后在虚拟机上登录将文件拷出来。要先熟悉Linux的基本概念和操作，如：cd、ls、tar、cat、ssh、scp、cp、rm、sudo、su、apt-get等操作。一.实践环境：Ubuntu10.04+jdk1.6+hadoop-0.20.1机器名IP作用MasterNamenode、master、jobtrackerSlave1Datanode、slave、tasktrackerSlave2Datanode、slave、tasktracker二.安装步骤：1.在虚拟机上安装Ubuntu10.04。这个很简单可以上网参考基本上是一直“下一步”就行。注意两个地方：一个是出现选择存储空间时直接选择使用整个磁盘就行，不要进行手动分区。第二个就是我才用的上网方法是NAT技术。配置详情在11.30日的日志里。2.对三台虚拟机做一下更新。$sudo apt-get update。后面要安装软件时，如果没有更新，在安装所需软件时，可能会说找不到软件，安装不上。注意选择软件源时不要仅仅是一个网站，建议使用 “中国 的服务器”。3.修改机器名和hosts文件。IP为 的虚拟机做namenode机器名叫master。IP为 和的虚拟机做datanode机器名分别叫slave1，slave2第一步：修改三台虚拟机的机器名。对master$ vi/etc/hostname进入文件后将机器名改成master对slave$ vi/etc/hostname进入文件后机器名改成 slave1$ vi/etc/hostname第二步：修改三台虚拟机的/etc/hosts文件。对master和slavevi/etc/hosts进入文件后原内容删除加入如下内容。 localhost master master slave1 slave1 slave2 slave24.在三台虚拟机上分别新建一个名字为jsj的用户。第一步：rootmaster:$ adduser jsj第二步：提示你要求你填写一些信息，可以直接回车。第三步：设置jsj这个用户的密码（尽量简单一致）。第四步：rootmaster:/home$ chown-Rjsj:jsjjsj/将jsj文件夹的所用者改成jsj用户的。否则我们用adduser jsj创建了jsj用户后，jsj用户不能在自己的主目录下创建文件夹，（如：$ mkdir .ssh）提示没有权限创建文件夹。5.在三台虚拟机上分别配置ssh无密码登录。第一步：rootmaster:$ sudo apt-get install ssh/开启ssh服务。第二步：jsjmaster:$mkdir .ssh在三台虚拟机的/home/jsj目录下都用jsj用户建立一个.ssh目录进入目录后再敲命令第三步：jsjmaster:/.ssh/$ ssh-keygen t dsa P f /.ssh/id_dsa/这个命令将为masters上的jsj用户生成其密钥对，生成的密钥对id_dsa，id_dsa.pub，默认存储在/home/jsj/.ssh目录下。第四步：jsjmaster:/.ssh/$ cat id_dsa.pub authorized_keys。/把id_dsa.pub追加到授权key里面(当前并没有authorized_keys文件是你也可以直接使用cp命令)。至此无密码登录到本机已经配置好了。可以使用 $ ssh localhost命令测试一下。第一次登录时要输入yes，之后就不用了。第五步：jsjmaster:/.ssh/$ scpid_dsa.pub jsjslave1:/home/jsj/.ssh/将id_dsa.pub文件传送到slave1这台虚拟机上。slave2同理。第六步：到slave1这台虚拟机上执行第四步的操作。slave2同理。至此master就可以无密码登录到slave1和slave2上了。如果想要slave1和slave2都可以无密码登录到master上必须在slave1和salve2上也操作第三部生成自己的密钥对而且要将密钥对追加到三台机器的authorized_keys文件里。至此各个机器上的SSH配置已经完成，可以测试一下了，比如master向slave1发起ssh连接jsjmater:/.ssh$ sshslave1如果ssh配置好了，就会出现以下提示信息The authenticity of host dbrg-2 cant be established.Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.Are you sure you want to continue connecting (yes/no)?OpenSSH告诉你它不知道这台主机，但是你不用担心这个问题，因为你是第一次登录这台主机。键入“yes”。这将把这台主机的“识别标记”加到“/.ssh/know_hosts”文件中。第二次访问这台主机的时候你会发现不需要输入密码就可以建立ssh连接了，恭喜你，配置成功了。不过，别忘了测试本机sshlocalhost(因为后面的Hadoop命令受到这一步的影。注意如果你没有成功记住删除“/.ssh/know_hosts”文件就可以重新开始。6.在三台虚拟机上分别安装jdk1.6第一步：将jdk-6u13-linux-i586.bin拷到/home/jsj目录下第二步：rootmaster:/home/jsj$ chmod u+x jdk-6u13-linux-i586.bin/将bin文件修改成可执行文件。第三步：rootmaster:/home/jsj/$ ./jdk-6u13-linux-i586.bin/运行安装文件第四步：rootmaster:/$ gedit /etc/profile在文件里面加入如下信息。export JAVA_HOME=/home/jsj/jdk1.6.0_13export JRE_HOME=/home/jsj/jdk1.6.0_13/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH然后rootmaster:/$ source /etc/profile是文件内容生效。第五步：重启电脑，在任何用户中 $ java version如果显示如下信息：java version 1.6.0_13Java(TM) SE Runtime Environment (build 1.6.0_04-b12)Java HotSpot(TM) Client VM (build 10.0-b19, mixed mode, sharing)说明jdk安装成功。你可以在slave1和slave2上执行同样的操作，也可以使用$scp r将jdk1.6.0_13文件夹拷到其它两台虚拟机上，然后配置环境变量就OK了。至此jdk安装成功。注意安装jdk时容易出现的一个问题:第一是安装完成后只有安装时的登录用户可用java其它用户不可用。这样的话你要设置一下/etc/environment文件。设置方法网上搜索就可以。7.在三台虚拟机上分别安装Hadoop-0.20.1第一步：将hadoop-0.20.1.tar.gz文件拷贝到/home/jsj目录下。第二步：rootmaster:/home/jsj/$ tar -xzvf hadoop-0.20.1.tar.gz/将文件解压。第三步：rootmaster:/home/jsj/$ chownjsj:jsj hadoop-0.20.1/将文件所有者改成jsj。第四步：rootmaster:/home/jsj/$ gedit /etc/profile进入文件将如下信息加到文件里。export HADOOP_HOME=/home/jsj/hadoop-0.20.1export PATH=$HADOOP_HOME/bin:$PATH第五步：更改conf目录下的conf/core-site.xml, conf/hdfs-site.xml, conf/mapred-site.xml,conf/hadoop-env.sh,conf/masters,conf/slaves文件。rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit hadoop-env.sh进入文件加入如下信息。exportJAVA_HOME=/home/jsj/jdk1.6.0_13rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit masters进入文件加入如下信息。rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit slaves进入文件加入如下信息。rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit core-site.xml进入文件加入如下信息。hadoop.tmp.dir/home/jsj/tmpA base for other temporary hdfs:/:9000rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit hdfs-site.xml进入文件加入如下信息。(replication默认是3，如果不修改，datanode少于三台就会报错)。dfs.replication1rootmaster:/home/jsj/hadoop-0.20.1/conf/$ gedit mapred-site.xml进入文件加入如下信息。mapred.job.tracker:9001第六步：jsjmaster:/$ scp hadoop-0.20.1 jsjslave1:/home/jsj/hadoop-0.20.1/将文件hadoop-0.20.1拷贝到其它两个虚拟机上就可以了。至此hadoop安装完成。注意一个问题：运行时出现找不到主函数的错误，说明profile环境变量的设置没有起效。可以在/etc/environment文件里加入一些信息。具体信息网上搜索。8.运行hadoop自带的例程 wordcount。第一步：jsjmaster:/hadoop-0.20.1/bin/$ hadoop namenode format/格式化文件系统，新建一个文件系统。第二步：jsjmaster:/hadoop-0.20.1/$ start-all.sh/启动hadoop的所有守护进程。第四步：jsjmaster:/hadoop-0.20.1/$ jps/查看进程，master虚拟机上的结果。在slave1和 slave2虚拟机上 jsjslave1:/hadoop-0.20.1/$ jps第四步：(1)先在本地磁盘建立两个输入文件file01和file02:第五步：jsjmaster:/soft/$ echo“Hello World Bye World” file01jsjmaster:/soft/$ echo“Hello Hadoop Goodbye Hadoop” file02/在本地磁盘建立两个输入文件file01和file02。将Hello World Bye World语句和Hello Hadoop Goodbye Hadoop语句分别加到file01文件和file02文件里面。第六步：jsjmaster:/hadoop-0.20.1/$hadoop fsmkdir input/在hdfs中建立一个input目录第七步：jsjmaster:/hadoop-0.20.1/$hadoop fs copyFromLocal /home/jsj/soft/file0* input/将file01和file02拷贝到hdfs中。第八步：jsjmaster:/hadoop-0.20.1/$ hadoop jar hadoop-0.20.1-examples.jar wordcount input output/执行wordcount。第九步：jsjmaster:/hadoop-0.20.1/$ hadoop fs -cat output/part-r-00000/完成之后，查看结果：Bye 1Goodbye 1Hadoop 2Hello 2World 2至此hadoop运行环境已经全部搭建完成。如果要按照此方法搭建请注意每次运行命令的用户和