vm下ubuntu集群安装hadoop.doc

vm下ubuntu集群安装hadoop1、 在wm下安装ubuntu9.102、 更新deb软件包列表：$ sudo apt-get update3、 安装系统更新$ sudo apt-get upgrade4、 安装JDK$ sudo apt-get install sun-java6-jdk /默认路径为：/usr/lib/jvm5、 设置CALSSPATH和JAVA_HOME$ sudo gedit /etc/environment添加：CLASSPATH=”.:/usr/lib/jvm/java-6-sun/lib” JAVA_HOME=”/usr/lib/jvm/java-6-sun”6、 调整系统虚拟机的优先顺序$ sudo gedit /etc/jvm在文件顶部添加一行/usr/lib/jvm/java-6-sun如果文件/etc/jvm不存在则自己新建7、 下载hadoop-0.20.0.tar.gz$ cd /home/fly /设当前用户名为：fly$ sudo tar xzf hadoop-0.20.0.tar.gz /解压$ mv hadoop-0.20.0 hadoop /重命名文件夹$ sudo chown R fly:fly hadoop /赋于fly权限8、 更新hadoop环境变量$ gedit hadoop/conf/hadoop-env.sh将#export JAVA_HOME= *这一行改为：export JAVA_HOME=/usr/lib/jvm/java-6-sun9、 配置ssh$ sudo apt-get install ssh$ sudo apt-get install rsync$ ssh-keygen t dsa P f /.ssh/id_dsa$ cat /.ssh/id_dsa.pub /.ssh/authorized_keys$ ssh localhost /验证配置成功与否10、在wm下复制出另外两个虚拟机，并分别把这三个虚线拟分别更名为：dream1、dream2、dream3（更改主机名的方法在这就不写了。）建立三个虚拟机的通信：安装过wm后，电脑网络连接里会多出现两个网络连接设置共享原来的本地连接：设置虚拟机连接：其中的IP自己设，DNS可不设置。在dream1虚拟机里添加一个网络连接设置：分别再设置另两个dream2,dream3的IP分别为：192.168.100.126、192.168.100.127注意：今后如需连接互联网则用以前默认的自动获取IP的连接：auto eth0, 三个虚拟机通信见则切换联接：wired connection110、 Namenode :dream1Datenode:dream2dream311、（每个虚拟机都要做）$ sudo gedit /etc/hosts添加数据：192.168.100.125 dream1192.168.100.126 dream2192.168.100.127 dream312、配置SSH（保证无密码访问）在dream2dream3上分别执行$ scp flydream1:/home/fly/.ssh/id_dsa.pub /home/fly/.ssh/dream1_dsa.pub$ cat /.ssh/dream1.pub /.ssh/authorized_keys在dream1上执行$ scp flydream1:/home/fly/.ssh/id_dsa.pub /home/fly/.ssh/dream1_dsa.pub$ cat /.ssh/dream1.pub /.ssh/authorized_keys13、配置conf/masters , conf/slaves在所有节点上：/conf/masters加入一行：dream1/conf/slaves加入行：dream2dream314、配置core-site.xml , hdfs-site.xml , mapred-site.xml core-site.xml:hdfs-site.xml:mapred-site.xml:15、格式化分布式文件系统 在na