Hadoop平台搭建

1、 Hadoop平台搭建 薛正元 屠卫 张宁宁 1.环境简介 Hadoop不仅是一个用于存储的分布式文件系统，而且是设计用来在大型集群上执行分布式应用的框架。 本文简单介绍搭建Hadoop平台的过程，搭建过程中遇到的以及尚未解决的问题。环境简介（续） 硬件环境 实验共使用三台PC机，一台机器用作NameNode，另两台用作DateNode。 （注：实验过程中因一台机器无法在LINUX系统下联网而放弃使用，最终采用一台NameNode ,一台DateNode ）环境简介（续） 软件环境 软件统一安装在虚拟机系统VMware上， Linux系统采用Ubuntu，jdk使用jdk1.6.0 版，Had

2、oop使用hadoop-0.20.2版本。2.准备工作 虚拟机VMware的安装 下载安装软件并分别在3台机器上安装。由于3台机器的D盘剩余空间都较大，统一将VMware安装在D盘，分配磁盘空间时统一分配为10G。 Ubuntu的安装 新建虚拟机，加载Linux系统Ubuntu的iso镜像文件，并在VMware环境下安装Ubuntu 系统。准备工作(续) Ubuntu简单设置 对Ubuntu进行简单的网络设置，使其接入Internet，可使用其自带的语言支持工具将其环境汉化。 JDK、SSH的安装 使用Ubuntu自带的“新立得”软件管理工具包，可以搜索、下载并安装JDK、SSH。准备工作(续

3、) Hadoop的安装 在Ubuntu中，通过网址/dyn/closer.cgi/hadoop/core下载hadoop-0.20.2.tar.gz，解压到/usr/local/hadoop文件夹。3.配置工作 配置JDK环境变量 以超级用户身份打开environment文件，在其中添加两个环境变量：CLASSPATH及JAVA_HOME并设置路径值。 配置SSH 在每台机器上新建一个超级用户，取名均为hadoop，并建立SSH Key用来远程登录。配置工作（续） 配置Hadoop 配置$HADOOP_HOME/conf/hadoop-env.sh，导入JAVA_H

4、OME环境变量值。 配置$HADOOP_HOME/conf/core-site.xml，在其中指定默认文件系统名，默认系统临时目录等。 配置$HADOOP_HOME/conf/mapred-site.xml，指定tracker的默认路径端口。配置工作（续） 格式化、启动 使用-format命令格式化NameNode； 使用start-all.sh命令启动所有的Hadoop进程，包括：namenode,datanode, jobtracker，tasktrack 等四项进程。 通过jps命令查看进程是否启动成功。总结 目前，已基本完成两台机器的Hadoop平台搭建工作，一个为NameNode，另一个为DateNode。（第三台机器的网络问题尚未解决） 搭建过程中遇到了不少问题，通过查阅资料，解决了不少问题。由于平时接触Linux较少，工作进度相对缓慢，目前尚未完成