云计算-Hadoop单机及集群配置.doc

实 验 报 告实验名称Hadoop单机及集群配置指导教师实验类型上机实验学时2实验时间一、 实验目的和要求实验要求：学会Hadoop单机版及集群的安装配置实验目的：1）了解Hadoop的安装及运行环境； 2）掌握Hadoop的工作原理； 3）在此基础上为Hadoop数据分析奠定基础二、实验环境在虚拟机上运行ubuntu系统，hadoop-1.2.1三、实验原理及内容1.安装Ubuntu2.hadoop用户组（1）创建hadoop用户组：sudo addgroup hadoop（2）创建hadoop用户：sudo adduser -ingroup hadoop hadoop（3） （3）为hadoop用户添加权限：sudo gedit /etc/sudoers，在打开的文件中添加一句hadoop ALL=（ALL：ALL）ALL， 其中hadoop和ALL之间的空格使用TAB键。（4）使用hadoop用户登录系统重新打开Ubuntu，发现登陆界面多了一个hadoop用户，用hadoop用户登录系统。3、SSH配置（1）Ubuntu14.04已默认安装ssh的客户端，只需要安装服务器端即可，但在实际操作时，发现由于是刚安装的Ubuntu系统，该系统没有更新，还没有安装ssh，因此先使用系统更新命令sudo apt-get update更新系统。（2）安装ssh：sudo apt-get install openssh-server。（3） 启动ssh：sudo /etc/init.d/ssh start 查看服务是否正确启动：ps -e | grep ssh（4） 设置免密码登录，生成私钥和公钥：ssh-keygen -t rsa -P （5）将公钥追加到authorized_keys（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）中：cat /.ssh/id_rsa.pub /.ssh/authorized_keys（6）现在即可免密码登录：ssh localhost退出：exit4、JAVA环境配置（1）创建jvm文件夹：sudo mkdir /usr/lib/jvm（2）将下好的jdk文件解压，并将解压后的文件夹重命名为java-7-sun，：sudo tar xzvf jdk-7u45-linux-i586.tar.gz-C /usr/lib/jvm/（由于安装的Ubuntu系统为64位的，学长提供的jdk7u79为32位的，安装之后无法使用，所以重新下载了一个jdk，由于7u79版本官网下载速度太慢，因此下载了一个7u45版本的jdk）重命名：sudo mv jdk1.7.0_45/ java-7-sun/（3）配置环境变量：sudo gedit /.bashrc在最后添加如下四行：export JAVA_HOME=/usr/lib/jvm/java-7-sunexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin:$PATH（4）启用配置：source /.bashrc（5）配置默认JDK：sudo update-alternatives -install /usr/lib/jvm/java java/usr/lib/jvm/java-7-Sun/bin/java 300sudo update-alternatives -install /usr/lib/jvm/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300（6）测试是否已完成：java -version（sudo update-alternatives -config java可查看当前各种JDK的版本和配置）5、安装hadoop（1）将hadoop1.2.1解压至/usr/local下，并将其重命名为hadoop：sudo tar xzvf hadoop-1.2.1.tar.gz -C/usr/local重命名：sudo mv hadoop-1.2.1/ hadoop/（2）授权（读写权限）：sudo chmod 777 hadoop/（3）编辑hadoop-env.sh文件：sudo gedit /usr/local/hadoop/conf/hadoop-env.sh，增加如下三行：export JAVA_HOME=/usr/lib/jvm/java-7-sunexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:/usr/local/hadoop/bin如下图所示：（4）执行命令：source hadoop-env.sh（5）输入hadoop，出现如下图所示，说明hadoop命令已经可以使用：6、测试wordcount（1）创建input文件夹：sudo mkdir /usr/local/hadoop/input（2）将hadoop文件夹下的README.txt文件拷贝至input中：sudo cp README.txt input（3）执行：hadoop jar hadoop-examples-1.2.1.jar wordcount input output4.查看结果：cat output/*说明单机版的hadoop已经配置成功。7、伪分布式配置（1）在hadoop文件夹下创建文件夹：tmp，hdfs，hdfs/name，hdfs/data（2）修改data的权限：sudo chmod 755 hdfs/data（3）修改conf/中core-site.xml文件（4）修改conf/中hdfs-site.xml文件（5）修改mapred-site.xml文件（6）格式化HDFS(只需格式化一次)：hadoop namenode format（如果不能使用hadoop命令，先输入source /usr/local/hadoop/conf/Hadoop-env.sh） （7）启动hadoop：start-all.sh（8）检查守护进程是否正常启动：jps，出现下图所示结果：（9）可以通过浏览器页面查看运行状态http:/localhost:50030/ - Hadoop 管理介面http:/localhost:50060/ - Hadoop Task Tracker 状态http:/localhost:50070/ - Hadoop DFS 状态（10）wordcount检测：在dfs中创建input目录：hadoop dfs -mkdir input将README.txt拷贝至input中：hadoop dfs -copyFromLocal README.txt input运行wordcount：hadoop jar hadoop-examples-1.2.1.jar wordcount input output查看结果：hadoop dfs -cat output/*hadoop的伪分布式配置是正确的。四、实验小结对于Hadoop的集群来说，可以分成两大类角色：Master和Slave，前者主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行，后者配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。 Hadoop dfs ls就是查看/usr/root目录下的内容，默认如果不填路径这就是当前用户路径； Hadoop dfs rmr