云计算-Hadoop单机及集群配置

实验报告实验名称Hadoop单个和群集配置指导教师实验类型坐飞机实验学时2实验时间一、实验目的和要求实验要求：学习Hadoop单机版和集群的安装构成实验目的：了解Hadoop的设置和运行环境掌握Hadoop的工作原理3 )在此基础上为Hadoop数据分析奠定基础二、实验环境在虚拟机上运行ubuntu系统hadoop-1.2.1三、实验原理和内容安装Ubuntu2.hadoop用户组(创建hadoop用户组： sudo add组hadoop(创建hadoop用户： sudo adduser-ingrouphadoophadoop(3)向hadoop用户添加权限： sudo gedit /etc/sudoers，向打开的文件添加hadoop ALL=(ALL:ALL)ALL，hadoop和ALL之间的空格使用TAB键。(使用hadoop的用户登录系统重新启动Ubuntu后，登录画面上增加了1个hadoop用户，以hadoop用户登录系统。3、SSH构成(1)在1)Ubuntu14.04中缺省安装ssh的客户端只是安装服务器端，但实际上，由于Ubuntu系统刚刚安装，系统没有更新，而且没有安装ssh(2)ssh的安装： sudo apt-getinstallopenssh-server。(3)ssh的启动： sudo/etc/init.d/sshstart检查服务是否正确启动： ps -e | grep ssh(4)设置无密码登录并生成私钥和公钥： ssh-keygen -t rsa -P (5)将公钥添加到authorized _ keys (authorized _ keys用于存储可以以当前用户身份登录到ssh客户端用户的所有公钥的内容):cat/.ssh/id _ RSA.pub/.ssh/authorized(6)无需密码即可登录： ssh localhost退出：退出配置JAVA环境(1)jvm文件夹的创建： sudo mkdir /usr/lib/jvm(2)解压缩以下jdk文件并将解压缩的文件夹重命名为Java-7-sun:sudotarxzfsjdk-7 u45-Linux-I 586.tar.gz-c/usr/lib/JVM/(Ubuntu系统为64位，前辈提供的JDK7u ) 由于安装后不可用，因此重新下载jdk，7u79版本的官方网站下载速度较慢，因此下载了7u45版本的jdk )。重命名： sudo mv jdk1.7.0_45/java-7-sun/(3)配置环境变量： sudo gedit /.bashrc最后添加以下四行：导出Java _ home=/usr/lib/JVM/Java-7-sun导出JRE _ home=$ Java _ home /JRE导出类路径=. $ Java _ home /lib : $ JRE _ home /lib导出路径=$ Java _ home /bin : $ path(4)有效配置： source /.bashrc(5)默认jdk配置： sudo update-alternatives-安装/usr/lib/JVM/javajava/usr/lib/JVM/Java-7 -Sun/bin/java 300sudo更新-备用项- -安装/usr/lib/JVM/javacjavacjavac/usr/lib/JVM/Java-7-sun/bin/Java c300(6)测试是否完成： java -version(sudo update-alternatives- config Java显示当前JDK的版本和配置。)安装hadoop(将hadoop1.2.1解压缩为/usr/local，并将其重命名为hadoop:sudo tar xzvf hadoop-1.2.1. tar.gz -C/usr/local重命名： sudo mv hadoop-1.2.1/hadoop/(2)认可(读写权限):sudo chmod 777 hadoop/(编辑hadoop-env.sh文件：添加以下三行： sudo gedit/usr/local/Hadoop/conf/Hadoop-env.sh导出Java _ home=/usr/lib/JVM/Java-7-sunexport Hadoop _ home=/usr/local/Hadoop导出路径=$ path :/usr/local/Hadoop/bin如下图所示(4)执行命令： source hadoop-env.sh(5)输入hadoop后，表示可以使用hadoop命令，如下图所示测试wordcount(创建输入文件夹： sudo mkdir/usr/local/Hadoop/input(将hadoop文件夹下的README.txt文件复制到input:sudo CP readme.txt input(3)执行： hadoopjarhadoop-examples-1.2.1.jawordcountinputoutput4 .查看结果： cat output/*表示已成功配置独立版本的hadoop。7 .伪分散配置(在hadoop文件夹下创建文件夹： tmp、hdfs、hdfs/name、hdfs/data(修改数据的权限： sudo chmod 755 hdfs/data(修改conf/中core-site.xml文件(修改conf/中hdfs-site.xml文件(修改mapred-site.xml文件(格式化(仅格式化一次) HDFS:Hadoop NameNode-format (如果Hadoop命令不可用，请输入source/usr/local/Hadoop/conf/Hadoop-env.sh )(Hadoop :启动start-all.sh(8)检查守护进程是否正常启动：显示jps、如下图所示的结果(9)可从浏览器页面显示执行状态http:/localhost :0030/- Hadoop管理接口http:/localhost :650/- Hadoop任务跟踪器状态http:/localhost :0070/- Hadoop DFS状态(10)wordcount检查：在dfs中创建输入目录： Hadoop DFS-mkdir输入将README.txt复制到输入： Hadoop DFS-copyfromlocalreadme.tx输入word count :运行hadoopjarhadoop-examples-1.2.1.jawordcountinputoutput已查看： hadoop dfs -cat output/*hadoop的伪方差配置是正确的。四、实验总结在Hadoop的集群中，主要配置NameNode和JobTracker的角色，负责分散数据和分解任务的执行的Master和Slave，后者配置DataNode和TaskTracker的角色，负责分散数据的存储和任务的执行。Hadoop DFSls显示/usr/root目录下的内容。 默认情况下，如果不输入路径，则会成为当前用户路径Ha