分布式计算环境实验报告.docx

分布式计算环境实验报告实验名称：在虚拟机下安装Linux系统和Hadoop专业班级：网络1101学生学号：3110610007学生姓名：平淑容目录实验目的.P实验仪器.P实验内容和步骤.P安装过程的问题以及解决方法.P代码运行以及实验结果.P运行过程中的问题.P实验总结.P 一、实验目的在虚拟机上安装CentOS系统并在Linux系统上安装Hadoop单机模式并且执行一个Java程序。二、实验仪器硬件：虚拟机 CentOS软件： Windows 7操作系统三、实验内容及步骤实验内容一、 安装虚拟机二、 安装Linux操作系统三、 设置静态ip四、 修改主机名四、绑定ip和主机五、关闭防护墙六、关闭防火墙的自动运行七、设置ssh八、安装JDK九、安装Hadoop十、在单机上运行Hadoop十一、Hadoop执行Java程序实验步骤：一、 安装虚拟机此处安装的虚拟机是VMware Workstation版本，直接从压缩包里面解压安装即可，此处不做过多介绍。二、 安装Linux系统此处安装的Linux系统使用的是CentOS版本，直接从压缩包里面解压，然后使用VMware Workstation打开，打开之后选择开机输入用户名和密码进入linux系统。三、 Hadoop的伪分布安装步骤1. 设置静态IP在centOS桌面的右上角选择图标，右击修改ip值，选择静态ip，输入需要增加的ip值、默认网关。然后重启网卡，执行命令service network restart 验证：执行命令ifconfig,查看ip是否生效，如果出现如图所示则成功。2.修改主机名修改当前会话中的主机名，执行命令hostname hadoop，然后用命令hostname来查看主机名 修改配置文件中的主机名，执行命令vi /etc/sysconfig/network，将HOSTNAME之后的原来的主机名改成hadoop，然后保存退出。 验证：重启，执行命令reboot -h now3.绑定ip和主机执行命令vi /etc/hosts，增加一行内容：00 hadoop，最后保存退出。验证：ping hadoop测试一下，如能够收到数据包则绑定成功。3.关闭防火墙执行命令service iptables stop验证：执行命令service iptables status4.关闭防火墙的自动运行执行命令chkconfig iptables off验证：执行命令chkconfig -list | grep iptables 5设置SSH 执行命令ssh-keygen -t rsa产生密钥，位于/ .ssh文件夹中 执行命令cp id_rsa.pub authorized_keys，将公钥存放到authorized_keys文件夹中 验证：执行命令 ssh localhost，输入yes即可。6.安装jdk执行命令rm -rf /usr/local/*删除所有的内容使用winspc把文件从windows下面复制到/usr/local目录下行命令chmod u+x jdk-6u24-linux-i586.bin赋予执行权限执行命令./jdk-6u24-linux-i586.bin解压缩执行命令mv jdk1.6.0_24 jdk ，将文件重命名。执行命令vi /etc/profile设置环境变量，增加了两行内容export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH保持退出执行命令source /etc/profile，让设置立即生效。验证：执行命令java -version8.安装Hadoop执行命令 tar zxvf hadoop-1.1.2.tar.gz进行解压缩执行命令 mv Hadoop-1.1.2 hadoop重命名执行命令vi /etc/profile 设置环境变量，增加一行内容export HADOOP_HOME=/usr/local/hadoop修改1行内容export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH保存退出执行命令source /etc/profile，让设置立即生效。修改hadoop的配置文件，位于$HADOOP_HOME/conf目录下修改4个配置文件，分别是hadoop-env、core-site.xml、hdfs-site.xml、mapred-site.xml hadoop-env修改内容如下：将文件的第九行的命令改成export JAVA_HOME=/usr/local/jdk core-site.xml修改内容如下：hdfs:/hadoop:9000 hadoop.tmp.dir /usr/local/hadoop/tmp hdfs-site.xml的修改内容如下：dfs.replication1dfs.permissionsfalse mapred-site.xml的修改内容如下：mapred.job.trackerhadoop:9001执行命令 hadoop namenode-format对hadoop格式化执行命令 start-all.sh启动验证：（1）执行命令jps，发现六个进程，分别是NameNode、DataNode、SecondaryNameNode、TaskTracker、JobTracker、Jps（2）通过浏览器http:/hadoop:50070和http:/hadoop:50030四、实验安装过程遇到的问题以及解决方法（1）用vi命令进行编辑操作的时候，对vi命令的使用不是很清楚，没有保存所做的修改。解决方法：用vi命令编辑时，首先打开的是只读命令，然后按A键进入编辑命令，编辑完之后先按Esc键，再同时按住shift+:键，这时候在左下角就会出现一个冒号，输入wq即代表保存退出。（2）一开始在终端上ping hadoop一直无法ping通，但是ping 00是能够ping通的解决方法：将主机名和ip绑定，在/etc/hosts文件中增加一行，00 hadoop。（3）在进行./jdk-6u24-linux-i586.bin解压缩的时候出现如下问题：解决方法：是应为缺少了执行权限，执行命令chmod u+x