虚拟化与云计算实验报告.doc

虚拟化与云计算实验报告学 院 软件学院 年 级 2008 班 级 一班 学 号 3007218144 姓 名 赵立夫 2011年 10 月 27 日目录一、实验目的2二、实验内容2三、实验步骤及实验结果2四、实验遇到的问题及其解决方法39五、实验结论39一、实验目的Lab1：（配置和使用SAN存储）1、 掌握在Linux上配置iSCSI target服务的方法。（实验步骤1）2、 掌握在不同的操作系统平台上使用iSCSI initiator的方法。（实验步骤2-3）Lab3：（安装、部署、使用Hadoop-HDFS，配置运行MapReduce程序，使用MapReduc编程）1、 掌握在集群上（使用虚拟机模拟）安装部署Hadoop-HDFS的方法。2、 掌握在HDFS运行MapReduce任务的方法3、 理解MapReduce编程模型的原理，初步使用MapReduce模型编程二、实验内容Lab1：配置和使用SAN存储，配置Linux iSCSI target服务Lab3：1、 安装、部署、使用Hadoop-HDFS2、 配置运行MapReduce程序，使用MapReduce编程三、实验步骤及实验结果Lab1：实验场景：25楼710软件实验室实验方式：Lab1：三人一组，和张强做server部分，同组实验者杨昂做client操作步骤及其运行截图：1.1 确定以root身份执行以下步骤sudo su 1.2 安装iSCSI Target软件aptitude install iscsitarget1.3 修改/etc/default/iscsitargetISCSITARGET_ENABLEtrue1.4 创建共享存储共享存储可以是logical volumes, image files, hard drives , hard drive partitions or RAID devices例如使用image file的方法，创建一个10G大小的LUN：dd if=/dev/zero of=/storage/lun1.img bs=1024k count=102401.5 修改/etc/iet/ietd.conf Target .example:storage.lun1IncomingUser username password # 如果需要身份验证，将 用户名 密码 加在此行 OutgoingUser Lun 0 Path=/storage/lun1.img,Type=fileio Alias LUN1 #MaxConnections 6Target name一定是一个全局唯一的名字，格式为：iqn.yyyy-mm.:identifier其中，yyyy-mm是domain起始的日期，而identifier格式自由。1.6 修改/etc/iet/initiators.allow如果只允许特定IP的initiator访问LUN，则如下设置.example:storage.lun1 00如果任意initiator均可以访问，则：ALL ALL1.7 启动/重启动iSCSI target/etc/init.d/iscsitarget start/etc/init.d/iscsitarget restart查看ip等待client访问：与其花费时间：3h实际花费时间：3.5hLab3：实验场景：25楼710软件实验室,宿舍实验方式：多人一起实验，与同组实验者杨昂，张强，另一组同学李兆骥，洪泽豪共同完成。操作步骤及其运行截图：1、 安装VMware Workstation（建议VMware Workstation7.1或者更新版本）2、 安装虚拟操作系统Ubuntu（建议Ubuntu11.04或者更新版本）3、 安装JDK（建议jdk1.6.0或更新版本）4、 配置ssh服务Ubuntu缺省安装了openssh-client，如果系统没有安装的话，使用apt-get安装openssh-clienta) 安装openssh-server，sudo apt-get install openssh-serverb) 检查ssh server是否已经启动，ps -e | grep ssh，如果只有ssh-agent那ssh-server还没有启动，需要/etc/init.d/ssh start，如果看到sshd那说明ssh-server已经启动了c) ssh-server配置文件位于/ etc/ssh/sshd_config，SSH的服务端口，默认端口是22，可以自己定义成其他端口号，如修改配置，重启SSH服务：sudo /etc/init.d/ssh resartd) 免密码ssh设置，确认能否不输入口令就用ssh登录localhost:ssh localhost如果不输入口令就无法用ssh登陆localhost，执行下面的命令：$ ssh-keygen -t rsa -f /.ssh/id_rsacat /.ssh/id_rsa.pub /.ssh/authorized_keys再次执行ssh localhost，完成后请登入确认不用输入密码，（第一次登入需按enter键，第二次就可以直接登入到系统）5、 安装Hadoopa) 解压Hadoop安装包到安装目录tar zxvf hadoop-0.20.0.tar.gzsudo mv hadoop-0.20.0 YOUR_HADOOP_LOCATIONb) 编辑conf/hadoop-env.sh，将JAVA_HOME设置为Java安装根路径c) 运行运行bin目录下的hadoop，如显示hadoop 脚本的使用文档，说明安装已经完成。如下图所示：6、 安装部署单机伪分布式模式Hadoop-HDFSHadoop可以在单节点上以伪分布式模式运行。a) 编辑/conf/core-site.xml hdfs:/localhost:9000 hadoop.tmp.dir /tmp/hadoop/hadoop-$ b) 编辑 /opt/hadoop/conf/hdfs-site.xml dfs.replication 1 c) 编辑 /opt/hadoop/conf/mapred-site.xml mapred.job.tracker localhost:9001 d) 格式化HDFSbin/hadoop namenode formate) 启动Hadoop，启动后可使用命令jps查看已启动进程，观察是否namenode、datanode已启动，关闭所有服务，使用命令stop-all.shbin/start-all.shf) 浏览NameNode和JobTracker的网络接口，地址默认为：NameNode - http:/localhost:50070/JobTracker - http:/localhost:50030/7、 在单机伪分布模式下运行wordcount例子a) 将输入文件拷贝到分布式文件系统bin/hadoop fs -put your_input_file hdfs_input_fileb) 运行Hadoop自带的wordcount例子bin/hadoop jar hadoop-0.20.2-examples.jar wordcount hdfs_input_file_location hdfs_output_filec) 将输出文件从分布式文件系统拷贝到本地文件系统查看bin/hadoop fs -get hdfs_output_file local_output_filecat local_output_file/*8、 安装部署多机Hadoop-HDFS（2-3人为一组，每人需要变换Master、Slaver角色，假设3台机器组成集群，Master节点为node1，计算节点为node2，node3）a) 确认虚拟机以桥接方式连接网络b) 确认所有参与集群的机器有相同的用户名，且Hadoop安装在相同的文件目录中c) 如有需要更改主机名，如更改为node1，node2.编辑文件/etc/hosts oldhostname替换为 newhostname编辑 /etc/hostname文件 删除该文件的所有内容，添加newhostname运行命令 hostname newhostnamed) 指定IP地址编辑文件/etc/network/interfacesauto eth0iface eth0 inet staticaddress xxxx netmask xxxx重启网络服务sudo /etc/init.d/networking restart查看IP地址 ifconfige) 修改/etc/hosts文件node1中：node1_ip node1 node2_ip node2 node3_ip node3 node2中：node1_ip node1 node2_ip node2 node3中：node1_ip node1 node3_ip node3 f) 配置从node1无需输入密码ssh登录node1、node2和node3，设置方法与单机步骤4类似，将localhost替换为对应的nodenamg) 编辑/conf/core-site.xml hdfs:/node1:9000 hadoop.tmp.dir /tmp/hadoop/hadoop-$ h) 编辑 /opt/hadoop/conf/hdfs-site.xml，其中.dir/home/username/namedfs.data.dir/home/username/data dfs.replication 2 i) 编辑 /opt/hadoop/conf/mapred-site.xml mapred.job.tracker node1:9001 j) 配置jobtrackermasters文件配置如下：node1slaves文件配置如下：node2node3k) 在主节点编辑hadoop的配置之后，将其拷贝到node2和node3的对应目录中scp Hadoop_location/conf/ node2: Hadoop_location/conf/l) 格式化HDFSbin/hadoop namenode formatm) 启动Hadoop，启动后可使用命令jps查看namenode和datanode上已启动进程，观察是否namenode、datanode已启动，关闭所有服务，使用命令stop-all.shbin/ start-all.shn) 浏览NameNode和JobTracker的网络接口，地址默认为：NameNode - http:/localhost:50070/JobTracker - http:/localhost:50030/o) 在多机模式下运行wordcount例子9、 安装eclipse和hadoop plugin for eclipse10、 建立wordcount工程，编译示例程序wordcount.java，打包相关class文件，在Hadoop分布式环境下（伪分布模式或者多机模式均可）运行自己打包的wordcount11、 以wordcount的输出文件为输入文件，编写Mapreduce程序，实现按照单词出现频率顺序排列的单词列表。输入文件格式为Word1 3Word25Word37Word45WordNm（m7）得到结果mWordN7Word35Word2,Word43Word1四、实验遇到的问题及其解决方法Lab1：问题一：修改iscsitarget不成功，vi操作不熟练解决：使用root权限，改用gedit命令打开文件修改问题二：由于重名引起的连接不上解决：同一网段内不能有重名，默认为example，改为自己的名字问题三：建立了虚拟存储但是连不上解决：其中一台机子用虚拟机，采用NAT方法导致两台主机不在同一网段，使连接不能完成，改为桥接重启，解决。Lab3：问题一：无法使用jps命令解决：在命令行下用apt get完成jdk的导入问题二：无法发现namenode解决：删除bin下的hadoop中的jvm问题三：