云计算实验报告

1 / 21云计算实验报告实验一CloudSim 优缺点：1、 优点：能够提供虚拟化服务。其它的优点没感觉到2、 缺点：版本不兼容问题严重。不支持新的模拟实体的创建。 实验环境搭建：下载和，配置环境变量path=C:jars;C:jars。JAVA_HOME= C:Program FilesJava_40导入工程项目，如下图；搭建环境中遇到的问题：sources 文件夹中会有包提示 error2 / 21。其解决方法：网上下载包并导，问题得以解决，如下图所示：算法实现：先来先服务代码：public void bindCloudletsToVmsFCFS() int cloudletNum=(); int vmNum=(); int i,j; double time; int idex=0;/记录当前最先到达的任务 id int vdx=0; double submittime=new int isbindtovm=new intcloudletNum; for(i=0;i (i).setSubmissionTime(submittimei); for(i=0;i 将这段代码加入 package 中的DatacenterBroker 中，然后将整个项目重新进行编译。调用 FCFS 方法，该算法的时间排序正确，但是 cloudlet3 / 21排序有误，我正在解决。实验二环境搭建首先安装 ubuntu 系统。版本：安装好后，ubuntu 系统上安装和 ssh云计算与物联网实验报告学 院 专业班级 姓 名 学 号2016 年 12月说 明一、 实验报告是本课程重要的实践教学环节，是提高学生4 / 21应用计算机能力的重要措施。所有参加实验的学生都必须撰写实验报告。二、 实验报告的质量反映了实验的学习质量，它是评定实验成绩的主要依据之一。不交报告者不得参加实验成绩评定。 三、 实验报告要求条理清晰，内容详尽，数据准确。 四、 实验课程结束后请将本报告上交学院存档保存。五、 实验报告一次性提交，必须回答实验课上要求完成的思考题。345Hadoop 云计算实验报告5 / 21Hadoop 云计算实验报告1 2实验环境 虚拟机：VMware 9操作系统：， Hadoop 版本：hadoop Jdk 版本：jdk-7u80-linux-x64Eclipse 版本：eclipse-jee-luna-SR2-linux-gtk-x86_64Hadoop 集群：一台 namenode 主机 master，一台 datanode主机 salve，master 主机 IP 为，slave 主机 IP 为。3实验设计说明 主要设计思路在 ubuntu 操作系统下，安装必要软件和环境搭建，使用eclipse 编写程序代码。实现大数据的统计。本次实验是统6 / 21计软件代理系统操作人员处理的信息量，即每个操作人员出现的次数。程序设计完成后，在集成环境下运行该程序并查看结果。 算法设计实验目的在虚拟机 Ubuntu 上安装 Hadoop 单机模式和集群；编写一个用 Hadoop 处理数据的程序，在单机和集群上运行程序。该算法首先将输入文件都包含进来，然后交由 map 程序处理，map 程序将输入读入后切出其中的用户名，并标记它的数目为 1，形成的形式，然后交由 reduce 处理，reduce 将相同 key 值(也就是 word)的value 值收集起来，形成的形式，之后再将这些 1 值加起来，即为用户名出现的个数，最后将这个对以TextOutputFormat 的形式输出到 HDFS 中。 程序说明1) UserNameCountMap 类继承了，4 个泛型类型分别是map 函数输入 key 的类型，输入 value 的类型，输出 key 的7 / 21类型，输出 value 的类型。2) UserNameCountReduce 类继承了，4 个泛型类型含义与 map 类相同。3) main 函数通过 addInputPath 将数据文件引入该类，在通过 setOutputPath 将生成结果转为一个文件，实现生成结果，即统计结果的查看。(job, new Path(args0); (job, new Path(args1); 程序具体代码如附件中源程序。4 实验过程安装 ubuntu 操作系统安装实验环境 1) 打开 VMware,在 Home tab 中单击“Create a New Virtual Machine”， 2) 选择 custom，选择虚拟硬件版本，8 / 21选择 ios 文件，next， 3) 录入目标操作系统信息,包括Full name、Uer name 和 Password， next， 4) 选择默认的选项，一般不做更改，最后确认信息，Finish， 5) 安装成功后，会看到如下画面，安装配置 Samba安装 samba 主要为了实现与 windows 操作系统的通讯，由于 server 版本的 ubuntu 没有自带图形操作界面，所以下载资料等操作不太方便，这也是安装 samba 的目的之一。1） 安装 samba，输入如下命令：2） 安装vim3） 创建共享目录，并修改权限4） 配置 samba。修改 samba 的配置文件/etc/samba/ ，将security=share，并9 / 21在文件的末尾追加如下内容，5） 测试。在 windows 实机中，通过 ip 访问 ubuntu 虚拟机，可以见到 share 文件夹安装配置 JDK首先，下载 java 开发工具包 JDK。在本次试验中，我们下载的版本是。 解压安装到/usr/lib/jvm/目录下，更名为java-7-sun。配置环境变量/etc/environment，使配置生效测试安装配置结果在单节点环境下运行 HADOOP 1) 添加 Hadoop 用户并赋予10 / 21sudo 权限 2) 安装配置SSH切换至 hadoop 用户，配置密钥，使得 hadoop 用户能够无须输入密码，通过 SSH访问 localhost， 测试结果：3) 安装配置 Hadoop首先下载 Hadoop,解压缩到/opt/hadoop 目录下, 本次试验中我们下载的版本是，更改目录名称为 hadoop。修改与 hadoop 相关的配置文件，分别是, , , 。在此不一一列举。4) 运行 Hadoop首先格式化 HDFS，启动单节点集群，11 / 21通过 jps 查看，masterslave实验报告项目名称： Hadoop 平台部署 课程名称：班级：信息工程学院计算机系一.linux 系统配置 主机名的配置通过语句编辑，将 hostname 分别改为 master 及 slave。使用setup 命令配置网络环境12 / 21Master 节点 ip: Slave 节点 ip：关闭防火墙 观察是否配置成功 二JDK 的安装将 JDK 文件解压，放到/home/com0916 目录下表示 JDK 安装成功免密钥登陆配置生成的密钥在.ssh 目录下如下图所示：免密钥配置成功三 Hadoop 配置部署解压成功 hadoop配置环境变量环境变量文件中，只需要配置 JDK 的路径，配置结果如图13 / 21所示：配置核心组件配置文件系统虚拟化与云计算实验报告目录一、实验目的 . 114 / 21二、实验内容 . 1三、实验原理 . 1四、实验步骤及实验结果 . 5五、实验遇到的问题及其解决方法 . 9六、实验结论 .15 / 21. 10一、实验目的实验一:1.掌握在 Linux 上配置 iSCSI target 服务的方法。2.掌握在不同的操作系统平台上使用 iSCSI initiator 的方法。实验三：1.掌握在集群上安装部署 Hadoop-HDFS 的方法。2.掌握在 HDFS 运行 MapReduce 任务的方法3.理解 MapReduce 编程模型的原理，初步使用 MapReduce模型编程。二、实验内容16 / 21实验一: 配置和使用 SAN 存储，设置连接 IP SAN 设备；实验三: 安装、部署、使用 Hadoop-HDFS 和配置运行MapReduce 程序，使用 MapReduce 编程。三、实验原理实验一:SAN(Storage Area Network，存储局域网络)的诞生，使存储空间得到更加充分的利用以及管理更加有效。SAN 是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN 本身就是一个存储网络，承担了数据存储任务，SAN 网络与 LAN 业务网络相隔离，存储数据流不会占用业务网络带宽。在 SAN 网络中，所有的数据传输在高速、高带宽的网络中进行，SAN 存储实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。早期的 SAN 采用的是光纤通道(FC，Fiber Channel)技术，所以，以前的SAN 多指采用光纤通道的存储局域网络，到了 iSCSI 协议出现以后，为了区分，业界就把 SAN 分为 FC SAN 和 IP SAN。17 / 21iSCSI(互联网小型计算机系统接口)是一种在 TCP/IP 上进行数据块传输的标准。它是由 Cisco 和 IBM 两家发起的，并且得到了各大存储厂商的大力支持。iSCSI 可以实现在IP 网络上运行 SCSI 协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSI 标准在 XX 年 2 月11 日由 IETF(互联网工程任务组)认证通过。iSCSI 继承了两大传统技术：SCSI 和TCP/IP 协议。这为 iSCSI 的发展奠定了坚实的基础。基于iSCSI 的存储系统只需要不多的投资便可实现 SAN 存储功能，甚至直接利用现有的 TCP/IP 网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。在实际工作时，是将 SCSI 命令和数据封装到 TCP/IP 包中，然后通过 IP 网络进行传输，具体的工作流程如下：(1) iSCSI 系统由 SCSI 适配器发送一个 SCSI 命令；(2) 命令封装到 TCP/IP 包中并送入到以太网络；(3) 接收方从 TCP/IP 包中抽取 SCSI 命令并执行相关操作；18 / 21(4) 把返回的 SCSI 命令和数据封装到 TCP/IP 包中，将它们发回到发送方；(5) 系统提取出数据或命令，并把它们传回 SCSI 子系统。实验三:指的是 Hadoop 分布式文件系统，是根据 Google 的 GFS 的论文，由 Doug Cutting 使用 Java 开发的开源项目。HDFS本身是 Hadoop 项目的一部分，为 Hadoop 提供了底层的数据存储，以供上层的各种实际应用使用。HDFS 是典型的Master/Slave 集群架构，由一个 NameNode 和多个DataNode 组成，NameNode 只能是一个，扮演着 Master 的角色，负责对具体存储块的元数据进行保存，如某个存储块具体保存在哪个 DataNode 上；DataNode 可以为多个，扮演着 Slave 的角色，负责对具体的存储块进行保存，一个相同的存储块根据配置可以保存到多个 DataNode 上，以保持数据的高可用性。客户端与 HDFS 交互时，典型的，会先询问 NameNode 具体的存储块在哪个 DataNode 上，然后客户端会直接联系相应的 DataNode，来获取或写入数据。各19 / 21个 DataNode 会定时发送心跳至 NameNode，以便 NameNode了解 DataNode 的可用状态及存储状态，这样可以保证某一个 DataNode 挂掉，NameNode 可以做相应处理，以保证数据的高可用性。HDFS 的目标就是使用大量的廉价 PC 机，来维护海量的大数据块，并且保证数据的高可用性，并且 HDFS 集群会随着更多 PC 机的加入，而提高数据的存储量与吞吐量，单个Hadoop 集群一般最大可达 2000 个节点。2. MapReduce 是一种编程模型，用于大规模数据集的并行运算。概念”Map”和”Reduce” ，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个 Map 函数，用来把一组键值对映射成一组新的键值对，指定并发的 Reduce 函数，用来保证所有映射的键值对中的每一个共享相同的键组。四、实验步骤及实验结果20 / 21实验一：实验场景：Linux 环境安装 iSCSI initiator 软件实验方式：