云计算实验报告2.doc

1、云计算实验报告2太原科技大学 实 验 报 告 2021年 10 月14日实验时间：16 时 00分至18 时00 分专业姓名学号班级课程名称实验名称 Hadoop 平台安装实验 2同组者指导教师成绩一、实验目标：在大数据时代，存在很多开的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析p 技术环境。实验二需要在笔记本上搭建 Hadoop 集群，实验报告根据教程对笔记本上创建虚拟机搭建 Hadoop 集群的步骤进行了说明。包含所有需要安装的软件与服务的版本，安装路径，安装方法等。二、实验原理：1.单机模式：Hadoop 默认模式、即非分布式模式(本地模式)、无需进

2、行其他配置即可运行非分布式，即 单进程，方便进行调试。2.伪分布式模式：Hadoop 在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。3.分布式模式：使用多个节点构成集群环境来运行 Hadoop。三、实验内容：以伪分布式模式安装 Hadoop 平台 四、实验设备：个人笔记本电脑 虚拟街软件：VMware Workstation 系统 CentOS-7-_86_64-Everything-20_3.iso 阿里云 contos-7 镜像站点：centos/7/isos/_86_64

3、/ 五、实验步骤：l 将 hadoop-2.7.3.tar.gz，拷贝到 CentOS 中的/software 目录下 1、将 Hadoop 压缩包，解压缩到用户主目录的 dt 目录下；$ cd $ mkdir dt$ cd dt$ tar -z_vf /software/hadoop-2.7.3.tar.gz2、打开/etc/profile 配置文件，配置 hadoop 环境变量:e_port HADOOP_HOME=/home/hduser/dt/hadoop-2.7.3e_port PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH3、保存。然后执

4、行/etc/profile 文件(让配置生效)：$ source /etc/profile l 配置 Hadoop: 1、配置$HADOOP_HOME/etc/hadoop/目录中如下的配置文件：1) hadoop-env.sh 两个文件中都做：e_port _HOME=/usr/local/jdk1.8.0_1622) core-site._ml注：如果没有 hddata/tmp 目录，要先在磁盘上创建。fs.defaultFShdfs:/localhost:8020/hadoop.tmp.dir/home/hduser/dt/hddata/tmp3) hdfs-site._ml注：如果没有

5、 hddata/name 目录和 hddata/data 目录，要先在磁盘上创建。.dir/home/hduser/dt/hddata/namedfs.datanode.data.dir/home/hduser/dt/hddata/datadfs.replication14) mapred-site._ml注：默认没有这个文件，从 mapred-site._ml.template 复制一份并改名。$ cp mapred-site._ml.template mapred-site._ml# 配置内容如下：yarnm

6、apreduce.jobhistory.addresslocalhost:10020mapreduce.jobhistory.web.addresslocalhost:198885) yarn-site._mlyarn.nodemanager.au_-servicesmapreduce_shuffleyarn.nodemanager.au_-services.mapreduce_shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.hostnamelocalhost2、格式化 hdfs(仅需执行格式化一

7、次)。在终端窗口，执行命令:$ hdfs namenode -formatl 安装 SSH 服务，实现集群中 SSH 无密码连接(从主节点到从节点的无密码登录)：1、在终端下，执行如下的命令：(注:CentOS 已自带 SSH 服务，略过此步)$ sudo yum -y install sshsudo apt-get install ssh$ ls -a2、本地 SSH 登录：$ ssh localhost$ e_it3、查看.ssh 目录：$ ls -a4、进入.ssh 目录：$ cd .ssh 5、生成公私钥：$ ssh-keygen -t rsa然后一路回车6、将公钥加入到授权文件：$

8、ssh-copy-id hduserlocalhost 7、测试 SSH 无密码登录：$ ssh localhost$ e_itl 运行 pi 程序：$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-e_les-2.7.3.jar pi 10 20 六、实验结果：这次实验完成了 Hadoop 的安装和环境变量的配置，使得程序可以运行，为下一次的实验奠定一定的基础，HDFS 实验会进行的比较顺利。七：心得体会通过本次实验的实践，已经完成了 Hadoop 的安装和环境变量的配置，我一直觉得环境变量比较难配置，但这次发现用代码的配置也许会有

9、新的感觉，也会变得容易一些，书本学习的是理论知识，我们通过实验可以把书本上的知识变成自己的。用词干练，行文流畅。字斟句酌，很精美的文章！一， 云计算概述：云计算这个概念的直接起来自亚马逊EC2产品（0_年）和Google-IBM分布式计算项目（07年）， 但一开始只是一个朦胧的概念。随着时间的推移，云计算引起了越来越多企业的关注。由于IT部门面临着以更低成本提供更好服务的挑战，按需使用共享计算资的能力对IT部门突现出巨大的吸引力。 云计算的魅力在于：它能实现敏捷性并真正节省费用，当企业需要时，能迅速获得计算资，采取自助服务和按使用量付费的使用模式。这些计算资可以随着业务周期的自然起伏扩充和缩减

10、，无需为配置过大的资容量而过度投资。公有云、私有云和混合云在公有云中，多个客户共享一个服务提供商提供的计算资。客户可以迅速地获得这些资，并仅为用作运营的资付费。这种模式提供了灵活的扩展性，因此资可以在需要时可逐渐小幅增加，而不再需要时也可减少。尽管公有云拥有引人注目的优势，但是存在安全性、法规遵从和服务质量的隐患。既然数据由第三方托管，客户就希望服务提供商保证数据安全，即不丢失和不被非法访问，遵从法规对存储系统和数据保存位置的要求，并通过网络提供低延迟、高可用的服务。在私有云中，计算资由一家企业专用并由该企业掌控的。私有云一般在企业的数据中心中部署，并由内部人员管理，不过也可以由服务提供商管理

11、，在这种情况下，私有云称为虚拟私有云。这种模式的主要好处是安全性、法规遵从和服务质量仍在企业的掌控之中。 混合云是单一应用软件横跨公有云和私有云的一种云。混合云需要跨云的互操作性，并且能够以统一的方式跨公有云和私有云实施管理。混合云使企业能够在私有云中运行状态稳定的工作量，出现工作量高峰时，则向公有云寻求密集的计算资，之后如果不再需要，再将计算资返回给公有云。不同层次的云计算云计算包含三种不同服务类型：SaaS、PaaS和IaaS： 软件即服务 (Software as a Service, SaaS)指的是通过浏览器，以服务形式提供给用户应用程序。有些是由公有云提供商提供的商用SaaS应用，

12、有的则是企业私有云上提供的商用及订制的SaaS应用。比如红杉树的web视频会议系统就是典型的SaaS，用户直接通过浏览器享受服务，无需安装任何软硬件设备。 平台即服务 (Platform as a Service, PaaS) 指的是以服务形式提供给开发人员应用程序开发及部署平台，让他们可利用此平台来开发、部署和管理SaaS应用程序。这种平台一般包含数据库、中间件及开发工具，所有都以服务形式通过互联网提供。Salesforce.是典型的PaaS提供商，客户不只利用他们的 Force. 平台做 mashups，集成 Google Map 这类 Web 2.0 网站的 Web services；而

13、更已经有客户，利用它来成功集成了企业防火墙内的 SAP 应用。当租用 SaaS 的那些企业的 IT，对“服务”的概念和实践经验，有了愈来愈深的领悟和掌握后，自然而然将促进企业内更多非租用、自行维护的系统的服务化。 基础架构即服务 (Infrastructure as a Service, IaaS) 指的是以服务形式提供服务器、存储和网络硬件。这类基础架构一般是利用网格计算(Grid puting)架构建立虚拟化的环境，因此虚拟化、集群和动态配置软件也被涵盖在IaaS之中。IBM，HP以及电信运营商大多提供这样的基础架构服务，是IDC概念的延续。二， 无锡云计算发展概况IBM与2021/2/1

14、日与无锡市政府签约在无锡滨湖区太湖新城科教产业园建立“中国云计算中心”，成为IBM为中国客户搭建的第一个虚拟计算环境。具体来讲，IBM提供技术和设备，搭建中心；政府出钱投资，中心的实际运营IBM并不负责，由太湖云计算中心负责，2021年10月，该中心已经改制为股份制公司，进行市场化运作。这个项目的成功很大原因在于无锡市政府的积极推动。无锡市之前产业结构相对单一，属于典型的苏南模式，引入大量的海外企业（日韩居多），基本上属于来料生产，加工再出口的模式。虽然解决了劳动力就业的问题，但也带来了环境污染，人口素质等方面的问题。当地市委书记在考察了印度班加罗尔之后，将产业转型纳上议题，规划将软件外包作为

15、城市未来转型和产业升级的方向（2021年底到无锡后，希望能建立“感知中国中心”后，战略又偏向物联网那是后话了）。 因此，该项目的主要目的在于吸引集聚海内外一流软件和服务外包企业选择无锡“筑巢”发展，以云计算的架构降低企业开发软件的成本，提高企业开发软件的效率；从大的层面来看是为了提升无锡服务外包的国际竞争力；优化无锡市软件和服务外包产业的发展生态环境，助推该市软件产业的发展。 项目一期签约总额约4500万人民币，共吸引来自海内外六十余家软件和服务外包企业参加。随后，Oracle，Intel相继在无锡设立计算中心，为政企项目提供服务。2021/10/17，无锡太湖云计算中心项目二期扩容签署协议，

16、约3250万人民币，目标定位为搭建“商务云”、“开发云”、“政务云”三大云计算服务平台，着力打造全球领先的“云谷”。中小企业服务模式针对长三角，珠三角一带的中小企业众多的情况，提供特为中国企业定制的电子商务平台，从而帮助他们提升企业核心竞争力。具体的应用形式以SaaS为主，陆续有七匹狼，红豆等具有一定品牌知名度的公司租用了太湖云计算中心一站式的B2C电子商务服务，在互联网上进行品牌宣传和B2C专卖店建设。软件外包/开发企业服务模式太湖云计算中心借助IBM，Oracle等一流公司的技术实力，向无锡国家软件园里入驻的各类软件外包企业提供全面的软件开发、测试平台及培训咨询服务（可以认作为是PaaS一类的应用），主要扮演中间人和服务提供商的角色。与爱迅达目前操作项目的方式比较类似。大型企事业单位服务模式对于一些大型企事业单位，太湖云计算中心一般推荐用户用云计算技术进行IT基础设施的改造，降低能耗，提高资利用率（IaaS一类的应用）。由于其本身的政府背景，获得了不少政府项目，比如无锡市政府数据中心就采用了他们推荐的云计算中心的架构和方案，节省大约50的能，和大概