云计算实验报告2

1、本文格式为word版，下载可任意编辑云计算实验报告2 太 原 科 技 大 学 实 验 报 告 2021年 10 月14 日 试验时间：16 时 00分至18 时00 分 专业 姓名 学号 班级 课程名称 试验名称 hadoop 平台安装试验 2 同组者 指导老师 成果 一、试验目标： 在大数据时代，存在许多开源的分布式数据采集、计算、存储技术，本试验将熟识并搭建几种常用的大数据采集、处理分析技术环境。 试验二需要在笔记本上搭建 hadoop 集群，试验报告依据教程对笔记本上创建虚拟机搭建 hadoop 集群的步骤进行了说明。包含全部需要安装的软件与服务的版本，安装路径，安装方法等。 二、试验原

2、理： 1.单机模式：hadoop 默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即 java 单进程，便利进行调试。 2.伪分布式模式： hadoop 在单节点上以伪分布式的方式运行，hadoop 进程以分别的 java进程来运行，节点既作为 namenode 也作为 datanode，同时，读取的是 hdfs 中的文件。 3.分布式模式：使用多个节点构成集群环境来运行 hadoop。 三、试验内容： 以伪分布式模式安装 hadoop 平台 四、试验设备： 个人笔记本电脑 虚拟街软件：vmware workstation 系统 centos-7-x86_64-ever

3、ything-2021.iso 阿里云 contos-7 镜像站点： 五、试验步骤： l 将 hadoop-2.7.3.tar.gz，拷贝到 centos 中的/software 名目下 1、将 hadoop 压缩包，解压缩到用户主名目的 dt 名目下； $ cd $ mkdir dt $ cd dt $ tar -zxvf /software/hadoop-2.7.3.tar.gz 2、打开/etc/profile 配置文件，配置 hadoop 环境变量: export hadoop_home=/home/hduser/dt/hadoop-2.7.3 export path=$hadoop_

4、home/bin:$hadoop_home/sbin:$path 3、保存。然后执行/etc/profile 文件(让配置生效)： $ source /etc/profile l 配置 hadoop: 1、配置$hadoop_home/etc/hadoop/名目中如下的配置文件： 1) hadoop-env.sh 两个文件中都做： export java_home=/usr/local/jdk1.8.0_162 2) core-site.xml 注：假如没有 hddata/tmp 名目，要先在磁盘上创建。 configuration property namefs.defaultfs/name

5、 valuehdfs:/localhost:8020/value /property property namehadoop.tmp.dir/name value/home/hduser/dt/hddata/tmp/value /property /configuration 3) hdfs-site.xml 注：假如没有 hddata/name 名目和 hddata/data 名目，要先在磁盘上创建。 configuration property .dir/name value/home/hduser/dt/hddata/name/value /pr

6、operty property namedfs.datanode.data.dir/name value/home/hduser/dt/hddata/data/value /property !-设置 hdfs 文件系统块的复制份数，默认是 3。伪分布模式要设为 1- property namedfs.replication/name value1/value /property /configuration 4) mapred-site.xml 注：默认没有这个文件，从 mapred-site.xml.template 复制一份并改名。 $ cp mapred-site.xml.templa

7、te mapred-site.xml # 配置内容如下： configuration property /name valueyarn/value /property property namemapreduce.jobhistory.address/name valuelocalhost:10020/value /property property namemapreduce.jobhistory.webapp.address/name valuelocalhost:19888/value /property /configuratio

8、n 5) yarn-site.xml configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.shufflehandler/value /property property nameyarn.resourcemanager.hostname/name

9、 valuelocalhost/value /property /configuration 2、格式化 hdfs(仅需执行格式化一次)。在终端窗口，执行命令: $ hdfs namenode -format l 安装 ssh 服务，实现集群中 ssh 无密码连接(从主节点到从节点的无密码登录)： 1、在终端下，执行如下的命令：(注:centos 已自带 ssh 服务，略过此步) $ sudo yum -y install ssh sudo apt-get install ssh $ ls -a 2、本地 ssh 登录： $ ssh localhost $ exit 3、查看.ssh 名目： $ ls -a 4、进入.ssh 名目： $ cd .ssh 5、生成公私钥： $ ssh-keygen -t rsa 然后一路回车 6、将公钥加入到授权文件： $ ssh-copy-id hduserlocalhost 7、测试 ssh 无密码登录： $ ssh localhost $ exit l 运行 pi 程序： $ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 10 20 六、试验结果： 这次试验完成了 hadoop 的安装和环境变量的配置，使得程序可以运行，为下一次的