Hoop云计算平台搭建方案

1、Hoop云计算平台搭建方案The Standardization Office was revised on the afternoon of December 13, 2020Hadoop云计算平台搭建方案一、平台搭建概述总体思路针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop云计算 平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得 到的新的模式，为电力企业的决策提供指导。平台采用作为海量数据存储和分 析工具，将其部署在4个物理计算机节点上，搭建Hadoop集群，其中1个节点 作为master节点，其余3个作为slave节点。为了获取更好的稳定性，平台搭

2、建 在Linux系统()环境下。软件列表软件描述版本VMware Workstation虛拟化软件VMware Workstation 08UbuntuLinux操作系统JDKJava的软件开发工具包开源的云计算基础框架分布式数据存储系统可靠协调系统数据迁移工具平台搭建总流程和节点信息一览表在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有一个全局的认识，平台搭建总流程如下图所示。各节点信息如下表所示:机器名IP地址用户名充当角色masterhadoopJobTrackers Namenodeslave 1hadoopTaskTrackerx Datanodes

3、lave2hadoopTaskTrackers Datanodeslave3hadoopTaskTrackers Datanode二、基础平台的搭建步骤此次大数据存储和处理平台的搭建，需要4台物理节点来部署Hadoop平台环 境。我们使用虚拟机软件VMware Workstation创建4台虚拟机，承载平台搭建 工作。另外，由于对4台虚拟机的配置大部分是相同的，所以利用VMware Workstation的克隆功能，可以减少部署的工作量。安装虚拟机软件VMware Workstation首先在4台PC机器上均安装虚拟化软件VMware Workstation,并输入相应的序列号。在master

4、节点上安装Linux系统Ubuntu 在设定为master PC节点上首先安装Linux系统(版本为),在安装过程中为提 高后期安装软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为 “hadoop的普通用户，设置统一的密码。安装完成后将系统的terminal命令窗口 调出来，以便使用。同时，为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文 字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装 VMare Tools T具，具体操作如下：启动虚拟机，进入Ubuntu系统，在VM菜单栏“虚拟机(M)”的下拉菜单点击“安 装VMare Tools(T)

5、后，会弹出一个“VMare Tools文件夹，里面包含VMare Tools的安装包，将该安装包拷贝到/home/hadoop 录下，输入命令进行解压安 装:tar xzvf此时在/home/hadoop/目录下产生vmware-tools-distrib文件夹,进入 该目录，通过在terminal终端输入相应命令，运行脚本：cd /home/hadoop/vmware-tools-distrib$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=SJAVA_HOME/bin:SJRE_HOME/bin:$PATH ocal/share/, b

6、ut failed: No such file or directory(gedit:2949): Gtk-WARNING *: Attempting to store changes into/root/.local/share/, but failed: Failed to create file /root/.local/share/: No such file or directory(gedit:2949): Gtk-WARNING Attempting to set the permissions of/root/.local/share/1, but failed: No suc

7、h file or directory解决方法:只需直接在终端中输入命令:sudo mkdir -p /root/.local/share/ ,创建 警告信息中所提示的目录即可。若无视警告重启ubuntu后将会出现以下情况：输入密码无法进入系统，一直处 于输入密码后又跳转回输入密码的界面。此时的解决方法是：在输入密码界面同时按下alt+ctrl+F2进入ubuntu命令模式，并使用root用户及对应密码登陆系 统，然后键入：/usr/bin/vi /etc/profile打开etc/profile文件，找到最近在末尾加上 的hadoop配置文件，按delete键删除这些行，然后键入命令:wq

8、!（注意此处 有冒号，不可省略）保存文件。然后同时按下ctrl+alt+del重启系统即可使系统 恢复正常登陆，然后按照上述方法重新配置。目录设置在普通用户hadoop下创建hadoop的数据存储目录（若使用root用户创建上述文件夹则会因权限问题导致无法向这些文件夹中写入并读取数据），可自行选 择数据存储的路径，我们选择在/home/hadoop/文件夹下创建dfs和tmp作为数 据存储与交换的目录，并在dfs文件夹下创建name和data两个子文件夹。分别 执行命令:mkdir Zhome/hadoop/dfs/name/description*（4）配置文件，打开该文件，在文件末尾添加以

9、下语句。文件名打开文件后，在其末尾添加语句： :9001 file:/home/hadoop/dfs/namefile:/honie/hadoop/dfs/data4true注意：需要在中配置属性时，属性指定HDFS中文件块复制的份数.其默认值 为3,当datanode节点少于3台便会报错。在一般情况下，当其属性值为3的 时候，HDFS的部署策略是在本地机柜中一个节点放置一个备份，在本地机柜 的不同结点再放置一个备份，然后再在另一个机柜中的一个结点放置一个备 份。(5) 配置文件。事实上在进行配置之前，文件默认并不存在，需要首先将该目录下的文件进行复制，并重命名为，接下来打开，添加以下语句。文

10、件名打开文件后，在其末尾添加语句：yarn:l 0020:l 9888(6) 配置文件，打开该文件，在文件末尾添加以下语句。文件名打开文件后，在其末尾添加语句：v! Site specific YARN configuration properties mapreduce shuffle :8032 : 8030 :8031 : 8033 :8088(7)配置文件，打开该文件，检索u# export JAVA_HOME=/home/y/Iibexec/语句，在该语句下一行添加：export JAVA_HOME二/homc/hadoop/通过对上述文件的修改，完成对Hadoop的 配置。事实上，

11、配置过程并不复杂，一般而言，除了规定的端口、IP地址、文 件的存储位置外，其他配置都不是必须修改的，可以根据需要决定是采用默认 配置还是自行修改。还有一点需要注意的是以上配置都被默认为最终参数，这 些参数都不可以在程序中被再次修改。Hadoop集群的部署与各节点的通信安装SSH服务通过建立SSH无密码互访，可以实现Hadoop虚拟机群之间的无密码登录互访。在安装SSH服务之前，首先需要更新软件源，并保证每台机器上都安装了SSH服务器，且都能正常启动。更新软件源命令为：sudo apt-get update软件源更新完毕后，在terminal输入如下命令开始安装openssh-server :s

12、udo apt-get install openssh-server输入如下命令，检查openssh-server是否成功安装：which ssh如显示/usr/bin/ssh表示ssh安装成功which sshd如显示/usr/bin/sshd表示sshd安装成功如果以上二者都成功显示，表示open-server安装成功克隆虚拟机作为Slave节点将上面配置好的虚拟机作为master,关闭作为master的ubuntu系统，然后修改 虚拟机的网络连接设置，改为“桥接模式”，即在master虚拟机主界面点击“虚拟 机一设置一硬件一网络适配器”，在弹出的对话的“网络连接”项目下选择“桥接模 式(

13、B)”此举的目的在于使主节点和各从节点都能连上网络，从而使各台机器之 间能够互访。接下来对master进行克隆，得到slave 1 s slavc2、slave3的雏形，即点击VM菜 单下的“虚拟机一管理一克隆：进入克隆虚拟机的向导界面，根据向导提示， 在“克隆类型引导界面选择“创建完整克隆，具体设置如下图所示:然后输入被克隆的虚拟机名称，先暂输入slave 1，点击确认进行克隆，将克隆 好的系统复制到除master之外的三台PC节点上，用虚拟机VMware识别并将 其启动，并在虚拟机启动界面点击“虚拟机一设置一选项一常规”设置中，分别 修改虚拟机名称为slave 1、slave2和slave

14、3,如下图所示。设置IP地址在Hadoop平台上，各个节点之间的互访是基于TCP/IP协议的，所以要为各个 节点分配IP地址。在四个PC节点上，点击桌面右上角从左到右的第一个数据 连接图标在下拉菜单中选择最后一项Edit Connections./在弹出的Network Connections框中选择Edit显示Editing Ethernet connecdonL框,点击IPv4Seftings”将弹出的Method选择框设置为Manual,然后添加IP地址。Network ConnectionsEn11:26 PM 住wTn filedar,$ /lib.$ /lib/*.jar,S)/./lib/*.jar,/usr/lib/hadoop/*.jar,/home/hadoop/ (2)配置 文件打/home/hadoop/下的文件，在文件中检索文本“，将等号“二后的目录修改