搭建Hadoop分布式系统搭建hadoop分布式系统

Hadoop大数据处理实战第2章搭建Hadoop分布式集群本章导读Hadoop大数据系统主要是在Linux平台上运行的，并且Linux也是Hadoop官方唯一支持的运行平台。Hadoop的运行模式有3种，分别为单机模式、伪分布式模式和完全分布式模式。在实际应用中，通常采用完全分布式的Hadoop集群，以保证数据存储的完整性、可靠性和一致性。学习目标020304掌握CentOS虚拟机的基本配置方法，包括修改主机名、设置固定IP、关闭防火墙和新建安装目录等。掌握虚拟机的创建方法和CentOS7操作系统的安装方法。掌握为CentOS虚拟机安装和配置JDK的方法。学习目标020304掌握CentOS虚拟机的克隆方法和主机IP映射的配置方法。掌握集群各节点SSH免密码登录的配置方法。掌握ZooKeeper的安装与配置方法。掌握Hadoop的安装、配置、启动与测试方法。01创建虚拟机并安装CentOS7配置虚拟机集群环境02搭建Hadoop高可用集群03目录CONTENTS01创建虚拟机并安装CentOS7创建虚拟机并安装CentOS72.1.1安装虚拟机软件在虚拟机软件中，宿主主机就是实际存在的物理计算机（通常运行Windows系统），而虚拟机则是利用虚拟机软件模拟出来的计算机。虚拟机等同于真正的物理机，它也是完整的计算机系统，具有完整的硬件系统功能，只不过它是通过软件模拟出来的。VMwareWorkstation是一款功能强大的桌面虚拟计算机软件，它具有支持多种操作系统、多机共存、无损操作、安装快捷、克隆简便、组网方便等优点。创建虚拟机并安装CentOS72.1.2下载CentOS7镜像文件本书选用的CentOS系统版本为CentOS7.6.1810，首先请参照以下方法下载对应的镜像文件：在浏览器中打开页面/centos-vault/7.6.1810/isos/x86_64/，然后单击CentOS-7-x86_64-DVD-1810.iso文件超链接，下载标准安装版。CentOS7.6.1810镜像下载页面创建虚拟机并安装CentOS72.1.3创建新的虚拟机在VMwareWorkstation软件中创建一个虚拟机。具体操作步骤如下：1运行VMwareWorkstation软件，在“主页”选项卡中单击“创建新的虚拟机”按钮。VMwareWorkstation软件主界面创建虚拟机并安装CentOS72出现“新建虚拟机向导”对话框的欢迎界面，选择“自定义（高级）”单选钮，单击“下一步”按钮，出现“选择虚拟机硬件兼容性”界面，保持默认设置，单击“下一步”按钮。指定配置类型和硬件兼容性创建虚拟机并安装CentOS73出现“安装客户机操作系统”界面，选择“安装程序光盘映像文件(iso)”单选钮，然后单击右侧的“浏览”按钮，找到并打开此前下载好的CentOS7镜像文件（即CentOS-7-x86_64-DVD-1810.iso），然后单击“下一步”按钮。指定要安装操作系统的镜像文件4出现“命名虚拟机”界面，依次指定虚拟机的名称（此处为hadoop01）和安装位置（此处为D:\Hadoop\hadoop01），然后单击“下一步”按钮。指定虚拟机的名称和安装位置创建虚拟机并安装CentOS75在接下来出现的“处理器配置”界面和“此虚拟机的内存”界面中，均保持默认设置，单击“下一步”按钮。指定处理器配置和虚拟机的内存创建虚拟机并安装CentOS76出现“网络类型”界面，选择“使用桥接网络”单选钮，单击“下一步”按钮，出现“选择I/O控制器类型”界面，保持默认设置，单击“下一步”按钮。指定网络类型和I/O控制器类型创建虚拟机并安装CentOS77在接下来出现的“选择磁盘类型”“选择磁盘”“指定磁盘容量”“指定磁盘文件”界面中，均保持默认设置，单击“下一步”按钮。指定磁盘类型、磁盘、磁盘容量和磁盘文件创建虚拟机并安装CentOS78最后出现“已准备好创建虚拟机”界面，保持默认设置，单击“完成”按钮。虚拟机创建完成（尚未安装操作系统）创建虚拟机并安装CentOS72.1.4安装CentOS7操作系统在VMwareWorkstation软件中创建一个虚拟机。具体操作步骤如下：1在首次出现的CentOS7安装界面中单击以激活键盘，使用“↑”“↓”方向键选择“InstallCentOS7”选项，然后按“Enter”键。开始安装CentOS7操作系统创建虚拟机并安装CentOS72出现“欢迎使用CENTOS7”界面，先在左侧列表框中选择“中文”选项，再在右侧列表框中选择“简体中文（中国）”选项，然后单击“继续”按钮。选择系统语言创建虚拟机并安装CentOS73出现“安装信息摘要”界面，单击“安装位置”按钮，打开“安装目标位置”界面，保持默认设置，直接单击左上角的“完成”按钮。指定系统安装位置创建虚拟机并安装CentOS74返回“安装信息摘要”界面，单击“软件选择”按钮，打开“软件选择”界面，在“基本环境”列表框中选择“GNOME桌面”单选钮，然后单击左上角的“完成”按钮。系统软件选择创建虚拟机并安装CentOS75返回“安装信息摘要”界面，单击“网络和主机名”按钮，打开“网络和主机名”界面，先单击右上方的开关按钮将其打开，再在“主机名”编辑框中输入“hadoop01”，然后单击左上角的“完成”按钮。配置网络和主机名创建虚拟机并安装CentOS76返回“安装信息摘要”界面，单击“开始安装”按钮。正式开始安装创建虚拟机并安装CentOS77安装过程中会出现“用户设置”界面，可单击“ROOT密码”按钮，为root用户设置密码；单击“创建用户”按钮，创建一个普通用户或管理员用户。安装过程中出现的“用户设置”界面创建虚拟机并安装CentOS78安装完成后，单击“重启”按钮，重启操作系统。重启操作系统创建虚拟机并安装CentOS79在系统重启过程中，还有一个接受许可协议的操作，选择接受之后即可进入登录界面。登录界面中默认列出了自己创建的用户，单击后输入密码即可登录。如果想登录其他用户（如root），可以单击“未列出？”超链接，然后依次输入要登录的用户名和密码即可。此处使用root用户进行登录。使用root用户进行登录创建虚拟机并安装CentOS710成功登录操作系统后，会进入系统的桌面。至此，虚拟机中的CentOS7操作系统就安装完成了。CentOS7系统的桌面创建虚拟机并安装CentOS711在桌面的空白处右击，从弹出的快捷菜单中选择“打开终端”选项，可打开GNOME终端（即命令行终端），通过它可执行各种Shell命令。GNOME终端（命令行终端）02配置虚拟机集群环境配置虚拟机集群环境在安装好CentOS操作系统后，需要对系统进行环境配置，方便后续轻松搭建Hadoop集群。先对CentOS系统进行环境配置，包括修改主机名、设置固定IP、关闭防火墙、新建安装目录、安装和配置JDK等；然后对配置好的系统进行克隆，克隆出其他两个节点；最后为集群中的三个节点配置主机IP映射和SSH免密码登录。配置虚拟机集群环境2.2.1修改主机名和设置固定IP1．修改主机名在分布式集群中，为了区分不同的节点，方便节点之间相互访问，通常要修改主机名。需要注意，由于在新建虚拟机时已为本节点指定了要使用的主机名“hadoop01”，故无需再修改；但后续会基于本节点克隆出另外两个节点，对于克隆得到的节点是需要修改主机名的。具体步骤参照书中演示。2．设置固定IP默认情况下，CentOS系统的IP地址是自动获取（即动态分配）的，为了避免以后IP地址随意发生改变，导致集群的节点之间无法正常访问，需要为系统设置固定IP。具体步骤参照书中演示。配置虚拟机集群环境2.2.2关闭防火墙和新建安装目录1．关闭防火墙集群通常都是在内网搭建的，且节点之间关系十分密切，通信频繁。为避免内网集群通信受到防火墙的干扰，需要将节点的防火墙关闭。2．新建安装目录在CentOS系统中，目录“/opt”常用于存放第三方软件包和数据文件。下面在这个目录下创建两个文件夹“packages”和“programs”，分别用来存放软件安装包和软件安装后的程序文件。具体步骤参照书中演示。配置虚拟机集群环境2.2.3安装和配置JDK由于Hadoop平台基于Java开发，严格依赖Java开发环境，因此需要为虚拟机安装JDK（Java语言的软件开发工具包）。本书选用标准版JDK8u211（即JavaSEDevelopmentKit8u211）。具体步骤参照书中演示。2.2.4克隆虚拟机和配置主机IP映射由于集群环境需要多个节点，当一个节点配置完成后，可以借助VMwareWorkstation软件的克隆功能，对配置好的节点进行完整克隆，以快速获得新的节点。1．克隆虚拟机配置虚拟机集群环境1关闭虚拟机hadoop01，然后在左侧的库列表中右击该虚拟机，从弹出的快捷菜单中选择“管理”→“克隆”选项。执行克隆虚拟机操作配置虚拟机集群环境2此时弹出“克隆虚拟机向导”对话框，在“欢迎使用克隆虚拟机向导”界面中直接单击“下一步”按钮，然后在“克隆源”界面中保持默认选项“虚拟机中的当前状态”，单击“下一步”按钮。欢迎界面和选择克隆源配置虚拟机集群环境3在“克隆类型”界面中选择“创建完整克隆”单选钮，然后单击“下一步”按钮。选择克隆类型4在“新虚拟机名称”界面中指定新虚拟机的名称和存放位置，然后单击“完成”按钮。指定新虚拟机的名称和存放位置配置虚拟机集群环境5开始进行克隆，克隆过程如下图。待克隆完成后，单击“关闭”按钮。由此就创建了节点hadoop02。虚拟机的克隆过程配置虚拟机集群环境6按照同样的方法，通过克隆节点hadoop01创建节点hadoop03。集群的3个节点由于节点hadoop02和hadoop03都是通过克隆节点hadoop01而得到，它们的主机名和IP地址都与节点hadoop01相同，因此需要修改这两个节点的主机名和IP地址。节点hadoop02的主机名为“hadoop02”，IP地址为“02”；节点hadoop03的主机名为“hadoop03”，IP地址为“03”。配置虚拟机集群环境通过修改集群中各节点的主机IP映射（即主机IP地址与主机名的对照列表），可以方便地使用主机名进行网络访问，不再需要输入要访问节点的IP地址。2．配置主机IP映射1依次启动3个节点，即虚拟机hadoop01、hadoop02和hadoop03。2在3个节点上分别执行以下命令，修改hosts文件：#vim/etc/hosts配置虚拟机集群环境在hosts文件末尾添加以下内容：01hadoop0102hadoop0203hadoop033在各节点使用ping命令测试是否配置成功。#pinghadoop01#pinghadoop02#pinghadoop03使用主机名测试网络连通性（配置成功）配置虚拟机集群环境2.2.5配置集群各节点SSH免密码登录…………

大数据集群的节点之间需要频繁通信，但Linux系统在相互通信中需要验证用户身份，即输入登录密码。为了使Hadoop各节点之间能够免密码相互访问，相互信任，无阻碍通信，可以为各节点配置SSH无密码登录。配置虚拟机集群环境1分别在3个节点中执行以下命令，生成密钥文件。#ssh-keygen生成密钥文件（以节点hadoop01为例）这三处均直接按“Enter”键执行ssh-keygen命令时，会要求确认密钥文件的存储位置（默认是“~/.ssh/”）、输入并确认私钥的密码，均直接按“Enter”键即可（表示将私钥密码留空）。其中，id_rsa是本机的私钥文件，id_rsa.pub是本机的公钥文件。配置虚拟机集群环境2分别在3个节点中执行一遍以下命令，将自身的公钥信息复制并追加到全部节点的授权文件authorized_keys中（在命令