任务1.3 配置基础平台

配置基础平台任务描述配置好网络连接工具后，小数便可以通过Xshell和Xftp搭建基础平台了。本任务主要包括配置本地YUM源及安装常用软件、安装JDK、克隆虚拟机、修改克隆虚拟机的IP地址、添加IP地址/主机映射、配置SSH免密登录，以及配置时间同步服务。任务环境在VMwareWorkstation中创建好的CentOS7虚拟机（虚拟机已配置网络连接工具）。任务描述与任务环境目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4YUM（YellowdogUpdaterModified）是一个在RedHat系列Linux发行版（如RHEL和CentOS）中的Shell前端软件包管理器。YUM基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装，YUM提供了查找、安装、删除某一个、一组甚至全部软件包的命令。配置本地YUM源及安装常用软件/etc/yum.repos.d目录下共有8个文件，其中CentOS-Media.repo用于配置本地YUM源。查看yum.repos.d目录下的文件将除本地YUM源以外的其他YUM源禁用，即对除了CentOS-Media.repo文件之外的其他文件名加上“.bak”后缀。禁用除本地YUM源以外的其他YUM源打开并修改CentOS-Media.repo文件中的内容：将baseurl的值修改为“file:///media/”将gpgcheck的值修改为“0”将enabled的值修改为“1”禁用除本地YUM源以外的其他YUM源挂载本地YUM源，若返回“mount:/dev/sr0写保护，将以只读方式挂载”，则说明挂载光盘成功。挂载本地YUM源若是第一次启动虚拟机后直接挂载本地YUM源将报错“mount:在/dev/sr0上找不到媒体”，解决方法为在VMware中右键虚拟机master选择设置，将“CD/DVD”中的“设备状态”下的“已连接”勾选，之后重新执行“mount/dev/sr0/media/”命令挂载本地YUM源。更新YUM源，若出现以下内容，则说明更新YUM源成功。更新YUM源使用YUM安装后续会使用到的ntp、wget、vim、net-tools等软件。安装软件目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4JDK是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java的运行环境，Java工具和Java基础的类库。安装JDK在Linux系统中创建安装包目录“software”及组件安装目录“module”。下载JDK从JDK官网下载JDK安装包“jdk-8u281-linux-x64.tar.gz”。并使用Xftp8远程传输工具将JDK安装包传输至master虚拟机/opt/software目录下。下载JDK在master虚拟机解压安装包jdk-8u281-linux-x64.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，若结果中能够看到“jdk1.8.0_281”，则说明文件已解压成功。解压JDKLinux系统目录/etc下的文件profile里面的内容都是与Linux环境变量相关的，一般配置环境变量都是在profile文件里面进行配置。执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件结尾添加环境变量并保存退出。配置Java环境变量通过“source/etc/profile”命令使环境变量立即生效。使用“java-version”命令查看Java版本。配置Java环境变量安装JDK是必要的，因为Java是Hadoop生态圈中主要的基础开发语言，JDK为Hadoop提供了关键的运行环境。目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4在搭建大数据环境时，使用克隆虚拟机能够快速部署、保持一致性、简化管理和提高灵活性，从而有效简化集群部署流程、确保节点一致性、提高运维效率，是一种高效便捷的方法。在后续篇章中将部署3节点完全分布式Hadoop集群，需要3台虚拟机，因此可以先使用master虚拟机克隆出另外两台虚拟机。克隆虚拟机以master虚拟机为主体克隆slave1虚拟机：关闭虚拟机→右键单击虚拟机→管理→克隆。克隆虚拟机进入克隆虚拟机向导界面，单击“下一页”按钮。克隆虚拟机选择虚拟机中的当前状态，单击“下一页”按钮。克隆虚拟机选择创建完整克隆，单击“下一页”按钮。克隆虚拟机输入虚拟机名称及位置，单击“完成”按钮。克隆虚拟机成功克隆虚拟机后界面如下。克隆虚拟机slave2的克隆步骤与slave1相同，完成克隆后VMware中将出现slave1和slave2。克隆虚拟机目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4由于克隆的两台虚拟机的IP地址与master虚拟机一样，需要对两台虚拟机IP地址进行修改。修改克隆的虚拟机IP首先打开slave1主机，修改并刷新主机名，主机名修改成功如下。修改主机名编辑网络配置文件/etc/sysconfig/network-scripts/ifcfg-ens33，将IPADDR由30改为31。修改配置文件通过“systemctlrestartnetwork”重启网络以刷新IP，之后再次查看IP地址。虚拟机slave2上的操作与slave1上的操作类似，只需将IPADDR由30改为32。重启网络目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7在虚拟机中添加IP/主机映射，主要是为了简化对虚拟机的访问过程。将易于记忆的主机名与虚拟机的IP地址关联后，用户便可以直接通过主机名来访问虚拟机，而不需要去记住复杂的IP地址。在所有节点中编辑/etc/hosts配置文件，在文件中加入虚拟机IP与主机名的映射后保存退出。添加IP/主机映射目录添加IP/主机映射56配置时间同步服务配置SSH免密登录73台机器均需生成密钥，以master虚拟机为例，在master虚拟机通过“ssh-keygen-trsa”生成SSH密钥，之后连续按3次回车键生成公钥和密钥。生成的公钥和密钥在~/.ssh目录下，其中id_rsa.pub为公钥，id_rsa为密钥。生成密钥使用“ssh-copy-id”命令将公钥复制到远程机器中，允许使用对应的密钥进行身份验证和登录。注意：三个节点都需要复制一份，即依次复制到master、slave1、slave2；且每次执行一次“ssh-copy-id”命令，都需依次输入yes，123456（root用户的密码）。生成密钥在master虚拟机远程登录至slave1和slave2虚拟机，若无需使用密码即可直接登录则说明免密登录配置成功。验证SSH登录目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7集群中的节点，如果没有连接外网，时间久了，那么虚拟机之间会产生时间偏差，导致集群执行任务时间不同步，所以需要在集群中的节点设置服务器集群的时间同步。配置集群中各节点间的时间同步服务主要以master虚拟机作为NTP服务器，使slave1和slave2虚拟机时间向master虚拟机时间同步。配置时间同步服务在所有节点都安装NTP服务器，以master节点为例。安装NTP服务器在master节点修改配置文件/etc/ntp.conf，启用文件中的“restrict”一行，并将网段修改为虚拟机的网段。注释掉文件中“server”开头的4行，添加“server”表示引用本地时钟作为时间源，添加“fudgestratum10”表示设置本地时钟的层级为10，最后保存退出。修改配置文件在master节点修改配置文件/etc/sysconfig/ntpd，在文件中第二行添加“SYNC_HWCLOCK=yes”，让硬件时间与系统时间一起同步，之后保存退出。修改配置文件在slave1节点和slave2节点上修改配置文件ntp.conf，注释掉4行server开头的行，添加“servermasterminpoll3”表示配置slave1节点和slave2节点的时间向master节点时间同步。修改配置文件在slave1和slave2节点上修改配置文件/etc/sysconfig/ntpd，在文件中第二行添加“SYNC_HWCLOCK=yes”，让硬件时间与系统时间一起同步，之后保存退出。修改配置文件在3台虚拟机中关闭防火墙并启动NTP服务，以master虚拟机为例。防火墙关闭后，可使用“systemctlstatusfirewalld”命令查看防火墙状态，同样地，NTP服务启动成功后，也可使用“systemctlstatusntpd”命令查看NTP服务状态。若服务状态为“inactive(dead)”，则说明该服务已关闭，若服务状态为“active(running)”，则说明该服务已启动。启动NTP服务NTP客户端会尝试每隔一段时间（通常是几分钟）与服务器同步一次时间。查看各虚拟机的时间，以“年-月-日

时:分:秒”的格式显示，若3台虚拟机时间一致，则说明时间同步成功。启动NTP服务配置时间同步时，可以先在slave1和slave2虚拟机上使用“d