《大数据平台部署与应用》 项目实施课件 项目1 大数据平台基础环境搭建

创建并配置虚拟环境任务描述小数要完成的第一个任务是配合大数据运维工程师，通过部署虚拟机，实现在单一物理硬件上同时运行多个独立的操作系统的功能。具体任务包括安装虚拟机软件、创建CentOS7虚拟机、配置CentOS7虚拟机，以及固定虚拟机IP地址并验证。

任务环境64位Windows10及Windows10以上版本的操作系统。任务描述与任务环境1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4VMwareWorkstationPro是一款可以运行在电脑桌面端的虚拟机软件，它可以在电脑中生成一个全新的桌面系统，用户可以在这个虚拟系统中进行任何的操作，支持Windows、DOS、Linux、Unix等多个操作系统，可以满足不同的用户需求，并且它还支持同时开启多个虚拟系统窗口，每一个系统都互不影响。VMwareWorkstationPro安装流程：安装虚拟机软件从VMware官网下载安装包：下载VMwareWorkstationPro安装包双击所下载好的安装包。单击“下一步”按钮。安装VMwareWorkstationPro勾选“我接受许可协议中的条款”。单击“下一步”按钮。安装VMwareWorkstationPro选择安装位置，尽量避免安装在C盘中。勾选“将VMwareWorkstation控制台工具添加到系统PATH”。单击“下一步”按钮。安装VMwareWorkstationPro取消勾选“启动时检查产品更新”和“加入VMware客户体验提升计划”，避免后续广告推送。单击“下一步”按钮。安装VMwareWorkstationPro勾选“桌面”和“开始菜单程序文件夹”，以便创建快捷方式。单击“下一步”按钮。安装VMwareWorkstationPro已准备好安装VMwareWorkstationPro。单击“安装”按钮。安装VMwareWorkstationProVMwareWorkstationPro安装向导已完成。单击“完成”按钮。许可证密钥在初始安装阶段可以留空，后续使用过程中再进行激活。安装VMwareWorkstationProVMwareWorkstationPro安装向导已完成。单击“完成”按钮。安装VMwareWorkstationProVMwareWorkstationPro安装完成后打开软件界面。安装VMwareWorkstationPro1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4CentOS7是一种基于Linux操作系统的发行版，它提供了稳定、安全和可靠的操作环境，以及广泛的软件包和工具，使用户可以轻松地构建和管理他们的服务器和网络。创建CentOS7虚拟机流程：

创建CentOS7虚拟机从阿里巴巴开源镜像站下载CentOS7镜像文件:下载镜像文件创建CentOS7虚拟机步骤：打开下载好的VMwareWorkstationPro。单击“创建新的虚拟机”按钮。创建虚拟机选择“典型”。单击“下一步”按钮。创建虚拟机选择“稍后安装操作系统”。单击“下一步”按钮。创建虚拟机客户机操作系统选择Linux，版本选择CentOS764位。单击“下一步”按钮。创建虚拟机虚拟机名称为master，位置自定义，尽量避免放置在C盘中。单击“下一步”按钮。创建虚拟机为虚拟机分配磁盘大小，此处分配30G，选择“将虚拟磁盘拆分成多个文件”。单击“下一步”按钮。创建虚拟机单击“自定义硬件”按钮。单击“下一步”按钮。创建虚拟机选择“内存”，随后在右侧将“此虚拟机的内存”调整为2048MB。创建虚拟机选择“处理器”，随后在右侧将“处理器数量”调整为2。创建虚拟机选择“新CD/DVD(IDE)”，随后在右侧选择下载好的CentOS7镜像文件。单击“关闭”按钮。创建虚拟机现已经准备好创建虚拟机，单击“完成”按钮。创建虚拟机1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4创建完CentOS7虚拟机之后还需对新建的虚拟机进行相关配置。配置CentOS7虚拟机的流程：配置CentOS7虚拟机单击“开启此虚拟机”。配置CentOS7虚拟机使用键盘上下键选择“InstallCentOS7”，回车键确认。配置CentOS7虚拟机语言选择“简体中文”，单击“继续”按钮。配置CentOS7虚拟机进入CentOS7安装信息摘要，该页面可以完成CentOS7的全部设置。配置CentOS7虚拟机单击“日期和时间”设置时区，先在地图上选择“亚洲”和“上海”，再将时间往前调8小时，即可调整至与网络时间同步，单击“完成”按钮。配置CentOS7虚拟机返回CentOS7安装信息摘要，选择“安装位置”划分分区。配置CentOS7虚拟机直接单击“完成”按钮。配置CentOS7虚拟机再次返回CentOS7安装信息摘要，选择“网络和主机名”，以便配置网络。配置CentOS7虚拟机将以太网右侧按钮打开，此时会为虚拟机自动分配IP地址，再将主机名改为“master”并应用，单击“完成”按钮。配置CentOS7虚拟机完成时间、分区和网络等配置后，单击“开始安装”按钮开始安装。配置CentOS7虚拟机安装过程需要几分钟，在等待过程中可以选择先配置“ROOT密码”。配置CentOS7虚拟机单击“ROOT密码”，设置密码为“123456”，单击“完成”按钮。配置CentOS7虚拟机成功安装CentOS7后，单击“重启”重启虚拟机。配置CentOS7虚拟机成功开启虚拟机，输入用户名root，密码123456登录。注意：为保证隐私性，输入的密码并不会显示在屏幕中，需避免重复输入。配置CentOS7虚拟机1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens33修改内容：修改BOOTPROTO属性：dhcp>static添加静态IP地址：30添加子网掩码：添加网关：添加DNS服务器：修改网络配置文件重启网络：systemctlrestartnetwork再次查看IP地址：ipaddr重启网络配置网络连接工具任务描述在配置好虚拟环境后，小数需要通过配置网络连接工具Xshell和Xftp，实现与虚拟机的远程连接和文件传输。本任务的主要内容包括安装Xshell、Xftp以及配置Xshell、Xftp连接虚拟机设置。任务环境在VMware中创建好的CentOS7虚拟机。任务描述与任务环境目录1配置连接虚拟机安装网络连接工具2安装网络连接工具包括安装Xshell和Xftp。Xshell是一个强大的安全终端模拟软件，它支持SSH1、SSH2以及MicrosoftWindows平台的Telnet协议。Xshell通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。从Xshell官网（/zh/xshell/）下载最新的安装包，此处以Xshell8为例，下载的安装包名称为“Xshell-8.0.0067p.exe”。安装网络连接工具Xftp是一个功能强大的SFTP、FTP文件传输软件。使用了Xftp以后，Windows用户能安全地在Unix/Linux和WindowsPC之间传输文件。从Xftp官网（/zh/xftp/）下载最新的安装包，以Xftp8为例，安装“Xftp-8.0.0067p.exe”。安装Xftp的操作流程同安装Xshell的操作流程类似，下面以安装Xshell为例介绍安装过程。安装网络连接工具双击下载好的安装包，即“Xshell-8.0.0067p.exe”，单击“下一步”按钮。安装网络连接工具勾选“我接受许可证协议中的条款”后，单击“下一步”按钮。安装网络连接工具单击“浏览”可以选择安装位置，注意尽量避免安装在C盘中。选择好安装位置后单击“下一步”按钮。安装网络连接工具默认的程序文件夹为“Xshell8”，无需修改，直接单击“安装”按钮。安装网络连接工具安装完成后勾选“Xshell8Personal运行”，单击“完成”按钮。安装网络连接工具打开Xshell8，将弹出用户注册界面。直接单击“后来”按钮跳过即可。安装网络连接工具打开Xshell8后默认界面如下。安装网络连接工具安装Xftp的操作流程同安装Xshell的操作流程类似。成功安装Xftp8后打开Xftp8的默认界面如下。安装网络连接工具目录1配置连接虚拟机安装网络连接工具2本任务将使用Xshell和Xftp来连接虚拟机，以便用户能够方便地进行虚拟机的操作和管理。配置Xshell8连接的流程如下。配置连接虚拟机在VMware的“编辑”菜单中选择“虚拟网络编辑器”选项。编辑虚拟网络编辑器在弹出“虚拟网络编辑器”对话框后，选择使用管理员权限“更改设置”。编辑虚拟网络编辑器选择“VMnet8”所在行，将“子网IP”修改为“”，“子网掩码”修改为“”。编辑虚拟网络编辑器单击“NAT设置”按钮进行NAT设置。编辑虚拟网络编辑器将“NAT设置”中的“网关IP”修改为“”。单击“确定”返回虚拟网络编辑器对话框。编辑虚拟网络编辑器单击“确定”按钮，关闭虚拟网络编辑器对话框。编辑虚拟网络编辑器打开安装好的Xshell8软件，默认将弹出“会话”窗口。依次单击左上角“新建”>“会话”按钮。打开Xshell软件设置会话名称为“master”，主机为想要连接的虚拟机IP地址，即30。输入IP和密码选择左侧“类别”中的“用户身份验证”，分别输入用户名“root”和密码“123456”。输入IP和密码第一次连接将弹出“SSH安全警告”，单击“接受并保存”按钮。输入IP和密码成功连接Xshell8的界面如下。连接成功配置Xftp8连接的流程同配置Xshell8连接的流程类似。成功连接Xftp8的界面如下。连接成功配置基础平台任务描述配置好网络连接工具后，小数便可以通过Xshell和Xftp搭建基础平台了。本任务主要包括配置本地YUM源及安装常用软件、安装JDK、克隆虚拟机、修改克隆虚拟机的IP地址、添加IP地址/主机映射、配置SSH免密登录，以及配置时间同步服务。任务环境在VMwareWorkstation中创建好的CentOS7虚拟机（虚拟机已配置网络连接工具）。任务描述与任务环境目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4YUM（YellowdogUpdaterModified）是一个在RedHat系列Linux发行版（如RHEL和CentOS）中的Shell前端软件包管理器。YUM基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装，YUM提供了查找、安装、删除某一个、一组甚至全部软件包的命令。配置本地YUM源及安装常用软件/etc/yum.repos.d目录下共有8个文件，其中CentOS-Media.repo用于配置本地YUM源。查看yum.repos.d目录下的文件将除本地YUM源以外的其他YUM源禁用，即对除了CentOS-Media.repo文件之外的其他文件名加上“.bak”后缀。禁用除本地YUM源以外的其他YUM源打开并修改CentOS-Media.repo文件中的内容：将baseurl的值修改为“file:///media/”将gpgcheck的值修改为“0”将enabled的值修改为“1”禁用除本地YUM源以外的其他YUM源挂载本地YUM源，若返回“mount:/dev/sr0写保护，将以只读方式挂载”，则说明挂载光盘成功。挂载本地YUM源若是第一次启动虚拟机后直接挂载本地YUM源将报错“mount:在/dev/sr0上找不到媒体”，解决方法为在VMware中右键虚拟机master选择设置，将“CD/DVD”中的“设备状态”下的“已连接”勾选，之后重新执行“mount/dev/sr0/media/”命令挂载本地YUM源。更新YUM源，若出现以下内容，则说明更新YUM源成功。更新YUM源使用YUM安装后续会使用到的ntp、wget、vim、net-tools等软件。安装软件目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4JDK是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java的运行环境，Java工具和Java基础的类库。安装JDK在Linux系统中创建安装包目录“software”及组件安装目录“module”。下载JDK从JDK官网下载JDK安装包“jdk-8u281-linux-x64.tar.gz”。并使用Xftp8远程传输工具将JDK安装包传输至master虚拟机/opt/software目录下。下载JDK在master虚拟机解压安装包jdk-8u281-linux-x64.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，若结果中能够看到“jdk1.8.0_281”，则说明文件已解压成功。解压JDKLinux系统目录/etc下的文件profile里面的内容都是与Linux环境变量相关的，一般配置环境变量都是在profile文件里面进行配置。执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件结尾添加环境变量并保存退出。配置Java环境变量通过“source/etc/profile”命令使环境变量立即生效。使用“java-version”命令查看Java版本。配置Java环境变量安装JDK是必要的，因为Java是Hadoop生态圈中主要的基础开发语言，JDK为Hadoop提供了关键的运行环境。目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4在搭建大数据环境时，使用克隆虚拟机能够快速部署、保持一致性、简化管理和提高灵活性，从而有效简化集群部署流程、确保节点一致性、提高运维效率，是一种高效便捷的方法。在后续篇章中将部署3节点完全分布式Hadoop集群，需要3台虚拟机，因此可以先使用master虚拟机克隆出另外两台虚拟机。克隆虚拟机以master虚拟机为主体克隆slave1虚拟机：关闭虚拟机→右键单击虚拟机→管理→克隆。克隆虚拟机进入克隆虚拟机向导界面，单击“下一页”按钮。克隆虚拟机选择虚拟机中的当前状态，单击“下一页”按钮。克隆虚拟机选择创建完整克隆，单击“下一页”按钮。克隆虚拟机输入虚拟机名称及位置，单击“完成”按钮。克隆虚拟机成功克隆虚拟机后界面如下。克隆虚拟机slave2的克隆步骤与slave1相同，完成克隆后VMware中将出现slave1和slave2。克隆虚拟机目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4由于克隆的两台虚拟机的IP地址与master虚拟机一样，需要对两台虚拟机IP地址进行修改。修改克隆的虚拟机IP首先打开slave1主机，修改并刷新主机名，主机名修改成功如下。修改主机名编辑网络配置文件/etc/sysconfig/network-scripts/ifcfg-ens33，将IPADDR由30改为31。修改配置文件通过“systemctlrestartnetwork”重启网络以刷新IP，之后再次查看IP地址。虚拟机slave2上的操作与slave1上的操作类似，只需将IPADDR由30改为32。重启网络目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7在虚拟机中添加IP/主机映射，主要是为了简化对虚拟机的访问过程。将易于记忆的主机名与虚拟机的IP地址关联后，用户便可以直接通过主机名来访问虚拟机，而不需要去记住复杂的IP地址。在所有节点中编辑/etc/hosts配置文件，在文件中加入虚拟机IP与主机名的映射后保存退出。添加IP/主机映射目录添加IP/主机映射56配置时间同步服务配置SSH免密登录73台机器均需生成密钥，以master虚拟机为例，在master虚拟机通过“ssh-keygen-trsa”生成SSH密钥，之后连续按3次回车键生成公钥和密钥。生成的公钥和密钥在~/.ssh目录下，其中id_rsa.pub为公钥，id_rsa为密钥。生成密钥使用“ssh-copy-id”命令将公钥复制到远程机器中，允许使用对应的密钥进行身份验证和登录。注意：三个节点都需要复制一份，即依次复制到master、slave1、slave2；且每次执行一次“ssh-copy-id”命令，都需依次输入yes，123456（root用户的密码）。生成密钥在master虚拟机远程登录至slave1和slave2虚拟机，若无需使用密码即可直接登录则说明免密登录配置成功。验证SSH登录目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7集群中的节点，如果没有连接外网，时间久了，那么虚拟机之间会产生时间偏差，导致集群执行任务时间不同步，所以需要在集群中的节点设置服务器集群的时间同步。配置集群中各节点间的时间同步服务主要以master虚拟机作为NTP服务器，使slave1和slave2虚拟机时间向master虚拟机时间同步。配置时间同步服务在所有节点都安装NTP服务器，以master节点为例。安装NTP服务器在master节点修改配置文件/etc/ntp.conf，启用文件中的“restrict”一行，并将网段修改为虚拟机的网段。注释掉文件中“server”开头的4行，添加“server”表示引用本地时钟作为时间源，添加“fudgestratum10”表示设置本地时钟的层级为10，最后保存退出。修改配置文件在master节点修改配置文件/etc/sysconfig/ntpd，在文