《大数据平台部署与应用》 项目实施 课件全套 周克香 项目1-10 大数据平台基础环境搭建 -部署与应用Flink

创建并配置虚拟环境任务描述小数要完成的第一个任务是配合大数据运维工程师，通过部署虚拟机，实现在单一物理硬件上同时运行多个独立的操作系统的功能。具体任务包括安装虚拟机软件、创建CentOS7虚拟机、配置CentOS7虚拟机，以及固定虚拟机IP地址并验证。

任务环境64位Windows10及Windows10以上版本的操作系统。任务描述与任务环境1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4VMwareWorkstationPro是一款可以运行在电脑桌面端的虚拟机软件，它可以在电脑中生成一个全新的桌面系统，用户可以在这个虚拟系统中进行任何的操作，支持Windows、DOS、Linux、Unix等多个操作系统，可以满足不同的用户需求，并且它还支持同时开启多个虚拟系统窗口，每一个系统都互不影响。VMwareWorkstationPro安装流程：安装虚拟机软件从VMware官网下载安装包：下载VMwareWorkstationPro安装包双击所下载好的安装包。单击“下一步”按钮。安装VMwareWorkstationPro勾选“我接受许可协议中的条款”。单击“下一步”按钮。安装VMwareWorkstationPro选择安装位置，尽量避免安装在C盘中。勾选“将VMwareWorkstation控制台工具添加到系统PATH”。单击“下一步”按钮。安装VMwareWorkstationPro取消勾选“启动时检查产品更新”和“加入VMware客户体验提升计划”，避免后续广告推送。单击“下一步”按钮。安装VMwareWorkstationPro勾选“桌面”和“开始菜单程序文件夹”，以便创建快捷方式。单击“下一步”按钮。安装VMwareWorkstationPro已准备好安装VMwareWorkstationPro。单击“安装”按钮。安装VMwareWorkstationProVMwareWorkstationPro安装向导已完成。单击“完成”按钮。许可证密钥在初始安装阶段可以留空，后续使用过程中再进行激活。安装VMwareWorkstationProVMwareWorkstationPro安装向导已完成。单击“完成”按钮。安装VMwareWorkstationProVMwareWorkstationPro安装完成后打开软件界面。安装VMwareWorkstationPro1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4CentOS7是一种基于Linux操作系统的发行版，它提供了稳定、安全和可靠的操作环境，以及广泛的软件包和工具，使用户可以轻松地构建和管理他们的服务器和网络。创建CentOS7虚拟机流程：

创建CentOS7虚拟机从阿里巴巴开源镜像站下载CentOS7镜像文件:下载镜像文件创建CentOS7虚拟机步骤：打开下载好的VMwareWorkstationPro。单击“创建新的虚拟机”按钮。创建虚拟机选择“典型”。单击“下一步”按钮。创建虚拟机选择“稍后安装操作系统”。单击“下一步”按钮。创建虚拟机客户机操作系统选择Linux，版本选择CentOS764位。单击“下一步”按钮。创建虚拟机虚拟机名称为master，位置自定义，尽量避免放置在C盘中。单击“下一步”按钮。创建虚拟机为虚拟机分配磁盘大小，此处分配30G，选择“将虚拟磁盘拆分成多个文件”。单击“下一步”按钮。创建虚拟机单击“自定义硬件”按钮。单击“下一步”按钮。创建虚拟机选择“内存”，随后在右侧将“此虚拟机的内存”调整为2048MB。创建虚拟机选择“处理器”，随后在右侧将“处理器数量”调整为2。创建虚拟机选择“新CD/DVD(IDE)”，随后在右侧选择下载好的CentOS7镜像文件。单击“关闭”按钮。创建虚拟机现已经准备好创建虚拟机，单击“完成”按钮。创建虚拟机1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4创建完CentOS7虚拟机之后还需对新建的虚拟机进行相关配置。配置CentOS7虚拟机的流程：配置CentOS7虚拟机单击“开启此虚拟机”。配置CentOS7虚拟机使用键盘上下键选择“InstallCentOS7”，回车键确认。配置CentOS7虚拟机语言选择“简体中文”，单击“继续”按钮。配置CentOS7虚拟机进入CentOS7安装信息摘要，该页面可以完成CentOS7的全部设置。配置CentOS7虚拟机单击“日期和时间”设置时区，先在地图上选择“亚洲”和“上海”，再将时间往前调8小时，即可调整至与网络时间同步，单击“完成”按钮。配置CentOS7虚拟机返回CentOS7安装信息摘要，选择“安装位置”划分分区。配置CentOS7虚拟机直接单击“完成”按钮。配置CentOS7虚拟机再次返回CentOS7安装信息摘要，选择“网络和主机名”，以便配置网络。配置CentOS7虚拟机将以太网右侧按钮打开，此时会为虚拟机自动分配IP地址，再将主机名改为“master”并应用，单击“完成”按钮。配置CentOS7虚拟机完成时间、分区和网络等配置后，单击“开始安装”按钮开始安装。配置CentOS7虚拟机安装过程需要几分钟，在等待过程中可以选择先配置“ROOT密码”。配置CentOS7虚拟机单击“ROOT密码”，设置密码为“123456”，单击“完成”按钮。配置CentOS7虚拟机成功安装CentOS7后，单击“重启”重启虚拟机。配置CentOS7虚拟机成功开启虚拟机，输入用户名root，密码123456登录。注意：为保证隐私性，输入的密码并不会显示在屏幕中，需避免重复输入。配置CentOS7虚拟机1创建CentOS7虚拟机目录安装虚拟机软件2配置CentOS7虚拟机3固定虚拟机IP并验证4网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens33修改内容：修改BOOTPROTO属性：dhcp>static添加静态IP地址：30添加子网掩码：添加网关：添加DNS服务器：修改网络配置文件重启网络：systemctlrestartnetwork再次查看IP地址：ipaddr重启网络配置网络连接工具任务描述在配置好虚拟环境后，小数需要通过配置网络连接工具Xshell和Xftp，实现与虚拟机的远程连接和文件传输。本任务的主要内容包括安装Xshell、Xftp以及配置Xshell、Xftp连接虚拟机设置。任务环境在VMware中创建好的CentOS7虚拟机。任务描述与任务环境目录1配置连接虚拟机安装网络连接工具2安装网络连接工具包括安装Xshell和Xftp。Xshell是一个强大的安全终端模拟软件，它支持SSH1、SSH2以及MicrosoftWindows平台的Telnet协议。Xshell通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。从Xshell官网（/zh/xshell/）下载最新的安装包，此处以Xshell8为例，下载的安装包名称为“Xshell-8.0.0067p.exe”。安装网络连接工具Xftp是一个功能强大的SFTP、FTP文件传输软件。使用了Xftp以后，Windows用户能安全地在Unix/Linux和WindowsPC之间传输文件。从Xftp官网（/zh/xftp/）下载最新的安装包，以Xftp8为例，安装“Xftp-8.0.0067p.exe”。安装Xftp的操作流程同安装Xshell的操作流程类似，下面以安装Xshell为例介绍安装过程。安装网络连接工具双击下载好的安装包，即“Xshell-8.0.0067p.exe”，单击“下一步”按钮。安装网络连接工具勾选“我接受许可证协议中的条款”后，单击“下一步”按钮。安装网络连接工具单击“浏览”可以选择安装位置，注意尽量避免安装在C盘中。选择好安装位置后单击“下一步”按钮。安装网络连接工具默认的程序文件夹为“Xshell8”，无需修改，直接单击“安装”按钮。安装网络连接工具安装完成后勾选“Xshell8Personal运行”，单击“完成”按钮。安装网络连接工具打开Xshell8，将弹出用户注册界面。直接单击“后来”按钮跳过即可。安装网络连接工具打开Xshell8后默认界面如下。安装网络连接工具安装Xftp的操作流程同安装Xshell的操作流程类似。成功安装Xftp8后打开Xftp8的默认界面如下。安装网络连接工具目录1配置连接虚拟机安装网络连接工具2本任务将使用Xshell和Xftp来连接虚拟机，以便用户能够方便地进行虚拟机的操作和管理。配置Xshell8连接的流程如下。配置连接虚拟机在VMware的“编辑”菜单中选择“虚拟网络编辑器”选项。编辑虚拟网络编辑器在弹出“虚拟网络编辑器”对话框后，选择使用管理员权限“更改设置”。编辑虚拟网络编辑器选择“VMnet8”所在行，将“子网IP”修改为“”，“子网掩码”修改为“”。编辑虚拟网络编辑器单击“NAT设置”按钮进行NAT设置。编辑虚拟网络编辑器将“NAT设置”中的“网关IP”修改为“”。单击“确定”返回虚拟网络编辑器对话框。编辑虚拟网络编辑器单击“确定”按钮，关闭虚拟网络编辑器对话框。编辑虚拟网络编辑器打开安装好的Xshell8软件，默认将弹出“会话”窗口。依次单击左上角“新建”>“会话”按钮。打开Xshell软件设置会话名称为“master”，主机为想要连接的虚拟机IP地址，即30。输入IP和密码选择左侧“类别”中的“用户身份验证”，分别输入用户名“root”和密码“123456”。输入IP和密码第一次连接将弹出“SSH安全警告”，单击“接受并保存”按钮。输入IP和密码成功连接Xshell8的界面如下。连接成功配置Xftp8连接的流程同配置Xshell8连接的流程类似。成功连接Xftp8的界面如下。连接成功配置基础平台任务描述配置好网络连接工具后，小数便可以通过Xshell和Xftp搭建基础平台了。本任务主要包括配置本地YUM源及安装常用软件、安装JDK、克隆虚拟机、修改克隆虚拟机的IP地址、添加IP地址/主机映射、配置SSH免密登录，以及配置时间同步服务。任务环境在VMwareWorkstation中创建好的CentOS7虚拟机（虚拟机已配置网络连接工具）。任务描述与任务环境目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4YUM（YellowdogUpdaterModified）是一个在RedHat系列Linux发行版（如RHEL和CentOS）中的Shell前端软件包管理器。YUM基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装，YUM提供了查找、安装、删除某一个、一组甚至全部软件包的命令。配置本地YUM源及安装常用软件/etc/yum.repos.d目录下共有8个文件，其中CentOS-Media.repo用于配置本地YUM源。查看yum.repos.d目录下的文件将除本地YUM源以外的其他YUM源禁用，即对除了CentOS-Media.repo文件之外的其他文件名加上“.bak”后缀。禁用除本地YUM源以外的其他YUM源打开并修改CentOS-Media.repo文件中的内容：将baseurl的值修改为“file:///media/”将gpgcheck的值修改为“0”将enabled的值修改为“1”禁用除本地YUM源以外的其他YUM源挂载本地YUM源，若返回“mount:/dev/sr0写保护，将以只读方式挂载”，则说明挂载光盘成功。挂载本地YUM源若是第一次启动虚拟机后直接挂载本地YUM源将报错“mount:在/dev/sr0上找不到媒体”，解决方法为在VMware中右键虚拟机master选择设置，将“CD/DVD”中的“设备状态”下的“已连接”勾选，之后重新执行“mount/dev/sr0/media/”命令挂载本地YUM源。更新YUM源，若出现以下内容，则说明更新YUM源成功。更新YUM源使用YUM安装后续会使用到的ntp、wget、vim、net-tools等软件。安装软件目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4JDK是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的Java应用程序。JDK是整个Java开发的核心，它包含了Java的运行环境，Java工具和Java基础的类库。安装JDK在Linux系统中创建安装包目录“software”及组件安装目录“module”。下载JDK从JDK官网下载JDK安装包“jdk-8u281-linux-x64.tar.gz”。并使用Xftp8远程传输工具将JDK安装包传输至master虚拟机/opt/software目录下。下载JDK在master虚拟机解压安装包jdk-8u281-linux-x64.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，若结果中能够看到“jdk1.8.0_281”，则说明文件已解压成功。解压JDKLinux系统目录/etc下的文件profile里面的内容都是与Linux环境变量相关的，一般配置环境变量都是在profile文件里面进行配置。执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件结尾添加环境变量并保存退出。配置Java环境变量通过“source/etc/profile”命令使环境变量立即生效。使用“java-version”命令查看Java版本。配置Java环境变量安装JDK是必要的，因为Java是Hadoop生态圈中主要的基础开发语言，JDK为Hadoop提供了关键的运行环境。目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4在搭建大数据环境时，使用克隆虚拟机能够快速部署、保持一致性、简化管理和提高灵活性，从而有效简化集群部署流程、确保节点一致性、提高运维效率，是一种高效便捷的方法。在后续篇章中将部署3节点完全分布式Hadoop集群，需要3台虚拟机，因此可以先使用master虚拟机克隆出另外两台虚拟机。克隆虚拟机以master虚拟机为主体克隆slave1虚拟机：关闭虚拟机→右键单击虚拟机→管理→克隆。克隆虚拟机进入克隆虚拟机向导界面，单击“下一页”按钮。克隆虚拟机选择虚拟机中的当前状态，单击“下一页”按钮。克隆虚拟机选择创建完整克隆，单击“下一页”按钮。克隆虚拟机输入虚拟机名称及位置，单击“完成”按钮。克隆虚拟机成功克隆虚拟机后界面如下。克隆虚拟机slave2的克隆步骤与slave1相同，完成克隆后VMware中将出现slave1和slave2。克隆虚拟机目录1安装JDK配置本地YUM源及安装常用软件2克隆虚拟机3修改克隆的虚拟机IP4由于克隆的两台虚拟机的IP地址与master虚拟机一样，需要对两台虚拟机IP地址进行修改。修改克隆的虚拟机IP首先打开slave1主机，修改并刷新主机名，主机名修改成功如下。修改主机名编辑网络配置文件/etc/sysconfig/network-scripts/ifcfg-ens33，将IPADDR由30改为31。修改配置文件通过“systemctlrestartnetwork”重启网络以刷新IP，之后再次查看IP地址。虚拟机slave2上的操作与slave1上的操作类似，只需将IPADDR由30改为32。重启网络目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7在虚拟机中添加IP/主机映射，主要是为了简化对虚拟机的访问过程。将易于记忆的主机名与虚拟机的IP地址关联后，用户便可以直接通过主机名来访问虚拟机，而不需要去记住复杂的IP地址。在所有节点中编辑/etc/hosts配置文件，在文件中加入虚拟机IP与主机名的映射后保存退出。添加IP/主机映射目录添加IP/主机映射56配置时间同步服务配置SSH免密登录73台机器均需生成密钥，以master虚拟机为例，在master虚拟机通过“ssh-keygen-trsa”生成SSH密钥，之后连续按3次回车键生成公钥和密钥。生成的公钥和密钥在~/.ssh目录下，其中id_rsa.pub为公钥，id_rsa为密钥。生成密钥使用“ssh-copy-id”命令将公钥复制到远程机器中，允许使用对应的密钥进行身份验证和登录。注意：三个节点都需要复制一份，即依次复制到master、slave1、slave2；且每次执行一次“ssh-copy-id”命令，都需依次输入yes，123456（root用户的密码）。生成密钥在master虚拟机远程登录至slave1和slave2虚拟机，若无需使用密码即可直接登录则说明免密登录配置成功。验证SSH登录目录添加IP/主机映射56配置时间同步服务配置SSH免密登录7集群中的节点，如果没有连接外网，时间久了，那么虚拟机之间会产生时间偏差，导致集群执行任务时间不同步，所以需要在集群中的节点设置服务器集群的时间同步。配置集群中各节点间的时间同步服务主要以master虚拟机作为NTP服务器，使slave1和slave2虚拟机时间向master虚拟机时间同步。配置时间同步服务在所有节点都安装NTP服务器，以master节点为例。安装NTP服务器在master节点修改配置文件/etc/ntp.conf，启用文件中的“restrict”一行，并将网段修改为虚拟机的网段。注释掉文件中“server”开头的4行，添加“server”表示引用本地时钟作为时间源，添加“fudgestratum10”表示设置本地时钟的层级为10，最后保存退出。修改配置文件在master节点修改配置文件/etc/sysconfig/ntpd，在文件中第二行添加“SYNC_HWCLOCK=yes”，让硬件时间与系统时间一起同步，之后保存退出。修改配置文件在slave1节点和slave2节点上修改配置文件ntp.conf，注释掉4行server开头的行，添加“servermasterminpoll3”表示配置slave1节点和slave2节点的时间向master节点时间同步。修改配置文件在slave1和slave2节点上修改配置文件/etc/sysconfig/ntpd，在文件中第二行添加“SYNC_HWCLOCK=yes”，让硬件时间与系统时间一起同步，之后保存退出。修改配置文件在3台虚拟机中关闭防火墙并启动NTP服务，以master虚拟机为例。防火墙关闭后，可使用“systemctlstatusfirewalld”命令查看防火墙状态，同样地，NTP服务启动成功后，也可使用“systemctlstatusntpd”命令查看NTP服务状态。若服务状态为“inactive(dead)”，则说明该服务已关闭，若服务状态为“active(running)”，则说明该服务已启动。启动NTP服务NTP客户端会尝试每隔一段时间（通常是几分钟）与服务器同步一次时间。查看各虚拟机的时间，以“年-月-日

时:分:秒”的格式显示，若3台虚拟机时间一致，则说明时间同步成功。启动NTP服务配置时间同步时，可以先在slave1和slave2虚拟机上使用“date-s‘yyyy-mm-ddHH:MM:SS’”命令手动修改时间，将时间修改为与master虚拟机不一样的时间，等待几分钟后再通过“date”或者“date'+%Y-%m-%d%H:%M:%S'”命令去查看时间是否自动同步。若需立即同步时间可先在slave1和slave2虚拟机上关闭NTP服务，并使用“ntpdatemaster”命令直接同步master虚拟机时间，之后再开启NTP服用于后续自动同步时间。启动NTP服务部署完全分布式Hadoop集群任务描述部署完全分布式Hadoop集群不仅能够为企业提供一个可扩展的基础架构，还可以为后续集成Hadoop生态系统中的其他工具和应用奠定坚实基础。在本任务中，小数将在项目1中创建的3台虚拟机上部署完全分布式Hadoop集群。任务环境3台CentOS7操作系统的虚拟机，且所有虚拟机已安装好1.8版本的JDK，并配置SSH免密登录与时间同步服务。任务描述与任务环境目录1解压Hadoop下载Hadoop2修改配置文件3分发Hadoop至其他节点4从Hadoop官网下载Hadoop安装包“hadoop-3.1.3.tar.gz”。使用Xftp8远程传输工具将Hadoop安装包传输至master虚拟机的/opt/software目录下。下载Hadoop目录1解压Hadoop下载Hadoop2修改配置文件3分发Hadoop至其他节点4在master虚拟机解压安装包hadoop-3.1.3.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，若结果中能够看到“hadoop-3.1.3”，则说明文件已解压成功。解压Hadoop目录1解压Hadoop下载Hadoop2修改配置文件3分发Hadoop至其他节点4执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，在文件末尾添加Hadoop环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件执行“cd$HADOOP_HOME/etc/hadoop/”命令进入到存储Hadoop配置文件的文件夹中。执行“vimhadoop-env.sh”命令打开hadoop-env.sh文件，找到“#exportJAVA_HOME=”一行添加JDK路径并保存退出。修改配置文件core-site.xml文件是Hadoop的核心配置文件，用于配置Hadoop的基础属性。core-site.xml文件中的参数说明如下表。修改配置文件参数参数说明fs.defaultFS指定HDFS的通信地址hadoop.tmp.dir指定Hadoop临时目录，即Hadoop运行时产生文件的存储路径执行“vimcore-site.xml”命令打开core-site.xml配置文件，修改文件中的<configuration>和</configuration>之间的内容并保存退出。修改配置文件hdfs-site.xml配置文件用于配置Hadoop分布式文件系统的属性。hdfs-site.xml配置文件中的参数说明如下表。修改配置文件参数参数说明node.http-address指定NameNode的http访问地址和端口号node.secondary.http-address指定SecondaryNameNode的http访问地址和端口号dfs.replication指定HDFS副本数量.dir指定NameNode存放的路径dfs.datanode.data.dir指定DataNode存放的路径执行“vimhdfs-site.xml”命令打开hdfs-site.xml配置文件，修改文件中的<configuration>和</configuration>之间的内容并保存退出。修改配置文件yarn-site.xml配置文件用于配置Hadoop的作业调度和集群资源管理器YARN的属性。yarn-site.xml配置文件中的参数说明如下表。修改配置文件参数参数说明yarn.resourcemanager.hostname指定ResourceManager运行节点yarn.resourcemanager.webapp.address指定ResourceManager服务器的Web地址和端口yarn.nodemanager.aux-services指定NodeManager上运行的MapReduce辅助服务列表yarn.nodemanager.aux-services.mapreduce.shuffle.class指定NodeManager上运行的MapReduce辅助服务的Shuffle类yarn.resourcemanager.scheduler.address指定ResourceManager的Scheduler组件的访问地址和端口号yarn.resourcemanager.resource-tracker.address指定ResourceManager的ResourceTracker组件的访问地址和端口号yarn.resourcemanager.address指定ResourceManager的客户端的访问地址和端口号yarn.resourcemanager.admin.address指定ResourceManager的管理员的访问地址和端口号修改配置文件参数参数说明yarn.log-aggregation-enable指定是否启用日志聚合功能yarn.nodemanager.remote-app-log-dir指定日志聚合目录yarn.log-aggregation.retain-seconds指定聚合的日志在HDFS上保存的最长时间yarn.nodemanager.vmem-check-enabled指定NodeManager是否检查每个容器的虚拟内存使用量yarn.nodemanager.resource.memory-mb指定每个节点上可用于YARN容器的总物理内存（单位MB）yarn.scheduler.minimum-allocation-mb指定可以分配给单个容器的最小物理内存（单位MB）yarn.scheduler.maximum-allocation-mb指定可以分配给单个容器的最大物理内存（单位MB）mapreduce.map.memory.mb指定单个Map任务请求的内存大小（单位MB）mapreduce.reduce.memory.mb指定单个Reduce任务请求的内存大小（单位MB）yarn.application.classpath指定MapReduce任务运行时需要用到的Hadoop依赖jar包，可通过在Shell命令行中使用“hadoopclasspath”命令进行查询执行“vimyarn-site.xml”命令打开yarn-site.xml配置文件，修改文件中的<configuration>和</configuration>之间的内容并保存退出。修改配置文件修改配置文件修改配置文件修改配置文件mapred-site.xml配置文件用于配置MapReduce作业运行时的环境。mapred-site.xml配置文件中的参数说明如下表。修改配置文件参数参数说明指定MapReduce框架运行时使用的框架mapreduce.jobhistory.address指定MapReduce的历史服务器的地址及端口mapreduce.jobhistory.webapp.address指定历史服务器的web页面地址和端口ermediate-done-dir指定存放日志文件的临时目录mapreduce.jobhistory.done-dir指定存放运行日志文件的最终目录执行“vimmapred-site.xml”命令打开mapred-site.xml配置文件，修改文件中的<configuration>和</configuration>之间的内容并保存退出。修改配置文件workers配置文件用于指定集群中运行DataNode进程的节点。执行“vimworkers”打开workers文件，将文件原有内容删除，添加三台虚拟机的主机名并保存退出。修改配置文件执行“cd$HADOOP_HOME/sbin/”命令进入到存储脚本文件的文件夹中。start-dfs.sh和stop-dfs.sh脚本分别用于启动和关闭HDFS服务。执行“vimstart-dfs.sh”和“vimstop-dfs.sh”分别打开start-dfs.sh和stop-dfs.sh脚本文件，在文件开头第二行添加指定运行HDFS服务的用户并保存退出。修改配置文件start-yarn.sh和stop-yarn.sh脚本分别用于启动和关闭YARN服务。执行“vimstart-yarn.sh”和“vimstop-yarn.sh”分别打开start-yarn.sh和stop-yarn.sh脚本文件，在文件开头第二行添加指定运行YARN服务的用户并保存退出。修改配置文件目录1解压Hadoop下载Hadoop2修改配置文件3分发Hadoop至其他节点4启动slave1和slave2虚拟机。在master虚拟机上将配置好的Hadoop分发给slave1和slave2虚拟机。分发Hadoop至其他节点目录5启动Hadoop集群格式化NameNode6验证集群是否启动成功7在master虚拟机上执行“hdfsnamenode-format”命令对NameNode进行格式化。若出现“namehasbeensuccessfullyformatted”，则说明格式化成功。格式化NameNode目录5启动Hadoop集群格式化NameNode6验证集群是否启动成功7在master虚拟机上启动Hadoop集群，需要启动Hadoop内部包含的HDFS集群和YARN集群。执行“start-dfs.sh”启动HDFS服务进程。执行“start-yarn.sh”启动YARN服务进程。启动Hadoop集群启动Hadoop集群，也可以使用“start-all.sh”命令，这个脚本会启动包括HDFS和YARN在内的整个Hadoop集群服务，简化了集群的启动过程。关闭Hadoop集群，只需将启动命令中的“start”换为“stop”即可。目录5启动Hadoop集群格式化NameNode6验证集群是否启动成功7使用“jps”命令查看进程，各节点进程如下。验证集群是否启动成功集群启动成功后各节点中一共出现了5种进程，各进程说明如下。验证集群是否启动成功进程名称说明NameNode管理整个文件系统的元数据DataNode负责存储本地数据块NodeManager负责本地资源的管理和任务执行ResourceManager协调资源的分配和任务的执行SecondaryNameNode负责定期合并HDFS的编辑日志和镜像文件，以减少NameNode的启动时间通过Web端访问Hadoop的监控端口，在访问之前，需要先在本地Windows机的“hosts”文件中添加映射（IP主机名）。打开“C:\Windows\System32\drivers\etc\hosts”，在文件末尾添加映射。验证集群是否启动成功添加完IP/主机名映射后在浏览器登录“http://master:9870”查看HDFS的监控界面。验证集群是否启动成功在浏览器中登录“http://master:8088”查看YARN的监控界面。注意：若没有提前在本地添加IP映射，则需使用30:9870和30:8088端口查看。验证集群是否启动成功测试Hadoop平台任务描述在部署好Hadoop分布式平台后，小数还需要对其进行测试，以确保部署的完整性。MapReduce作为Hadoop的核心组件，可用于测试Hadoop平台的运行状况。本任务将通过向Hadoop集群提交MapReduce任务并观察其结果，以此来验证Hadoop的功能是否正常。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3现有一份某社交网站在2024年某一天的原始日志文件email_log.txt，共800万行记录，部分数据如下。上传日志文件至HDFSMan_Cl@org.lyjo_rosa@BoarderMailerotica.husha.dono@com.twrobisloa@PeopleWebpro.aem_em@Carl_Hen@HotepMailweb.lkAxelHubbard@LoadMaillevanger.noda_foster@co.jp上传日志文件email_log.txt至HDFS的流程如下。上传日志文件至HDFS使用Xftp8远程传输工具将本地计算机中的用户日志文件email_log.txt上传至master虚拟机的/opt/data目录。注意：若master虚拟机不存在/opt/data/目录，则需先通过“mkdir-p/opt/data/”命令创建。上传日志文件至Linux在master虚拟机启动Hadoop集群。执行HDFS命令，创建/dfstest目录，用于存放日志文件。创建/dfstest目录在master虚拟机上传日志文件至HDFS的/dfstest目录。上传日志文件至HDFS通过浏览器登录“http://master:9870”查看HDFS的监控界面，单击网页中的“Utilities”，在下拉菜单中选择“Browsethefilesystem”。查看HDFS上的数据在跳转后的“BrowseDirectory”页面中，依次选择“dfstest”→“email_log.txt”→“Headthefile(first32K)”，查看HDFS的/dfstest目录下email_log.txt文件的内容。查看HDFS上的数据目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3使用“hadoopjar”命令对email_log.txt日志文件中的数据进行登录次数的统计。运行MapReduce任务使用的“hadoopjar”命令的常用参数说明如下表。运行MapReduce任务参数参数说明$HADOOP_HOME指/etc/profile文件中设置的环境变量，此处为/opt/module/hadoop-3.1.3目录hadoop-mapreduce-examples-3.1.3.jarHadoop官方提供的示例程序包，其中包括词频统计模块（wordcount）wordcount程序包中的主类名称/dfstest/email_log.txtHDFS上的输入文件名称/dfstest/outputHDFS上的输出文件目录目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3在集群运行MapReduce任务的过程中时，可通过浏览器登录“http://master:8088”查看YARN的监控界面。MapReduce任务的状态是“RUNNING”，表示该任务正在执行中。查看集群状态任务执行完成后，可以通过HDFSShell命令查看统计结果。在HDFS的/dfstest/output/目录，可看到生成两个新文件。_SUCCESS文件：表示任务执行完成。part-r-00000文件：任务执行完成后产生的结果文件。查看集群状态在浏览器上登录“http://master:9870”，查看HDFS的/dfstest/output目录下“part-r-00000”文件的内容。文件内容显示了两列数据，第1列为用户的邮件地址，第2列为该用户的登录次数。查看集群状态部署ZooKeeper集群任务描述在实际生产环境中，大数据运维工程师需要在大数据平台上部署ZooKeeper集群为其他集群（如Hadoop集群）提供分布式协调服务。在本任务中，小数将在项目2中部署的完全分布式Hadoop集群的基础上，进一步部署ZooKeeper集群。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1解压ZooKeeper下载ZooKeeper2修改配置文件3分发ZooKeeper至其他节点4启动ZooKeeper集群5从ZooKeeper官网下载ZooKeeper安装包“zookeeper-3.4.14.tar.gz”。使用Xftp8远程传输工具将ZooKeeper安装包传输至master虚拟机/opt/software目录下。下载ZooKeeper目录1解压ZooKeeper下载ZooKeeper2修改配置文件3分发ZooKeeper至其他节点4启动ZooKeeper集群5在master虚拟机解压安装包zookeeper-3.4.14.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，若结果中能够看到“zookeeper-3.4.14”，则说明文件已解压成功。解压ZooKeeper目录1解压ZooKeeper下载ZooKeeper2修改配置文件3分发ZooKeeper至其他节点4启动ZooKeeper集群5执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加ZooKeeper环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件执行“cd/opt/module/zookeeper-3.4.14/conf”命令进入ZooKeeper的配置文件目录。复制zoo_sample.cfg文件并重命名为zoo.cfg。打开并修改zoo.cfg文件中的内容：修改dataDir参数指定ZooKeeper集群中各个节点的信息修改配置文件各个节点的信息格式为“server.X=A:B:C”，其参数及参数说明如下表。修改配置文件参数参数说明X指ZooKeeper节点的myid，标识这个是第几号服务器A指每个节点的IP地址或者主机名B指Follower和Leader交换消息所使用的端口C指选举Leader所使用的端口在修改完dataDir参数后，还需手动创建数据存放路径。执行“cd$ZOOKEEPER_HOME/data/Data/”命令进入dataDir目录。执行“vimmyid”命令创建一个文件名为“myid”的文件，并输入master代表的id编号，即“1”。修改配置文件目录1解压ZooKeeper下载ZooKeeper2修改配置文件3分发ZooKeeper至其他节点4启动ZooKeeper集群5将配置好的ZooKeeper相关配置文件分发slave1和slave2虚拟机：/opt/module/zookeeper-3.4.14/etc/profile在slave1和slave2虚拟机中使用“source/etc/profile”命令，使环境变量生效。修改slave1和slave2虚拟机的myid：将slave1虚拟机的myid文件内容改为“2”将slave2虚拟机的myid文件内容改为“3”分发ZooKeeper至其他节点目录1解压ZooKeeper下载ZooKeeper2修改配置文件3分发ZooKeeper至其他节点4启动ZooKeeper集群5启动ZooKeeper集群，需在3个节点均启动。在所有节点执行“cd$ZOOKEEPER_HOME/bin”命令进入ZooKeeper存储启动脚本的文件夹。在所有节点使用“./zkServer.shstart”启动ZooKeeper集群，以master节点为例，启动结果如下。启动ZooKeeper集群待所有节点均启动ZooKeeper集群后使用“./zkServer.shstatus”查看其状态。启动ZooKeeper集群在ZooKeeper集群中，每个节点都有可能被选举成为Leader，此处slave1节点为Leader角色，master和slave2为Follower角色。基于ZooKeeper集群部署HadoopHA模式任务描述接下来，小数准备利用ZooKeeper集群来部署HadoopHA模式，实现Hadoop集群中NameNode和ResourceManager的高可用性。任务环境已部署完全分布式Hadoop集群和ZooKeeper集群的3台CentOS7操作系统的虚拟机。注意：在部署ZooKeeper集群之前可先创建虚拟机快照。任务描述与任务环境VMware提供虚拟机快照功能，这项功能能够捕获并保存虚拟机在特定时间点的完整环境状态。一旦虚拟机在后续操作中发生任何变化，用户可以利用快照功能迅速恢复到之前保存的状态。HadoopHA是Hadoop2.0版本后新增的功能，涵盖NameNodeHA和ResourceManagerHA。NameNodeHA采用双NameNode架构，用于解决Hadoop1.X的单点故障问题。NameNodeHA模式中，一个NameNode处于活跃（active）状态，另一个处于待机（standby）状态，activeNameNode提供服务，standbyNameNode同步状态，以便快速接管。ResourceManagerHA同理。高可用性（HA）确保系统在主服务器故障时，能够自动将工作负载转移到备用服务器，保持服务的稳定性和可用性。ZooKeeper作为分布式协调服务，能够通过与Hadoop集群的NameNode和ResourceManager通信，确保始终有一个可用的NameNode和ResourceManager，实现Hadoop集群的高可用性。HadoopHA模式目录1启动ZooKeeper集群修改Hadoop配置文件2初始化HadoopHA功能3启动Hadoop集群验证HA模式4core-site.xml文件：配置HDFS的名称配置ZooKeeper地址修改Hadoop配置文件hdfs-site.xml文件：配置NameNodeHA的服务名称配置2个NameNode的节点名称、HTTP、RPC地址配置通过JournalNode实现共享编辑日志启用自动故障转移修改Hadoop配置文件修改Hadoop配置文件yarn-site.xml文件：启用ResourceManager的HA功能启用ResourceManager失败自动切换配置ResourceManagerHA的服务名称配置2个ResourceManager的节点及端口信息配置HA模式所用的ZooKeeper节点列表启用ResourceManager重启的功能修改Hadoop配置文件修改Hadoop配置文件修改Hadoop配置文件在start-dfs.sh和stop-dfs.sh文件中第5行添加内容，指定运行JournalNode和ZKFC服务的用户为root。修改Hadoop配置文件将master节点中修改的Hadoop相关配置文件分发到slave1和slave2节点：/opt/module/hadoop-3.1.3/etc/hadoop/*/opt/module/hadoop-3.1.3/sbin/*修改Hadoop配置文件目录1启动ZooKeeper集群修改Hadoop配置文件2初始化HadoopHA功能3启动Hadoop集群验证HA模式4在所有节点上启动ZooKeeper集群，以master节点为例，具体操作如下。启动ZooKeeper集群目录1启动ZooKeeper集群修改Hadoop配置文件2初始化HadoopHA功能3启动Hadoop集群验证HA模式4在启动HadoopHA功能之前，需要确保JournalNode已经启动，并且在每个NameNode上初始化共享存储。JournalNode是HDFS中的一个组件，负责存储HDFS的元数据操作日志，它主要用于故障恢复和避免脑裂（split-brain）问题。主NameNode执行元数据操作（如创建文件、删除文件等）的时候会将操作记录在JournalNode上的一个日志文件中，这个日志文件可以被备用NameNode读取，以便在主NameNode故障时恢复元数据。当主NameNode发生故障时，备用NameNode可以通过JournalNode中的日志来获取最新的元数据信息，并接管成为新的主NameNode。初始化HadoopHA功能在Hadoop集群中，脑裂（split-brain）问题是指在集群中有多个NameNode节点同时声称自己是活动的（Active）状态，而没有一个能够有效地成为实际的领导者（Leader）。这种情况通常发生在集群中有多个NameNode节点时，尤其是在高可用性（HA）配置下。ZKFC（ZooKeeperFailoverController）是Hadoop集群中的一个关键组件，它与ZooKeeper集群进行交互，确保HDFS集群的高可用性。当主NameNode执行元数据操作（如打开文件、修改文件权限等）时，ZKFC会监控NameNode的健康状态，并在主NameNode发生故障时触发故障转移。初始化HadoopHA功能在所有节点启动JournalNode节点，以master为例，具体操作如下。删除所有节点中的NameNode和DataNode数据存储目录，以master为例，具体操作如下。在master节点中重新格式化NameNode和ZKFC。初始化HadoopHA功能格式化ZKFC结果如下。初始化HadoopHA功能尽管JournalNode和ZKFC服务为Hadoop集群的HA模式提供了强力的保障，但是当主NameNode假死时，即NameNode进程看似已经停止响应，但实际上可能仍在运行，只是对外部请求没有响应，此时备用NameNode可能无法转化为新的主NameNode，这种情况可以通过psmisc插件来处理。psmisc是一个工具集，包括pstree、pslog、pstop、killall和fuser等工具，这些工具可用于显示和操作正在运行的进程，能够帮助管理员管理和控制进程。其中killall命令能够快速地找到并终止那些不再响应但仍在运行的进程，能够有效地解决HadoopHA模式中主NameNode假死的情况，并允许备用NameNode接管服务。初始化HadoopHA功能在master节点和slave1节点安装psmisc插件。在master节点启NameNode服务在slave1节点初始化NameNode备用实例，同步master节点中的NameNode元数据。初始化HadoopHA功能初始化NameNode备用实例结果如下。初始化HadoopHA功能目录1启动ZooKeeper集群修改Hadoop配置文件2初始化HadoopHA功能3启动Hadoop集群验证HA模式4验证HA模式可以通过手动关闭主NameNode进程，来模拟集群故障，观察是否自动切换到备用NameNode，若在主NameNode进程关闭后，能够自动切换至备用NameNode，则说明HA模式部署成功。验证HadoopHA模式是否部署成功的流程如下。启动Hadoop集群验证HA模式在master节点启动Hadoop集群，之后在浏览器上分别登录“http://master:9870”端口和“http://slave1:9870”端口查看HDFS的监控界面，检查master和slave1两个节点的NameNode状态。检查master节点的NameNode状态，若状态为“active”，则说明master节点此时为主NameNode节点。启动Hadoop集群验证HA模式检查slave1节点的NameNode状态，若状态为“standby”，则说明slave1节点此时为备用NameNode节点。启动Hadoop集群验证HA模式在master节点中关闭NameNode进程。等待几秒钟，在浏览器HDFS的监控界面上刷新备用NameNode的监控界面（http://slave1:9870端口），检查其状态是否变为active。当关闭master节点的NameNode进程后，若slave1节点的NameNode进程状态转为了active，则说明Hadoop集群在主NameNode故障时继续正常运行，即HA模式部署成功。启动Hadoop集群验证HA模式部署Flume任务描述在使用Flume采集农村电商网站服务器日志数据之前，需要在Linux操作系统中部署Flume。本任务中，小数将基于项目2中部署的Hadoop平台，在master虚拟机上部署单机版Flume。任务环境已部署完全分布式Hadoop集群的CentOS7操作系统的虚拟机（主节点）。任务描述与任务环境分布式部署分布式部署模式主要用于复杂的数据流管理或大数据量的采集任务，即数据流向复杂，如从多个数据源到多个数据存储目的地，或者是数据量较大，需要跨网络中的多个机器进行数据聚合、路由和可靠传输的数据采集任务。分布式部署可以利用Flume的强大特性，如故障转移、负载均衡、多路径传输等，来确保数据的高可用性和高可靠性。该模式主要用于企业中的大规模数据中心、云环境或者需要处理高速、持续产生的数据流等场景中。Flume的部署模式单机版部署单机版部署模式主要用于简单数据流或小型数据的采集任务，即数据流向简单，如从单一数据源到单一数据存储目的地，或者是数据量较小，且不需要跨机器进行数据聚合的数据采集任务。由于单机版Flume占用资源较少，因此可以直接部署在小型服务器或个人计算机，且单机版Flume可以快速部署和测试配置的有效性，更适合于初学者。Flume的部署模式目录1解压Flume下载Flume2修改Flume名称3修改配置文件4查看Flume版本5从Flume官网下载Flume安装包“apache-flume-1.9.0-bin.tar.gz”。使用Xftp8远程传输工具将Flume安装包传输至master虚拟机的/opt/software目录下。下载Flume目录1解压Flume下载Flume2修改Flume名称3修改配置文件4查看Flume版本5在master虚拟机解压安装包apache-flume-1.9.0-bin.tar.gz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“apache-flume-1.9.0-bin”，说明文件已解压成功。解压Flume目录1解压Flume下载Flume2修改Flume名称3修改配置文件4查看Flume版本5修改apache-flume-1.9.0-bin的名称为flume-1.9.0。修改Flume名称目录1解压Flume下载Flume2修改Flume名称3修改配置文件4查看Flume版本5执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，在文件末尾添加Flume环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件将Flume安装目录下的conf目录里面的flume-env.sh.template文件重命名为flume-env.sh。执行“vimflume-env.sh”命令配置flume-env.sh文件，在flume-env.sh文件中添加Java环境变量。修改配置文件将Flume安装目录下的lib目录里面的guava-11.0.2.jar删除以兼容3.1.3版本的Hadoop。修改配置文件在Hadoop生态系统中，组件之间的版本冲突通常与guava库的Jar包有关。由于Hadoop中可能包含较新的guava版本，这可能会导致与其他组件或库中的guava版本不兼容。为了解决这种冲突，通常需要先删除其他组件中旧版本的guava库的Jar包，再将Hadoop中的新版本的guava库的Jar包复制到其他组件的依赖中，通常为lib文件夹。目录1解压Flume下载Flume2修改Flume名称3修改配置文件4查看Flume版本5查看Flume版本，若出现如下内容，则说明单机版Flume部署成功。查看Flume版本“flume-ng”命令代表的是从Flume1.0.0版本开始的FlumeNG（NextGeneration），而Flume的早期版本，即0.9.x系列，被称作FlumeOG（OriginalGeneration）。使用Flume采集农村电商网站服务器日志数据任务描述在成功部署Flume后，小数将配合数据采集工程师，使用搭建好的采集环境进行模拟，实时捕获农村电商网站服务器生成的日志文件access.log，并将其保存到HDFS中。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机，且主节点已部署单机版Flume。任务描述与任务环境农村电商网站服务器生成的日志文件access.log日志文件部分数据如下。数据示例access.log部分数据1--[22/Jan/2023:03:56:14+0330]"GET/filter/27|13%20%D9%85%DA%AF%D8%A7%D9%BE%DB%8C%DA%A9%D8%B3%D9%84,27|%DA%A9%D9%85%D8%AA%D8%B1%20%D8%A7%D8%B2%205%20%D9%85%DA%AF%D8%A7%D9%BE%DB%8C%DA%A9%D8%B3%D9%84,p53HTTP/1.1"20030577"-""Mozilla/5.0(compatible;AhrefsBot/6.1;+http://***/robot/)""-"1--[22/Jan/2023:03:56:16+0330]"GET/image/60844/productModel/200x200HTTP/1.1"2005667"https://***/m/filter/b113""Mozilla/5.0(Linux;Android6.0;ALE-L21Build/HuaweiALE-L21)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.158MobileSafari/537.36""-"1--[22/Jan/2023:03:56:16+0330]"GET/image/61474/productModel/200x200HTTP/1.1"2005379"https://***/m/filter/b113""Mozilla/5.0(Linux;Android6.0;ALE-L21Build/HuaweiALE-L21)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.158MobileSafari/537.36""-"目录1编写采集脚本定时抽取数据2启动采集程序3将农村电商网站服务器日志文件access.log和抽取日志的脚本文件createLog.sh上传至master虚拟机的/opt/data目录下。createLog.sh脚本文件用于从access.log文件中随机抽取100行数据并存储至/opt/flumeproject。注意：需先在master虚拟机的/opt目录下创建新文件夹flumeproject，用于存放抽取的数据。定时抽取数据在master虚拟机输入代码“crontab-e”，编辑定时任务。在定时任务中输入内容“*****sh/opt/data/createLog.sh”，模拟日志文件的产生。定时抽取数据crontab是Linux系统中用于调度定时任务的工具，它允许用户按照预定的时间间隔执行特定的命令或脚本。crontab的时间格式采用5个空格分隔的字段，分别代表不同的时间单位，格式为“分钟小时日期月份星期命令”。等待几分钟后，在/opt/flumeproject目录下查看定时生成的日志文件。定时抽取数据目录1编写采集脚本定时抽取数据2启动采集程序3编写Flume采集脚本，实现采集日志文件并保存至HDFS的配置，Flume采集脚本具体配置如下：Source：SpoolingDirectorySource，表示从本地目录中采集数据Sink：HDFSSink，表示将数据写入HDFS文件系统上Channel：FileChannel，表示将数据存储在磁盘上的文件中编写采集脚本编写采集脚本编写采集脚本目录1编写采集脚本定时抽取数据2启动采集程序3先启动Hadoop集群，再启动FlumeAgent程序采集农村电商网站服务器日志数据。Flume采集命令说明如下。启动采集程序命令说明/opt/module/flume-1.9.0/bin/flume-ngagent通过flume-ng命令启动FlumeAgent-c/opt