单元3 任务3.2 监控Hadoop集群

《大数据平台部署与运维》单元3Hadoop集群搭建任务3.2监控Hadoop集群01Hadoop集群监控学习目标任务3.2Hadoop集群监控【任务场景】经理：小张，我们Hadoop集群搭建起来了，很多同事需要了解集群的基本信息，如存储空间，另外我们的运维人员需要实时了解集群运行状况。小张：我们可以通过Hadoop的WebUI看到集群的基本信息，HDFS的故障信息和MapReduce执行的情况。我整理一下相应的资料，尽快给大家讲解一下。任务3.2Hadoop集群监控【任务布置】通过WebUI查看Hadoop集群的基本信息。查看HDFS存储使用情况MapReduce任务的运行情况。任务3.2Hadoop集群监控当启动Hadoop集群时，可以通过WebUI来查看HDFS以及Yarn的状态,用来方便的查看集群运行的状态。一些常见的默认端口端口如下：应用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意：本书搭建的环境使用的版本是Hadoop3.X。任务3.2Hadoop集群监控3.2.Hadoop集群监控当启动Hadoop集群时，可以通过WebUI来查看HDFS以及Yarn的状态,用来方便的查看集群运行的状态。一些常见的默认端口端口如下：应用Hadoop2.X端口Hadoop3.X端口NameNodeHttpWebUI500709870DataNodeHttpWebUI500759864ResourceManagerHttpWebUI80808080NodeManagerHttpWebUI80428042注意：本书搭建的环境使用的版本是Hadoop3.X。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUIMaster01节点部署了NameNode，我们可以通过http://master01:9870来查看hdfs的运行状态。NameNodeWebUI中包含“Overview”、“Datanodes”、“DataNodeVolumeFailures”、“Snapshot”、“StartupProgress”和“Utilities”选项卡，接下来我们将介绍几个常用选项卡。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUIOverview选项卡中，我们可以看到集群启动时间，集群软件的版本号，集群软件的编译信息，集群的ID和块池的ID任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUIOverview选项卡中，“Summary”中我们可以查看集群配置的容量，HDFS相关容量信息，DataNode的使用情况，以及副本数据块的相关信息任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUIOverview选项卡中，“NameNodeStorage”显示元数据存储的状态，“DFSStorageTypes”显示数据存储的信息。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUI

在“DataNode”选项卡显示DataNode节点的信息，包括正在运行的节点，进入维护状态的节点等，并可查看每个DataNode的基本信息。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUIOverview选项卡中，我们可以看到集群启动时间，集群软件的版本号，集群软件的编译信息，集群的ID和块池的ID任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUI

在“DatanodeVolumeFailures”选项卡中，当数据卷出现故障，此选项卡可清楚显示故障信息，帮助我们排查问题，其显示的故障信息包括节点名，故障时间，故障卷数量，估计丢失的容量和故障卷位置。在无数据卷故障时，此选项卡不输出任何内容。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUI

在“StartupProgress”选项卡中，记录NameNode启动的过程，以及是否启动成功，启动花费的时间等。【小提示】在HDFS启动失败时，此信息能够协助我们快速定位在HDFS启动过程中，哪个环节出现问题。任务3.2Hadoop集群监控3.2.Hadoop集群监控

1.NameNodeWebUI

在“utilities”中的“Browsethefilesystem”选项卡中，我们可以使用浏览器来查看hdfs文件系统的文件，并可上传下载文件。任务3.2Hadoop集群监控3.2.Hadoop集群监控

2.DataNodeWebUI

在DataNode选项中，我们可以查看访问的每一个DataNode的块信息和数据卷信息。任务3.2Hadoop集群监控3.2.Hadoop集群监控

3.ResourceManagerWebUI在ResourceManager选项卡中，我们可以看到任务执行情况以及yarn的状态信息。并可以查看每个任务的详细执行信息。任务3.2Hadoop集群监控3.2.Hadoop集群监控

4.NodeManagerWebUI

在NodeManagerWebUI中，我们可以看到NoteManager的基本信息和正在运行的任务情况。任务3.2Hadoop集群监控【工作流程】1.查看HDFS文件系统的容量大小和使用率2.通过NameNodeWebUI上传文件3.启动一个wordcount的任务4.在ResourceManager的WebUI中查看WordCount任务执行的状态。任务3.2Hadoop集群监控【操作步骤】1.查看HDFS文件系统的容量和使用率：

访问“http://master01:9870”可直接查看文件系统的容量和使用率。在“Overview”选项卡中，“ConfiguredCapacity”显示的是HDFS的配置容量，“DFSUsed”中显示已用空间和使用率。任务3.2Hadoop集群监控【操作步骤】2.通过NameNodeWebUI上传文件：在hdfs中创建/upload文件夹，通过Web界面上传文件到此文件夹。如下命令行创建/upload文件夹并修改权限。[root@master01hadoop]#hdfsdfs-mkdir/upload[root@master01hadoop]#hdfsdfs-chmod777/upload[root@master01hadoop]#hdfsdfs-ls/Found4items-rw-r--r--2rootsupergroup252021-11-1110:32/test.txtdrwx-------rootsupergroup02021-11-1110:34/tmpdrwxrwxrwx-rootsupergroup02021-11-1117:51/uploaddrwxr-xr-x-rootsupergroup02021-11-1111:01/wc_out任务3.2Hadoop集群监控【操作步骤】2.在hdfs中创建/upload文件夹，通过Web界面上传文件到此文件夹：在Web浏览器中，进入“Utilities”-->“Browsethefilesystem”选项卡，选择upload目录。点击上传按钮，上传Hadoop安装文件到upload目录。注意，在若使用非集群内的设备进行上传操作，需配置hosts文件，添加所有master和worker节点信息，否则上传失败。任务3.2Hadoop集群监控【操作步骤】3.启动一个wordcount的任务：启动一个wordcount任务，在下一步中，通过ResourceManager的WebUI查看任务执行情况。[root@master01~]#hadoopjar/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jarwordcount/test.txt/wc_out1任务3.2Hadoop集群监控【操作步骤】4.在ResourceManager的WebUI中查看WordCount任务执行的状态：打开YARNResourceManager的WebUI找到执行的任务任务3.2Hadoop集群监控【操作步骤】4.在Resourc