单元5 任务5.4-MapReduce任务监控

《大数据平台部署与运维》单元5MapReduce实现电商销售数据统计任务5.4MapReduce任务监控01掌握MapReduce任务监控方式02理解MapReduce任务失败常见原因学习目标任务5.4MapReduce任务监控【任务场景】经理：小张，现在你已经了解MapReduce的原理，也能通过JavaAPI实现一些功能了，但是你知道MapReduce执行过程中如何监控吗？小张：可以在任务执行时命令行看到一些信息，也可以通过浏览器和Hadoop命令去进行监控。经理：嗯，不错，掌握这几种监控方式就可以对大部分的MapReduce场景进行有效监控了，你再去了解一下MapReduce任务执行失败常见原因。小张：好的。任务5.4MapReduce任务监控【任务布置】掌握MapReduce任务监控方式，理解MapReduce任务执行失败常见原因，再次运行电商数据分析程序，监控任务执行过程。任务5.4MapReduce任务监控5.4.1MapReduce任务监控方式当我们执行一个MapReduce任务后，程序被提交给了集群。对于开发测试集群运行程序的开发人员来说，刚刚接触MapReduce的初学者往往是在命令行前等着程序执行完成，遇到任务运行缓慢或报错的情况时很难做出有效响应。下面介绍MapReduce任务监控的几种形式，让大家能对MapReduce程序进行有效监控。任务5.4MapReduce任务监控1.执行时监控执行Hadoopjar命令后控制台会输出任务信息。执行时需重点关注标红的这几行信息。上面的输出信息可以查看当前任务的ID，以及map阶段、reduce阶段的任务进度，当输出Jobjob_idcompletedsuccessfully时表明任务已成功执行完毕。[root@master01~]#hadoopjar/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jarwordcount/collection.txt/out2021-11-3003:55:46,111INFOclient.RMProxy:ConnectingtoResourceManageratmaster01/14:80322021-11-3003:55:46,374INFOmapreduce.JobResourceUploader:DisablingErasureCodingforpath:/tmp/hadoop-yarn/staging/root/.staging/job_1638262379053_00012021-11-3003:55:47,138INFOinput.FileInputFormat:Totalinputfilestoprocess:1……2021-11-3003:55:53,710INFOmapreduce.Job:map0%reduce0%2021-11-3003:55:58,774INFOmapreduce.Job:map100%reduce0%2021-11-3003:56:02,799INFOmapreduce.Job:map100%reduce100%2021-11-3003:56:02,807INFOmapreduce.Job:Jobjob_1638262379053_0001completedsuccessfully2021-11-3003:56:02,863INFOmapreduce.Job:Counters:53……任务5.4MapReduce任务监控2.浏览器监控执行Hadoop任务后在浏览器打开管理节点MapReduceWebUI界面（通常为管理节点IP+8088端口），可查看任务情况：任务列表展示任务名称、任务类型、状态、开始时间、任务进度等信息，点击任务ID可查看任务详细信息。任务5.4MapReduce任务监控任务详细信息页面可以查看任务概览情况以及执行任务使用的资源情况：任务5.4MapReduce任务监控3.

Hadoop命令通过Hadoop命令也可以完成对任务的查看与管理。Hadoop任务管理常用命令如下表所示：命令描述mapredjob-list查看所有job信息mapredjob-killjob_id通过ID杀掉jobmapredjob-statusjob_id打印map和reduce完成百分比和所有计数器mapredjob-kill-tasktask_id杀死任务mapredjob-fail-tasktask_id使任务失败任务5.4MapReduce任务监控5.4.2任务执行失败常见原因在真实生产环境中，用户代码、进程崩溃、机器故障等都可能导致MapReduce程序失败，但是Hadoop最主要的优势之一就是他能自动处理此类故障并完成作业。以下为几种导致任务失败的常见原因。1.任务运行失败（1）任务代码异常JVM在退出前向applicationmaster发送错误报告，错误报告会被记入用户日志。applicationmaster将任务标记为failed，释放容器和资源。（2）任务JVM突然退出JVM软件缺陷而导致MapReduce用户代码由于某些特殊原因造成JVM退出。NodeManager注意到JVM退出，通知applicationmaster将任务标记为失败。（3）任务挂起applicationmaster长时间未接收到进度更新，将任务标记为失败，JVM进程也将会自动杀死。任务5.4MapReduce任务监控2.

ApplicationMaster运行失败applicationmaster会向资源管理器发送周期性的心跳，当applicationmaster出现故障时，资源管理器将检测到该故障并在一个新的容器（由节点管理器管理）中开始一个新的master实例。客户端向applicationmaster轮询报告进度，如果它的applicationmaster运行失败，客户端就需要重新定位新的实例。在作业初始化期间，客户端向资源管理器询问并缓存applicationmaster的地址，使其每次需要向applicationmaster查询时不必重载资源管理器。但如果applicationmaster运行失败，客户端就会在发出状态更新请求时超时，这是客户端就会想资源管理器请求新的applicationmaster的地址。任务5.4MapReduce任务监控3.

NodeManager运行失败节点管理器失败就会停止向资源管理器发送心跳信息并被移出可用的节点资源管理器池。默认时间是10分钟，可通过下面参数设置：yarn.resourcemanager.nm.liveness-monitor.expiry-interval-ms节点管理器失败则上面运行的所有任务或applicationmaster都将会按照之前描述的机制进行恢复。如果应用程序失败次数过高，那么该节点管理器可能会被拉黑。由applicationmaster管理黑名单。任务5.4MapReduce任务监控4.

ResourceManager运行失败资源管理器失败是很严重的问题，没有资源管理器，作业和任务都将无法启动，在默认配置中，资源管理器是单点故障。为了保障服务高可用（HighAvailability），我们需要配置一对资源管理器，以便在主资源管理器失败后，备份资源管理器可以继续运行。任务5.4MapReduce任务监控5.4.3MapReduce日志文件我们开发程序时通常会使用System.out.pirntln()输出内容来查看运行情况。但是在MapReduce程序里写了之后，却不知道到哪里找。下面我们来介绍一下常见日志输出位置以及日志包含的信息。ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log。NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log。Container日志包含ApplicationMaster日志和普通Task日志，它们均存放在Hadoop安装目录下的userlogs目录中的application_xxx目录下。每个目录下包含三个日志文件：stdout、stderr和syslog，其中，stdout是通过标准输出打印出来的日志，比如System.out.println，syslog是通过log4j打印的日志，通常这个日志中包含的有用信息最多，也是错误调试中最关键的参考日志。任务5.4MapReduce任务监控【工作流程】再次运行电商数据分析程序，监控任务执行过程。任务5.4MapReduce任务监控【操作步骤】1.命令行运行电商数据分析程序，查看执行情况查看是否有以下重要信息输出[root@master01~]#hadoopjarCollectionApp.jar

CollectionApp/collection.txt/co_out12021-11-3022:51:40,185INFOmapreduce.Job:Runningjob:job_1638262379053_00122021-11-3022:51:44,276INFOmapreduce.Job:Jobjob_1638262379053_0012runninginubermode:false2021-11-3022:51:44,277INFOmapreduce.Job:map0%reduce0%2021-11-3022:51:48,320INFOmapreduce.Job:map100%reduce0%2021-11-3022:51:52,355INFOmapreduce.Job:map100%reduce50%2021-11-3022:51:53,360INFOmapreduce.Job:map100%reduce100%2021-11-3022:51:53,372INFOmapreduce.Job:Jobjob_1638262379053_0012completedsuccessfully2021-11-3022:51:53,435INFOmapreduce.Job:Counters:53任务5.4MapReduce任务监控2.命令行运行电商数据分析程序，在浏览器查看运行情况。更换输出目录，重新执行命令，打开浏览器查看运行情况。[root@master01~]#hadoopjarCollectionApp.jar

CollectionApp/collection.txt/co_out2任务5.4MapReduce任务监控通过状态可以看到任务是否成功执行。任务5.4MapReduce任务监控3.命令行运行电商数据分析程序，使用Hadoop命令查看运行情况再次更换输出目录，重新执行命令，新开一个终端窗口通过Hadoop命令查看任务运行情况。在新开的终端窗口中运行Hadoop命令，可以看到已有新任务生成。[root@master01~]#hadoopjarcollectionApp.jarCollectionApp/collection.txt/co_out3

[root@master01~]#mapredjob-list2021-11-3023:02:52,544INFOclient.RMProxy:ConnectingtoResourceManageratmaster01/14:80322021-11-3023:02:53,239INFOconf.Configuration:resource-types.xmlnotfound2021-11-3023:02:53,239INFO