2024大数据监控分析工具规范

前 目 GB/T5271.1-2000GB/T35295-2017GBT35589-2017大数据监测和分析工具（Bigdatamonitoringandanalysis指标收集（Dataindex数据分析（Data保存指标(Savedata可视化(Data服务指标（Dataservice服务指标是BigDeterBigDeter任务指标（Datataskindicator）节点指标（Datanodeindicator）服务日志（Service计数器（Datacounter）作业（执行器（Executor）溢写率（SpillWriteRate大数据核心索引系统包括HDFSYARNHDFSNameNode、DataNode、JournalNodeNameNodeHDFS节点，journalNode负责Guarantea。ctivenAmenodestandbynamenodeeditlogJVMContext:包含JVMMetricsJavarpccontext:远程过程调用上下文索引，包括rpcretrycache,DFSContext:分布式文件系统的上下文相关元，包括NameNode、FsNameSystem、JournalNodeDataNode,FSVolume,RouterrPCMetrics,UGIContext:包括UgimetricsMetricssystemContext:包含MetricssystemFdefaultcontextYarnHadoopResourceManager、NodeManager、Container资源的统一管理和分配NodeManagerContainerCPUYarnContainerMetrics:UGIContext:包含Ugimetricsmetricssystemcontext:包含metricssystemdefaultcontext:MapReduceSpark点是都为大规模数据集提供并行计算。MapReduceComputeEngine是基于非内存的计算框架，SparkComputeEngineMapReduceTaskIndexTaskCountersFileSystemCounters:MapReduce的读取/写入数据大小，HDFSJobCounters:任务指标，MapEndReduceEndmap-reducemap-reducemapreduce割成多个阶段，每个阶段又可以被分割成多个任务。ExecutorTasksMetric:ExecutorIndex:根据Executor存储器:暂时保存CPU网络IO:盘IO:负载:表示操作系统CPUCPU机器硬件信息:CPUCPUCPUCPUB)DataNode3C)基于RESTAPIAgent，从RESTAPI30Dresultthreshold我们的任务包括MapReduceSpark和Hive。我们对指标进行分低。根据GC的比例CPU41%以下的比例是健康的，12%的比例是需要优化的，34%以上的比例是必须优化的。60%以上(健康)、50%-60%(optimistable4050optimistable4050%(optimistable)40%，我们必须优化。2，这意味着几乎所有记录都在盘中覆盖30Dresultthreshold日志的错误分析Warn格式:项目名称_indexclass_cluster项目名称:不同的服务。大数据生态系统的核心项目有NameNode，DataNode，ResourceManager,NodeManager,HiveServer,指标是JVMMetrics，RPC、UGI、ClusterMetrics公式:指标详细类_计算方式。A2指定的监视控制卡组。格式:<key,value，例如<IP,172.10.0.