文件系统计数器_第1页
文件系统计数器_第2页
文件系统计数器_第3页
文件系统计数器_第4页
文件系统计数器_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：张义目录0102Hadoop计数器文件系统计数器Hadoop计数器1Hadoop计数器测试作业性能并尝试隔离问题的最有用的方法之一是利用Hadoop的计数器。Hadoop提供了几个内置计数器，也可以设置自定义计数器。一般来说，通过一个计数器可以了解特定事件在执行作业期间发生的次数。可以如前面学习内容一样通过ResourceManagerWebUI访问应用程序的Hadoop程序计数器。Hadoop计数器通过计数器可以验证以下事情：启动以及完成的mappers和reducers的正确数量。读取输入的正确字节数，以及预期的写入输出的字节数。读取和写入的记录的正确数量（到本地文件系统和HDFS）。这项作业的CPU的使用和内存消耗。Hadoop计数器Hadoop的内置计数器分为几个计数器组，其中最重要的是如下几个：文件系统计数器作业计数器MapReduce框架计数器文件系统计数器2文件系统计数器文件系统计数器显示有关本地文件系统和HDFS中读写操作的有用信息。这是应该了解的关键计数器。下面我们来了解一下文件系统计数器的一些参数：FILE_BYTES_READ：由map和reduce任务从本地文件系统读取的总字节数。HDFS_BYTES_READ：从HDFS读取的总字节数。HDFS_BYTES_WRITTEN：

写入HDFS的总字节数。文件系统计数器FILE_BYTES_WRITTEN：写入本地文件系统的总字节数。这些写入包括map阶段的写入，即map任务将中间结果写入本地文件系统。在shuffle阶段，当排序过程中将中间结果溢出到本地文件系统时，reducer任务也会

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论