二期线上班课程二课件3、mapreduce工作原理剖析_第1页
二期线上班课程二课件3、mapreduce工作原理剖析_第2页
二期线上班课程二课件3、mapreduce工作原理剖析_第3页
二期线上班课程二课件3、mapreduce工作原理剖析_第4页
已阅读5页,还剩7页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、Hadoop基础篇讲师:Cloudy(北风网 )3、Mapreduce工作原理剖析什么是Mapreduce?MapReduce, MR 是一种编程模型,用于大规模数据集(大于1TB)的并行运算(批处理)。提供一套简单的API,开发人员可以基于API开发应用程序,进而利用分布式平台进行数据处理。Mapreduce架构图Master/Slave 架构主节点JobTracker,管理Job,不一定必须运行在Namenode上,可以运行在任何节点上。通常不和NN放在一台机器上。子节点TaskTracker,执行task增加TaskTracker节点数,达到水平扩容(HDFS是增加Datanode节点数

2、进行扩容),通常运行在Datanode上。架构图老师学生不是平均分配调度算法:1、先进先出 FIFO2、公平调度,最大Map数和最大Reduce数3、容量调度,资源隔离 需要3选1工作流程JobTracker 进程单点。随时作业量增大,负载增大。而NN的负载通常比较低。相当于那个懒老师,负责接收客户端作业,分配作业给学生(TaskTracker)。JobTracker是整个MapReduce计算框架中的主服务(进程),相当于集群的“管理者”,负责整个集群的作业控制和资源管理。JobTracker后台程序用来连接应用程序与HDFS。用户代码提交到集群以后,由JobTracker决定哪个文件将被处

3、理,并且为 不同的task分配节点。同时,它还监控所有的task,一旦某个task失败了,JobTracker就会自动重新开启这个task,在大多数情况下这 个task会被放在不用的节点上。每个Hadoop集群只有一个JobTracker,可以运行在集群的任意节点上(不仅仅是Master节点)。通常部署JobTracker的节点,不开启TaskTracker进程。就像NN节点上不开启Datanode进程一样。TaskTracker 进程相当于场景中的学生,负责实际干活。TaskTracker位于子节点(即Datanode上),独立管理各自的task。每个TaskTracker负责独立执行具体的

4、task,而 JobTracker负责分配task。每个TaskTracker可并行处理多个map以及reduce任务。TaskTracker的一个重要职责就是与JobTracker交互。如果 JobTracker无法准时地获取TaskTracker提交的信息,JobTracker就判定TaskTracker已经崩溃,并将任务分配给其他节点处理。Map-Reduce处理过程基于硬盘的计算,少量数据在内存里(对内存无压力),hive里的mapjoin可以把数据放在内存里处理;1、指定input目录,作为数据源2、中间结果落地到HDFS,作为下一步数据源map key-valuereduce ke

5、y-values ,相同key的value组合在一块 map数是有输入目录的文件数和文件大小决定。4个小文件和1个80M的文件(block是64M),产生map数6.shuffle:混淆节点间数据combine:相同的key进行组合合并Reduce:key-valuesMR执行过程Map:加载input数据,通常一个文件(不足一个 Block大)起一个map线程。超过Block大的文件,会Split多个文件,起多个map线程。如Block大小是64M,一个80M的文件会起2个map。 key-value 键值对。Shuffle:分别在不同节点上的相同的key,需要合并,所以先混淆(全部数据节点上的input数据)一下。Combine:由于相同的key需要发送到同一个reduce上,所以必须把相同的key合并。Reduce:相同的key会有同一个reduce接收和汇总,结果为key-values更详细,见 Mapreduce 数据倾斜不怕数据量大,就怕数据倾斜。MR里同一个key,只能发由同一个reduce处理。必须这样,否则无法全局汇总。普通key的value数是100个,个别超过10万个。数据倾斜的根本原因(面试常问):1、key分布不均衡,有的过于集中。倾斜在Reduce阶段。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论