下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、技术创新,变革未来MapReduce技术深入理解内容MapReduce 编程模型MapReduce内部逻辑MapReduce输入格式 MapReduce输出格式MapReduce1运行机制MapReduce 编程模型(1)以WordCount为例,很多MR程序都可以套用 WordCount的思路,如电商网站中统计最流行的N 个搜索词,帮助优化搜索词提示MapReduce 编程模型(2)map和reduce函数遵循如下常规格式:map 函数将每个单词转化为key/value对输出,这里key为 每个单词,value为词频1。(k2,v2)是 map 输出的key/value 中间结果对。redu
2、ce 将相同单词的所有词频进行合并,比如将单词k2,词频为list(v2),合并为(k3,v3)。reduce 合并完之后,最 终输出一系列(k3,v3)键值对MapReduce内部逻辑(1)MapReduce内部逻辑(2)Split:HDFS 中的数据以 Split 方式作为 MapReduce 的 输入Block 是 HDFS 术语,Split 是 MapReduce 术语通常1个 Split 对应1个 block,也可能对应多个block,具 体是由 InputFormat 和压缩格式决定的默认情况下,使用的是 TextInputFormat,这时1个Split对 应1个block,上图
3、4个Split对应4个BlockMapper解析出的数据输出到本地磁盘上MapReduce内部逻辑(3)Map阶段由一批同时运行的Map Task 组成,每个 Map Task由3个部分组成:InputFormat:对输入数据格式进行解析,默认为TextInputFormat,key代表每行偏移量,value代表每行数 据内容。Mapper:输入数据处理Partitioner:数据分组, Mapper 的输出key会经过 Partitioner 分组选择不同的Reduce。默认Partitioner 会对 map 输出的key进行hash取模,比如有6个Reduce Task, 它就是模(mo
4、d)6,如果key的hash值为0,就选择第0个 Reduce Task。这样不同的map 对相同key,它的 hash 值 取模是一样的MapReduce内部逻辑(4)Reduce 阶段由一批同时运行的 Reduce Task 组成,每个Reduce Task由4个部分组成:Shuffle: Reduce Task 远程拷贝每个 map 处理的结果,从每个 map 中读取一部分结果,每个 Reduce Task 拷贝哪 些数据,是由 Partitioner 决定的Sort:读取完数据后,会按照key排序,相同的key被分到 一组Reducer:数据处理,以WordCount为例,对相同的ke
5、y计词频数OutputFormat:数据输出格式, Reducer 的结果将按照 OutputFormat 格式输出,默认为 TextOutputFormat ,以 WordCount为例,这里的key为单词,value为词频数MapReduce 内部逻辑(5)缓冲区默认为100M,由io.sort.mb属性控制缓冲区快要溢出时(默认为缓冲区大小的80%,由 io.sort.spill.percent属性控制),写磁盘,最后合并, reduce端也一样,reduce端拿到的map端数据是按key排序MapReduce输入格式MR输入格式FileInputFormat所有使用文件作为数据源的 I
6、nputFormat 的基类作用是设置作业的输入文件位置FileInputFormat 提供了四种静态方法来设定 Job 的输入路径MR输入格式TextInputFormat默认的 InputFormat键是存储该行在Block中的字节偏移量值是这行的内容,不包括任何行终止符MR输入格式KeyValueTextInputFormat每一行被分隔符(缺省是t)分割为key和valuekey和value都是Text类型通 过 mapreduce.input.keyvaluelinere cordreader.key.value.separator设定分隔符MR输入格式NLineInputForma
7、t每个Mapper 收到固定行数的输入键是存储该行在Block中的字节偏移量值是这行的内容,不包括任何行终止符N值由mapreduce.input.lineinputformat.linespermap 属性设定。MapReduce输出格式MR输出格式 文本输出默认输出格式是 TextOutputFormat每条记录写为文本行每个键/值对由制表符进行分割设定 mapreduce.output.textoutputformat.separator 属性 改变默认的分隔符NullWritable 可省略输出的键或值两者都省略,相当于 NullOutputFormat ,什么也不输出MapReduc
8、e1运行机制(1)和HDFS一样,MapReduce也是采用Master/Slave的架构MapReduce1包含4个部分:Client、JobTracker、TaskTracker和TaskMapReduce1运行机制(2)MapReduce1运行机制(3)MapReduce1运行机制(4)Client将JAR文件、配置参数Configuration、计算分片、Distributed Cache 文件存储在HDFS向 JobTracker 申请JobIdJobTracker:负责资源监控和作业调度监控所有TaskTracker 与job的健康状况,一旦发现失 败,就将相应的任务转移到其他节点
9、跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉作业调度器调度器会在资源出现空闲时,选择合适的任务使用这些资源MapReduce1运行机制(5)TaskTracker:周期性地通过Heartbeat 将本节点上资源的使用情况 和任务的运行进度汇报给JobTracker接收JobTracker 发送过来的命令并执行相应的操作( 如启动新任务、杀死任务等)使用“slot”等量划分本节点上的资源量,“slot”代表计算 资源(CPU、内存等)分配给Task 使用Task:分为Map Task 和Reduce Task 两种,均由TaskTracker 启动Map Task 和Reduce Task 分别使用Map slot 和Reduce slotMapReduce1运行机制(6) 容错JobTracker:存在单点故障,一旦出现故障,整个集群 就不可用,出现故障之后重启一下,再把作业重新提交就可 以了,它不会像 HDFS 那样出现数据的丢失TaskTracker:周期性向 JobTracker 汇报心跳,如果一 定时间内没有汇报,JobTracker 就认为该TaskTracker 挂掉 了,或者TaskTracker上运行的Task失败次数太多,就会把 上面所有任务调度到其它TaskTracker上Task:MapTask和ReduceTask
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027届湖北省十堰市高三第六次模拟考试高考物理试卷(含答案解析)
- 十五五用户洞察:银发族对智能慢病管理付费意愿的深度调研
- 十五五出海战略中智能健康监测内衣在东南亚市场破局点
- 建筑空间革新:智能多功能训练椅重塑社区微型健身空间场景
- 双碳目标约束下:电动滑板车能否成为传统两轮车的第二曲线
- 双碳约束下智能合页:能否成为绿色建材行业的“第二曲线”
- 区块链赋能智慧交通:跨域数据共享与智能合约自动结算
- 行风学习教育培训制度2篇
- 2026年亚健康改善策略报告:运动康复行业体态管理创新案例
- 2026年汽车后市场消费提振措施分析报告
- 湖北武汉华师一附中2027届高三上学期11月期中考试数学试卷
- 2026年统编版新教材二年级上册道德与法治第11课《可亲可敬的家乡人》第2课时 可敬的家乡人 教学课件
- (统编新教材2027)八年级道法上册核心考点(填空版+背诵版)
- 2026年信托从业资格信托实务题库带答案
- 2026知识产权法考试题(含答案)
- 介入患者的围手术期的护理
- 安徽省建设工程工程量清单计价规程(2026版)
- 2026年中医康复理疗师题库及参考答案
- 长征胜利 90 周年 赓续长征血脉 坚守教书育人初心使命课件
- 2026年广东省职业病诊断医师试题(职业性放射性疾病)(附答案)
- 2026 年掌握消防技能守护生命安全课件
评论
0/150
提交评论