版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
MapReduceapi基本概念1、掌握MapReduceapi的基础概念
2、了解序列化、Reporter参数
3、理解对调机制1、序列化
2、Reporter参数
3、对调机制
序列化是指将结构化对象转为字节流以便于通过网络进行传输或写入持久存储的过程。反序列化指的是将字节流转为结构化对象的过程。在HadoopMapReduce中,序列化的主要作用有两个:永久存储和进程间通信。序列化为了能够读取或者存储Java对象,MapReduce编程模型要求用户输入和输出数中的key和value必须是可序列化的。在HadoopMapReduce中,使一个Java对象可序列化的方法是让其对应的类实现Writable接口。但对于key而言,由于它是数据排序的关键字,因此还需要提供比较两个key对象的方法。为此,key对应类需实现WritableComparable接口,它的类如图所示。
序列化
Reporter是MapReduce提供给应用程序的工具。如下图所示,应用程序可使用Reporter中的方法报告完成进度(progress)、设定状态消息(setStatus)以及更新计数器(incrCounter)。Reporter参数Reporter参数 Reporter是一个基础参数。MapReduce对外提供的大部分组件包括InputFormat、Mapper和Reducer等,均在其主要方法中添加了该参数。
回调机制是一种常见的设计模式。它将工作流内的某个功能按照约定的接口暴露给外部使用者,为外部使用者提供数据,或要求外部使用者提供数据。HadoopMapReduce对外提供的5个组件(InputFormat、Mapper、Partitioner、Reducer和OutputFormat)实际上全部属于回调接口。当用户按照约定实现这几个接口后,MapReduce运行时环境会自动调用它们。回调机制对调机制
如图所示,MapReduce给用户暴露了接口Mapper,当用户按照自己的应用程序逻辑实现自己的MyMapper后,HadoopMapReduce运行时环境会将输入数据解析成ke
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年色淀红类项目发展计划
- 2024年基础外科手术器械合作协议书
- 2024-2030年全球及中国导电微球行业发展动态及投资趋势预测报告
- 2024-2030年全球及中国化妆品级1,2-己二醇行业应用态势及盈利趋势预测研究报告
- 2024-2030年全球与中国移动应用商店行业市场发展分析及前景趋势与投资研究报告
- 2024-2030年全球与中国汽车检测设备行业盈利态势及前景动态预测报告
- 2024-2030年全球与中国成品家具市场营销策略与销售规模预测研究报告版
- 2024-2030年光纤光缆材料市场前景分析及投资策略与风险管理研究报告
- 2024-2030年光催化二氧化钛行业市场现状供需分析及市场深度研究发展前景及规划投资研究报告
- 2024-2030年儿童电影市场发展现状分析及行业投资战略研究报告
- 腹腔镜肾部分切除术护理查房
- 封条模板A4直接打印版
- 2021学堂在线网课《生活英语读写》课后作业单元考核答案
- 付款申请单-采购请款单
- 双减背景下的作业设计与实施优秀案例PPT
- 角角边定理 详细版课件
- (完整版)高考全国卷理综答题卡
- 松木桩地基处理计算表格(自动版)
- 机动车排放检验比对试验报告
- 疼痛的护理课件
- 《装在套子里的人》课件16张 2021-2022学年统编版高中语文必修下册
评论
0/150
提交评论