版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据项目开发——单词统计分析-Reducer代码实现目录content02Reducer类的编写01Mapper类的编写03Driver类的编写Reducer类的编写Mapper类编写完成之后,需要编写Reducer类新建WordCountReducer类,该类继承了org.apache.hadoop.mapreduce.Reducer类。并重写了reduce()方法,键值相同的数据会在同一个Reduce任务中处理,WordCountReducer类的代码如图所示:Reducer类的编写importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer;publicclassWordcountReducerextendsReducer<Text,IntWritable,Text,IntWritable>{ @Override protectedvoidreduce(Textkey,Iterable<IntWritable>values, Contextcontext)throwsIOException,InterruptedException{ intcount=0; Iterator<IntWritable>iterator=values.iterator(); while(iterator.hasNext()){ IntWritablevalue=iterator.next(); count+=value.get();//对相同键值的单词键值进行累加 } context.write(key,newIntWritable(count)); }}Reducer类的编写在代码中使用extends关键字继承Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>类;该Reducer功能主要用来实现对相同键值的单词键值进行累加;此时Mapper的输出,经过Shuffle过程,成为Reducer的输入;所以Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>数据类型与Mapper输出的数据类型一致,即Reducer<Text,IntWritable,Text,IntWritable>。Reducer类的编写KEYIN为Mapper任务key的输出类型,也等同于Reducer任务key的输入类型;VALUEIN为Mapper任务value的输出类型,也等同于Reducer任务value的输入类型;KEYOUT为Ruducer任务中reduce方法要返回的结果Key-Value中的key的数据类型,在WordCount逻辑中,需要输出的单词是字符型,在MapReduce中使用Text;VALUEOUT为Ruducer任务中reduce方法要返回的结果Key-Value中value的数据类型,在wordcount逻辑中,需要输出的单词数量是整数,在MapReduce中使用IntWritable。重写reduce方法然后需要重写reducer方法;上述代码中对map方法的重写,可以通过快捷键实现,使用Alt+Insert组合键会出现提示,如下所示:重写reduce方法在生成类的各项基本方法界面中选择OverrideMethods,出现可以重写的方法,选择重写方法界面如右图所示:重写reduce方法删除此行选中要重写的方法之后,会出现如图代码,将代码中的super.reduce(key,values,context);删除。intcount=0;Iterator<IntWritable>iterator=values.iterator();while(iterator.hasNext()){//判断是否还有元素 IntWritablevalue=iterator.next();//获取下一个元素 count+=value.get();//对相同键值的单词键值进行累加}context.write(key,newIntWritable(count));重写reduce方法在reduce
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 数字化赋能:禹通市政工程有限公司成本核算业务管理系统的构建与实践
- 2026年上半年防震减灾工作总结及下半年工作计划(2篇)
- 数字化赋能:增量房交易税收征管系统的设计与实现
- 数字化赋能:中小学校舍安全工程的信息化变革与实践
- 数字化浪潮下证券公司网络升级的创新变革与实践方案
- 数字化浪潮下湖北移动公司市场发展策略的创新与突破
- 数字化浪潮下广西华运公司发展战略的深度剖析与转型路径
- 数字化浪潮下QP科技公司发展战略转型与升级研究
- 2025 可爱植物作文课件
- 2025年前台形象能力测试
- 【新高教版中职数学基础模块下册PPT】7.2旋转体
- 绝对最大弯矩公式
- 维克多高中英语3500词汇
- 水稻幼穗发育
- 疗养院新康复大楼lte室内分布测试报告
- 全国优质课一等奖小学四年级道德与法治下册《学会合理消费》(精品课件)
- 核磁共振上册氢谱
- 皮肤科常见疾病康复
- 输气管道毕业论文输气管道工程初步设计
- 第3章物流类型
- 烹饪化学教程课件
评论
0/150
提交评论