版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据项目开发——单词统计分析-Reducer代码实现目录content02Reducer类的编写01Mapper类的编写03Driver类的编写Reducer类的编写Mapper类编写完成之后,需要编写Reducer类新建WordCountReducer类,该类继承了org.apache.hadoop.mapreduce.Reducer类。并重写了reduce()方法,键值相同的数据会在同一个Reduce任务中处理,WordCountReducer类的代码如图所示:Reducer类的编写importjava.io.IOException;importjava.util.Iterator;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Reducer;publicclassWordcountReducerextendsReducer<Text,IntWritable,Text,IntWritable>{ @Override protectedvoidreduce(Textkey,Iterable<IntWritable>values, Contextcontext)throwsIOException,InterruptedException{ intcount=0; Iterator<IntWritable>iterator=values.iterator(); while(iterator.hasNext()){ IntWritablevalue=iterator.next(); count+=value.get();//对相同键值的单词键值进行累加 } context.write(key,newIntWritable(count)); }}Reducer类的编写在代码中使用extends关键字继承Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>类;该Reducer功能主要用来实现对相同键值的单词键值进行累加;此时Mapper的输出,经过Shuffle过程,成为Reducer的输入;所以Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>数据类型与Mapper输出的数据类型一致,即Reducer<Text,IntWritable,Text,IntWritable>。Reducer类的编写KEYIN为Mapper任务key的输出类型,也等同于Reducer任务key的输入类型;VALUEIN为Mapper任务value的输出类型,也等同于Reducer任务value的输入类型;KEYOUT为Ruducer任务中reduce方法要返回的结果Key-Value中的key的数据类型,在WordCount逻辑中,需要输出的单词是字符型,在MapReduce中使用Text;VALUEOUT为Ruducer任务中reduce方法要返回的结果Key-Value中value的数据类型,在wordcount逻辑中,需要输出的单词数量是整数,在MapReduce中使用IntWritable。重写reduce方法然后需要重写reducer方法;上述代码中对map方法的重写,可以通过快捷键实现,使用Alt+Insert组合键会出现提示,如下所示:重写reduce方法在生成类的各项基本方法界面中选择OverrideMethods,出现可以重写的方法,选择重写方法界面如右图所示:重写reduce方法删除此行选中要重写的方法之后,会出现如图代码,将代码中的super.reduce(key,values,context);删除。intcount=0;Iterator<IntWritable>iterator=values.iterator();while(iterator.hasNext()){//判断是否还有元素 IntWritablevalue=iterator.next();//获取下一个元素 count+=value.get();//对相同键值的单词键值进行累加}context.write(key,newIntWritable(count));重写reduce方法在reduce
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年度开封水务投资集团有限公司招聘6名笔试模拟试题及答案详解
- 2026贵州六盘水市水城区“特岗计划”招聘20人笔试参考题库及答案详解
- 2026年大庆石油化工总厂职工医院医护人员招聘笔试备考题库及答案解析
- 2026年邢台市骨科医院医护人员招聘笔试备考题库及答案解析
- 2026年宜兴市周铁医院医护人员招聘笔试备考题库及答案解析
- 2026湖南益阳市资阳市雁江区、安岳县、乐至县医疗卫生辅助岗人员招募100人笔试备考题库及答案详解
- 2026天风证券股份有限公司管理中心岗位招聘1人笔试参考题库及答案详解
- 2026广东深圳市宝安区石岩街道中心幼儿园(集团)招聘9人笔试模拟试题及答案详解
- 2026年吉林省吉林市事业单位公开招聘工作人员1240人(含专项招聘高层次高校毕业生、基层治理专干)笔试备考试题及答案详解
- 2026福建莆田市湄洲岛国家旅游度假区山亭镇平安协会招聘员工1人笔试参考题库及答案详解
- 农行农户贷款借款合同模板
- 五年级下册道德与法治期末测试卷附参考答案(巩固)
- 双氧水罐罐区安全设计规范
- 爱国教育主题班会-学习红色文化 弘扬革命精神 课件
- 2024年河北省中考语文真题试卷及答案
- 2024年湖北省中考数学真题试卷及答案
- 2024年河北省石家庄市中考地理试题(含答案)
- 小学四年级下册数学期末测试试卷带答案(完整版)
- 乳腺乳管镜检查手术
- 各国打招呼方式简介课件
- 起重工理论知识试卷
评论
0/150
提交评论