《大数据分析技术应用》课件-31.MapReduce操作案例

MapReduce操作案例词频统计分布式计算应用目录词频统计01词频统计需求统计单词出现的次数数据样例代码实现：Mapper

publicstaticclassTokenizerMapperextendsMapper<Object,Text,Text,IntWritable>{privatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{StringTokenizeritr=newStringTokenizer(value.toString());while(itr.hasMoreTokens()){word.set(itr.nextToken());context.write(word,one);}}}词频统计代码实现：ReducerpublicstaticclassIntSumReducerextendsReducer<Text,IntWritable,Text,IntWritable>{privateIntWritableresult=newIntWritable();publicvoidreduce(Textkey,Iterable<IntWritable>values,Contextcontext)throwsIOException,InterruptedException{intsum=0;for(IntWritableval:values){sum+=val.get();}result.set(sum);context.write(key,result);}}词频统计代码实现：Mainpublicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();Jobjob=Job.getInstance(conf,"wordcount");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job,newPath(args[0]));FileOutputFormat.setOutputPath(job,newPath(args[1]));System.exit(job.waitForCompletion(true)?0:1);}分布式计算应用02数据清洗和预处理在数据挖掘和机器学习中，MapReduce常被用于数据清洗和预处理阶段，以去除噪声数据、填补缺失值等。大规模数据处理MapReduce适用于大规模数据的分布式处理，能够高效处理TB级别甚至PB级别的数据。复杂数据分析通过MapReduce编程模型，用户可以将复杂的计算任务分解为简单的Map和Reduce函数，实现复杂数据分析。分布式计算应用场景介绍排序操作MapReduce可以高效地对大规模数据集进行排序操作，例如对文本文件中的单词进行排序。分布式矩阵计算通过MapReduce模型，可以实现分布式矩阵计算，如矩阵