《hadoop经典教程》PPT课件.ppt

Hadoop使用,outline,云计算概念Hadoop使用Mapreduce详解,1云计算概念,概念狭义云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。广义云计算是指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。三层模型Saas：morePaas：hadoopIaas：openstack,2019/11/19,googlevshadoop,2Hadoop使用,编写map和reduce函数运行测试命令行运行eclipse运行查看结果,2019/11/19,map,publicstaticclassTokenizerMapperextendsMapperprivatefinalstaticIntWritableone=newIntWritable(1);privateTextword=newText();publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedExceptionStringTokenizeritr=newStringTokenizer(value.toString();while(itr.hasMoreTokens()word.set(itr.nextToken();context.write(word,one);/设置keyvalue说明：map的输出key、value和reduce的输入key、value要一致，见上面红色部分,reduce,publicstaticclassIntSumReducerextendsReducerprivateIntWritableresult=newIntWritable();publicvoidreduce(Textkey,Iterablevalues,Contextcontext)throwsIOException,InterruptedExceptionintsum=0;for(IntWritableval:values)sum+=val.get();/聚集操作result.set(sum);context.write(key,result);说明：map的输出key、value和reduce的输入key、value要一致，见上面红色部分,2019/11/19,Job配置,publicstaticvoidmain(Stringargs)throwsExceptionConfigurationconf=newConfiguration();StringotherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();if(otherArgs.length!=2)System.err.println(Usage:wordcount);System.exit(2);Jobjob=newJob(conf,wordcount);/jobnamejob.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job,newPath(otherArgs0);/fileinputFileOutputFormat.setOutputPath(job,newPath(otherArgs1);/fileoutputSystem.exit(job.waitForCompletion(true)?0:1);,2019/11/19,2Hadoop使用,编写map和reduce函数运行测试命令行运行eclipse运行查看结果,命令行运行,打包mapreduce函数，wordcount.jar设类名WordCount进入hadoop安装目录$bin/hadoopjar本地jar包目录类名hdfs输入文件目录hdfs输入文件目录例子：$bin/hadoopjar/home/deke/wordcount.jarWordCounthdfs输入文件目录hdfs输入文件目录,2019/11/19,2Hadoop使用,编写map和reduce函数运行测试命令行运行eclipse运行查看结果,Eclipse配置,1.下载eclipse2.将hadoop文件夹下的contrib/eclipse-plugin/hadoop-*-eclipse-plugin.jar拷贝到eclipse文件夹下的/plugins文件夹里3.启动Eclipse4.设置Hadoop安装文件夹的路径Window-Preferences，见下一页,Eclipse配置,2Hadoop使用,编写map和reduce函数运行测试命令行运行eclipse运行查看结果61:50030/jobtracker.jsp61:50070/dfshealth.jsp,3Mapreduce详解,程序流程例子1,3Mapreduce详解,程序流程例子2,直接访问hdfs文件接口,1程序如果我们只需要访问文件系统，而不需要对文件中的数据进行处理，那么只需要使用下面的访问hdfs的接口就行了。而不需要编写mapreduce函数Stringdir=/user/nz/btc/pvint;/theinputdirectoryConfigurationconf=newConfiguration();/getconfFileSystemfs=FileSystem.get(conf);Pathpath=newPath(dir);/getthedirectoryFileStatusstat=fs.getFileStatus(path);/getdirectoryFileStatusfilelist=fs.listStatus(path);/getfilelistfor(FileStatuslist:filelist)Stringfilename=list.getPath().getName();System.out.println(result:+filename);,2019/11/19,直接访问hdfs文件接口,2命令行上传文件到hdfs：bin/hadoopfs-copyFromLocal本地文件/目录hdfs文件目录下载到本地：bin/hadoopfs-copyToLocalhdfs文件目录本地文件/目录,2019/11/19,参考文献,JefferyDean,SanjayGhemawat.:MapReduce:Simplifieddataprocessingonlargeclusters.OSDI,SanFrancisco,CA,20