基于mapreduce空气质量数据统计分析

mapreduce12017城市日期质量等级,AQI指数当天AQI排ug/m3。mapreduce函数中key和value值该如何设置，Map为例（去掉第一行的标题字段value值为：2015/1/35356235733280.64明显看出，value值的内容是以空格作为分隔符，因此我们用空格对其进行切分并（，shufflekeyvalue键值对的值为，[2015青岛市良，1]key-valuekeyvalue值进行归并，最终得到key-valuereduce。如：[2015青岛市良，[[1]，[1]，...，[1]]]。Reduce以城市、年份和空气质量作为key值，value为1，代码如下：packageimportimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;publicclassair protectedvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Stringline=String[]fields=line.split(",");Stringdate=fields[1];String[]t1=date.split("-");Stringyear=t1[0];Stringarea=fields[0];Stringassess=fields[2];Stringnewkey=year+""+area+"}}publicstaticclassDCReducerextendsReducer<Text,LongWritable,Text,protectedvoidreduce(Textkey,I ble<LongWritable>values,ContextthrowsIOException,InterruptedException{longsum=0;for(LongWritablebean:values){longa=bean.get();sum=sum}}}publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();Jobjob=Job.getInstance(conf);FileInputFormat.setInputPaths(job,newPath(args[0]));FileOutputFormat.setOutputPath(job,newPath(args[1]));}}22015年市无污染的天数为206天，2016年为216天，2017年为252天2015300天，2016321天，20173252015年市无污染的天数为363天，2016年为364天，2017年为362天2015年市无污染的天数为220天，2016年为260天，2017年为284天2015134天，2016189天，20172002015284天，2016307天，2