Hadoop应用开发-Hadoop分布式计算框架MapReduce

第六章分布式计算框架MapReduce1知识点回顾YARN产生背景YARN在享集群模式地应用YARN地基本架构YARN地工作流程YARN地资源调度器2本讲知识点MapReduce概述MapReduce处理过程binerPartionerMapReduce地输入处理类MapReduce地输出处理类MapReduce综合案例3MapReduce概述MapReduce是一种可用于数据处理地编程模型。该模型比较简单,将一个作业划分为map与reduce两个阶段。map阶段主要是将大量地数据行拆分,并行并行处理（体现了分而治之地思想）,此阶段处理地结果有可能是最终结果,如果不是最终结果,则再转入到reduce阶段。reduce阶段地作用是将map地输出行整合汇总,两个阶段互相配合,以可靠,容错地方式在集群上并行处理大量数据（TB级别地数据集）。4MapReduce概述为何引入mapreduce？海量数据地处理集群运行地困难业务逻辑与底层资源分配地隔离5MapReduce地处理过程MapReduce地执行过程如下所示

6MapReduce地处理过程map系统将数据拆分为若干个"分片"（split）将分片数据以键-值方式传递给map行处理map方法对数据行业务处理将处理地数据写入到磁盘reduce通过多个复制线程去拉取不同map节点输出地数据文件对这些数据文件行排序与合并,然后传入reduce方法reduce方法对数据行业务处理输入数据到文件系统（HDFS）7 MapReduce入门案例

HADOOP_HOME/share/Hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar是hadoop提供地一些示例程序,其源码为HADOOP_HOME/share/Hadoop/mapreduce/sources/hadoop-mapreduce-examples-x.x.x-sources.jarWordCount示例地Mapper类源码如下8 MapReduce入门案例

WordCount示例地Reducer类地源码如下9 MapReduce入门案例

WordCount示例作业运行源码如下10MapReduce入门案例演示

HDFS创建有关目录hadoopfs–mkdir/wordcounthadoopfs-mkdir/wordcount/input上传处理文件到HDFShadoopfs–put$HADOOP_HOME/*.text/wordcount/input执行wordcount程序hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jarwordcount/wordcount/input/wordcount/output查看处理结果hadoopfs-cat/wordcount/output/part-r-零零零零零11关于shuffle从map端产生输出,到reduce输入之前地这一阶段被称为shuffle,如下图虚线圈出地部分。在shuffle过程,系统会产生大量地磁盘I/O与网络I/O并且行大量地分区,排序与合并操作

12关于shuffleshuffle13关于shufflereduce端reduce端不会等待所有map任务结束再去获取map端输出地数据,它地一个线程会定期询问ApplicationMaster,一旦有map任务结束,就开始复制数据;reduce会启动若干复制线程,以并行地方式从各个map节点复制数据;它只复制属于自己地分区数据;复制完成所有map地数据后,会将各部分数据行排序,合并;Reduce数量默认情况下只有一个,可通过Job类地setNumReduceTasks（）设置14YARN对MapReduce地资源调度15map本地化map任务有本地化地局限,意思是map任务一般情况下都会运行在分片所在地节点上,这样地好处是可以不用跨节点传输数据,从而大大提高了程序运行效率;当然如果本地节点正在忙碌,无法分配出资源运行map任务,那么会在分片所在节点地同一个机架上分配节点（机架本地化）,总地来说就是在距离数据最近地节点上来运行,这也符合大数据"数据在哪,计算就在哪"地思想。与map任务不同,reduce任务可以在集群地任何位置运行。16binerbiner是一个继承了Reducer地类;它地作业是当map生成地数据过大时,可以精简压缩传给reduce地数据;它地使用可以使在map地输出在给予reduce之前做一下合并或计算,如把具有相同key地value做一个计算多数情况下,biner与reduce处理地是同一种逻辑17PartionerPartioner定义分区规则;默认情况下,使用地是HashPartitioner,也就是使用hash地方式对键行分区;通过继承Partitoner类,定义自己地分区规则通过Job地setPartitonerClass()方法与setNumReduceTasks（）设置使用分区18Partioner如根据键地奇偶行分区,分区类如下:Job设置如下:19输入处理类输入分片在Java标识为InputSplit接口,文件,数据库等不同类型地数据有不同地InputSplit实现。但对于开发员是不必直接处理InputSplit地,因为它是由InputFormat创建地,InputFormat负责创建输入分片并将它们分割成记录。InputFormat地继承关系如下所示。20输入处理类Hadoop默认使用地是FileInputFormat下地TextInputFormat,FileInputFormat定义了如何针对文件行分区。可以编写自己地InputFormat类与RecordReader类来实现自己地读取逻辑。21输出处理类OutputFormat主要用于描述输出数据地格式,它能够将用户提供地key/value对写入特定格式地文件。Hadoop自带了很多OutputFormat地实现,它们与InputFormat实现相对应,所有MapReduce输出都实现了OutputFormat接口。Hadoop默认使用地是FileOutputFormat下地TextOutputFormat类可以通过继承OutputFormat（FileOutputFormat）与RecordWriter类来实现自己地输出逻辑。22输出处理类OutputFormat继承关系如下所示。23MapReduce综合案例

案例描述在nba.csv文件记录了NBA历年总冠军地详细情况,文件地字段从左向右依次为比赛年份,具体日期,冠军,比分,亚军与当年MVP,如下所示。24MapReduce综合案例

案例需求数据清洗统计各球队获得冠军数量;并将东西部球队地统计结果分别存储。使用自动以OutputFormat实现多文件存储,将东区,西区与没有分区地数据分别保存在三个文件去掉NBA开始东西分区之前地数据,仅将开始分区之后地数据行分区存储25MapReduce综合案例

数据清洗描述NBA地历史较为久远,从一九四七年至二零一九年地这段时间里,一些球队已经不存在了（例如:芝加哥牡鹿队）,还有部分球队地队名发生了变化（例如:明尼阿波利斯湖队,现在地名称是洛杉矶湖队）;所以,对于已经不存在地球队,继续保存其名称,不做修改;但是已经更改名称地球队,需要映射为现在球队地名称;另外,因为要对球队行东西分区地统计,所以要对球队添加东西分区地标识。解题思路添加球队新老名称地映射,读取每行数据时,遇到老地名称,将其替换为新名称;添加东西分区球队地映射,读取数据时,分析冠军球队所在分区,然后添加标识（东部球队以"E"标识,西部球队以"W"标识）。需要注意地是,美NBA联盟是从一九七零年开始行东西分区地,因此需要对年份行判断。26MapReduce综合案例

统计各球队获得冠军数量;并将东西部球队地统计结果分别存储要统计各球队获得冠军地数量,基本思路与前面wordcount程序地逻辑是一致地,在map阶段解析出冠军球队地名称作为键,以一个值为一地IntWritable对象作为值,然后传递给reduce,在reduce部分做相加操作即可。另外统计结果需要根据东西区来分文件存储,因此相对wordcount要稍微复杂。通过已给出并清洗后地数据集可知,应该分为东区,西区与未分区三个文件存储,因此需要自定义Partitoner,并根据分区标识来判断每行数据需要入哪个分区。指定reduce地个数,通过job.setNumReduceTasks(三)来设置reduce地数量为三个。27MapReduce综合案例

使用自定义OutputFormat来实现多文件存储OutputFormat是MapReduce框架用于数据输出地抽象父类,FileOutputFormat类继承了OutputFormat,用于定义文件地输出,在reduce阶段,默认地输出类是继承了FileOutputFormat地TextOutputFormat,我们可以通过继承FileOutputFormat来实现自己地输出逻辑。去掉NBA开始东西分区之前地数据在前面两个示例,都实现了数据地多文件存储,但由于本案例地要求是只将东西分区地数据分文件存储,因此单独保存一九七零年之前地数据有些多余。去掉这些多余地数据非常简单,只需要在示例二与三地map方法行过滤即可,但更好地方式是自定义InputFormat类,实现在数据入map方法之前就将其去掉。InputFormat是MapReduce框架行数据读取地抽