spark培训4架构及实现剖析

主要内内部原运行模主要内内部原运行模 概念—分布在集群中的只读对象集合（由多个Partition构成可 在磁盘或内存中（多 级别通过并行“转换”操作构失效后自动重RDD基本操作RDD基本操作可通过Scala集合或者Hadoop数据集构造一个新的通过已有的RDD产生新的举例：map，通过RDD计算得到一个或者一举例OperatorOperatorRDD

RDD

12345612345672345678MAP(+1作用在RDD上的Transformation与Transformation与ActionTransformationTransformation与Action

queryquery

beacons=beacons=spark.textFile(“hdfs://...”)cachedBeacons=8

query..••storage一个完整的实importSparkContext._objectWordCountdefmain(args:Array[String]){if(args.length!=3){println("usageisorg.test.WordCount<master><input>Master地 作业名}

依赖的jarSpark

valsc=newSparkContext(args(0),"WordCount",valtextFile=

输入数据所 ，比如valresult=textFile.flatMap(line=>.map(word=>(word,1)).reduceByKey(_+}}

主要内内部原运行模SparkSpark调度并执行Spark内部原RDD

构造操作符

wordcount—生成逻辑查询计valtextFile=valresult=.flatMap(line=>RDD[(String,.map(word=>(word,RDD[(String,RDD[(String,RDD[(String, wordcount—生成逻辑查询计 StageStageStageStagewordcount—生成物理查询计StageStageStageStage

Stage Stage

wordcount—调度并执行StageStageStageStageStageStageStageSpark中task类每个stage的task数目FirstStage:由hdfsblock或hbaseOtherStages:由用户设置，默认与第Spark中基本概念总Stage：由一系列可以并行执行的Task构DAG：RDD操作符组成的逻辑执行由若干分片（Partition）组成的并行 计算—map

partitionsortpartition,sort,combineandspillto

copy mergesort reduce

buffer

memoryandother other 计算— 计算— 计算—

reduceByKey(_+User

Local P

计算—shuffleCoreMapTask

Core MapTask

K5,K1,K5,K1,K3,K5,…

计算—shuffleTotalshufflefileM*1millionfiles,if1kmapperand1kWritebufferCore*R*256MB,if8coresand1000 计算—shuffleCore

Core

K5,…

计算—shuffleTotalshufflefilenumberM*Core*Writebuffersize–Core*R* 计算—shufflereduceByKey(_+User

Local P

计算—shuffle

PP

K5,K3,K5,K3,K1,K5,…K5,K3,K1,K5,… 计算—reduceByKey(_+

User

Local P

计算— P K3,K1,K3,K1,K5,…K5,K1,K5,K1,K3,K5,…

计算—K5,K1,K3,K5,K1,K3,K5,…

K3,K3,K1,K5,K5,f(V5,K3,K1,K5,…functionK3,K1,K5,…

计算—MemorynotK5,K5,K3,K1,

K3,K3,

K3,K3,K5,K3,K5,K3,K1,spilltoK5,K1,K5,K1,

spilltoK5,K5,K3,K1, 计算—MemorynotK1,K1,f(V1,K5,K3,K5,K3,K1,K5,K3,K1,

计算—

K5,K1,K3,K5,K5,K1,K3,K5,…K3,K1,K5,…

K3,K3,K1,K1,K5,K5,f(V5, 计算—User

1,2,1,3,1,3,

1,2,1,1,3,fNomap-side

1,(a,d,2,3,(e, 计算—shuffle比SparkMMmergegroup主要内内部原运行模Spark程序框WorkerWorkerWorker程序原型模式：独立（Standlone）模

程序原型模式：YARN分布式MRMR

AppSparkSpark20,0001.0:90,0002.0:220,000Spark生态系统Spark生态系统Sparkcore:16,000Sparkcore:16,000Blockmanager:Broadcast:Accumulators:Netw