01-资料02_spark-core之离线计算Spark内核

Spark 内核内核 RDD RDD（Resilient Distributed Dataset ) 五大特性： A list of partitions A function for computing each partition A list of dependencies on other RDDs Optionally, a Partitioner for key-value RDDs shuffle的时候 Optionally, a list of preferred locations to compute each split on task计算的数据本地化 Lineage血统血统 Spark任务执行流程任务执行流程 代码代码流程流程 分布式文件系统（File system）-加载RDD transformations延迟执行-针对RDD的操作 transformations是某一类算子(函数) Action触发执行 Action也是一类算子(函数) 代码示例代码示例 lines = sc.textFile(“hdfs:/.”) errors = lines.filter(_.startsWith(“ERROR”) Mysql_errors = errors.filter(_.contain(“MySQL”).count http_errors = errors.filter(_.contain(“Http”).count 转换算子转换算子 行动行动算子算子 WordCount scala java RDD的持久化的持久化 这伪代码有瑕疵 RDD的持久化 cache persist checkpoint lines = sc.textFile(“hdfs:/.”) errors = lines.filter(_.startsWith(“ERROR”) Mysql_errors = errors.filter(_.contain(“MySQL”).count http_errors = errors.filter(_.contain(“Http”).count RDD持久化级别持久化级别 术语解释术语解释 Master(standalone)：资源管理的主节点(进程) Cluster Manager：在集群上获取资源的外部服务(例如standalone,Mesos,Yarn ) Worker Node(standalone)：资源管理的从节点(进程) 或者说管理本机资源的进程 Application：基于Spark的用户程序，包含了driver程序和运行在集群上的executor程序 Driver Program：用来连接工作进程（Worker）的程序 Executor：是在一个worker进程所管理的节点上为某Application启动的一个进程，该进 程负责运行任务，并且负责将数据存在内存或者磁盘上。每个应用都有各自独立的 executors Task：被送到某个executor上的工作单元 Job：包含很多任务(Task)的并行计算，可以看做和action对应 Stage：个Job会被拆分很多组任务，每组任务被称为Stage(就像Mapreduce分map task 和reduce task一样) 窄依赖和宽依赖窄依赖和宽依赖 Stage切割规则切割规则 Stage的计算模式的计算模式 一个stage(RDD之间都是窄依赖)内进行pipeline操作 MapReduce的计算模式：1+1=2 2+1=3 Spark的计算模式是1+1+1=3 任务调度任务调度 广播变量广播变量 广播变量. 累加器累加器 集群规模的变量. Spark Standalone Master HA Master HA zookeeper File System 高级算子高级算子 高级算子 自定义Spark输入以及输出类型 Shuffle shuffle. Shuffle File寻址寻址 MapOutputTracker MapOutputTrackerMaster MapOutputTrackerWorker BlockManager BlockManager BlockManagerMaster BlockManagerSlave TopN、GroupTopN、SecondarySort TopN GroupTopN SecondarySort PV UV HotChanne