第10讲-基于内存的计算框架Spark

第10章

基于内存的计算框架Spark

Spark系统架构

Spark的核心概念

Spark工作流程123456《大数据技术》1.Spark系统架构1.1架构概览Spark的核心组件是集群管理器（ClusterManager）和运行任务的节点（Worker），此外还有每个应用的任务控制节点（Driver）和每个节点上有具体任务的执行进程（Executor）。7《大数据技术》1.Spark系统架构1.1架构概览8《大数据技术》9《大数据技术》1.Spark系统架构1.1架构概览10《大数据技术》1.Spark系统架构1.2主要组件SparkSQL是Spark的一个组件，用于结构化数据的计算。作为Spark大数据框架的一部分，SparkSQL主要用于结构化数据处理，以及对Spark数据执行类似于SQL的查询。使用SparkSQL时，最主要的两个组件就是DataFrame和SQLContext。DataFrame是一个分布式的、按照命名列的形式组织的数据集合。DataFrame基于R语言中的DataFrame概念，与关系型数据库中的数据库类似。SparkSQL提供的SQLContext封装了Spark中所有的关系型功能。SparkSQL的其他功能还包括数据源，如JDBC数据源。JDBC数据源可用于通过JDBCAPI读取关系型数据库中的数据。11《大数据技术》1.Spark系统架构1.3spark和HDFS的配合关系12《大数据技术》2.Spark核心概念2.1RDD及其特性RDD是弹性分布式数据集：概念的含义RDD是一种编程抽象(ProgrammingAbstract)：程序设计上的对象RDD是一个容错的能够并行操作的数据集合：本质13《大数据技术》2.Spark核心概念2.1RDD及其特性14《大数据技术》2.Spark核心概念2.1RDD及其特性15《大数据技术》2.Spark核心概念2.1RDD及其特性--转换操作转换操作说明filter(func)筛选出满足函数func的元素，并返回一个新的数据集map(func)将每个元素传递到函数func中，返回的结果是一个新的数据集flatMap(func)与map()相似，但是每个输入的元素都可以映射到0或者多个输出结果groupByKey()应用于（Key，Value）键值对的数据集时，返回一个新的（Key，Iterable<Value>）形式的数据集reduceByKey(func)应用于（Key，Value）键值对的数据集时，返回一个新的（Key，Value）形式的数据集。其中，每个Value值是将每个Key键传递到函数func中进行聚合后的结果16《大数据技术》2.Spark核心概念2.1RDD及其特性--行动操作行动操作说明count()返回数据集中的元素个数first()返回数组的第一个元素take(n)以数组的形式返回数组集中的前n个元素reduce(func)通过函数func（输入两个参数并返回一个值）聚合数据集中的元素collect()以数组的形式返回数据集中的所有元素foreach(func)将数据集中的每个元素传递到函数func中运行17《大数据技术》2.Spark核心概念2.1RDD及其特性--转换操作示例1819《大数据技术》2.Spark核心概念2.2RDD的依赖关系2021RDD的依赖关系有什么用2223《大数据技术》2.Spark核心概念2.3DGA图与stage划分Spark的RDD有了上述特性，系统就能够非常好地通过RDD来表达分布式数据集，并作为构建DAG图的基础。DAG首先抽象一次分布式计算任务的逻辑表示，系统最终将任务在实际的物理计算环境中进行分布式并行处理(执行)。24《大数据技术》2.Spark核心概念2.3DGA图与stage划分25《大数据技术》3.Spark工作流程3.1SparkonYarn-cluster运行框架流程分析26《大数据技术》3.Spark工作流程3.1SparkonYarn-client运行框架流程分析27《大数据技术》3.Spark工作流程28《大数据技术》3.Spark工作流程3.2流程特点容错性好：现有方式是用日志记录的方式。而RDD具有天生的容错，任何一个RDD出错，都可以去找父亲节点，代价低。前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。基于DAG的Stage划分：优化了整个分布式并行计算。惰性执行：谋定后动；便于分布式计算过程管理与优化。推测执行：Speculative。本质是以空间换时间，思路就是对计算资源的压榨。如果SpeculativeTask本身变成SlowTask，会导致系统状态进一步恶化。《大数据技术》29

Spark的系统架构、主要组件，Spark的核心概念。

难点：Spark的作业运行流程和Spark的核心数据集RDD

Spark采用了情性计算机制，在代码中遇到转换操作时，并不会马上开始计算，只是记录转换的轨迹，只有当遇到行动操作时，才会触发从头到尾的计算。当遇到行动操作时会生成一个作业，这个作业会被划分成若干个阶段，每个阶段包含若干个任务，各个任务会被分发到不同的节点上并行执行。基于内存的计算框架spark小结《大数据技术》30

资料开始准备必要条件(计算机、数据、软件)课程资源按计划上传百度云盘，从如下地址下载：/s