大数据分析技术应用-Spark简介

Spark简介学习目标什么是SparkSpark发展历史Spark核心模块132知识思政技能Spark

与Hadoop区别吃苦耐劳科学探索精神技术前提Centos7.0Hadoop生态圈什么是Spark？Spark它是一个用于大规模数据处理的实时计算引擎。Spark是基于内存计算的大数据并行计算框架，可用于构架大型的、低延迟的数据分析应用程序。

Spark是大数据的调度，监控和分配引擎。它是一个快速通用的集群计算平台。Spark扩展了流行的MapReduce模型。Spark提供的主要功能之一就是能够在内存中运行计算。但对于在磁盘上运行的复杂应用程序，系统也比MapReduce更有效。Spark发展历史？2009年，Spark诞生于伯克利大学的AMPLab实验室2010年，伯克利大学正式开源了Spark项目2013年6月，Spark成为了Apache基金会下的项目2014年2月，Spark以飞快的速度成为了Apache的顶级项目2015年至今，Spark变得愈发火爆，大量的国内公司开始重点部署或者使用Spark。Spark与Hadoop？Hadoop存在的缺点：表达能力有限，只提供了Map与Reduce难以表达过于复杂的计算模型。磁盘开销过大：计算过程会将中间过程写入磁盘，下个过程再从磁盘中取出。高延迟：任务之间的衔接涉及IO开销；下个任务的执行依赖于上个任务的结果，这样就造成了其无法完成过于复杂、多阶段的计算任务。Spark与Hadoop？Spark主要具有如下优点：相比于HadoopMapReduce，Spark主要具有如下优点：Spark的计算模式也属于MapReduce，但不局限于Map和Reduce操作，还提供了多种数据集操作类型，编程模型比HadoopMapReduce更灵活Spark提供了内存计算，可将中间结果放到内存中，对于迭代运算效率更高Spark基于DAG的任务调度执行机制，要优于HadoopMapReduce的迭代执行机制Spark使用场景在实际应用中，大数据处理主要包括以下三个类型：复杂的批量数据处理：时间跨度通常在数十分钟到数小时之间；基于历史数据的交互式查询：时间跨度通常在数十秒到数分钟之间；基于实时数据流的数据处理：时间跨度通常在数百毫秒到数秒之间。Spark生态系统Spark的生态系统主要包含了SparkCore、SparkSQL、SparkStreaming、MLLib和GraphX等组件。Spark运行架构Spark基本概念：RDD：是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。DAG：反映RDD之间的依赖关系。Application：用户编写的Spark应用程序。Executor：是运行在工作节点（WorkerNode）的一个进程，运行Task。Task：运行在Executor上的工作单元。Job：一个Job包含多个RDD及作用于相应RDD上的各种操作。Stage：一个Job会分为多组Task，每组Task被称为Stage。Spark运行架构Spark运行架构的设计：1、ClusterManager:集群资源管理器，可以是自带的Mesos也可以是Yarn2、WorkerNode:运行作业任务的工作节点3、Driver：每个应用的任务控制节点4、Executor：每个工作节点负责具体任务的执行过程Spark运行架构Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave