简析Spark的发展历程.ppt

简析spark-高效的分布式计算架构,Lifeisshort，youneedspark!,Spark简介与体系架构Spark的安装与配置Spark的开发与应用,Lifeisshort，youneedspark!,Spark简介与体系架构Spark的安装与配置Spark的开发与应用,Lifeisshort，youneedspark!,Spark是一个高速，通用大数据计算处理引擎。,的官方定义,官方网址/,Spark的发展历史,2009诞生于伯克利大学,2010正式开源,2013成为Apache基金项目,2016发布2.0版本,Spark发展中的学术贡献,“DiscretizedStreams:Fault-TolerantStreamingComputationatScale”.MateiZaharia,TathagataDas,HaoyuanLi,TimothyHunter,ScottShenker,IonStoica.SOSP2013.November2013.“Shark:SQLandRichAnalyticsatScale”.ReynoldXin,JoshuaRosen,MateiZaharia,MichaelJ.Franklin,ScottShenker,IonStoica.SIGMOD2013.June2013.“DiscretizedStreams:AnEfficientandFault-TolerantModelforStreamProcessingonLargeClusters”.MateiZaharia,TathagataDas,HaoyuanLi,ScottShenker,IonStoica.HotCloud2012.June2012.“Shark:FastDataAnalysisUsingCoarse-grainedDistributedMemory(demo)”.CliffEngle,AntonioLupher,ReynoldXin,MateiZaharia,HaoyuanLi,ScottShenker,IonStoica.SIGMOD2012.May2012.BestDemoAward.“ResilientDistributedDatasets:AFault-TolerantAbstractionforIn-MemoryClusterComputing”.MateiZaharia,MosharafChowdhury,TathagataDas,AnkurDave,JustinMa,MurphyMcCauley,MichaelJ.Franklin,ScottShenker,IonStoica.NSDI2012.April2012.BestPaperAwardandHonorableMentionforCommunityAward.“Spark:ClusterComputingwithWorkingSets”.MateiZaharia,MosharafChowdhury,MichaelJ.Franklin,ScottShenker,IonStoica.HotCloud2010.June2010.,Spark发展中的学术贡献,Spark主要奠基者现在Spark是在其博士论文的基础上发展而来的“AnArchitectureforFastandGeneralDataProcessingonLargeClusters”大型集群上的快速和通用数据处理架构,Spark的版本发展,在开源社区的贡献下Spark版本更新速度很快，平均1-2个月就推出一个新版本,Spark的体系架构,被称为Sparkcore，是其最核心的部分，包含了Spark最基本、最核心的功能和基本分布式算子。Sparkcore的基本功能有任务调度、内存管理、故障恢复以及和存储系统的交互。,Spark的体系架构,数据全集被分割为多个数据子集,Sparkcore,RDD(resilientdistributeddataset)是Spark的核心概念，指的是一个只读的，可分区的分布式数据集（分布式弹性数据集），这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。Spark的核心思路就是将数据集缓存在内存中加快读取速度，同时用RDD以较小的性能代价保证数据的鲁棒性,RDD,RDD都是可序列化的，在内存不足时可自动降级为磁盘存储,计算的中间结果会被保存，出错后可以方便地重新调度,Spark的体系架构,SparkSQL用于分布式结构化数据的SQL查询与分析，在编写程序中，可以直接使用SQL语句,Spark的体系架构,SparkStreaming是用于处理流数据的分布式流处理框架，它将数据流以时间片为单位进行分割形成RDD，能够以较小的时间间隔对流数据进行处理，从严格意义上说是一个准实时处理系统。,Spark的体系架构,Mllib是一个分布式机器学习库，在Spark平台上对一些常用的机器学习算法进行了分布式实现，现在都包括：分类、回归、聚类、决策树等等。,Spark的体系架构,GraphX是一个分布式图处理框架，在Spark上实现了大规模图计算的功能，提供了对图计算和图挖掘的各种接口。,Spark的体系架构,在特定的使用场景下，Spark提供的解决方案不一定是最优，比如在实时数据流处理中，相比于SparkStreaming，Storm的实时性更强、时间切片更小，但Spark模块间的数据可以无缝结合，因此Spark生态体系可以为大数据的处理、分析提供一站式解决方案。,Spark简介与体系架构Spark的安装与配置Spark的开发与应用,Lifeisshort，youneedspark!,Spark的安装与配置,Spark支持在多种操作系统上安装和使用，包括Windows、Linux、Ubuntu以及苹果的MacOS等等。目前使用最广泛的是Linux和Ubuntu。原因是其安装配置方便。,Spark的安装与配置,将Spark部署一台单机系统中，需要安装的软件为-Ubuntu-jdk-Hadoop-2.4.0此为稳定版本-Scala编译spark的语言环境-spark-bin-hadoop2.4Spark的开源代码-Spark开发环境以及IDE,Spark的安装与配置,1、安装JDK，配置Java运行环境测试jdk是否安装成功：,Spark的安装与配置,2、安装Hadoop，配置环境变量测试hdfs是否配置成功：,Spark的安装与配置,2、安装Hadoop，配置环境变量测试hdfs是否配置成功：,Spark的安装与配置,3、安装Scala，配置相应环境变量测试Scala安装是否成功：,Spark的安装与配置,4、安装Spark，配置环境变量测试Spark是否安装成功：,Spark的安装与配置,4、安装Spark，配置环境变量测试Spark是否安装成功：,Spark简介与体系架构Spark的安装与配置Spark的开发与应用,Lifeisshort，youneedspark!,Spark的开发与应用,可以使用多种编程语言编写Spark应用，包括Java、Scala、Python和R。其中Scala是Spark框架的开发语言，所以使用Scala语言可以和Spark的源代码进行更好的无缝结合，更方便调用其相关功能。,Spark的开发与应用,使用Spark编写机器学习算法的