Spark大数据分析平台

1、DataGuru专业数据分析社区网址： Spark大数据分析平台2015年，Spark只用了一年多时间，已实现开源到火爆,亦逐渐显露出与通用大数据平台Hadoop的分庭抗争之势。在这个大背景下，在大数据领域时代，谁将是独领风骚？Spark无疑是最大的竞争者，无论是2015Spark技术峰会，还是国内的大数据大会，可以看到中国力量正在崛起，Spark最大的集群来自腾讯8000个节点，单个Job最大分别是阿里巴巴和Databricks1PB,震撼人心！同时，截止2015年6月，Spark的Contributor比2014年涨了3倍，达到730人；总代码行数也比2014年涨了2倍多，达到40万行，不

2、但大量的互联网企业已经在使用或者正准备使用Spark，而且大量的电信、金融、证券和传统企业已经开始引入了Spark。然而作为一个高速发展中的开源项目，其部署过程中存在的门槛和挑战亦不可谓不大,本课程将主要介绍Spark1.4.0,引领大家进入大数据Spark入门。课程大纲：第一课：Spark生态和安装部署Spark概述Spark现状安装部署Spark安装简介Spark的源码编译SparkStandalone安装SparkStandaloneHA安装Spark工具Spark交互式工具spark-shellSpark应用程序部署工具spark-submit第二课：Spark编程模型和解析Spark

3、的编程模型RDD的特点、操作、依赖关系缓存策略广播变量和累加器Spark编程环境搭建Spark编程实例第三课：Spark运行架构和解析Spark的运行架构基本术语运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）SparkonStandalone运行过程SparkonYARN运行过程第四课：hive入门hive的运行架构hive的安装hive的实例演示第五课：SparkSQL原理和实践Spark的运行架构CatalystsqlontexthiveContextThriftServer和CLIThriftServerCLISparkSQL的实例演

4、示和编程spark-shell实例演示spark-sql实例演示SparkSQL的编程第六课：SparkStreaming原理和实践SparkStreaming原理SparkStreaming的原理SparkStreaming的运行方式DStream的特点和操作SparkStreaming实例演示网络数据演示文本实例演示Window操作演示第七课：MLlib入门什么是机器学习MLlib的架构Mllib实例演示聚类算法演示推荐系统演示第八课：GraphX入门图论基础GraphX的架构GraphX实例演示图的基本操作PageRank演示第九课：Spark运维SparkOnYARNhistoryse

5、rverjobserverSpark的监控SparkUI监控第十课：scalaonSparkspark常用的scala基础如何阅读spark源代码如何构建spark项目技术成就梦想DataGuru专业数据分析社区网址： ATABURU第十一课：Spark编程RDD的编程Spark综合实例(SparkSQL+sparkMlib+R)第十二课：Spark源码研读Spark源码总体介绍SparkCore源码细解SparkExamples介绍第十三课：杂谈Spark相关项目BlinkDB简介SparkR的安装和实例Techyon授课对象：有Java开发经验或Scala开发经验，最好了解Hadoop,H

6、ive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。收获预期：深入理解Spark的运行原理学会搭建Spark,hadoop集群环境完全掌握Spark编程基础，了解Spark运维的基础知识完成大数据入门，可逐渐转岗大数据相关职位。课程环境:Spark版本：Sparkl.4准备环境：CentOS,eclipse或IntelliJIDEA,Scala,JDK,Maven,sbt,Hadoop,hive，建议三台虚拟机。授课讲师：冰风影，超过12年的软件研发经验，曾在ERP，医学，互联网行业企业担任高级软件工程ATABURU歸50技术成就梦想DataGuru专业数据分析社区网址： 师、架构师，技术总监。具备软件产品设计和开发经验，丰富的大型项目架构设计和编码经验。目前主要的研究方向是大数据，分布式技术，Hadoop和spark。国内知名的开源分布式数据库中间件MyCAT的核心开发成员，在