SPARK大数据高级工程师课程大纲.doc

课程模块课程主题主要内容(内容可以根据学员的要求可以现场调整）模块一Spark生态介绍 Mapreduce、storm和spark模型的比较和使用场景介绍 Spark产生背景 Spark（内存计算框架） SparkSteaming（流式计算框架） Spark SQL（ad-hoc） Mllib（MachineLearning） GraphX（bagel将被代） DlinkDB介绍 SparkR介绍模块二Spark安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark应用程序部署工具spark-submit Spark的高可用性部署模块三Spark运行架构和解析 Spark的运行架构 基本术语 运行架构 Spark on Standalone运行过程 Spark on YARN 运行过程 Spark运行实例解析 Spark on Standalone实例解析 Spark on YARN实例解析 比较 Standalone与YARN模式下的优缺点模块四Sparkscala编程 Scala基本语法与高阶语法 Scala基本语法 Scala开发环境搭建 Scala开发Spark应用程序 使用java编程 使用scala编程 使用python编程模块五Spark编程模型和解析 Spark的编程模型 Spark编程模型解析 RDD的特点、操作、依赖关系 Spark应用程序的配置 Spark的架构 spark的容错机制 数据的本地性 缓存策略介绍宽依赖与窄依赖模块六Spark 数据挖掘 Mllib的介绍 graphX核心原理 table operator和graph operator区别 vertices、edges和triplets介绍 构建一个graph SparkR原理 SparkR实战模块七Spark Streaming原理和实践 Spark Streaming与Strom的区别 Kafka的部署 Kafka与Spark Streaming的整合 Spark Streaming原理 Spark流式处理架构 DStream的特点 Dstream的操作和RDD的区别 带状态的transformation与无状态transformation Spark Streaming的优化 Spark Streaming实例 Streaming的容错机制 streaming在yarn模式下的注意事项对于需结合第三方存储机制的与流式处理方案 文本实例 网络数据处理 Kafka+Spark Streaming实现日志的实时分析案例模块八Spark的优化 序列化优化Kryo Spark参数优化实战 Spark 任务的均匀分布策略 Partition key倾斜的解决方案 Spark任务的监控 GC的优化 Spark Streaming吞吐量优化 Spark RDD使用内存的优化策略 Spark在使用中的感想分享模块九Spark的数据源 Spark与HDFS的整合 HDFS RDD原理和实现 Spark与Hbase的整合 Spark与Cassendera整合 Hbase RDD的分区读取 Hbase RDD的原理和实现 Spark parallelism RDD的工作机制模块十Spark Streaming应用及案例分析 Spark Streaming产生动机 Spark Streaming程序设计（1）创建DStream（2）基于DStream进行流式处理 Spark Streaming容错与性能优化（1）Spark Streaming容错机制（2）如何对spark Streaming进行优化 Spark Streaming案例分析基于Spark Streaming的用户标签系统，内容包括项目背景，项目架构以及实施方法模块十一典型项目案例实战 基于spark日