Had数据基础技术 2

Spark的安装与运行CONTENTS目录01

Spark简介02

Spark的安装与配置03

PySpark基本操作04

Spark实践案例与监控05

Spark核心概念深化06

Spark运行模式详解CONTENTS目录07

Spark安装运行常见问题08

总结与思考练习09

Spark安装配置实战演练10

关键命令与配置汇总Spark简介01Spark的发展与核心优势

Spark的发展历程2009年诞生于加州大学伯克利分校AMPLab，2014年成为Apache顶级项目，2020年发布3.0.0版本

对MapReduce的核心优化减少磁盘I/O：中间结果缓存内存，资源文件缓存Driver内存；增加任务并行度，避免重复计算

Spark的多语言与多模块支持支持Java、Scala、Python等语言，提供SparkSQL、Streaming等统一解决方案Spark基础概念解析核心抽象概念RDD：弹性分布式数据集，是Spark数据处理的基础抽象；DAG：有向无环图，反映RDD依赖关系任务执行相关概念Partition：数据分区决定Task数量；Job由Stage组成，Stage含多个Task，Shuffle打通Task数据流转Spark组成与架构

Spark模块组成SparkCore是核心运行环境，支撑SparkSQL（SQL处理）、Streaming（流计算）等扩展模块

Spark集群架构组件ClusterManager负责资源分配，Worker管理节点资源，Executor执行任务，Driver驱动应用运行Spark的安装与配置02SparkStandalone模式安装

安装包准备与解压上传spark-3.3.2-bin-hadoop3.tgz到/opt/software，执行tar-zxvf命令解压

配置文件修改修改conf目录下slaves文件添加本机主机名，重命名spark-env.sh.template并配置SPARK_MASTER_HOST等参数

服务启动与停止进入sbin目录执行start-all.sh启动服务，stop-all.sh停止服务，通过进程查看确认启动状态SparkonYARN模式安装

环境变量配置修改/etc/profile添加SPARK_HOME、PYTHONPATH等PySpark相关环境变量

YARN模式配置配置spark-env.sh指定YARN_CONF_DIR路径，确保Spark能找到YARN集群配置Spark配置优化spark-defaults.conf配置设置spark.executor.memory分配Executor内存，spark.default.parallelism调整并行度YARN相关配置优化修改yarn-site.xml关闭虚拟内存检查，避免任务因内存限制被杀死历史服务配置配置spark.eventLog存储路径，启动history-server.sh开启历史服务，端口18080PySpark基本操作03PySpark启动命令与参数

启动命令格式基本命令为pyspark--master<master-url>，master-url决定运行模式

本地模式参数local使用1线程，local[*]使用逻辑CPU数，local[K]使用K个线程

集群模式参数spark://HOST:PORT连接Standalone集群；yarn、yarn-client、yarn-cluster对应YARN模式PySpark交互环境使用

启动PySpark交互环境直接执行pyspark命令进入，默认Local模式，支持Python代码实时调试

基础操作示例输入1+1等简单代码可直接得到结果，适合快速验证语法与逻辑Spark-submit提交程序

提交命令格式格式为spark-submit--class<main-class>--master<master-url><application-jar>

部署模式选择client模式驱动在本地，适合调试；cluster模式驱动在集群，适合生产环境

Python程序提交示例使用--py-files参数添加依赖文件，提交wordcount.py等Python脚本到集群运行Spark实践案例与监控04PySpark计算圆周率案例

示例程序路径官方示例pi.py位于examples/src/main/python目录下

程序提交运行执行spark-submit命令提交pi.py，指定参数100控制计算精度

运行结果查看程序输出包含圆周率近似值，可通过日志确认计算过程与结果SparkWeb监控页面使用

Master页面监控查看集群版本、资源使用情况、任务运行状态等基本信息

Worker页面监控查看Worker节点的资源分配、Executor状态与Job基本信息

Job页面监控查看Job提交时间、持续时间、Stage与Task数量等执行详情Spark核心概念深化05RDD的特性与操作

RDD核心特性弹性：自动容错、动态内存管理；分布式：数据分区存储在集群节点RDD操作类型转换操作：lazy执行，如map、filter；动作操作：触发计算，如count、collect窄依赖与宽依赖

窄依赖子RDD依赖父RDD固定Partition，如OneToOneDependency，无Shuffle

宽依赖子RDD依赖父RDD所有Partition，如ShuffleDependency，伴随Shuffle操作SparkCore核心组件调度系统组件DAGScheduler划分Stage，TaskScheduler调度Task到Executor执行存储与计算组件BlockManager管理数据存储，ShuffleManager负责Shuffle过程的数据传输Spark运行模式详解06Standalone模式运行流程

01任务提交阶段Driver向Master注册应用，申请资源；Master分配Worker资源，启动Executor02任务执行阶段Executor反向注册到Driver，Driver划分Stage生成Task，分发到Executor执行YARNClient模式流程启动与资源申请Driver在本地运行，向ResourceManager申请启动ApplicationMaster；ResourceManager分配Container启动AM任务执行与结果返回AM申请Executor资源，启动后反向注册到Driver；Driver执行main函数，分发Task到ExecutorYARNCluster模式流程

模式差异核心Driver与ApplicationMaster合为一体，运行在NodeManager的Container中

适用场景说明适合生产环境，避免Driver在本地运行的资源限制与网络问题Spark安装运行常见问题07环境配置类问题环境变量错误

检查SPARK_HOME、PYTHONPATH等变量是否正确配置，通过echo命令验证Java版本不兼容

Spark3.x要求Java8或11，确认JAVA_HOME指向正确版本服务启动类问题端口占用问题使用netstat命令查看7077等端口是否被占用，修改spark-env.sh更换端口配置文件语法错误检查spark-env.sh等文件的语法，如变量赋值无空格，引号匹配任务提交类问题

资源不足错误调整spark.executor.memory等参数，或增加集群节点资源

依赖缺失问题使用--py-files参数打包依赖文件，确保Executor能获取所需资源总结与思考练习08本章内容总结

核心知识脉络从Spark简介到安装配置，再到实践案例与监控，覆盖理论与实操

重点掌握内容不同运行模式的安装配置、任务提交方法与Web监控使用学习拓展建议进阶学习内容深入学习SparkSQL、Streaming等模块，掌握大数据处理全流程实践项目建议基于Spark进行数据清洗、分析等实战项目，提升动手能力Spark安装配置实战演练09Standalone模式实战步骤01步骤1：安装包准备下载对应版本Spark安装包，上传到Linux服务器指定目录02步骤2：配置修改依次修改slaves、spark-env.sh等配置文件，设置必要参数03步骤3：服务验证启动服务后，通过jps查看进程，访问Web页面确认集群状态YARN模式实战步骤步骤1：环境变量配置编辑/etc/profile添加Spark与PySpark环境变量，执行source生效步骤2：YARN配置调整修改yarn-site.xml与spark-env.sh，确保Spark与YARN集成步骤3：任务提交验证提交pi.py任务到YARN集群，查看运行日志与结果监控页面实战操作

Master页面操作访问Master节点的8080端口，查看集群资源与任务状态

Job页面操作点击Job链接，查看Stage划分、Task执行进度与日志关键命令与配置汇总10常用启动停止命令

01服务管理命令start-all.sh、stop-all.sh启动停止集群；start-history-server.sh启动历史