6.Spark环境搭建课堂实训（二）

Spark环境搭建课堂实训（二）SparkonYARN模式部署Catalogue目录1.实训导入与目标设定明确SparkonYARN实训的核心目标，理解大数据集群资源调度的原理，建立对分布式计算任务运行机制的初步认知。2.实训环境准备完成Hadoop集群的基础部署与参数检查，确保HDFS分布式存储与YARN资源管理服务稳定运行，为Spark运行提供底层支撑。3.SparkonYARN模式配置配置Spark与YARN的集成环境变量，详解Client与Cluster两种部署模式的区别，调整内存与CPU资源分配参数以适配集群。4.环境验证与测试通过运行SparkPi经典示例程序，验证集群环境连通性，检查任务提交流程、资源分配情况及计算结果的正确性。5.常见问题与解决方案针对集群启动失败、任务提交报错、资源不足等高频问题进行分析，掌握日志排查、配置优化的实用解决思路与技巧。6.实训总结与作业布置总结本次实训的核心知识点与实操重点，布置课后实践作业，加深对SparkonYARN运行机制与集群运维的掌握。实训导入与目标设定PART01理解YARN模式核心优势，明确实训预期成果与能力进阶目标”本次主题：SparkonYARN模式架构角色：YARN是Hadoop生态的资源管理核心，负责统一调度集群的CPU、内存等硬件资源，实现资源的全局管控与隔离。运行逻辑：Spark应用作为客户端向YARN提交任务，由YARN根据集群负载分配资源容器（Container），并负责Executor进程的启动与监控。核心优势：支持多框架资源共享与弹性伸缩，具备高可用性保障机制，能够最大化集群资源利用率，是企业级生产环境的标准部署模式。回顾：本地模式(LocalMode)运行特征：所有Spark组件（Driver与Executor）均运行在单个JVM进程内，无需依赖外部集群，配置过程极其简便。适用场景：专为开发调试、单元测试设计，能够快速验证代码逻辑与数据处理流程，降低环境搭建成本。主要局限：受限于单台机器的硬件资源，无法利用集群的分布式算力，仅适用于小数据量的开发验证，不支持生产级大数据处理。课程回顾与模式介绍01/知识目标深入理解SparkonYARN的架构组成与任务调度流程；掌握YARN环境下Spark集群的核心参数配置方法；熟悉SparkHistoryServer的部署配置与日志管理机制，为集群运维打下理论基础。02/技能目标独立完成Hadoop集群环境的健康性检查与依赖准备；熟练修改spark-env.sh、yarn-site.xml等关键配置文件；能够通过spark-submit命令将应用成功提交至YARN集群；并利用WebUI实时监控任务运行状态与资源消耗情况。本次实训目标实训环境准备PART02构建Spark运行的基础集群环境——要运行SparkonYARN，一个稳定、健康的HadoopYARN分布式环境是核心前提。我们将从环境检查、依赖配置与集群状态确认等关键环节入手，为后续的Spark任务提交、资源调度与分布式计算打下坚实的基础。必备软件环境检查01/Hadoop(YARN)环境部署与服务检查执行start-all.sh脚本启动Hadoop集群服务，通过jps命令校验关键进程，需确认ResourceManager和NodeManager正常运行；访问YARNWebUI地址http://<Hadoop_IP>:8088，查看集群资源调度状态与节点健康度，确保分布式资源管理环境完全就绪。02/JDK运行环境版本与完整性核验在终端执行java-version命令查看当前Java版本信息，需确保系统已安装JDK8或更高版本（如JDK11），这是运行Hadoop及后续大数据组件的核心依赖，版本过低会引发兼容性异常，需提前完成版本升级或环境配置调整。SparkonYARN模式配置PART03配置关键文件，实现Spark集群的资源调度与任务运行Spark解压与目录规划01.目录创建与安装包解压执行mkdir命令创建`/export/server`专属安装目录并进入；随后通过tar命令解压Spark安装包，同时创建软链接`spark`指向解压目录，简化后续路径引用，为环境变量配置与快速调用打好基础。02.进入配置目录与环境准备通过cd命令进入Spark的conf核心配置目录，该目录存放spark-env.sh、slaves等关键配置文件。进入此目录是后续配置集群参数、指定依赖环境、设置节点信息的前提，需确保目录路径与权限配置正确。核心配置：spark-env.sh01复制模板并编辑首先从Spark的模板文件生成可编辑的配置文件，这是环境配置的基础步骤。执行命令：cpspark-env.sh.templatespark-env.sh完成文件复制，随后使用vimspark-env.sh打开文件，即可开始添加或修改集群运行所需的关键参数。02添加核心环境变量配置文件中需指定：JAVA_HOME为JDK安装路径；设置SPARK_MASTER=yarn以启用YARN集群模式，这是实现资源调度的核心；通过YARN_CONF_DIR关联Hadoop配置目录，确保Spark能读取YARN的集群配置信息，实现两者的互通与协同。01复制模板并编辑配置文件首先复制配置模版并重命名：cpspark-defaults.conf.templatespark-defaults.conf

随后使用Vim编辑器打开文件：vimspark-defaults.conf，进入插入模式即可开始修改核心参数。02配置YARN模式与开启事件日志设置spark.master为yarn以启用集群模式；开启spark.eventLog.enabled并指定HDFS存储路径（如hdfs://<IP>:9000/spark-logs），同时配置历史服务器读取路径，这是实现任务监控与日志回溯的关键基础。核心配置：spark-defaults.conf01目录创建：初始化HDFS日志存储路径执行命令：hdfsdfs-mkdir-phdfs://<HDFS_IP>:9000/spark-logs

参数说明：-p实现递归创建，确保父目录不存在时也能成功；需将<HDFS_IP>替换为集群中NameNode的真实IP地址，9000为默认RPC端口。02权限配置：开放写入权限以保障运行执行命令：hdfsdfs-chmod777hdfs://<HDFS_IP>:9000/spark-logs

关键作用：777权限赋予所有用户读写执行权限，确保SparkDriver和Executor进程能够顺利写入日志，避免因权限不足导致应用启动失败或日志丢失。创建HDFS日志目录环境验证与测试PART04验证SparkonYARN集群运行状态与功能完整性启动Spark历史服务器01启动历史服务器：执行专属启动脚本首先切换到Spark安装目录的sbin子目录（执行cd/export/server/spark/sbin），随后运行启动脚本./start-history-server.sh。该操作会启动Spark历史服务进程，它将持续读取并解析存储在HDFS上的应用事件日志，为后续通过WebUI查看集群运行记录、分析应用性能提供核心数据支撑。02进程检查：验证服务是否成功运行在终端中执行jps命令查看当前运行的Java进程，若输出结果里能看到HistoryServer进程名称，即代表Spark历史服务器已成功启动。此时可通过浏览器访问服务器的默认端口18080，进入Spark历史服务器的WebUI界面，查看已完成的Spark应用的运行日志、资源消耗、任务执行详情等关键信息。在YARN上运行SparkPi示例01提交SparkPi应用到YARN集群通过spark-submit脚本提交计算圆周率的经典示例，执行命令指定主类为SparkPi，部署模式为集群模式。示例命令：./spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modecluster../examples/jars/spark-examples_*.jar1002关键提交参数解析--masteryarn：指定Spark应用的资源调度管理由YARN集群负责；--deploy-modecluster：表示Driver程序运行在YARN集群的节点上，而非本地客户端，这是生产环境标准的分布式部署方式。查看WebUI：YARNResourceManager01访问YARNWebUI入口访问地址为http://<Hadoop_IP>:8088，这是YARN资源调度的核心管理界面，可直接通过浏览器访问。该入口是查看集群资源分配、应用运行状态的首要窗口，能实时获取集群节点、内存与CPU资源的整体使用概览。02核心监控与日志查看在Applications标签页可查看SparkPi等应用的运行状态；点击应用ID能深入查看资源占用、Container运行详情；通过Logs链接可直接调取ApplicationMaster与Executor的运行日志，助力快速排查应用运行异常与性能瓶颈问题。查看WebUI：SparkHistoryServer访问入口与默认地址SparkHistoryServer的标准访问地址为http://<Spark_IP>:18080。只需在浏览器中输入集群中部署该服务节点的IP地址与端口号，即可直接进入监控主页，无需额外认证即可查看集群中所有已完成的Spark应用运行记录。核心监控内容与调优价值界面会完整展示应用列表，点击可查看DAG任务依赖可视化图、作业/阶段/任务的执行时长、资源消耗等关键指标。这些数据是定位数据倾斜、资源不足等性能瓶颈的核心依据，也是进行并行度调整、内存参数优化与任务调度策略改进的重要参考。常见问题与解决方案PART05实战排障与经验沉淀——从环境配置冲突、服务启动异常到业务逻辑报错，我们梳理了实操中最高频的典型问题场景，深度解析成因并提供可落地的排查步骤与解决方案，帮助团队快速定位症结，保障项目开发、部署与运行的顺畅高效。问题2：Executor反复启动又退出原因：任务执行时内存资源不足，导致Executor进程被系统强制杀死后反复重启。

解决方案：提交命令时通过--executor-memory参数调低单Executor内存配置；或检查集群资源总量，释放闲置资源以保障任务运行。问题1：无法连接到ResourceManager原因：Spark客户端与YARN集群的通信链路中断或配置未生效。

解决方案：检查spark-env.sh中YARN_CONF_DIR路径是否正确；排查集