已阅读5页，还剩7页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Spark执行流程程序执行流程任务规划调度目录程序执行流程01程序执行流程程序执行流程生成逻辑查询计划程序执行流程生成物理查询计划任务调度与执行任务规划调度02DAG任务规划与调度DAG（DirectedAcyclicGraph）有向无环图：一个有向图无法从任意顶点出发经过若干条边回到该点受制于某些任务必须比另一些任务较早执行的约束，可排序为一个队列的任务集合，该队列可由一个DAG图呈现Spark程序的内部执行逻辑可由DAG描述，顶点代表任务，边代表任务间的依赖约束DAGScheduler根据任务的依赖关系建立DAG根据依赖关系是否为宽依赖，即是否存在Shuffle，将DAG划分为不同的阶段（Stage）将各阶段中的Task组成的TaskSet提交到TaskSchedulerTaskScheduler负责Application的任务调度重新提交失败的Task为执行速度慢的Task启动备用TaskDAG任务规划与调度HadoopRDDShuffledRDDHadoopRDDMapPartitionsRDDFilteredRDDCoGroupedRDDShuffleDependencyShuffleDependen
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025-2026学年北师大版八年级数学下册期末复习-阅读与思考
- 2026学年黑龙江省绥化市一年级数学期末自我评估黑金考题（详细参考解析）详细答案和解析
- 2026年全国试验检测师之桥梁隧道工程考试潜能激发题（详细参考解析）
- 危险作业安全试题及答案
- Unit 1 Helping at home 单元分层练2026-2027学年人教PEP版四年级上册英语
- 大专数学模拟试题及答案
- 力学研究合同
- 动漫制作作业标准
- 企业跨界创新中用户社群对价值共创的影响研究报告
- 洗车服务公司办公费用报销管理制度
- 人工晶体脱位护理查房
- 2021年人影高炮安全作业知识技能竞赛题库
- 作文方格纸400字
- 不良事件管理分析
- 【标杆学习】阿里面试官手册
- 教练场地技术条件说明
- 《英语课程与教学论》课件
- 旁站监理培训课件
- 辽宁省辽阳市各县区乡镇行政村村庄村名居民村民委员会明细及行政区划代码
- 【高中数学优质公开课】对数概念公开课课件
- GB∕T 9286-2021 色漆和清漆 划格试验
评论
0/150
提交评论