《大数据离线分析技术》课件-7.作业数据本地化的策略_第1页
《大数据离线分析技术》课件-7.作业数据本地化的策略_第2页
《大数据离线分析技术》课件-7.作业数据本地化的策略_第3页
《大数据离线分析技术》课件-7.作业数据本地化的策略_第4页
《大数据离线分析技术》课件-7.作业数据本地化的策略_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

MapReduce作业的执行优化大数据离线分析教学目标1.理解数据本地化概念

2.掌握策略实现

1.数据本地化概述数据本地化概述是指在MapReduce或YARN作业中，优先将任务调度到存储输入数据的节点上，以最小化数据移动。这种机制利用HDFS的块复制策略，确保任务读取本地磁盘而非网络传输，提高吞吐量。核心优势包括降低带宽消耗和加速执行时间，例如在TB级数据集处理中，本地化率高可将作业时间缩短20-50%。2.节点本地化在任务调度过程中，节点本地化是最高优先级的分配策略。核心思想是“将计算推向数据”，即尽量将Map任务调度到存放该任务所需数据块的DataNode上执行。任务可以直接读取本地磁盘上的数据，无需通过网络传输，实现了“零网络传输”，从而大幅减少数据传输开销，提升任务执行效率。3.机架本地化机架本地化作为次优策略,当节点本地不可用时,将任务分配到同一机架的其他节点,利用机架内高速网络(通常10Gbps)传输数据。调度器通过RackAwareness配置感知拓扑,避免跨机架慢速链路。例如：在电商数据处理中,如果首选节点满载,任务移到同机架节点,传输开销远低于跨机架。这种策略平衡可用性和性能,支持大规模集群的弹性扩展。4.延迟调度策略延迟调度策略优化本地化率，通过短暂等待本地节点槽位可用，避免立即分配到非本地节点。参数如mapreduce.job.ubertask.enable控制小作业优化，调度器在心跳间隔内多次检查。例如，在高负载集群中，任务等待几秒获取本地槽位，显著提高本地化率20%。这种策略防止过度非本地分配，但需调和等待时间以避长延迟，适用于动态环境。5.配置参数配置参数控制数据本地化行为，主要在mapred-site.xml和yarn-site.xml中设置。关键参数包括设置为yarn启用YARN模式，yarn.nodemanager.localizer.cache.target-size-mb管理本地化缓存大小。RackAwareness通过指定脚本感知拓扑6.动态调整新增策略动态调整根据实时集群状态自适应本地化决策，利用YARN的API监控负载，自动修改等待阈值或优先级。01这种策略集成插件或自定义调度器，支持细粒度控制，相比静态配置更灵活，帮助处理变异工作负载，提升整体效率03在峰值期缩短延迟调度时间以维持吞吐，在低负载时延长等待以最大化本地化率。02小结1.数据本地化优先将任务调度到存储输入数据的节点上，减少数据移动，提高吞吐量2.节点本地化是最高优先级策略，实现零网络传输3.机架

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论