公平调度器中的应用抢占_第1页
公平调度器中的应用抢占_第2页
公平调度器中的应用抢占_第3页
公平调度器中的应用抢占_第4页
公平调度器中的应用抢占_第5页
已阅读5页，还剩5页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：侯磊公平调度器中的应用抢占目录0102启用抢占策略公平调度器的作用启用抢占策略1启用抢占策略可以配置任务抢占，以确保按时完成关键作业。然而，抢占并不是任意的，其一般用于杀死使用超过其公平份额资源的队列的容器。如果在集群中启用抢占策略，则如果队列的最小份额在一段时间内未满足，那么公平调度器将抢占其他队列中的应用程序。抢占可以确保关键生产作业不会因为其他不太重要的作业在集群中运行而被延迟。公平调度器杀死最近启动的应用程序，以最大限度地减少集群中的资源浪费。要启用抢占策略，请在yarn-site.xml文件中将yarn.scheduler.fair.preemption属性设置为true。公平调度器的作用2公平调度器的作用可以使用公平调度器控制Hadoop分配集群资源的方式。公平调度器是-一个内置的Hadoop资源调度程序，其目标是让较小的作业快速完成(响应时间较短)，并为生产作业提供有保障的服务级别。我们来看一个典型的中到大型Hadoop集群的例子，例如有500~600个节点，每天有4000~5000个作业，大约有50~100个用户。通常运行各种类型的数据科学相关的应用程序，如统计报告、优化、垃圾邮件检测等。公平调度器的作用这些作业通常不是相同的类型，一些是涉及数据导入和小时报告的生产作业。一些其他作业由正在运行特殊Hive查询和Pig作业的数据分析师运行。通常有一些长时间运行的数据分析或机器学习作业同时运行。作为Hadoop管理员，我们的问题是如何在这些竞争作业中有效地分配集群的资源。公平调度器背后的基本思想是:不需要为组或队列预留一定量的容量。调度器在集群中的所有正在运行的作业之间动态分配可用资源。公平调度器的作用当大型作业首先启动，并且恰好是运行的唯一作业时，默认情况下将使用所有集群的资源(除非指定了最大资源限制)。随后，当第二个作业启动时，它被分配大约一半的总集群资源(默认情况下)。现在两个作业在相同的基础上共享集群资源。这是“公平”的概念，因此将这个调度器命名为公平调度器。公平调度器的作用公平调度器确保应用程序的资源分配是“公平”的，这意味着所有应用程序随着时间的推移能获取大致相等数量的资源。当我们在公平调度器的上下文中讨论资源时，资源只是指内存。不过，也可以使用称为主导资源公平(DRF)的调度器，其是公平调度器的变体，该调度器把内存和CPU都作为资源。“主导资源公平”是一个概念，其中YARN调度器检

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论