(完整word版)SGE调研报告

1、SGE 调研报告一总体介绍SGE，Sun Grid Engine, 是sun公司开发的一款基于网格的资源管理软件，它接受用户提交的作业，并使用资源管理策略安排作业在网格内适当的系统上运行， 用户可以向网格提交批处理作业、 交互式作业以及并行作业。Grid Engine 系统是一种先进的资源管理工具，用于管理不同种类的分布式计算环境。工作负荷管理意味着对共享资源的使用进行控制，以最大限度地实现企业的目标，例如生产率、时间限制、服务水平等等。工作负荷管理通过管理资源、执行策略完成。站点配置确保系统实现使用率和生产量的最大化，同时使系统支持不同的时间限制和重要级别。SGE软件分为三个模块， sge_

2、qmaster,sge_schedd,sge_execd, 根据运行的模块不同，服务器在群集中的功能也不同，分别为：主控主机，管理主机，执行主机，提交主机。主控主机。主控主机是所有群集活动的中心。主控主机运行主守护进程sge_qmaster 。sge_qmaster 控制所有的 Grid Engine系统组件，例如，队列和作业。它还维护着有关组件状态、用户访问权限等内容的表格。主控主机通常运行调度程序 sge_schedd。除了安装过程执行的配置之外，不需要对主控主机进行进一步的配置。执行主机。执行主机是拥有运行作业权限的节点。因而它们控制队列实例，并且运行执行守护进程 sge_execd 。

3、管理主机。可将权限授予除主控主机外的其他主机，以进行各种管理活动。请用以下命令安装管理主机： qconf -ahhostname提交主机。提交主机仅用于提交并控制批量作业。特别地，登录到提交主机的用户可以使用qsub 提交作业，使用 qstat 控制作业状态，或者运行图形用户界面 QMON。请使用以下命令安装提交主机： qconf -as hostname注: 一台主机可以运行多个模块，具有多种功能。Grid Engine系统执行以下任务：1. 接受外来作业。作业是指用户对计算机资源的请求。2. 将工作放入留置区域直到可以运行该作业。3. 将作业从留置区域发送到执行设备。4. 管理正在运行的作

4、业。5. 作业完成时，将作业执行记录写入日志。二功能与使用1. 资源管理在SGE中，可以自定义可使用管理的资源，典型的可使用资源包括：可用的空闲内存软件包使用的许可证可用的磁盘空间网络连接中可用的带宽资源属性的定义包括以下内容：属性名称引用属性名称时的简称属性值的类型，例如，STRING 或TIME“ Requestable ” 标志，决定着用户是否可以为作业请求该属性 “ Consumable ” 标志，将属性标识为可使用的资源默认的请求值， 如果作业没有明确指定对属性的请求，则将默认的请求值视为可使用的属性“ Urgency ” 值，逐一考虑每种资源，然后确定作业优先级可以按下方式使用资源

5、属性：作为队列资源属性作为主机资源属性作为全局资源属性2. 作业的提交与管理(1) 提交作业在SGE中，作业是以脚本方式提交的，可以通过命令行提交，也可以在图形界面qmon中提交，在提交的同时可以定义作业的相关属性，这些属性将决定作业的调度和运行，常见的属性有：Prefix 脚本嵌入提交选项使用的前缀字符串。Job Script 使用的作业脚本。Job Tasks 提交阵列作业的任务ID 范围。Job Name 作业的名称。选择作业脚本之后会设置一个默认名称。Job Args 作业脚本的自变量。Priority 用于设置作业初始优先级的计数框。此优先级用于排列某用户多个作业的顺序。当用户在系统

6、中同时有多个作业时，优先级会通知调度程序如何在单个用户作业中进行选择。Job Share 定义相对于其他作业的作业票券份额。作业份额只影响份额树策略和职能策略。Start At 作业符合执行条件的启动时间。Project 作业所属的项目。Current Working Directory 表明是否在当前工作目录执行作业的标志。仅在提交主机和可能的执行主机之间具有同样的目录层次时才使用该标志。Shell 用于运行作业脚本的命令解释器。Merge Output 指明是否将作业的标准输出和标准错误输出合并为标准输出流的标志。stdout 要使用的标准输出重定向位置。stderr 要使用的标准错误输出

7、重定向位置，类似于标准输出重定向。stdin 要使用的标准输入文件，类似于标准输出重定向。Request Resources 单击该按钮定义作业的资源需求。Restart depends on Queue 单击该按钮定义在系统崩溃或类似事件终止作业后，作业是否可以重新启动。该按钮还控制重新启动行为是取决于队列还是作业的要求。Notify Job 表明在暂停或取消作业之前是否通过SIGUSR1 或SIGUSR2信号通知用户的标志。Hold Job 表明要为作业指定用户留置状态或作业从属性的标志。只要指定作业处于留置状态，作业就不符合执行的条件。Start Job Immediately 强制在可

8、能的情况下立即启动作业或拒绝作业的标志。如果选择该标志，则作业不进入队列。Job Reservation 指定为作业保留资源的标志。使用命令行提交作业：# qsub -N Flow -p -111 -P devel -a 200404221630.44 -cwd -S /bin/tcsh -o flow.out -j y flow.sh big.data使用 qmon提交作业界面：本示例中配置的作业参数表明以下内容：_ 作业的脚本文件为flow.sh ，该文件必须驻留在QMON的工作目录下。_ 作业名为 Flow。_ 脚本文件采用单个自变量big.data。_ 作业启动的优先级为3。_ 200

9、4年 4 月22 日凌晨 4:30.44之后的作业符合执行条件。_ 项目定义表明作业从属于项目crash 。_ 作业在提交工作目录下执行。_ 作业使用 tcsh命令解释器。_ 标准输出和标准错误输出合并到文件flow.out中，该文件在当前工作目录中创建。定义作业的资源需求:Grid Engine 系统假定作业可以在任何主机上运行。然而，在实际操作中为使作业顺利完成，执行主机需要满足特定的先决条件。先决条件包括足够的可用内存、安装所需的软件或特定的操作系统结构。另外，群集管理员通常对群集中计算机的使用施加限制。例如，限定作业可以使用的 CPU 时间。（ 2）从属性作业构建复杂任务的最简便的方法

10、是将一个任务拆分为子任务。在这种情况下，从属子任务是否可以启动取决于其他子任务的完成情况。例如，从属任务必须读取并处理由先导任务生成的输出文件。Grid Engine 系统通过其作业从属性工具支持交叉从属任务。可以对作业进行配置，使其依赖一个或多个其他作业的完成情况。qsub -hold_jid命令对该工具进行了加强。可以为提交的作业指定其所从属的作业列表。 该作业列表也可以包含阵列作业的子集。只有当从属列表中所有的作业完成后，提交作业才具有执行条件。（ 3）提交阵列作业Grid Engine 系统的阵列作业工具的理想应用情形是，在作业脚本中对同一操作组需要执行参数化的、重复的执行。此应用的典

11、型示例为数字内容创作行业中的图形渲染任务。对动画的计算将拆分为帧。可对每帧执行相同的渲染计算。阵列作业工具提供了一个提交、监视和控制这类应用程序的简便方法。Grid Engine 系统提供了执行阵列作业的有效的方式，可将计算拆分成独立的任务组，然后再组合为一个单独的作业。阵列作业任务通过组索引编号引用。所有任务的索引位于整个阵列作业的索引范围内。索引范围是在提交阵列作业过程中通过qsub命令定义的。可以监视和控制阵列作业。例如，可以整体暂停、恢复或取消阵列作业，也可以暂停、恢复或取消阵列作业内的单个任务或任务子集。引用任务时，应将相应的索引编号作为作业ID 的后缀。任务与常规作业的执行方式非常

12、相似。 任务可以使用环境变量 SGE_TASK_ID检索其自身的索引编号并访问为此任务标识符指定的输入数据集。(4) 为作业分配资源下面介绍 Grid Engine软件的资源分配运算法则。1. 读入并解析所有默认的请求文件。2. 处理作为嵌入选项的脚本。3. 提交作业时将读取所有的嵌入脚本选项，而不考虑脚本文件的位置。4. 从命令行读取并解析所有的请求。当收集到全部的 qsub 请求后，将分别处理硬性和软性请求，硬性请求优先。对应于下面的优先次序，评估请求：1. 从左到右评估脚本 / 默认的请求文件2. 从上到下评估脚本 / 默认的请求文件3. 从左到右评估命令行3. 配置队列队列包含着各种类

13、别的作业。队列提供了相应的资源，用于并发执行属于同一类别的多个作业。在SGE 中，一个队列可以与一台主机或者多台主机相关联。因为队列可以延伸到多台主机，所以称为群集队列。群集队列允许以单群集队列配置方式管理由执行主机组成的一个群集。每台与群集队列相关联的主机，都会收到驻留在此主机中的群集队列的实例。本指南称这些实例为队列实例。在任何群集队列中，都可以单独配置每个队列实例。通过配置单独的队列实例，能够以单一群集队列配置的方式管理由执行主机组成的不同类别的群集。修改一个群集队列时，会同时修改它的所有队列实例。在单一群集队列中，可以指定队列实例配置中的区别。因此，一个典型的安装可能仅需要几个群集队列

14、，而这几个群集队列的背后却控制着大量的队列实例。作业是在队列实例中运行，而不是在群集队列中运行。定义一个队列时，可以使用以下11 个选项卡来指定参数集：通用配置执行方法点校验并行环境负荷 / 暂停阈值限制属性定义集从属队列用户访问权限项目访问权限拥有者4. 调度策略(1) 常用的调度策略职能策略根据与特定用户组、项目等的从属关系而给予特殊处理。基于份额的策略服务级别取决于指定的份额权益、其他用户和其他用户组的相应份额、所有用户以及系统中当前存在的用户在此之前的资源使用情况。紧急程度策略优先处理紧急程度较高的作业。作业的紧急程度取决于它的资源需求、必须等待的时间以及提交时是否带有限期。越权策略群

15、集管理员手动介入修改自动策略的执行。配置职能策略职能调度是一种非反馈方案，用于确定作业的重要程度。职能调度将作业与提交用户、项目、部门和作业类关联起来。职能策略有时称为优先级调度。职能策略的设置可确保每个用户、项目或部门可随时获得所定义的份额。当系统将作业分派到空闲的资源时，会优先考虑过去比预期使用较少资源的用户、项目或部门的作业。系统资源的职能策略优先权与其他优先权结合起来，以确定作业的净优先权。例如，职能策略优先权可能与基于份额的策略优先权结合起来。分配给职能策略的票券总数，决定了职能调度在三个调度策略之中所占有的权重。安装过程中，管理员将职能票券总数分配给各个职能类别（用户、部门、项目、

16、作业和作业类）。配置紧急程度策略紧急程度策略定义了每个作业的紧急程度值。该紧急程度值由以下三个基值因素之和决定：_ 资源需求。定义在属性定义集中的每个资源属性都可具有一个紧急程度值。对资源属性的每个作业请求，都将属性的紧急程度值添加到总值中。_ 限期。限期作业的紧急程度值取决于“Policy Configuration” 对话框中的“ WeightDeadli ne” 除以空闲时间（以秒计，即qsub dl命令指定的作业限期启动时间之前的时间）。_ 等待时间。作业等待时间的紧急程度值取决于作业等待时间乘以“PolicyConfiguration中指定的“ Weight Waiting Time

17、”。作业的等待时间以秒计。” 对话框配置基于份额的策略基于份额的调度可在累积期间（例如，一周、一个月或一季度）内为每个用户和项目授予所分配的系统资源份额。 基于份额的调度又称为份额树调度。它会在邻近的期间内不断地调整每个用户和项目潜在的资源份额。基于份额的调度是为用户或项目、或两者定义的。基于份额的调度可确保配置在份额树中的实例可随时获得定义的份额。 对于过去比预期使用较少资源的份额树树枝，当系统分派作业时，会优先考虑与这些树枝相关的作业。同时又可以保证资源的充分利用，因为未使用的份额部分仍然可用于与其他份额树树枝相关联的暂挂作业。通过尽可能地赋予每个用户或项目所需份额，用户组或项目组也就获得

18、了所需要的份额。部门或分支即是这些组的实例。 仅当累积期间内对资源具有优先权的所有实体都竞争这些资源时， 所有实体才可获得公平的份额。 如果用户、项目或组在给定的期间内不提交作业， 则资源将在提交作业的用户、项目或组之间共享。用户或用户组、 项目或项目组具有的系统份额， 是作为配置参数授予的。 授予作业哪些系统份额，取决于以下因素：_ 分配给作业的用户或项目的份额_ 每个用户和用户组以及每个项目和项目组的累积的过去用量。配置越权策略越权调度允许 Grid Engine 系统管理人员或操作人员动态地调整与用户、部门、项目或作业类相关的一个或所有作业的相对重要程度。这种调整将票券添加到指定的作业、

19、用户、部门、项目或作业类。通过添加越权票券，越权调度增加了用户、部门、项目或作业所具有的票券总数。因此，资源的整体份额得到了提高。添加越权票券还增加了系统中的票券总数。这些附加的票券降低了每个作业的票券的值。可将越权票券用于以下两个用途：1. 临时替代基于份额的策略或职能策略，而不必更改这些策略的配置。2. 建立与固定的票券总数相关的资源优先权级别。建立优先权级别适合于高、中、低作业类，或高、中、低优先级类的情形。当作业完成时，直接分配给该作业的越权票券将消失。其他所有票券将增加回其原始值。分配给用户、部门、项目和作业类的越权票券将保持有效，直到管理员明确删除这些票券。(2) 调度程序如何对作

20、业进行调度Grid Engine系统包含以下作业调度活动：分派前的决策。 活动包括， 取消满载或超载的队列、 对当前不符合执行条件的作业进行假脱机以及为高优先级的作业保留资源。分派。确定与其他暂挂的作业和正在运行的作业相对而言的作业重要程度、检测群集中所有计算机上的负荷以及根据已配置的选择标准将作业发送到选定计算机上的队列中。分派后的监视。当作业获得资源时， 或当其他带有自己的相对重要程度的作业进入或离开系统时，调整作业的相对重要程度。Grid Engine软件根据以下标准在不同类型的群集中调度作业：群集的当前负荷作业的相对重要程度主机的相对性能作业的资源需求，当调度发生时，调度程序首先进行以

21、下工作：_ 考虑所有关键事件_ 根据管理员的指定对作业和队列进行排序_ 考虑所有作业的资源需求_ 为将来的调度中的作业预留资源然后， Grid Engine系统按照需要执行以下任务：_ 分派新的作业_ 暂挂正在运行的作业_ 增加或减少分配给正在运行的作业的资源_ 维护状态Grid Engine软件中管理员如何控制作业的排序:在Grid Engine 系统开始分派作业之前，作业将按优先级进行排序，优先级最高的排在首位。然后，系统尝试为优先级序列中的作业寻找适合的资源。 在无管理员影响的情况下， 采用先进先出 (FIFO)的顺序。管理员有以下方法可控制作业顺序：基于票券的作业优先级。通常会按照由作

22、业具有的票券数所定义的作业相对重要程度来处理作业。暂挂作业是按票券顺序而排序的。管理员应用于票券策略的任何更改也会更改排序顺序。基于紧急程度的作业优先级。作业可具有一个紧急程度值，该值决定了作业的相对重要程度。暂挂作业是根据紧急程度值进行排序的。任何应用于紧急程度策略的更改也会更改排序顺序。POSIX 优先级。可使用 qsub 命令的 p 选项以实现站点专用的优先级策略。p 选项指定优先级的范围（从 1023 到 1024）。此数字越大，优先级超高。作业的默认优先级为零。用户或用户组作业的最大数量。可以限制用户或UNIX 用户组可并发运行的作业的最大数量。这种限制将影响暂挂作业列表的排序顺序，

23、因为未超过其限制的用户所具有的作业将获得较高优先级。修改作业调度和队列选择策略的方法：_ 更改调度算法_ 调节系统负荷_ 根据序号选择队列_ 根据份额选择队列_ 严格限制每个用户或每个组的作业数量更改调度算法调度程序配置参数 algorithm使您可以选择一种要使用的调度算法。调节系统负荷要选择队列以运行作业，Grid Engine 系统将使用具有队列实例的计算机上的系统负荷信息。这种队列选择方案可构建负荷平衡的环境，因此可保证更好地使用群集中的可用资源。根据序号选择队列另一种更改队列选择的默认方案的方法是，将全局群集配置参数queue_sort_method 设置为seq_no 而非默认的

24、load 。这种情况下，系统负荷不再是用于选择队列的主要方法。相反，由队列配置参数 seq_no 分配给队列的序号为队列定义了一个固定的顺序。队列必须适合于所考虑的作业，而且队列必须是可用的。根据份额选择队列这种方法的目的是调整作业， 以尝试满足每个作业所需的全局系统资源份额。 它会考虑与所有系统资源相关的每台主机所代表的资源能力。这种方法尝试用特定主机为系统提供的资源能力百分比，来使每台主机的票券百分比（即所有运行在主机上的作业的票券之和）达到平衡。严格限制每个用户或组的作业数量管理员可为任何用户或任何UNIX 组可在任何时间运行的作业数量分配上限。5. 监视控制队列和作业可以通过三种方式监

25、视和控制作业：_ 通过 QMON图形工具_ 从命令行使用qstat、qdel和qmod 命令_ 通过电子邮件监视作业的属性 ：_ JobId_ Priority_ JobName_ Owner_ Status_ Queue管理作业按以下的方式管理选择的作业：_ 暂停_ 恢复（取消暂停）_ 删除_ 取消_ 发行_ 重新定义优先级_ 重新调度查看群集队列状态群集队列表格中的每一行代表一个群集队列。对于每一个群集队列，该表格列出以下信息：_ Cluster Queue 群集队列的名称。_ Load 所有群集队列主机的平均标准负荷的平均值。只考虑具有负荷值的主机。_ Used 当前使用的作业位置数。_ Avail 当前可用的作业位置数。_ Total 总的作业位置数。_ aoACD 至少处于以下状态之一的队列实例数量：_ a 阈值警告_ o 孤立的_ A 暂停阈值警告第4 章? 监视和控制作业与队列91_ C 由日历暂停_ D 由日