作业调度系统.ppt

1、作业调度系统，技术支持中心，2010年9月，李斌，目录，作业调度系统概述PBS作业调度系统，集群使用中存在的问题，集群结构松散，节点类型不同(CPU类型，内存大小，数量等)。)用户有不同类型的作业(串行/并行，各种应用软件)，用户可以利用资源限制，作业调度系统的功能，单一系统映像集群松散结构集成系统资源集成异构系统集成多用户管理统一安排用户提交的任务，管理避免未经授权用户的用户权限控制冲突，作业调度系统的分类，调度基于操作系统支持的进程级别或集群内部的运行时，监控正在运行的作业；为了实现集群中的透明调度，以及自动优化进程分配和负载均衡，基于作业级的调度由一个独立的作业管理系统实现。系统通过特殊

2、入口接收用户提交的任务，并将其发送到相应队列等待调度；并在适当的时间分配资源，为任务创建作业，将作业投入运行，在作业运行后完成收尾工作，并提供会计功能。管理员和用户还可以在集群中查询和预订符合要求的资源，从而实现对作业和资源的整体交互控制。任务管理系统的比较、作业调度系统的组成、资源管理器：用于管理硬件资源和集群认证信息的队列管理器等。用于管理所有当前提交但未完成的作业的调度程序：为作业分配资源、作业调度系统的结构、作业调度系统的历史、目录、作业调度系统概述PBS作业调度系统、PBS作业调度系统、PBS(可移植批处理系统)最初是由美国宇航局艾姆斯研究中心开发的，用于提供能够满足异构计算网络需求

3、的软件包。它努力提供对批处理初始化和调度的控制，并允许作业在不同主机之间路由。开源版本的公共广播系统是开放公共广播系统，它已经停止开发，并改为商业版本的公共广播系统专业版。由阿尔泰公司开发和维护的Torque(万亿级开源资源和队列管理器)是OpenPBS的后续开源版本。它已经纠正了许多OpenPBS的错误。功能和可扩展性都得到了极大的提高。PBS的技术特征是独立的调度模块存储可用的排队作业、运行作业和系统资源使用信息，并允许系统管理员定义每个作业的资源和可用数量。在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL和C三种进程语言和调度类，并定义了一些调

4、度所需的函数和完整的API，便于实现新的调度策略。提供文件传输、文件转入和转出。符合POSIX1003.2d标准，支持工作依赖性，并完成安全认证。提供了用户映射功能，因此可以在用户不一致的系统中使用公共广播。支持系统级检查点/重启功能(需要操作系统支持)、公共广播合成、服务器：公共广播服务器调度器3360公共广播服务调度器3360公共广播服务管理器命令行：用户脚本、管理命令等。基本原理，优缺点，符合POSIX 1003.2d标准，支持系统级检查点功能(需要底层操作系统的支持)，具有良好的大规模可扩展性和独立的调度模块，支持使用其他调度器，支持作业依赖和用户映射灵活性：支持交互、批处理、串行和并

5、行作业，只支持类Unix操作系统，多集群协作功能有限。语言、节点、单个操作系统映像、统一虚拟内存映像、一个或多个处理器、一个通常，执行主机也称为节点。属性队列、服务器和节点都有自己的属性，提供控制信息。与节点相关的属性包括：状态、类型、虚拟处理器数量、作业列表(该节点被分配的作业)以及节点的特征。节点属性为了提供一种分配一组节点的方法，会为每个节点分配零个或多个属性。该功能只是字母和数字的组合，对公共广播系统没有任何意义(第一个字符必须是字母)。PBS系统扭矩，解压缩源文件包焦油zxvf torque-2.3.7.tar.gz编译设置光盘扭矩-2.3.7。/configure-enable-d

6、ocs-with-scp-enable-syslog-prefix=/usr/Local-with-server-home=/var/spool/TORQUE默认情况下，TORQUE在/usr/local/bin和/usr/local/sbin下安装可执行文件。其余的配置文件和运行时环境将安装在/var/spool/torque下编译和安装make make install，PBS将安装在集群上，因为节点操作系统是相同的，所以下面的SHELL脚本可以用来安装在计算节点(torque客户端)上，以及服务启动文件、 服务器系统启动脚本/etc/init . d/PBS _ server sched

7、uler系统启动脚本/etc/init.d/pbs_sched Mom系统启动脚本/etc/init.d/Pbs_mom扭矩服务器chkconfig PBS _ server在chkconfig pbs_sched在服务PBS _ server启动服务PBS _ sched启动扭矩客户端chkconfig pbs_mom在服务Epbs _ momstart上，在服务器端设置，在安装源文件的根目录中创建一个以root为扭矩管理员帐户的作业队列执行。/torque.setup root初始化服务器：(首次运行或重新配置)/usr/local/sbin/PBS _ server-t创建服务器配置目录

8、/var/spool/torque/server_priv/节点属性声明：/var/spool/torque/server_priv/节点2 NP=12 AMD化学节点3 NP=12 AMD化学节点4 NP=8英特尔化学节点5 NP=8英特尔化学节点6 NP=4英特尔生物组节点7 NP=4英特尔生物组，设置在最末端。mom配置目录：/var/spool/torque/mom_priv/mom配置文件：/var/spool/torque/mom _ priv/config，在服务器端动态设置。如果PBS能正常运行，需要通过qmgr命令的服务器进行配置，并设置一些属性。输入qmgr命令进入配置交互

9、命令。以下是公共广播系统正常运行的基本设置。qmgr命令(由管理员使用)。进入qmgr进入交互模式后，您可以输入各种命令qmgr操作：对象类型和操作符，PBS队列设置，导入服务器配置文件：qmgr queue.conf配置文件示例：PBS队列设置，资源和用户限制，配置目录中的Sched_priv/sched_config文件通过sort_by关键字控制调度程序算法。可以选择的选项有无排序、最短作业优先、最长作业优先。最小内存优先、最大内存优先、高优先级优先、低优先级优先、多排序、公平共享、大walltime优先、短walltime优先修改此文件并重新启动计划程序。/etc/init.d/PBS

10、 _ schedrestart，调度器调度行为配置，PBS调度算法先进先出：根据作业提交时间，先进先出回填：适度放宽先进先出策略，在不增加大型作业等待时间的前提下，先运行以下小型作业公平共享：根据提交的作业，公平处理所有用户和队列的作业循环：每个队列作业循环：例如，最短作业优先，最小内存优先，PBS使用步骤，准备：编写描述作业更改的脚本，包括作业提交：使用qsub命令将作业提交到PBS服务器进行排队；服务器将任务排队到适当的队列中进行调度；服务器检查每个工作节点的状态是否满足作业的要求，并对其进行调度。执行：当条件满足时，作业被发送到相应的执行服务器执行。当程序运行时，执行服务器收集程序的标准

11、输出和标准错误流，并在程序结束时将信息返回给用户。查询和调整：作业运行时，用户可以使用qstat查询状态。当用户发现作业提交错误时，他可以使用qdel删除正在运行的作业。检查结果：使用文本编辑软件vi或系统命令cat，less等。检查输出和错误信息显示。PBS的基本命令，在PBS系统中，用户使用qsub命令提交用户程序。用户运行程序的命令和公共广播服务环境变量设置构成公共广播服务作业脚本，提交给公共广播服务系统，以下列格式运行：公共广播服务作业脚本，注释，以“#”开头的公共广播服务运行参数，以“#”开头的SHELL命令，qsub运行参数，公共广播服务环境变量，公共广播服务作业脚本示例，一个复杂

12、的公共广播服务作业脚本，指定节点特性，#公共广播服务-1节点=2:ppn=4:amd:chem，#公共广播服务-1节点=8:chem可以在PBS脚本中指定多个作业之间的依赖关系。例如，另一个作业必须在作业提交之前完成，否则它处于队列状态。当指定的作业异常结束时，可以提交该作业。作业阵列、应用程序场景您可以以#PBS -t或qsub -t的形式提交这样的作业阵列，并且每个作业由环境变量$PBS_ARRAYID来区分。命令数组的主要参数包括：作业数组、所有节点及其属性，属性包括“状态”和“属性”，将指定节点的状态标记为“脱机”。这将有助于管理员暂时停止某些节点的服务-l列出一行中已标记节点的状态，例如-l空闲，-l脱机-c清除节点列表中“脱机”或“关闭”状态的设置，以便可以将节点分配给作业-r清除指定节点的“脱机”状态，并且PBS用户保留帐户。用户记帐信息保存在目录/var/spool/torque/server _ priv/accounting中。每个文件对应一天的会计信息，文件名是日期，如20090930。一般来说，这些文件不是直接读取的，简明的会计信息可以通过以下命令提取：pbsact/var/spool/torque/server _ priv/accounting/20090930输出2009