PBS作业调度应用与说明

1、PBS(PortableBatchSystem|l 初由 NASA 的 Ames 研究中心开发， 主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS 的主要特点有：代码开放， 免费获取； 支持批处理、 交互式作业和串行、 多种并行作业， 如 MPI、 PVM、HPF、 MPL;PBS 是功能最为齐全，历史最悠久， 支持最广泛的本地集群调度器之一.PBS的目前包括 openPBS,PBSPrcffiTorque 三个主要分支.其中 OpenPBS 是最早的 PBS系统， 目前已经没有太多后续开发，PBSpr

2、o 是 PBS 的商业版本， 功能最为丰富.Torque是 Clustering 公司接过了 OpenPBS,并给与后续支持的一个开源版本.PBS 的应用不同于一般的直接运行：mpirunnpnumber./executable_file直接运行上句，则只能在单个节点上进行并行计算。如果要在多个节点上并行执行则要写 machinefile 或 p4pgfile,两种文件的具体写法参考张林波等并行计算导论。运行命令分别为：mpirunMachinefilefilenamempirun3Pgfilename应用 PBS 提交任务则会形成任务队列，依次执行，有效分配资源，避免资源竞争。否则 CPU

3、时间片会轮流分配给各个人的任务，从而影响所有人的正常作业torquePBS 提供对批处理作业和分散的计算节点( (Computenodes)勺控制。校装 Torque 组件：在一个节点上( (headnode 安装 pbs_server 所有计算节点上安装 pbs_mom,所有计算节点和提交节点上安装 PBS 客户端。至少做最基本的配置，使 Torque 系统跑起来，也就是使 pbs_server 能知道该和哪些机器通话。pbs_server 上创建一个作业提交队列。施集群的所有节点上指定一个 clustername 作为 property0这可以用qmgr 命令做到。比如:qmgr-cset

4、nodenodeproperties=cluster-name麻保作业可以提交到节点上去。这可以通过使用 qsub 命令做到。比如：echosleep30|qsub-lnodes=31.1 作业提交系统 Torque 个人安装总结（PBS）1.2 Torque 安装（在 master 管理结点上）.解压安装包tar-zxvftorque-2.3.0.tar.gz.进入到解压后的文件夹./configure-with-default-server=mastermakemakeinstall.打包，必须是个普通用户rootmastertorque-2.3.0#./torque.setuprootm

5、astertorque-2.3.0#makepackages把产生的tpackages,torque-package-clients-linux-x86-64.sh,torque-package-mom-linux-x86-64.sh 拷贝至 I 所有节点。3）客户端安装rootmastertorque-2.3.0#./torque-package-clients-linux-x86_64.sh-installrootmastertorque-2.3.0#./torque-package-mom-linux-x86_64.sh-install4）编辑/var/spool/torque/serv

6、er_priv/nodes（需要自己建立）力口入如下内容masternp=4node01np=4node09np=45） 启动 pbs_server,pbs_sched,pbs_mom,把其写至 U/etc/rc.local 里使其能开机自启动。6）创建队列rootmaster#qmgrcreatequeuestudentssetqueuestudentsqueue_type=ExecutionsetqueuestudentsPriority=40setqueuestudentsresources_max.cput=96:00:00setqueuestudentsresources_min.c

7、put=00:00:01setqueuestudentsresources_default.cput=96:00:00setqueuestudentsenabled=Truesetqueuestudentsstarted=True4、在 node0 x（x=1-9，计算结点上）rootnode0 xtorque-2.3.0#./torque-package-clients-linux-x86_64.sh-installrootnode0 xtorque-2.3.0#./torque-package-mom-linux-x86_64.sh-install然后启动 pbs_mom 把 pbs_mo

8、m 写入/etc/rc.local1.2TorquePBS 使用1、创建用户在 master 的 root 下useraddtestpasswdtest输入 test 密码到/var/yp 下 make 下2、配置普通用户的 sshsutestssh-keygen-tdsacd.sshcatid_pub.dsaauthorized_keyschmod600authorized_keys3、编写作业脚本，见下文4、启动 mpdmpdboot-n10-fmfamfa 内容：master:4node01:4node09:45、提交，查询，删除作业提交作业：qsubpbsjobtest1masterp

9、bstest舟 subpbsjob48.master 作业提交后会有一个作业号查询作业：qstattest1masterpbstest$stat删除作业：qdel 作业号test1masterpbstest舟 del482.0PBS 服务开启操作流程我在 Dawing 上操作成功了！1）在主节点上打开 PBS 服务/etc/init.d/pbs_serverstart2）在主节点和其他节点打开 PBS 客户端。主节点虽是服务端，但也可参加计算，因而要打开客服。依次执行如下：/etc/init.d/pbs_momstart3）在所有节点上打开调度器/etc/init.d/maui.dstart对

10、于这些 PBS 的功能开启有几个相同的参量:status 查看状态restart 重启stop 终止start 开启4）接下来是检查是否可以提交作业pbsnodes-a返回 free 即表示可以提交作业。5）写脚本 vimpbs_fdtd_TE_xyPML_MPI_OpenMP#!/bin/bash规定使用的节点数 nodes 以及每个节点能跑任取一作业任务名 taskname到工作目录下（此为 PBS 提供的环境变量）mpirun-np20./fdtd_TE_xyPML_MPI_OpenMP执行 mpirun 一句可以用-machinefile 或-p4Pg 命令参量制定6）提交#PBS-l

11、nodes=5:ppn=4多少核 ppn#PBSNtasknamecd$PBS_O_WORKDIRqsubpbs_fdtd_TE_xyPML_MPI_OpenMP7）可用 qstat 查看作业任务，具体参量参看下文。流程终结!99294-Numbered_ae64b842-e072-4094-9180-af4cca8a975b-Bulleted_8dddb51f-8058-497c-9edb-0ab5edffe15b(PBS 常用命令和选项99294-Numbered_ae64b842-e072-4094-9180-af4cca8a975b-Bulleted_8dddb51f-8058-497

12、c-9edb-0ab5edffe15b(基本脚本写法和选项PBS 是 ProtableBatchSystem 勺缩写，是一个任务管理系统。当多个用户使用同一个计算资源时，每个用户用 PBS 脚本提交自己的任务，由 PBS 对这些任务进行管理和资源的分配。下面是一个简单的 PBS 脚本：#!/bin/bash#PBS-lnodes=20#PBS-Nsnaphu#PBS-joe#PBS-lwalltime=24:00:00#PBS-lcput=1:00:00#PBS-qdquecd$PBS_O_WORKDIRcat$PBS_NODEFILE$PBS_NODEFILENODEFILEmpirun-n

13、p./mpitest将这个脚本保存成 submit 然后 qsubsubmi 僦将这个 mpitest 的任务提交给了系统。脚本中#PBS 为脚本选项，用于设置一些参数。#PBS-l 表示资源列表，用于设定特定任务所需的一些参数。这里的 nodes 表示并行环境下可以使用的节点数，而 walltime 表示任务最大时限，而 cput 表示 cpu 时间的最大时限，运行时间和 cpu 使用时间超过对应的时限，任务就会以超时退出。这三个参数不是 PBS 脚本参数，而是并行环境所需的参数。#PBS-N 表示任务名称#PBS-j 表示系统输出，如果是 oe,则标准错误输出（stderr）和标准输出（s

14、tdout）合并为 stdout,如果是 eo,则合并为 stderr,如果没有设定或设定为 n,则 stderr 和 stdout 分开。#PBS-q 表示当前任务选用的队列。在并行环境下，一个系统中往往有多个队列，任务提交后，将在所选的队列中排除等候。系统中有哪些队列可以用 qstat-q 查看。PBS 脚本文件由脚本选项和运行脚本两部分组成。PBS 作业脚本选项（若无-C 选项，则每项前面加#PBS2）运行脚本同 LINUX 下一般的运行脚本文件格式如下：mpirunnp 进程数 JW 执行程序名3.2PBS 命令与选项PBS 提供的 4 条命令用于作业管理qsub 命令：用于提交作业脚

15、本命令格式：qsub-adate_time-epath-I-lresource_list-Muser_list-Nname-Spath_list-uuser_list-Wadditional_attributes例：#qsubaaa.pbs 提交某作业，系统将产生一个作业号qstat 命令：用于查询作业状态信息命令格式：qstat-f-a-i-n-s-R-Q-q-B-u参数说明：fjobid 列出指定作业的信息a 列出系统所有作业i 列出不在运行的作业n 列出分配给此作业的结点s 列出队列管理员与 scheduler 所提供的建议R 列出磁盘预留信息Q 操作符是 destinationid,指明请求的是队列状态q 列出队列状态，并以 alternative 形式显示auuserid 列出指定用户的所有作业B 列出 PBSServer 信息r 列出所有正在运行的作业Qfqueue 列出指定队列的信息u 若操作符为作业号，则列出其状态。若操作符为 destinationid,则列出运行在其上的属于 user_list 中用户的作业状 0例：#qstat-f211 查询作业号为 211 的作业的具体信息。qdel 命令：用于删除已提交的作业命令格式：qdel-W 间隔时间作业号例：#qdel-W1521115 秒后删除作业号为 21