PBS实验指导书

1、PBS实验指导书1. PBS简介PBS(Portable Batch System)最初由 NASA 的 Ames 研究中心开发，目的是提供一个能满足异构计算网络需要的软件 包，特别是满足高性能计算的需要。它力求提供对批处理的 初始化和调度执行的控制，允许作业在不同主机间路由。PBS 独立的调度模块允许系统管理员定义资源和每个作业可使 用的数量。调度模块存有各个可用的排队作业、运行作业和 系统资源使用状况信息，系统管理员可以使用PBS提供的TCL、BACL、C过程语言。PBS的调度策略可以很容易被 修改，以适应不同的计算需要和目标。 PBS的结构及功能。PBS主要由4个部分组成：控 制台、服务

2、进程、调度进程和执行进程。控制台实质上由一 系列PBS提供的命令构成，PBS同时还提供了图形化界面 XPBS，实现了图形界面与PBS命令的映射：服务进程即pbs_server (简称server)，是PBS运行的核心，它集中控制 整个集群上的作业运作。调度进程即pbs_sched,它包含了作业运行及运行地点和时间的站点控制策略。执行进程即 pbs_mom，实际上由它产生所有正在执行的作业。 调度策略。PBS为了调度那些应该放在执行队列的 作业，提供了一个单独的进程。这是一个灵活的机制，可以实现大量的策略。这个调度程序使用标准的PBS API来和服务器通信，使用一个额外的 API来和PBS执行进

3、程通信。通 过使用一些额外提供的 API，可以增强调度的策略，进而实 现一个可替换的调度程序。第一代批处理系统和许多其他的 批处理系统都使用大量基于限制作业或控制调度作业的队 列。为了按照时间来控制作业的排序，队列会被打开或关闭，或者限制载队列里运行作业的数量；而PBS支持多重队列，并且这些队列有很多其他批处理系统所使用的作业调度属 性，PBS服务器本身并不运行作业，也不添加任何限制，这 些都是由队列属性实现的。事实上，调度程序仅仅拥有不超 过一个有管理员特权的客户端。控制调度的服务器和队列属性可以通过拥有特权的客户 端来调整，这些特权命令是qmgr。然而，这些控制通常驻留 在调度程序上，而不

4、是服务器上。这些调度程序必须检查服 务器、队列和作业的状态，决定服务器和队列属性的设置。 在之后的决策中，调度程序必须使用这些设置。另一个方法就是whole pool方法，所有的作业都放在一 个单独的队列中，调度程序评估每个作业的特点并且决定运 行哪一个作业。这些策略能很容易地包括一些因素，如每天 的运行时间、系统的装载、作业的大小等。队列里作业的顺 序不需要被考虑。这个方法的主要优势在于用户可以根据自 己的主要需求来产生策略，通过调度，使当前的作业更好地 适应当前可用的资源。 PBS系统中的作业执行。PBS系统中的作业执行主 要依靠服务进程、调度进程、执行进程等部分，如图3-1，简单的执行过

5、程如下。a. 由客户产生事件，时间通知服务进程开始一个调度周期；b. 服务进程发送一个调度命令给作业调度器；c. 作业调度器向执行过程请求可利用的资源信息；d. 执行做成返回给作业调度器一个资源信息；e. 得到资源信息后，调度器向服务进程请求作业信息；f. 服务进程接受请求，并发送作业信息至作业调度器，产生执行作业的策略；g. 作业调度器发送执行作业请求至服务进程；h. 服务进程接受请求后，发送作业至执行进程执行作业。图3-1 PBS的执行过程主机巴执行主机2. PBS的安装Linux的tarball安装方PBS的安装应该说是一个标准的 式。安装过程主要有如下几个步骤。 下载PBS的源码包。

6、解压缩软件包。 进入相应的目录，配置、编译#cd SPBS-1.0.0$./configure -docs -disable-gui$make #make install其中，选项-enable-docs指定要编译文档，选项-disable-gui指定去掉图形界面； 选项-enable-scp，先使用scp 命令，再使用rcp命令进行数据的复制。默认情况下，PBS会安装在.usr/spoole/PBS目录下，该目 录在./configure 的时候指定 -prefix。3. PBS的配置1）配置 server_name编辑所有的节点的$PBS_HOME/server_name，在里面写入选定的

7、 server的主机名，例如： manager2）配置管理节点在 manager 的 $PBS_HOME/server_priv 目录下建立 nodes 文件。#touch nodes在nodes文件写入所有 mom节点的名称。bc1n1 np = 4bc1n2 叩=4bc1n14 np = 4 该节点最多可以同时运行多少个任务。3）配置计算节点为了使计算节点接受管理节点的控制，需编辑每个计算节点$PBS_HOME/mom_priv目录下的config文件，写入如下信息。$logevent 0x1ff$clienthost manager$logevent用于指定日志的级别，使用默认值就可以了

8、，$clienthost为指定server的地址。4. PBS的作业管理PBS安装配置完毕后需启动服务，可以手动执行启动，也可以载rc.local文件中加入启动脚本， 最好按mom、server、 sched的顺序启动命令，具体如下。#/usr/local/sbin/pbs_mom# /usr/local/sbin/pbs_server -t create#/usr/local/sbin /pbs_sched其中-t create在第一次启动的时候要用，用于创建一些初始化必要的环境，以后启动就不再需要了。接下来要创建作业队列，PBS中的队列分为两种类型，即执行队列和路由队列，下面是一个创建队列

9、的脚本。# Create and define queue verylong#create queue verylongset queue verylong queue_type = Executionset queue verylong Priority = 40set queue verylong max_running = 10set queue verylong resources_max.cput = 72:00:00set queue verylong resources_min.cput = 12:00:01set queue verylong resources_default

10、.cput = 72:00:00set queue verylong enabled = Trueset queue verylong started = True# Create and define queue long#Create queue longset queue long queue_type = Executionset queue long Priority = 60set queue long max_running = 10set queue long resources_max.cput = 12:00:00set queue long resources_min.c

11、put = 02:00:01set queue long resources_default.cput = 12:00:00set queue long enabled = Trueset queue long started = True# Create and define queue medium#create queue mediumset queue medium queue_type = Executionset queue medium Priority = 80set queue medium max_running = 10set queue medium resources_max.cput = 02:00:00set queue medium resources_min.cput = 00:20:01set queue medium resources_default.cput = 02:00:00set queue medium enabled = Trueset queue medium started = True# Create and