LSF简易使用手册

LSF简易使用手册(2011-02-22 14:28:19)LSF（Load Sharing Facility）是由platform公司开发的分布资源管理工具。它用来调度、监视、分析联网计算机的负载，可以对Cluster机群的资源统一调度和监控。一 LSF使用方法1、设置环境变量：用户使用LSF前，应设置相应的环境变量：csh用户，登录系统后执行source /export/lsf/conf/cshrc.lsfbash用户，登录系统后执行. /export/lsf/conf/profile.lsf用户也可写入.cshrc或.bashrc，则登录后就能设置相应的环境变量。2、提交作业LSF 使用 bsub 命令来提交作业。bsub 命令常见用法如下：bsub n z q QUEUENAME i inputfile o outputfile COMMAND其中z代表了提交作业需要的cpu数，q指定作业提交到的队列，创建时间：2006-12-12 15:54:00 1如果不采用q选项，系统把作业提交到默认作业队列（作业队列详细介绍请看下一节）。inputfile 代表程序需要读入的文件名（例如 namelist等），outputfile 代表一个文件，作业提交后标准输出的信息将会保存到这个文件中。COMMAND是用户要运行的程序。（1）对于串行程序COMMAND可以直接使用用户的程序名例如，对一个运行时间12小时内完成的串行作业mytest， 提交方式为：bsub n 1 q QS_Norm o mytest.out ./mytest（2） 对于并行作业COMMAND为“a mpich_gm mpirun.lsf 程序名”因为并行作业必须用到MyriNET库，所以提交的时候必须使用a mpich_gm mpirun.lsf例如对于一个12个小时内完成，使用16个cpu的并行作业mytest，提交方式为：bsub n 16 q QN_Norm o mytest.out a mpich_gm mpirun.lsf ./mytest目前，系统规定每个用户最多只能使用16个cpu。3、使用脚本提交作业bsub 命令可以使用输入脚本多次提交具有相同参数的作业，格式为： 创建时间：2006-12-12 15:54:00 2#BSUB n Z #BSUB q QUEUENAME #BSUB o OUTPUTFILE COMMAND该脚本的参数与命令行“ bsub n Z q QUEUENAME o outputfile COMMAND”参数相同。提交时为 bsub 脚本名例如要提交一个12小时内完成，需要16个cpu的并行作业mytest，可以编写作业脚本 bsub.scriptfile#BSUB n 16#BSUB q QN_Norm#BSUB o mytest.outa mpich_gm mpirun.lsf ./mytest作业提交方法为：bsubbsub.scriptfile二、LSF队列状况LSF分了如下几个作业组：1、长时间并行作业组（LSF管理）（1） QL_Norm 队列 创建时间：2006-12-12 15:54:00 3该队列用于运行长时间并行作业，作业不限执行时间。作业规模限制为：最多使用16个CPU。2、串行作业组（LSF管理）（1） QS_Norm 队列 该队列用于串行短时间作业，最长作业执行时间为 12小时。（2） QS_Long 该队列专用于长时间串行作业，作业不限执行时间。3、短时间并行作业组（LSF管理）（1） QN_Norm 队列 该队列用于运行短时间并行作业，最长作业执行时间为12小时。（2） QN_Debug队列该队列用于调试或试算，最长作业执行时间为5分钟。请用户根据自己的需求，选择适当的作业组进行作业提交。附：队列命名潜规则新的队列命名遵循一定的潜规则，下面详细解释队列名中各字母的含义：QL_Norm：Q代表queues；L代表long，表示该队列运行长时间并行作业；QN_Norm：Q代表queues；N代表normal，表示该队列运行短时间并行作业；QS_Norm：Q代表queues；S代表serial，表示该队列运行短时间串行作业；QS_Long：Q代表queues；S代表serial，表示该队列运行串行作业；Long表示长时间运行；（同中科院网络中心 深腾6800）三 查看作业状态和删除作业等几个常用的指令：bjobs 检查提交作业状态bjobsbjobs -wbjobs r 显示正在运行的作业bjobs a 显示正在运行的和最近完成的作业bjobs -p 显示等待运行的作业和等待原因bjobs s 显示正在挂起的作业和挂起的原因bjobs -l 显示该作业的所有信息bhist 显示最近完成作业或正在运行作业的历史情况bhist bkill 删除不需要的作业bkill bkill r bpeek 当作业正在运行时显示它的标准输出，监视作业运行bpeek bqueues 显示队列信息bqueuesbqueues l bhosts 显示各节点作业相关情况bhostsbhosts lsload 显示各节点负载信息lsloadlsload lshosts处理各节点静态资源信息lshostslshosts 作业提交（命令行方式）l队列设置（bqueues命令查看）：Parallel：此队列有64个节点，计算网络是infiniband（40G），每个节点有12个计算核心，24G内存；适合跨节点并行计算。smp_high：此队列有40个节点，计算网络是以太网，每个节点有12个计算核心，24G内存；适合单节点内并行，或少量节点间通信的跨节点并行计算。smp：此队列有48个节点，计算网络是以太网，每个节点有8个计算核心，24G内存；适合单节点内并行，或少量节点间通信的跨节点并行计算。l应用设置（bapp命令查看）：amberg03gaussian（g09）gromacsmsl脚本范例Amber（把下面内容编写成脚本）#BSUB -q smp（选择队列）#BSUB -app amber（应用）#BSUB -o %J.out（结果输出文件，以作业号为文件名）#BSUB -o %J.err（错误输出文件，以作业号为文件名）#BSUB -a openmpi（编译器）#BSUB -n 8（计算核心的数量）mpirun.lsf sander.MPI -O -i min_2ojn.in -o min_2ojn.out -p 2ojn.top -c 2ojn.crd-r min_2ojn.rst -inf min_2ojn.infG03（把下面内容编写成脚本）#BSUB -q smp（选择队列）#BSUB -app g03（应用）#BSUB -k/lustre/home/wangxj 60（保存断点，作业停了可以继续运行）#BSUB -o %J.out（结果输出文件，以作业号为文件名）#BSUB -n 8（计算核心的数量）g031reo6T-3.gjfG09（把下面内容编写成脚本）#BSUB -q smp_high（选择队列）#BSUB -app gaussian（应用）#BSUB -o %J.out（结果输出文件，以作业号为文件名）#BSUB -e %J.err（错误输出文件，以作业号为文件名）#BSUB -n 12（计算核心的数量）#BSUB -R spanhosts=1（12个计算核心在一台机器上）g09 TS3-4_3.comGromacs（把下面内容编写成脚本）#BSUB -q parallel（选择队列）#BSUB -app gromacs（应用）#BSUB -a intelmpi（MPI）#BSUB -o %J.out（结果输出文件，以作业号为文件名）#BSUB -e %J.err（错误输出文件，以作业号为文件名）#BSUB -n 12（计算核心的数量）#BSUB -R spanptile=6（每个节点用6个计算核心）mpirun.lsf mdrun -v -s md.tpr-c md.gro-e md.edr -o md.trr -g md.logMS5.5（把下面内容编写成脚本）#!/bin/sh#BSUB -q parallel#BSUB -app ms#BSUB -o %J.out#BSUB -e %J.err#BSUB -n 12#BSUB -R spanptile=6#BSUB -R rusagemslic=1（判断模块license是否被占用）/home/msi/Accelrys/MS55_IB/etc/DMol3/bin/RunDMol3.sh -np 2 A（IB网络）或者/home/MS55/Accelrys/etc/DMol3/bin/RunDMol3.sh -np 2 A（不限网络）Fluent（把下面内容编写成脚本）#!/bin/sh#BSUB -q parallel#BSUB -app fluent#BSUB -o %J.out#BSUB -e %J.err#BSUB -n 12fluent 3d -i test.jou -t8 -gMatlab（把下面内容编写成脚本）#!/bin/sh#BSUB -q parallel#BSUB -app matlab#BSUB -o %J.out#BSUB -e %J.err#BSUB -n 1matlab -nodisplay -r exampl