大型机使用手册

1、大型机使用手册快速使用指南用户软件环境加载用户软件环境加载可加载的软件环境列表可以在命令行使用下面的命令获取或查看本手册后续部分 module avail由用户根据自己使用的shell在下列文件中通过 module load / unload命令来加载/卸载自己所需要的运行环境 .bash_profile/.bashrc （bash shell ) .cshrc/.tcshrc (csh / tcsh) .kshrc (ksh)可以在命令行使用下面的命令，获取自己使用的的shell 信息echo $0示例shell为bash，希望登录后自动加载mvapich2, ncl, netcdf, gr

2、ads等的软件环境信息，则把下列命令添加到/.bashrc中module load mvapich2 netcdf ncl GrADS快速使用指南加载注意事项加载注意事项 编译器模块必须第一个加载编译器模块必须第一个加载 如需要的环境与系统缺省设置不一致，先用下面命令清除，再加载需要的环境module purge 加载编译器后，再加载其他的应用模块 有依赖关系的模块，在加载时需要注意先后顺序，例如ncl/6.1.2依赖hdf5/1.8.11, netcdf/4.3.0netcdf/4.3.0依赖hdf5/1.8.11其加载顺序为module load hdf5/1.8.11 netcdf/4.

3、3.0 ncl/6.1.2 加载缺省版本模块时，可以不用指明版本号 可通过env命令来查看模块加载后进行的相关设置，例如，模块的安装位置，有关的环境变量设置等快速使用指南 PBS脚本设置脚本设置 以下以下PBS指令为必需指令指令为必需指令#PBS P project_no (项目号项目号)#PBS -q queue_name (队列名队列名)#PBS -l walltime=hh:nn:mm(墙钟限制）墙钟限制） PBS脚本中脚本中MPI程序运行方式程序运行方式mpirun -np nproc my_mpi_app.exe注意：注意： 1. 不需要指定不需要指定-hostfile 参数参数 2

4、. 现在启用了墙钟限制，脚本有可能需要根据相应的墙钟限制进行调整，避免现在启用了墙钟限制，脚本有可能需要根据相应的墙钟限制进行调整，避免由超时造成强制中断而的问题由超时造成强制中断而的问题示例脚本在示例脚本在/nuist/p/public/app/scripts/pbs_example快速使用指南目录设置目录设置/nuist/u/home/$LOGNAME ( 用户主目录， 个人配额10G)/nuist/p/work/$LOGNAME (用户工作目录, 个人配额500G）/nuist/scratch/$LOGNAME (用户临时目录, 个人配额5T）/nuist/p/public/app (常

5、用软件包安装目录，例如：NetCDF, NCL等）/nuist/p/public/data (共用数据存放目录，例如：WRF地形数据等）系统预定义的目录环境变量系统预定义的目录环境变量$TEMPDIR /nuist/scratch$WORKDIR /nuist/p/work$APPDIR /nuist/p/public/app一 系统简介集群计算节点308台两路六核IBM HS22刀片服务器,共3696个核存储一个38TB高速SAS硬盘做成1./nuist/u/home ( 8.4 T )2./nuist/p/public ( 30 T )一个706TB近线SAS硬盘做成3./nuist/p/

6、work ( 214 T )4./nuist/scratch ( 492 T )二 存储空间设置 卷功能配额删除策略备份/nuist/u/home10G/用户不做删除备份/nuist/p/work500G/用户当文件系统的可用空间低于10%的时候将删除一定时间以上的文件（如90天）不备份/nuist/scratch5T/用户当文件系统可用空间90天的当文件系统可用空间30天的当文件系统可用空间7天的不备份/nuist/p/public不做删除， 用于保存共用的基础数据，例如地形数据等备份磁盘空间配额使用查询mmlsquotau username 三 运行环境设置 编译器 Intel 11.1.

7、046 / 12.1.0.233 PGI 11.7 / 13.3 GNU 4.4.6 / 4.7.2 / 4.8.2 并行环境 OpenMPI 1.4.3 / 1.6.5 MVAPICH2 2.0b 软件环境管理 Environment Modules 3.2.10三 运行环境设置 软件包/库安装位置 /nuist/p/public/app /nuist/p/public/data /usr/lib64 /usr/include /usr/bin三 运行环境设置 已安装的软件包 /nuist/p/app名称版本编译器实现CDO1.6.2NCL6.1.2Intel, GNU, PGINCO4.3

8、.7NCVIEW 2.1.2VIS5D+1.2.1GrADS1.8, 1,9, 2.0.2OpenGrADS1.10, 2.01三 运行环境设置 已安装的软件包 /usr/bin名称版本编译器实现ImageMagic6.5.4.7三 运行环境设置 已安装的库 /nuist/p/public/app名称版本编译器实现BLAS20110419Intel, GNU, PGIBUFR10.2.3Intel, GNU, PGIEMOSLIB000392Intel, GNU, PGIG2CLIB/G2LIB 1.4.0Intel, GNU, PGIGDAL1.10.1GRIB_API1.11.0Intel

9、, GNU, PGIHDF44.2.9Intel, GNU, PGIHGF51.8.11Intel, GNU, PGIHDF-EOS22.18V1.00HDF-EOS51.14三 运行环境设置 已安装的库 /nuist/p/public/app名称版本编译器实现LAPACK3.3.1Intel, GNU, PGINETCDF3.6.3, 4.3.0Intel, GNU, PGIPROJ4.8.0UDUNITS2.1.24W3LIB2.0.2Intel, GNU, PGI三 运行环境设置 已安装的库 /usr/lib64名称版本编译器实现JAPSER1.900.1JPGE6bPNG1.2.46Z

10、LIB1.2.3CAIRO1.8.8FREETYPE2.3.1PIXMAN0.18.4EXPAT2.0.1CURL7.19.7FONTCONFIG2.8.0三 运行环境设置 已安装的库 /nuist/p/public/app/intel/Compiler/11.1/046/mkl/lib/em64t名称版本编译器实现Intel 数学核心库11.1.046三 运行环境设置 用户环境变量设置 列出加载的模块 module list 加载可用的模块 module avail 加载指定的模块 module load 卸载指定的模块 module unload 切换不同的模块 module swap 三

11、 运行环境设置 目录环境变量 $TEMPDIR = /nuist/scratch $WORKDIR=/nuist/p/work $APPDIR=/nuist/p/public 加载自己所需要的模块 在下列文件中通过 module load / unload命令来加载/卸载自己所需要的运行环境 .bash_profile/.bashrc .cshrc .kshrc例如： module load netcdf ncl ncview GrADS三 运行环境设置 使用module命令时的注意事项 如果只使用模块名而没有指定版本，则所有操作都是针对缺省版本 当使用module swap反复切换编译器模块

12、时，会引起segmentation fault问题。当需要对编译器进行反复切换时，建议使用module unload / module load来进行操作 module 命令加载的是系统缺省设置的运行环境变量，用户自己的设置，仍然需要通过设置用户主目录下的.bashrc / .bash_profile / .cshrc等来实现三 运行环境设置 Module 使用示例 jliulog02 $ module list Currently Loaded Modulefiles: 1) intel/11.1.046 2) mvapich2/2.0b jliulog02 $ module swap mv

13、apich2 openmpi jliulog02 $ module list Currently Loaded Modulefiles: 1) intel/11.1.046 2) openmpi/1.6.5 jliulog02 $ module load ncl netcdf jliulog02 $ module list Currently Loaded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2 2) openmpi/1.6.5 4) netcdf/4.3.0三 运行环境设置 jliulog02 $ module listCurrently Lo

14、aded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2 2) openmpi/1.6.5 4) netcdf/4.3.0 jliulog02 $ module swap netcdf/4.3.0 netcdf/3.6.3 jliulog02 $ module listCurrently Loaded Modulefiles: 1) intel/11.1.046 3) ncl/6.1.2 2) openmpi/1.6.5 4) netcdf/3.6.3三 运行环境设置Fortran 编译命令Intel : ifortGNU: gfortranPGI :

15、pgf90/pgf77/pgfortranC 编译命令Intel : iccGNU: gccPGI : pgccC+编译命令Intel : icpcGNU : g+PGI : pgCCMPI编译命令Fortran : mpif90, mpif77C: mpiccC+ : mpic+, mpicxx四 作业管理1）队列设置）队列设置 队列类型说明Regular最多使用512个核，每个用户最多可同时运行2个任务，同时提交5个任务Economy最多使用512个核，每个用户最多可同时运行2个任务，同时提交5个任务Longtime最多使用336个核，每个用户最多可同时运行1个任务，同时提交2个任务四 作

16、业管理2）墙钟限制）墙钟限制 队列类型墙钟限制Regular12小时Economy24小时Longtime无墙钟限制五账户管理规则五账户管理规则 1）账号申请）账号申请 项目负责人填写“计算资源申请表”申请资源 项目成员填写“高性能计算机账号申请表”开通其个人账号。 项目负责人指定各成员可以使用的记账账号，开通/停止项目成员账号由项目负责人(或相关授权人员)提出 每个人拥有独立的大型机用户账号 只有有效的项目号和在该项目号下有效的成员才能提交作业五账户管理规则五账户管理规则超级计算机计算资源申请表超级计算机计算资源申请表姓名姓名院系院系电话电话电子邮件电子邮件计算项目类别计算项目类别个人项目个

17、人项目 业务项目业务项目 部门项目部门项目计算项目号计算项目号计算项目描述计算项目描述起止时间起止时间年度配额年度配额（万核（万核小时）小时）配额估算依据配额估算依据申请人：申请人： 填表人：填表人： 日期：日期：填表说明：填表说明：1.个人的计算项目号格式为个人的计算项目号格式为 P+工号工号+三位数字（第一个为三位数字（第一个为001， 第二个为第二个为002，. ）。）。2.业务业务/部门项目的姓名为实际运行的业务或部门名称，计算项目号由超算中心统一安排，起止时间不用填写。部门项目的姓名为实际运行的业务或部门名称，计算项目号由超算中心统一安排，起止时间不用填写。3.项目描述要注明实际的科

18、研项目及所用到的的模式或软件。项目描述要注明实际的科研项目及所用到的的模式或软件。4.年度配额仅为预申请配额，最终核准的配额要根据计算机的实际年度计算能力协调分配。年度配额仅为预申请配额，最终核准的配额要根据计算机的实际年度计算能力协调分配。五账户管理规则五账户管理规则超级计算机账号申请表姓名姓名学号学号/工号工号预设账号预设账号电话电话电子邮件电子邮件院系院系用户类别用户类别教师教师 学生学生 合作、访问学者合作、访问学者计算计算项目号项目号有效期有效期项目主管人项目主管人申请人：申请人： 日期：日期：填表说明：填表说明：1.校内教师和学生需填写学号校内教师和学生需填写学号/工号；合作、访问

19、人员不用填写。工号；合作、访问人员不用填写。2.预设账号为拟开通使用的超级计算机账号，如有冲突，由超算中心重新分配。预设账号为拟开通使用的超级计算机账号，如有冲突，由超算中心重新分配。3.记帐项目号从项目负责人处获取，并由项目负责人签字。记帐项目号从项目负责人处获取，并由项目负责人签字。教师有效期如无特别指定，可不用填写；合作、访问人员需要指定有效期；学生账号的有效期从申请日期起到规定毕业年份的教师有效期如无特别指定，可不用填写；合作、访问人员需要指定有效期；学生账号的有效期从申请日期起到规定毕业年份的6月底。月底。 五账户管理规则五账户管理规则2）账户数目限制）账户数目限制 每人只允许使用一

20、个账户。假借他人身份多开账户，将对所有相关账户进行冻结3）账户清理）账户清理以下情况将被视为非活动账户，自动进行清理账户到期后，给予30天的宽容期，在宽容期内，只能下载备份自己的数据， 30天后账户将被自动清除，并删除所有相关目录6个月内登录次数少于10次的账户将冻结超过一年没有使用的账户，将提前30天通知账户将关闭，30天后自动关闭已离校或已结束合作关系，将提前30天通知账户将关闭，三个月后自动关闭五账户管理规则五账户管理规则3）帐户密码规则）帐户密码规则 密码长度至少8个字符长 密码中至少需要有一个大写字母 密码中至少需要有一个小写字母 密码中至少需要有一个数字 密码中至少需要一个其他符号

21、(例如,!,#$%等)六计算资源管理六计算资源管理 1）计算资源申请计算资源申请 每年由项目负责人根据需求按项目进行计算配额申请，年度总配额分别除以12和4后，按30日配额和90日配额进行滑动管理。在任意连续30日/90日内如果超出配额限制，则该项目组的所有账号都需要暂停使用，直到30日/90日累计算量降到配额限制以下才能恢复使用。亦即，整个项目每日的最大可用计算量 = 30日/90日配额 前29日/89日的累计计算量 每年10月中旬开始进行计算配额申报，截至日期为10月底， 11月中旬将由大型机主管部门组织高性能资源分配协调会，讨论并协调高性能计算资源的最终分配方案六计算资源管理六计算资源管

22、理2）计算量统计方式）计算量统计方式计算量按核小时为单位来进行统计 独占任务 墙钟小时 x 所用计算节点 x 核数/节点 x 权重系数 共享任务核秒/3600 x 权重系数七不允许行为七不允许行为 以下情况将不被允许以下情况将不被允许1.在登录节点上运行较大需要大资源的程序，导致节点响应缓慢，影响到其他用户2.绕过作业管理，直接提交任务到计算节点3.通过使用更改文件时间等手段来干扰/绕过工作目录卷、临时文件目录卷的文件清理机制处理处理不进行通知，直接中止正在运行的程序第一次违反，将给以警告第二次违反，将立即禁用账号30天第三次违反，立即禁用账号，在项目负责人提出账户解冻申请并做相应承诺后，酌情

23、处理八作业提交1. PBS指令 在脚本中以“#PBS”开头#PBS -N jobname可选设置，作业名#PBS S /bin/bash指定PBS的Shell为bash#PBS -P project number必需设置，作业项目号，P+位数字# PBS -q queue必须设置，队列名，Regular, Economy, Longtime (注意注意: 队列名大队列名大小写敏感小写敏感)#PBS -l nodes=N:ppn=M必须设置，N:节点数, M:每个节点核数#PBS -l walltime=hh:nn:mm可选设置，墙钟限制，不同队列，墙钟限制不一样，最长小时八作业提交 #PBS

24、-M meeartch 可选设置，作业报告发送电子邮件地址 #PBS -m bea 可选设置，作业报告发送状态，b 开始，e 结束， a 中止 #PBS V 可选设置，复制用户环境变量 #PBS -o jobname.out 可选设置，标准输出输出文件 #PBS -e jobname.err 可选设置，标准错误输出文件注：注释PBS指令，在指令前再加一个“”，例如：#PBS VPBS指令也可以通过命令行方式提供，不放到脚本中，指令前不需要加“PBS”例如：qsub -n helloworld -P P123456789 -l nodes=2:ppn=12 -l walltime=00:05:0

25、0 -q Regular job.sh八作业提交变变 量量 名名说说 明明登陆SHELL继承来的变量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的节点名称$PBS_O_QUEUEqsub提交的作业的最初队列名称$PBS_O_WORKDIRqsub提交的作业的绝对路径$PBS_JOBID作业被PBS系统指定的作业号$PBS_JOBNAME用户指定的作业名$PBS_NODEFILEPBS系统指定的作业运行的节点名$PBS_QUEUEPBS脚本在执行时的队列名2. PBS的环境变量八作业提交. 命令运行方式 MPI程序

26、mpirun -n np mpi_app.exe OpenMP程序export OMP_NUM_THREADS = np./omp_app.exe 串行程序./serial_app.exe八作业提交示例一MPI并行作业，使用两个节点，每个节点个核#!/bin/bash #PBS S /bin/bash#PBS -N helloworld#PBS -P P123456789#PBS -q queue Regular#PBS -l nodes=2:ppn=12#PBS -l walltime=00:05:00cd $PBS_O_WORKDIRnprocs=cat $PBS_NODEFILE | w

27、c -lmpirun -np $nprocs ./hello.exe八作业提交示例二串行作业，使用1个节点，个核运行4个任务#!/bin/sh#PBS -l nodes=1:ppn=4cd $WORK_DIR1/usr/bin/time myapp1.exe & &cd $WOR_DIR2/usr/bin/time myapp2.exe & &cd $WORK_DIR3/usr/bin/time myapp3.exe & &cd $WORK_DIR4/usr/bin/time myapp4.exeWaitForAllDone.sh八作业提交示例三关联作业#!/bin/bash job1=qsu

28、b job1.sh job2=qsub -W depend=afterok:$job1 job2.sh job3=qsub -W depend=afterok:$job2 job3.sh job4=qsub -W depend=afterok:$job3 job4.sh exit 0 afterok: : 当指定的作业正常退出afternotok: ：当指定的作业异常退出afterany: : 只要指定的作业结束不论正常或异常八作业提交示例四，OpenMP作业#!/bin/sh#PBS -l nodes=1:ppn=12export OMP_NUM_THREADS=12./my_openmp_

29、app.exe八作业提交qdel 删除作业.qdel job_id .qstat 查询作业信息qstat # 显示所有用户信息qstat -f # 显示完整信息qstat -u username #查询指定用户的作业情况qstat -q #查询队列情况九常见编译问题nWRFDA 1. Intel 编译问题: catastrophic error: *Internal compiler error: segmentation violation signal raised* Please report this error along with the circumstances in whic

30、h it occurred in a Software Problem Report. Note: File and line given may not be explicit cause of this error. var/build/da.make 3.5.1 3.5 (line 410, 413) 3.4.1 3.4 (line 401, 404) 3.3.1 (line 385, 388) 把 $(FCFLAGS)改为 -O1 $(FCBASEOPTS)九常见编译问题 2.gen_be_etkf 运行时，segmentation fault var/gen_be/gen_be_etkf.f90 3.5.1 3.5 3.4.1 3.4 38 char