大型机使用手册

大型机使用手册快速使用指南用户软件环境加载可加载的软件环境列表可以在命令行使用下面的命令获取或查看本手册后续部分moduleavail由用户根据自己使用的shell在下列文件中通过moduleload/unload命令来加载/卸载自己所需要的运行环境.bash_profile/.bashrc（bashshell).cshrc/.tcshrc(csh/tcsh).kshrc(ksh)可以在命令行使用下面的命令，获取自己使用的的shell信息echo$0示例shell为bash，希望登录后自动加载mvapich2,ncl,netcdf,grads等的软件环境信息，则把下列命令添加到~/.bashrc中moduleloadmvapich2netcdfnclGrADS快速使用指南加载注意事项编译器模块必须第一个加载如需要的环境与系统缺省设置不一致，先用下面命令清除，再加载需要的环境modulepurge加载编译器后，再加载其他的应用模块有依赖关系的模块，在加载时需要注意先后顺序，例如依赖依赖其加载顺序为加载缺省版本模块时，可以不用指明版本号可通过env命令来查看模块加载后进行的相关设置，例如，模块的安装位置，有关的环境变量设置等快速使用指南PBS脚本设置以下PBS指令为必需指令#PBS–Pproject_no(项目号)#PBS-qqueue_name

(队列名)#PBS-lwalltime=hh:nn:mm

(墙钟限制）PBS脚本中MPI程序运行方式mpirun-npnprocmy_mpi_app.exe注意：1.不需要指定--hostfile参数

2.现在启用了墙钟限制，脚本有可能需要根据相应的墙钟限制进行调整，避免由超时造成强制中断而的问题示例脚本在/nuist/p/public/app/scripts/pbs_example快速使用指南目录设置/nuist/u/home/$LOGNAME(用户主目录，个人配额10G)/nuist/p/work/$LOGNAME(用户工作目录,个人配额500G）/nuist/scratch/$LOGNAME(用户临时目录,个人配额5T）/nuist/p/public/app(常用软件包安装目录，例如：NetCDF,NCL等）/nuist/p/public/data(共用数据存放目录，例如：WRF地形数据等）系统预定义的目录环境变量$TEMPDIR/nuist/scratch$WORKDIR/nuist/p/work$APPDIR/nuist/p/public/app一系统简介集群计算节点308台两路六核IBMHS22刀片服务器,共3696个核存储一个38TB高速SAS硬盘做成/nuist/u/home(8.4T)/nuist/p/public(30T)一个706TB近线SAS硬盘做成/nuist/p/work(214T)/nuist/scratch(492T)二存储空间设置卷功能配额删除策略备份/nuist/u/home10G/用户不做删除备份/nuist/p/work500G/用户当文件系统的可用空间低于10%的时候将删除一定时间以上的文件（如90天）不备份/nuist/scratch5T/用户当文件系统可用空间<50%时，删除>90天的当文件系统可用空间<25%时，删除>30天的当文件系统可用空间<10%时，删除>7天的不备份/nuist/p/public不做删除，用于保存共用的基础数据，例如地形数据等备份磁盘空间配额使用查询

mmlsquota

–uusername三运行环境设置编译器PGI11.7/13.3并行环境MVAPICH22.0b软件环境管理三运行环境设置软件包/库安装位置

/nuist/p/public/app/nuist/p/public/data/usr/lib64/usr/include/usr/bin三运行环境设置已安装的软件包/nuist/p/app名称版本编译器实现CDO1.6.2NCL6.1.2Intel,GNU,PGINCO4.3.7NCVIEW2.1.2VIS5D+1.2.1GrADS1.8,1,9,2.0.2OpenGrADS1.10,2.01三运行环境设置已安装的软件包/usr/bin名称版本编译器实现ImageMagic6.5.4.7三运行环境设置已安装的库/nuist/p/public/app名称版本编译器实现BLAS20110419Intel,GNU,PGIBUFR10.2.3Intel,GNU,PGIEMOSLIB000392Intel,GNU,PGIG2CLIB/G2LIB1.4.0Intel,GNU,PGIGDAL1.10.1GRIB_API1.11.0Intel,GNU,PGIHDF44.2.9Intel,GNU,PGIHGF51.8.11Intel,GNU,PGIHDF-EOS22.18V1.00HDF-EOS51.14三运行环境设置已安装的库/nuist/p/public/app名称版本编译器实现LAPACK3.3.1Intel,GNU,PGINETCDF3.6.3,4.3.0Intel,GNU,PGIPROJ4.8.0UDUNITS2.1.24W3LIB2.0.2Intel,GNU,PGI三运行环境设置已安装的库/usr/lib64名称版本编译器实现JAPSER1.900.1JPGE6bPNG1.2.46ZLIB1.2.3CAIRO1.8.8FREETYPE2.3.1PIXMAN0.18.4EXPAT2.0.1CURL7.19.7FONTCONFIG2.8.0三运行环境设置已安装的库/nuist/p/public/app/intel/Compiler/11.1/046/mkl/lib/em64t名称版本编译器实现Intel数学核心库11.1.046三运行环境设置用户环境变量设置列出加载的模块–modulelist加载可用的模块–moduleavail加载指定的模块–moduleload卸载指定的模块–moduleunload切换不同的模块–moduleswap三运行环境设置目录环境变量$TEMPDIR=/nuist/scratch$WORKDIR=/nuist/p/work$APPDIR=/nuist/p/public加载自己所需要的模块在下列文件中通过moduleload/unload命令来加载/卸载自己所需要的运行环境.bash_profile/.bashrc.cshrc.kshrc例如：moduleloadnetcdfnclncviewGrADS三运行环境设置使用module命令时的注意事项如果只使用模块名而没有指定版本，则所有操作都是针对缺省版本当使用moduleswap反复切换编译器模块时，会引起segmentationfault问题。当需要对编译器进行反复切换时，建议使用moduleunload/moduleload来进行操作module命令加载的是系统缺省设置的运行环境变量，用户自己的设置，仍然需要通过设置用户主目录下的.bashrc/.bash_profile/.cshrc等来实现三运行环境设置Module使用示例[jliu@log02~]$modulelistCurrentlyLoadedModulefiles:1)intel/11.1.0462)mvapich2/2.0b[jliu@log02~]$moduleswapmvapich2openmpi[jliu@log02~]$modulelistCurrentlyLoadedModulefiles:1)intel/11.1.046[jliu@log02~]$moduleloadnclnetcdf[jliu@log02~]$modulelistCurrentlyLoadedModulefiles:1)intel/11.1.0462)openmpi/1.6.5三运行环境设置[jliu@log02~]$modulelistCurrentlyLoadedModulefiles:2)openmpi/1.6.54)[jliu@log02~]$moduleswap[jliu@log02~]$modulelistCurrentlyLoadedModulefiles:2)openmpi/1.6.5三运行环境设置Fortran编译命令Intel:ifortGNU:gfortranPGI:pgf90/pgf77/pgfortranC编译命令Intel:iccGNU:gccPGI:pgccC++编译命令Intel:icpcGNU:g++PGI:pgCCMPI编译命令Fortran:mpif90,mpif77C:mpiccC++:mpic++,mpicxx四作业管理1）队列设置

队列类型说明Regular最多使用512个核，每个用户最多可同时运行2个任务，同时提交5个任务Economy最多使用512个核，每个用户最多可同时运行2个任务，同时提交5个任务Longtime最多使用336个核，每个用户最多可同时运行1个任务，同时提交2个任务四作业管理2）墙钟限制

队列类型墙钟限制Regular12小时Economy24小时Longtime无墙钟限制五账户管理规则

1）账号申请项目负责人填写“计算资源申请表”申请资源项目成员填写“高性能计算机账号申请表”开通其个人账号。项目负责人指定各成员可以使用的记账账号，开通/停止项目成员账号由项目负责人(或相关授权人员)提出每个人拥有独立的大型机用户账号只有有效的项目号和在该项目号下有效的成员才能提交作业五账户管理规则超级计算机计算资源申请表姓名院系电话电子邮件计算项目类别□个人项目□业务项目□部门项目计算项目号计算项目描述起止时间年度配额（万核·小时）配额估算依据申请人：填表人：日期：填表说明：个人的计算项目号格式为P+工号+三位数字（第一个为001，第二个为002，...）。业务/部门项目的姓名为实际运行的业务或部门名称，计算项目号由超算中心统一安排，起止时间不用填写。项目描述要注明实际的科研项目及所用到的的模式或软件。年度配额仅为预申请配额，最终核准的配额要根据计算机的实际年度计算能力协调分配。五账户管理规则超级计算机账号申请表姓名学号/工号预设账号电话电子邮件院系用户类别□教师□学生□合作、访问学者计算项目号有效期项目主管人申请人：日期：填表说明：校内教师和学生需填写学号/工号；合作、访问人员不用填写。预设账号为拟开通使用的超级计算机账号，如有冲突，由超算中心重新分配。记帐项目号从项目负责人处获取，并由项目负责人签字。教师有效期如无特别指定，可不用填写；合作、访问人员需要指定有效期；学生账号的有效期从申请日期起到规定毕业年份的6月底。

五账户管理规则2）账户数目限制

每人只允许使用一个账户。假借他人身份多开账户，将对所有相关账户进行冻结3）账户清理以下情况将被视为非活动账户，自动进行清理账户到期后，给予30天的宽容期，在宽容期内，只能下载备份自己的数据，30天后账户将被自动清除，并删除所有相关目录6个月内登录次数少于10次的账户将冻结超过一年没有使用的账户，将提前30天通知账户将关闭，30天后自动关闭已离校或已结束合作关系，将提前30天通知账户将关闭，三个月后自动关闭五账户管理规则3）帐户密码规则密码长度至少8个字符长密码中至少需要有一个大写字母密码中至少需要有一个小写字母密码中至少需要有一个数字密码中至少需要一个其他符号(例如,!,@#$%等)六计算资源管理

1）计算资源申请每年由项目负责人根据需求按项目进行计算配额申请，年度总配额分别除以12和4后，按30日配额和90日配额进行滑动管理。在任意连续30日/90日内如果超出配额限制，则该项目组的所有账号都需要暂停使用，直到30日/90日累计算量降到配额限制以下才能恢复使用。亦即，整个项目每日的最大可用计算量=30日/90日配额–前29日/89日的累计计算量每年10月中旬开始进行计算配额申报，截至日期为10月底，11月中旬将由大型机主管部门组织高性能资源分配协调会，讨论并协调高性能计算资源的最终分配方案六计算资源管理2）计算量统计方式计算量按‘核·小时’为单位来进行统计独占任务

墙钟小时x所用计算节点x核数/节点x权重系数共享任务核·秒/3600x权重系数七不允许行为

以下情况将不被允许在登录节点上运行较大需要大资源的程序，导致节点响应缓慢，影响到其他用户绕过作业管理，直接提交任务到计算节点通过使用更改文件时间等手段来干扰/绕过工作目录卷、临时文件目录卷的文件清理机制处理不进行通知，直接中止正在运行的程序第一次违反，将给以警告第二次违反，将立即禁用账号30天第三次违反，立即禁用账号，在项目负责人提出账户解冻申请并做相应承诺后，酌情处理八作业提交PBS指令–在脚本中以“#PBS”开头#PBS-Njobname

可选设置，作业名#PBS–S/bin/bash指定PBS的Shell为bash#PBS-Pprojectnumber必需设置，作业项目号，P+９位数字#PBS-qqueue必须设置，队列名，Regular,Economy,Longtime(注意:队列名大小写敏感)#PBS-lnodes=N:ppn=M必须设置，N:节点数,M:每个节点核数#PBS-lwalltime=hh:nn:mm可选设置，墙钟限制，不同队列，墙钟限制不一样，最长２４小时八作业提交#PBS-Mme@eartch可选设置，作业报告发送电子邮件地址#PBS-mbea可选设置，作业报告发送状态，b–开始，e–结束，a–中止#PBS–V可选设置，复制用户环境变量#PBS-ojobname.out可选设置，标准输出输出文件#PBS-ejobname.err可选设置，标准错误输出文件注：注释PBS指令，在指令前再加一个“＃”，例如：##PBS–V

PBS指令也可以通过命令行方式提供，不放到脚本中，指令前不需要加“＃PBS”例如：qsub-nhelloworld-PP123456789-lnodes=2:ppn=12-lwalltime=00:05:00-qRegularjob.sh八作业提交变量名说明登陆SHELL继承来的变量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的节点名称$PBS_O_QUEUEqsub提交的作业的最初队列名称$PBS_O_WORKDIRqsub提交的作业的绝对路径$PBS_JOBID作业被PBS系统指定的作业号$PBS_JOBNAME用户指定的作业名$PBS_NODEFILEPBS系统指定的作业运行的节点名$PBS_QUEUEPBS脚本在执行时的队列名2.PBS的环境变量八作业提交３.命令运行方式

MPI程序mpirun-nnpmpi_app.exeOpenMP程序exportOMP_NUM_THREADS=np./omp_app.exe串行程序./serial_app.exe八作业提交示例一MPI并行作业，使用两个节点，每个节点１２个核#!/bin/bash#PBS–S/bin/bash#PBS-Nhelloworld#PBS-PP123456789#PBS-qqueueRegular#PBS-lnodes=2:ppn=12#PBS-lwalltime=00:05:00cd$PBS_O_WORKDIRnprocs=`cat$PBS_NODEFILE|wc-l`mpirun-np$nprocs./hello.exe八作业提交示例二串行作业，使用1个节点，４个核运行4个任务#!/bin/sh…#PBS-lnodes=1:ppn=4…cd$WORK_DIR1/usr/bin/timemyapp1.exe&cd$WOR_DIR2/usr/bin/timemyapp2.exe&cd$WORK_DIR3/usr/bin/timemyapp3.exe&cd$WORK_DIR4/usr/bin/timemyapp4.exeWaitForAllDone.sh八作业提交示例三关联作业#!/bin/bashjob1=`qsubjob1.sh`job2=`qsub-Wdepend=afterok:$job1job2.sh`job3=`qsub-Wdepend=afterok:$job2job3.sh`job4=`qsub-Wdepend=afterok:$job3job4.sh`exit0afterok:<Job-ID>:当指定的作业正常退出afternotok:<Job-ID>：当指定的作业异常退出afterany:<Job-ID>:只要指定的作业结束不论正常或异常八作业提交示例四，OpenMP作业#!/bin/sh…#PBS-lnodes=1:ppn=12…exportOMP_NUM_THREADS=12./my_openmp_app.exe八作业提交qdel–

删除作业.qdel

job_id...qstat–查询作业信息qstat#显示所有用户信息qstat-f#显示完整信息qstat-uusername#查询指定用户的作业情况qstat-q#查询队列情况九常见编译问题WRFDA1.

Intel编译问题:catastrophicerror:**Internalcompilererror:segmentationviolationsignalraised**PleasereportthiserroralongwiththecircumstancesinwhichitoccurredinaSoftwareProblemReport.Note:Fileandlinegivenmaynotbeexplicitcauseofthiserror.var/build/da.make3.5.13.5

(line410,413)3.4.13.4

(line401,404)3.3.1

(line385,388)

把$(FCFLAGS)改为-O1$(FCBASEOPTS)九常见编译问题

gen_be_etkf运行时，segmentationfaultvar/gen_be/gen_be_etkf.f903.5.13.53.4.13.438character(len=nf_max_name)::var_name508-558