曙光集群用户使用手册

1、1. 登录和文件传输登录方式为ssh，与telnet功能类似，推荐的登录工具为putty或者Secure Shell（，绿色版无需安装）在地址栏输入本集群的登录地址(node1对应的局域网IP)，点击“打开”，就会出现登录窗口，输入用户名、密码即可。文件传输为sftp，与传统ftp类似，但其协议更安全可靠，推荐工具为filezilla。（，绿色版无需安装）输入登录地址，输入用户名和密码，端口填22（本软件支持ftp，端口为21），点击快速连接，即可使用，操作办法与常用ftp工具类似。2. 图形窗口支持Linux推荐使用vnc。vnc可以将用户的操作状态保持在服务器端，即使断开连接也不会影响到正

2、在进行的操作、计算等。登录到linux服务器中，在命令行运行vncserver。第一次运行时需要输入VNC登陆用的密码：根据提示输入新的vnc密码。此密码与用户登录密码无关，将在登录vnc时需要。此处提示的node1:2即为vnc成功打开的端口。运行vncclient，输入登录服务器地址和端口号，点确定，输入前面设置的密码，即进入了图形窗口。注意：1、 在第一次启动了vncserver之后，vnc的连接一直可用，全部图形窗口保持在Linux服务器上。因此，只在每次服务器重新启动后运行一次vncserver即可，由于用户较多，请勿启动多个。2、 如果需要使用node2的图形界面，可执行ssh -

3、X node2。3. 作业提交3.1. Fluent3.1.1. 图形方式运行首先通过VNC登陆到图形界面，如果没有Terminal的话在桌面点击左键选择Xterm，输入以下命令即可运行：此处myhosts为用户指定的host文件，内容如下所示：node1node1node1node1node2node2node2node2-t8即指定8个核心参与计算，分别为node1上的4个核心和node2上的4个核心。在图形界面下导入cas和data文件，修改和设置边界条件等并计算 (和在windows下操作单机版Fluent相同，略)：注：通过VNC使用图形界面方式运行fluent时，无需保持PC机与服

4、务器的连接，只要vncserver没有重新启动，即可随时连接到原有的窗口。3.1.2. 命令行方式运行建立script1文件：script1内容如下：（注：其中fl5m1.cas为cas文件名，根据实际进行修改；solve/iterate 25 表示迭代25步，也可根据需要修改步数。）用命令行进行fluent计算：此处myhosts为用户指定的host文件，内容如下所示：node1node1node1node1node2node2node2node2-t8即指定8个核心参与计算，分别为node1上的4个核心和node2上的4个核心。3.1.3. 作业调度方式运行注：PBS只持Fluent命令行

5、运行方式的作业提交1编译脚本script1，内容如下（与上面脚本运行方式相同）：file/rcd solve/iterate 25/file/wcd fl5m1_final.datparallel/timer/usageexityes2编辑pbs脚本fluent.pbs，内容如下：#!/bin/bash#PBS -N job1-8cpu#PBS -l nodes=1:ppn=8#PBS -j oeINPUTFILE=script1OUTPUTFILE=script1.logcd $PBS_O_WORKDIR# pib.dapl indicate using ib protocal and th

6、e udapl way. t8 indicates using# 8 processors#NP=cat $PBS_NODEFILE | wc -ldatefluent 3d -t$NP -cnf=$PBS_NODEFILE -g -i $INPUT >& $OUTPUTdateexit 0提交作业：qsub fluent.pbs用qstat -a和pbsnodes -a以及top命令查看作业是否正常排队运行。注：红色字体部分需要根据实际情况改动，黑色字体为固定格式的内容。3.1.4. 获取计算结果1如果用图形界面的方式运行fluent，可以在菜单中选择选择保存dat文件到当前工

7、作目录或其他某个目录下，然后用ftp软件将dat文件下载到终端pc机上，即可进行后处理。2如果用命令行的方式运行fluent， dat文件自动保存到当前目录，文件名由script1文件的内容决定（例如“file/wcd fl5m1_final.dat”则表示dat文件为fl5m1_final.dat），用软件将dat文件下载到终端pc机上，即可进行后处理。3.2. Ansys作业3.2.1. 图形方式运行通过vnc登录以后，运行launcher121，即可进入ansys界面，选择相关的模块点击run即可。3.2.2. 命令行方式运行在命令行方式下，不能进行交互的图形操作，所有的命令需要通过命令

8、流来实现。假设写好的命令流文件为input.inp，运行方式如下：单节点：ansys121 -np 16 -i input.inp >& output.log &多节点运行：ansys121 -dis -machines node1:16:node2:16 -i input.inp >& output.log &3.2.3. 作业调度方式运行编写一个pbs脚本ansys.pbs如下所示：#!/bin/bash#PBS -j oe#what you just need and could edit are between the two lines#P

9、BS -N my_ansys_test#PBS -l nodes=1:ppn=16INPUTFILE=wing.inpOUTPUTFILE=wing.log#the end#cd $PBS_O_WORKDIRnp=1for NODE in cat $PBS_NODEFILE; do host=$NODE if ! -z $lasthost ; then if $host = $lasthost ; then np=expr $np + 1 else if -z $mList ; then mList=$lasthost:$np else mList=$mList:$lasthost:$np f

10、i np=1 fi fi lasthost=$hostdoneif -z $mList ; then mList=$lasthost:$npelse mList=$mList:$lasthost:$npfiansys121 -dis -machines $mList -i $INPUTFILE -o $OUTPUTFILE写完以后提交方式与fluent相同，qsub ansys.pbs即可。3.3. CFX作业3.3.1. 图形方式运行在图形窗口中运行cfx5即可。3.3.2. 命令行方式运行CFX支持PVM和MPI两种方式的并行，通常MPI的性能更好一些，建议采用。同时还有Local和Dis

11、tributed两种运行模式，单机上建议采用Local模式，而跨节点时只能采用Distributed模式。cfx5solve命令可直接进入求解模式。cfx5solve -def Benchmark.def -par-dist 'node1*8'在本机上用8个核心并行cfx5solve -def Benchmark.def -par-dist 'node1*8,node2*8'采用2个节点各8个核心进行分布式并行计算3.3.3. 作业调度方式运行testnode34 cfxbm$ cat pbs_cfx.ib#!/bin/bash#PBS -N CFX_8cpu#

12、PBS -l nodes=1:ppn=8INPUTFILE=Benchmark.defOUTPUTFILE=Benchmark.log# You don't need to modify the lines below #PeHostfile2MachineFile() cat $1 | while read line; do # echo $line host=echo $line # add here code to map regular hostnames into ATM hostnames if -z $mList ; then mList=$host"*1&qu

13、ot; else mList=$mList,$host"*1" fi echo $mList doneCFX_PBS_NODEFILE="/tmp/cfx_whoami_$PBS_JOBID"PeHostfile2MachineFile $PBS_NODEFILE | sed "s#bnode#node#g" >$CFX_PBS_NODEFILENPROCS=wc -l $PBS_NODEFILEcd $PBS_O_WORKDIRcfx5solve -def $INPUTFILE -par-dist tail -n1 $CFX_

14、PBS_NODEFILE写完脚本就可以按如下方式提交作业：testnode34 cfxbm$ qsub cfx.pbs3.4. ABAQUS作业3.4.1. 图形方式运行在图形窗口中运行abaqus cae即可。3.4.2. 命令行方式运行单节点运行：abaqus -j Beamloading.inp cpus=8跨节点运行：首先需要添加指定运行节点。在工作目录进行以下操作：echo "mp_host_list=node1,8,node2,8" >abaqus_v6.env表示分别从node1、node2调用8个core来进行计算。设置好了环境变量以后，通过abaqu

15、s -j Beamloading.inp cpus=16 int来运行。3.4.3. 作业调度方式运行testnode34 cfxbm$ cat pbs_cfx.ib#!/bin/bash#PBS -N abaqus_job#PBS -l nodes=2:ppn=8#PBS -j oe#change your input file and jobname here #INPUTFILE=studyQA_std.inpJOB=echo $INPUTFILE |cut -d "." -f 1cd $PBS_O_WORKDIRsource /public/software/Aba

16、qus-6.9/abaqus.shcpus=$(wc -l $PBS_NODEFILE | awk 'print $1')mp_host_list=""for n in $(sort -u $PBS_NODEFILE)domp_host_list="$mp_host_list'$n',$(grep -c $n $PBS_NODEFILE),"donemp_host_list=$(echo $mp_host_list | sed -e "s/,$/")echo "mp_host_list=$mp

17、_host_list" > abaqus_v6.envSTARTTIME=date#the main execute commandabaqus job=$JOB cpus=$cpus mp_mode=mpi standard_parallel=all interactiveENDTIME=dateecho "the job start at :$STARTTIME"echo "the job end at :$ENDTIME"3.5. Web提交使用IE打开http:/:8080,并使用对应的用户名和密码登陆，点击作业调度-作业提交集群

18、名称为唯一的选项Cluster_node。，队列选择必须是用户对应的许可的队列，工作路径为输入文件所在的目录，通常为用户home目录下的含有模型文件的某一子目录，如test用户目录下的fluent目录中存放了fluent的输入文件fluent.jou、fluent.dat、fluent.cas，则工作路径为/cae01/home/test/fluent。选择命令行提交方式，将前面写好的pbs脚本放入输入框中，点击提交，即可将作业提交到对应的队列。4. 常用pbs命令4.1. qsub 命令提交作业命令格式：qsub -a date_time -c interval -C directive_p

19、refix -e path -I -j join -k keep -l resource_list -m mail_options -M user_list-N name -o path -p priority -q destination -r c-S path_list -u user_list-v variable_list -V-W additional_attributes -z script参数说明：因为所采用的选项一般放在pbs脚本中提交，所以具体见PBS脚本选项。例：# qsub aaa.pbs提交某作业，系统将产生一个作业号4.2. qstat 命令查询作业命令格式：qata

20、t -f-a-i -n-s -R -Q-q-B-u参数说明：-f jobid 列出指定作业的信息-a 列出系统所有作业-i 列出不在运行的作业-n 列出分配给此作业的结点-s 列出队列管理员与scheduler所提供的建议-R 列出磁盘预留信息-Q 操作符是destination id，指明请求的是队列状态 -q 列出队列状态，并以alternative形式显示-au userid 列出指定用户的所有作业-B 列出PBS Server信息-r 列出所有正在运行的作业-Qf queue 列出指定队列的信息-u 若操作符为作业号，则列出其状态。若操作符为destination id，则列出运行在其

21、上的属于user_list中用户的作业状态。例：# qstat -f 211查询作业号为211的作业的具体信息。4.3. qdel 命令删除作业命令格式：qdel -W 间隔时间 作业号命令行参数：例：# qdel -W 15 21115秒后删除作业号为211的作业set server default_queue=batch"4.4. PBS脚本文件PBS脚本文件由脚本选项和运行脚本两部分组成。(1) PBS作业脚本选项 （若无-C选项，则每项前面加#PBS）-a date_time ： date_time格式为：CCYYMMDDhhmm.SS表示经过date_time时间后作业才可以运行。-c interval ： 定义作业的检查点间隔，如果机器不支持检查点，则忽略此选项。-C directive_prefix ：在脚本文件中以directive_prefix开头的行解释为qsub的命令选项。（若无此选项，则默认为#PBS ）-e path ：将标准错误信息重定向到path-I ：以交互方式运行-j join ：将标准输出信息与标准错误信息合并到一个文件join中去。-k keep ：定义在执行结点上保留标准输出和标准错误信息中的哪个文件。 kee