高性能集群快速使用手册.doc

1. 高性能集群结构2. 登陆用户在windows或Linux下，使用客户端，通过ssh协议来链接。2.1. 文本界面登陆软件：SSH Secure Shell Client putty以ssh client 为例输入服务器 IP地址，用户名，密码。即可登陆服务器终端进行命令操作。2.2. 文件传输软件：SSH Secure File Transfer Client winscp以SSH Secure File Transfer Client为例2.3. 图形软件运行界面软件：xmanager xstart 或 xshell 以Xshell为例，启动Xshell 输入 ssh IP地址 输入 用户名，密码即可登陆 在xshell下可以启动图形界面软件 gedit 即可看到图形界面编辑器3. 并行和串行程序3.1. 串行程序编译： gcc o myprogram myprogram.c运行： 1)#PATH/myprogram 即使是当前路径：需要输入 ./myprogram 2)#myprogram myprogram 所在的路径在PATH环境变量 #echo $PATH/home/users/mashj/mpi/mpich-127-gcc-ssh/bin:/home/users/mashj/compiler/pgi714/linux86-64/7.1/bin:/usr/lib64/qt-3.3/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/pathscale/bin 需要把myprogram拷贝到这些路径中，或添加这些myprogram所在路径到环境变量中 export PATH=my_path:$PATH 执行后可以把这句话添加到/.bash_profile中 每次shell启动自动添加。 (详情参阅shell编程)3.2. 并行程序编译： mpicc o my_mpi_program my_mpi_program.c运行： mpirun np 8 my_mpi_program 各种mpi运行方法有些不同3.2.1. mpich特点：最基本的mpi，运行最简单，支持mpi1.0标准，用的最广泛，但是效率不高。使用rsh或ssh； 安装路径；通信方式；都是在编译的时候确定，编译成功后不能更改。使用：设置环境变量，确认用mpichexport PATH=/data/software/mpi/mpich/bin:$PATH编译程序：#mpicc o hello hello.c运行：#mpirun -np 16 -machinefile ma yourprogram-np 16 起16个进程-machinefile ma 文件写出在哪些节点上执行该命令，格式如下 #vim manode1:8node2:8：号后面的8代表每个节点上有8个cpu 3.2.2. openmpi特点支持mpi2.0,功能强大，灵活，支持infiniband，效率高使用rsh或ssh可以自由切换，路径可以自己标志，编译器也可以改，一个版本支持多种通讯方式使用：设置环境变量，确认用openmpi#export PATH=/data/software/mpi/openmpi/bin:$PATH#export LD_LIBRARY_PATH=/data/software/mpi/openmpi/lib:$LD_LIBRARY_PATH因为默认的openmpi编译出来的库为动态库，所有要设置LD_LIBRARY_PATH变量，如果想要不设，在编译openmpi时加上 -disable-shared -enable-static 选项 编译：#mpicc o hello hello.c#mpicc -showme 可以看到实际调用编译器的情况运行：mpirun -np 16 -machinefile ma -prefix /data/software/mpi/openmpi -mca pls_rsh_agent rsh -mca btl self,tcp yourprogram-np 16 起16个进程-machinefile ma 文件写出在哪些节点上执行该命令，格式如下 #vim manode1 slots=8node2 slots=8-prefix /data/software/mpi/openmpi 如果有两个以上节点，告诉远端机器openmpi的安装路径-mca pls_rsh_agent rsh 告诉节点间通讯用rsh-mca btl self,tcp 使用以太网tcp/IP通讯 self,sm 当单节点运行的时候，使用内存通讯，效率高 self,openib 有infiniband设备时，使用IB通讯，（configure 时要加 -with-openib）-mac btl_tcp_if_include eth0 以太网通讯时用eth0通讯3.2.3. 3 Lammpi特点支持mpi2.0,功能强大，灵活，支持infiniband，效率高使用rsh或ssh可以自由切换，路径可以自己标志，一个版本支持多种通讯方式使用：设置环境变量，确认用 lammpi#export PATH=/usr/bin:$PATH编译：#mpicc o hello hello.c#mpicc -showme 可以看到实际调用编译器的情况运行：#lamboot -v -ssi boot rsh hostfilevim hostfilenode1 cpu=8node2 cpu=8#lamnodes查看节点#mpirun C -ssi rpi tcp yourprogram 4. 使用作业调度系统提交作业必须要普通用户一个串行作业提交脚本：vim sample.pbs#PBS N Loop.out#PBS l nodes=1:ppn=1#PBS j oe#PBS -l walltime=1000:00:00 cd /public/home/zhaocs/test/./a.out 提交 #qsub sample.pbs一个并行脚本：vim sample_parrall.pbs#PBS N vasp.Hg#PBS l nodes=4:ppn=8#PBS j oe#PBS -l walltime=1000:00:00echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRecho “work begin at date”mpirun -np 32 -machinefile $PBS_NODEFILE ./vaspecho “work begin at date”提交qsub sample_parrall.pbs#PBS 代表这些行被qsub识别-N 作业名，输出的log文件为 作业名.o作业ID-l nodes=4:ppn=8需要资源为4个节点，每个节点上需要8个cpu-l nodes=1:node1:ppn=4需要资源为1个节点，节点名为node1，这个节点上需要4个cpu -l walltime=1000:00:001000个小时后不结束就强制结束-j oe 标准输入输出合并为一个文件查询节点pbsnodespestat查询作业qstat